EP1030740A1 - Method and device for identifying and sorting objects conveyed on a belt - Google Patents

Method and device for identifying and sorting objects conveyed on a belt

Info

Publication number
EP1030740A1
EP1030740A1 EP98961191A EP98961191A EP1030740A1 EP 1030740 A1 EP1030740 A1 EP 1030740A1 EP 98961191 A EP98961191 A EP 98961191A EP 98961191 A EP98961191 A EP 98961191A EP 1030740 A1 EP1030740 A1 EP 1030740A1
Authority
EP
European Patent Office
Prior art keywords
objects
conveyor belt
detection
nir
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP98961191A
Other languages
German (de)
French (fr)
Other versions
EP1030740B1 (en
Inventor
Lutz Priese
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TITECH VISIONSORT GmbH
Original Assignee
Priese Lutz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=7849564&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP1030740(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Priese Lutz filed Critical Priese Lutz
Publication of EP1030740A1 publication Critical patent/EP1030740A1/en
Application granted granted Critical
Publication of EP1030740B1 publication Critical patent/EP1030740B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory

Definitions

  • the invention relates to a method for identifying and sorting belt-conveyed objects, in particular for sorting waste, in which the material properties of the objects are detected spectroscopically using an NIR measuring device and the sorting as a function of the spectroscopy
  • the invention also relates to a device for carrying out this method.
  • Another method for identifying and sorting belt-conveyed objects is known from DE 43 05 006 A1.
  • the material properties of the objects to be sorted are recorded by means of a polarization interferometer, and a Fast Fourier analysis is used to evaluate the data supplied by this interferometer.
  • Such a device for determining the material properties of the objects to be identified and sorted also has a detection area which is essentially limited to a single measuring point and is therefore subject to the same disadvantages as previously explained; that is, a relatively complex presorting and separation is required before the objects are fed to the point-like measuring location.
  • such a measuring device is critical with regard to the distance to the measurement object.
  • the invention has for its object to provide a method of the type mentioned in the preamble of claim 1, by means of which objects of any shape can be reliably identified and sorted, and which can in particular be integrated into existing waste sorting systems.
  • a device for performing this method is to be provided.
  • the method according to the invention eliminates the disadvantage of the prior art in terms of complex pre-sorting and separation by providing a relatively large detection area that can be approached differently by scanning the object's scanning movement of the measuring point of the NIR measuring device above the object-carrying conveyor belt.
  • a scanning movement is preferably achieved by a scanning device in the form of a mirror arrangement for directing the measuring point of the NIR device onto the objects.
  • the NIR measuring device can identify different object materials simultaneously. In principle, this requires longer exposure times or sampling times as with the NIR State of the art scanning. However, this is made up for by the fact that measurements do not have to be carried out at all locations on the conveying channel, but only where the image processing according to the invention, which precedes the NIR measurement, has located an object.
  • the NIR spectral analysis is preceded by an image analysis, preferably a color image analysis, for localization, including optionally determining the shape and size of the objects to be identified.
  • image analysis preferably a color image analysis, for localization, including optionally determining the shape and size of the objects to be identified.
  • the information obtained by means of image analysis is used to control the movement of the scanning device connected upstream of the NIR measuring device; This means that only a specific scan of the objects to be identified follows, with the exception of points on the conveyor belt that are not occupied by objects. This makes the scanning process rational.
  • the image analysis provides information about shape, size, color and, for example, texture, which ensures better selection.
  • a new (color) image analysis based on another camera downstream of the separation point can be used to recognize the objects which have remained on the conveyor belt with regard to their possibly changed position, and without renewed NIR spectroscopy if the data this camera with the already acquired NIR data in a matching manner.
  • the NIR values already obtained and saved can be used in every further separation step.
  • the method according to the invention is based on the following principle:
  • an object for example, garbage 1
  • the position, shape, contour, size, color and texture can be recognized and the relevant parameters saved.
  • the material properties of the objects are then determined using NIR spectroscopy.
  • infrared radiation in NIR spectroscopy concentrates on only one measuring point.
  • a mirror device is proposed which brings the infrared rays to the desired scanning point.
  • the reverse procedure is preferred, i.e. illumination of the entire detection area and control of the measuring optics in such a way that only reflected infrared rays from desired measuring points on the respective object are detected.
  • This mirror system is controlled with the help of previously obtained information from the image recognition.
  • the data obtained from the (color) image recognition and infrared radiation are combined and provide signals for controlling a device for the targeted discharge of objects, for example in the form of a fading nozzle arrangement.
  • the method according to the invention Identification and separation of several object fractions in a single system guaranteed. This system can easily be trained to recognize new objects by placing enough of these new objects on the conveyor belt in a learning phase.
  • the method and the device according to the invention are particularly advantageously suitable for sorting household waste.
  • the method according to the invention allows all objects to be visually localized on 1 m 2 of a conveyor belt in a period of less than 50 ms.
  • the NIR measurement of an individual object typically requires 3 ms and the subsequent evaluation to identify the object typically takes 1 to 2 milliseconds.
  • the device shown in the figure consists of three device complexes: an analysis complex 1 with a first separation complex, a second separation complex 2 and one third separation complex 3.
  • Each of these three complexes 1, 2 and 3 comprises an endless belt conveyor 4, 5 and 6 with conveyor belts 7, 8 and 9, which are all arranged in the same horizontal plane and adjoin one another with the interposition of blow-off nozzle strips.
  • a blow nozzle bar 10 is arranged between the downstream end of the belt conveyor 4 and the upstream end of the belt conveyor 5, while a blow nozzle bar 11 is arranged between the downstream end of the belt conveyor 5 and the upstream end of the belt conveyor 6.
  • blow-off nozzle strips extends over the full width of the respective conveyor belt 7, 8 and 9, immediately adjoins their corresponding deflecting ends and is relatively narrow in order to ensure that conveyed on the conveyor track formed by the conveyor belts 7, 8 and 9 Goods can easily run over the blow-off nozzle strips 10, 11.
  • a plurality of blowing nozzle openings extend across the blow nozzle bars 10, 11.
  • the conveyor line defined by the belt conveyors or their conveyor belts, together with the units assigned to them, which are explained in more detail below, is used, for example, for sorting waste.
  • the analysis complex 1 above the belt conveyor 4 of this complex comprises a color camera 12, an NIR spectrometer 13 with an NIR sensor 14 and an optical scanning head 15.
  • a computer 16 is used, which is preferably arranged at a distance from the units 12 to 14 and can also be integrated into a computer network, as listed below.
  • the outputs of the color camera 12 and the NIR spectrometer 13 are connected to corresponding inputs of the computer 16.
  • the NIR sensor 14, which can also form an integral part of the NIR spectrometer 13, is connected to the NIR spectrometer for the transmission of measured values.
  • the optical scanning head 15 consists of a (mirror) lens arrangement known per se, which can be displaced, for example by a motor, in such a way that a detection area 18 is scanned point by point on the conveyor belt 7, the scanned measuring point being input into the NIR sensor.
  • a measuring point is designated by the reference number 19.
  • the optical scanning head 15 is designed such that the detection area 18 has a rectangular shape, extends over the full width of the conveyor belt 7 and has a given length in the conveying direction. Typically, the detection area 18 has an area of approximately 1 m 2 when a standard conveyor belt with a width of 100 cm is used.
  • the detection area 17 of the color camera 12 corresponds in terms of its shape and size to that of the detection area 18; that is, the detection area 17 also has a rectangular shape and extends over the full width of the conveyor belt 7 Analysis complex 1 by two detection areas, a detection area 17, in which the shape and / or surface condition and position of objects on the conveyor belt 7 are detected, and a detection area 18 downstream of this detection area for detecting the material properties of precisely these objects.
  • the output data of the color camera 12 and the output data of the NIR spectrometer 13 are evaluated in the computer 16.
  • objects on the belt conveyor can thus be classified and recorded in terms of shape, size, color, texture and the like.
  • NIR spectroscopy enables a high spectral resolution of, for example, up to 256 (512) frequency channels with a width of approximately 2 to 4 nm at a single spatial measurement location. From this total information, material properties at the measuring location or at the object can be concluded. If the spatial resolution of the camera 12 is combined in the visible range with rapid control of the NIR measurement location over the respective detection range 17 to 18 of approximately 1 m 2 , an NIR measurement with spatial resolution can be simulated. This provides a very secure object localization and identification, without the need for complex object separation beforehand. This means that pre-separation is only necessary to the extent that the objects can be distinguished from one another in plan view.
  • a further color camera 22 is arranged above the conveyor belt 8, which is connected to the computer 16 similarly to the color camera 12 of the analysis complex 1 and for detecting an area 23 on the conveyor belt 8 serves.
  • the first separation complex 2 (as well as further downstream separation complexes, such as, for example, the separation complex 3) can be assigned its own computer which is networked with the computer 16, as mentioned above.
  • This detection area 23 has the same shape size and relative position to the conveyor belt 8 as the detection areas 17 and 18 to the conveyor belt 7 of the first analysis complex.
  • the detection data from the color camera 22 processed in the computer 16 permit detection of the remaining objects and, if necessary, their change in position.
  • NIR values can be used and used for a further separation step that takes place downstream of the first separation complex, namely through the blow nozzle bar 11 between the belt conveyor 5 and the belt conveyor 6. Objects are discharged in a targeted manner in the direction of an arrow 24 to a collecting device 25 and from there via a chute or a cross conveyor 25a by means of the blow nozzle bar 11.
  • the second separation complex 3 is constructed identically to the first separation complex 2 and accordingly has a further color camera 26 which captures an area 27 on the conveyor belt 9, the size and shape of which corresponds to that of the preceding detection areas.
  • the operation of the second separation complex 3 corresponds to that of the first separation complex explained above, with the difference that the image reference data are used as reference data, which were acquired by the color camera 22 of the first separation complex, instead of the data provided by the color camera 12 of the analysis complex were.
  • the device according to the invention explained above is not limited to the system shown with only three separation complexes. Rather, depending on the particular requirements, more separation complexes or only a single separation complex can be used.
  • the cameras 12, 22 and 26 are color cameras; rather, black and white cameras can also be used if necessary.

Abstract

The invention relates to a method for identifying and sorting objects which are conveyed on a belt, especially for sorting waste. The nature of the material that the objects consist of is determined spectroscopically using an NIR measuring device (13) and the objects are sorted according to the result of the spectroscopy in that they are removed from the conveyor belt (7, 8, 9). According to the invention, the shape and/or the nature of the surfaces of the objects and the position of the objects on the conveyor belt (7, 8, 9) are determined (12) before the nature of the material that they consist of. The objects are then scanned by the measuring point (19) of the NIR measuring device (13) according to at least their position and removed from the conveyor belt (7, 8, 9). This guarantees a high identification and sorting rate and ensures that the system functions reliably.

Description

lδlδ
Verfahren und Vorrichtung zum Identifizieren und Sortieren von bandgeförderten ObjektenMethod and device for identifying and sorting belt-conveyed objects
20 Die Erfindung betrifft ein Verfahren zum Identifizieren und Sortieren von bandgeförderten Objekten, insbesondere zur Müllsortierung, bei dem die Materialbeschaffenheit der Objekte mittels eines NIR-Meßgeräts spektroskopisch erfaßt wird und die Sortierung in Abhängigkeit des Spektroskopie-The invention relates to a method for identifying and sorting belt-conveyed objects, in particular for sorting waste, in which the material properties of the objects are detected spectroscopically using an NIR measuring device and the sorting as a function of the spectroscopy
25 Ergebnisses durch Entfernen von Objekten vom Förderband erfolgt. Außerdem betrifft die Erfindung eine Vorrichtung zur Durchführung dieses Verfahrens.25 result by removing objects from the conveyor belt. The invention also relates to a device for carrying out this method.
Bei einem derartigen bekannten Verfahren unter Nutzung der 0 NIR-Spektroskopie zur Ermittlung der Material beschaffenheit von zu sortierenden Objekten war es bislang erforderlich, die Objekte durch das Förderband an einen stationären Meßpunkt zu überführen. Dies erfordert einen hohen Aufwand bei der Ausrichtung der zu identifizierenden Objekte.In such a known method using 0 NIR spectroscopy to determine the material properties of objects to be sorted, it was previously necessary to transport the objects to a stationary one by means of the conveyor belt Transfer measuring point. This requires a lot of effort when aligning the objects to be identified.
Bekannt ist ferner die Nutzung eines Förderbands mit einer maximalen Breite von 70 cm, um Material durch Verblasen auszusortieren, nachdem dieses auf seine Beschaffenheit untersucht wurde, wobei es darum geht, KunststoffObjekte, nämlich VerbundstoffVerpackungen, auszusortieren. Dieses Verfahren basiert auf einem rotierenden Spiegel, der einen Meßpunkt in halbkreisförmigen Bewegungen über das relativ schmale Förderband führt. An allen vom Meßpunkt überstrichenen Orten wird eine extrem schnelle NIR-Messung durchgeführt, mit über 1.000 Abtastungen pro Sekunde. Dies erfordert ein spezielles NIR-Meßgerät, das jeweils nur auf ein bestimmtes Objektmaterial reagiert. Für ein anderes Objektmaterial ist ein anderes NIR-Meßgerät erforderlich.It is also known to use a conveyor belt with a maximum width of 70 cm in order to sort out material by blowing after it has been examined for its nature, with the aim of sorting out plastic objects, namely composite packaging. This method is based on a rotating mirror that leads a measuring point in semicircular movements over the relatively narrow conveyor belt. An extremely fast NIR measurement is carried out at all locations swept by the measuring point, with over 1,000 samples per second. This requires a special NIR measuring device, which only responds to a specific object material. A different NIR measuring device is required for a different object material.
Ein weiteres Verfahren zum Identifizieren und Sortieren von bandgeförderten Objekten ist aus der DE 43 05 006 A1 bekannt. Die Erfassung der Material beschaffenheit der zu sortierenden Objekte erfolgt mittels eines Polarisationsinterferometers, und zur Wertung der durch dieses Interferometer gelieferten Daten dient eine Fast- Fourier-Analyse. Auch ein derartiges Gerät zur Ermittlung der Material beschaffenheit der zu identifizierenden und sortierenden Objekte hat einen im wesentlichen auf einen einzigen Meßpunkt begrenzten Erfassungsbereich und ist damit mit denselben Nachteilen behaftet wie zuvor erläutert; d.h., es ist eine relativ aufwendige Vorsortierung und Vereinzelung erforderlich, bevor die Objekte dem punktförmigen Meßort zugeführt werden. Außerdem ist ein derartiges Meßgerät kritisch in bezug auf den Abstand zum Meßobjekt. Angesichts dieses Standes der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren der im Oberbegriff des Anspruchs 1 genannten Art zu schaffen, durch das beliebig geformte Gegenstände zuverlässig identifiziert und sortiert werden können, und das insbesondere in existierende Müllsortieranlagen integriert werden kann. Außerdem soll eine Vorrichtung zur Durchführung dieses Verfahrens bereitgestellt werden.Another method for identifying and sorting belt-conveyed objects is known from DE 43 05 006 A1. The material properties of the objects to be sorted are recorded by means of a polarization interferometer, and a Fast Fourier analysis is used to evaluate the data supplied by this interferometer. Such a device for determining the material properties of the objects to be identified and sorted also has a detection area which is essentially limited to a single measuring point and is therefore subject to the same disadvantages as previously explained; that is, a relatively complex presorting and separation is required before the objects are fed to the point-like measuring location. In addition, such a measuring device is critical with regard to the distance to the measurement object. In view of this prior art, the invention has for its object to provide a method of the type mentioned in the preamble of claim 1, by means of which objects of any shape can be reliably identified and sorted, and which can in particular be integrated into existing waste sorting systems. In addition, a device for performing this method is to be provided.
Gelöst wird diese Aufgabe hinsichtlich des Verfahrens durch die kennzeichnenden Merkmale des Anspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Anspruchs 7.This object is achieved with regard to the method by the characterizing features of claim 1 and with respect to the device by the features of claim 7.
Mit anderen Worten beseitigt das erfindungsgemäße Verfahren den Nachteil des Standes der Technik bezüglich einer aufwendigen Vorsortierung und Vereinzelung durch Bereitstellen eines relativ großflächigen, differenziert anfahrbaren Erfassungsbereichs durch auf die Objekte zielende abtastende Bewegung des Meßpunkt des NIR-Meßgeräts über dem objekttragenden Förderband. Erreicht wird eine derartige Abtastbewegung bevorzugt durch eine Abtasteinrichtung in Gestalt einer Spiegelanordnung zum gezielten Richten des Meßpunkts des NIR-Geräts auf die Objekte.In other words, the method according to the invention eliminates the disadvantage of the prior art in terms of complex pre-sorting and separation by providing a relatively large detection area that can be approached differently by scanning the object's scanning movement of the measuring point of the NIR measuring device above the object-carrying conveyor belt. Such a scanning movement is preferably achieved by a scanning device in the form of a mirror arrangement for directing the measuring point of the NIR device onto the objects.
Im Gegensatz zu dem vorstehend erläuterten Stand der Technik auf Grundlage eines speziellen NIR-Meßgeräts kann beim erfindungsgemäßen Verfahren das NIR-Meßgerät unterschiedliche Objektmateri al i en gleichzeitig identifizieren. Dies erfordert zwar grundsätzlich längere Belichtungszeiten bzw. Abtastzeiten wie bei der NIR- Abtastung gemäß dem Stand der Technik. Dies wird jedoch dadurch wettgemacht, daß nicht an allen Orten des Förderkanals gemessen werden muß, sondern lediglich dort, wo die erfindungsgemäß der NIR-Messung vorgeschaltete Bildverarbeitung ein Objekt lokalisiert hat.In contrast to the prior art explained above based on a special NIR measuring device, in the method according to the invention the NIR measuring device can identify different object materials simultaneously. In principle, this requires longer exposure times or sampling times as with the NIR State of the art scanning. However, this is made up for by the fact that measurements do not have to be carried out at all locations on the conveying channel, but only where the image processing according to the invention, which precedes the NIR measurement, has located an object.
Gemäß der Erfindung ist der NIR-Spektralanalyse eine Bildanalyse, bevorzugt eine Farbbildanalyse zur Lokalisierung vorgeschaltet, einschließlich gegebenenfalls einer Form- und einer Größenbestimmung der zu identifizierenden Objekte. Die mittels Bildanalyse gewonnene Information dient zur Bewegungssteuerung der dem NIR-Meßgerät vorgeschalteten Abtasteinrichtung; d.h., es folgt gezielt ausschließlich eine Abtastung der zu identifizierenden Objekte unter Aussparung von nicht mit Objekten besetzten Stellen des Förderbands. Dadurch wird der Abtastvorgang rational durchgeführt. Außerdem erbringt die Bildanalyse Information über Form, Größe, Farbe und beispielsweise Textur, was eine bessere Selektierung gewährleistet.According to the invention, the NIR spectral analysis is preceded by an image analysis, preferably a color image analysis, for localization, including optionally determining the shape and size of the objects to be identified. The information obtained by means of image analysis is used to control the movement of the scanning device connected upstream of the NIR measuring device; This means that only a specific scan of the objects to be identified follows, with the exception of points on the conveyor belt that are not occupied by objects. This makes the scanning process rational. In addition, the image analysis provides information about shape, size, color and, for example, texture, which ensures better selection.
Nach erstmaliger Aussonderung einer Objekt-Fraktion können mit einer erneuten (Farb)Bi Idanalyse auf Grundlage einer weiteren Kamera stromab von der Trennstelle die auf dem Förderband verbliebenen Objekte bezüglich ihrer gegebenenfalls veränderten Lage wiedererkannt werden, und zwar ohne erneute NIR-Spektroskopie, wenn die Daten dieser Kamera mit den bereits erfaßten NIR-Daten abgleichend verknüpft werden. Das heißt, die bereits gewonnenen und gespeicherten NIR-Werte können bei jedem weiteren Trennschritt genutzt werden. Dem erfindungsgemäßen Verfahren liegt demnach mit anderen Worten folgendes Prinzip zugrunde:After an object fraction has been sorted out for the first time, a new (color) image analysis based on another camera downstream of the separation point can be used to recognize the objects which have remained on the conveyor belt with regard to their possibly changed position, and without renewed NIR spectroscopy if the data this camera with the already acquired NIR data in a matching manner. This means that the NIR values already obtained and saved can be used in every further separation step. In other words, the method according to the invention is based on the following principle:
Zunächst findet eine Objekt( beispielsweise Mül 1 )erkennung auf einer größeren Fläche mit Hilfe eines Farbbildes statt. Dabei können Lage, Form, Kontur, Größe, Farbe und Textur erkannt und entsprechende Kennwerte gespeichert werden. Daraufhin wird die Materialbeschaffenheit der Objekte mittels NIR-Spektroskopie ermittelt. Im Gegensatz zu der vorausgehenden Bilderkennung konzentriert sich die Infrarot-Bestrahlung bei der NIR-Spektroskopie nur auf einen Meßpunkt. Um diesen Meßpunkt an die unterschiedlichen Stellen des Förderbands, wo die Objekte vorhanden sind, gezielt zu überführen, wird eine Spiegeleinrichtung vorgeschlagen, welche die Infrarot-Strahlen an den gewünschten Abtastpunkt bringen. In der Praxis bevorzugt ist jedoch die umgekehrte Vorgehensweise, d.h., Ausleuchtung des gesamten Erfassungsbereichs und Steuern der Meßoptik derart, daß lediglich reflektierte Infrarotstrahlen von gewünschten Meßpunkten auf dem jeweiligen Objekt detektiert werden. Gesteuert wird dieses Spiegelsystem mit Hilfe zuvor gewonnener Information aus der Bilderkennung. Die aus der ( Farb)Bi lderkennung und Infrarot-Bestrahlung gewonnenen Daten werden zusammengeführt und liefern Signale zur Steuerung einer Vorrichtung zum gezielten Austragen von Objekten, beispielsweise in Gestalt einer Verbl asdüsenanordnung .First, an object (for example, garbage 1) is recognized on a larger area using a color image. The position, shape, contour, size, color and texture can be recognized and the relevant parameters saved. The material properties of the objects are then determined using NIR spectroscopy. In contrast to the previous image recognition, infrared radiation in NIR spectroscopy concentrates on only one measuring point. In order to transfer this measuring point to the different points on the conveyor belt where the objects are present, a mirror device is proposed which brings the infrared rays to the desired scanning point. In practice, however, the reverse procedure is preferred, i.e. illumination of the entire detection area and control of the measuring optics in such a way that only reflected infrared rays from desired measuring points on the respective object are detected. This mirror system is controlled with the help of previously obtained information from the image recognition. The data obtained from the (color) image recognition and infrared radiation are combined and provide signals for controlling a device for the targeted discharge of objects, for example in the form of a fading nozzle arrangement.
Wie bereits erwähnt, ist für das erfindungsgemäße Verfahren nur eine relativ geringe Vereinzelung erforderlich.As already mentioned, only a relatively small separation is required for the method according to the invention.
Sonstige aufwendige Vorverarbeitungen sind nicht nötig.Other complex preprocessing is not necessary.
Außerdem wird durch das erfindungsgemäße Verfahren eine Identifikation und Trennung von mehreren Objekt-Fraktionen in einer einzigen Anlage gewährleistet. Diese Anlage kann problemlos auf die Erkennung neuer Objekte trainiert werden, indem genügend viele dieser neuen Objekte in einer Lernphase auf dem Förderband plaziert werden.In addition, the method according to the invention Identification and separation of several object fractions in a single system guaranteed. This system can easily be trained to recognize new objects by placing enough of these new objects on the conveyor belt in a learning phase.
Besonders vorteilhaft sind das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung zur Sortierung von Hausmüll geeignet. Es kommen jedoch auch Einsatzbereiche außerhalb der Müllverarbeitung in Betracht, bei denen es um die Identifizierung und Sortierung von bandgeförderten Objekten zu anderen Zwecken geht.The method and the device according to the invention are particularly advantageously suitable for sorting household waste. However, there are also areas of application outside of waste processing that involve the identification and sorting of belt-conveyed objects for other purposes.
Nach bisherigen Erfahrungen gestattet das erfindungsgemäße Verfahren eine visuelle Lokalisierung sämtlicher Objekte auf 1 m2 eines Förderbands in einem Zeitraum von weniger als 50 ms. Für die NIR-Messung eines einzelnen Objekts sind typischerweise 3 ms erforderlich und die anschließende Auswertung zur Identifizierung des Objekts benötigt typischerweise 1 bis 2 Millisekunden. Erreichbar ist damit bereits heute bei Benutzung gängiger Prozessor-Technologien und NIR-Spektrometer-Technologien eine Identifizierung von Objekten bei Bandgeschwindigkeiten von bis zu 2 m/s.Based on previous experience, the method according to the invention allows all objects to be visually localized on 1 m 2 of a conveyor belt in a period of less than 50 ms. The NIR measurement of an individual object typically requires 3 ms and the subsequent evaluation to identify the object typically takes 1 to 2 milliseconds. With the use of common processor technologies and NIR spectrometer technologies, it is already possible to identify objects at belt speeds of up to 2 m / s.
Nachfolgend wird die Erfindung anhand der Zeichnung näher erläutert; die einzige Figur zeigt eine Ausführungsform der erfindungsgemäßen Vorrichtung zum Identifizieren und Sortieren von bandgeförderten Objekten.The invention is explained in more detail below with reference to the drawing; the single figure shows an embodiment of the device according to the invention for identifying and sorting belt-conveyed objects.
Die in der Figur gezeigte Vorrichtung besteht aus drei Vorrichtungskomplexen: einem Analysekomplex 1 mit einem ersten Trennkomplex, einem zweiten Trennkomplex 2 und einem dritten Trennkomplex 3. Jeder dieser drei Komplexe 1, 2 und 3 umfaßt einen Endlos-Bandförderer 4, 5 und 6 mit Förderbändern 7, 8 bzw. 9, die sämtliche in derselben Horizontalebene angeordnet sind und sich unter Zwischenschaltung von Verblasdüsenleisten aneinander anschließen. Insbesondere ist zwischen dem stromabwärti gen Ende des Bandförderers 4 und dem stromaufwärti gen Ende des Bandförderers 5 eine Verblasdüsenleiste 10 angeordnet, während zwischen dem stromabwärti gen Ende des Bandförderers 5 und dem stromaufwärti gen Ende des Bandförderers 6 eine Verblasdüsenleiste 11 angeordnet ist. Jede der Verblasdüsenleisten erstreckt sich über die volle Breite des jeweiligen Förderbands 7, 8 bzw. 9, schließt sich unmittelbar an deren entsprechenden Umlenkenden an und ist relativ schmal, um zu gewährleisten, daß auf der durch die Förderbänder 7, 8 und 9 gebildeten Förderstrecke geförderte Güter problemlos über die Verblasdüsenleisten 10, 11 hinweglaufen können. Wie in der Figur durch fette schwarze Punkte gezeigt, erstrecken sich quer über die Verblasdüsenleisten 10, 11 eine Vielzahl von Bl asdüsenöffnungen .The device shown in the figure consists of three device complexes: an analysis complex 1 with a first separation complex, a second separation complex 2 and one third separation complex 3. Each of these three complexes 1, 2 and 3 comprises an endless belt conveyor 4, 5 and 6 with conveyor belts 7, 8 and 9, which are all arranged in the same horizontal plane and adjoin one another with the interposition of blow-off nozzle strips. In particular, a blow nozzle bar 10 is arranged between the downstream end of the belt conveyor 4 and the upstream end of the belt conveyor 5, while a blow nozzle bar 11 is arranged between the downstream end of the belt conveyor 5 and the upstream end of the belt conveyor 6. Each of the blow-off nozzle strips extends over the full width of the respective conveyor belt 7, 8 and 9, immediately adjoins their corresponding deflecting ends and is relatively narrow in order to ensure that conveyed on the conveyor track formed by the conveyor belts 7, 8 and 9 Goods can easily run over the blow-off nozzle strips 10, 11. As shown in the figure by bold black dots, a plurality of blowing nozzle openings extend across the blow nozzle bars 10, 11.
Die durch die Bandförderer bzw. deren Förderbänder festgelegte Förderstrecke dient mit den ihnen zugeordneten Aggregaten, die im folgenden näher erläutert sind, beispielsweise zur Müllsortierung.The conveyor line defined by the belt conveyors or their conveyor belts, together with the units assigned to them, which are explained in more detail below, is used, for example, for sorting waste.
Zur Identifizierung der auf der Förderstrecke geförderten Güter umfaßt der Analysekomplex 1 oberhalb des Bandförderers 4 dieses Komplexes eine Farbkamera 12, ein NIR-Spektrometer 13 mit einem NIR-Sensor 14 und einen optischen Abtastkopf 15. Zur Steuerung dieser Aggregate dient ein Rechner 16, der bevorzugt entfernt von den Aggregaten 12 bis 14 angeordnet ist und auch in ein Rechnernetz integriert sein kann, wie nachfolgend aufgeführt. Die Ausgänge der Farbkamera 12 und des NIR- Spektrometers 13 sind mit entsprechenden Eingängen des Rechners 16 verbunden. Der NIR-Sensor 14, der ebenfalls einen integralen Bestandteil des NIR-Spektrometers 13 bilden kann, ist zur Übertragung von Meßwerten mit dem NIR- Spektrometer verbunden.To identify the goods being conveyed on the conveyor line, the analysis complex 1 above the belt conveyor 4 of this complex comprises a color camera 12, an NIR spectrometer 13 with an NIR sensor 14 and an optical scanning head 15. For controlling these units A computer 16 is used, which is preferably arranged at a distance from the units 12 to 14 and can also be integrated into a computer network, as listed below. The outputs of the color camera 12 and the NIR spectrometer 13 are connected to corresponding inputs of the computer 16. The NIR sensor 14, which can also form an integral part of the NIR spectrometer 13, is connected to the NIR spectrometer for the transmission of measured values.
Der optische Abtastkopf 15 besteht aus einer an sich bekannten (Spiegel-)Linsenanordnung, die, beispielsweise motorisch angetrieben, derart verlagerbar ist, daß ein Erfassungsbereich 18 auf dem Förderband 7 punktweise abgetastet wird, wobei der abgetastete Meßpunkt in den NIR- Sensor eingegeben wird. In der Figur ist beispielsweise ein Meßpunkt mit der Bezugsziffer 19 bezeichnet. Der optische Abtastkopf 15 ist so ausgelegt, daß der Erfassungsbereich 18 Rechteckform hat, sich über die volle Breite des Förderbands 7 erstreckt und in Förderrichtung eine gegebene Länge aufweist. Typischerweise hat der Erfassungsbereich 18 einen Flächeninhalt von etwa 1 m2 , wenn ein Standard- Förderband einer Breite von 100 cm zum Einsatz gelangt.The optical scanning head 15 consists of a (mirror) lens arrangement known per se, which can be displaced, for example by a motor, in such a way that a detection area 18 is scanned point by point on the conveyor belt 7, the scanned measuring point being input into the NIR sensor. In the figure, for example, a measuring point is designated by the reference number 19. The optical scanning head 15 is designed such that the detection area 18 has a rectangular shape, extends over the full width of the conveyor belt 7 and has a given length in the conveying direction. Typically, the detection area 18 has an area of approximately 1 m 2 when a standard conveyor belt with a width of 100 cm is used.
Um die mit Hilfe des NIR-Spektrometers 13 mittels des Abtastkopfs 15 gewonnenen Meßwerte problemlos und aussagekräftig mit Meßwerten der Farbkamera 12 korrelieren zu können, entspricht der Erfassungsbereich 17 der Farbkamera 12 bezüglich seiner Form und Größe demjenigen des Erfassungsbereichs 18; d.h., auch der Erfassungsbereich 17 hat Rechteckform und erstreckt sich über die volle Breite des Förderbands 7. Damit zeichnet sich der Analysekomplex 1 durch zwei Erfassungsbereiche aus, einem Erfassungsbereich 17, in welchem die Gestalt und/oder Oberflächenbeschaffenheit und Lage von Objekten auf dem Förderband 7 erfaßt werden, und einem diesem Erfassungsbereich stromabwärts nachgeordneten Erfassungsbereich 18 zur Erfassung der Materialbeschaffenheit eben dieser Objekte.In order to be able to correlate the measurement values obtained with the aid of the scanning head 15 with the aid of the NIR spectrometer 13 easily and meaningfully with measurement values of the color camera 12, the detection area 17 of the color camera 12 corresponds in terms of its shape and size to that of the detection area 18; that is, the detection area 17 also has a rectangular shape and extends over the full width of the conveyor belt 7 Analysis complex 1 by two detection areas, a detection area 17, in which the shape and / or surface condition and position of objects on the conveyor belt 7 are detected, and a detection area 18 downstream of this detection area for detecting the material properties of precisely these objects.
Im Rechner 16 erfolgt eine Auswertung der Ausgangsdaten der Farbkamera 12 und der Ausgangsdaten des NIR-Spektrometers 13. Durch Anwenden eines Bildanalyseverfahrens können Objekte auf dem Bandförderer damit hinsichtlich Form, Größe, Buntheit, Textur und ähnlichem klassifiziert und lagemäßig erfaßt werden. Durch die NIR-Spektroskopie ist eine hohe spektrale Auflösung von z.B. bis zu 256 (512) Frequenzkanälen einer Breite von etwa 2 bis 4 nm an einem einzigen räumlichen Meßort möglich. Aus diesen Gesamtinformationen kann auf Materialeigenschaften am Meßort bzw. am Objekt geschlossen werden. Kombiniert man die räumliche Auflösung der Kamera 12 im sichtbaren Bereich mit einer schnellen Steuerung des NIR-Meßortes über den jeweiligen Erfassungsbereich 17 bis 18 von etwa 1 m2 kann eine NIR-Messung mit räumlicher Auflösung simuliert werden. Dies erbringt eine sehr sichere Objektlokalisierung und - Identifizierung, ohne daß vorab eine aufwendige Objektvereinzelung erforderlich wäre. Das heißt, eine Vorvereinzelung ist allenfalls insoweit erforderlich, als die Objekte in Draufsicht voneinander unterscheidbar sind.The output data of the color camera 12 and the output data of the NIR spectrometer 13 are evaluated in the computer 16. Using an image analysis method, objects on the belt conveyor can thus be classified and recorded in terms of shape, size, color, texture and the like. NIR spectroscopy enables a high spectral resolution of, for example, up to 256 (512) frequency channels with a width of approximately 2 to 4 nm at a single spatial measurement location. From this total information, material properties at the measuring location or at the object can be concluded. If the spatial resolution of the camera 12 is combined in the visible range with rapid control of the NIR measurement location over the respective detection range 17 to 18 of approximately 1 m 2 , an NIR measurement with spatial resolution can be simulated. This provides a very secure object localization and identification, without the need for complex object separation beforehand. This means that pre-separation is only necessary to the extent that the objects can be distinguished from one another in plan view.
Nachdem Objekte im Analysekomplex 1 lokalisiert und identifiziert wurden, erreichen sie nach Verlassen des Förderbands 7 die Verblasdüsenleiste 10 und werden durch die dort austretenden Luftstrahlen in Richtung des Pfeils 20 in eine Auffangvorrichtung 21 Verblasen, über der Förderstrecke angeordnet ist, und die verblasenen Objekte werden aus der Auffangvorrichtung 21 etwa über eine Rutsche oder einem Querförderer 21a ausgetragen.After objects in the analysis complex 1 have been localized and identified, they reach the blow-off nozzle strip 10 after leaving the conveyor belt 7 and are removed by The air jets escaping there in the direction of arrow 20 are blown into a collecting device 21, arranged above the conveying path, and the blown objects are discharged from the collecting device 21, for example via a slide or a cross conveyor 21a.
Die verbliebenen Objekte gelangen daraufhin auf das Förderband 8 des ersten Trennkomplexes 2. über dem Förderband 8 ist eine weitere Farbkamera 22 angeordnet, die ähnlich wie die Farbkamera 12 des Analysekomplexes 1 mit dem Rechner 16 verbunden ist und zur Erfassung eines Bereichs 23 auf dem Förderband 8 dient. Alternativ kann dem ersten Trennkomplex 2 (ebenso wie weiteren stromabwärti gen Trennkomplexen, wie z.B. dem Trennkomplex 3) ein eigener Rechner zugeordnet sein, der mit dem Rechner 16 vernetzt ist, wie vorstehend angesprochen. Dieser Erfassungsbereich 23 hat dieselbe Formgröße und Relativlage zu dem Förderband 8 wie die Erfassungsbereiche 17 und 18 zu dem Förderband 7 des ersten Analysekomplexes. Die im Rechner 16 verarbeiteten Erfassungsdaten von der Farbkamera 22 erlauben eine Erfassung der verbliebenen Objekte sowie gegebenenfalls deren Lageänderung. Durch Abgleichen dieser Daten mit den im Analysekomplex 1 gewonnenen Daten im Rechner 16 wird gewährleistet, daß die im Analysekomplex 1 erfolgte Bildanalyse automatisch "nachgehalten" wird, ohne daß eine erneute NIR-Spektroskopie erforderlich ist; vielmehr können die vorher gewonnenen und im Rechner 16 gespeicherten NIR-Werte genutzt und für einen weiteren Trennschritt herangezogen werden, der stromabwärts vom ersten Trennkomplex erfolgt, und zwar durch die Verblasdüsenleiste 11 zwischen dem Bandförderer 5 und dem Bandförderer 6. Mittels der Verblasdüsenleiste 11 werden gezielt Objekte in Richtung eines Pfeils 24 zu einer Auffangvorrichtung 25 und von dort über eine Rutsche bzw. einen Querförderer 25a ausgetragen .The remaining objects then arrive on the conveyor belt 8 of the first separation complex 2. A further color camera 22 is arranged above the conveyor belt 8, which is connected to the computer 16 similarly to the color camera 12 of the analysis complex 1 and for detecting an area 23 on the conveyor belt 8 serves. Alternatively, the first separation complex 2 (as well as further downstream separation complexes, such as, for example, the separation complex 3) can be assigned its own computer which is networked with the computer 16, as mentioned above. This detection area 23 has the same shape size and relative position to the conveyor belt 8 as the detection areas 17 and 18 to the conveyor belt 7 of the first analysis complex. The detection data from the color camera 22 processed in the computer 16 permit detection of the remaining objects and, if necessary, their change in position. By comparing this data with the data obtained in the analysis complex 1 in the computer 16, it is ensured that the image analysis carried out in the analysis complex 1 is automatically "tracked" without the need for renewed NIR spectroscopy; rather, the previously obtained and stored in the computer 16 NIR values can be used and used for a further separation step that takes place downstream of the first separation complex, namely through the blow nozzle bar 11 between the belt conveyor 5 and the belt conveyor 6. Objects are discharged in a targeted manner in the direction of an arrow 24 to a collecting device 25 and from there via a chute or a cross conveyor 25a by means of the blow nozzle bar 11.
Der zweite Trennkomplex 3 ist identisch zu dem ersten Trennkomplex 2 aufgebaut und weist demnach eine weitere Farbkamera 26 auf, die einen Bereich 27 auf dem Förderband 9 erfaßt, dessen Größe und Form denjenigen der vorausgehenden Erfassungsbereiche entspricht. Die Arbeitsweise des zweiten Trennkomplexes 3 entspricht derjenigen der Arbeitsweise des vorstehend erläuterten ersten Trennkomplexes mit dem Unterschied, daß die Bildbezugsdaten als Bezugsdaten verwendet werden, die von der Farbkamera 22 des ersten Trennkomplexes erfaßt wurden, anstatt die Daten, die von der Farbkamera 12 des Analysekomplexes bereitgestellt wurden.The second separation complex 3 is constructed identically to the first separation complex 2 and accordingly has a further color camera 26 which captures an area 27 on the conveyor belt 9, the size and shape of which corresponds to that of the preceding detection areas. The operation of the second separation complex 3 corresponds to that of the first separation complex explained above, with the difference that the image reference data are used as reference data, which were acquired by the color camera 22 of the first separation complex, instead of the data provided by the color camera 12 of the analysis complex were.
Die vorstehend erläuterte erfindungsgemäße Vorrichtung ist nicht auf die dargestellte Anlage mit lediglich drei Trennkomplexen beschränkt. Vielmehr können den jeweiligen Erfordernissen entsprechend auch mehr Trennkomplexe oder lediglich ein einziger Trennkomplex zum Einsatz gelangen.The device according to the invention explained above is not limited to the system shown with only three separation complexes. Rather, depending on the particular requirements, more separation complexes or only a single separation complex can be used.
Es ist auch nicht zwingend erforderlich, daß es sich bei den Kameras 12, 22 und 26 um Farbkameras handelt; vielmehr können gegebenenfalls auch Schwarzweiß-Kameras zum Einsatz gelangen . It is also not absolutely necessary that the cameras 12, 22 and 26 are color cameras; rather, black and white cameras can also be used if necessary.

Claims

Patentansprüche claims
Verfahren zum Identifizieren und Sortieren von bandgeförderten Objekten, insbesondere zur Müllsortierung, bei dem die Material beschaffenheit der Objekte mittels eines NIR-Meßgeräts (13) spektroskopisch erfaßt wird und die Sortierung in Abhängigkeit des Spektroskopieergebnisses durch Entfernen von Objekten vom Förderband (7, 8, 9) erfolgt, dadurch gekennzeichnet, daß vor der Material beschaffenheit die Gestalt und/oder Oberflächenbeschaffenheit der Objekte und ihre Lage auf dem Förderband (7, 8, 9) erfaßt (12) werden, daß die Objekte durch den Meßpunkt (19) des NIR-Meßgeräts (13) in Abhängigkeit von zumindest deren Lage abgetastet und vom Förderband (7, 8, 9) entfernt werden .Method for identifying and sorting belt-conveyed objects, in particular for sorting waste, in which the material properties of the objects are detected spectroscopically using an NIR measuring device (13) and the sorting as a function of the spectroscopic result by removing objects from the conveyor belt (7, 8, 9 ), characterized in that the shape and / or surface condition of the objects and their position on the conveyor belt (7, 8, 9) are recorded (12) before the material quality, that the objects through the measuring point (19) of the NIR Measuring device (13) depending on at least their position can be scanned and removed from the conveyor belt (7, 8, 9).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Lage der Objekte, deren Material beschaffenheit erfaßt (12) und abgespeichert wurde, nach einem ersten Objektentfernungsvorgang zumindest ein weiteres Mal erfaßt (22, 36) wird.Method according to Claim 1, characterized in that the position of the objects, the material properties of which have been recorded (12) and saved, is recorded (22, 36) at least once after a first object removal process.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Oberflächenbeschaffenheit erfaßt wird.Method according to Claim 1 or 2, characterized in that, in addition to the position of the objects, their surface condition is also recorded.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Gestalt erfaßt wird. Method according to Claim 1, 2 or 3, characterized in that, in addition to the position of the objects, their shape is also detected.
5. Verfahren nach Anspruch 1, 2, 3 oder 4, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Größe erfaßt wird.5. The method according to claim 1, 2, 3 or 4, characterized in that in addition to the location of the objects, their size is also detected.
6. Verfahren nach einem der Ansprüche 3, 4 oder 5, dadurch gekennzeichnet, daß die Daten, die bei der Erfassung der Lage und Gestalt und/oder Oberflächenbeschafenheit und/oder Größe gewonnen werden einer Bildverarbeitung (16) zugeführt und die derart verarbeiteten Daten mit Daten über die Materialbeschaffenheit verknüpft werden.6. The method according to any one of claims 3, 4 or 5, characterized in that the data obtained in the detection of the position and shape and / or surface texture and / or size of an image processing (16) and the data processed in this way with Data about the material properties are linked.
7. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, wobei das NIR-Meßgerät (13) an einer ersten Erfassungsstelle (18) über dem Förderband (7) angeordnet ist, welcher zumindest eine Trennstelle (10) zum Entfernen von Objekten vom Förderband (7) nachgeordnet ist, dadurch gekennzeichnet, daß stromaufwärts von der ersten Erfassungsstelle (18) eine Einrichtung (129) zum optischen Erfassen der Objekte in einer zweiten Erfassungsstelle (17) angeordnet ist, und daß dem NIR-Gerät (13) eine Einrichtung (15) zum abtastenden Bewegen seines Meßpunkts (19) über die Objekte auf dem Förderband (7) in Abhängigkeit von den Erfassungsergebnissen der optischen Objekterfassung vorgesehen ist.7. Device for performing the method according to one of claims 1 to 6, wherein the NIR measuring device (13) is arranged at a first detection point (18) above the conveyor belt (7), which has at least one separation point (10) for removing objects is arranged downstream of the conveyor belt (7), characterized in that a device (129) for optically detecting the objects in a second detection point (17) is arranged upstream from the first detection point (18), and in that the NIR device (13) has one Device (15) is provided for scanning its measuring point (19) over the objects on the conveyor belt (7) depending on the detection results of the optical object detection.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Abtasteinrichtung (15) eine Spiegelanordnung zum Führen des Meßpunkts des NIR-Geräts (13) über die Objekte aufweist.8. The device according to claim 7, characterized in that the scanning device (15) has a mirror arrangement for guiding the measuring point of the NIR device (13) over the objects.
9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß eine Einrichtung (16) zur Bildverarbeitung bzw. -erkennung vorgesehen ist, welche Meßsignale der Einrichtung (12) zum optischen Erfassen von Objekten verarbeitet, um zumindest die Lage der Objekte auf dem Förderband (7) zu erfassen, und daß eine Einrichtung (16) vorgesehen ist, um Daten betreffend die Objektlage mit den Meßergebnissen des NIR-Geräts (13) zu verknüpfen.9. The device according to claim 7 or 8, characterized in that a device (16) for Image processing or recognition is provided, which processes measurement signals of the device (12) for optically detecting objects in order to at least detect the position of the objects on the conveyor belt (7), and that a device (16) is provided for relating data to link the object position with the measurement results of the NIR device (13).
10. Vorrichtung nach Anspruch 7, 8 oder 9, dadurch gekennzeichnet, daß der Trennstelle (10) zumindest eine weitere Trennstelle (11) nachgeordnet ist, stromabwärts von welcher in einer dritten Erfassungsstelle (23) eine weitere Einrichtung (22) zum optischen Erfassen von Objekten angeordnet ist, und daß deren Erfassungsergebnisse mit den Lagedaten der Objekte abgeglichen werden.10. The device according to claim 7, 8 or 9, characterized in that the separation point (10) is followed by at least one further separation point (11), downstream of which in a third detection point (23) a further device (22) for optical detection of Objects is arranged, and that their detection results are compared with the location data of the objects.
11. Vorrichtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, daß die Einrichtung(en) (12, 22, 26) zum optischen Erfassen von Objekten eine Kamera ist.11. Device according to one of claims 7 to 10, characterized in that the device (s) (12, 22, 26) for optically detecting objects is a camera.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Kamera eine Farbbildkamera ist.12. The apparatus according to claim 11, characterized in that the camera is a color image camera.
13. Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, daß die Kamera eine Videokamera ist. GEÄNDERTE ANSPRÜCHE13. The apparatus according to claim 11 or 12, characterized in that the camera is a video camera. CHANGED REQUIREMENTS
[beim Internationalen Büro am 1 1 Mai 1999 (11.05.99) eingegangen; ursprüngliche Ansprüche 12 und 13 gestrichen; ursprüngliche[Received at the International Bureau on May 1, 1999 (May 11, 1999); original claims 12 and 13 deleted; original
Ansprüche 1, 6, 7 und 8 geändert; alle weiterenClaims 1, 6, 7 and 8 amended; all further
Ansprüche unverändert (2 Seiten)]Claims unchanged (2 pages)]
1. Verfahren zum Identifizieren und Sortieren von bandgeförderten Objekten, insbesondere zur Müllsortierung, bei dem die Materialbeschaffenheit der Objekte mittels eines NIR- Meßgeräts (13) spektroskopisch erfaßt wird und die Sortierung in Abhängigkeit des Spektroskopieergebnisses durch Entfernen von Objekten vom Förderband (7, 8, 9) erfolgt, dadurch gekennzeichnet, daß das Förderband (7, 8, 9) in einem vorbestimmten Bereich (17) über seine gesamte Breite abgetastet wird, um jedes der in diesem Bereich (17) befindlichen Objekte zu identifizieren, indem die Gestalt und/oder Oberflächenbeschaffenheit der Objekte und ihre Lage auf dem Förderband (7. 8. 9) erfaßt (12) werden, daß die Objekte durch den Meßpunkt (19) des NIR-Meßgeräts (13) in Abhängigkeit von zumindest deren zuvor erfaßter Lage abgetastet und vom Förderband (7, 8, 9) entfernt werden.1. A method for identifying and sorting belt-conveyed objects, in particular for sorting waste, in which the material properties of the objects are detected spectroscopically using an NIR measuring device (13) and the sorting as a function of the spectroscopic result by removing objects from the conveyor belt (7, 8, 9), characterized in that the conveyor belt (7, 8, 9) is scanned in a predetermined area (17) over its entire width in order to identify each of the objects located in this area (17) by the shape and / or surface condition of the objects and their position on the conveyor belt (7. 8. 9) are detected (12) that the objects are scanned by the measuring point (19) of the NIR measuring device (13) as a function of at least their previously detected position and by the Conveyor belt (7, 8, 9) are removed.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Lage der Objekte, deren Materialbeschaffenheit erfaßt (12) und abgespeichert wurde, nach einem ersten Objektentfernungsvorgang zumindest ein weiteres Mal erfaßt (22, 36) wird.2. The method according to claim 1, characterized in that the position of the objects, the material properties detected (12) and saved, is detected at least one more time after a first object removal process (22, 36).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Oberflächenbeschaffenheit erfaßt wird.3. The method according to claim 1 or 2, characterized in that in addition to the location of the objects, their surface condition is detected.
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Gestalt erfaßt wird.4. The method according to claim 1, 2 or 3, characterized in that in addition to the position of the objects, their shape is also detected.
5. Verfahren nach Anspruch 1, 2, 3 oder 4, dadurch gekennzeichnet, daß zusätzlich zur Lage der Objekte auch deren Größe erfaßt wird.5. The method according to claim 1, 2, 3 or 4, characterized in that in addition to the location of the objects, their size is also detected.
6. Verfahren nach einem der Ansprüche 3, 4 oder 5, dadurch gekennzeichnet, daß die Daten, die bei der Erfassung der Lage und Gestalt und/oder Oberflächenbeschaffenheit und/oder Größe gewonnen werden, einer Bildverarbeitung (16) zugeführt und die derart verarbeiteten Daten mit Daten über die Materialbeschaffenheit verknüpft werden.6. The method according to any one of claims 3, 4 or 5, characterized in that the data obtained in the detection of the position and shape and / or surface quality and / or size, an image processing (16) and the data processed in this way linked with data on the material properties.
7. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, wobei das NIR-Meßgerät (13) an einem ersten Erfassungsbereich (18) über dem Förderband (7) angeordnet ist, welcher zumindest eine Trennstelle (10) zum Entfernen von Objekten vom Förderband (7) nachgeordnet ist, dadurch gekennzeichnet, daß stromaufwärts von dem ersten Erfassungsbereich (18) eine Einrichtung (12) zum optischen Erfassen der Objekte in einem zweiten Erfassungsbereich (17) angeordnet ist, und daß dem NIR-Gerät (13) eine Einrichtung (15) zum abtastenden Bewegen seines Meßpunkts (19) über die Objekte auf dem Förderband (7) in Abhängigkeit von den Erfassungsergebnissen der optischen Objekterfassung zugeordnet ist.7. Device for performing the method according to one of claims 1 to 6, wherein the NIR measuring device (13) at a first detection area (18) above the conveyor belt (7) is arranged, which is followed by at least one separation point (10) for removing objects from the conveyor belt (7), characterized in that upstream of the first detection area (18) there is a device (12) for optically detecting the objects in a second detection area (17 ) and that the NIR device (13) is assigned a device (15) for the scanning movement of its measuring point (19) over the objects on the conveyor belt (7) in dependence on the detection results of the optical object detection.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Abtasteinrichtung8. The device according to claim 7, characterized in that the scanning device
(15) eine Spiegelanordnung zum Führen des Meßpunkts des NIR-Geräts (13) über dem Erfassungsbereich (18) aufweist.(15) has a mirror arrangement for guiding the measuring point of the NIR device (13) over the detection area (18).
9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß eine Einrichtung9. The device according to claim 7 or 8, characterized in that a device
(16) zur Bildverarbeitung bzw. -erkennung vorgesehen ist, welche Meßsignale der Einrichtung (12) zum optischen Erfassen von Objekten verarbeitet, um zumindest die Lage der Objekte auf dem Förderband (7) zu erfassen, und daß eine Einrichtung (16) vorgesehen ist, um Daten betreffend die Objektlage mit den Meßergebnissen des NIR-Geräts (13) zu verknüpfen.(16) is provided for image processing or recognition, which processes measurement signals from the device (12) for optically detecting objects in order to at least detect the position of the objects on the conveyor belt (7), and that a device (16) is provided to link data relating to the object position with the measurement results of the NIR device (13).
10. Vorrichtung nach Anspruch 7, 8 oder 9, dadurch gekennzeichnet, daß der Trennstelle (10) zumindest eine weitere Trennstelle (11) nachgeordnet ist, stromabwärts von welcher in einer dritten Erfassungsstelle (23) eine weitere Einrichtung (22) zum optischen Erfassen von Objekten angeordnet ist, und daß deren Erfassungsergebnisse mit den Lagedaten der Objekte abgeglichen werden.10. The device according to claim 7, 8 or 9, characterized in that the separation point (10) is followed by at least one further separation point (11), downstream of which in a third detection point (23) a further device (22) for optical detection of Objects is arranged, and that their detection results are compared with the location data of the objects.
11. Vorrichtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, daß die Einrichtung(en) (12, 22, 26) zum optischen Erfassen von Objekten eine Kamera ist. Erklärung nach Artikel 1911. Device according to one of claims 7 to 10, characterized in that the device (s) (12, 22, 26) for optically detecting objects is a camera. Declaration in accordance with Article 19
Anspruch 1 wurde zur besseren Abgrenzung gegenüber der WO94/25186 dahingehend klargestellt, daß das Förderband in einem vorbestimmten Bereich über seine gesamte Breite abgetastet wird, um jedes der in diesem Bereich befindlichen Objekte zu identifizieren. Abhängig von dieser Identifikation wird die NIR-Messung am einzelnen Objekt auf einem Meßbereich des Förderbandes durchgeführt. Das neue Merkmal ist auf Seite 8, Zeilen 25 bis 32, der ursprünglich eingereichten Unterlagen offenbart.Claim 1 was clarified to better differentiate it from WO94 / 25186 in that the conveyor belt is scanned in a predetermined area over its entire width in order to identify each of the objects located in this area. Depending on this identification, the NIR measurement is carried out on the individual object on a measuring area of the conveyor belt. The new feature is disclosed on page 8, lines 25 to 32 of the documents originally filed.
In Anspruch 6 sind Schreibfehler korrigiert.In claim 6, spelling errors are corrected.
Entsprechend dem Anspruch 1 ist in Anspruch 7 klargestellt, daß auf (größeren) Erfassungsbereichen des Förderbandes abgetastet bzw. erfaßt wird. In Übereinstimmung mit Seite 9, Zeilen 1 bis 7, der ursprünglich eingereichten Unterlagen ist daher im Anspruch 7 von einem ersten und zweiten Erfassungsbereich dieRede.According to claim 1, claim 7 clarifies that scanning is carried out on (larger) detection areas of the conveyor belt. In accordance with page 9, lines 1 to 7, the originally submitted documents is therefore the speech in claim 7 of a first and second coverage.
In entsprechender Klarstellung wurde in Anspruch 8 formuliert, daß der Meßpunkt des NIR- Geräts über den Erfassungsbereich geführt wird.In a corresponding clarification it was formulated in claim 8 that the measuring point of the NIR device is guided over the detection range.
Bei dem Sortierverfahren der WO94/25186 werden Kunststoffteile bereits vereinzelt in Fächern angeordnet an einem Stofferkennungssystem vorbeigeführt. Die gewonnene Positionsinformation wird ausschließlich dazu benutzt, durch Etiketten, Metallprägungen oder dergleichen nicht gestörte Stellen auf einem Objekt zu erfassen, so daß die Bestimmung der Stoffsorte auf ungestörte Stellen beschränkt werden kann.In the sorting process of WO94 / 25186, plastic parts are already arranged in compartments and guided past a substance detection system. The position information obtained is used exclusively to detect areas on an object which are not disturbed by labels, metal embossing or the like, so that the determination of the type of substance can be restricted to undisturbed areas.
Diese Würdigung der WO94/25186 sollte den die Seiten 1 und 2 überbrückenden Absatz der ursprünglich eingereichten Beschreibung ersetzen.This appreciation of WO94 / 25186 should replace the paragraph bridging pages 1 and 2 of the originally filed description.
Durch die flächige Bilderfassung beim Verfahren gemäß der vorliegenden Anmeldung ist eine aufwendige Vorvereinzelung nicht mehr erforderlich. Due to the areal image acquisition in the method according to the present application, a complex pre-separation is no longer necessary.
EP98961191A 1997-11-22 1998-11-13 Method and device for identifying and sorting objects conveyed on a belt Expired - Lifetime EP1030740B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19751862A DE19751862C2 (en) 1997-11-22 1997-11-22 Method and device for identifying and sorting belt-conveyed objects
DE19751862 1997-11-22
PCT/EP1998/007267 WO1999026734A1 (en) 1997-11-22 1998-11-13 Method and device for identifying and sorting objects conveyed on a belt

Publications (2)

Publication Number Publication Date
EP1030740A1 true EP1030740A1 (en) 2000-08-30
EP1030740B1 EP1030740B1 (en) 2001-10-17

Family

ID=7849564

Family Applications (1)

Application Number Title Priority Date Filing Date
EP98961191A Expired - Lifetime EP1030740B1 (en) 1997-11-22 1998-11-13 Method and device for identifying and sorting objects conveyed on a belt

Country Status (8)

Country Link
EP (1) EP1030740B1 (en)
JP (1) JP2001523574A (en)
AT (1) ATE206961T1 (en)
AU (1) AU1669999A (en)
CA (1) CA2310838A1 (en)
DE (1) DE19751862C2 (en)
ES (1) ES2166193T3 (en)
WO (1) WO1999026734A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011295974B2 (en) * 2010-08-31 2015-05-07 Sicpa Holding Sa Inline spectroscopic reader and methods

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19956624A1 (en) * 1999-11-25 2001-06-07 Der Gruene Punkt Duales Syst Method and device for the automatic sorting of films
DE10024309A1 (en) * 2000-05-17 2001-11-29 Der Gruene Punkt Duales Syst Method and device for the dry separation of collective waste with packaging waste
DE10050739C1 (en) * 2000-10-13 2002-02-28 Sim Automation Gmbh & Co Kg Re-orientation of device for loose items handles by industrial robot has sorting plate operated via setting piston for re-orientation and loosening of handled items
ITFO20010019A1 (en) * 2001-08-07 2003-02-07 Gabriele Canestrini SYSTEM AND MEANS FOR SELECTING DIFFERENT PRODUCTS AND RECYCLABLE WASTE.
DE10156157A1 (en) * 2001-11-15 2003-05-28 Bsh Bosch Siemens Hausgeraete Method and device for identifying an object
US20060070928A1 (en) * 2002-01-16 2006-04-06 Odd Lovhaugen Method and apparatus for identifying and sorting objects
DE10245167B4 (en) * 2002-09-26 2004-10-21 Wincor Nixdorf International Gmbh Device for sorting waste
EP2110187B1 (en) 2002-11-21 2013-02-27 Titech Visionsort As Method for identifying, classifying and sorting objects and materials and a recognition system for carrying out this method
DE10258599A1 (en) * 2002-12-14 2004-06-24 Massen, Robert, Prof. Dr.-Ing. Quality control method for streams of pneumatically transported fibrous and textile material in an unwoven state for identification of color or other impurities using a single chip color camera with a self-teach phase
DE10326152A1 (en) * 2003-06-06 2005-01-05 Aventis Pharma Deutschland Gmbh Method and device for the quantitative analysis of solutions and dispersions by means of near-infrared spectroscopy
GB0322043D0 (en) * 2003-09-20 2003-10-22 Qinetiq Ltd Apparatus for,and method of,classifying objects in waste stream
GB0404617D0 (en) 2004-03-02 2004-04-07 Qinetiq Ltd Sorting apparatus
US20060178774A1 (en) * 2005-02-10 2006-08-10 Dan Reznik Sortation platforms with in-bulk identification and continuous tracking of items
DE102005061937B4 (en) * 2005-12-23 2012-03-01 Egn Entsorgungsgesellschaft Niederrhein Mbh Method and device for separating metal / plastic composites, preferably boards, for the recycling of old electrical appliances
JP5433182B2 (en) * 2008-08-04 2014-03-05 東急建設株式会社 Waste material discrimination method and material discrimination device
DE102010014026B4 (en) 2009-04-07 2020-09-24 TUBIS License Management GmbH High temperature mixer with gas-free entry
DE102009036626A1 (en) * 2009-08-07 2011-02-10 Siemens Aktiengesellschaft Method and device for transporting objects to image-pattern-dependent destination points
NL2005216C2 (en) * 2010-08-11 2012-02-20 Optiserve B V SORTING DEVICE AND METHOD FOR SEPARATING PRODUCTS IN A BULK FLOW OF NON-HOMOGENIC PRODUCTS.
JP5629362B2 (en) * 2013-10-15 2014-11-19 東急建設株式会社 Waste material discrimination method and material discrimination device
CN106216219B (en) * 2016-10-11 2018-09-18 山东为华智能设备制造有限公司 A kind of visual identity coal and gangue and the system detached with manipulator
SE543185C2 (en) 2018-05-02 2020-10-20 Envac Optibag Ab Combined sorting of waste containers and materials
CN108971190B (en) * 2018-06-25 2021-12-28 大连大学 Machine vision-based household garbage sorting method
CN110182488A (en) * 2019-05-23 2019-08-30 广州普慧环保科技股份有限公司 A kind of Intelligent separated formula garbage deployment device
WO2021046854A1 (en) * 2019-09-14 2021-03-18 南京大学（溧水）生态环境研究院 Big data-based kitchen waste classification method
WO2021046851A1 (en) * 2019-09-14 2021-03-18 南京大学（溧水）生态环境研究院 Method for identification and classification of kitchen waste
CN112918969B (en) * 2021-01-21 2022-05-24 浙江万里学院 Mobile garbage classification logistics sorting method
CN113560215A (en) * 2021-08-02 2021-10-29 苏州大航海创新科技有限公司 Logistics sorting system based on two-dimensional code recognition
CN113770059A (en) * 2021-09-16 2021-12-10 中冶东方工程技术有限公司 Intelligent sorting system and method for steel structure parts
DE102022102016A1 (en) * 2022-01-28 2023-08-03 Stadler Anlagenbau Gmbh Process for operating a waste sorting plant

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4305006A1 (en) * 1992-03-23 1993-09-30 Buehler Ag Automatic handling, sorting and sepn. of waste material - preliminarily sorts by size, density or volume and secondarily identifies by spectrographic analysis, for reclaiming recyclable items
DE59400954D1 (en) * 1993-04-30 1996-12-05 Robert Prof Dr Ing Massen METHOD AND DEVICE FOR SORTING MATERIAL PARTS
DE4320331A1 (en) * 1993-06-20 1994-12-22 Robert Prof Dr Ing Massen Flexible optical sorting of hollow bodies
DE19501996C2 (en) * 1995-01-11 1996-12-12 Mannesmann Ag Control for conveyor systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO9926734A1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011295974B2 (en) * 2010-08-31 2015-05-07 Sicpa Holding Sa Inline spectroscopic reader and methods
US9261403B2 (en) 2010-08-31 2016-02-16 Sicpa Holding Sa Inline spectroscopic reader and methods

Also Published As

Publication number Publication date
DE19751862A1 (en) 1999-05-27
JP2001523574A (en) 2001-11-27
ES2166193T3 (en) 2002-04-01
EP1030740B1 (en) 2001-10-17
CA2310838A1 (en) 1999-06-03
DE19751862C2 (en) 2002-09-19
ATE206961T1 (en) 2001-11-15
WO1999026734A1 (en) 1999-06-03
AU1669999A (en) 1999-06-15

Similar Documents

Publication Publication Date Title
DE19751862C2 (en) Method and device for identifying and sorting belt-conveyed objects
EP0696236B1 (en) Process and device for sorting materials
EP0995108B1 (en) Method for the automatic recognition of surface defects in body shells and device for carrying out said method
DE69628929T2 (en) Method and machine for reading and mapping an optical code
EP1048363B1 (en) Method and apparatus for sorting waste paper
DE19519861C2 (en) Method and device for detecting and removing foreign objects
DE4129754C2 (en) Process for the recovery of pure plastic fractions
DE102005018855B4 (en) Apparatus for inspecting printed products
EP3275313A1 (en) Device for detecting and evaluating product-specific information of products of the food processing industry, and system comprising such a device and method of processing products of the food processing industry
EP0268119B1 (en) Belt polishing machine
DD152870A1 (en) METHOD AND DEVICE FOR CLASSIFYING MOVING MATERIALS
DE2921862A1 (en) MACHINE FOR AUTOMATIC QUALITY CONTROL OF FRESHLY PRINTED BANKNOTES AND SECURITIES
DE19607258A1 (en) Object size and/or position determination device
EP2110187B1 (en) Method for identifying, classifying and sorting objects and materials and a recognition system for carrying out this method
EP0661108B1 (en) Method for optically sorting bulk material
DE19852369C1 (en) Apparatus for continually checking cylindrical test pieces e.g. bottle closures for manufacturing faults and picking out those with faults
DE4130399A1 (en) Automatic window technique for object detection - reducing processing time for object orientation measurement by using only part for comparison with stored data
DE29724853U1 (en) Method and equipment for identifying and sorting objects transported on belt conveyor
EP0426893A1 (en) Method and device for sorting
AT1959U1 (en) METHOD FOR SORTING WASTE PAPER
EP1862309B1 (en) Sensor device
DE4222984A1 (en) Automatic coin sorting appts. for coin mfr. - has coin distribution and alignment device, illumination unit, image analyser and rejection device
EP0893516A1 (en) Method and apparatus for place related identification of foreign matters in fiber bales, especially cotten bales
DE19732831A1 (en) Method and device for scanning a preferably textile web
EP0597178A2 (en) Method and device for indentifying objects

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20000321

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH ES FR GB IT LI

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

17Q First examination report despatched

Effective date: 20010613

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH ES FR GB IT LI

REF Corresponds to:

Ref document number: 206961

Country of ref document: AT

Date of ref document: 20011115

Kind code of ref document: T

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: GB

Ref legal event code: IF02

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20020105

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: BUECHEL, KAMINSKI & PARTNER PATENTANWAELTE ESTABLI

ET Fr: translation filed
REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2166193

Country of ref document: ES

Kind code of ref document: T3

PLBQ Unpublished change to opponent data

Free format text: ORIGINAL CODE: EPIDOS OPPO

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

PLBF Reply of patent proprietor to notice(s) of opposition

Free format text: ORIGINAL CODE: EPIDOS OBSO

26 Opposition filed

Opponent name: UHLMANN VISIOTEC GMBH

Effective date: 20020716

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: TITECH VISIONSORT GMBH

RIN2 Information on inventor provided after grant (corrected)

Free format text: TITECH VISIONSORT GMBH

PLBF Reply of patent proprietor to notice(s) of opposition

Free format text: ORIGINAL CODE: EPIDOS OBSO

PLBP Opposition withdrawn

Free format text: ORIGINAL CODE: 0009264

PLBD Termination of opposition procedure: decision despatched

Free format text: ORIGINAL CODE: EPIDOSNOPC1

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: TITECH VISIONSORT GMBH

Free format text: PRIESE, LUTZ#HOHENZOLLERNSTRASSE 111#56068 KOBLENZ (DE) -TRANSFER TO- TITECH VISIONSORT GMBH#RUEBENACHER STRASSE 199#56027 KOBLENZ (DE)

PLBM Termination of opposition procedure: date of legal effect published

Free format text: ORIGINAL CODE: 0009276

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: OPPOSITION PROCEDURE CLOSED

27C Opposition proceedings terminated

Effective date: 20030817

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: TITECH VISIONSORT GMBH

Free format text: TITECH VISIONSORT GMBH#RUEBENACHER STRASSE 199#56027 KOBLENZ (DE) -TRANSFER TO- TITECH VISIONSORT GMBH#RUEBENACHER STRASSE 199#56027 KOBLENZ (DE)

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20101110

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20101110

Year of fee payment: 13

Ref country code: IT

Payment date: 20101111

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20111114

Year of fee payment: 14

Ref country code: FR

Payment date: 20111118

Year of fee payment: 14

Ref country code: ES

Payment date: 20111216

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20111114

Year of fee payment: 14

BERE Be: lapsed

Owner name: *PRIESE LUTZ

Effective date: 20121130

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 206961

Country of ref document: AT

Kind code of ref document: T

Effective date: 20121113

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20121113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121113

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20130731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121130

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121113

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20140305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121114