EP3122479A1 - Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren - Google Patents

Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren

Info

Publication number
EP3122479A1
EP3122479A1 EP15705786.0A EP15705786A EP3122479A1 EP 3122479 A1 EP3122479 A1 EP 3122479A1 EP 15705786 A EP15705786 A EP 15705786A EP 3122479 A1 EP3122479 A1 EP 3122479A1
Authority
EP
European Patent Office
Prior art keywords
objects
determined
conveyor system
location
different times
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15705786.0A
Other languages
English (en)
French (fr)
Other versions
EP3122479B1 (de
Inventor
Robin Gruna
Kai-Uwe Vieth
Henning Schulte
Thomas Längle
Uwe Hanebeck
Marcus Baum
Benjamin NOACK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP3122479A1 publication Critical patent/EP3122479A1/de
Application granted granted Critical
Publication of EP3122479B1 publication Critical patent/EP3122479B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425—Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04—Sorting according to size
    • B07C5/10—Sorting according to size measured by light-responsive means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0018—Sorting the articles during free fall

Definitions

  • Automatic bulk material sorting enables the use of digital image acquisition and image processing to separate high-throughput solids into distinct fractions (such as good and bad fractions) using optically detectable features.
  • belt sorting systems which use cellular imaging sensors (eg line scan cameras) for image acquisition.
  • the image acquisition by the line sensor takes place on the conveyor belt or in front of a problem-adapted background and synchronous to the tape movement.
  • the removal of material from a fraction is generally carried out by a pneumatic blow-out unit or by a mechanical ejection device (cf., for example, H. Demmer "Optical Sorting Systems", BHM No.
  • Conveyor belt material transport can also be done by free fall or in a controlled air flow. Due to structural limitations as well as the required computing time for the image evaluation in a computer, the observation time of an object to be rejected, which is referred to below as t 0 , do not coincide with the discharge or Ausblasus.
  • the blow-out unit is therefore spatially separated from the line of sight of the line scan camera. For a correct discharge of a bad object, therefore, the blow-off time (hereinafter referred to as tb or, as estimated, tb) and also the position of the object to be knocked out (hereinafter referred to as Xb (tb) or, as estimated, as Xb (tb) is estimated).
  • the bold "x" characterizes that it is generally a multidimensional spatial position, with the designation x being used as an alternative thereto in the following, however, the estimates made in the prior art assume that the object to be bled out does not have its own relative motion having the band and thus moves with the velocity vector Vband the conveyor belt.
  • the Ausschleusungszeittician tb and the Ausschleusungsort Xb (tb) are then passed through a linear prediction based on the speed vector of the conveyor belt Vb of d and the measured object position x (t 0) at time of observation t 0 estimated.
  • their positions can also be determined at different times. As a rule, however, the same points in time at which their respective positional positions are determined are selected for all objects (the times are, for example, determined by the time of the
  • Capture camera images of an optical capture unit of the system specified For different objects, the defined points in time, for each of which the location of the respective object is calculated (based on the location positions already associated with this object), may be different. However, the respective whereabouts can also be computable or predictable for one and the same later date for all detected objects. According to the invention, a prediction is thus made possible in order to estimate the spatial position of each detected object at a point in time - as seen from the time of the last spatial position determination of this object - in the future.
  • the individual objects can be subjected to image processing methods known per se to a person skilled in the art (for example, a captured camera image of the objects can undergo image preprocessing such as edge detection and segmentation is subsequently performed) in (usually digital) generated during optical detection.
  • Image recordings of the material flow or the objects are localized therein, identified and distinguished from each other, to determine the spatial positions of a defined object at the different times and thus to track the path of this object (object tracking).
  • a movement path for the object can be determined for each object from the spatial positions of this object determined at different times. For example, on the basis of this movement path, the future location can then be estimated or calculated (if appropriate, on the basis of a movement model determined or selected with the movement path or the individual object positions at different times for the object being viewed).
  • the individual objects in the material flow can be identified and based on the position of an object repeatedly determined at different times, its location can be determined with high precision at a point in time in the near future (for example shortly after leaving the conveyor belt at the level of the blow-out unit).
  • the conveyor system according to the invention may have a conveyor unit, which may be a conveyor belt.
  • the determination of such movement paths is also referred to below as "object tracking.”
  • the movement paths are preferably determined computer-aided in a computer system of the conveyor system, that is to say microprocessor-based.
  • a motion model selected for an object can serve to model future object movements of this object.
  • the movement models can be stored in a database in the memory of the computer system of the conveyor system.
  • Such a motion model may include equations of motion, their parameters by regression methods (for example least-squares method, least-squares-fit) or by a Kalman filter extended by a parameter identification on the basis of the specific positional positions or the particular motion path of the respective object are determinable. It is possible to select the movement model only after the presence of all recorded and determined during the optical detection position positions of an object.
  • the movement model can be selected or changed in real time during the recording of the individual images for successive determination of the individual location positions (ie, while the individual image recordings are still being performed, it is possible to switch to another movement model for the object being viewed if, for example, a fit method shows that this other movement model more accurately reflects the movement of the object).
  • the classification does not have to be based on or using the spatial positions determined during the optical detection (in particular: from the successive camera shots) (even if the information On the specific location positions can be advantageous in the classification, see also below).
  • the classification of an object identified on the basis of its location positions at different points in time or movement path can also be carried out purely on the basis of geometric features (eg outline or shape) of this object, the geometrical features being determined by suitable image processing methods (eg image preprocessing such as edge detection with subsequent segmentation ) can be determined from the images obtained during the optical detection.
  • the classification can take place in exactly two classes, a class of good objects and a class of bad objects (which are to be removed).
  • the classification can thus be done on the basis of the optical recording of recorded images of the objects, by evaluating these images with suitable image processing methods and thus, for example
  • Object shape, object position and / or object orientation is determined at different times.
  • the pose or spatial position of an object is understood as the combination of its spatial position (or the position of its center of gravity) and its orientation. This may be a two-dimensional position (for example relative to the plane of a conveyor belt of the conveyor system - the coordinate perpendicular to it is then ignored) but also a three-dimensional position, ie the spatial position and orientation of the three-dimensional object in space.
  • the particular two-dimensional spatial position is preferably the position in the plane of a moving conveyor belt, but relative to the immovable elements of the conveyor system.
  • a position determination can be made in the immobile world coordinate system in which not only the immovable elements of the conveyor system rest
  • the optical detection device camera.
  • this orientation information determined in this way can be used to calculate the whereabouts at the defined time (s) after the latest of the different times.
  • the specific orientations can also be included in the determination of the movement paths.
  • the determination of the movement model (s) and / or the classification of the objects can also take place with the additional use of the determined orientation information.
  • the surface sensor (s) may in particular be a camera (s).
  • a camera Preferably CCD cameras can be used, also the use of CMOS sensors is possible. Further advantageously realizable features are described in claim 8.
  • the shape of this / these objects (s) can be determined via image processing measures (eg image preprocessing such as edge detection with subsequent segmentation and subsequent object tracking algorithm).
  • image processing measures eg image preprocessing such as edge detection with subsequent segmentation and subsequent object tracking algorithm.
  • the dreidi- Mental image of an object can be obtained by suitable algorithms
  • FIG. 1 shows a basic example of a system according to the invention for bulk material sorting using a conveyor system according to the invention.
  • FIGS 2 to 4 the operation of the system shown in Figure 1 for calculating the future location of objects of the material flow.
  • Figure 5 shows the basic structure of another plant for bulk sorting according to the invention.
  • the plant for bulk material sorting shown in FIG. 1 comprises a conveyor system with a conveyor unit 2 embodied here as a conveyor belt, an area camera (CCD camera) 3 positioned above the unit 2 and at the discharge end of the same and flat illuminating means 5 for the (FIG Illumination of the field of view of the area camera.
  • the image acquisition by the surface sensor (camera) 3 takes place here on the conveyor belt 2 or in front of a problem-adapted background 7 and takes place synchronously to the belt movement.
  • the system also includes a sorting unit, of which only the Blow-out unit 4 is shown. Shown is also a computer system 6, with which all the calculations of the system or the conveyor system described below are performed.
  • the individual objects O1, O2, O3 ... in the material flow M are thus transported by means of the conveyor belt 2 through the detection area of the camera 3, where they are recorded and evaluated in terms of their object positions by image evaluation algorithms in the computer system 6. Subsequently, the blow-out unit 4 separates into the poor fraction (poor objects SOI and SO 2) and into the good fraction (good objects GO1, G02, G03
  • an area sensor (area camera) 3 is thus used.
  • the image is obtained on the bulk material or material flow M (or the individual objects Ol, ... of the same) by the camera 3 on the conveyor belt 2 and / or against a problem-adapted background 7.
  • the image pickup rate is adapted to the speed of the conveyor belt 2 or synchronized by a position encoder (not shown).
  • the acquisition of an image sequence (instead of a snapshot) of the bulk material stream at different times (in quick succession) is aimed at by means of a plurality of surface scans or surface images of the material stream M through the area camera 3 as follows (compare FIGS. 2 to 4).
  • Figure 2 the field of view 3 'of the camera 3 on the conveyor belt 2 with the bulk material or the objects thereof O is shown in plan view ( Figure 1 outlines this field of view 3' of the camera 3 in side view).
  • the discharge takes place through the blow-out unit 4 (whose blow-out area 4 'is shown in plan view in FIG. 2).
  • the material transport could also take place in free fall or in a controlled air flow (not shown here) if the units 3 to 7 are repositioned accordingly.
  • the data acquisition can thus be based on one (or more) imaging surface sensors such as the area camera 3.
  • imaging surface sensors such as the area camera 3.
  • Imaging sensors outside the visible wavelength range and imaging hyperspectral sensors can also be used as imaging surface sensors.
  • the position determination can also be carried out by one (or more) 3D sensor (s) which can / provide position measurements of the individual objects in space instead of in the plane of the conveyor belt 2.
  • a predictive multi-object tracking can be used in the present invention.
  • the object positions x (t) (x (t), y (t)) in the Cartesian coordinate system x, y, z (with the xy plane as the plane in which the conveyor belt 2 moves) at several different times t are measured.
  • each movement paths by juxtaposition of each detected and determined object positions x.
  • This is shown in FIG. 2 with the movement path 1 for a single object O for its movement between the times t_ 5 and t 0 , between which this object has been detected in the detection area 3 'of the camera 3 by individual image recordings.
  • the observed movement path 1 is x (t 0 ), x (ti), x (t_ 2 ), x (t_ 3 ), ...
  • the residence can be estimated with high accuracy.
  • the exhaust unit 4 can purposely remove it from the material stream M at the blow-off time tb on the basis of the highly precisely determined blow-out position of this object (if it is a bad object).
  • the applied predictive multi-object tracking method additionally provides an uncertainty indication of the estimated variables in the form of a variance (blow-out time) or covariance matrix (blow-out position).
  • FIGS. 3 and 4 show in more detail the procedure which can be used according to the invention for predictive multi-object tracking. In terms of time, this procedure can be subdivided into two phases, a tracking phase and a prediction phase (where the prediction phase takes place after the tracking phase in terms of time).
  • FIG. 4 clarifies that the tracking phase is composed of filter and prediction steps and the prediction phase is limited to prediction steps.
  • the first phase (tracking phase) is assigned to the field of view 3 'of the area camera 3. While a certain object from the set of objects Ol, 02, ...
  • this region 3 can in the individual, t_ at the times 5, t_ 4, t_ 3, ... are identified recorded camera images and it can be done maintaining a spatial position determination.
  • t_ at the times 5, t_ 4, t_ 3, ... are identified recorded camera images and it can be done maintaining a spatial position determination.
  • the orientation of the object in the camera images so that not only the spatial position but also the orientation of the objects at several different points in time (ie the object pose) is determined in the first step of the invention in the second step according to the invention, the location at least one defined time (the blow-out time) after the acquisition of the last camera image can be calculated on the basis of the location positions for the individual objects determined at the different times.
  • FIG. 4 schematically shows this procedure of predictive multi-object tracking.
  • recursive estimation methods can be used.
  • non-recursive estimation methods can also be used for the tracking.
  • the recursive methods eg Kalman filter methods
  • parameters of equations of motion can be estimated in the tracking phase, wherein the equations of motion can describe a movement model for the movement of a single object.
  • the recorded, ie optically acquired, information ie the movement path of the individual recorded location positions or, if the position is detected, of the movement and orientation change path resulting from the ones recorded at the several different times reposen results
  • the future movement path of the object under consideration are estimated with high accuracy and thus also its location to the later, potential (if it is a
  • the subsequent prediction phase (during which the object in question, after the object
  • This second phase of object tracking may consist of one or more prediction steps based on the motion models previously determined in the tracking phase (e.g., estimated rotational motions).
  • the result of this prediction phase is an estimate of the location at a later point in time (such as, for example, the discharge time tb and the location at this time, ie the discharge position Xb (tb)). Tracing the objects thus takes place in two phases.
  • the tracking phase consists of sequences of filtering and prediction steps. Filtering steps refer to processing camera images to improve current position estimates, and prediction steps continue to estimate the position until the next camera image, ie, next filter step.
  • the prediction phase following the tracking phase consists only of prediction steps since no filter step can be performed due to missing camera data.
  • the tracking phase can be performed in different ways: Either non-recursively, whereby the current object positions or object positions are determined from each image (no movement models have to be used.) All object positions acquired over time can be collected to form trajectories for the individual objects Recursive processing is also possible, so that only the current position estimation of an object has to be provided, using the motion models (prediction steps) to predict the movement of the object between camera measurements and thus correlating different filter steps the prediction of the results of the previous filtering step as prior knowledge In the case, a weighting occurs between the predicted positions and the positions determined from the current camera image. It is also possible to work recursively with an adaptation of the movement models: this involves a simultaneous estimation of object positions or positions and model parameters.
  • acceleration values can be determined as model parameters.
  • the movement models are thus identified during the tracking phase. It can be a fixed model for all objects or individual movement models.
  • the reference numeral designates the extrapolation of the movement path 1 of an object determined in the tracking phase over the detection period of this object by the camera 3, ie the predicted trajectory of the object after leaving the detection range of the camera 3 ', thus in particular also at the time of the flyby on the blow-off - unit 4 (or through the detection area 4 'of the same).
  • the prediction phase can directly use the model information previously determined in the tracking phase and consists of pure prediction steps since camera data are no longer available and therefore no filter steps can be performed any more.
  • the prediction phase can be subdivided further, for example into a phase in which the objects are still on the conveyor belt and a flight phase after leaving the conveyor belt.
  • two different movement models can be used in both phases (for example a two-dimensional movement model on the conveyor belt and a three-dimensional movement model in the subsequent flight phase).
  • One way to render the camera image data for object tracking is to transform the data into a set of object locations by image preprocessing and segmentation techniques.
  • image preprocessing methods and segmentation methods are, for example, inhomogeneous point operations for the removal of illumination inhomogeneities and area-oriented segmentation methods as described in the literature (B. Jähne, Digital Image Processing and Image Acquisition, 7th, revised edition 2012, Springer, 2012, or J. Beyerer, F ,
  • Kalman filter methods or other methods for (non-linear) filtering and state estimation can be used, as described, for example, in F. Sawo, V. Klumpp, UD Hanebeck, "Simultaneous State and Parameter Estimation of Distributed Physical Systems based on Sliced Gaussian Mixture Filter ", Proceedings of the llth International Conference on Information Fusion (Fusion 2008), 2008.
  • the determination of motion model parameters has two functions:
  • these parameters are used in both the tracking and prediction phases to compute the prediction step (s) to allow accurate prediction of blowout timing and position (eg, the model predicted during the tracking phase Position of an object can be compared with the object position actually measured in this phase and the parameters of the model can be adjusted if necessary).
  • model parameters extend the feature space, on the basis of which the classification and the subsequent activation of the blow-out unit can take place.
  • bulk materials can be classified in addition to the visually recognizable features based on differences in the movement behavior and sorted accordingly.
  • FIG. 5 instead of a single area camera 3, a plurality of individual line scan cameras arranged along the conveyor belt 2 and above it are used (line alignment perpendicular to the transport direction x and perpendicular direction z of the cameras 3a to 3c onto the plane of the conveyor belt xy, ie in the y direction).
  • the z direction here corresponds to the direction of pickup of the camera 3 (FIG. 1) or of the plurality of cameras 3 a to 3 c (FIG. 5).
  • FIG. 5 shows, it is thus also possible to use a plurality of line cameras (or also multiple area cameras with one or more regions-of-interest, ROIs) spatially distributed along the conveyor belt 2 with preferably constant intervals, including the illuminations 5 assigned to each of the cameras.
  • the line scan cameras or the area cameras can be mounted both above the conveyor belt 2 and above the trajectory of the bulk material in front of a problem-adapted background 7 (this applies in the example shown for the last camera 3c seen in the transport direction x of the belt 2).
  • the image acquisition achieved in this way is outlined in FIG. 6, in contrast to FIG. 5 (which shows only three line scan cameras 3 a to 3 c) here for a total of six different line scan cameras arranged one behind the other along the transport direction x (whose detection regions are designated 3 a 'to 3 f).
  • the present invention has a number of significant advantages.
  • the present invention even makes it possible in the first place to carry out optical sorting of the type described.
  • the method for multi-object tracking enables improved optical characterization and feature extraction from the image data of the individual objects 0 of the observed bulk material flow M. Since the non-cooperative objects generally present themselves in different three-dimensional layers of the camera due to their additional proper motion, image features of different object views can become one cumulative object feature over the individual observation times. For example, the three-dimensional shape of an object can also be estimated and used as a feature for the sorting. The extrapolation of the three-dimensional shape of an object from the recorded
  • Image data can be written as described in the literature (see, for example, SJD Prince “Computer vision models, learning, and inference", New York, Cambridge University Press, 2012) using, for example, the visual envelope of the individual objects in different poses. from silhouettes method).
  • the extended object features can also be used for improved motion modeling in predictive tracking, for example, by using the three-dimensional shape for predicting flight dynamics. track is taken into account.
  • the identified model that characterizes the motion path 1 of a particular object can itself be used as a feature for a classification or sorting decision.
  • the movement path 1 determined on the basis of the individual camera shots as well as the future movement path estimated on the basis of the movement path 1 are influenced by the geometric properties and the weight of the object and accordingly offer a possibility of belonging to one bulk fraction.
  • Another technical advantage for bulk material sorting is provided by the evaluation of the additional uncertainty descriptions for the estimated discharge time and the discharge position. This allows a customized control of the pneumatic blow-out unit for each
  • the multiple position determination of objects of the bulk material flow at different times as well as the evaluation of a sequence of images instead of a snapshot image (this may also involve a multiple measurement, calculation and cumulation of object features at different times as well as a use of identified motion models as a feature for an object classification) generally achieved a significantly improved separation in the automatic sorting of any bulk materials.
  • the mechanical outlay for material calming can be considerably reduced.
  • the present invention can be used for the sorting of complex shaped bulk materials, which must be checked from several different views, using only a single area camera in a fixed position.

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

Fördersystem zum Transport eines eine Vielzahl einzelner Objekte (O1,O2,...) umfassenden Materialstromes (M) dadurch gekennzeichnet, dass mit dem Fördersystem durch optische Erfassung einzelner Objekte (O1,O2,...) im Materialstrom (M) für diese Objekte (O1,O2,...) jeweils deren Ortsposition (x(t), y(t)) zu mehreren unterschiedlichen Zeitpunkten (t-4,t-3,...) bestimmbar ist und anhand der zu den unterschiedlichen Zeitpunkten (t-4,t-3,...) bestimmten Ortspositionen (x(t),y(t)) für diese Objekte (O1,O2,...) jeweils ihr Aufenthaltsort (xb(tb),yb(tb)) zu mindestens einem definierten Zeitpunkt (tb) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte (t-4,t-3,...) berechenbar ist.

Description

Fördersvstem, Anlage zur Schüttgutsortierung mit einem solchen Fördersvs- tem und Transportverfahren
Die automatische Schüttgutsortierung ermöglicht es, mithilfe digitaler Bildgewinnung und Bildverarbeitung Schüttgüter mit hohem Durchsatz anhand optisch erfassbarer Merkmale in verschiedene Fraktionen (beispielsweise Gut- und Schlechtfraktion) zu separieren. Beispielsweise sind Bandsortiersysteme bekannt, die zellenförmige bildgebende Sensoren (z.B. Zeilenkameras) für die Bildgewinnung einsetzen. Die Bildgewinnung durch den Zeilensensor erfolgt dabei auf dem Förderband oder vor einem problemangepassten Hintergrund und synchron zur Bandbewegung. Die Materialausschleusung einer Fraktion (also der Schlechtfraktion bzw. der Schlechtobjekte) erfolgt in der Regel durch eine pneumatische Ausblaseinheit oder durch eine mechanische Auswurfvorrichtung (vgl. z.B. H. Demmer„Optische Sortieranlagen", BHM Heft 12, Springer, 2003). Alternativ zu einem Förderband kann der Materialtransport auch über den freien Fall oder in einem kontrollierten Luftstrom erfolgen. Aufgrund baulicher Beschränkungen sowie der benötigten Rechenzeit für die Bildauswertung in einem Rechner kann der Beobachtungszeitpunkt eines auszuschleusenden Objekts, der nachfolgend als t0 bezeichnet wird, nicht mit dem Ausschleus- bzw. Ausblaszeitpunkt übereinstimmen. Die Ausblaseinheit ist daher räumlich von der Sichtlinie der Zeilenkamera getrennt. Für eine korrekte Ausschleusung eines Schlechtobjekts müssen daher der Ausblaszeitpunkt (der nachfolgend als tb bzw., da geschätzt, als tb, bezeichnet wird) und auch die Position des auszuschleusenden Objekts (die nachfolgend als Xb(tb) bzw., da geschätzt, als Xb(tb) bezeichnet ist) geschätzt werden. Der Fettdruck „x" kennzeichnet hierbei, dass es sich in der Regel um eine mehrdimensionale Ortsposition handelt, wobei nachfolgend hierfür alternativ auch die Bezeichnung x verwendet wird. Bei den im Stand der Technik durchgeführten Abschätzungen wird jedoch vorausgesetzt, dass das auszublasende Objekt keine Eigenbewegung relativ zum Band aufweist und sich somit mit dem Geschwindigkeitsvektor Vband des Förderbandes bewegt. Der Ausschleusungszeitpunkt tb und der Ausschleusungsort Xb(tb) werden dann durch eine lineare Vorhersage auf Basis des Geschwindigkeitsvektors des Förderbandes Vband und der gemessenen Objektposition x(t0) zum Beobachtungszeitpunkt t0 geschätzt.
Viele Schüttgüter erweisen sich jedoch aufgrund ihrer Geometrie und ihres Gewichts als unkooperativ und zeigen relativ zum Transportband eine zusätzliche Eigenbewegung (beispielsweise Erbsen, Pfeffer, rundliche Granulate). Zudem kann es aufgrund eines unterschiedlichen Luftwiderstands (auch das Gewicht bzw. die Dichte kann hier eine Rolle spielen) der einzelnen Objekte zu einer Beeinflussung der Flugbahn kommen. Dadurch wird die konstante lineare Bewegungsannahme des Schüttgutes gemäß Vband verletzt und die Objektposition Xb(tb) zum geschätzten Ausblaszeitpunkt tb falsch vorhergesagt. Als Folge davon findet keine Ausschleusung der detektierten Schlechtobjekte bzw. der Schlechtfraktion statt und zudem wird möglicherweise fälschlicherweise Gutmaterial ausgeschleust. Für unkooperative Schüttgüter ist daher oft keine optische Sortierung mit den nach dem Stand der Technik bekannten optischen Sortiersystemen auf Zeilensensorbasis möglich.
Um dieses Problem zu umgehen, sind aus dem Stand der Technik (DE 10 2004 008 642 AI und DE 69734198 T2) spezielle Systeme für die Sortierung unkooperativer Materialien bekannt, die jedoch einen hohen Aufwand für eine mechanische Materialberuhigung betreiben (über mechanische Mittel wird eine Eigenbewegung des Schüttguts auf dem Transportband unterdrückt). Diese Systeme weisen jedoch einen hohen technischen Realisierungsund Wartungsaufwand auf (beispielsweise die Verwendung speziell profilier- ter Transportbänder und Vibrationsrinnen).
Ausgehend vom Stand der Technik ist es daher die Aufgabe der vorliegenden Erfindung ein Fördersystem zum Transport eines eine Vielzahl einzelner Objekte umfassenden Materialstroms (sowie eine darauf basierende Anlage zur Schüttgutsortierung) und ein entsprechendes Transportverfahren zur Verfügung zu stellen, mit denen eine hochgenaue Vorhersage der Ortsposition auch unkooperativer Schüttgutobjekte und somit eine optimierte automatische Schüttgutsortierung auch für solche Objekte ermöglicht ist. Diese Aufgabe wird durch ein Fördersystem gemäß Anspruch 1, durch eine
Anlage zur Schüttgutsortierung gemäß Anspruch 13 sowie durch ein Transportverfahren gemäß Anspruch 15 gelöst. Vorteilhafte Ausgestaltungsvarianten lassen sich dabei jeweils den abhängigen Patentansprüchen entnehmen. Nachstehend wird die Erfindung zunächst allgemein, dann anhand von Ausführungsbeispielen im Detail beschrieben. Die einzelnen in den Ausführungsbeispielen in Kombination miteinander gezeigten Merkmale der Erfindung müssen dabei nicht genau in den gezeigten Kombinationen realisiert werden. Insbesondere können einzelne der gezeigten Merkmale der Ausführungsbei- spiele auch weggelassen werden oder gemäß der Struktur der abhängigen
Ansprüche mit weiteren Merkmalen der Erfindung auch auf andere Art und Weise kombiniert werden. Bereits einzelne der gezeigten Merkmale können für sich eine Verbesserung des Standes der Technik darstellen. Ein erfindungsgemäßes Fördersystem ist in Anspruch 1 beschrieben.
Für unterschiedliche Objekte können deren Positionen auch zu unterschiedlichen Zeitpunkten bestimmt werden. In der Regel werden aber für alle Objekte dieselben Zeitpunkte, an denen jeweils deren Ortspositionen bestimmt wer- den, gewählt (die Zeitpunkte werden beispielsweise über den Zeitpunkt der
Aufnahme von Kamerabildern einer optischen Erfassungseinheit des Systems festgelegt). Für unterschiedliche Objekte können die definierten Zeitpunkte, für die jeweils der Aufenthaltsort des jeweiligen Objekts (anhand der diesem Objekt zugehörigen, bereits bestimmten Ortspositionen) berechnet wird, unterschiedlich sein. Der jeweilige Aufenthaltsort kann aber auch für alle erfass- ten Objekte für ein und denselben späteren Zeitpunkt berechenbar bzw. vorhersagbar sein. Erfindungsgemäß wird somit eine Vorhersage ermöglicht, um die Ortsposition eines jeden erfassten Objekts zu einem - gesehen vom Zeitpunkt der letzten Ortspositionsbestimmung dieses Objekts - in der Zukunft liegenden Zeitpunkt hochgenau abzuschätzen.
Die einzelnen Objekte können dabei auf Basis dem Fachmann an sich bekannter Bildverarbeitungsverfahren (so kann ein aufgenommenes Kamerabild der Objekte einer Bildvorverarbeitung wie beispielsweise einer Kantendetektion unterzogen werden und anschließend eine Segmentierung durchgeführt wer- den) in bei der optischen Erfassung erzeugten (in der Regel digitalen) Bildaufnahmen des Materialstroms bzw. der Objekte darin lokalisiert, identifiziert und voneinander unterschieden werden, um die Ortspositionen eines definierten Objekts zu den verschiedenen Zeitpunkten zu bestimmen und um damit den Weg dieses Objekts zu verfolgen (Objektverfolgung). Auf Basis der Identifikation und der Unterscheidung der einzelnen Objekte in einer optisch erfassten Bildserie kann für jedes Objekt aus den zu unterschiedlichen Zeitpunkten bestimmten Ortspositionen dieses Objekts ein Bewegungspfad für das Objekt bestimmt werden. Beispielsweise anhand dieses Bewegungspfades kann dann der zukünftige Aufenthaltsort abgeschätzt bzw. berechnet werden (ggfs. auf Basis eines mit dem Bewegungspfad bzw. den einzelnen Objektpositionen zu unterschiedlichen Zeitpunkten bestimmten oder ausgewählten Bewegungsmodells für das gerade betrachtete Objekt).
Somit sind erfindungsgemäß die einzelnen Objekte im Materialstrom identifi- zierbar und anhand der mehrfach zu unterschiedlichen Zeitpunkten bestimmten Position eines Objekts kann dessen Aufenthaltsort zu einem in naher Zukunft liegenden Zeitpunkt (also z.B. kurz nach Verlassen des Förderbandes auf Höhe der Ausblaseinheit) hochgenau bestimmt werden. Zum Transport des Materialstroms kann das erfindungsgemäße Fördersystem eine Fördereinheit aufweisen, bei der es sich um ein Förderband handeln kann. Ebenso kann die
Erfindung jedoch bei Fördersystemen, die auf Basis des freien Falls oder eines kontrollierten Luftstroms arbeiten, eingesetzt werden.
Erste vorteilhafterweise realisierbare Merkmale der Erfindung zeigt Anspruch 2.
Das Bestimmen solcher Bewegungspfade wird im Rahmen der Erfindung nachfolgend auch als Objektverfolgung (bzw. Englisch:„tracking") bezeichnet. Das Bestimmen der Bewegungspfade erfolgt bevorzugt rechnergestützt in einem Rechnersystem des Fördersystems, also mikroprozessorbasiert.
Weitere vorteilhafterweise realisierbare Merkmale beschreibt Anspruch 3.
Ein für ein Objekt ausgewähltes Bewegungsmodell kann dabei der Modellierung zukünftiger Objektbewegungen dieses Objekts dienen. Die Bewegungs- modelle können in einer Datenbank im Speicher des Rechnersystems des Fördersystems abgelegt werden. Ein solches Bewegungsmodell kann Bewegungsgleichungen umfassen, deren Parameter durch Regressions-Verfahren (beispielsweise Methode der kleinsten Quadrate, least-squares-fit) oder durch ein um eine Parameteridentifikation erweitertes Kaiman-Filter anhand der be- stimmten Ortspositionen bzw. des bestimmten Bewegungspfads des jeweiligen Objekts bestimmbar sind. Dabei ist es möglich, das Bewegungsmodell erst nach Vorliegen aller während der optischen Erfassung aufgenommenen und bestimmten Ortspositionen eines Objekts auszuwählen. Alternativ dazu kann das Bewegungsmodell in Echtzeit noch während der Aufnahme der einzelnen Bilder zur aufeinanderfolgenden Bestimmung der einzelnen Ortspositionen ausgewählt bzw. gewechselt werden (d.h. während die einzelnen Bildaufnahmen noch durchgeführt werden, kann ggfs. ein Überwechseln auf ein anderes Bewegungsmodell für das gerade betrachtete Objekt erfolgen, wenn z.B. ein Fit-Verfahren zeigt, dass dieses andere Bewegungsmodell den Bewegungsver- lauf des Objekts genauer wiedergibt).
Weitere vorteilhafterweise realisierbare Merkmale beschreibt Anspruch 4.
Die Klassifizierung muss dabei nicht auf Basis oder unter Verwendung der bei der optischen Erfassung (insbesondere: aus den aufeinanderfolgenden Kameraaufnehmen) bestimmten Ortspositionen erfolgen (auch wenn die Informati- on über die bestimmten Ortspositionen vorteilhaft in die Klassifizierung einfließen kann, siehe auch nachfolgend). So kann die Klassifizierung eines anhand seiner Ortspositionen zu unterschiedlichen Zeitpunkten bzw. Bewegungspfades identifizierten Objekts auch beispielsweise rein anhand von ge- ometrischen Merkmalen (z.B. Umriss oder Form) dieses Objekts erfolgen, wobei die geometrischen Merkmale über geeignete Bildverarbeitungsverfahren (z.B. Bildvorverarbeitung wie Kantendetektion mit nachfolgender Segmentierung) aus den bei der optischen Erfassung gewonnenen Bildern bestimmt werden können.
Die Klassifizierung kann insbesondere in genau zwei Klassen, eine Klasse von Gutobjekten und eine Klasse von Schlechtobjekten (die auszuschleusen sind), erfolgen. Die Klassifizierung kann somit anhand bei der optischen Erfassung aufgenommener Bilder der Objekte geschehen, indem diese Bilder mit geeig- neten Bildverarbeitungsmethoden ausgewertet werden und so zum Beispiel
Objektform, Objektposition und/oder Objektorientierung zu unterschiedlichen Zeitpunkten bestimmt wird.
Nachfolgend wird unter der Pose bzw. der räumlichen Lage eines Objekts die Kombination aus seiner Ortsposition (bzw. der Position seines Schwerpunktes) und seiner Orientierung verstanden. Dabei kann es sich um eine zweidimensionale Lage handeln (z.B. relativ zur Ebene eines Förderbandes des Fördersystems - die Koordinate senkrecht dazu wird dann nicht beachtet), aber auch um eine dreidimensionale Lage, also um die Ortsposition und die Orientierung des dreidimensionalen Objekts im Raum.
Weitere vorteilhafterweise erfindungsgemäß realisierbare Merkmale lassen sich den Ansprüchen 5 und 6 entnehmen. Bei der bestimmten zweidimensionalen Ortsposition handelt es sich vorzugsweise um die Position in der Ebene eines beweglichen Förderbandes, jedoch relativ zu den unbeweglichen Elementen des Fördersystems: Es kann somit eine Positionsbestimmung im unbeweglichen Weltkoordinatensystem erfolgen, in dem nicht nur die unbeweglichen Elemente des Fördersystems ruhen, sondern auch z.B. die optische Erfassungsvorrichtung (Kamera). Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 7 beschrieben.
Es ist somit möglich, für die einzelnen zu erfassenden Objekte jeweils nicht nur die Ortsposition, sondern zusätzlich auch ihre Orientierung im Raum
(und/oder ihre Form), insgesamt also ihre Pose, zu den mehreren unterschiedlichen Zeitpunkten zu bestimmen. Auch diese so bestimmten Orientierungsinformationen können zum Berechnen der Aufenthaltsorte zu dem/den definierten Zeitpunkt(en) nach dem jeweils spätesten der unterschiedlichen Zeit- punkte eingesetzt werden.
Dabei muss nicht zusätzlich zum Bestimmen dieser Aufenthaltsorte auch ein Bestimmen der Orientierung der Objekte zu dem/den definierten Zeitpunkten) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte erfol- gen. Gemäß Anspruch 8 ist dies aber möglich.
Auch in die Bestimmung der Bewegungspfade können die bestimmten Orientierungen (zusätzlich zu den bestimmten Ortspositionen) mit einfließen. Auch das Bestimmen des/der Bewegungsmodells/e und/oder das Klassifizieren der Objekte kann/können unter zusätzlicher Verwendung der bestimmten Orientierungsinformationen erfolgen.
Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 9 beschrieben.
Der/Die Flächensensor(en) kann/können insbesondere (eine) Kamera(s) sein. Vorzugsweise können CCD-Kameras eingesetzt werden, auch die Verwendung von CMOS-Sensoren ist möglich. Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 8 beschrieben.
In den einzelnen aufgenommenen Abbildern kann jeweils die Form dieses/dieser Objekte(s) über Bildverarbeitungsmaßnahmen (z.B. Bildvorverar- beitung wie z.B. Kantendetektion mit anschließender Segmentierung und anschließendem Objektverfolgungsalgorithmus) bestimmt werden. Das dreidi- mensionale Abbild eines Objekts kann durch geeignete Algorithmen
(siehe z.B. R. Szeliski, Computer Vision: Algorithms and Applications, Ist Edition, Springer, 2010; oder A. Blake, M. Isard„Active Contours", Springer, 1998) aus den beispielsweise per Objektverfolgung in den einzelnen Abbildern identifizierten Formen eines einzelnen Objekts generiert werden.
Weitere vorteilhafterweise realisierbare Merkmale des erfindungsgemäßen Fördersystems lassen sich den Ansprüchen 11 und 12 entnehmen. Vorteilhafterweise realisierbare Merkmale der erfindungsgemäßen Anlage zur Schüttgutsortierung finden sich im Anspruch 14.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben. Dabei zeigen:
Figur 1 einen grundlegenden Beispielaufbau einer erfindungsgemäßen Anlage zur Schüttgutsortierung unter Einsatz eines erfindungsgemäßen Fördersystems.
Figuren 2 bis 4 die Arbeitsweise der in Figur 1 gezeigten Anlage zur Berechnung des zukünftigen Aufenthaltsortes von Objekten des Materialstroms.
Figur 5 den prinzipiellen Aufbau einer weiteren Anlage zur Schüttgutsortierung gemäß der Erfindung.
Figur 6 die Arbeitsweise dieser Anlage.
Die in Figur 1 gezeigte Anlage zur Schüttgutsortierung umfasst ein Fördersystem mit einer hier als Förderband ausgebildeten Fördereinheit 2, einer oberhalb der Einheit 2 und am Abwurfende derselben positionierten (und das Ab- wurfende erfassenden) Flächenkamera (CCD-Kamera) 3 und flächigen Leuchtmitteln 5 zur Beleuchtung des Sichtfeldes der Flächenkamera. Die Bildgewinnung durch den Flächensensor (Kamera) 3 erfolgt hierbei auf dem Förderband 2 oder vor einem problemangepassten Hintergrund 7 und erfolgt synchron zur Bandbewegung.
Die Anlage umfasst darüber hinaus eine Sortiereinheit, von der hier nur die Ausblaseinheit 4 dargestellt ist. Gezeigt ist zudem ein Rechnersystem 6, mit dem alle nachfolgend beschriebenen Berechnungen der Anlage bzw. des Fördersystems durchgeführt werden. Die einzelnen Objekte Ol, 02, 03 ... im Materialstrom M werden somit vermittels des Förderbandes 2 durch den Erfassungsbereich der Kamera 3 transportiert und dort hinsichtlich ihrer Objektpositionen durch Bildauswertungsalgorithmen im Rechnersystem 6 erfasst und bewertet. Anschließend erfolgt durch die Ausblaseinheit 4 eine Separierung in die Schlecht-Fraktion (Schlecht- Objekte SOI und S02) und in die Gut-Fraktion (Gut-Objekte GOl, G02, G03
.·)·
Erfindungsgemäß kommt somit ein Flächensensor (Flächenkamera) 3 zum Einsatz. Die Bildgewinnung am Schüttgut bzw. Materialstrom M (bzw. den einzelnen Objekten Ol, ... desselben) erfolgt durch die Kamera 3 auf dem Förderband 2 und/oder vor einem problemangepassten Hintergrund 7. Die Bildaufnahmerate ist an die Geschwindigkeit des Förderbandes 2 angepasst oder durch einen Weggeber (nicht gezeigt) synchronisiert. Erfindungsgemäß wird auf die Gewinnung einer Bildfolge (statt einer Momentaufnahme) des Schüttgutstroms zu unterschiedlichen Zeiten (kurz hintereinander) abgezielt mittels mehrerer Flächenabtastungen bzw. Flächenaufnahmen des Materialstroms M durch die Flächenkamera 3 wie folgt (vgl. Figuren 2 bis 4).
In Figur 2 ist das Sichtfeld 3' der Kamera 3 auf das Förderband 2 mit dem Schüttgut bzw. den Objekten O desselben in Aufsicht dargestellt (Figur 1 skizziert dieses Sichtfeld 3' der Kamera 3 in Seitenansicht). Das Ausschleusen erfolgt durch die Ausblaseinheit 4 (deren Ausblasbereich 4' in Figur 2 in Aufsicht dargestellt ist). Alternativ zum Förderband 2 könnte der Materialtransport auch im freien Fall oder in einem kontrollierten Luftstrom erfolgen (hier nicht gezeigt) wenn die Einheiten 3 bis 7 entsprechend umpositioniert werden.
Im Rahmen der Erfindung kann die Datengewinnung somit auf Basis einer (oder auch mehrerer) bildgebender Flächensensoren wie der Flächenkamera 3 erfolgen. Dies ermöglicht eine Positionsbestimmung und auch eine Messung physikalischer Eigenschaften der Einzelpartikel bzw. Objekte Ol, ... des Schüttguts M zu den mehreren unterschiedlichen Zeitpunkten, wie es in Figur 2 skizziert ist. Als bildgebende Flächensensoren können auch bildgebende Sensoren außerhalb des sichtbaren Wellenlängenbereichs und bildgebende Hyperspektralsensoren eingesetzt werden. Zudem kann die Positionsbestimmung auch durch einen (oder mehrere) 3D-Sensor(en) erfolgen, der/die Positionsmessungen der Einzelobjekte im Raum statt in der Ebene des Förderbandes 2 liefern kann/können. Wie die Figuren 2 bis 4 zeigen, kann in der vorliegenden Erfindung eine prä- diktive Multiobjektverfolgung zum Einsatz kommen. Durch eine in Bezug auf Vband geeignet hohe Taktung der Kamera (also der Anzahl aufgenommener Kamerabilder pro Zeiteinheit) bzw. der Bildgewinnung können die Objektpositionen x(t)=(x(t),y(t)) im kartesischen Koordinatensystem x, y, z (mit der xy- Ebene als Ebene, in der sich das Förderband 2 bewegt) zu mehreren verschiedenen Zeitpunkten t gemessen werden. Die Messung der Objektpositionen x(t_5), x(t_4), x(t_3), ... erfolgt zu den verschiedenen, aufeinanderfolgenden (in der Regel in konstanten Zeitabständen aufeinanderfolgenden) Zeitpunkten t_5, t_4, t_3, wobei t0 den letzten Zeitpunkt der Beobachtung des den einge- zeichneten Bewegungspfad 1 aufweisenden Objekts kennzeichnet, bevor dieses Objekt das Sichtfeld 3' der Kamera 3 verlässt. Aus diesen verschiedenen gemessenen Ortspositionen zu den verschiedenen Zeitpunkten ergeben sich für die einzelnen optisch erfassten Objekte (geeignete Erkennungsalgorithmen der Bildverarbeitung ermöglichen die Verfolgung der einzelnen Objekte (vgl. hier z.B. A. Yilmaz, 0. Javed, and M. Shah, "Object tracking: A survey,"
ACM Computing surveys (CSUR), vol. 38, no. 4, p. 13, 2006 oder B. Jähne, Digitale Bildverarbeitung und Bildgewinnung, 7., neu bearbeitete Auflage 2012, Springer, 2012) jeweils Bewegungspfade durch Aneinanderreihung der einzelnen erfassten und bestimmten Objektpositionen x. Dies ist in Figur 2 mit dem Bewegungspfad 1 für ein einzelnes Objekt O für dessen Bewegung zwischen den Zeitpunkten t_5 und t0, zwischen denen dieses Objekt im Erfassungsbereich 3' der Kamera 3 durch Einzelbildaufnahmen erfasst worden ist, gezeigt. Somit steht statt einer einzelnen Messung x(t0) des Orts eines Objekts Ol, 02, ... der beobachtete Bewegungspfad 1 mit x(t0), x(t-i), x(t_2), x(t_3), ... eines Ob- jekts Ol, 02, ... für die Schätzung bzw. Berechnung des Aufenthaltsortes dieses Objekts zu einem (oder auch mehreren) definierten Zeitpunkt(en) nach dem spätesten Zeitpunkt t0, zu dem für dieses Objekt in der Serie der aufgenommenen Kamerabilder die Ortsposition bestimmt worden ist, zur Verfügung. Somit kann insbesondere für einen späteren Zeitpunkt tb, zu dem sich dieses Objekt im Ausblasbereich 4' der Ausblaseinheit 4 befindet, der Aufent- haltsort hochgenau abgeschätzt werden. Mit der aus dem Bewegungspfad 1 berechneten bzw. abgeschätzten Ausblasposition Xb(tb) kann die Ausblaseinheit 4 zum Ausblaszeitpunkt tb aufgrund der hochgenau bestimmten Ausblasposition dieses Objekt (sofern es sich um ein Schlecht-Objekt handelt) zielgerichtet aus dem Materialstrom M entfernen.
Zudem liefert das eingesetzte prädiktive Multiobjektverfolgungsverfahren zusätzlich eine Unsicherheitsangabe zu den geschätzte Größen in Form einer Varianz (Ausblaszeitpunkt) bzw. Kovarianzmatrix (Ausblasposition). Figuren 3 und 4 zeigen das erfindungsgemäß einsetzbare Vorgehen zur prädik- tiven Multiobjektverfolgung genauer. Zeitlich kann dieses Vorgehen in zwei Phasen, eine Verfolgungs- bzw. Trackingphase und eine Prädiktionsphase, unterteilt werden (wobei die Prädiktionsphase zeitlich gesehen nach der Trackingphase erfolgt). Figur 4 verdeutlicht, dass die Trackingphase sich aus Fil- ter- und Prädiktionsschritten zusammensetzt und die Prädiktionsphase sich auf Prädiktionsschritte beschränkt. Wie in Figur 3 verdeutlicht, ist die erste Phase (Trackingphase) dem Sichtfeld 3' der Flächenkamera 3 zugeordnet. Während ein bestimmtes Objekt aus der Menge der Objekte Ol, 02, ... im Materialstrom M diesen Bereich 3' durchläuft, kann es in den einzelnen, zu den Zeitpunkten t_5, t_4, t_3, ... aufgenommenen Kamerabildern identifiziert werden und es kann schritthaltend eine Ortspositionsbestimmung erfolgen. Zusätzlich zur Bestimmung der Ortsposition kann dabei auch eine Bestimmung der Orientierung des Objekts in den Kamerabildern erfolgen, so dass im ersten erfindungsgemäßen Schritt jeweils nicht nur die Ortsposition sondern auch die Orientierung der Objekte zu mehreren unterschiedlichen Zeitpunkten (also die Objektpose) bestimmt wird, wonach dann in dem zweiten erfindungsgemäßen Schritt anhand der zu den unterschiedlichen Zeitpunkten bestimmten Ortsposen für die einzelnen Objekte jeweils der Aufenthaltsort zu mindestens einem definierten Zeitpunkt (dem Ausblaszeitpunkt) nach der Aufnahme des letzten Kamerabildes berechnet werden kann. Figur 4 zeigt dieses Vorgehen der prädiktiven Multiobjektverfolgung schematisch. Für das Verfolgen (Tracking) der Objekte in der Trackingphase (Figur 4a) können rekursive Schätzverfahren eingesetzt werden. Alternativ können für das Tracking jedoch auch nicht-rekursive Schätzmethoden eingesetzt werden. Die rekursiven Verfahren (z.B. Kaiman-Filtermethoden) setzen sich aus einer
Abfolge von Filter- und Prädiktionsschritten zusammen. Sobald ein Objekt in den Kameradaten zum ersten Mal erfasst wird, schließen sich Prädiktions- und Filterschritte an. Durch die Prädiktion wird die aktuelle Positionsschätzung bis zur nächsten Bildaufnahme (z.B. durch eine lineare Bewegungsvorsage) fort- geschrieben. Im anschließenden Filterschritt wird die verfügbare Positionsschätzungen anhand der gemessenen Kameradaten (also auf Basis der aufgenommenen Bilddaten) aktualisiert bzw. korrigiert. Hierzu kann ein Kaiman- Filter genutzt werden. Es können auch mehrere Prädiktions- bzw. Filterschritte aufeinander folgen.
Zugleich können in der Trackingphase Parameter von Bewegungsgleichungen geschätzt werden, wobei die Bewegungsgleichungen ein Bewegungsmodell für die Bewegung eines einzelnen Objektes beschreiben können. Auf diese Weise kann anhand der aufgenommenen, also optisch erfassten Informatio- nen (also des Bewegungspfads der einzelnen aufgenommenen Ortspositionen bzw., sofern auch die Lage erfasst wird, des Bewegungs- und Orientierungs- änderungspfades, der sich aus den zu den mehreren unterschiedlichen Zeitpunkten aufgenommenen Objektposen ergibt) der zukünftige Bewegungspfad des betrachteten Objekts hochgenau abgeschätzt werden und somit auch dessen Aufenthaltsort zum späteren, potentiellen (sofern es sich um ein
Schlecht-Objekt handelt) Ausblaszeitpunkt tb. Beispiele von Parametern der Bewegungsgleichungen, die auf Grundlage der Bildfolgen geschätzt werden können, sind Beschleunigungswerte in allen Raumrichtungen, Rotationsachsen und -richtungen. Diese Parameter können durch das Tracking in den Bild- folgen erfasst werden und legen ein Bewegungsmodell für jedes Partikel fest, das z.B. auch Rotations- und Ouerbewegungen umfasst.
In der der Trackingphase (in der sich das betrachtete Objekt im Bilderfassungsbereich der Kamera 3, also im Bereich 3' befindet) nachfolgenden Prä- diktionsphase (während der sich das betrachtete Objekt, nachdem es den
Abbildungsbereich der Kamera 3 gerade verlassen hat, außerhalb des Bereichs 3' und im Bereich 3" zwischen diesem Bereich 3' einerseits und dem Ausblasbereich 4' andererseits fortbewegt und somit nicht mehr von der Kamera 3 erfasst werden kann), können die bestimmten Bewegungsgleichungen herangezogen werden, um für das gerade betrachtete Objekt (also bei entspre- chender Rechnerleistung für jedes erfasste Objekt im Materialstrom M) eine
Schätzung bzw. Berechnung der nachfolgenden Ortsposition (bzw. auch der Pose) vorherzusagen.
Nachdem das zu verfolgende Objekt das Sichtfeld 3' der Kamera 3 verlassen hat, schließt sich somit die Prädiktionsphase an. Diese zweite Phase der Objektverfolgung kann aus einem oder mehreren Prädiktionsschritten bestehen, die auf den zuvor in der Trackingphase ermittelten Bewegungsmodellen (z.B. geschätzten Rotationsbewegungen) beruhen. Das Ergebnis dieser Prädiktionsphase ist eine Schätzung des Aufenthaltsortes zu einem späteren Zeit- punkt (wie beispielsweise des Ausblaszeitpunktes tb und des Aufenthaltsortes zu diesem Zeitpunkt, also der Ausblasposition Xb(tb)) . Das Verfolgen der Objekte erfolgt also in zwei Phasen. Die Trackingphase setzt sich aus Folgen von Filter- und Prädiktionsschritten zusammen. Filterschritte beziehen sich auf das Verarbeiten von Kamerabildern zur Verbesserung der aktuellen Positions- Schätzungen und Prädiktionsschritte schreiben die Positionsschätzungen bis zum nächsten Kamerabild, also nächsten Filterschritt, fort. Die an die Trackingphase anschließende Prädiktionsphase besteht nur aus Prädiktionsschritten, da aufgrund fehlender Kameradaten kein Filterschritt mehr durchgeführt werden kann.
Die Trackingphase kann auf verschiedene Weisen durchgeführt werden: Entweder nicht-rekursiv, wobei aus jedem Bild die aktuellen Objektpositionen oder Objektlagen ermittelt werden (hierbei müssen keine Bewegungsmodelle benutzt werden. Alle über die Zeit gewonnenen Objektpositionen können gesammelt werden, um daraus Trajektorien für die einzelnen Objekte zu bestimmen. Auch eine rekursive Verarbeitung ist möglich, so dass nur die aktuelle Positionsschätzung eines Objekts vorgehalten werden muss. Hierbei werden die Bewegungsmodelle genutzt (Prädiktionsschritte), um die Objektbewegung zwischen Kameramessungen vorherzusagen und somit verschiedene Filterschritte in Beziehung zu setzen. In einem Filterschritt dient die Prädiktion der Ergebnisse des vorangegangenen Filterschritts als Vorwissen. In diesem Fall findet eine Gewichtung zwischen den prädizierten und den aus dem aktuellen Kamerabild ermittelten Positionen statt. Auch ist es möglich, rekursiv mit einer Adaption der Bewegungsmodelle zu arbeiten: Hierbei erfolgt eine simultane Schätzung von Objektpositionen bzw. -lagen und Modellparame- tern. Durch die Betrachtung von Bildfolgen können z.B. Beschleunigungswerte als Modellparameter bestimmt werden. Die Bewegungsmodelle werden somit während der Trackingphase erst identifiziert. Dabei kann es sich um ein festes Modell für alle Objekte oder um individuelle Bewegungsmodelle handeln. Das Bezugszeichen bezeichnet die Extrapolation des in der Trackingphase bestimmten Bewegungspfades 1 eines Objektes über den Erfassungszeitraum dieses Objekts durch die Kamera 3 hinaus, also die vorhergesagte Bewegungsbahn des Objektes nach Verlassen des Erfassungsbereiches der Kamera 3', also insbesondere auch zum Zeitpunkt des Vorbeifluges an der Ausblasein- heit 4 (bzw. durch den Erfassungsbereich 4' derselben).
Die Prädiktionsphase kann die zuvor in der Trackingphase ermittelten Modellinformationen direkt nutzen und besteht aus reinen Prädiktionsschritten, da Kameradaten nicht mehr zur Verfügung stehen und somit keine Filterschritte mehr erfolgen können. Die Prädiktionsphase kann weiter unterteilt werden, beispielsweise in eine Phase, in der die Objekte sich noch auf dem Förderband befinden, und eine Flugphase nach Verlassen des Bandes. Für die Prädiktion der Bewegungen können in beiden Phasen zwei verschiedene Bewegungsmodelle genutzt werden (beispielweise ein zweidimensionales Bewegungsmodell auf dem Förderband und ein dreidimensionales Bewegungsmodell in der sich anschließenden Flugphase).
Eine Möglichkeit, um die Kamerabilddaten für die Objektverfolgung (Tracking) aufzubereiten besteht darin, die Daten durch Bildvorverarbeitungsverfahren und Segmentierungsverfahren in eine Menge von Objektpositionen zu überführen. Einsetzbare Bildvorverarbeitungsverfahren und Segmentierungsverfahren sind beispielsweise inhomogene Punktoperationen zur Entfernung von Beleuchtungsinhomogenitäten und bereichsorientierte Segmentierungsverfahren wie sie in der Literatur (B. Jähne, Digitale Bildverarbeitung und Bildge- winnung, 7., neu bearbeitete Auflage 2012, Springer, 2012; oder J. Beyerer, F.
P. Leon, and C. Frese„Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der Bildgewinnung und Bildauswertung", 2013th ed. Springer, 2012) beschrieben sind.
Die Zuordnung von Messungen zu prioren Schätzungen kann angepasst an die zur Verfügung stehenden Rechenkapazitäten im Rechnersystem 6 beispielsweise explizit durch eine Nächster-Nachbar-Suche oder auch implizit durch assoziationsfreie Methoden erfolgen. Entsprechende Verfahren sind z.B. in R. P. S. Mahler„Statistical Multisource-Multitarget Information Fusion", Boston, Mass.: Artech House, 2007, beschrieben.
Zur simultanen Schätzung von Objektpositionen und Modellparametern können beispielsweise Kaiman-Filtermethoden oder andere Verfahren zur (nicht linearen) Filterung und Zustandsschätzung verwendet werden, wie sie beispielsweise in F. Sawo, V. Klumpp, U. D. Hanebeck,„Simultaneous State and Parameter Estimation of Distributed-Parameter Physical Systems based on Sliced Gaussian Mixture Filter", Proceedings of the llth International Conference on Information Fusion (Fusion 2008), 2008, beschrieben sind.
Die Ermittlung von Bewegungsmodellparametern hat hierbei zwei Funktionen:
1. Zunächst werden diese Parameter sowohl in der Tracking- als auch in der Prädiktionsphase zur Berechnung des/der Prädiktionsschritte(s) herangezogen, um eine präzise Vorhersage von Ausblaszeitpunkt und -position zu ermöglichen (beispielsweise kann während der Tracking- phase die vom Modell vorhergesagte Position eines Objekts mit der tatsächlich in dieser Phase gemessenen Objektposition verglichen werden und die Parameter des Modells können ggfs. angepasst werden).
2. Darüber hinaus erweitern die Modellparameter den Merkmalsraum, auf dessen Grundlage die Klassifikation und die anschließende An- steuerung der Ausblaseinheit erfolgen können. Insbesondere können Schüttgüter hierdurch zusätzlich zu den optisch erkennbaren Merkmalen anhand von Unterschieden im Bewegungsverhalten klassifiziert und entsprechend sortiert werden.
Alternativ zum in Figur 1 gezeigten Aufbau kann beispielsweise auch der in Figur 5 skizzierte Aufbau verwendet werden, der dem in Figur 1 gezeigten sehr ähnlich ist, so dass hier nur die Unterschiede beschrieben werden. In Figur 5 werden statt einer einzelnen Flächenkamera 3 mehrere einzelne, entlang des Förderbandes 2 und oberhalb desselben angeordnete Zeilenkameras verwendet (Zeilenausrichtung senkrecht zur Transportrichtung x und zur Lotrichtung z der Kameras 3a bis 3c auf die Ebene des Förderbandes xy, also in y- Richtung). Die z-Richtung entspricht hier der Aufnahmerichtung der Kamera 3 (Figur 1) bzw. der mehreren Kameras 3a bis 3c (Figur 5). Wie Figur 5 zeigt, können somit auch mehrere, räumlich entlang des Förderbandes 2 zueinander mit vorzugsweise konstanten Abständen versetzte Zeilenkameras (oder auch mehrere Flächenkameras mit einer oder mehrerer Regions-Of-Interest, ROIs) einschließlich der den Kameras jeweils zugeordneten Beleuchtungen 5 eingesetzt werden. Die Zeilenkameras oder die Flächenkameras können dabei sowohl über dem Transportband 2 als auch über der Flugbahn des Schüttgutes vor einem problemangepassten Hintergrund 7 (dies gilt im gezeigten Beispiel für die in Transportrichtung x des Bandes 2 gesehen letzte Kamera 3c) angebracht werden. Die dadurch erzielte Bildgewinnung ist in Figur 6 skizziert, im Gegensatz zu Figur 5 (die nur drei Zeilenkameras 3a bis 3c zeigt) hier für insgesamt sechs unterschiedliche, entlang der Transportrichtung x hintereinander angeordnete Zeilenkameras (deren Erfassungsbereiche mit 3a' bis 3f bezeichnet sind).
Durch die Nutzung mehrerer Zeilenkameras 3a bis 3c (Figur 5) bzw. 3a bis 3f (Figur 6) und Verfahren zur Multiobjektverfolgung kann die Position ein und desselben Objektes zu mehreren Zeitpunkten beim Durchqueren der Zeilen- kamerasichtfelder 3a' bis 3f bestimmt werden, wodurch in wie zuvor beschriebener Art und Weise ein Bewegungspfad 1 gewonnen werden kann.
Gegenüber dem Stand der Technik weist die vorliegende Erfindung eine Reihe wesentlicher Vorteile auf.
Durch die Bestimmung des Bewegungspfades 1 eines jeden Objektes Ol, 02, ... ist eine deutlich verbesserte Vorhersage bzw. Schätzung (Berechnung) des Ausblaszeitpunktes tb und der Ausblasposition Xb(tb) möglich, auch wenn die konstante lineare Bewegungsannahme des Schüttgutes durch die Geschwindigkeit Vband nicht erfüllt wird. Dadurch kann der mechanische Aufwand für die Materialberuhigung unkooperativer Schüttgüter erheblich reduziert werden.
Für extrem unkooperative Materialien wie beispielsweise kugelförmiges Schüttgut wird es durch die vorliegende Erfindung in vielen Fällen sogar über- haupt erst möglich, eine optische Sortierung der beschriebenen Art durchzuführen.
Vor dem Hintergrund, dass Endkunden, insbesondere im Lebensmittelbereich, eine Vielzahl unterschiedlicher Schüttgutprodukte M auf ein und derselben Sortieranlage sortieren lassen, kann ein breites Produktspektrum verarbeitet werden, ohne dass durch Fördergurtwechsel (beispielsweise Einsatz von Fördergurten mit unterschiedlich stark strukturierter Oberfläche) oder andere mechanische Veränderungen eine Anpassung an unkooperatives Schüttgutmaterial erfolgen muss.
Zudem ermöglicht das Verfahren zur Multiobjektverfolgung eine verbesserte optische Charakterisierung und Merkmalsgewinnung aus den Bilddaten der einzelnen Objekte 0 des beobachteten Schüttgutstroms M. Da sich die unkooperativen Objekte aufgrund ihrer zusätzlichen Eigenbewegung in der Regel in unterschiedlichen dreidimensionalen Lagen der Kamera präsentieren, können Bildmerkmale verschiedener Objektansichten zu einem erweiterten Objektmerkmal über die einzelnen Beobachtungszeitpunkte kumuliert werden. Beispielsweise kann dadurch auch die dreidimensionale Form eines Objektes geschätzt und als Merkmal für die Sortierung verwendet werden. Die Extrapo- lation der dreidimensionalen Form eines Objektes aus den aufgenommenen
Bilddaten kann dabei wie in der Literatur beschrieben (siehe z.B. S. J. D. Prince „Computer vision models, learning, and inference", New York, Cambridge University Press, 2012) z. B. anhand der visuellen Hülle der einzelnen Objekte in unterschiedlichen Posen (Shape-from-Silhouettes-Verfahren) erfolgen.
Dadurch wird eine verbesserte Unterscheidung von Objekten mit orientierungsabhängiger Erscheinung erreicht. In manchen Fällen kann dadurch auf eine weitere Kamera für eine Zweiseitenprüfung verzichtet werden. Die erweiterten Objektmerkmale können zudem auch für eine verbesserte Bewe- gungsmodellierung im Rahmen des prädiktiven Trackings eingesetzt werden, indem beispielsweise die dreidimensionale Form für die Vorhersage der Flug- bahn berücksichtigt wird.
Darüber hinaus kann das identifizierte Modell, das den Bewegungspfad 1 eines bestimmten Objektes charakterisiert, selbst als Merkmal für eine Klassifi- kations- oder Sortierentscheidung verwendet werden. Der anhand der einzelnen Kameraaufnahmen bestimmte Bewegungspfad 1 sowie auch der nach Verlassen des Abtastbereiches 3', also der auf Basis des Bewegungspfads 1 geschätzte zukünftige Bewegungspfad , werden von den geometrischen Eigenschaften sowie dem Gewicht des Objektes beeinflusst und bieten demnach eine Rückschlussmöglichkeit auf die Zugehörigkeit zu einer Schüttgutfraktion.
Einen weiteren technischen Vorteil für die Schüttgutsortierung liefert die Auswertung der zusätzlichen Unsicherheitsbeschreibungen für den geschätz- ten Ausblaszeitpunkt und die Ausblasposition. Diese ermöglicht eine ange- passte Ansteuerung der pneumatischen Ausblaseinheit für jedes
auszuschleusende Objekt. Sind die geschätzten Größen mit einer großen Unsicherheit behaftet, kann ein größeres Ausblasfenster gewählt werden, um die Ausschleusung eines Schlechtobjekts zu gewährleisten. Umgekehrt kann die Größe des Ausblasfenster und somit die Anzahl der angesteuerten Düsen bei
Schätzungen mit geringer Unsicherheit verkleinert werden. Dadurch kann beim Sortierprozess der Verbrauch von Druckluft reduziert werden, wodurch Kosten und Energie eingespart werden können. Durch die mehrfache Positionsbestimmung von Objekten des Schüttgutstroms zu verschiedenen Zeitpunkten sowie die Auswertung einer Bildfolge statt einer Momentbildaufnahme (dies kann auch eine mehrfache Messung, Berechnung und Kumulation von Objektmerkmalen zu verschiedenen Zeitpunkten sowie eine Nutzung von identifizierten Bewegungsmodellen als Merkmal für eine Objektklassifikation betreffen) wird im allgemeinen eine deutlich verbesserte Trennung bei der automatischen Sortierung beliebiger Schüttgüter erzielt. Zudem kann im Vergleich zum Stand der Technik für die Sortierung unkooperativer Materialien der mechanische Aufwand für eine Materialberuhigung erheblich reduziert werden. Darüber hinaus kann die vorliegende Erfindung für die Sortierung komplex geformter Schüttgüter eingesetzt werden, die aus mehreren verschiedenen Ansichten geprüft werden müssen, wobei nur eine einzelne Flächenkamera an fester Position zum Einsatz kommt.
Durch die Nutzung eines identifizierten Bewegungsmodells als Unterscheidungsmerkmal können zusätzlich Schüttgüter mit gleichem Aussehen, aber objektspezifischem Bewegungsverhalten (z.B. durch unterschiedliche Massen oder Oberflächenstrukturen) klassifiziert und automatisch sortiert werden.

Claims

Patentansprüche
1. Fördersystem zum Transport eines eine Vielzahl einzelner Objekte (01,02,...) umfassenden Materialstromes (M) dadurch gekennzeichnet, dass mit dem Fördersystem durch optische Erfassung einzelner Objekte (01,02,...) im Materialstrom (M) für diese Objekte (01,02,...) jeweils deren Ortsposition (x(t),y(t)) zu mehreren unterschiedlichen Zeitpunkten (t_4,t_3, ...) bestimmbar ist und anhand der zu den unterschiedlichen Zeitpunkten (t-4,t3,...) bestimmten Ortspositionen (x(t),y(t)) für diese Objekte (01,02,...) jeweils ihr Aufenthaltsort (xb(tb),yb(tb)) zu mindestens einem definierten Zeitpunkt (tb) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte (t_4,t_ 3, ...) berechenbar ist.
2. Fördersystem nach dem vorhergehenden Anspruch dadurch gekennzeichnet, dass sich aus mehreren Ortspositionen (x(t),y(t)) des jeweiligen Objekts zu unterschiedlichen Zeitpunkten (t-4,t3,...) zusammensetzende Bewegungspfade (1) für die einzelnen Objekte (01,02,...) bestimmbar sind, wobei bevorzugt die Bewegungspfade (1) unterschiedlicher Objekte (01,02,...) über rekursive oder nichtrekursive Schätzverfahren bestimmbar und/oder voneinander unterscheidbar sind.
3. Fördersystem nach dem vorhergehenden Anspruch dadurch gekennzeichnet, dass für die Objekte (01,02,...) anhand ihrer jeweiligen Bewegungspfade (1) jeweils ein Bewegungsmodell bestimmbar, insbesondere aus einer vorgegebenen Menge von Bewegungsmodellen auswählbar, ist und/oder Parameter für ein solches Bewegungsmodell bestimmbar sind.
4. Fördersystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die einzelnen Objekte (01,02,...) auf Basis der optischen Erfassung klassifizierbar sind.
5. Fördersystem nach dem vorhergehenden Anspruch dadurch gekennzeichnet, dass die Klassifizierung eines Objekts (01,02,...) unter Berücksichtigung der für dieses Objekt zu den unterschiedlichen Zeitpunkten (t-4,t_3,...) bestimmten Ortspositionen (x(t),y(t)), des für dieses Objekt bestimmten Bewegungspfades und/oder des für dieses Objekt bestimmten Bewegungsmodells durchführbar ist.
6. Fördersystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass für die Objekte (01,02,...) zweidimensionale Ortspositionen (x(t),y(t)), insbesondere zweidimensionale Ortspositionen relativ zum Fördersystem, bestimmbar sind, oder dass für die Objekte (01,02,...) dreidimensionale Ortspositionen im Raum bestimmbar sind.
7. Fördersystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass mit dem Fördersystem durch die optische Erfassung der einzelnen Objekte (01,02,...) im Materialstrom (M) für diese Objekte (01,02,...) jeweils zusätzlich zu deren Ortsposition (x(t),y(t)) auch deren Orientierung zu mehreren unterschiedlichen Zeitpunkten (t-4,t3,...) bestimmbar ist und dass anhand der zu den unterschiedlichen Zeitpunkten (t_4,t_ 3, ...) bestimmten Ortspositionen (x(t),y(t)) und Orientierungen für diese Objekte (01,02,...) jeweils ihr Aufenthaltsort (xb(tb),yb(tb)) zu dem mindestens einen definierten Zeitpunkt (tb) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte (t-4,t_3,...) berechenbar ist.
Fördersystem nach dem vorhergehenden Anspruch dadurch gekennzeichnet, dass anhand der zu den unterschiedlichen Zeitpunkten (t-4,t3,...) bestimmten Ortspositionen (x(t),y(t)) und Orientierungen für diese Objekte (01,02,...) jeweils zusätzlich zu ihrem Aufenthaltsort (xb(tb),yb(tb)) auch ihre Orientierung zu dem mindestens einen definierten Zeitpunkt (tb) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte (t-4,t_3,...) berechenbar ist.
Fördersystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die optische Erfassung mittels einer oder mehrerer optischen/r Erfas- sungseinheit(en), die bevorzugt ein(en) oder mehrere Flächensen- sor(en) (3) und/oder mehrere voneinander beabstandete Zeilensensoren umfasst/en oder ist/sind, erfolgt und/oder dass bei der optischen Erfassung eine Folge zweidimensionaler Bilder aufnehmbar ist, aus denen die Ortspositionen der Objekte zu den unterschiedlichen Zeitpunkten bestimmbar sind.
Fördersystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass im Rahmen der optischen Erfassung eines oder mehrerer der Objekte (01,02,...) zu mehreren unterschiedlichen Zeitpunkten (t-4,t_3,...) Abbilder, insbesondere Kamerabilder, dieses/dieser Objekts/e erzeugbar sind, dass in den erzeugten Abbildern jeweils die Form(en) dieses/dieser Objekts/e bestimmbar ist/sind und dass aus den bestimmten Formen jeweils ein dreidimensionales Abbild dieses/dieser Objekts/e berechenbar ist.
11. Fördersystem nach dem vorhergehenden Anspruch dadurch gekennzeichnet, dass das Berechnen des/der Aufenthaltsorte(s) des/der Objekts/e zu dem/den definierten Zeitpunkt(en) unter Berücksichtigung des/der berechneten dreidimensionalen Abbildes/r erfolgt.
12. Fördersystem nach einem der beiden vorhergehenden Ansprüche bei Rückbezug auf Anspruch 4 dadurch gekennzeichnet, dass die Klassifizierung des/der Objekts/e unter Heranziehen des/der berechneten dreidimensionalen Abbildes/r erfolgt.
13. Anlage zur Schüttgutsortierung umfassend ein Fördersystem nach einem der Ansprüche 1 bis 12, gekennzeichnet durch eine Sortiereinheit (4), mit der die Objekte (01,02,...) auf Basis der berechneten Aufenthaltsorte (xb(tb),yb(tb)) zu dem/den definierten Zeitpunkten) (tb) sortierbar sind.
14. Anlage nach dem vorhergehenden Anspruch bei Rückbezug auf Anspruch 4 dadurch gekennzeichnet, dass die Objekte auf Basis ihrer Klassifizierung sortierbar sind, wobei bevorzugt die Klassifizierung in Gutobjekte (G01,G02,...) und in Schlechtobjekte (S01,S02) erfolgt und bevorzugt die Sortiereinheit (4) eine Ausscheidungseinheit, insbesondere eine Ausblaseinheit, aufweist, die zum Entfernen von Schlechtobjekten aus dem Materialstrom (M) unter Verwendung der berechneten Aufenthaltsorte (xb(tb),yb(tb)) zu dem/den definierten Zeitpunkt(en) (tb) ausgebildet ist.
Verfahren zum Transport eines eine Vielzahl einzelner Objekte
(01,02,...) umfassenden Materialstromes (M) dadurch gekennzeichnet, dass bei dem Verfahren durch optische Erfassung einzelner Objekte
(01,02,...) im Materialstrom (M) für diese Objekte (01,02,...) jeweils deren Ortsposition (x(t),y(t)) zu mehreren unterschiedlichen Zeitpunkten (t_4,t_3, ...) bestimmt wird und anhand der zu den unterschiedlichen Zeitpunkten (t-4,t3,...) bestimmten Ortspositionen (x(t),y(t)) für diese Objekte (01,02,...) jeweils ihr Aufenthaltsort (xb(tb),Yb(tb)) zu mindestens einem definierten Zeitpunkt (tb) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte (t_4,t_ 3, ...) berechnet wird, wobei das Verfahren bevorzugt unter Verwendung eines Fördersystems oder einer Anlage nach einem der Ansprüche 1 bis 14 durchgeführt wird.
EP15705786.0A 2014-02-28 2015-02-09 Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren Active EP3122479B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014203638 2014-02-28
DE102014207157.7A DE102014207157A1 (de) 2014-02-28 2014-04-15 Fördersystem, Anlage zur Schüttgutsortierung mit einem solchen Fördersystem und Transportverfahren
PCT/EP2015/052587 WO2015128174A1 (de) 2014-02-28 2015-02-09 Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren

Publications (2)

Publication Number Publication Date
EP3122479A1 true EP3122479A1 (de) 2017-02-01
EP3122479B1 EP3122479B1 (de) 2018-04-11

Family

ID=53801452

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15705786.0A Active EP3122479B1 (de) 2014-02-28 2015-02-09 Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren

Country Status (4)

Country Link
US (1) US9833815B2 (de)
EP (1) EP3122479B1 (de)
DE (1) DE102014207157A1 (de)
WO (1) WO2015128174A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170104905A1 (en) * 2015-09-18 2017-04-13 Aspire Pharmaceutical Inc. Real Time Imaging and Wireless Transmission System and Method for Material Handling Equipment
DE102016210482A1 (de) * 2016-06-14 2017-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optisches Sortiersystem sowie entsprechendes Sortierverfahren
JP6732561B2 (ja) * 2016-06-23 2020-07-29 ワイエムシステムズ株式会社 豆類選別装置、及び豆類選別方法
DE102017220792A1 (de) 2017-11-21 2019-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Sortieren von Teilchen eines Materialstroms
DE102017220837A1 (de) * 2017-11-22 2019-05-23 Thyssenkrupp Ag Sortiervorrichtung mit bewegungsverfolgtem Material
DE102018200895A1 (de) 2018-01-19 2019-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung zumindest einer mechanischen Eigenschaft zumindest eines Objektes
US11479418B2 (en) * 2018-05-16 2022-10-25 Körber Supply Chain Llc Detection and removal of unstable parcel mail from an automated processing stream
EP3899877B1 (de) * 2018-12-20 2024-06-05 Sick Ag Sensorvorrichtung zur detektion eines von einem prozess beeinflussten oder in dem prozess gebildeten zielobjekts
US10934101B1 (en) 2019-08-14 2021-03-02 Intelligrated Headquarters, Llc Systems, methods, and apparatuses, for singulating items in a material handling environment
JP7306158B2 (ja) * 2019-08-27 2023-07-11 株式会社サタケ 光学式粒状物選別機
US10954081B1 (en) 2019-10-25 2021-03-23 Dexterity, Inc. Coordinating multiple robots to meet workflow and avoid conflict
US11883854B2 (en) * 2020-03-05 2024-01-30 Satake Corporation Optical sorter
CN111703448B (zh) * 2020-07-30 2025-01-21 宝鸡中车时代工程机械有限公司 一种自动化铁路扣件散料车
DE102021200894B3 (de) 2021-02-01 2022-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Optisches Untersuchen von Objekten eines Materialstroms wie beispielsweise Schüttgut
US12319517B2 (en) 2021-03-15 2025-06-03 Dexterity, Inc. Adaptive robotic singulation system
US12129132B2 (en) 2021-03-15 2024-10-29 Dexterity, Inc. Singulation of arbitrary mixed items
DE102021113125A1 (de) 2021-05-20 2022-11-24 Schuler Pressen Gmbh Verfahren zur Überwachung der Positionen von Halbzeugen
CN113787025A (zh) * 2021-08-11 2021-12-14 浙江光珀智能科技有限公司 一种高速分拣设备
CN114082674B (zh) * 2021-10-22 2023-10-10 江苏大学 面扫线扫光电特征相结合的小颗粒农产品色选方法
JP7562597B2 (ja) * 2022-05-12 2024-10-07 キヤノン株式会社 識別装置
DE102022118414A1 (de) 2022-07-22 2024-01-25 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Sortieranlage zum Sortieren von Objekten in einem Materialstrom nach Objektklassen und Verfahren zum Sortieren von in einem Materialstrom geförderten Objekten nach Objektklassen
CN117943308B (zh) * 2024-03-27 2024-07-12 赣州好朋友科技有限公司 可排尘的表面双面反射成像和射线成像组合的分选设备
NO349343B1 (en) * 2024-05-15 2025-12-15 Eco Mat As Material Sorting System and Process
NL2038329B1 (en) * 2024-07-25 2026-02-16 Gearbox B V Separating device for separating agricultural products

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3079932B2 (ja) * 1994-12-28 2000-08-21 株式会社佐竹製作所 穀粒色彩選別装置
US6003681A (en) 1996-06-03 1999-12-21 Src Vision, Inc. Off-belt stabilizing system for light-weight articles
US6380503B1 (en) * 2000-03-03 2002-04-30 Daniel G. Mills Apparatus and method using collimated laser beams and linear arrays of detectors for sizing and sorting articles
DE102004008642A1 (de) 2004-02-19 2005-09-08 Hauni Primary Gmbh Verfahren und Vorrichtung zum Entfernen von Fremdstoffen aus zu verarbeitendem Tabak

Also Published As

Publication number Publication date
US20160354809A1 (en) 2016-12-08
EP3122479B1 (de) 2018-04-11
WO2015128174A1 (de) 2015-09-03
US9833815B2 (en) 2017-12-05
DE102014207157A1 (de) 2015-09-03

Similar Documents

Publication Publication Date Title
EP3122479B1 (de) Fördersystem, anlage zur schüttgutsortierung mit einem solchen fördersystem und transportverfahren
DE69032146T2 (de) System zur Auffindung eines beweglichen Objekts
DE102014106211B4 (de) Sichtbasierte Mehrkamera-Fabriküberwachung mit dynamischer Integritätsbewertung
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
CN104935879B (zh) 用于活动顺序验证的基于视觉的监视系统
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
EP3740327B1 (de) Verfahren und vorrichtung zum bestimmen einer mechanischen eigenschaft eines objektes
DE112016000909T5 (de) Überwachungsvorrichtung und Überwachungsverfahren
WO2011020641A1 (de) Vorrichtung zur erkennung einer objektschlange, verfahren sowie computerprogramm
DE102015219544A1 (de) System und Verfahren zur Verfolgung optischer Codes
DE102007001649A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
WO2012110653A1 (de) Verfahren zum detektieren von zielobjekten in einem überwachungsbereich
DE102020214002B3 (de) Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
CN105844282B (zh) 一种运用线扫描相机检测喷油嘴O-Ring缺陷的方法
CN106295695A (zh) 一种飞机起降过程自动追踪拍摄方法及装置
DE60310087T2 (de) Qualitätsbewertung von schüttgut
DE102021211743A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Tracking-Daten für die Erkennung der Bewegung von Personen und Händen zum Steuern mindestens einer Funktion eines Technischen Systems und Sensorsystem
DE102017006566B3 (de) Vorrichtung und Verfahren zur optischen Überwachung von Oberflächen eines Körpers
EP3904827B1 (de) Dynamische routenplanung einer drohnenbasierten überprüfung von streckeneinrichtungen einer strecke
DE102009028742A1 (de) Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts
Chaiyasarn et al. Tile damage detection in temple facade via convolutional neural networks
EP2359308B1 (de) Vorrichtung zur erzeugung und/oder verarbeitung einer objektsignatur, überwachungsvorrichtung, verfahren und computerprogramm
CN105825166B (zh) 基于人体hog特征的行人流量统计方法及统计系统
DE102006036346A1 (de) Verfahren zur automatisierten 3-D-Objekterkennung und Lagebestimmung
DE102017220506A1 (de) Verfahren und Vorrichtung zum Schätzen eines maritimen Verkehrszustandes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160915

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: LAENGLE, THOMAS

Inventor name: BAUM, MARCUS

Inventor name: SCHULTE, HENNING

Inventor name: VIETH, KAI-UWE

Inventor name: NOACK, BENJAMIN

Inventor name: GRUNA, ROBIN

Inventor name: HANEBECK, UWE

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180104

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 987436

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180415

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015003831

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180411

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180712

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180813

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015003831

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

26N No opposition filed

Effective date: 20190114

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20190209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190209

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190209

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180811

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260301

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20260217

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20260216

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20260218

Year of fee payment: 12

Ref country code: IT

Payment date: 20260227

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260223

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20260301

Year of fee payment: 12