EP3468727B1 - Sortiervorrichtung sowie entsprechendes sortierverfahren - Google Patents

Sortiervorrichtung sowie entsprechendes sortierverfahren Download PDF

Info

Publication number
EP3468727B1
EP3468727B1 EP17729466.7A EP17729466A EP3468727B1 EP 3468727 B1 EP3468727 B1 EP 3468727B1 EP 17729466 A EP17729466 A EP 17729466A EP 3468727 B1 EP3468727 B1 EP 3468727B1
Authority
EP
European Patent Office
Prior art keywords
evaluation
sorting
objects
classification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP17729466.7A
Other languages
English (en)
French (fr)
Other versions
EP3468727A1 (de
Inventor
Thomas Längle
Wolfgang Karl
Georg Maier
Michael Bromberger
Mario Kicherer
Thomas Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Karlsruher Institut fuer Technologie KIT
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Karlsruher Institut fuer Technologie KIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Karlsruher Institut fuer Technologie KIT filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP3468727A1 publication Critical patent/EP3468727A1/de
Application granted granted Critical
Publication of EP3468727B1 publication Critical patent/EP3468727B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425—Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory

Definitions

  • the present invention relates to a sorting device (hereinafter also referred to as an optical sorting system) according to the preamble of claim 1 (and a corresponding method).
  • document GB 2 273 154 A discloses a sorting device with which objects of a material flow are sorted, comprising an image recording unit with which the material flow can be optically recorded and with which image data thereof can be generated, an evaluation unit with which objects in the material flow can be identified and classified, and a sorting unit with which classified objects of the material flow are sortable.
  • the device is designed to sort grains as document objects.
  • the device itself sets a color value threshold, which serves as an evaluation parameter, on the basis of an average color value of normal grains, which is determined by the device.
  • the object of the present invention is to improve the performance of optical sorting systems for sorting objects in material flows, in particular to improve the real-time capability of the systems, that is to say the To increase the probability that a sorting decision is actually made for each object in the material flow at the time of discharge.
  • the present invention is intended to provide more efficient processing of sensor data in order to enable real-time capability (and consequently to increase the sorting performance) even with short distances between the image recording unit (sensor system) and the sorting unit (unit for discharging objects).
  • the present invention is intended in particular to provide new approaches with regard to sensor data processing.
  • the present invention therefore draws the conclusion that an adaptive behavior of the sorting system is necessary in order to ensure or improve the real-time capability of the system.
  • a basic idea of the present invention consists in appropriately responding to the calculation times required, which fluctuate depending on the sensor data or the specific conditions in the material flow and / or in its objects.
  • the system according to the invention can be implemented as a belt sorting system, but slide sorting systems are also conceivable.
  • the optical detection of the material flow usually means the recording of a large number of individual images of the material flow or of excerpts thereof per unit of time.
  • video images (rapid individual image sequences) of a neutral background, over which the material flow is transported can be recorded and evaluated in real time by means of the evaluation unit (with regard to the objects in the material flow recorded against said background).
  • a color line or color area camera system for example based on CCD or CMOS, can be used as the imaging sensor system (image recording unit).
  • the individual recordings or video images of the image recording unit can be evaluated by the evaluation unit using image processing algorithms in order to obtain the six-dimensional pose (That is, the three-dimensional position and the three-dimensional orientation) or at least the three-dimensional position of each individual object of the material flow at defined times.
  • the setting of the evaluation parameter (s) takes place according to the invention by the or in the evaluation unit, in particular by a microcontroller or a computer unit thereof.
  • the sorting of “the classified” objects does not exclude the fact that non-classified objects are also sorted (namely, for safety's sake, for example, they are simply always separated out or discharged as “bad objects”).
  • the sorting can in particular be a mechanical separation of the classified objects.
  • the objects are classified into two classes, namely "good objects" and "bad objects".
  • the objects of the two classes can be collected in separate containers during sorting.
  • rapid air valves can be used to blow out the bad objects.
  • a sorting decision can be made by the evaluation unit with said minimum probability for any object in the material flow, so that the sorting unit can react to this object in accordance with the sorting decision made. If the (minimum) probability is equal to 100%, the evaluation unit makes a decision of identifying and classifying, i.e. a sorting decision, with absolute certainty for all objects in the material flow. In this case, the sorting decision can also be wrong (especially with very high belt speeds of the conveyor belt of a belt sorting system and / or with very high occupancy densities of the objects in the material flow).
  • the accuracy GK of one or more process step (s) can therefore be specified or set.
  • the process step (s) is / are then carried out with the (each) set GK.
  • Setting a low GK can mean, for example, that the image data or the data resulting from the image data are only processed as input data of the process step in a rough raster manner in order to keep the number of computer-aided calculations as low as possible. In this case, the process step carried out with this accuracy GK is ended in any case.
  • a defined (e.g. low) number of repetitions of the iterative loop (for iterative calculations) or after reaching a defined (e.g. low) recursion depth (for recursive calculations), i.e. after fulfilling a defined termination criterion the calculation of the process step is terminated.
  • the calculation time BZ of one or more process step (s) can therefore be specified or set at least approximately.
  • the process step (s) can then be carried out with the (respectively) set BZ or until the BZ has expired (termination criterion).
  • Frequencies with which the computation sequences of process steps are repeated can be specified or set (in the case of recursive algorithms, the frequency corresponds to the recursion depth). Setting a lower frequency generally leads to a lower accuracy with which a process step is carried out, or to a lower calculation time for the process step. After the calculation sequences have been repeated frequently (or the selected recursion depth has been reached), the process step is ended.
  • the termination criterion here is therefore a frequency.
  • WH repetition frequencies
  • varying accuracies GK and / or calculation times BZ result for the corresponding process steps.
  • process steps that refine accuracy can be implemented or realized step by step.
  • Any two or all three of the named evaluation parameter types can be used together by the evaluation unit to identify and classify the objects of the material flow.
  • the GK can be set in one process step (for example the segmentation in the image data), while the BZ is set in another process step (for example using a classifier based on a decision tree).
  • all calculations for all objects in the material flow are preferably carried out and completed (if necessary, for example by premature termination of the calculations with a still very low level of accuracy) that the objects each need after they have been captured by the image recording unit (for example on the Conveyor belt) to the last possible place where they can still be sorted out by the sorting unit.
  • the image recording unit for example on the Conveyor belt
  • the identification and classification or the evaluation can therefore be carried out in several process steps (hereinafter also alternatively referred to as components) of the evaluation unit.
  • a type, preferably exactly one type, of evaluation parameters according to claims 3 to 5 can be defined.
  • the resulting or the selected calculation time (s), cf. also the preceding dependent claims are such that even with changes in the material flow or in the objects of the same, the occupancy parameter (s) is / are determined so quickly and proceeding therefrom the evaluation parameter (s) can be adapted so quickly that the conditions of claim 2 can also be met in the changed material flow or for the changed objects.
  • This can be achieved by means of suitable hardware and / or software and / or also by means of suitable, sufficiently low set accuracies.
  • evaluation parameters can thus be set which are used directly in the evaluation unit in order to control the identification and classification (or the process steps of the same) directly, ie immediately, by the evaluation unit.
  • evaluation parameters can be set which control the image recording unit 1 and which thus indirectly or indirectly, i.e. as a result of this control, influence the identification and classification carried out by the evaluation unit (or the process steps of the same).
  • An example of such an evaluation parameter is the image resolution (or the number of pixels per unit area) in the image recording unit: This can be reduced (e.g. by combining several pixels). The image data then have a lower image resolution, the occupancy parameters thus become less precise / coarser and / or are available in fewer numbers (and can thus be determined more quickly). The latter then also indirectly simplifies or accelerates the identification and classification by or in the evaluation unit. The latter can also be achieved by changing one or more evaluation parameters of the evaluation unit with regard to the setting on the basis of the evaluation parameter (s) of the image recording unit.
  • Such a sorting parameter can preferably be set by the sorting unit.
  • One possible sorting parameter is the interconnection of several neighboring blow-off nozzles of the sorting unit to form a nozzle cluster. For example, with such a nozzle cluster, large objects can be sorted out more reliably or (with a low occupancy density) larger blow-out areas can be created around objects to be sorted out. The probability of the actual sorting out objects to be sorted out by the sorting unit can thus be further increased.
  • the occupancy density can in particular be defined as the mean number of objects per unit area of the material flow (for example as the mean number of objects with which a unit area of the conveyor belt of a sorting system of the belt type is occupied).
  • the occupancy density can mean the average number of objects per fall section or per fall area unit.
  • the occupancy distribution can record or describe whether the objects in the material flow are all separated or the probability of any single object being present on, for example, the conveyor belt (or whether objects still overlap or the probability of clustering).
  • the segmentation as part of the identification can be carried out, for example, as described in “Digital image processing and image acquisition” by B. Jähne, Springer, Heidelberg, Germany, 2012 is described.
  • the identification and classification in particular the identification, can include further process steps such as an image preprocessing step (before segmenting and before the correlation analysis) and / or a feature calculation step (after segmenting and after the correlation analysis). See for example “Digital image processing and image acquisition “by B. Jähne, Springer, Heidelberg, Germany, 2012 and “ Automatic visual inspection: Basics, methods and practice of image acquisition and evaluation ", J. Beyerer, FP León, C. Frese, Springer-Verlag Berlin Heidelberg, Germany, 2012 .
  • a classification process step and then a sorting decision process step can take place (the classification process step can also already contain the sorting decision).
  • a central processing unit (server system) is preferably used, with which all units of the sorting system are connected via bidirectional data lines. This central processing unit can carry out all necessary data processing measures, calculations and / or process steps with the aid of a computer.
  • a sorting method according to the invention can be found in claim 13.
  • the present invention thus describes a procedure in which, in principle, the best possible sorting decision can be made within the available computing time, in order to enable real-time limits to be adhered to in principle.
  • the Associated Upgrading the evaluation system (evaluation unit) can thus directly support qualitative advances in optical bulk material sorting, since time limits can be defined more closely. According to the invention, this is implemented through the use of algorithms which incrementally refine a sorting decision or which, alternatively, align their calculations with an allocated time budget.
  • a number of implementations which differ in accuracy GK and calculation effort BZ, can be used for partial tasks of the evaluation system.
  • a runtime system can select specific implementations in order to adhere to real-time limits and to achieve the best possible result during the time available.
  • the available time budget can be propagated to evaluation algorithms.
  • the algorithms can be expanded to include intelligence so that they make the best possible use of the time available.
  • interruptible sub-processes can be implemented.
  • the evaluation algorithm can be interrupted at any time by a control system and the best process step result up to this point in time can be queried.
  • information about an object to be sorted can always be evaluated for a sorting decision. So it does not come to the case that if the time limit is exceeded, an object for a classification or sorting is ignored at all. This ultimately results in an increase in the sorting performance and the sorting quality.
  • sorting unit it can be ensured that a sorting decision is made for each object contained in the material flow when the separation mechanism (sorting unit) is reached.
  • This decision is generally based on information that has been recorded about the object by the sensor (image recording unit), the evaluation quality differing depending on the time available. This means that a better decision can be made than is the case with conventional prior art systems.
  • a lower latency between the sensory detection and the separation can be made possible, whereby the spatial separation is minimized, an increase in the sorting quality is achieved, and a more compact sorting system is realized.
  • the invention makes it possible to achieve improved separation in the automated sorting of any bulk goods or material flows.
  • smaller outlet windows can be used compared to the prior art.
  • the invention can be used for sorting complex bulk goods which are classified on the basis of many complex characteristics.
  • Optical sorting systems as in the present invention can be used if the materials or the objects can be distinguished on the basis of optical features, preferably in the visible or also in the near infrared range, and can thus be classified for sorting.
  • the invention can be used for the raw material processing industry, in which, in addition to cost-effective production, consistently high quality must always be ensured. This includes, for example, the sorting of industrial minerals, for example to reduce the iron content in a raw material.
  • the invention can also be used in the food or luxury goods sector, where impurities in products (for example: dried peppers, dried grapes ...) have to be removed. Another important area of application is the recycling of products (e.g. sorting of old glass).
  • the present invention can make a significant contribution to better economic efficiency in optical sorting systems.
  • a material occupancy eg occupancy density
  • a distribution of the objects in the material flow can be determined by a monitoring unit. This can be achieved through learned models as well as through certain metrics. Based on this knowledge, individual links (components or process steps) of the processing chain can, for example, be made possible by a control component regarding the accuracy. A shorter calculation time for these elements can thus be achieved.
  • the accuracy of at least one element or a process step can be set to "coarser” or "less”, so that the real-time conditions are always met (even if this reduces the accuracy of the classification or sorting decisions or if this increases the error rate, ie the probability of an incorrect sorting decision or classification decision for an object being viewed).
  • this greatly increases the probability of compliance with all real-time conditions in the sorting system. This results in better sorting decisions, since a classification can be carried out at all for more objects in the material flow by increasing compliance. (In the extreme case, a classification decision and thus also a sorting decision is made in every case, ie for each individual object in the material flow.)
  • control component can set the evaluation parameters, in particular the accuracy, the calculation time and / or the repetition frequency, on the basis of relationships determined with known material flows (with known object occupancy, with known object types, object sizes, object weights, etc.). These relationships can reflect dependencies between the material allocation or the allocation parameters on the one hand and the settings to be made for the evaluation parameters on the other hand.
  • the sorting quality and sorting performance result according to the set evaluation parameters.
  • Figures 1 to 5 show an exemplary embodiment for an optical sorting system according to the invention (and a corresponding sorting method) as follows.
  • FIG. 1 shows an optical band sorter which basically follows the structure according to the prior art, the special features according to the invention being in particular in the evaluation unit 2 or the evaluation of the image data 4 by the same.
  • a bulk material flow or material flow M is transported by means of a conveyor belt 11 in a manner known per se to the person skilled in the art past an image recording unit 1 to a sorting unit 3 arranged at a defined distance from the image recording unit 1.
  • the bulk material flow M comprises a large number of individual objects O, which are to be classified or sorted into only two classes, namely into good objects (to be sorted into the collecting container 13b of the sorting unit 3) and bad objects (to be sorted into the further collecting container 13a the sorting unit 3).
  • the objects O of the material flow M must first be recorded by the image recording unit, then classified into good objects and bad objects by evaluating the image data 4 recorded by this unit 1 in the evaluation unit 2 and finally sorted. Sorting into or dividing into the two containers 13a, 13b in accordance with the sorting or classification result 13 is carried out by the compressed air valves of the sorting unit 3, which uses the evaluation results 10 of the evaluation unit 2 to identify bad objects Remove from the material flow M by blowing out.
  • the bad objects blown out fall into the container 13a for the bad objects, the good objects remain in the material flow M, that is, are not blown out, and fall into the container 13b for good objects. This describes the ideal state of sorting result 13.
  • the image recording unit 1 comprises an imaging sensor system, here a CCD color line camera 1a, which detects the material flow M or the objects O of the same in the discharge area of the conveyor belt 11 against a background 12 or records a rapid sequence of images of the material flow M against the background 12 .
  • an illumination 1b of the unit 1 illuminates the material flow M against the background 12 of the unit 1 in order to ensure optimal image recording conditions for the camera 1a.
  • the recorded image data or video data 4 are transmitted to the latter via a data line connection between camera 1a and evaluation unit 2.
  • the evaluation unit 2 then carries out the process steps of identifying and classifying the objects O of the material flow M in the image data 4, which are described in detail below, and transmits the evaluation results 10 of the process steps 7a-7g carried out (cf. Figure 3 ) via a data connection to the sorting unit 3.
  • the latter finally discharges bad objects at a distance from the discharge area of the conveyor belt 11 or from the pick-up unit 1, whereby the separation into good objects (container 13b) and bad objects (container 13a) results in 13 in the sorting result.
  • Figure 2 shows the material flow (solid arrows) as well as the data flow (dashed arrows), in particular the data flow during image data acquisition and evaluation, in the system according to FIG Figure 1 .
  • the material feed onto the conveyor belt 11 is first followed by a separation and stabilization of the objects O on the conveyor belt before the in Figure 1
  • the transport state shown on the left in the picture or the state of the objects O in the material flow M on the conveyor belt 11 is present.
  • the image recording or sensor recording of the objects O in the material flow M takes place by means of the image recording unit 1 or the camera 1a of the same.
  • the image data 4 are sent to Evaluation in the evaluation unit 2, which carries out the classification or makes the sorting decision for the individual objects O at the end of the evaluation.
  • the material flow M falls downstream of the discharge area of the conveyor belt 11, viewed along the discharge parabola.
  • the time span of the free fall of the objects O along the ejection parabola is defined by the distance between the end of the conveyor belt on the one hand and the area of action of the compressed air valves of the sorting unit 3 on the other hand and corresponds to the latency or the time required for a meeting a sorting decision for an object O is available.
  • a classification and sorting decision is made during this latency period. This takes place in the evaluation unit 2.
  • the sorting decision (in a good object or a bad object) is finally implemented by the sorting unit 3 (separation) after the latency period has ended for each object.
  • Figure 3 shows, in simplified form, the sequence in the sorting system according to Figures 1 and 2 : After the material feed 30 onto and the material transport 31 on the conveyor belt 11, the image acquisition 32 takes place by means of the camera 1a of the image recording unit 1. The evaluation 33 then begins by the evaluation unit 2, which is followed by the separation 34 by the sorting unit 3.
  • Figure 3 comprises the evaluation, i.e. the identification and classification of the objects O by the evaluation unit 2, here a total of seven individual process steps 7.
  • the input data of the evaluation are the image data 4.
  • the determined occupancy parameter 5 (cf. Figure 4 : Material occupancy density)
  • exactly one evaluation parameter 6 controlling this process step is set in the evaluation unit for each individual process step 7.
  • the evaluation of the occupancy density required for this to calculate the evaluation parameters 6a-6g of the individual process steps 7a-7g of identification and classification by evaluation unit 2 takes place in the computer system of evaluation unit 2 (not shown).
  • an image data preprocessing accuracy level GK 6a is set by the evaluation unit 2 for the first process step 7a of the image data preprocessing of the image data 4 as the evaluation parameter controlling this preprocessing.
  • the accuracy level can be, for example, "low”, “medium” or “high” (see also Figure 4 ).
  • the evaluation unit 2 sets a fixed calculation time BZ as evaluation parameter 6b. Step 7b of the evaluation is thus controlled using a BZ.
  • the subsequent third process step 7c of the segmentation is in turn carried out or controlled with an accuracy level GK set by means of the unit 2 as evaluation parameter 6c.
  • one of the three accuracy level values “low”, “medium” or “high” is also assigned or set as evaluation parameter 6d.
  • the fifth process step of the feature calculation 7e in terms of time is carried out or controlled on the basis of a set repetition frequency WH as evaluation parameter 6e.
  • the feature calculation here comprises a calculation sequence to be carried out recursively, the repetition frequency WH 6e e.g. can assume a value between 3 and 7 (ie the recursion depth of the calculations can be selected between 3 and 7, whereby 3 requires little computational effort and thus enables step 7e to be carried out quickly, and a value of 7 requires a high calculation effort, so that Step 7e takes a long time to be carried out, but can be done with high accuracy - the latter is therefore only sensible or possible if there is a low occupancy density 5 if sorting decisions have to be made for all objects O).
  • the sixth step 7f is the classification, with an accuracy GK again being set as the evaluation parameter 6f for this process step 7f.
  • the final sorting decision 7g is also made on the basis of setting an accuracy value GK 6g.
  • Figure 4 shows how the Figures 1 to 3 Evaluation parameters 6 can be set on the basis of occupancy parameters 5 determined beforehand in the image data 4. This is shown on the basis of an individual occupancy parameter 5, here the material occupancy density, which is determined with the evaluation unit 2 from the image data recorded with the image recording unit 1 or the camera 1a of the same (individual images 4 are shown here).
  • FIG. 4 shows, in the case of a low material occupancy density 5 for the identification and classification or for all individual process steps thereof, a high accuracy 6 is set as the evaluation parameter, so that the evaluation unit 2 carries out all the identification and classification process steps 7 with the accuracy "high", without the real-time conditions being violated during the evaluation (cf. Figure 4 , middle picture line).
  • the evaluation unit 2 sets the accuracy 6 to "low” for all process steps 7 . From this point on, the identification and classification is carried out with low accuracy or controlled in such a way that the real-time conditions can be maintained again (cf. Figure 4 , lower picture line).
  • Figure 4 also shows that evaluation parameters 8 of the image recording unit 1 can also be set on the basis of the material covering density 5.
  • the only evaluation parameter 8 of the image recording unit 1 that can be set here is its image resolution.
  • the camera 1a can record the image data 4 with high image resolution 8
  • the image resolution 8 can be significantly reduced when recording the image data 4.
  • the so adjustable evaluation parameter 8 of the image recording unit 1 can then indirectly also influence the determination of the occupancy parameter (s) 5 and thus also the setting of the evaluation parameter (s) 6 of the evaluation unit 2.
  • Figure 5 finally shows an example of a possible implementation of one of the process steps or subtasks Figure 3 , namely the classification 7f.
  • the example shows an implementation of an interruptible classifier for making the best possible classification decision (or the sorting decision that follows this).
  • a decision tree is used as the basis for the classifier.
  • a feature of a found object is compared against a threshold value and the path to the right or to the left is followed according to the comparison result, as in FIG Figure 5 shown.
  • the resulting classes are stored in the leaves of the decision tree.
  • these methods can be expanded in such a way that not only a class membership is stored in the leaves of the decision tree, but also a probability for the various class memberships in each inner decision tree node (based on the training amount) is stored. For example, if you distinguish between two classes, namely a class A for good objects and class B for bad objects, with the same number of examples in the training set for both classes, then the probabilities for class membership for A and B are in the top node f 8 at 50% each.
  • f describes the feature vector and the eighth contained feature is correspondingly described by f 8 . It should be noted that a single feature in several nodes of the decision tree can be used as a test criterion.
  • An object O to be classified falls into the left or right subtree after the comparison with f 8 in the first, topmost node.
  • a comparison is now made with f 4 .
  • the probabilities can be redistributed. For example, it is conceivable that in the latter node the probabilities for A are stored with 30% and for B with 70%. If the process step of classification is then interrupted at this point (or if the calculations have reached this point), the statement can be made with certainty that, according to the current state of knowledge, belonging to class B is more likely than to class A.
  • the process step of the correlation analysis 7d (cf. Figure 3 ) can be implemented according to the invention, for example, by a “connected component analysis”. See z. BMB Dillencourt et al. "A General Approach to Connected Component Labeling for Arbitrary Image Representations", Journal of the ACM 39 (2), 1992 .
  • interruption points can be granted here by undersampling the image with a shifted grid, for example. For example, only every fourth pixel can be viewed in a first pass: the same value can then be assumed for all pixels not viewed as for the pixel viewed last. If there is enough calculation time available, the grid can be shifted: In this way, the information about the image is refined with each cycle or each repetition. It is an iterative process that can deliver valid information after each run, but this information successively improved.
  • Interruptible sub-processes or process steps can also be implemented as follows, for example.
  • the area of an object is determined in pixels.
  • the pixels are simply counted in an algorithm.
  • Such a process can be interrupted at any time and the pixels counted so far can be assumed as an area.
  • the area can be estimated from other data, if already available. For example, if an axis-aligned "bounding box" is known, the area of this box can be used as an estimate instead of the real area (this can offer advantages through fewer memory accesses).
  • iterative methods or iteratively performed process steps can be interrupted with each loop pass.
  • the result of the last complete loop pass can be used.

Landscapes

  • Sorting Of Articles (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf eine Sortiervorrichtung (nachfolgend auch als optisches Sortiersystem bezeichnet) gemäß Oberbegriff des Anspruchs 1 (sowie ein entsprechendes Verfahren).
  • Bei der optischen Sortierung von Schüttgütern in Materialströmen, die sich gut anhand optischer Merkmale im sichtbaren Spektrum wie Farbe, Form und/oder Textur, oder auch Materialeigenschaften im nahen Infrarotbereich trennen lassen, haben Anlagenbetreiber Interesse daran, den Materialdurchsatz zu maximieren. Daraus resultiert eine bessere Wirtschaftlichkeit. Erreicht werden kann ein höherer Materialdurchsatz durch höhere Schüttdichten, größere Sortierbreiten und/oder höhere Materialgeschwindigkeiten.
  • Für eine möglichst genaue Ausschleusung und somit ein bestmögliches Sortierergebnis ist es notwendig, die Sensorik und die Separationstechnik räumlich möglichst nahe beieinander anzuordnen. Hierdurch kann die Lage der Objekte im Materialstrom auf Höhe des Separationsmechanismus besser vorhergesagt und es kann entsprechend präzise, z.B. durch pneumatische Ventile, ausgeschleust werden. Darüber hinaus kann der Beifang (also der ungewollte Ausschuss von Objekten) nahe einem auszuschleusenden Objekt so gering wie möglich gehalten werden.
  • Für viele bekannte Merkmale, z.B. geometrische Deskriptoren, ist die Berechnungszeit direkt vom Objekt abhängig. Bei sehr hohen Schüttdichten bzw. Belegungsdichten im Materialstrom entstehen aus Sicht der Bildverarbeitung zusätzlich häufig Objektagglomerate (Objektcluster), welche algorithmisch nur noch schwer getrennt (insbesondere: segmentiert) werden können. Dies hat zur Folge, dass sich selbst bei der Sortierung von homogenen Produkten bzw. Objekten stark unterschiedliche Rechenaufwände zur Klassifikation ergeben können.
  • Die genannten Aspekte stellen Auswerteverfahren vor große Herausforderungen, da mit ihnen stets die Forderung nach Echtzeitauswertungen einhergeht. Werden Echtzeitschranken für bestimmte im Materialstrom enthaltene Objekte verletzt, liegt keine rechtzeitige Entscheidung des Auswertesystems über jene Objekte vor, d.h. eine Sortierentscheidung für ein entsprechendes Objekt (insbesondere: soll dieses Objekt ausgeschleust werden oder nicht) kann nicht rechtzeitig getroffen werden. Dies führt potentiell (oder auch tatsächlich) zu Fehlsortierungen.
  • Aus dem Stand der Technik bekannt sind Sortiersysteme, insbesondere zum Sortieren von Schüttgütern, aus den folgenden Offenlegungsschriften:
  • Siehe zudem "Stand der Technik der sensorgestützten Sortierung" von H.
  • Wotruba, BHM, 153. Jg. (2008), Heft 6, Seiten 221 - 224. Dokument GB 2 273 154 A offenbart eine Sortiervorrichtung, mit der Objekte eines Materialstroms sortiert werden, umfassend eine Bildaufnahmeeinheit, mit der der Materialstrom optisch erfassbar ist und mit der Bilddaten desselben erzeugbar sind, eine Auswerteeinheit, mit der Objekte im Materialstrom identifizierbar und klassifizierbar sind, und eine Sortiereinheit, mit der klassifizierte Objekte des Materialstroms sortierbar sind. Die Vorrichtung ist dazu ausgelegt, Körner als Belegobjekte zu sortieren. Die Vorrichtung stellt eine Farbwertschwelle, die als Auswerteparameter dient, auf Grundlage eines mittleren Farbwerts normaler Körner, der von der Vorrichtung ermittelt wird, selbst ein.
  • Aufgabe der vorliegenden Erfindung ist es, die Leistungsfähigkeit optischer Sortiersysteme zum Sortieren von Objekten in Materialströmen zu verbessern, insbesondere die Echtzeitfähigkeit der Systeme zu verbessern, d.h., die Wahrscheinlichkeit zu erhöhen, dass für jedes Objekt im Materialstrom zum Ausschleusungszeitpunkt tatsächlich eine Sortierentscheidung vorliegt. Zudem soll die vorliegende Erfindung eine leistungsfähigere Verarbeitung von Sensordaten zur Verfügung stellen, um auch bei kurzen Abständen zwischen Bildaufnahmeeinheit (Sensorik) und Sortiereinheit (Einheit zur Ausschleusung von Objekten) eine Echtzeitfähigkeit zu ermöglichen (und damit in der Konsequenz die Sortierleistung zu steigern). Die vorliegende Erfindung soll dazu insbesondere neue Ansätze bezüglich der Sensordatenverarbeitung zur Verfügung stellen.
  • Diese Aufgabe wird durch ein optisches Sortiersystem gemäß Anspruch 1 sowie ein Sortierverfahren gemäß Anspruch 13 gelöst. Vorteilhafterweise realisierbare Varianten lassen sich den abhängigen Ansprüchen entnehmen.
  • Die vorliegende Erfindung geht zunächst von folgenden Grundüberlegungen aus: Bei herkömmlichen Systemen besteht das Problem, dass für manche Objekte bei Erreichen des Separationsmechanismus (Sortiereinheit) keine Sortierentscheidung vorliegt, da die benötigten Berechnungen des Auswertesystems (Auswerteeinheit) noch nicht abgeschlossen sind. Eine Teilmenge aus dem Stand der Technik bekannter Anlagen behandelt diesen Zustand überhaupt nicht, wodurch sich zwangsweise Einbußen hinsichtlich Sortierleistung und/oder Sortierqualität ergeben. Um diese Probleme zu lösen, scheinen sich zunächst folgende Ansätze anzubieten:
    • Verringerung der Materialzufuhr: Liegen wenige(r) Objekte zur Auswertung vor, kann mehr Zeit pro Objekt für Berechnungen genutzt werden. Allerdings würde sich dies negativ auf die Wirtschaftlichkeit der Anlage auswirken.
    • Vergrößerung des Abstands zwischen der sensorischen Erfassung und der Separation: Hierdurch kann der Auswerteeinheit (bei konstanter Materialgeschwindigkeit) eine größere Latenz zur Bildauswertung gewährt werden. Dies würde jedoch den Nachteil mit sich bringen, dass die Position von Objekten bei Erreichen der Sortiereinheit (Separationsmechanismus) schlechter prognostiziert werden kann. Durch größere Ausblasfenster könnte dem entgegengewirkt werden, jedoch würde dadurch der Beifang (ungewollter Ausschuss von Objekten nahe an einem auszuschleusenden Objekt) erhöht.
    • Implementierung der Bildauswertung in Hardware: Hierdurch würden zwar sehr hohe Verarbeitungsgeschwindigkeiten erreicht werden, dies hätte jedoch den Nachteil, dass die entsprechende Realisierung auf eine ganz bestimmte Sortieraufgabe zugeschnitten werden müsste. Es würde dann an Flexibilität hinsichtlich der zugrundeliegenden Sortieraufgabe mangeln (in vielen Anlagen müssen aber unterschiedliche Sortieraufgaben gelöst werden).
  • Allen diesen Lösungsansätzen ist gemein, dass sie entweder hohe Verarbeitungsgeschwindigkeiten unterstützen oder aber die tolerierbare Latenz erhöhen. Aus diesen Grundüberlegungen zieht die vorliegende Erfindung daher den Schluss, dass ein adaptives Verhalten des Sortiersystems notwendig ist, um die Echtzeitfähigkeit des Systems zu gewährleisten bzw. zu verbessern. Mit anderen Worten besteht eine Grundidee der vorliegenden Erfindung darin, passend auf die in Abhängigkeit der Sensordaten bzw. der konkreten Verhältnisse im Materialstrom und/oder bei dessen Objekten schwankenden benötigten Berechnungszeiten einzugehen.
  • Die grundlegende Realisierung dieser Grundidee beschreibt das optische Sortiersystem gemäß Anspruch 1.
  • Das erfindungsgemäße System kann als Bandsortiersystem realisiert sein, es sind aber auch Rutschensortiersysteme denkbar. Das optische Erfassen des Materialstroms bedeutet dabei in der Regel die Aufnahme einer Vielzahl von einzelnen Bildern des Materialstroms bzw. von Ausschnitten desselben je Zeiteinheit. Beispielsweise können, während das Sortiersystem arbeitet, Videobilder (schnelle Einzelbildfolgen) eines neutralen Hintergrundes, über den der Materialstrom hinweg transportiert wird, aufgenommen werden und mittels der Auswerteeinheit in Echtzeit (hinsichtlich der vor besagtem Hintergrund aufgenommenen Objekte im Materialstrom) ausgewertet werden.
  • Dabei kann als bildgebende Sensorik (Bildaufnahmeeinheit) ein Farb-Zeilen- oder ein Farb-Flächen-Kamerasystem (Array), beispielsweise auf CCD- oder auf CMOS-Basis, eingesetzt werden. Die einzelnen Aufnahmen bzw. Videobilder der Bildaufnahmeeinheit können mit Bildverarbeitungsalgorithmen durch die Auswerteeinheit ausgewertet werden, um die sechsdimensionale Pose (also die dreidimensionale Lage und die dreidimensionale Orientierung) oder zumindest die dreidimensionale Lage jedes einzelnen Objekts des Materialstroms zu definierten Zeitpunkten zu bestimmen.
  • Das Einstellen des/der Auswertungsparameter(s) erfolgt erfindungsgemäß durch die bzw. in der Auswerteeinheit, insbesondere durch einen Mikrocontroller oder eine Rechnereinheit derselben.
  • Das Sortieren "der klassifizierten" Objekte schließt dabei nicht aus, dass auch nicht-klassifizierte Objekte sortiert werden (nämlich beispielsweise sicherheitshalber einfach immer als "Schlecht-Objekte" ausgesondert bzw. ausgeschleust werden). Das Sortieren kann insbesondere ein mechanisches Trennen der klassifizierten Objekte sein. Im einfachsten Fall werden die Objekte in zwei Klassen klassifiziert, nämlich in "Gut-Objekte" und in "Schlecht-Objekte". Die Objekte der beiden Klassen können bei der Sortierung in getrennten Behältnissen aufgefangen werden. Dazu können (was dem Fachmann grundsätzlich bekannt ist, vgl. auch den vorgenannten Stand der Technik) schnelle Luftventile zum Ausblasen der Schlecht-Objekte eingesetzt werden.
  • Erste vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 2 entnehmen.
  • Anders ausgedrückt kann mit der besagten Mindestwahrscheinlichkeit für ein beliebiges Objekt im Materialstrom durch die Auswerteeinheit eine Sortierentscheidung getroffen werden, so dass die Sortiereinheit gemäß der getroffenen Sortierentscheidung auf dieses Objekt reagieren kann. Falls die (Mindest-)Wahrscheinlichkeit gleich 100% ist, trifft die Auswerteeinheit mit absoluter Sicherheit für alle Objekte im Materialstrom jeweils eine Entscheidung des Identifizierens und Klassifizierens, also eine Sortierentscheidung. Dabei kann (insbesondere bei sehr hohen Bandgeschwindigkeiten des Transportbandes eines Bandsortiersystems und/oder bei sehr hohen Belegungsdichten der Objekte im Materialstrom) die Sortierentscheidung auch falsch sein. Es kann auch vorkommen, dass durch ein fehlerhaftes Einwirken der Sortiereinheit auf den Materialstrom ein bestimmtes, klassifiziertes Objekt trotz einer (korrekten) Sortierentscheidung der Auswerteeinheit auf "Ausschleusen" dennoch nicht ausgeschleust wird. Ebenso kann es vorkommen, dass ein bestimmtes, klassifiziertes Objekt ausgeschleust wird, obwohl die (korrekte) Sortierentscheidung für dieses Objekt auf "nicht Ausschleusen" lautet.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 3 entnehmen.
  • Es kann also die Genauigkeit GK eines oder mehrerer Prozessschritts/e (z.B. des Prozessschritts der Segmentierung oder des Prozessschritts der Anwendung eines Klassifikators auf Entscheidungsbaumbasis) vorgegeben bzw. eingestellt werden. Der/die Prozessschritt(e) wird/werden daraufhin mit der (jeweils) eingestellten GK durchgeführt. Das Einstellen einer geringen GK kann beispielsweise heißen, dass die Bilddaten bzw. die aus den Bilddaten hervorgehenden Daten als Eingangsdaten des Prozessschritts nur grobgerastert bearbeitet werden, um die Zahl der rechnergestützt durchzuführenden Berechnungen möglichst gering zu halten. In diesem Fall wird der mit dieser Genauigkeit GK durchgeführte Prozessschritt in jedem Fall beendet.
  • Dies kann aber - bei iterativen Berechnungen oder bei rekursiven Berechnungen - auch heißen, dass nach einer definierten (beispielsweise geringen) Wiederholungsanzahl der Iterationsschleife (bei iterativen Berechnungen) oder nach Erreichen einer definierten (beispielsweise geringen) Rekursionstiefe (bei rekursiven Berechnungen), also nach Erfüllen eines definierten Abbruchkriteriums, ein Abbruch der Berechnungen des Prozessschrittes erfolgt.
  • Als Folge eines solchen Vorgebens bzw. Einstellens unterschiedlicher Genauigkeiten ergeben sich variierende Berechnungszeiten und/oder Wiederholungsanzahlen (bei iterativen Berechnungen) bzw. Rekursionstiefen (bei rekursiven Berechnungen).
  • Erfindungsgemäß können insbesondere die Genauigkeit schrittweise verfeinernde Algorithmen (insbesondere: rekursiv, iterativ und/oder inkrementell verfeinernde Algorithmen) eingesetzt werden. Dies muss aber nicht der Fall sein, die Algorithmen können auch nicht repetitiv und/oder analytisch sein.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 4 entnehmen.
  • Es kann also die Berechnungszeit BZ eines oder mehrerer Prozessschritts/e zumindest näherungsweise vorgegeben bzw. eingestellt werden. Der/die Prozessschritt(e) kann/können dann mit der (jeweils) eingestellten BZ bzw. solange, bis die BZ abgelaufen ist (Abbruchkriterium), durchgeführt werden.
  • Als Folge des Vorgebens bzw. Einstellens unterschiedlicher Berechnungszeiten ergeben sich variierende Genauigkeiten und/oder Wiederholungsanzahlen (bei iterativen Berechnungen) bzw. Rekursionstiefen (bei rekursiven Berechnungen).
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 5 entnehmen.
  • Es können also Häufigkeiten, mit denen Berechnungsfolgen von Prozessschritten wiederholt werden, vorgegeben bzw. eingestellt werden (bei rekursiven Algorithmen entspricht die Häufigkeit der Rekursionstiefe). Ein Einstellen einer geringeren Häufigkeit führt in der Regel zu einer geringeren Genauigkeit, mit der ein Prozessschritt durchgeführt wird, bzw. zu einer geringeren Berechnungszeit für den Prozessschritt. Nachdem die Berechnungsfolgen entsprechend häufig wiederholt wurden (bzw. die gewählte Rekursionstiefe erreicht wurde) wird der Prozessschritt beendet. Das Abbruchkriterium ist hier also eine Häufigkeit. Als Folge eines solchen Vorgebens bzw. Einstellens von unterschiedlichen Wiederholhäufigkeiten (nachfolgend auch mit WH abgekürzt) ergeben sich variierende Genauigkeiten GK und/oder Berechnungszeiten BZ für die entsprechenden Prozessschritte.
  • Gemäß der Ansprüche 3 bis 5 können erfindungsgemäß schrittweise genauigkeitsverfeinernde Prozessschritte implementiert bzw. realisiert werden. Zwei beliebige oder alle drei der genannten Auswertungsparametertypen (GK, BZ und/oder WH) können durch die Auswerteeinheit zum Identifizieren und Klassifizieren der Objekte des Materialstroms zusammen eingesetzt werden. So kann beispielsweise bei einem Prozessschritt (z.B. der Segmentierung in den Bilddaten) die GK eingestellt werden, während bei einem anderen Prozessschritt (beispielsweise dem Anwenden eines Klassifikators auf Entscheidungsbaumbasis) die BZ eingestellt wird.
  • Vorteilhafterweise erfolgt das Implementieren der verwendeten Algorithmen so, dass für alle verwendeten Auswertungsparameter bzw. Typen von Auswertungsparametern für jeden Prozessschritt zu jedem Zeitpunkt während des Durchführens eines solchen Prozessschrittes (bzw. zum Zeitpunkt eines Abbruchs der Berechnungen eines solchen Prozessschrittes) die Bedingungen gemäß Anspruch 2 erfüllt sind.
  • Mit anderen Worten werden vorzugsweise sämtliche Berechnungen für alle Objekte im Materialstrom in derjenigen Zeit durchgeführt und abgeschlossen (notfalls beispielsweise durch vorzeitigen Abbruch der Berechnungen bei noch recht geringer Genauigkeit), die die Objekte jeweils brauchen, um nach ihrer Erfassung durch die Bildaufnahmeeinheit (beispielsweise auf dem Transportband) zu demjenigen letztmöglichen Ort zu gelangen, an dem sie noch durch die Sortiereinheit aussortiert werden können. Erfindungsgemäß kann also dafür gesorgt werden, dass für jedes Objekt oder zumindest für 90%, 95% oder 99% der Objekte immer eine momentane (ggfs. noch sehr grobe) Klassifikationsentscheidung (der dann eine entsprechende Sortierentscheidung folgen kann) gegeben ist.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 6 entnehmen.
  • Das Identifizieren und Klassifizieren bzw. die Auswertung kann also in mehreren Prozessschritten (nachfolgend auch alternativ als Komponenten bezeichnet) der Auswerteeinheit durchgeführt werden. Für jeden Prozessschritt (jede Komponente) kann jeweils ein Typ, bevorzugt genau ein Typ, von Auswertungsparameter gemäß der Ansprüche 3 bis 5 festgelegt werden.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 7 entnehmen.
  • Gemeint ist damit, dass die sich ergebende(n) bzw. die gewählte(n) Berechnungszeit(en), vgl. dazu auch die vorangehenden abhängigen Ansprüche, so sind, dass auch bei Änderungen im Materialstrom bzw. bei den Objekten desselben der/die Belegungsparameter so schnell bestimmt und davon ausgehend der/die Auswertungsparameter so schnell angepasst werden kann/können, dass auch im veränderten Materialstrom bzw. für die veränderten Objekte die Bedingungen des Anspruchs 2 erfüllt werden können. Dies kann durch eine geeignete Hard- und/oder Software und/oder auch durch geeignete, hinreichend gering eingestellte Genauigkeiten realisiert werden.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 8 entnehmen.
  • Gemäß der ersten Variante dieses Anspruchs können somit Auswertungsparameter eingestellt werden, die in der Auswerteeinheit direkt verwendet werden, um durch die Auswerteeinheit das Identifizieren und Klassifizieren (bzw. die Prozessschritte desselben) direkt, also unmittelbar, zu steuern.
  • Gemäß der zweiten Variante dieses Anspruchs können Auswertungsparameter eingestellt werden, die die Bildaufnahmeeinheit 1 steuern und die somit indirekt bzw. mittelbar, also als Folge dieser Steuerung, das von der Auswerteeinheit durchgeführte Identifizieren und Klassifizieren (bzw. die Prozessschritte desselben) beeinflussen. Ein Beispiel für einen solchen Auswertungsparameter ist die Bildauflösung (oder die Pixelzahl je Flächeneinheit) bei der Bildaufnahmeeinheit: Diese kann herabgesetzt werden (z.B. durch Zusammenfassen von mehreren Pixeln). Die Bilddaten haben dann eine geringere Bildauflösung, die Belegungsparameter werden somit ungenauer/gröber und/oder liegen in geringerer Anzahl vor (und können somit schneller bestimmt werden). Letzteres vereinfacht bzw. beschleunigt dann indirekt auch das Identifizieren und Klassifizieren durch die bzw. in der Auswerteeinheit. Letzteres kann auch dadurch bewirkt werden, dass man auf Basis des/der Auswertungsparameter(s) der Bildaufnahmeeinheit wiederum einen oder mehrere Auswertungsparameter der Auswerteeinheit hinsichtlich der Einstellung verändert.
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 9 entnehmen.
  • Ein solcher Sortierparameter kann bevorzugt durch die Sortiereinheit eingestellt werden. Ein möglicher Sortierparameter ist ein Zusammenschalten mehrerer benachbarter Ausblasdüsen der Sortiereinheit zu einem Düsencluster. Beispielsweise können mit einem solchen Düsencluster große Objekte sicherer aussortiert werden oder es können (bei geringer Belegungsdichte) größere Ausblasbereiche um auszusortierende Objekte herum bewirkt werden. Damit lässt sich die Wahrscheinlichkeit des tatsächlichen Aussortieren auszusortierender Objekte durch die Sortiereinheit weiter erhöhen.
  • Die Belegungsdichte kann insbesondere als mittlere Anzahl von Objekten pro Flächeneinheit des Materialstroms definiert werden (beispielsweise als mittlere Anzahl von Objekten, mit denen eine Flächeneinheit des Transportbandes eines Sortiersystems vom Bandtyp belegt ist). Bei Sortiersystemen vom Rutschentyp oder vom Falltyp kann als Belegungsdichte die mittlere Anzahl von Objekten je Fallstrecke oder je Fallflächeneinheit gemeint sein.
  • Die Belegungsverteilung kann erfassen oder beschreiben, ob die Objekte im Materialstrom alle ausgeeinzelt sind oder mit welcher Wahrscheinlichkeit ein beliebiges Objekt ausgeeinzelt auf beispielsweise dem Transportband vorliegt (oder ob sich Objekte noch überlappen bzw. mit welcher Wahrscheinlichkeit Clusterbildungen vorliegen).
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 10 entnehmen.
  • Falls mehrere dieser Prozessschritte durchgeführt werden, werden diese bevorzugt in einer zeitlichen Reihenfolge gemäß ihrer Reihenfolge in der Aufzählung dieses Anspruchs durchgeführt (Beispiel: Segmentieren gefolgt von Zusammenhangsanalyse gefolgt von Klassifikation).
  • Die Zusammenhangsanalyse als Teil des Identifizierens kann eine "Connected-Component-Analyse" sein, wie sie z.B. in "Topological Algorithms for Digital Image Processing" von T.Y. Kong, A. Rosenfeld, North Holland, Amsterdam, NL, 1996, beschrieben ist.
  • Die Segmentierung als Teil des Identifizierens kann z.B. so durchgeführt werden, wie es in "Digitale Bildverarbeitung und Bildgewinnung" von B. Jähne, Springer, Heidelberg, Deutschland, 2012, beschrieben ist.
  • Das Identifizieren und Klassifizieren, insbesondere das Identifizieren, kann weitere Prozessschritte wie beispielsweise einen Bildvorverarbeitungsschritt (vor dem Segmentieren und vor der Zusammenhangsanalyse) und/oder einen Merkmalsberechnungsschritt (nach dem Segmentieren und nach der Zusammenhangsanalyse) umfassen. Siehe dazu beispielsweise "Digitale Bildverarbeitung und Bildgewinnung" von B. Jähne, Springer, Heidelberg, Deutschland, 2012 und "Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der Bildgewinnung und Bildauswertung", J. Beyerer, F. P. León, C. Frese, Springer-Verlag Berlin Heidelberg, Deutschland, 2012.
  • Nach mehreren Identifizier-Prozessschritten kann ein Prozessschritt der Klassifikation und danach ein Prozessschritt der Sortierentscheidung erfolgen (der Prozessschritt der Klassifikation kann auch bereits die Sortierentscheidung beinhalten).
  • Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 11 und Anspruch 12 entnehmen.
  • Gemäß Anspruch 12 kann die Implementierung einzelner Prozessschritte sowohl in Software als auch in Hardware, aber auch nur in Software oder nur in Hardware erfolgen. Bevorzugt wird eine zentrale Recheneinheit (Serversystem) eingesetzt, mit der alle Einheiten des Sortiersystems über bidirektionale Datenleitungen verbunden sind. Diese zentrale Recheneinheit kann computergestützt alle notwendigen Datenverarbeitungsmaßnahmen, Berechnungen und/oder Prozessschritte ausführen.
  • Ein erfindungsgemäßes Sortierverfahren lässt sich Anspruch 13 entnehmen.
  • Die vorliegende Erfindung beschreibt somit eine Vorgehensweise, bei der grundsätzlich innerhalb der zur Verfügung stehenden Rechenzeit eine bestmögliche Sortierentscheidung getroffen werden kann, um hierdurch eine prinzipielle Einhaltung von Echtzeitschranken zu ermöglichen. Die damit verbundene Aufwertung des Auswertesystems (Auswerteeinheit) kann somit direkt qualitative Fortschritte in der optischen Schüttgutsortierung unterstützen, da Zeitschranken enger gefasst werden können. Dies wird erfindungsgemäß durch die Verwendung von Algorithmen, die eine Sortierentscheidung inkrementell verfeinern oder die alternativ ihre Berechnungen an einem zugesprochenen Zeitbudget ausrichten, realisiert.
  • Es kann eine Menge an Implementierungen, welche sich in Genauigkeit GK und Berechnungsaufwand BZ unterscheiden, für Teilaufgaben des Auswertesystems verwendet werden. Während der einzelnen Prozessschritte (insbesondere bei der Auswertung) kann ein Laufzeitsystem konkrete Implementierungen auswählen, um Echtzeitschranken einzuhalten und um während der zur Verfügung stehenden Zeit das bestmögliche Ergebnis zu erzielen. Das zur Verfügung stehende Zeitbudget kann an Auswertungsalgorithmen propagiert werden. Die Algorithmen können um Intelligenz so erweitert werden, dass sie die zur Verfügung stehende Zeit bestmöglich ausnutzen.
  • Erfindungsgemäß können unterbrechbare Teilprozesse (die Prozessschritte) realisiert werden. Die Auswertealgorithmik kann durch ein Steuersystem zu jedem beliebigen Zeitpunkt unterbrochen werden und es kann das bis zu diesem Zeitpunkt beste Prozessschrittergebnis abgefragt werden. Durch das Verwenden der bis zu diesem Zeitpunkt bestmöglichen Entscheidung können in jedem Fall immer Informationen über ein zu sortierendes Objekt für eine Sortierentscheidung ausgewertet werden. Es kommt also nicht zu dem Fall, dass bei einer Überschreitung der Zeitschranke ein Objekt für eine Klassifizierung bzw. Sortierung überhaupt nicht beachtet wird. Dies resultiert letztendlich in einer Steigerung der Sortierleistung sowie der Sortierqualität.
  • Erfindungsgemäß kann sichergestellt werden, dass für jedes im Materialstrom enthaltene Objekt bei Erreichen des Separationsmechanismus (Sortiereinheit) eine Sortierentscheidung vorliegt. Diese Entscheidung beruht in der Regel auf Informationen, welche über das Objekt durch den Sensor (Bildaufnahmeeinheit) erfasst wurden, wobei die Auswertungsqualität sich je nach zur Verfügung stehender Zeit unterscheidet. Dies bedeutet, dass eine bessere Entscheidung getroffen werden kann, als es bei herkömmlichen Systemen nach dem Stand der Technik der Fall ist. Zudem kann bei der vorliegenden Erfindung eine geringere Latenz zwischen der sensorischen Erfassung und der Separation ermöglicht werden, wodurch die räumliche Trennung minimiert wird, eine Steigerung der Sortierqualität erzielt wird, und ein kompakteres Sortiersystem realisiert wird.
  • Durch die Erfindung kann eine verbesserte Trennung bei der automatisierten Sortierung beliebiger Schüttgüter bzw. Materialströme erzielt werden. Zudem können im Vergleich zum Stand der Technik kleinere Ausblasfenster angewandt werden. Die Erfindung kann für die Sortierung komplexer Schüttgüter, welche anhand vieler komplexer Merkmale klassifiziert werden, eingesetzt werden.
  • Optische Sortiersysteme wie bei der vorliegenden Erfindung können eingesetzt werden, wenn sich die Materialien bzw. die Objekte anhand optischer Merkmale, vorzugsweise im sichtbaren oder auch im nahen Infrarotbereich, unterscheiden und somit für eine Sortierung klassifizieren lassen. Die Erfindung kann für die Rohstoff-verarbeitende Industrie eingesetzt werden, bei der neben einer kostengünstigen Produktion immer auch eine konstant hohe Qualität sichergestellt werden muss. Hierzu zählt beispielsweise die Sortierung von Industriemineralien, beispielsweise zur Reduktion des Eisengehaltes in einem Rohstoff. Die Erfindung kann auch im Lebensmittel- oder Genussmittelbereich eingesetzt werden, wo Verunreinigungen in Produkten (beispielsweise: getrocknete Paprika, getrocknete Weintrauben ...) beseitigt werden müssen. Ein weiteres wichtiges Einsatzgebiet ist das Recycling von Produkten (beispielsweise Altglassortierung).
  • Die vorliegende Erfindung kann bei optischen Sortiersystemen einen wesentlichen Beitrag zur besseren Wirtschaftlichkeit leisten.
  • Wie im nachfolgenden Ausführungsbeispiel noch detaillierter erläutert, kann erfindungsgemäß mit Hilfe der gewonnenen Sensordaten (Bilddaten) eine Materialbelegung (z.B. Belegungsdichte) sowie eine Verteilung der Objekte im Materialstrom durch eine Überwachungseinheit bestimmt werden. Dies kann durch erlernte Modelle sowie durch bestimmte Metriken erreicht werden. Anhand dieses Wissens können durch eine Steuerungskomponente einzelne Glieder (Komponenten bzw. Prozessschritte) der Verarbeitungskette beispielsweise bzgl. der Genauigkeit eingestellt werden. Somit kann eine kürzere Berechnungszeit dieser Glieder erreicht werden. Beispielsweise kann bei einer hohen Belegungsdichte und/oder einer ungünstigen Verteilung in der Belegung (beispielsweise wenn Objektcluster vorliegen) die Genauigkeit mindestens eines Gliedes bzw. eines Prozessschrittes auf "gröber" bzw. "geringer" eingestellt werden, so dass die Echtzeitbedingungen in jedem Fall eingehalten werden können (auch wenn dadurch die Genauigkeit der Klassifikations- bzw. Sortierentscheidungen geringer wird bzw. auch wenn dadurch die Fehlerrate, d.h. die Wahrscheinlichkeit für eine falsche Sortierentscheidung bzw. Klassifizierentscheidung für ein gerade betrachtetes Objekt, steigt). Erfindungsgemäß wird dadurch die Wahrscheinlichkeit zur Einhaltung aller Echtzeitbedingungen im Sortiersystem stark erhöht. Hieraus resultieren bessere Sortierentscheidungen, da durch besagte Erhöhung der Einhaltung für mehr Objekte im Materialstrom eine Klassifikation überhaupt vorgenommen werden kann. (Im Extremfall wird in jedem Fall, d.h. für jedes einzelne Objekt im Materialstrom, eine Klassifikationsentscheidung und somit auch eine Sortierentscheidung gefällt.)
  • Erfindungsgemäß kann die Steuerungskomponente (Auswertungseinheit) die Auswertungsparameter, insbesondere die Genauigkeit, die Berechnungszeit und/oder die Wiederholhäufigkeit, anhand von mit bekannten Materialströmen (mit bekannter Objektbelegung, mit bekannten Objekttypen, Objektgrößen, Objektgewichten etc.) ermittelten Zusammenhängen einstellen. Diese Zusammenhänge können dabei Abhängigkeiten zwischen der Materialbelegung bzw. den Belegungsparametern einerseits und den vorzunehmenden Einstellungen der Auswertungsparameter andererseits widerspiegeln. Entsprechend der eingestellten Auswertungsparameter ergeben sich Sortiergüte und Sortierleistung.
  • Figuren 1 bis 5 zeigen ein Ausführungsbeispiel für ein erfindungsgemäßes optisches Sortiersystem (sowie ein entsprechendes Sortierverfahren) wie folgt.
  • Dabei zeigt:
    • Figur 1 einen optischen Bandsortierer gemäß der Erfindung.
    • Figur 2 den Verarbeitungsablauf im Sortiersystem gemäß Figur 1 aus Sicht der digitalen Daten (insbesondere: der Bilddaten) und des Materialstroms bzw. des Weges von dessen Objekten.
    • Figur 3 den Ablauf des Sortierprozesses gemäß der Figuren 1 und 2, insbesondere die Prozessschritte der Auswertung (Identifizieren und Klassifizieren) in der Auswerteeinheit des Systems.
    • Figur 4 ein Beispiel für einen gemäß der Figuren 1 bis 3 bestimmten Belegungsparameter (hier: Materialbelegungsdichte) sowie einen unter Verwendung desselben eingestellten Auswertungsparameter (hier: Genauigkeit GK), der das Identifizieren und Klassifizieren der Objekte, also die Auswertung, durch die Auswerteeinheit steuert.
    • Figur 5 ein Beispiel für den Prozessschritt der Klassifikation in der Auswertung gemäß Figur 3.
  • Figur 1 zeigt einen optischen Bandsortierer, der grundsätzlich dem Aufbau nach dem Stand der Technik folgt, wobei die erfindungsgemäßen Besonderheiten insbesondere in der Auswerteeinheit 2 bzw. der Auswertung der Bilddaten 4 durch dieselbe liegen. Im Bandsortierer wird ein Schüttgutstrom bzw. Materialstrom M mittels eines Förderbandes 11 auf eine dem Fachmann an sich bekannte Art und Weise an einer Bildaufnahmeeinheit 1 vorbei hin zu einer in einem definierten Abstand zur Bildaufnahmeeinheit 1 angeordneten Sortiereinheit 3 transportiert. Der Schüttgutstrom M umfasst eine Vielzahl einzelner Objekte O, die hier in lediglich zwei Klassen zu klassifizieren bzw. zu sortieren sind, nämlich in Gut-Objekte (einzusortieren in den Auffangbehälter 13b der Sortiereinheit 3) und Schlecht-Objekte (einzusortieren in den weiteren Auffangbehälter 13a der Sortiereinheit 3). Hierzu müssen die Objekte O des Materialstroms M zunächst durch die Bildaufnahmeeinheit erfasst werden, anschließend durch Auswertung der durch diese Einheit 1 aufgenommenen Bilddaten 4 in der Auswerteeinheit 2 in Gut-Objekte und Schlecht-Objekte klassifiziert werden und schließlich sortiert werden. Das Einsortieren in bzw. Aufteilen auf die beiden Behältnisse 13a, 13b gemäß des Sortier- bzw. Klassifizierergebnisses 13 erfolgt durch die Druckluftventile der Sortiereinheit 3, die anhand der Auswertungsergebnisse 10 der Auswerteeinheit 2 Schlecht-Objekte aus dem Materialstrom M durch Ausblasvorgänge entfernen.
  • Die ausgeblasenen Schlecht-Objekte fallen in das Behältnis 13a der Schlecht-Objekte, die Gut-Objekte verbleiben im Materialstrom M, werden also nicht ausgeblasen, und fallen in das Behältnis 13b für Gut-Objekte. Dies beschreibt den Idealzustand des Sortierergebnisses 13.
  • Die Bildaufnahmeeinheit 1 umfasst eine bildgebende Sensorik, hier eine CCD-Farb-Zeilenkamera 1a, die den Materialstrom M bzw. die Objekte O desselben im Abwurfbereich des Förderbandes 11 gegen einen Hintergrund 12 erfasst bzw. eine schnelle Abbildungsfolge des Materialstroms M gegen den Hintergrund 12 aufnimmt. Eine Beleuchtung 1b der Einheit 1 beleuchtet dazu den Materialstrom M gegen den Hintergrund 12 der Einheit 1, um optimale Bildaufnahmeverhältnisse für die Kamera 1a sicherzustellen.
  • Die aufgenommenen Bilddaten bzw. Videodaten 4 werden über eine Datenleitungsverbindung zwischen Kamera 1a und Auswerteeinheit 2 an letztere übermittelt. Die Auswerteeinheit 2 führt dann die nachfolgend noch im Detail beschriebenen Prozessschritte des Identifizierens und Klassifizierens der Objekte O des Materialstroms M in den Bilddaten 4 durch und übermittelt die Auswerteergebnisse 10 der durchgeführten Prozessschritte 7a - 7g (vgl. Figur 3) über eine Datenverbindung an die Sortiereinheit 3. Letztere führt schließlich beabstandet vom Abwurfbereich des Förderbandes 11 bzw. von der Aufnahmeeinheit 1 das Ausschleusen von Schlecht-Objekten durch, wodurch sich die Trennung in Gut-Objekte (Behälter 13b) und Schlecht-Objekte (Behälter 13a) im Sortierergebnis 13 ergibt.
  • Figur 2 zeigt den Materialfluss (durchgezogene Pfeile) sowie den Datenfluss (gestrichelte Pfeile), insbesondere den Datenfluss bei der Bilddatenerfassung und -auswertung, im System gemäß Figur 1. Der Materialaufgabe auf das Förderband 11 folgt zunächst eine Vereinzelung und Beruhigung der Objekte O auf dem Förderband, bevor der in Figur 1 links im Bild gezeigte Transportzustand bzw. Zustand der Objekte O im Materialstrom M auf dem Förderband 11 vorliegt. Im Abwurfbereich erfolgt schließlich die Bilderfassung bzw. sensorische Erfassung der Objekte O im Materialstrom M mittels der Bildaufnahmeeinheit 1 bzw. der Kamera 1a derselben. Die Bilddaten 4 werden an die Auswertung in der Auswerteeinheit 2 übermittelt, die zum Abschluss der Auswertung die Klassifikation vornimmt bzw. die Sortierentscheidung für die einzelnen Objekte O trifft. Während der Auswertung mit der Auswerteeinheit 2 (also der Durchführung aller notwendigen Prozessschritte 7, vgl. Figur 3, bzw. Berechnungsvorgänge) fällt der Materialstrom M stromabwärts des Abwurfbereichs des Förderbandes 11 gesehen entlang der Abwurfparabel. Die Zeitspanne des freien Fallens der Objekte O entlang der Abwurfparabel (bis zum Erreichen des Ausschleusungsbereiches der Einheit 3) ist durch den Abstand zwischen Förderbandende einerseits und Einwirkungsbereich der Druckluftventile der Sortiereinheit 3 andererseits definiert und entspricht der Latenzzeit bzw. der Zeit, die für ein Treffen einer Sortierentscheidung für ein Objekt O zur Verfügung steht.
  • Erfindungsgemäß wird für jedes Objekt im Materialstrom M, vgl. dazu auch Figur 4, in dieser Latenzzeit eine Klassifikations- und Sortierentscheidung gefällt. Dies geschieht in der Auswerteeinheit 2. Die Sortierentscheidung (in Gut-Objekt oder Schlecht-Objekt) wird schließlich nach Abschluss der Latenzzeit für jedes Objekt durch die Sortiereinheit 3 umgesetzt (Separation).
  • Figur 3 zeigt vereinfacht den Ablauf im Sortiersystem gemäß der Figuren 1 und 2: Nach der Materialaufgabe 30 auf das und dem Materialtransport 31 auf dem Förderband 11 erfolgt die Bilderfassung 32 mittels der Kamera 1a der Bildaufnahmeeinheit 1. Sodann beginnt die Auswertung 33 mittels der Auswerteeinheit 2, der sich die Separation 34 durch die Sortiereinheit 3 anschließt.
  • Gemäß Figur 3 umfasst die Auswertung, also das Identifizieren und Klassifizieren der Objekte O durch die Auswerteeinheit 2, hier insgesamt sieben einzelne Prozessschritte 7. Eingangsdaten der Auswertung sind die Bilddaten 4. Auf Basis des bestimmten Belegungsparameters 5 (vgl. Figur 4: Materialbelegungsdichte) wird für jeden einzelnen Prozessschritt 7 genau ein diesen Prozessschritt in der Auswerteeinheit steuernder Auswerteparameter 6 eingestellt. Das dazu notwendige Auswerten der Belegungsdichte zum Berechnen der Auswertungsparameter 6a - 6g der einzelnen Prozessschritte 7a - 7g des Identifizierens und Klassifizierens durch die Auswerteeinheit 2 erfolgt im Rechnersystem der Auswerteeinheit 2 (nicht gezeigt).
  • Im gezeigten Beispiel der Figur 3 wird durch die Auswertungseinheit 2 für den ersten Prozessschritt 7a der Bilddatenvorverarbeitung der Bilddaten 4 als der diese Vorverarbeitung steuernde Auswertungsparameter eine Bilddatenvorverarbeitungs-Genauigkeitsstufe GK 6a eingestellt. Die Genauigkeitsstufe kann dabei z.B. auf "gering", "mittel" oder "hoch" lauten (vgl. auch Figur 4).
  • In dem zeitlich dem Schritt 7a nachfolgenden Prozessschritt 7b der Bildbereinigung wird als Auswertungsparameter 6b durch die Auswerteeinheit 2 eine feste Berechnungszeit BZ eingestellt. Die Steuerung des Schritts 7b der Auswertung erfolgt somit anhand einer BZ. Der nachfolgende dritte Prozessschritt 7c der Segmentierung wird wiederum mit einer mittels der Einheit 2 eingestellten Genauigkeitsstufe GK als Auswertungsparameter 6c durchgeführt bzw. gesteuert. Für die Zusammenhangsanalyse 7d wird ebenfalls als Auswertungsparameter 6d einer der drei Genauigkeitsstufenwerte "gering", "mittel" oder "hoch" zugeordnet bzw. eingestellt.
  • Der zeitlich gesehen fünfte Prozessschritt der Merkmalsberechnung 7e wird auf Basis einer eingestellten Wiederholhäufigkeit WH als Auswertungsparameter 6e durchgeführt bzw. gesteuert. Die Merkmalsberechnung umfasst hier eine rekursiv durchzuführende Berechnungsfolge, wobei die Wiederholhäufigkeit WH 6e z.B. einen Wert zwischen 3 und 7 annehmen kann (d.h. die Rekursionstiefe der Berechnungen kann zwischen 3 und 7 gewählt werden, wobei 3 einen geringen Rechenaufwand erfordert und somit ein schnelles Durchführen des Schrittes 7e ermöglicht und wobei ein Wert von 7 einen hohen Berechnungsaufwand erfordert, so dass das Durchführen des Schrittes 7e lange dauert, aber mit hoher Genauigkeit erfolgen kann - letzteres ist somit nur bei geringer Belegungsdichte 5 sinnvoll bzw. möglich, wenn für alle Objekte O Sortierentscheidungen zu fällen sind).
  • Als sechster Schritt 7f erfolgt schließlich die Klassifikation, wobei für diesen Prozessschritt 7f als Auswertungsparameter 6f wiederum eine Genauigkeit GK eingestellt wird. Auch die abschließende Sortierentscheidung 7g erfolgt auf Basis des Einstellens eines Genauigkeitswertes GK 6g.
  • Das Ergebnis der insgesamt sieben Prozessschritte 7a - 7g mit den dazu jeweils eingestellten Auswertungsparametern 6a - 6g ist für jedes einzelne Objekt O des Materialstroms M das Sortierergebnis 13 aus Figur 1.
  • Figur 4 zeigt, wie im System der Figuren 1 bis 3 Auswertungsparameter 6 auf Basis zuvor in den Bilddaten 4 bestimmter Belegungsparameter 5 eingestellt werden können. Dies wird anhand eines einzelnen Belegungsparameters 5, hier der Materialbelegungsdichte, gezeigt, der mit der Auswerteeinheit 2 aus den mit der Bildaufnahmeeinheit 1 bzw. der Kamera 1a derselben aufgenommenen Bilddaten (gezeigt sind hier Einzelbilder 4) bestimmt wird.
  • Aus dem hier genau einen Belegungsparameter Materialbelegungsdichte 5, der den Materialstrom M hinsichtlich der Anzahl von Objekten O pro Flächeneinheit kennzeichnet, wird mittels der Auswerteeinheit 2 genau ein Auswertungsparameter 6, hier eine Genauigkeit (z.B. - hier vereinfacht - genau eine alle einzelnen Prozessschritte 7 steuernde Berechnungsgenauigkeit, die einen der Werte "hoch", "mittel" oder "gering" annimmt), bestimmt und eingestellt. Diese Genauigkeit 6 ist ein Auswertungsparameter der Auswerteeinheit 2, der bei der Auswerteeinheit 2 eingestellt wird, um das Identifizieren und Klassifizieren der Objekte O durch die Auswerteeinheit 2 zu steuern. Wie Figur 4 zeigt, wird im Falle einer geringen Materialbelegungsdichte 5 für das Identifizieren und Klassifizieren bzw. für alle einzelnen Prozessschritte desselben eine hohe Genauigkeit 6 als Auswertungsparameter eingestellt, so dass die Auswerteeinheit 2 sämtliche Identifizierungs- und Klassifizierungs-Prozessschritte 7 mit der Genauigkeit "hoch" durchführt, ohne dass es zu einer Verletzung der Echtzeitbedingungen bei der Auswertung kommt (vgl. Figur 4, mittlere Bildzeile).
  • Erhöht sich die Materialbelegungsdichte 5 im Materialstrom M auf "hoch", so dass bei Beibehaltung der hohen Genauigkeit der Auswertungs-Prozessschritte die Echtzeitbedingungen nicht mehr eingehalten werden würden, so wird durch die Auswerteeinheit 2 für sämtliche Prozessschritte 7 die Genauigkeit 6 auf "gering" eingestellt. Das Identifizieren und Klassifizieren wird ab diesem Zeitpunkt mit geringer Genauigkeit durchgeführt bzw. so gesteuert, dass die Echtzeitbedingungen wieder eingehalten werden können (vgl. Figur 4, untere Bildzeile).
  • Figur 4 zeigt darüber hinaus, dass auf Basis der Materialbelegungsdichte 5 auch Auswertungsparameter 8 der Bildaufnahmeeinheit 1 eingestellt werden können. So kann beispielsweise als hier einziger Auswertungsparameter 8 der Bildaufnahmeeinheit 1 deren Bildauflösung eingestellt werden. Bei geringer Materialbelegungsdichte 5 kann die Kamera 1a die Bilddaten 4 mit hoher Bildauflösung 8 aufnehmen, wohingegen bei einer deutlichen Erhöhung der Materialbelegungsdichte 5, wie in der unteren Zeile von Figur 4 gezeigt, die Bildauflösung 8 bei der Aufnahme der Bilddaten 4 deutlich herabgesetzt werden kann. Der so einstellbare Auswertungsparameter 8 der Bildaufnahmeeinheit 1 (Bildauflösung) kann dann indirekt auch die Bestimmung des/der Belegungsparameter(s) 5 und somit auch das Einstellen des/der Auswertungsparameter(s) 6 der Auswerteeinheit 2 beeinflussen.
  • Figur 5 zeigt schließlich ein Beispiel für eine mögliche Implementierung eines der Prozessschritte bzw. Teilaufgaben aus Figur 3, nämlich der Klassifikation 7f. Das Beispiel zeigt eine Implementierung eines unterbrechbaren Klassifikators zum Treffen einer bestmöglichen Klassifikationsentscheidung (bzw. der dieser folgenden Sortierentscheidung). Als Grundlage für den Klassifikator wird ein Entscheidungsbaum verwendet. In jedem inneren Knoten des Entscheidungsbaums wird ein Merkmal eines gefundenen Objektes gegen einen Schwellwert verglichen und entsprechend des Vergleichsergebnisses wird der Pfad nach rechts oder nach links verfolgt, wie in Figur 5 gezeigt. In den Blättern des Entscheidungsbaums werden die resultierenden Klassen gespeichert. Gemäß der Figuren 1 bis 4 gibt es hier lediglich zwei Klassen, nämlich die Klasse der Gut-Objekte und die Klasse der Schlecht-Objekte.
  • Erfindungsgemäß können verschiedene dem Fachmann an sich bekannte Verfahren zum automatischen Lernen eines entsprechenden Entscheidungsbaums auf Basis einer gegebenen Trainingsmenge eingesetzt werden. Siehe hierzu beispielsweise "Machine Learning" von T. M. Mitchell, McGraw-Hill, Boston, USA, 1997.
  • Erfindungsgemäß können diese Verfahren dahingehend erweitert werden, dass nicht nur in den Blättern des Entscheidungsbaums eine Klassenzugehörigkeit gespeichert wird, sondern dass auch in jedem inneren Entscheidungsbaumknoten eine Wahrscheinlichkeit für die verschiedenen Klassenzugehörigkeiten (auf Basis der Trainingsmenge) hinterlegt wird. Unterscheidet man beispielsweise zwei Klassen, nämlich eine Klasse A für Gut-Objekte und Klasse B für Schlecht-Objekte, wobei für beide Klassen jeweils gleich viele Beispiele in der Trainingsmenge vorhanden sind, dann liegen die Wahrscheinlichkeiten für die Klassenzugehörigkeit für A und B im obersten Knoten f8 bei jeweils 50%. Hier beschreibt f den Merkmalsvektor und das achte enthaltene Merkmale wird entsprechend durch f8 beschrieben. Hierbei gilt zu beachten, dass ein einzelnes Merkmal in mehreren Knoten des Entscheidungsbaums als Prüfkriterium herangezogen werden kann.
  • Ein zu klassifizierendes Objekt O fällt nach dem Vergleich mit f8 im ersten, obersten Knoten in den linken oder in den rechten Teilbaum. Im nächsten Knoten, beispielsweise rechts, wird nun mit f4 verglichen. Die Wahrscheinlichkeiten können dabei neu verteilt sein. Zum Beispiel ist es denkbar, dass im letztgenannten Knoten die Wahrscheinlichkeiten für A mit 30% und für B mit 70% hinterlegt sind. Wird dann der Prozessschritt der Klassifikation an dieser Stelle (bzw. wenn die Berechnungen bis zu dieser Stelle gelangt sind) unterbrochen, so kann mit Sicherheit die Aussage getroffen werden, dass nach derzeitigem Kenntnisstand eine Zugehörigkeit zur Klasse B wahrscheinlicher ist als zur Klasse A.
  • Der Prozessschritt der Zusammenhangsanalyse 7d (vgl. Figur 3) kann erfindungsgemäß beispielsweise durch eine "Connected-Component-Analyse" realisiert werden. Siehe dazu z.B. M. B. Dillencourt et al. "A General Approach to Connected-Component-Labeling for arbitrary Image Representations", Journal of the ACM 39(2), 1992.
  • Hierbei können mehrere Unterbrechungspunkte gewährt werden, indem das Bild z.B. mit einem verschobenen Raster unterabgetastet wird. Beispielsweise kann in einem ersten Durchlauf nur jedes vierte Pixel betrachtet werden: Für alle nicht betrachteten Pixel kann dann der gleiche Wert wie für das zuletzt betrachtete Pixel angenommen werden. Steht genug Berechnungszeit zur Verfügung, so kann das Raster verschoben werden: Auf diese Weise wird die Information über das Bild mit jedem Durchlauf bzw. jeder Wiederholung verfeinert. Es handelt sich dabei um ein iteratives Verfahren, das nach jedem Durchlauf eine gültige Information liefern kann, diese Information jedoch sukzessive verbessert.
  • Unterbrechbare Teilprozesse bzw. Prozessschritte können beispielsweise auch wie folgt realisiert werden. Es wird die Fläche eines Objektes in Pixel bestimmt. Hierzu werden in einem Algorithmus einfach die Pixel gezählt. Ein solcher Vorgang kann jederzeit unterbrochen werden und die bisher gezählten Pixel können als Fläche angenommen werden. Alternativ kann die Fläche aus anderen Daten, sofern bereits vorhanden, geschätzt werden. Beispielsweise wenn eine achsenausgerichtete "Bounding Box" bekannt ist, kann die Fläche dieser Box anstelle der echten Fläche als Schätzwert verwendet werden (dies kann Vorteile durch weniger Speicherzugriffe bieten).
  • Generell können im Rahmen der Erfindung iterative Verfahren bzw. iterativ durchgeführte Prozessschritte bei jedem Schleifendurchlauf unterbrochen werden. Bei einer Unterbrechung während eines Schleifendurchlaufs kann das Ergebnis des zuletzt vollständig durchgeführten Schleifendurchlaufs verwendet werden.

Claims (13)

  1. Sortiervorrichtung, mit der Objekte (O) eines Materialstroms (M) sortiert werden, umfassend
    eine Bildaufnahmeeinheit (1), mit der der Materialstrom (M) optisch erfassbar ist und mit der Bilddaten (4) desselben (M) erzeugbar sind, eine Auswerteeinheit (2), mit der Objekte (O) im Materialstrom (M) identifizierbar und klassifizierbar sind, und
    eine Sortiereinheit (3), mit der klassifizierte Objekte (O) des Materialstroms (M) sortierbar sind,
    wobei mit der Auswerteeinheit (2) aus den erzeugten Bilddaten (4) ein oder mehrere Belegungsparameter (5), der/die den Materialstrom (M) hinsichtlich seiner Belegung mit den Objekten (O) kennzeichnet/kennzeichnen, bestimmbar ist/sind und dass auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere das Identifizieren und Klassifizieren der Objekte (O) durch die Auswerteeinheit (2) steuernde(r) Auswertungsparameter (6, 8) einstellbar ist/sind, wobei das Einstellen des/der Auswertungsparameter(s) durch die Auswerteeinheit erfolgt, und
    wobei der/die Belegungsparameter (5) eine Belegungsdichte und/oder eine Belegungsverteilung der Objekte (O) im Materialstrom (M) ist/sind.
  2. Sortiervorrichtung nach dem vorhergehenden Anspruch,
    dadurch gekennzeichnet, dass
    der/die Auswertungsparameter (6, 8) so eingestellt wird/werden, dass für jedes Objekt (O) im Materialstrom (M) mit einer Wahrscheinlichkeit von ≥ 90%, bevorzugt von ≥ 95%, bevorzugt von ≥ 99%, besonders bevorzugt von 100%, durch die Auswerteeinheit (2) sowohl ein Identifizieren als auch ein Klassifizieren erfolgt.
  3. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    als Auswertungsparameter (6) eine oder mehrere Genauigkeit(en) GK, mit der/denen durch die Auswerteeinheit (2) (ein) Prozessschritt(e) des Identifizierens und Klassifizierens durchgeführt wird/werden, eingestellt wird/werden.
  4. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    als Auswertungsparameter (6) eine oder mehrere Berechnungszeit(en) BZ, mit der/denen durch die Auswerteeinheit (2) (ein) Prozessschritt(e) des Identifizierens und Klassifizierens durchgeführt wird/werden, eingestellt wird/werden.
  5. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    als Auswertungsparameter (6) eine oder mehrere Wiederholhäufigkeit(en) WH, mit der/denen (eine) iterative, rekursive oder inkrementelle Berechnungsfolge(n) von (einem) durch die Auswerteeinheit (2) durchzuführenden Prozessschritt(en) des Identifizierens und Klassifizierens zu wiederholen ist/sind, eingestellt wird/werden.
  6. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    das Identifizieren und Klassifizieren der Objekte (O) im Materialstrom (M) durch die Auswerteeinheit (2) in mehreren zeitlich aufeinanderfolgend oder zeitlich parallel durchzuführenden Prozessschritten (7a, 7b, ...) durchgeführt wird, wobei für jeden der Prozessschritte (7a, 7b, ...) jeweils ein oder mehrere Auswertungsparameter (6a, 6b, ...) eingestellt wird/werden.
  7. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    das Bestimmen des/der Belegungsparameter(s) (5) und/oder das Einstellen des/der Auswertungsparameter(s) (6, 8) in Echtzeit durchgeführt wird.
  8. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere Auswertungsparameter (6) der Auswerteeinheit (2) eingestellt wird/werden, also (ein) Auswertungsparameter, mit dem/denen ein oder mehrere mit der Auswerteeinheit (2) durchzuführende(r) Prozessschritt(e) (7a, 7b, ...) des Identifizierens und Klassifizierens durch die Auswerteeinheit (2) gesteuert wird/werden,
    und/oder
    dass auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere Auswertungsparameter (8) der Bildaufnahmeeinheit (1) eingestellt wird/werden, also (ein) Auswertungsparameter, mit dem/denen ein oder mehrere Ablauf/Abläufe in der Bildaufnahmeeinheit (1) gesteuert wird/werden, der/die das Durchführen eines oder mehrerer der Prozessschritte(s) (7a, 7b, ...) des Identifizierens und Klassifizierens durch die Auswerteeinheit (2) beeinflusst/beeinflussen.
  9. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    zusätzlich (ein) das Sortieren von klassifizierten Objekten (O) durch die Sortiereinheit (3) steuernde(r) Sortierparameter auf Basis eines/mehrerer bestimmten/r Belegungsparameter(s) eingestellt wird/werden.
  10. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    dadurch gekennzeichnet, dass
    das Identifizieren und Klassifizieren der Objekte (O) durch die Auswerteeinheit (2) als Prozessschritt(e) einen, mehrere oder alle der folgenden Schritte enthält:
    • einen Schritt des Segmentierens,
    • einen Schritt der Zusammenhangsanalyse,
    und/oder
    • einen Schritt der Klassifikation mittels eines oder mehrerer trainingsmengenbasierten/r Entscheidungsbaumes/-bäume.
  11. Sortiervorrichtung nach dem vorhergehenden Anspruch,
    dadurch gekennzeichnet, dass
    bei der Klassifikation in jedem Knoten des/der Entscheidungsbaumes/- bäume (eine) Wahrscheinlichkeit(en) auf Basis einer/von Trainingsmenge(n) hinterlegt wird/werden.
  12. Sortiervorrichtung nach einem der vorhergehenden Ansprüche,
    gekennzeichnet durch
    eine oder mehrere bevorzugt computer- oder mikrocontrollergestützte Recheneinheit(en), mittels derer das Erfassen, das Erzeugen, das Identifizieren, das Klassifizieren, das Sortieren, das Bestimmen, das Steuern und/oder das Einstellen durchgeführt wird/werden.
  13. Optisches Sortierverfahren zum Sortieren von Objekten (O) eines Materialstroms (M),
    dadurch gekennzeichnet, dass
    eine Sortiervorrichtung nach einem der vorhergehenden Ansprüche zum Durchführen des Verfahrens eingesetzt wird.
EP17729466.7A 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren Active EP3468727B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016210482.9A DE102016210482A1 (de) 2016-06-14 2016-06-14 Optisches Sortiersystem sowie entsprechendes Sortierverfahren
PCT/EP2017/064329 WO2017216124A1 (de) 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren

Publications (2)

Publication Number Publication Date
EP3468727A1 EP3468727A1 (de) 2019-04-17
EP3468727B1 true EP3468727B1 (de) 2020-10-14

Family

ID=59054125

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17729466.7A Active EP3468727B1 (de) 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren

Country Status (3)

Country Link
EP (1) EP3468727B1 (de)
DE (1) DE102016210482A1 (de)
WO (1) WO2017216124A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109533511A (zh) * 2018-12-25 2019-03-29 哈尔滨联科包装机械有限公司 双向拣选机及拣选方法
CN110989904B (zh) * 2019-12-13 2021-05-28 威海新北洋正棋机器人股份有限公司 交叉带分拣设备的配置方法、装置及交叉带分拣系统
DE102020110976B4 (de) 2020-04-22 2023-12-21 Separation AG Optische Sortieranlage für die Sortierung von Granulatpartikeln
CN113592824A (zh) * 2021-08-02 2021-11-02 合肥名德光电科技股份有限公司 基于深度学习的色选机分选方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207157A1 (de) * 2014-02-28 2015-09-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fördersystem, Anlage zur Schüttgutsortierung mit einem solchen Fördersystem und Transportverfahren

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5085325A (en) * 1988-03-08 1992-02-04 Simco/Ramic Corporation Color sorting system and method
GB2219079B (en) * 1988-05-06 1992-09-09 Gersan Ets A method of identifying individual objects or zones
GB2273154B (en) * 1992-12-02 1996-12-11 Buehler Ag Method for cleaning and sorting bulk material
US5526437A (en) * 1994-03-15 1996-06-11 Key Technology, Inc. Integrated food sorting and analysis apparatus
US6545240B2 (en) * 1996-02-16 2003-04-08 Huron Valley Steel Corporation Metal scrap sorting system
US6266390B1 (en) * 1998-09-21 2001-07-24 Spectramet, Llc High speed materials sorting using x-ray fluorescence
DE102009007481A1 (de) 2009-01-30 2010-09-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fördersystem zum Transport von Materialien, insbesondere von Schüttgut
DE102010046438A1 (de) 2010-09-24 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur optischen Charakterisierung von Materialien
DE102011103253B4 (de) 2011-05-31 2012-12-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anordnung zur optischen Bestimmung einer Probe und entsprechendes Verfahren
DE102012001868B4 (de) 2012-01-24 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Einrichtung einer dem optischen Identifizieren von Objekten dienender Anlage, Laborbildaufnahmesystem zum Durchführen eines solchen Verfahrens und Anordnung umfassend das Laborbildaufnahmesystem sowie die Anlage

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207157A1 (de) * 2014-02-28 2015-09-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fördersystem, Anlage zur Schüttgutsortierung mit einem solchen Fördersystem und Transportverfahren

Also Published As

Publication number Publication date
EP3468727A1 (de) 2019-04-17
WO2017216124A1 (de) 2017-12-21
DE102016210482A1 (de) 2017-12-14

Similar Documents

Publication Publication Date Title
EP3468727B1 (de) Sortiervorrichtung sowie entsprechendes sortierverfahren
DE69637172T2 (de) Hochgeschwindigkeits sortierapparat für den lebensmittelmassentransport zur optischen inspektion und sortierung von grossvolumigen lebensmitteln
DE102018133188A1 (de) Abstandbestimmung einer probenebene in einem mikroskopsystem
EP1797533B1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE102018208126A1 (de) Verfahren zum Hantieren eines Werkstücks mit Hilfe eines Entnahmewerkzeugs und Maschine zur Durchführung des Verfahrens
DE102020215227B4 (de) Vorrichtung und Verfahren zum Erstellen einer Referenzaufnahme des unbeladenen Zustands eines Werkstückträgers
EP3970113B1 (de) Bestimmung eines verschleissgrades eines werkzeugs
DE102012107278A9 (de) Verfahren und Vorrichtung zur Überwachung einer Fleischverarbeitungsmaschine
DE102018127844A1 (de) Verfahren zur Regelung des Betriebs einer Maschine zum Ernten von Hackfrüchten
EP3923193B1 (de) Messung der empfindlichkeit von bildklassifikatoren gegen veränderungen des eingabebildes
EP2808843B1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
WO2014177131A2 (de) VORRICHTUNG UND VERFAHREN ZUR KLASSIFIKATION EINES LEBENSMITTELOBJEKTS GEWACHSENER ODER UNREGELMÄßIGER STRUKTUR
EP3582140B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
DE102021105274A1 (de) Verfahren zur Erkennung von Längen eines Partikels
DE19720121C2 (de) Verfahren zur quantitativen Bestimmung der Anteile verschiedenartiger Stoffe in Schüttgütern
DE102021133164B3 (de) Verfahren zum Durchführen eines Einstellbetriebs einer Behältnisinspektionsvorrichtung und Behältnisinspektionsvorrichtung
EP3367333B1 (de) Verfahren zur charakterisierung eines objekts
EP4150317B1 (de) Verfahren zum abschnittsweisen bestimmen der korngrössenverteilung eines auf ein förderband aufgegebenen schüttgutes
EP2452291A1 (de) Verfahren zur kontinuierlichen ermittlung einer greifposition
EP4405908A1 (de) Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist
AT526401A1 (de) Verfahren zum Sortieren von Sortiergut
EP4455991A1 (de) Überwachung des zustands eines werkzeugs
DE102022200548A1 (de) Verfahren zum Erstellen eines Trainingsdatensatzes zum Anlernen eines maschinellen Lernsystems für eine Halbleiterwaferdefekterkennung
DE102021105273A1 (de) Verfahren zur Erkennung von Längen eines Partikels
DE202024104859U1 (de) Klassiervorrichtung für gewachsene Naturprodukte

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181113

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: MAIER, GEORG

Inventor name: BROMBERGER, MICHAEL

Inventor name: LAENGLE, THOMAS

Inventor name: BECKER, THOMAS

Inventor name: KICHERER, MARIO

Inventor name: KARL, WOLFGANG

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20191213

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200515

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1323068

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201015

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017007759

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210115

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210114

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210215

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210214

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210114

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017007759

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

26N No opposition filed

Effective date: 20210715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210214

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20170613

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20230702

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240617

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20240617

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240621

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20240618

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240628

Year of fee payment: 8