EP3468727A1 - Sortiervorrichtung sowie entsprechendes sortierverfahren - Google Patents

Sortiervorrichtung sowie entsprechendes sortierverfahren

Info

Publication number
EP3468727A1
EP3468727A1 EP17729466.7A EP17729466A EP3468727A1 EP 3468727 A1 EP3468727 A1 EP 3468727A1 EP 17729466 A EP17729466 A EP 17729466A EP 3468727 A1 EP3468727 A1 EP 3468727A1
Authority
EP
European Patent Office
Prior art keywords
evaluation
sorting
objects
unit
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP17729466.7A
Other languages
English (en)
French (fr)
Other versions
EP3468727B1 (de
Inventor
Thomas Längle
Wolfgang Karl
Georg Maier
Michael Bromberger
Mario Kicherer
Thomas Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Karlsruher Institut fuer Technologie KIT
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Karlsruher Institut fuer Technologie KIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Karlsruher Institut fuer Technologie KIT filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP3468727A1 publication Critical patent/EP3468727A1/de
Application granted granted Critical
Publication of EP3468727B1 publication Critical patent/EP3468727B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3425—Sorting according to other particular properties according to optical properties, e.g. colour of granular material, e.g. ore particles, grain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory

Definitions

  • the present invention relates to a sorting apparatus (hereinafter also referred to as an optical sorting system) according to the preamble of claim 1 (and a corresponding method).
  • a sorting apparatus hereinafter also referred to as an optical sorting system
  • object agglomerates object clusters
  • object clusters often additionally arise from the point of view of image processing, which algorithmically can only be separated with difficulty (in particular: segmented).
  • Sorting systems in particular for sorting bulk goods, are known from the prior art from the following publications:
  • the object of the present invention is to improve the performance of optical sorting systems for sorting objects in material flows, in particular to improve the real-time capability of the systems, ie, the Increase probability that there is actually a sorting decision for each object in the material stream at the time of discharge.
  • the present invention is intended to provide a more efficient processing of sensor data in order to enable a real-time capability even at short distances between the image recording unit (sensor system) and the sorting unit (unit for discharging objects) (and consequently to increase the sorting performance).
  • the present invention is intended to provide new approaches to sensor data processing.
  • the present invention is based on the following basic considerations: In conventional systems, there is the problem that for some objects when reaching the separation mechanism (sorting unit) there is no sorting decision, since the required calculations of the evaluation system (evaluation unit) have not yet been completed. A subset of the prior art known plants does not handle this condition at all, resulting in forcible loss of sorting performance and / or sorting quality. To solve these problems, the following approaches seem to be available:
  • a basic idea of the present invention is to suitably respond to the required calculation times which fluctuate depending on the sensor data or the specific conditions in the material flow and / or on its objects.
  • the system according to the invention can be realized as a belt sorting system, but slide sorting systems are also conceivable.
  • the optical detection of the material flow in this case usually means the recording of a plurality of individual images of the material flow or of cutouts thereof ever
  • Time unit For example, while the sorting system is working, video images (fast frame sequences) of a neutral background over which the material stream is transported can be recorded and evaluated by the evaluation unit in real time (with regard to the objects recorded in the material flow in front of said background).
  • a color line or color area camera system for example on a CCD or CMOS basis, can be used as imaging sensor system (image acquisition unit).
  • the individual images or video images of the image recording unit can be evaluated by image processing algorithms by the evaluation unit to the six-dimensional pose (ie the three-dimensional position and the three-dimensional orientation) or at least to determine the three-dimensional position of each individual object of the material flow at defined times.
  • the setting of the evaluation parameter (s) is preferably carried out by or in the evaluation unit, in particular by a microcontroller or a computer unit thereof.
  • the sorting of "classified” objects does not preclude non-classified objects from being sorted (for example, for safety reasons, they are always rejected as “bad objects” or rejected).
  • the sorting may, in particular, be a mechanical separation of the classified objects.
  • the objects are classified into two classes, namely "good objects” and "bad objects".
  • the objects of the two classes can be collected during sorting in separate containers. For this purpose (as is generally known to the person skilled in the art, cf. also the aforementioned prior art), rapid air valves can be used to blow out the bad objects.
  • a sorting decision can be made with the said minimum probability for any object in the material flow by the evaluation unit, so that the sorting unit can react to this object in accordance with the sorting decision made. If the (minimum) probability equals 100%, the evaluation unit makes a decision of identifying and classifying with absolute certainty for all objects in the material flow, ie a sorting decision. In this case, (especially at very high belt speeds of the conveyor belt of a belt sorting system and / or in the case of very high occupation densities of the objects in the material flow), the sorting decision may also be incorrect.
  • the accuracy GK of one or more process steps / e (for example, the segmentation process step or the process step of applying a decision tree-based classifier) can be set.
  • the process step (s) is / are then carried out with the (in each case) set GK.
  • the setting of a low GK can mean, for example, that the image data or the data resulting from the image data are only processed as coarse-screened as input data of the process step in order to minimize the number of calculations to be carried out with computer assistance.
  • the process step performed with this accuracy GK is ended in any case.
  • this can also mean that after a defined (for example, low) number of repetitions of the iteration loop (for iterative calculations) or after reaching a defined (eg low) recursion depth (for recursive calculations), ie after fulfilling a defined termination criterion, a termination of the calculations of the process step takes place.
  • a defined (for example, low) number of repetitions of the iteration loop (for iterative calculations) or after reaching a defined (eg low) recursion depth (for recursive calculations) ie after fulfilling a defined termination criterion
  • stepwise refining algorithms in particular: recursively, iteratively and / or incrementally refining algorithms
  • the algorithms can not be repetitive and / or analytical.
  • the calculation time BZ of one or more process steps / e can be at least approximately predetermined or set.
  • the process step (s) can then be carried out with the (respectively) set BZ or until the BZ has expired (termination criterion).
  • step-by-step accuracy-refining process steps can be implemented or realized.
  • Any two or all three of the mentioned evaluation parameter types (GK, BZ and / or WH) can be used together by the evaluation unit for identifying and classifying the objects of the material flow.
  • the GK can be set, while in another process step (for example, the application of a classifier based on decision trees) the GZ is set.
  • the implementation of the algorithms used is carried out such that for all used evaluation parameters or types of evaluation parameters for each process step at any time during the execution of such a process step (or at the time of
  • the identification and classification or the evaluation can therefore be carried out in several process steps (hereinafter also referred to as components) of the evaluation unit.
  • components For each process step (each component), one type, preferably exactly one type, of evaluation parameters according to claims 3 to 5 can be defined in each case. Further advantageously realizable features can be found in claim 7.
  • evaluation parameters can thus be set which are used directly in the evaluation unit in order to directly, ie directly, control the identification and classification (or the process steps of the same) by the evaluation unit.
  • evaluation parameters can be set which control the image acquisition unit 1 and which thus indirectly or indirectly, ie as a consequence of this control, influence the identification and classification performed by the evaluation unit (or the process steps thereof).
  • An example of such an evaluation parameter is the image resolution (or the number of pixels per unit area) in the case of
  • Image Capture Unit This can be decreased (e.g., by combining multiple pixels).
  • the image data then have a lower image resolution, the allocation parameters thus become less accurate / coarser and / or occur in smaller numbers (and thus can be determined more quickly).
  • the latter then also simplifies or accelerates the identification and classification by or in the evaluation unit indirectly.
  • the latter can also be effected by changing one or more evaluation parameters of the evaluation unit with respect to the setting on the basis of the evaluation parameter (s) of the image acquisition unit.
  • Such a sorting parameter can preferably be set by the sorting unit.
  • One possible sorting parameter is a combination of several rere adjacent exhaust nozzles of the sorting unit to a nozzle cluster. For example, with such a nozzle cluster, large objects can be sorted out more safely or (with a low occupation density) larger blow-out areas around objects to be sorted out can be effected. This makes it possible to further increase the probability of actually sorting out items to be sorted out by the sorting unit.
  • the occupation density can be defined in particular as an average number of objects per unit area of the material flow (for example, as an average number of objects with which a unit area of the conveyor belt of a belt-type sorting system is occupied).
  • the occupancy density may be the mean number of objects per fallway or per fall-area unit.
  • the occupancy distribution can capture or describe whether the objects in the material flow are all singled out or with which probability any object is isolated on, for example, the conveyor belt (or whether objects still overlap or with what probability cluster formations are present).
  • the context analysis as part of the identification may be a "Connected Component Analysis” as described, for example, in “Topological Algorithms for Digital Image Processing” by TY Kong, A. Rosenfeld, North Holland, Amsterdam, NL, 1996.
  • the segmentation as part of the identification may be performed, for example, as described in “Digital Image Processing and Image Acquisition” by B. Jahne, Springer, Heidelberg, Germany, 2012.
  • the identifying and classifying, in particular the identifying may comprise further process steps such as an image pre-processing step (before the segmentation and before the context analysis) and / or a feature calculation step (after the segmentation and after the context analysis). See, for example, “Digital Image Processing and Image Acquisition” by B. Jahne, Springer, Heidelberg, Germany,
  • the implementation of individual process steps can be done both in software and in hardware, but also only in software or only in hardware.
  • a central processing unit (server system) is used, with which all units of the sorting system are connected via bidirectional data lines.
  • This central processing unit can computer-aided execute all necessary data processing measures, calculations and / or process steps.
  • the present invention thus describes a procedure in which a best possible sorting decision can fundamentally be made within the available computing time, in order to thereby enable a principle compliance with real-time barriers.
  • the Improved valorization of the evaluation system can thus directly support qualitative advances in optical bulk material sorting, since time limits can be narrowed down. This is realized according to the invention by the use of algorithms which incrementally refine a sorting decision or alternatively align their calculations to a time budget allocated.
  • a number of implementations which differ in accuracy GK and calculation effort BZ can be used for subtasks of the evaluation system.
  • a runtime system can select concrete implementations in order to maintain real-time barriers and to achieve the best possible result during the available time.
  • the available time budget can be propagated to evaluation algorithms.
  • the algorithms can be enhanced with intelligence so that they make the best possible use of the available time.
  • interruptible sub-processes can be realized.
  • the evaluation algorithm can be interrupted by a control system at any time and it can be queried the best process step result up to this time.
  • information about an object to be sorted can always be evaluated for a sorting decision. It is therefore not the case that an object for a classification or sorting is not considered at all when the time limit is exceeded. This ultimately results in an increase in sorting performance and sorting quality.
  • sorting unit it can be ensured that a sorting decision is present for each object contained in the material flow when the separation mechanism (sorting unit) is reached.
  • This decision is usually based on information collected about the object by the sensor (image acquisition unit), the quality of the evaluation differs depending on the time available. This means that a better decision can be made than is the case with conventional prior art systems.
  • a lower latency between the sensory detection and the separation is made possible, whereby the spatial separation is minimized, an increase in the sorting quality is achieved, and a more compact sorting system is realized.
  • blow-out windows can be used compared to the prior art.
  • the invention can be used for the sorting of complex bulk materials which are classified on the basis of many complex features.
  • Optical sorting systems as in the present invention can be used if the materials or the objects differ on the basis of optical features, preferably in the visible or also in the near infrared range, and thus can be classified for sorting.
  • the invention can be used for the raw material processing industry, in addition to a cost-effective production always a consistently high quality must be ensured. This includes, for example, the sorting of industrial minerals, for example, to reduce the iron content in a raw material.
  • the invention can also be used in the food or beverage sector, where impurities in products (for example: dried peppers, dried grapes ...) must be eliminated. Another important area of application is the recycling of products (for example, scrap glass sorting).
  • the present invention can make a significant contribution to improved economy in optical sorting systems.
  • a material occupancy for example occupation density
  • a distribution of the objects in the material flow can be determined by a monitoring unit. This can be achieved through learned models as well as through certain metrics. Based on this knowledge, a single control component can be used
  • Elements (components or process steps) of the processing chain For example, with regard to the accuracy can be adjusted. Thus, a shorter calculation time of these members can be achieved.
  • the accuracy of at least one member or process step can be set to "coarser” or "lower", so that the real-time conditions in each Case (even if this reduces the accuracy of the classification or sorting decisions, or even if the error rate, ie the probability of a wrong sorting decision or
  • Classification decision for a currently viewed object is increasing). In accordance with the invention, this greatly increases the probability of compliance with all real-time conditions in the sorting system. This results in better sorting decisions, as a classification can be made at all by said increase in compliance for more objects in the material flow. (In extreme cases, in any case, i.e. for every single object in the
  • control component can set the evaluation parameters, in particular the accuracy, the calculation time and / or the repetition frequency, on the basis of relationships determined with known material flows (with known object occupancy, with known object types, object sizes, object weights, etc.). These relationships can dependencies between the material occupancy or the occupancy parameters on the one hand and the one to be carried out
  • FIGS. 1 to 5 show an embodiment of an inventive optical sorting system (and a corresponding sorting method) as follows.
  • FIG. 1 shows an optical band sorter according to the invention.
  • FIG. 2 shows the processing sequence in the sorting system according to FIG. 1 from the perspective of the digital data (in particular: the image data) and the material flow or the path of its objects.
  • FIGS. 1 and 2 shows the sequence of the sorting process according to FIGS. 1 and 2, in particular the process steps of the evaluation (identification and classification) in the evaluation unit of the system.
  • FIGS. 1 to 3 shows an example of an occupancy parameter determined in accordance with FIGS. 1 to 3 (here: material occupation density) and an evaluation parameter (here: accuracy GK) set using the same, which controls the identification and classification of the objects, that is to say the evaluation, by the evaluation unit.
  • FIG. 5 shows an example of the process step of the classification in the evaluation according to FIG. 3.
  • FIG. 1 shows an optical band sorter, which fundamentally follows the structure according to the prior art, wherein the features according to the invention are located in the evaluation unit 2 or the evaluation of the image data 4, respectively.
  • a bulk material flow or material flow M is transported by means of a conveyor belt 11 in a manner known per se to a person skilled in the art past an image recording unit 1 to a sorting unit 3 arranged at a defined distance from the image recording unit 1.
  • the bulk material flow M comprises a multiplicity of individual objects 0, which are to be classified or sorted here into only two classes, namely good objects (to be sorted into the collecting container 13b of the sorting unit 3) and bad objects (to be sorted into the further collecting container 13a the sorting unit 3).
  • the objects 0 of the material flow M must first be detected by the image acquisition unit, then classified by evaluation of the image data 4 recorded by this unit 1 in the evaluation unit 2 into good objects and bad objects, and finally sorted.
  • Klassifizier mecanics 13 is carried out by the compressed air valves of the sorting unit 3, based on the evaluation results 10 of the evaluation unit 2 bad Remove objects from the material flow M by blowing out.
  • the image recording unit 1 comprises an imaging sensor system, here a CCD color line camera 1a, which detects the material flow M or the objects 0 thereof in the ejection area of the conveyor belt 11 against a background 12 or records a rapid imaging sequence of the material flow M against the background 12 , Illumination lb of the unit 1 illuminates the material flow M against the background 12 of the unit 1 in order to ensure optimum image recording conditions for the camera 1a.
  • an imaging sensor system here a CCD color line camera 1a, which detects the material flow M or the objects 0 thereof in the ejection area of the conveyor belt 11 against a background 12 or records a rapid imaging sequence of the material flow M against the background 12 .
  • Illumination lb of the unit 1 illuminates the material flow M against the background 12 of the unit 1 in order to ensure optimum image recording conditions for the camera 1a.
  • the recorded image data or video data 4 are transmitted via a data line connection between camera la and evaluation unit 2 to the latter.
  • the evaluation unit 2 then carries out the process steps described below in detail for identifying and classifying the objects 0 of the material flow M in the image data 4 and transmits them
  • Evaluation results 10 of the performed process steps 7a-7g via a data link to the sorting unit 3.
  • the latter finally leads spaced from the discharge area of the conveyor belt 11 and of the receiving unit 1, the removal of bad objects, whereby the separation into Good objects (container 13b) and bad objects (container
  • FIG. 2 shows the material flow (solid arrows) and the data flow (dashed arrows), in particular the data flow in the image data acquisition and evaluation, in the system according to FIG. 1.
  • the material feed onto the conveyor belt 11 is first followed by a singling and settling of the objects O on the conveyor Conveyor before the transport state or state of the objects O shown in Figure 1 on the left in the image shown in the material flow M on the conveyor belt 11.
  • image acquisition or sensory detection of the objects O in the material flow M takes place by means of the image recording unit 1 or the camera 1a thereof.
  • the image data 4 are sent to the Evaluation in the evaluation unit 2 transmitted, which performs the classification of the conclusion of the evaluation or makes the sorting decision for the individual objects 0.
  • the material flow M downstream of the discharge region of the conveyor belt 11 falls along the discharge parabola.
  • the period of free fall of the objects 0 along the Abschparabel is defined by the distance between the conveyor belt end on the one hand and the impact area of the compressed air valves of the sorting unit 3 on the other hand and corresponds to the latency or the time for a meeting of a sort decision for an object 0 is available.
  • the evaluation that is to say the identification and classifying of the objects 0 by the evaluation unit 2 comprises a total of seven individual process steps 7.
  • the input data of the evaluation are the image data 4.
  • the determined assignment parameter 5 see FIG. 4: material occupation density
  • the evaluation parameter 6 controlling this process step in the evaluation unit is set. The necessary evaluation of the occupation density for calculating the evaluation parameters 6a-6g of the individual process steps 7a-7g of the identification and classifying by the evaluation unit 2 takes place in FIG. 4
  • the evaluation unit 2 for the first process step 7a of the image data preprocessing of the image data 4 sets the evaluation parameter GK 6a as the evaluation parameter controlling this preprocessing.
  • the accuracy level can be eg "low”, “medium” or "high” (see also FIG. 4).
  • a fixed calculation time BZ is set by the evaluation unit 2 as the evaluation parameter 6b.
  • the control of the step 7b of the evaluation is thus based on a BZ.
  • the subsequent third process step 7c of the segmentation is again performed or controlled with an accuracy step GK set by means of the unit 2 as the evaluation parameter 6c.
  • one of the three accuracy level values "low”, “medium” or "high” is likewise assigned or set as the evaluation parameter 6d.
  • the temporally fifth process step of the feature calculation 7e is performed or controlled on the basis of a set repetition frequency WH as the evaluation parameter 6e.
  • the feature calculation here comprises a calculation sequence to be performed recursively, the repetition frequency WH 6e being e.g. may take on a value between 3 and 7 (i.e., the recursion depth of the calculations may be chosen between 3 and 7, where 3 requires little computational effort, thus allowing a fast execution of step 7e and a value of 7 being high
  • step 7e Requires computational effort, so that the implementation of step 7e takes a long time, but can be done with high accuracy - the latter is thus useful or possible only with low occupancy density 5, if 0 sorting decisions are to be made for all objects).
  • the classification takes place as the sixth step 7f, an accuracy GK in turn being set as the evaluation parameter 6f for this process step 7f.
  • the final sorting decision 7g also takes place on the basis of setting an accuracy value GK 6g.
  • FIG. 4 shows how, in the system of FIGS. 1 to 3, evaluation parameters 6 can be set based on occupancy parameters 5 previously determined in the image data 4. This is shown on the basis of a single assignment parameter 5, in this case the material occupation density, which is determined with the evaluation unit 2 from the image data recorded with the image recording unit 1 or the camera 1a (shown here individual images 4).
  • This accuracy 6 is an evaluation parameter of the evaluation unit 2 which is set at the evaluation unit 2 in order to identify and classify the objects 0 by As shown in FIG.
  • a high accuracy 6 is set as the evaluation parameter for identifying and classifying or for all individual process steps thereof, so that the evaluation unit 2 performs all identification and classification process steps 7 with performs the accuracy "high” without causing a violation of the real-time conditions in the evaluation (cf. FIG. 4, middle image line).
  • FIG. 4 shows that evaluation parameters 8 of the image recording unit 1 can also be set on the basis of the material occupation density 5.
  • the camera la can image data 4 with high
  • Image Resolution 8 record, whereas at a significant increase in the material occupancy density 5, as shown in the lower line of Figure 4, the image resolution 8 can be significantly reduced when recording the image data 4.
  • the thus adjustable evaluation parameter 8 of the image acquisition unit 1 (image resolution) can then indirectly also influence the determination of the occupancy parameter (s) 5 and thus also the setting of the evaluation parameter (s) 6 of the evaluation unit 2.
  • FIG. 5 shows an example of a possible implementation of one of the process steps or subtasks from FIG. 3, namely the classification
  • Classifier for making the best possible classification decision (or the following sorting decision).
  • the basis for the classifier is a decision tree.
  • a feature of a found object is compared against a threshold value, and according to the comparison result, the path is followed to the right or to the left, as shown in FIG.
  • the leaves of the decision tree store the resulting classes. According to FIGS. 1 to 4, there are only two classes here, namely the class of the good objects and the class of the bad objects.
  • these methods can be extended to the effect that not only in the leaves of the decision tree is a class membership stored, but also that in each inner decision tree node a probability for the different classes is added. (based on the training amount). For example, if you distinguish two classes, namely a class A for good objects and class B for bad objects, where there are equal numbers of examples in the training set for both classes, then the probabilities for the class membership for A and B are in the top node f 8 at 50% each.
  • f describes the feature vector and the eighth feature included is described by f 8 accordingly. It should be noted that a single feature in several nodes of the decision tree can be used as a test criterion.
  • An object to classify 0 falls after the comparison with f 8 in the first, top node in the left or in the right subtree.
  • the next node, for example right, is now compared with f 4 .
  • the probabilities can be redistributed. For example, it is conceivable that in the latter node the probabilities for A at 30% and for B with
  • the process step of the context analysis 7d can be realized, for example, by a "Connected Component Analysis.” See, for example, MB Dillencourt et al "A General Approach to Connected Component Labeling for Arbitrary Image Representations". Journal of the ACM 39 (2), 1992.
  • breakpoints can be granted by displaying the image e.g. is subsampled with a shifted raster. For example, in a first pass, only every fourth pixel can be considered: for all pixels not considered, the same value can then be assumed as for the pixel last considered. If enough computation time is available, the grid can be moved: this way, the information about the image is refined with each pass or repetition. It is an iterative process, after each
  • Interruptible sub-processes or process steps can also be realized, for example, as follows.
  • the area of an object is determined in pixels.
  • the pixels are simply counted in an algorithm.
  • Such a process can be interrupted at any time and the previously counted pixels can be assumed to be an area.
  • the area can be estimated from other data, if already available. For example, if an axis-aligned bounding box is known, the area of this box can be used as an estimate instead of the true area (this can provide advantages through fewer memory accesses).
  • iterative methods or iteratively performed process steps can be interrupted during each loop pass. In the event of a break during a loop it is possible to use the result of the most recently completed loop pass.

Landscapes

  • Sorting Of Articles (AREA)

Abstract

Sortiervorrichtung, mit der Objekte (0) eines Materialstroms (M) sortiert werden, umfassend eine Bildaufnahmeeinheit (1), mit der der Materialstrom (M) optisch erfasst wird und mit der Bilddaten (4) desselben (M) erzeugt werden, eine Auswerteeinheit (2), mit der Objekte (0) im Materialstrom (M) identifiziert und klassifiziert werden, und eine Sortiereinheit (3), mit der klassifizierte Objekte (0) des Materialstroms (M) sortiert werden, dadurch gekennzeichnet, dass mit der Auswerteeinheit (2) aus den erzeugten Bilddaten (4) ein oder mehrere Belegungsparameter (5), der/die den Materialstrom (M) hinsichtlich seiner Belegung mit den Objekten (0) kennzeichnet/kennzeichnen, bestimmt wird/werden und dass auf Basis des/der bestimmten Belegungspa- rameter(s) (5) ein oder mehrere das Identifizieren und Klassifizieren der Objekte (0) durch die Auswerteeinheit (2) steuernde(r) Auswertungsparameter (6, 8) eingestellt wird/werden.

Description

Sortiervorrichtung sowie entsprechendes Sortierverfahren
Die vorliegende Erfindung bezieht sich auf eine Sortiervorrichtung (nachfolgend auch als optisches Sortiersystem bezeichnet) gemäß Oberbegriff des Anspruchs 1 (sowie ein entsprechendes Verfahren).
Bei der optischen Sortierung von Schüttgütern in Materialströmen, die sich gut anhand optischer Merkmale im sichtbaren Spektrum wie Farbe, Form und/oder Textur, oder auch Materialeigenschaften im nahen Infrarotbereich trennen lassen, haben Anlagenbetreiber Interesse daran, den Materialdurchsatz zu maximieren. Daraus resultiert eine bessere Wirtschaftlichkeit. Erreicht werden kann ein höherer Materialdurchsatz durch höhere Schüttdichten, größere Sortierbreiten und/oder höhere Materialgeschwindigkeiten.
Für eine möglichst genaue Ausschleusung und somit ein bestmögliches Sortierergebnis ist es notwendig, die Sensorik und die Separationstechnik räumlich möglichst nahe beieinander anzuordnen. Hierdurch kann die Lage der Objekte im Materialstrom auf Höhe des Separationsmechanismus besser vorhergesagt und es kann entsprechend präzise, z.B. durch pneumatische Ventile, ausgeschleust werden. Darüber hinaus kann der Beifang (also der ungewollte Ausschuss von Objekten) nahe einem auszuschleusenden Objekt so gering wie möglich gehalten werden.
Für viele bekannte Merkmale, z.B. geometrische Deskriptoren, ist die Berechnungszeit direkt vom Objekt abhängig. Bei sehr hohen Schüttdichten bzw. Belegungsdichten im Materialstrom entstehen aus Sicht der Bildverarbeitung zusätzlich häufig Objektagglomerate (Objektcluster), welche algorithmisch nur noch schwer getrennt (insbesondere: segmentiert) werden können. Dies hat zur Folge, dass sich selbst bei der Sortierung von homogenen Produkten bzw. Objekten stark unterschiedliche Rechenaufwände zur Klassifikation ergeben können.
Die genannten Aspekte stellen Auswerteverfahren vor große Herausforderungen, da mit ihnen stets die Forderung nach Echtzeitauswertungen einhergeht. Werden Echtzeitschranken für bestimmte im Materialstrom enthaltene Objekte verletzt, liegt keine rechtzeitige Entscheidung des Auswertesystems über jene Objekte vor, d.h. eine Sortierentscheidung für ein entsprechendes Objekt (insbesondere: soll dieses Objekt ausgeschleust werden oder nicht) kann nicht rechtzeitig getroffen werden. Dies führt potentiell (oder auch tatsächlich) zu Fehlsortierungen.
Aus dem Stand der Technik bekannt sind Sortiersysteme, insbesondere zum Sortieren von Schüttgütern, aus den folgenden Offenlegungsschriften:
• DE 10 2009 007 481 AI,
• DE 10 2010 046 438 AI,
• DE 10 2011 103 253 AI sowie
• DE 10 2012 001 868 AI.
Siehe zudem„Stand der Technik der sensorgestützten Sortierung" von H. Wotruba, BHM, 153. Jg. (2008), Heft 6, Seiten 221 - 224.
Aufgabe der vorliegenden Erfindung ist es, die Leistungsfähigkeit optischer Sortiersysteme zum Sortieren von Objekten in Materialströmen zu verbessern, insbesondere die Echtzeitfähigkeit der Systeme zu verbessern, d.h., die Wahrscheinlichkeit zu erhöhen, dass für jedes Objekt im Materialstrom zum Ausschleusungszeitpunkt tatsächlich eine Sortierentscheidung vorliegt. Zudem soll die vorliegende Erfindung eine leistungsfähigere Verarbeitung von Sensordaten zur Verfügung stellen, um auch bei kurzen Abständen zwischen Bildaufnahmeeinheit (Sensorik) und Sortiereinheit (Einheit zur Ausschleusung von Objekten) eine Echtzeitfähigkeit zu ermöglichen (und damit in der Konsequenz die Sortierleistung zu steigern). Die vorliegende Erfindung soll dazu insbesondere neue Ansätze bezüglich der Sensordatenverarbeitung zur Verfügung stellen.
Diese Aufgabe wird durch ein optisches Sortiersystem gemäß Anspruch 1 sowie ein Sortierverfahren gemäß Anspruch 14 gelöst. Vorteilhafterweise realisierbare Varianten lassen sich den abhängigen Ansprüchen entnehmen.
Die vorliegende Erfindung geht zunächst von folgenden Grundüberlegungen aus: Bei herkömmlichen Systemen besteht das Problem, dass für manche Objekte bei Erreichen des Separationsmechanismus (Sortiereinheit) keine Sortierentscheidung vorliegt, da die benötigten Berechnungen des Auswertesystems (Auswerteeinheit) noch nicht abgeschlossen sind. Eine Teilmenge aus dem Stand der Technik bekannter Anlagen behandelt diesen Zustand überhaupt nicht, wodurch sich zwangsweise Einbußen hinsichtlich Sortierleistung und/oder Sortierqualität ergeben. Um diese Probleme zu lösen, scheinen sich zunächst folgende Ansätze anzubieten:
• Verringerung der Materialzufuhr: Liegen wenige(r) Objekte zur Auswertung vor, kann mehr Zeit pro Objekt für Berechnungen genutzt werden. Allerdings würde sich dies negativ auf die Wirtschaftlichkeit der Anlage auswirken.
• Vergrößerung des Abstands zwischen der sensorischen Erfassung und der Separation: Hierdurch kann der Auswerteeinheit (bei konstanter Materialgeschwindigkeit) eine größere Latenz zur Bildauswertung gewährt werden. Dies würde jedoch den Nachteil mit sich bringen, dass die Position von Objekten bei Erreichen der Sortiereinheit (Separationsmechanismus) schlechter prognostiziert werden kann. Durch größere Ausblasfenster könnte dem entgegengewirkt werden, jedoch würde dadurch der Beifang (ungewollter Ausschuss von Objekten nahe an einem auszuschleusenden Objekt) erhöht. • Implementierung der Bildauswertung in Hardware: Hierdurch würden zwar sehr hohe Verarbeitungsgeschwindigkeiten erreicht werden, dies hätte jedoch den Nachteil, dass die entsprechende Realisierung auf eine ganz bestimmte Sortieraufgabe zugeschnitten werden müsste. Es würde dann an Flexibilität hinsichtlich der zugrundeliegenden Sortieraufgabe mangeln (in vielen Anlagen müssen aber unterschiedliche Sortieraufgaben gelöst werden).
Allen diesen Lösungsansätzen ist gemein, dass sie entweder hohe Verarbei- tungsgeschwindigkeiten unterstützen oder aber die tolerierbare Latenz erhöhen. Aus diesen Grundüberlegungen zieht die vorliegende Erfindung daher den Schluss, dass ein adaptives Verhalten des Sortiersystems notwendig ist, um die Echtzeitfähigkeit des Systems zu gewährleisten bzw. zu verbessern. Mit anderen Worten besteht eine Grundidee der vorliegenden Erfindung da- rin, passend auf die in Abhängigkeit der Sensordaten bzw. der konkreten Verhältnisse im Materialstrom und/oder bei dessen Objekten schwankenden benötigten Berechnungszeiten einzugehen.
Die grundlegende Realisierung dieser Grundidee beschreibt das optische Sor- tiersystem gemäß Anspruch 1.
Das erfindungsgemäße System kann als Bandsortiersystem realisiert sein, es sind aber auch Rutschensortiersysteme denkbar. Das optische Erfassen des Materialstroms bedeutet dabei in der Regel die Aufnahme einer Vielzahl von einzelnen Bildern des Materialstroms bzw. von Ausschnitten desselben je
Zeiteinheit. Beispielsweise können, während das Sortiersystem arbeitet, Videobilder (schnelle Einzelbildfolgen) eines neutralen Hintergrundes, über den der Materialstrom hinweg transportiert wird, aufgenommen werden und mittels der Auswerteeinheit in Echtzeit (hinsichtlich der vor besagtem Hinter- grund aufgenommenen Objekte im Materialstrom) ausgewertet werden.
Dabei kann als bildgebende Sensorik (Bildaufnahmeeinheit) ein Farb-Zeilen- oder ein Farb-Flächen-Kamerasystem (Array), beispielsweise auf CCD- oder auf CMOS-Basis, eingesetzt werden. Die einzelnen Aufnahmen bzw. Videobil- der der Bildaufnahmeeinheit können mit Bildverarbeitungsalgorithmen durch die Auswerteeinheit ausgewertet werden, um die sechsdimensionale Pose (also die dreidimensionale Lage und die dreidimensionale Orientierung) oder zumindest die dreidimensionale Lage jedes einzelnen Objekts des Materialstroms zu definierten Zeitpunkten zu bestimmen.
Das Einstellen des/der Auswertungsparameter(s) erfolgt vorzugsweise durch die bzw. in der Auswerteeinheit, insbesondere durch einen Mikrocontroller oder eine Rechnereinheit derselben.
Das Sortieren„der klassifizierten" Objekte schließt dabei nicht aus, dass auch nicht-klassifizierte Objekte sortiert werden (nämlich beispielsweise sicherheitshalber einfach immer als„Schlecht-Objekte" ausgesondert bzw. ausgeschleust werden). Das Sortieren kann insbesondere ein mechanisches Trennen der klassifizierten Objekte sein. Im einfachsten Fall werden die Objekte in zwei Klassen klassifiziert, nämlich in„Gut-Objekte" und in„Schlecht-Objekte". Die Objekte der beiden Klassen können bei der Sortierung in getrennten Behältnissen aufgefangen werden. Dazu können (was dem Fachmann grundsätzlich bekannt ist, vgl. auch den vorgenannten Stand der Technik) schnelle Luftventile zum Ausblasen der Schlecht-Objekte eingesetzt werden.
Erste vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 2 entnehmen.
Anders ausgedrückt kann mit der besagten Mindestwahrscheinlichkeit für ein beliebiges Objekt im Materialstrom durch die Auswerteeinheit eine Sortierentscheidung getroffen werden, so dass die Sortiereinheit gemäß der getroffenen Sortierentscheidung auf dieses Objekt reagieren kann. Falls die (Min- dest-)Wahrscheinlichkeit gleich 100% ist, trifft die Auswerteeinheit mit absoluter Sicherheit für alle Objekte im Materialstrom jeweils eine Entscheidung des Identifizierens und Klassifizierens, also eine Sortierentscheidung. Dabei kann (insbesondere bei sehr hohen Bandgeschwindigkeiten des Transportbandes eines Bandsortiersystems und/oder bei sehr hohen Belegungsdichten der Objekte im Materialstrom) die Sortierentscheidung auch falsch sein. Es kann auch vorkommen, dass durch ein fehlerhaftes Einwirken der Sortiereinheit auf den Materialstrom ein bestimmtes, klassifiziertes Objekt trotz einer (korrekten) Sortierentscheidung der Auswerteeinheit auf„Ausschleusen" dennoch nicht ausgeschleust wird. Ebenso kann es vorkommen, dass ein be- stimmtes, klassifiziertes Objekt ausgeschleust wird, obwohl die (korrekte) Sortierentscheidung für dieses Objekt auf„nicht Ausschleusen" lautet.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 3 entnehmen.
Es kann also die Genauigkeit GK eines oder mehrerer Prozessschritts/e (z.B. des Prozessschritts der Segmentierung oder des Prozessschritts der Anwendung eines Klassifikators auf Entscheidungsbaumbasis) vorgegeben bzw. ein- gestellt werden. Der/die Prozessschritt(e) wird/werden daraufhin mit der (jeweils) eingestellten GK durchgeführt. Das Einstellen einer geringen GK kann beispielsweise heißen, dass die Bilddaten bzw. die aus den Bilddaten hervorgehenden Daten als Eingangsdaten des Prozessschritts nur grobgerastert bearbeitet werden, um die Zahl der rechnergestützt durchzuführenden Berech- nungen möglichst gering zu halten. In diesem Fall wird der mit dieser Genauigkeit GK durchgeführte Prozessschritt in jedem Fall beendet.
Dies kann aber - bei iterativen Berechnungen oder bei rekursiven Berechnungen - auch heißen, dass nach einer definierten (beispielsweise geringen) Wiederholungsanzahl der Iterationsschleife (bei iterativen Berechnungen) oder nach Erreichen einer definierten (beispielsweise geringen) Rekursionstiefe (bei rekursiven Berechnungen), also nach Erfüllen eines definierten Abbruchkriteriums, ein Abbruch der Berechnungen des Prozessschrittes erfolgt. Als Folge eines solchen Vorgebens bzw. Einstellens unterschiedlicher Genauigkeiten ergeben sich variierende Berechnungszeiten und/oder Wiederholungsanzahlen (bei iterativen Berechnungen) bzw. Rekursionstiefen (bei rekursiven Berechnungen). Erfindungsgemäß können insbesondere die Genauigkeit schrittweise verfeinernde Algorithmen (insbesondere: rekursiv, iterativ und/oder inkrementell verfeinernde Algorithmen) eingesetzt werden. Dies muss aber nicht der Fall sein, die Algorithmen können auch nicht repetitiv und/oder analytisch sein.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 4 entnehmen. Es kann also die Berechnungszeit BZ eines oder mehrerer Prozessschritts/e zumindest näherungsweise vorgegeben bzw. eingestellt werden. Der/die Pro- zessschritt(e) kann/können dann mit der (jeweils) eingestellten BZ bzw. solan- ge, bis die BZ abgelaufen ist (Abbruchkriterium), durchgeführt werden.
Als Folge des Vorgebens bzw. Einstellens unterschiedlicher Berechnungszeiten ergeben sich variierende Genauigkeiten und/oder Wiederholungsanzahlen (bei iterativen Berechnungen) bzw. Rekursionstiefen (bei rekursiven Berech- nungen).
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 5 entnehmen. Es können also Häufigkeiten, mit denen Berechnungsfolgen von Prozessschritten wiederholt werden, vorgegeben bzw. eingestellt werden (bei rekursiven Algorithmen entspricht die Häufigkeit der Rekursionstiefe). Ein Einstellen einer geringeren Häufigkeit führt in der Regel zu einer geringeren Genauigkeit, mit der ein Prozessschritt durchgeführt wird, bzw. zu einer geringeren Be- rechnungszeit für den Prozessschritt. Nachdem die Berechnungsfolgen entsprechend häufig wiederholt wurden (bzw. die gewählte Rekursionstiefe erreicht wurde) wird der Prozessschritt beendet. Das Abbruchkriterium ist hier also eine Häufigkeit. Als Folge eines solchen Vorgebens bzw. Einstellens von unterschiedlichen Wiederholhäufigkeiten (nachfolgend auch mit WH abge- kürzt) ergeben sich variierende Genauigkeiten GK und/oder Berechnungszeiten BZ für die entsprechenden Prozessschritte.
Gemäß der Ansprüche 3 bis 5 können erfindungsgemäß schrittweise genauig- keitsverfeinernde Prozessschritte implementiert bzw. realisiert werden. Zwei beliebige oder alle drei der genannten Auswertungsparametertypen (GK, BZ und/oder WH) können durch die Auswerteeinheit zum Identifizieren und Klassifizieren der Objekte des Materialstroms zusammen eingesetzt werden. So kann beispielsweise bei einem Prozessschritt (z.B. der Segmentierung in den Bilddaten) die GK eingestellt werden, während bei einem anderen Prozess- schritt (beispielsweise dem Anwenden eines Klassifikators auf Entscheidungsbaumbasis) die BZ eingestellt wird. Vorteilhafterweise erfolgt das Implementieren der verwendeten Algorithmen so, dass für alle verwendeten Auswertungsparameter bzw. Typen von Auswertungsparametern für jeden Prozessschritt zu jedem Zeitpunkt während des Durchführens eines solchen Prozessschrittes (bzw. zum Zeitpunkt eines
Abbruchs der Berechnungen eines solchen Prozessschrittes) die Bedingungen gemäß Anspruch 2 erfüllt sind.
Mit anderen Worten werden vorzugsweise sämtliche Berechnungen für alle Objekte im Materialstrom in derjenigen Zeit durchgeführt und abgeschlossen
(notfalls beispielsweise durch vorzeitigen Abbruch der Berechnungen bei noch recht geringer Genauigkeit), die die Objekte jeweils brauchen, um nach ihrer Erfassung durch die Bildaufnahmeeinheit (beispielsweise auf dem Transportband) zu demjenigen letztmöglichen Ort zu gelangen, an dem sie noch durch die Sortiereinheit aussortiert werden können. Erfindungsgemäß kann also dafür gesorgt werden, dass für jedes Objekt oder zumindest für 90%, 95% oder 99% der Objekte immer eine momentane (ggfs. noch sehr grobe) Klassifikationsentscheidung (der dann eine entsprechende Sortierentscheidung folgen kann) gegeben ist.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 6 entnehmen.
Das Identifizieren und Klassifizieren bzw. die Auswertung kann also in mehre- ren Prozessschritten (nachfolgend auch alternativ als Komponenten bezeichnet) der Auswerteeinheit durchgeführt werden. Für jeden Prozessschritt (jede Komponente) kann jeweils ein Typ, bevorzugt genau ein Typ, von Auswertungsparameter gemäß der Ansprüche 3 bis 5 festgelegt werden. Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 7 entnehmen.
Gemeint ist damit, dass die sich ergebende(n) bzw. die gewählte(n) Berech- nungszeit(en), vgl. dazu auch die vorangehenden abhängigen Ansprüche, so sind, dass auch bei Änderungen im Materialstrom bzw. bei den Objekten desselben der/die Belegungsparameter so schnell bestimmt und davon ausge- hend der/die Auswertungsparameter so schnell angepasst werden
kann/können, dass auch im veränderten Materialstrom bzw. für die veränderten Objekte die Bedingungen des Anspruchs 2 erfüllt werden können. Dies kann durch eine geeignete Hard- und/oder Software und/oder auch durch geeignete, hinreichend gering eingestellte Genauigkeiten realisiert werden.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 8 entnehmen. Gemäß der ersten Variante dieses Anspruchs können somit Auswertungsparameter eingestellt werden, die in der Auswerteeinheit direkt verwendet werden, um durch die Auswerteeinheit das Identifizieren und Klassifizieren (bzw. die Prozessschritte desselben) direkt, also unmittelbar, zu steuern. Gemäß der zweiten Variante dieses Anspruchs können Auswertungsparameter eingestellt werden, die die Bildaufnahmeeinheit 1 steuern und die somit indirekt bzw. mittelbar, also als Folge dieser Steuerung, das von der Auswerteeinheit durchgeführte Identifizieren und Klassifizieren (bzw. die Prozessschritte desselben) beeinflussen. Ein Beispiel für einen solchen Auswertungs- parameter ist die Bildauflösung (oder die Pixelzahl je Flächeneinheit) bei der
Bildaufnahmeeinheit: Diese kann herabgesetzt werden (z.B. durch Zusammenfassen von mehreren Pixeln). Die Bilddaten haben dann eine geringere Bildauflösung, die Belegungsparameter werden somit ungenauer/gröber und/oder liegen in geringerer Anzahl vor (und können somit schneller be- stimmt werden). Letzteres vereinfacht bzw. beschleunigt dann indirekt auch das Identifizieren und Klassifizieren durch die bzw. in der Auswerteeinheit. Letzteres kann auch dadurch bewirkt werden, dass man auf Basis des/der Auswertungsparameter(s) der Bildaufnahmeeinheit wiederum einen oder mehrere Auswertungsparameter der Auswerteeinheit hinsichtlich der Einstel- lung verändert.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 9 entnehmen.
Ein solcher Sortierparameter kann bevorzugt durch die Sortiereinheit eingestellt werden. Ein möglicher Sortierparameter ist ein Zusammenschalten meh- rerer benachbarter Ausblasdüsen der Sortiereinheit zu einem Düsencluster. Beispielsweise können mit einem solchen Düsencluster große Objekte sicherer aussortiert werden oder es können (bei geringer Belegungsdichte) größere Ausblasbereiche um auszusortierende Objekte herum bewirkt werden. Damit lässt sich die Wahrscheinlichkeit des tatsächlichen Aussortieren auszusortierender Objekte durch die Sortiereinheit weiter erhöhen.
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 10 entnehmen.
Die Belegungsdichte kann insbesondere als mittlere Anzahl von Objekten pro Flächeneinheit des Materialstroms definiert werden (beispielsweise als mittlere Anzahl von Objekten, mit denen eine Flächeneinheit des Transportbandes eines Sortiersystems vom Bandtyp belegt ist). Bei Sortiersystemen vom Rutschentyp oder vom Falltyp kann als Belegungsdichte die mittlere Anzahl von Objekten je Fallstrecke oder je Fallflächeneinheit gemeint sein.
Die Belegungsverteilung kann erfassen oder beschreiben, ob die Objekte im Materialstrom alle ausgeeinzelt sind oder mit welcher Wahrscheinlichkeit ein beliebiges Objekt ausgeeinzelt auf beispielsweise dem Transportband vorliegt (oder ob sich Objekte noch überlappen bzw. mit welcher Wahrscheinlichkeit Clusterbildungen vorliegen).
Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 11 entnehmen.
Falls mehrere dieser Prozessschritte durchgeführt werden, werden diese bevorzugt in einer zeitlichen Reihenfolge gemäß ihrer Reihenfolge in der Aufzählung dieses Anspruchs durchgeführt (Beispiel: Segmentieren gefolgt von Zusammenhangsanalyse gefolgt von Klassifikation).
Die Zusammenhangsanalyse als Teil des Identifizierens kann eine„Connected- Component-Analyse" sein, wie sie z.B. in "Topological Algorithms for Digital Image Processing" von T.Y. Kong, A. Rosenfeld, North Holland, Amsterdam, NL, 1996, beschrieben ist. Die Segmentierung als Teil des Identifizierens kann z.B. so durchgeführt werden, wie es in "Digitale Bildverarbeitung und Bildgewinnung" von B. Jahne, Springer, Heidelberg, Deutschland, 2012, beschrieben ist. Das Identifizieren und Klassifizieren, insbesondere das Identifizieren, kann weitere Prozessschritte wie beispielsweise einen Bildvorverarbeitungsschritt (vor dem Segmentieren und vor der Zusammenhangsanalyse) und/oder einen Merkmalsberechnungsschritt (nach dem Segmentieren und nach der Zusammenhangsanalyse) umfassen. Siehe dazu beispielsweise "Digitale Bildverarbei- tung und Bildgewinnung" von B. Jahne, Springer, Heidelberg, Deutschland,
2012 und "Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der Bildgewinnung und Bildauswertung", J. Beyerer, F. P. Leon, C. Frese, Springer- Verlag Berlin Heidelberg, Deutschland, 2012. Nach mehreren Identifizier-Prozessschritten kann ein Prozessschritt der Klassifikation und danach ein Prozessschritt der Sortierentscheidung erfolgen (der Prozessschritt der Klassifikation kann auch bereits die Sortierentscheidung beinhalten). Weitere vorteilhafterweise realisierbare Merkmale lassen sich Anspruch 12 und Anspruch 13 entnehmen.
Gemäß Anspruch 13 kann die Implementierung einzelner Prozessschritte sowohl in Software als auch in Hardware, aber auch nur in Software oder nur in Hardware erfolgen. Bevorzugt wird eine zentrale Recheneinheit (Serversystem) eingesetzt, mit der alle Einheiten des Sortiersystems über bidirektionale Datenleitungen verbunden sind. Diese zentrale Recheneinheit kann computergestützt alle notwendigen Datenverarbeitungsmaßnahmen, Berechnungen und/oder Prozessschritte ausführen.
Ein erfindungsgemäßes Sortierverfahren lässt sich Anspruch 14 entnehmen.
Die vorliegende Erfindung beschreibt somit eine Vorgehensweise, bei der grundsätzlich innerhalb der zur Verfügung stehenden Rechenzeit eine best- mögliche Sortierentscheidung getroffen werden kann, um hierdurch eine prinzipielle Einhaltung von Echtzeitschranken zu ermöglichen. Die damit ver- bundene Aufwertung des Auswertesystems (Auswerteeinheit) kann somit direkt qualitative Fortschritte in der optischen Schüttgutsortierung unterstützen, da Zeitschranken enger gefasst werden können. Dies wird erfindungsgemäß durch die Verwendung von Algorithmen, die eine Sortierentscheidung inkrementell verfeinern oder die alternativ ihre Berechnungen an einem zugesprochenen Zeitbudget ausrichten, realisiert.
Es kann eine Menge an Implementierungen, welche sich in Genauigkeit GK und Berechnungsaufwand BZ unterscheiden, für Teilaufgaben des Auswerte- Systems verwendet werden. Während der einzelnen Prozessschritte (insbesondere bei der Auswertung) kann ein Laufzeitsystem konkrete Implementierungen auswählen, um Echtzeitschranken einzuhalten und um während der zur Verfügung stehenden Zeit das bestmögliche Ergebnis zu erzielen. Das zur Verfügung stehende Zeitbudget kann an Auswertungsalgorithmen propagiert werden. Die Algorithmen können um Intelligenz so erweitert werden, dass sie die zur Verfügung stehende Zeit bestmöglich ausnutzen.
Erfindungsgemäß können unterbrechbare Teilprozesse (die Prozessschritte) realisiert werden. Die Auswertealgorithmik kann durch ein Steuersystem zu jedem beliebigen Zeitpunkt unterbrochen werden und es kann das bis zu diesem Zeitpunkt beste Prozessschrittergebnis abgefragt werden. Durch das Verwenden der bis zu diesem Zeitpunkt bestmöglichen Entscheidung können in jedem Fall immer Informationen über ein zu sortierendes Objekt für eine Sortierentscheidung ausgewertet werden. Es kommt also nicht zu dem Fall, dass bei einer Überschreitung der Zeitschranke ein Objekt für eine Klassifizierung bzw. Sortierung überhaupt nicht beachtet wird. Dies resultiert letztendlich in einer Steigerung der Sortierleistung sowie der Sortierqualität.
Erfindungsgemäß kann sichergestellt werden, dass für jedes im Materialstrom enthaltene Objekt bei Erreichen des Separationsmechanismus (Sortiereinheit) eine Sortierentscheidung vorliegt. Diese Entscheidung beruht in der Regel auf Informationen, welche über das Objekt durch den Sensor (Bildaufnahmeeinheit) erfasst wurden, wobei die Auswertungsqualität sich je nach zur Verfügung stehender Zeit unterscheidet. Dies bedeutet, dass eine bessere Ent- Scheidung getroffen werden kann, als es bei herkömmlichen Systemen nach dem Stand der Technik der Fall ist. Zudem kann bei der vorliegenden Erfin- dung eine geringere Latenz zwischen der sensorischen Erfassung und der Separation ermöglicht werden, wodurch die räumliche Trennung minimiert wird, eine Steigerung der Sortierqualität erzielt wird, und ein kompakteres Sortiersystem realisiert wird.
Durch die Erfindung kann eine verbesserte Trennung bei der automatisierten Sortierung beliebiger Schüttgüter bzw. Materialströme erzielt werden. Zudem können im Vergleich zum Stand der Technik kleinere Ausblasfenster angewandt werden. Die Erfindung kann für die Sortierung komplexer Schüttgüter, welche anhand vieler komplexer Merkmale klassifiziert werden, eingesetzt werden.
Optische Sortiersysteme wie bei der vorliegenden Erfindung können eingesetzt werden, wenn sich die Materialien bzw. die Objekte anhand optischer Merkmale, vorzugsweise im sichtbaren oder auch im nahen Infrarotbereich, unterscheiden und somit für eine Sortierung klassifizieren lassen. Die Erfindung kann für die Rohstoff-verarbeitende Industrie eingesetzt werden, bei der neben einer kostengünstigen Produktion immer auch eine konstant hohe Qualität sichergestellt werden muss. Hierzu zählt beispielsweise die Sortierung von Industriemineralien, beispielsweise zur Reduktion des Eisengehaltes in einem Rohstoff. Die Erfindung kann auch im Lebensmittel- oder Genussmittelbereich eingesetzt werden, wo Verunreinigungen in Produkten (beispielsweise: getrocknete Paprika, getrocknete Weintrauben ...) beseitigt werden müssen. Ein weiteres wichtiges Einsatzgebiet ist das Recycling von Produkten (beispielsweise Altglassortierung).
Die vorliegende Erfindung kann bei optischen Sortiersystemen einen wesentlichen Beitrag zur besseren Wirtschaftlichkeit leisten. Wie im nachfolgenden Ausführungsbeispiel noch detaillierter erläutert, kann erfindungsgemäß mit Hilfe der gewonnenen Sensordaten (Bilddaten) eine Materialbelegung (z.B. Belegungsdichte) sowie eine Verteilung der Objekte im Materialstrom durch eine Überwachungseinheit bestimmt werden. Dies kann durch erlernte Modelle sowie durch bestimmte Metriken erreicht werden. Anhand dieses Wissens können durch eine Steuerungskomponente einzelne
Glieder (Komponenten bzw. Prozessschritte) der Verarbeitungskette bei- spielsweise bzgl. der Genauigkeit eingestellt werden. Somit kann eine kürzere Berechnungszeit dieser Glieder erreicht werden. Beispielsweise kann bei einer hohen Belegungsdichte und/oder einer ungünstigen Verteilung in der Belegung (beispielsweise wenn Objektcluster vorliegen) die Genauigkeit mindes- tens eines Gliedes bzw. eines Prozessschrittes auf„gröber" bzw.„geringer" eingestellt werden, so dass die Echtzeitbedingungen in jedem Fall eingehalten werden können (auch wenn dadurch die Genauigkeit der Klassifikations- bzw. Sortierentscheidungen geringer wird bzw. auch wenn dadurch die Fehlerrate, d.h. die Wahrscheinlichkeit für eine falsche Sortierentscheidung bzw.
Klassifizierentscheidung für ein gerade betrachtetes Objekt, steigt). Erfindungsgemäß wird dadurch die Wahrscheinlichkeit zur Einhaltung aller Echtzeitbedingungen im Sortiersystem stark erhöht. Hieraus resultieren bessere Sortierentscheidungen, da durch besagte Erhöhung der Einhaltung für mehr Objekte im Materialstrom eine Klassifikation überhaupt vorgenommen wer- den kann. (Im Extremfall wird in jedem Fall, d.h. für jedes einzelne Objekt im
Materialstrom, eine Klassifikationsentscheidung und somit auch eine Sortierentscheidung gefällt.)
Erfindungsgemäß kann die Steuerungskomponente (Auswertungseinheit) die Auswertungsparameter, insbesondere die Genauigkeit, die Berechnungszeit und/oder die Wiederholhäufigkeit, anhand von mit bekannten Materialströmen (mit bekannter Objektbelegung, mit bekannten Objekttypen, Objektgrößen, Objektgewichten etc.) ermittelten Zusammenhängen einstellen. Diese Zusammenhänge können dabei Abhängigkeiten zwischen der Materialbele- gung bzw. den Belegungsparametern einerseits und den vorzunehmenden
Einstellungen der Auswertungsparameter andererseits widerspiegeln. Entsprechend der eingestellten Auswertungsparameter ergeben sich Sortiergüte und Sortierleistung. Figuren 1 bis 5 zeigen ein Ausführungsbeispiel für ein erfindungsgemäßes optisches Sortiersystem (sowie ein entsprechendes Sortierverfahren) wie folgt.
Dabei zeigt:
Figur 1 einen optischen Bandsortierer gemäß der Erfindung. Figur 2 den Verarbeitungsablauf im Sortiersystem gemäß Figur 1 aus Sicht der digitalen Daten (insbesondere: der Bilddaten) und des Materialstroms bzw. des Weges von dessen Objekten.
Figur 3 den Ablauf des Sortierprozesses gemäß der Figuren 1 und 2, insbesondere die Prozessschritte der Auswertung (Identifizieren und Klassifizieren) in der Auswerteeinheit des Systems.
Figur 4 ein Beispiel für einen gemäß der Figuren 1 bis 3 bestimmten Belegungsparameter (hier: Materialbelegungsdichte) sowie einen unter Verwendung desselben eingestellten Auswertungsparameter (hier: Genauigkeit GK), der das Identifizieren und Klassifizieren der Objekte, also die Auswertung, durch die Auswerteeinheit steuert.
Figur 5 ein Beispiel für den Prozessschritt der Klassifikation in der Auswertung gemäß Figur 3.
Figur 1 zeigt einen optischen Bandsortierer, der grundsätzlich dem Aufbau nach dem Stand der Technik folgt, wobei die erfindungsgemäßen Besonderheiten insbesondere in der Auswerteeinheit 2 bzw. der Auswertung der Bilddaten 4 durch dieselbe liegen. Im Bandsortierer wird ein Schüttgutstrom bzw. Materialstrom M mittels eines Förderbandes 11 auf eine dem Fachmann an sich bekannte Art und Weise an einer Bildaufnahmeeinheit 1 vorbei hin zu einer in einem definierten Abstand zur Bildaufnahmeeinheit 1 angeordneten Sortiereinheit 3 transportiert. Der Schüttgutstrom M umfasst eine Vielzahl einzelner Objekte 0, die hier in lediglich zwei Klassen zu klassifizieren bzw. zu sortieren sind, nämlich in Gut-Objekte (einzusortieren in den Auffangbehälter 13b der Sortiereinheit 3) und Schlecht-Objekte (einzusortieren in den weiteren Auffangbehälter 13a der Sortiereinheit 3). Hierzu müssen die Objekte 0 des Materialstroms M zunächst durch die Bildaufnahmeeinheit erfasst werden, anschließend durch Auswertung der durch diese Einheit 1 aufgenommenen Bilddaten 4 in der Auswerteeinheit 2 in Gut-Objekte und Schlecht-Objekte klassifiziert werden und schließlich sortiert werden. Das Einsortieren in bzw. Aufteilen auf die beiden Behältnisse 13a, 13b gemäß des Sortier- bzw.
Klassifizierergebnisses 13 erfolgt durch die Druckluftventile der Sortiereinheit 3, die anhand der Auswertungsergebnisse 10 der Auswerteeinheit 2 Schlecht- Objekte aus dem Materialstrom M durch Ausblasvorgänge entfernen.
Die ausgeblasenen Schlecht-Objekte fallen in das Behältnis 13a der Schlecht- Objekte, die Gut-Objekte verbleiben im Materialstrom M, werden also nicht ausgeblasen, und fallen in das Behältnis 13b für Gut-Objekte. Dies beschreibt den Idealzustand des Sortierergebnisses 13.
Die Bildaufnahmeeinheit 1 umfasst eine bildgebende Sensorik, hier eine CCD- Farb-Zeilenkamera la, die den Materialstrom M bzw. die Objekte 0 desselben im Abwurfbereich des Förderbandes 11 gegen einen Hintergrund 12 erfasst bzw. eine schnelle Abbildungsfolge des Materialstroms M gegen den Hintergrund 12 aufnimmt. Eine Beleuchtung lb der Einheit 1 beleuchtet dazu den Materialstrom M gegen den Hintergrund 12 der Einheit 1, um optimale Bildaufnahmeverhältnisse für die Kamera la sicherzustellen.
Die aufgenommenen Bilddaten bzw. Videodaten 4 werden über eine Datenleitungsverbindung zwischen Kamera la und Auswerteeinheit 2 an letztere übermittelt. Die Auswerteeinheit 2 führt dann die nachfolgend noch im Detail beschriebenen Prozessschritte des Identifizierens und Klassifizierens der Ob- jekte 0 des Materialstroms M in den Bilddaten 4 durch und übermittelt die
Auswerteergebnisse 10 der durchgeführten Prozessschritte 7a - 7g (vgl. Figur 3) über eine Datenverbindung an die Sortiereinheit 3. Letztere führt schließlich beabstandet vom Abwurfbereich des Förderbandes 11 bzw. von der Aufnahmeeinheit 1 das Ausschleusen von Schlecht-Objekten durch, wodurch sich die Trennung in Gut-Objekte (Behälter 13b) und Schlecht-Objekte (Behälter
13a) im Sortierergebnis 13 ergibt.
Figur 2 zeigt den Materialfluss (durchgezogene Pfeile) sowie den Datenfluss (gestrichelte Pfeile), insbesondere den Datenfluss bei der Bilddatenerfassung und -auswertung, im System gemäß Figur 1. Der Materialaufgabe auf das Förderband 11 folgt zunächst eine Vereinzelung und Beruhigung der Objekte O auf dem Förderband, bevor der in Figur 1 links im Bild gezeigte Transportzustand bzw. Zustand der Objekte O im Materialstrom M auf dem Förderband 11 vorliegt. Im Abwurfbereich erfolgt schließlich die Bilderfassung bzw. senso- rische Erfassung der Objekte O im Materialstrom M mittels der Bildaufnahmeeinheit 1 bzw. der Kamera la derselben. Die Bilddaten 4 werden an die Auswertung in der Auswerteeinheit 2 übermittelt, die zum Abschluss der Auswertung die Klassifikation vornimmt bzw. die Sortierentscheidung für die einzelnen Objekte 0 trifft. Während der Auswertung mit der Auswerteeinheit 2 (also der Durchführung aller notwendigen Prozessschritte 7, vgl. Figur 3, bzw. Berechnungsvorgänge) fällt der Materialstrom M stromabwärts des Ab- wurfbereichs des Förderbandes 11 gesehen entlang der Abwurfparabel. Die Zeitspanne des freien Fallens der Objekte 0 entlang der Abwurfparabel (bis zum Erreichen des Ausschleusungsbereiches der Einheit 3) ist durch den Abstand zwischen Förderbandende einerseits und Einwirkungsbereich der Druck- luftventile der Sortiereinheit 3 andererseits definiert und entspricht der Latenzzeit bzw. der Zeit, die für ein Treffen einer Sortierentscheidung für ein Objekt 0 zur Verfügung steht.
Erfindungsgemäß wird für jedes Objekt im Materialstrom M, vgl. dazu auch Figur 4, in dieser Latenzzeit eine Klassifikations- und Sortierentscheidung gefällt. Dies geschieht in der Auswerteeinheit 2. Die Sortierentscheidung (in Gut- Objekt oder Schlecht-Objekt) wird schließlich nach Abschluss der Latenzzeit für jedes Objekt durch die Sortiereinheit 3 umgesetzt (Separation). Figur 3 zeigt vereinfacht den Ablauf im Sortiersystem gemäß der Figuren 1 und 2: Nach der Materialaufgabe 30 auf das und dem Materialtransport 31 auf dem Förderband 11 erfolgt die Bilderfassung 32 mittels der Kamera la der Bildaufnahmeeinheit 1. Sodann beginnt die Auswertung 33 mittels der Auswerteeinheit 2, der sich die Separation 34 durch die Sortiereinheit 3 an- schließt.
Gemäß Figur 3 umfasst die Auswertung, also das Identifizieren und Klassifizieren der Objekte 0 durch die Auswerteeinheit 2, hier insgesamt sieben einzelne Prozessschritte 7. Eingangsdaten der Auswertung sind die Bilddaten 4. Auf Basis des bestimmten Belegungsparameters 5 (vgl. Figur 4: Materialbelegungsdichte) wird für jeden einzelnen Prozessschritt 7 genau ein diesen Prozessschritt in der Auswerteeinheit steuernder Auswerteparameter 6 eingestellt. Das dazu notwendige Auswerten der Belegungsdichte zum Berechnen der Auswertungsparameter 6a - 6g der einzelnen Prozessschritte 7a - 7g des Identifizierens und Klassifizierens durch die Auswerteeinheit 2 erfolgt im
Rechnersystem der Auswerteeinheit 2 (nicht gezeigt). Im gezeigten Beispiel der Figur 3 wird durch die Auswertungseinheit 2 für den ersten Prozessschritt 7a der Bilddatenvorverarbeitung der Bilddaten 4 als der diese Vorverarbeitung steuernde Auswertungsparameter eine Bilddatenvor- verarbeitungs-Genauigkeitsstufe GK 6a eingestellt. Die Genauigkeitsstufe kann dabei z.B. auf„gering",„mittel" oder„hoch" lauten (vgl. auch Figur 4).
In dem zeitlich dem Schritt 7a nachfolgenden Prozessschritt 7b der Bildbereinigung wird als Auswertungsparameter 6b durch die Auswerteeinheit 2 eine feste Berechnungszeit BZ eingestellt. Die Steuerung des Schritts 7b der Auswertung erfolgt somit anhand einer BZ. Der nachfolgende dritte Prozessschritt 7c der Segmentierung wird wiederum mit einer mittels der Einheit 2 eingestellten Genauigkeitsstufe GK als Auswertungsparameter 6c durchgeführt bzw. gesteuert. Für die Zusammenhangsanalyse 7d wird ebenfalls als Auswer- tungsparameter 6d einer der drei Genauigkeitsstufenwerte„gering",„mittel" oder„hoch" zugeordnet bzw. eingestellt.
Der zeitlich gesehen fünfte Prozessschritt der Merkmalsberechnung 7e wird auf Basis einer eingestellten Wiederholhäufigkeit WH als Auswertungspara- meter 6e durchgeführt bzw. gesteuert. Die Merkmalsberechnung umfasst hier eine rekursiv durchzuführende Berechnungsfolge, wobei die Wiederholhäufigkeit WH 6e z.B. einen Wert zwischen 3 und 7 annehmen kann (d.h. die Rekursionstiefe der Berechnungen kann zwischen 3 und 7 gewählt werden, wobei 3 einen geringen Rechenaufwand erfordert und somit ein schnelles Durch- führen des Schrittes 7e ermöglicht und wobei ein Wert von 7 einen hohen
Berechnungsaufwand erfordert, so dass das Durchführen des Schrittes 7e lange dauert, aber mit hoher Genauigkeit erfolgen kann - letzteres ist somit nur bei geringer Belegungsdichte 5 sinnvoll bzw. möglich, wenn für alle Objekte 0 Sortierentscheidungen zu fällen sind).
Als sechster Schritt 7f erfolgt schließlich die Klassifikation, wobei für diesen Prozessschritt 7f als Auswertungsparameter 6f wiederum eine Genauigkeit GK eingestellt wird. Auch die abschließende Sortierentscheidung 7g erfolgt auf Basis des Einstellens eines Genauigkeitswertes GK 6g.
Das Ergebnis der insgesamt sieben Prozessschritte 7a - 7g mit den dazu je- weils eingestellten Auswertungsparametern 6a - 6g ist für jedes einzelne Objekt 0 des Materialstroms M das Sortierergebnis 13 aus Figur 1.
Figur 4 zeigt, wie im System der Figuren 1 bis 3 Auswertungsparameter 6 auf Basis zuvor in den Bilddaten 4 bestimmter Belegungsparameter 5 eingestellt werden können. Dies wird anhand eines einzelnen Belegungsparameters 5, hier der Materialbelegungsdichte, gezeigt, der mit der Auswerteeinheit 2 aus den mit der Bildaufnahmeeinheit 1 bzw. der Kamera la derselben aufgenommenen Bilddaten (gezeigt sind hier Einzelbilder 4) bestimmt wird.
Aus dem hier genau einen Belegungsparameter Materialbelegungsdichte 5, der den Materialstrom M hinsichtlich der Anzahl von Objekten 0 pro Flächeneinheit kennzeichnet, wird mittels der Auswerteeinheit 2 genau ein Auswertungsparameter 6, hier eine Genauigkeit (z.B. - hier vereinfacht - genau eine alle einzelnen Prozessschritte 7 steuernde Berechnungsgenauigkeit, die einen der Werte„hoch",„mittel" oder„gering" annimmt), bestimmt und eingestellt. Diese Genauigkeit 6 ist ein Auswertungsparameter der Auswerteeinheit 2, der bei der Auswerteeinheit 2 eingestellt wird, um das Identifizieren und Klassifizieren der Objekte 0 durch die Auswerteeinheit 2 zu steuern. Wie Figur 4 zeigt, wird im Falle einer geringen Materialbelegungsdichte 5 für das Identifizieren und Klassifizieren bzw. für alle einzelnen Prozessschritte desselben eine hohe Genauigkeit 6 als Auswertungsparameter eingestellt, so dass die Auswerteeinheit 2 sämtliche Identifizierungs- und Klassifizierungs-Prozessschritte 7 mit der Genauigkeit„hoch" durchführt, ohne dass es zu einer Verletzung der Echtzeitbedingungen bei der Auswertung kommt (vgl. Figur 4, mittlere Bildzeile).
Erhöht sich die Materialbelegungsdichte 5 im Materialstrom M auf„hoch", so dass bei Beibehaltung der hohen Genauigkeit der Auswertungs- Prozessschritte die Echtzeitbedingungen nicht mehr eingehalten werden würden, so wird durch die Auswerteeinheit 2 für sämtliche Prozessschritte 7 die Genauigkeit 6 auf„gering" eingestellt. Das Identifizieren und Klassifizieren wird ab diesem Zeitpunkt mit geringer Genauigkeit durchgeführt bzw. so gesteuert, dass die Echtzeitbedingungen wieder eingehalten werden können (vgl. Figur 4, untere Bildzeile). Figur 4 zeigt darüber hinaus, dass auf Basis der Materialbelegungsdichte 5 auch Auswertungsparameter 8 der Bildaufnahmeeinheit 1 eingestellt werden können. So kann beispielsweise als hier einziger Auswertungsparameter 8 der Bildaufnahmeeinheit 1 deren Bildauflösung eingestellt werden. Bei geringer Materialbelegungsdichte 5 kann die Kamera la die Bilddaten 4 mit hoher
Bildauflösung 8 aufnehmen, wohingegen bei einer deutlichen Erhöhung der Materialbelegungsdichte 5, wie in der unteren Zeile von Figur 4 gezeigt, die Bildauflösung 8 bei der Aufnahme der Bilddaten 4 deutlich herabgesetzt werden kann. Der so einstellbare Auswertungsparameter 8 der Bildaufnahmeein- heit 1 (Bildauflösung) kann dann indirekt auch die Bestimmung des/der Bele- gungsparameter(s) 5 und somit auch das Einstellen des/der Auswertungspa- rameter(s) 6 der Auswerteeinheit 2 beeinflussen.
Figur 5 zeigt schließlich ein Beispiel für eine mögliche Implementierung eines der Prozessschritte bzw. Teilaufgaben aus Figur 3, nämlich der Klassifikation
7f. Das Beispiel zeigt eine Implementierung eines unterbrechbaren
Klassifikators zum Treffen einer bestmöglichen Klassifikationsentscheidung (bzw. der dieser folgenden Sortierentscheidung). Als Grundlage für den Klassifikator wird ein Entscheidungsbaum verwendet. In jedem inneren Kno- ten des Entscheidungsbaums wird ein Merkmal eines gefundenen Objektes gegen einen Schwellwert verglichen und entsprechend des Vergleichsergebnisses wird der Pfad nach rechts oder nach links verfolgt, wie in Figur 5 gezeigt. In den Blättern des Entscheidungsbaums werden die resultierenden Klassen gespeichert. Gemäß der Figuren 1 bis 4 gibt es hier lediglich zwei Klas- sen, nämlich die Klasse der Gut-Objekte und die Klasse der Schlecht-Objekte.
Erfindungsgemäß können verschiedene dem Fachmann an sich bekannte Verfahren zum automatischen Lernen eines entsprechenden Entscheidungsbaums auf Basis einer gegebenen Trainingsmenge eingesetzt werden. Siehe hierzu beispielsweise„Machine Learning" von T. M. Mitchell, McGraw-Hill,
Boston, USA, 1997.
Erfindungsgemäß können diese Verfahren dahingehend erweitert werden, dass nicht nur in den Blättern des Entscheidungsbaums eine Klassenzugehö- rigkeit gespeichert wird, sondern dass auch in jedem inneren Entscheidungsbaumknoten eine Wahrscheinlichkeit für die verschiedenen Klassenzugehö- rigkeiten (auf Basis der Trainingsmenge) hinterlegt wird. Unterscheidet man beispielsweise zwei Klassen, nämlich eine Klasse A für Gut-Objekte und Klasse B für Schlecht-Objekte, wobei für beide Klassen jeweils gleich viele Beispiele in der Trainingsmenge vorhanden sind, dann liegen die Wahrscheinlichkeiten für die Klassenzugehörigkeit für A und B im obersten Knoten f8 bei jeweils 50%.
Hier beschreibt f den Merkmalsvektor und das achte enthaltene Merkmale wird entsprechend durch f8 beschrieben. Hierbei gilt zu beachten, dass ein einzelnes Merkmal in mehreren Knoten des Entscheidungsbaums als Prüfkriterium herangezogen werden kann.
Ein zu klassifizierendes Objekt 0 fällt nach dem Vergleich mit f8 im ersten, obersten Knoten in den linken oder in den rechten Teilbaum. Im nächsten Knoten, beispielsweise rechts, wird nun mit f4 verglichen. Die Wahrscheinlichkeiten können dabei neu verteilt sein. Zum Beispiel ist es denkbar, dass im letztgenannten Knoten die Wahrscheinlichkeiten für A mit 30% und für B mit
70% hinterlegt sind. Wird dann der Prozessschritt der Klassifikation an dieser Stelle (bzw. wenn die Berechnungen bis zu dieser Stelle gelangt sind) unterbrochen, so kann mit Sicherheit die Aussage getroffen werden, dass nach derzeitigem Kenntnisstand eine Zugehörigkeit zur Klasse B wahrscheinlicher ist als zur Klasse A.
Der Prozessschritt der Zusammenhangsanalyse 7d (vgl. Figur 3) kann erfindungsgemäß beispielsweise durch eine„Connected-Component-Analyse" realisiert werden. Siehe dazu z.B. M. B. Dillencourt et al.„A General Approach to Connected-Component-Labeling for arbitrary Image Representations", Journal of the ACM 39(2), 1992.
Hierbei können mehrere Unterbrechungspunkte gewährt werden, indem das Bild z.B. mit einem verschobenen Raster unterabgetastet wird. Beispielsweise kann in einem ersten Durchlauf nur jedes vierte Pixel betrachtet werden: Für alle nicht betrachteten Pixel kann dann der gleiche Wert wie für das zuletzt betrachtete Pixel angenommen werden. Steht genug Berechnungszeit zur Verfügung, so kann das Raster verschoben werden: Auf diese Weise wird die Information über das Bild mit jedem Durchlauf bzw. jeder Wiederholung ver- feinert. Es handelt sich dabei um ein iteratives Verfahren, das nach jedem
Durchlauf eine gültige Information liefern kann, diese Information jedoch suk- zessive verbessert.
Unterbrechbare Teilprozesse bzw. Prozessschritte können beispielsweise auch wie folgt realisiert werden. Es wird die Fläche eines Objektes in Pixel bestimmt. Hierzu werden in einem Algorithmus einfach die Pixel gezählt. Ein solcher Vorgang kann jederzeit unterbrochen werden und die bisher gezählten Pixel können als Fläche angenommen werden. Alternativ kann die Fläche aus anderen Daten, sofern bereits vorhanden, geschätzt werden. Beispielsweise wenn eine achsenausgerichtete„Bounding Box" bekannt ist, kann die Fläche dieser Box anstelle der echten Fläche als Schätzwert verwendet werden (dies kann Vorteile durch weniger Speicherzugriffe bieten).
Generell können im Rahmen der Erfindung iterative Verfahren bzw. iterativ durchgeführte Prozessschritte bei jedem Schleifendurchlauf unterbrochen werden. Bei einer Unterbrechung während eines Schleifendurchlaufs kann das Ergebnis des zuletzt vollständig durchgeführten Schleifendurchlaufs verwendet werden.

Claims

FRAUNHOFER-GESELLSCHAFT...e.V. 179PCT 0617 Patentansprüche
1. Sortiervorrichtung, mit der Objekte (0) eines Materialstroms (M) sortiert werden, umfassend eine Bildaufnahmeeinheit (1), mit der der Materialstrom (M) optisch erfasst wird und mit der Bilddaten (4) desselben (M) erzeugt werden, eine Auswerteeinheit (2), mit der Objekte (0) im Materialstrom (M) identifiziert und klassifiziert werden, und eine Sortiereinheit (3), mit der klassifizierte Objekte (0) des Materialstroms (M) sortiert werden, dadurch gekennzeichnet, dass mit der Auswerteeinheit (2) aus den erzeugten Bilddaten (4) ein oder mehrere Belegungsparameter (5), der/die den Materialstrom (M) hinsichtlich seiner Belegung mit den Objekten (0) kennzeichnet/kennzeichnen, bestimmt wird/werden und dass auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere das Identifizieren und Klassifizieren der Objekte (0) durch die Auswerteeinheit (2) steuernde(r) Auswertungsparameter (6, 8) eingestellt wird/werden.
2. Sortiervorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der/die Auswertungsparameter (6, 8) so eingestellt wird/werden, dass für jedes Objekt (0) im Materialstrom (M) mit einer Wahrscheinlichkeit von > 90%, bevorzugt von > 95%, bevorzugt von > 99%, besonders bevorzugt von 100%, durch die Auswerteeinheit (2) sowohl ein Identifizieren als auch ein Klassifizieren erfolgt.
3. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Auswertungsparameter (6) eine oder mehrere Genauigkeit(en) GK, mit der/denen durch die Auswerteeinheit (2) (ein) Prozessschritt(e) des Identifizierens und Klassifizierens durchgeführt wird/werden, eingestellt wird/werden.
4. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Auswertungsparameter (6) eine oder mehrere Berechnungszeit(en) BZ, mit der/denen durch die Auswerteeinheit (2) (ein) Prozessschritt(e) des Identifizierens und Klassifizierens durchgeführt wird/werden, eingestellt wird/werden.
5. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Auswertungsparameter (6) eine oder mehrere Wiederholhäufig- keit(en) WH, mit der/denen (eine) iterative, rekursive oder inkremen- telle Berechnungsfolge(n) von (einem) durch die Auswerteeinheit (2) durchzuführenden Prozessschritt(en) des Identifizierens und Klassifizierens zu wiederholen ist/sind, eingestellt wird/werden.
6. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Identifizieren und Klassifizieren der Objekte (0) im Materialstrom (M) durch die Auswerteeinheit (2) in mehreren zeitlich aufeinanderfolgend oder zeitlich parallel durchzuführenden Prozessschritten (7a, 7b, ...) durchgeführt wird, wobei für jeden der Prozessschritte (7a, 7b, ...) jeweils ein oder mehrere Auswertungsparameter (6a, 6b, ...) eingestellt wird/werden.
7. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bestimmen des/der Belegungsparameter(s) (5) und/oder das Einstellen des/der Auswertungsparameter(s) (6, 8) in Echtzeit durchgeführt wird.
8. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere Auswertungsparameter (6) der Auswerteeinheit (2) eingestellt wird/werden, also (ein) Auswertungsparameter, mit dem/denen ein oder mehrere mit der Auswerteeinheit (2) durchzuführende(r) Pro- zessschritt(e) (7a, 7b, ...) des Identifizierens und Klassifizierens durch die Auswerteeinheit (2) gesteuert wird/werden, und/oder dass auf Basis des/der bestimmten Belegungsparameter(s) (5) ein oder mehrere Auswertungsparameter (8) der Bildaufnahmeeinheit (1) eingestellt wird/werden, also (ein) Auswertungsparameter, mit dem/denen ein oder mehrere Ablauf/Abläufe in der Bildaufnahmeeinheit (1) gesteuert wird/werden, der/die das Durchführen eines oder mehrerer der Prozessschritte(s) (7a, 7b, ...) des Identifizierens und Klassifizierens durch die Auswerteeinheit (2) beeinflusst/beeinflussen.
9. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich (ein) das Sortieren von klassifizierten Objekten (0) durch die Sortiereinheit (3) steuernde(r) Sortierparameter auf Basis eines/mehrerer bestimmten/r Belegungsparameter(s) eingestellt wird /werden.
10. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Belegungsparameter (5) eine Belegungsdichte und/oder eine Belegungsverteilung der Objekte (0) im Materialstrom (M) bestimmt wird /werden.
11. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Identifizieren und Klassifizieren der Objekte (0) durch die Auswerteeinheit (2) als Prozessschritt(e) einen, mehrere oder alle der folgenden Schritte enthält:
• einen Schritt des Segmentierens,
• einen Schritt der Zusammenhangsanalyse, und/oder
• einen Schritt der Klassifikation mittels eines oder mehrerer trai- ningsmengenbasierten/r Entscheidungsbaumes/-bäume.
12. Sortiervorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass bei der Klassifikation in jedem Knoten des/der Entscheidungsbaumes/- bäume (eine) Wahrscheinlichkeit(en) auf Basis einer/von Trainings- menge(n) hinterlegt wird/werden.
13. Sortiervorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine oder mehrere bevorzugt Computer- oder mikrocontrollergestützte Recheneinheit(en), mittels derer das Erfassen, das Erzeugen, das Identifizieren, das Klassifizieren, das Sortieren, das Bestimmen, das Steuern und/oder das Einstellen durchgeführt wird/werden. Optisches Sortierverfahren zum Sortieren von Objekten (0) eines Materialstroms (M), dadurch gekennzeichnet, dass eine Sortiervorrichtung nach einem der vorhergehenden Ansprüche zum Durchführen des Verfahrens eingesetzt wird.
EP17729466.7A 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren Active EP3468727B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016210482.9A DE102016210482A1 (de) 2016-06-14 2016-06-14 Optisches Sortiersystem sowie entsprechendes Sortierverfahren
PCT/EP2017/064329 WO2017216124A1 (de) 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren

Publications (2)

Publication Number Publication Date
EP3468727A1 true EP3468727A1 (de) 2019-04-17
EP3468727B1 EP3468727B1 (de) 2020-10-14

Family

ID=59054125

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17729466.7A Active EP3468727B1 (de) 2016-06-14 2017-06-13 Sortiervorrichtung sowie entsprechendes sortierverfahren

Country Status (3)

Country Link
EP (1) EP3468727B1 (de)
DE (1) DE102016210482A1 (de)
WO (1) WO2017216124A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109533511A (zh) * 2018-12-25 2019-03-29 哈尔滨联科包装机械有限公司 双向拣选机及拣选方法
CN110989904B (zh) * 2019-12-13 2021-05-28 威海新北洋正棋机器人股份有限公司 交叉带分拣设备的配置方法、装置及交叉带分拣系统
DE102020110976B4 (de) 2020-04-22 2023-12-21 Separation AG Optische Sortieranlage für die Sortierung von Granulatpartikeln
CN113592824A (zh) * 2021-08-02 2021-11-02 合肥名德光电科技股份有限公司 基于深度学习的色选机分选方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5085325A (en) * 1988-03-08 1992-02-04 Simco/Ramic Corporation Color sorting system and method
GB2219079B (en) * 1988-05-06 1992-09-09 Gersan Ets A method of identifying individual objects or zones
GB2273154B (en) * 1992-12-02 1996-12-11 Buehler Ag Method for cleaning and sorting bulk material
US5526437A (en) * 1994-03-15 1996-06-11 Key Technology, Inc. Integrated food sorting and analysis apparatus
US6545240B2 (en) * 1996-02-16 2003-04-08 Huron Valley Steel Corporation Metal scrap sorting system
US6266390B1 (en) * 1998-09-21 2001-07-24 Spectramet, Llc High speed materials sorting using x-ray fluorescence
DE102009007481A1 (de) 2009-01-30 2010-09-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fördersystem zum Transport von Materialien, insbesondere von Schüttgut
DE102010046438A1 (de) 2010-09-24 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur optischen Charakterisierung von Materialien
DE102011103253B4 (de) 2011-05-31 2012-12-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anordnung zur optischen Bestimmung einer Probe und entsprechendes Verfahren
DE102012001868B4 (de) 2012-01-24 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Einrichtung einer dem optischen Identifizieren von Objekten dienender Anlage, Laborbildaufnahmesystem zum Durchführen eines solchen Verfahrens und Anordnung umfassend das Laborbildaufnahmesystem sowie die Anlage
DE102014207157A1 (de) * 2014-02-28 2015-09-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fördersystem, Anlage zur Schüttgutsortierung mit einem solchen Fördersystem und Transportverfahren

Also Published As

Publication number Publication date
EP3468727B1 (de) 2020-10-14
WO2017216124A1 (de) 2017-12-21
DE102016210482A1 (de) 2017-12-14

Similar Documents

Publication Publication Date Title
EP3468727B1 (de) Sortiervorrichtung sowie entsprechendes sortierverfahren
DE69329380T2 (de) Verfahren zum Segmentieren von Bildern und Klassifizieren von Bildelementen zur Dokumentverarbeitung
DE60224852T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE102018128531A1 (de) System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen
DE102018133188A1 (de) Abstandbestimmung einer probenebene in einem mikroskopsystem
EP1797533B1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE102004063769A1 (de) Verfahren und Einrichtung zur automatischen und quantitativen Erfassung des Anteils von Saatgütern oder Körnerfrüchten bestimmter Qualität
DE102018208126A1 (de) Verfahren zum Hantieren eines Werkstücks mit Hilfe eines Entnahmewerkzeugs und Maschine zur Durchführung des Verfahrens
EP2849151A1 (de) Verfahren zur Analyse von freien Warteschlangen
DE102020215227B4 (de) Vorrichtung und Verfahren zum Erstellen einer Referenzaufnahme des unbeladenen Zustands eines Werkstückträgers
DE102017006566B3 (de) Vorrichtung und Verfahren zur optischen Überwachung von Oberflächen eines Körpers
DD152870A1 (de) Verfahren und vorrichtung zum klassieren in bewegung befindlichen stueckgutes
DE102018127844A1 (de) Verfahren zur Regelung des Betriebs einer Maschine zum Ernten von Hackfrüchten
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
WO2008034599A2 (de) Verfahren und vorrichtung zur bildverarbeitung
DE102019215255A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Daten eines neuronalen Netzes
WO2023110301A1 (de) Verfahren zum durchführen eines einstellbetriebs einer behältnisinspektionsvorrichtung und behältnisinspektionsvorrichtung
EP3923193B1 (de) Messung der empfindlichkeit von bildklassifikatoren gegen veränderungen des eingabebildes
EP2808843B1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
DE19720121C2 (de) Verfahren zur quantitativen Bestimmung der Anteile verschiedenartiger Stoffe in Schüttgütern
EP2642749B1 (de) Vorrichtung und Verfahren zur Optimierung der Bestimmung von Aufnahmebereichen
DE102021133164B3 (de) Verfahren zum Durchführen eines Einstellbetriebs einer Behältnisinspektionsvorrichtung und Behältnisinspektionsvorrichtung
AT526401A1 (de) Verfahren zum Sortieren von Sortiergut
EP4405908A1 (de) Verfahren zum bestimmen, ob ein vorgegebenes transportgut in einem überwachungsbereich angeordnet ist
DE202022001616U1 (de) System zur Korrektur der Ergebnisse von Paketvereinzelung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20181113

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: MAIER, GEORG

Inventor name: BROMBERGER, MICHAEL

Inventor name: LAENGLE, THOMAS

Inventor name: BECKER, THOMAS

Inventor name: KICHERER, MARIO

Inventor name: KARL, WOLFGANG

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20191213

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200515

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1323068

Country of ref document: AT

Kind code of ref document: T

Effective date: 20201015

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502017007759

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210115

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210114

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210215

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210214

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210114

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502017007759

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

26N No opposition filed

Effective date: 20210715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210214

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20170613

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20230702

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240617

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20240617

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240621

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20240618

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201014

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240628

Year of fee payment: 8