DE102007004231A1

DE102007004231A1 - Optical inspection method for object e.g. label, involves verifying whether characteristics vectors that are provided for object region records, lie within target areas defined by ellipsoids, for pixels on objects that are to be inspected

Info

Publication number: DE102007004231A1
Application number: DE102007004231A
Authority: DE
Inventors: Reinhold Huber-Mörk; Dorothea Heiss; Daniel Soukup; Konrad Mayer; Harald Penz
Original assignee: Austrian Research Centers GmbH ARC
Current assignee: AIT Austrian Institute of Technology GmbH
Priority date: 2006-02-01
Filing date: 2007-01-27
Publication date: 2007-08-02
Also published as: AT504627B1; AT504627A3; AT504627A2

Abstract

The method involves determining values of characteristics for pixels on different sample objects for a preset number of sample objects. Characteristics vectors are provided for records of object regions, and a target area is defined in a form of ellipsoids in a space. The ellipsoids are assigned to the pixels, and a maximum permissible mahalanobis distance is determined and saved for the ellipsoids limiting the target area. Verification is made to find whether the vectors lie within the target areas defined by the ellipsoids, for the pixels on the objects that are to be inspected. An independent claim is also included for a software product with program code units, which are stored on a computer readable data medium, for executing a method of optical inspection of an object when the program product is executed on a computer.

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruches 1.The The invention relates to a method according to the preamble of the claim 1.

Bei einer Vielzahl von Gegenständen, die mittels einem bildgebenden Verfahren abgebildet werden, stellt sich das Problem, die Oberfläche des Gegenstandes bildpunktweise bzw. im Hinblick auf eine Vielzahl von einzelnen Bildpunkten überprüfen zu müssen. Eine Überprüfung der aufgenommenen Bilder erfordert einen ausgesprochen umfangreichen Rechenaufwand, insbesondere wenn eine Mehrzahl von Merkmalen jedes aufgenommenen Bildpunktes überprüft werden muss bzw. die Anzahl der zu überprüfenden Gegenstände pro Zeiteinheit groß ist. Des weiteren soll ein derartiges Prüfverfahren eine möglichst sichere Aussage über jeden geprüften Bildpunkt liefern. Eine solche Aussage wird entweder für eine weitere Beurteilung des aufgenommenen Gegenstandes herangezogen oder für sich selbst als Bewertung des Gegenstandes angesehen.at a variety of items, which are imaged by means of an imaging process provides the problem, the surface of the object pixel by pixel or in terms of a variety to check from individual pixels. A review of taken pictures requires a very extensive computational effort, especially if a plurality of features each recorded Pixels are checked must or the number of items to be checked per Time unit is large. Furthermore, such a test method should be as possible sure statement about every tested Deliver pixel. Such a statement will either be for another Assessment of the recorded object used or for themselves considered as an evaluation of the object.

Erfindungsgemäß werden diese Aufgaben mit den im Kennzeichen des Patentanspruches 1 angeführten Merkmalen gelöst.According to the invention These objects with the features mentioned in the characterizing part of claim 1 solved.

Mit dieser Vorgangsweise wird ein mit einfacher Hardware rasch erhaltenes zuverlässiges Prüfungsergebnis erstellt, das eine Auswertung oder Beurteilung einem Mehrzahl von Merkmalen der einzelnen Bildpunkte zulässt und die Möglichkeit bietet, eine Vielzahl von Gegenständen innerhalb kürzester Zeit zu bewerten. Das Prüfergebnis stützt sich dabei auf die für die Bildpunkte des zu prüfenden Objektes ermittelten Merkmalsvektoren und den Vergleich dieser Merkmalsvektoren mit einem Sollbereich. Die Erstellung des Sollbereiches kann vor Durchführung der Prüfung mit entsprechend hoher Genauigkeit vorgenommen werden; die Überprüfung der Bildpunkte des zu prüfenden Gegenstandes kann sehr rasch vorgenommen werden, da der rechnerische Teil der Überprüfung, ob ein Merkmalsvektor eines Bildpunktes des Gegenstandes in den Sollbereich fällt, mit einfacher Hardware rasch durchgeführt werden kann.With this procedure will be a quick one with simple hardware reliable test results created, which is an evaluation or assessment a plurality of Features of each pixel allows and the possibility offers a variety of items in no time to rate. The test result supports focus on the for the pixels of the to be tested Object determined feature vectors and the comparison of these feature vectors with a target range. The creation of the target range can be before Carrying out the exam be made with a correspondingly high accuracy; the review of Pixels of the to be tested Subject can be made very quickly because the computational Part of the review, whether a feature vector of a pixel of the object in the desired range falls can be done quickly with simple hardware.

Bei der erfindungsgemäßen Vorgangsweise wird ein Sollbereich erstellt. Dieser Sollbereich wird durch ein einen Körper, d.h. eine Ellipse, eine Ellipsoid oder eine Hyperellipsoid bestimmt. Ein Ellipsoid ist durch einen Mittelwertvektor und eine Kovarianzmatrix beschrieben: Der Mittelwertvektor gibt die Lage des Mittelpunktes im Merkmalsraum an; die Kovarianzmatrix beschreibt die Orientierung und Ausdehnung.at the procedure of the invention is created a target range. This target range is determined by a Body, i.e. an ellipse, an ellipsoid or a hyperellipsoid. An ellipsoid is defined by a mean vector and a covariance matrix described: The mean vector gives the position of the center in the feature space; the covariance matrix describes the orientation and expansion.

Üblicherweise werden den einzelnen Bildpunkten drei Parameterwerte, z.B. zu mischende Farbwerte, wie z.B. Rot, Grün und Blau, zugeordnet. In diesem Fall wird der Sollbereich durch das von einem Ellipsoid eingeschlossene Volumen bestimmt. Im einfachsten Fall liegt dieses Ellipsoid vollständig im gültigen Wertebereich der Merkmale und der Sollbereich entspricht dem Ellipsoid. Das Ellipsoid kann jedoch auch aus dem Wertebereich der Merkmale hinausragen, z.B. in den Bereich negativer Rot-, Grün- oder Blauwerte. In diesen Fällen ist der Sollbereich beschrieben durch ein Ellipsoid welches mit der/den entsprechenden Grundebenen geschnitten wird.Usually the individual pixels are given three parameter values, e.g. color values to be mixed, such as. Red Green and blue, associated. In this case, the target range is through determines the volume enclosed by an ellipsoid. In the simplest Case, this ellipsoid is completely within the valid value range of the features and the target area corresponds to the ellipsoid. The ellipsoid, however, can also protrude from the range of values of the features, e.g. in the Range of negative red, green or Blue values. In these cases is the target range described by an ellipsoid which with the corresponding ground level is cut.

Zu Beginn der erfindungsgemäßen Vorgangsweise wird eine vorgegebene Anzahl von Muster- bzw. Sollwertgegenständen mit einer Bildverarbeitungseinheit aufgenommen bzw. werden digitale Bilder der Mustergegenstände erstellt. Für eine vorgegebene Anzahl von Bildpunkten aller von den Muster- bzw. Sollwertgegenständen aufgenommenen Bilder wird jeweils ein Merkmalsvektor erstellt. Dazu wird derart vorgegangen, dass auf einer vorgegebenen Anzahl von Mustergegenständen ein und derselbe Bildpunkt bzw. ein Bildpunkt mit gleicher Adresse bzw. gleichen Koordinaten auf allen Mustergegenständen ausgewählt wird. Für diesen festgelegten Bildpunkt werden für jeden Mustergegenstand die Merkmale ermittelt und zu einem Merkmalsvektor zusammengestellt. Dies bedeutet, dass eine Vielzahl von Merkmalsvektoren erstellt wird, die der Anzahl der aufgenommenen Mustergegenstände entspricht. Da die Merkmalsvektoren ein und desselben Bildpunktes auf den einzelnen Mustergegenständen voneinander mehr oder weniger abweichen bzw. unterschiedliche Ausprägungen besitzen, ergibt sich eine Punktwolke bzw. eine Menge an Merkmalsvektoren mit mehr oder weniger großen Merkmalsunterschieden im Merkmalsraum, dessen Dimension durch die Anzahl der Merkmale definiert ist. Dieser Bildpunkt, der auf den Mustergegenständen festgelegt wird, entspricht einem Bildpunkt auf dem zu prüfenden Gegenstand bzw. der Bildpunkt am Gegenstand besitzt ein Pendant mit gleicher Adresse bzw. gleichen Koordinaten auf dem Mustergegenstand.To Beginning of the procedure according to the invention comes with a predetermined number of sample or Sollgegengegenständen with an image processing unit or are digital images the pattern objects created. For a predetermined number of pixels of all of the pattern or Shall valuables recorded images, a feature vector is created in each case. This will be so proceeded that on a predetermined number of sample objects a and the same pixel or a pixel with the same address or same coordinates on all sample items is selected. For this specified pixel be for each pattern object determines the features and a feature vector compiled. This means that a multiplicity of feature vectors is created, which corresponds to the number of recorded pattern objects. There the feature vectors of one and the same pixel on the individual Sample objects differ more or less from each other or have different characteristics, results in a point cloud or a set of feature vectors with more or less large Characteristic differences in the feature space whose dimension is determined by the number the characteristics is defined. This pixel set on the pattern objects , corresponds to a pixel on the object to be tested or the Pixel on the object has a pendant with the same address or the same coordinates on the sample object.

Für jeden Bildpunkt des zu prüfenden Gegenstandes wird im dreidimensionalen Raum ein Ellipsoid im Merkmalsraum festgelegt. Im zweidimensionalen Raum ergibt sich eine Ellipse; im höher dimensionierten Raum ein Hyperellipsoid. Dabei kann für jeden Bildpunkt ein eigenes Ellipsoid, beschrieben durch den Parametersatz aus Mittelwertvektor und Kovarianzmatrix, oder für eine Anzahl von Bildpunkten durch ein repräsentatives Ellipsoid oder aber auch durch eine Teilmenge des Parametersatzes festgelegt werden. Zwei Teilmengen des Parametersatzes können demnach die mit dem Mittelwertvektor verbunden Parameter und die in der Kovarianzmatrix enthaltenen Parameter sein; in diesem Fall wird jeder Bildpunkt durch einen eigenen Mittelwertvektor charakterisiert und mehrere Bildpunkte teilen sich die Parameter ein und derselben Kovarianzmatrix.For each Pixel of the to be tested The object becomes an ellipsoid in three-dimensional space in the feature space established. In two-dimensional space, an ellipse results; im higher dimensioned space a hyperellipsoid. It can be for everyone Pixel a separate ellipsoid, described by the parameter set of mean vector and covariance matrix, or for a number of pixels through a representative Ellipsoid or even by a subset of the parameter set become. Two subsets of the parameter set can therefore be connected to the mean vector Parameter and the parameters contained in the covariance matrix; In this case, each pixel is replaced by its own mean vector characterized and several pixels share the parameters one and the same covariance matrix.

In 1 ist eine Anzahl von sogenannten "Trainingspixel" eingezeichnet, d.h. eine Anzahl von zu einem Bildpunkt des Gegenstandes gehörenden Merkmalsvektoren, die von den zugeordneten Bildpunkten auf den einzelnen Mustergegenständen ermittelt wurden. Diese Trainingspunkte stammen somit von einer Anzahl von Muster- bzw. Sollwertgegenständen und besitzen in der Regel unterschiedliche Merkmalswerte. Die dargestellte Punktwolke gibt somit die zulässige Variation der Merkmalswerte für einen Bildpunkt wieder. Im vorliegenden Fall wurde ein und derselbe Bildpunkt von 95 Muster- bzw. Sollwertgegenständen aufgenommen.In 1 a number of so-called "training pixels" are drawn, ie a number of feature vectors belonging to a pixel of the object, which were determined from the assigned pixels on the individual sample objects. These training points thus come from a number of sample or target values and usually have different feature values. The illustrated point cloud thus represents the permissible variation of the feature values for a pixel. In the present case, one and the same pixel was taken up by 95 sample or nominal value objects.

Das dargestellte Diagramm ist zur Erläuterung auf zwei Dimensionen reduziert und betrifft als Merkmale nur die Farbwerte Grün (G) und Rot (R). Der Sollbereich wird in der Abbildung durch die Schwellwerte Gh und Gl für den Grünwert und Rl und Rh für den Rotwert beschrieben. Die Punkte bzw. Merkmalsvektoren der Merkmalswolke, die maximale und minimale Werte in R bzw. G annehmen definieren die Schwellwerte Rl und Rh bzw. Gl und Gh. Der durch Paare von Geraden, bzw. Paaren von Ebenen, begrenzte zweidimensionale Körper, d.h. Fläche, stellt den Sollbereich dar.The Illustrated diagram is for explanation on two dimensions reduces and affects only the color values green (G) and Red (R). The target range is shown in the figure by the threshold values Gh and Gl for the green value and Rl and Rh for described the red value. The points or feature vectors of the feature cloud, define the maximum and minimum values in R and G. the thresholds Rl and Rh or Gl and Gh. Der by pairs of straight lines, or pairs of planes, limited two-dimensional bodies, i. Area, places the desired range.

In 1 entspricht jeder dargestellte Punkt einem Rot-Grün-Wertepaar bzw. Merkmalsvektor, das bzw. der in einer Aufnahme des Bildpunktes am Muster- bzw. Sollwertgegenstand gemessen wurde. Alle von den Muster- bzw. Sollwertgegenständen aufgenommenen Bildpunkte werden zur Ermittlung der Merkmalsvektoren zweckmäßigerweise an denselben Bildpunkten des Aufnahmesensors abgebildet. Der Sollbereich, in dem Rot-Grün-Wertpaare bzw. die Merkmalsvektoren als ordnungsgemäß angesehen werden, wird aus der Wolke der Trainingspunkte bzw. der Merkmalsvektoren gebildet und wenn man, wie zuvor ausgeführt, annimmt, dass alle Rot-Werte zwischen dem minimalen und maximalen Rotwert und alle Grün-Werte zwischen dem minimalen und maximalen Grünwert erlaubt sind, ergibt sich ein rechteckiger Bereich, der in 1 eingezeichnet ist.In 1 Each point represented corresponds to a red-green value pair or feature vector which has been measured in a recording of the pixel on the sample or target value object. All pixels picked up by the pattern or target value objects are expediently imaged on the same pixels of the recording sensor in order to determine the feature vectors. The target range in which red-green value pairs or the feature vectors are considered to be correct is formed from the cloud of training points or feature vectors and, as previously stated, assuming all red values between the minimum and maximum Red value and all green values between the minimum and maximum green value are allowed, resulting in a rectangular area, the in 1 is drawn.

Allerdings beschreibt dieser rechteckige, durch achsparallele Geraden begrenzte Bereich die Wolke der Trainingspunkte bzw. den Sollbereich nicht sonderlich gut bzw. ist zu groß bzw. zu permissiv. Insbesondere Bereiche in der linken oberen und rechten unteren Ecke des Rechtecks wären erlaubt, sind aber von den erhaltenen Trainingspunkten bzw. Merkmalsvektoren relativ weit entfernt und würden daher für einen Betrachter des Gegenstandes als fehlerhaft bewertet werden.Indeed describes this rectangular, bounded by axially parallel lines Do not set the cloud of the training points or the target range especially good or is too big or too permissive. In particular, areas in the upper left and right lower corner of the rectangle would be allowed, but are from the obtained training points or feature vectors relatively far away and would therefore for one Viewers of the item are rated as faulty.

Aus diesem Grund ist es sinnvoll, den erlaubten Sollbereich enger einzugrenzen, wozu insbesondere eine Vorgabe der Anzahl und Richtung der Achsvektoren zielführend ist, welche der tatsächlichen Erstreckung der Punktewolke besser gerecht wird. Aus 2 erkennt man, dass das einschließende Polygon der Punktwolke besser gerecht wird. Das einschließende Polygon entspricht der konvexen Hülle der Punktwolke. Zur Berechnung der konvexen Hülle kann der Quickhull Algorithmus herangezogen werden (Barber, C.B., Dobkin, D.P., and Huhdanpaa, H.T., "The Quickhull algorithm for convex hulls," ACM Trans. on Mathematical Software, 22(4): 469–483, Dec 1996). Der Nachteil bei der Verwendung einer konvexen Hülle ist der nicht vorhersehbare Aufwand bei der Prüfung eines Bildpunktes. Im schlimmsten Fall muss, wenn n die Anzahl Trainingspixel ist, mit n-1 den Sollbereich begrenzenden, nicht achsparallelen, Geraden verglichen werden.For this reason, it makes sense to restrict the permitted target range more closely, for which purpose in particular a specification of the number and direction of the axis vectors is expedient which better satisfies the actual extent of the point cloud. Out 2 you can see that the enclosing polygon does better justice to the point cloud. The enclosing polygon corresponds to the convex hull of the point cloud. The calculation of the convex hull may be based on the Quickhull algorithm (Barber, CB, Dobkin, DP, and Huhdanpaa, HT, "The Quickhull algorithm for convex hulls," ACM Trans. On Mathematical Software, 22 (4): 469-483). Dec 1996). The disadvantage of using a convex hull is the unpredictable effort involved in examining a pixel. In the worst case, if n is the number of training pixels, it must be compared with n-1 non-axis-parallel straight lines delimiting the target range.

3 zeigt, dass durch eine Verwendung einer Ellipse im gezeigten zweidimensionalen Fall, eine bessere Nachbildung des Verlaufs der Punktewolke als in 1 erfolgen kann. Die Berechnung der Parameter der Ellipse, d.h. die Bestimmung der Parameterwerte für Mittelwertvektor und Kovarianzmatrix kann durch direkte Berechnung aus der Stichprobe, d.h. der Menge der Trainingspixel erfolgen, wozu vorgesehen ist, dass zur Ermittlung des Sollbereiches der Mittelpunktvektor und/oder die Kovarianzmatrix rechnerisch ermittelt oder durch eine statistische Schätzung ermittelt werden. Die Parameterermittlung kann auch durch Anwendung des Minimax Algorithmus geschehen (M.I. Schlesinger and V. Hlavac. Ten lectures on statistical and structural pattern recognition. Kluwer Academic Publishers, 2002). Dazu ist vorgesehen, dass zur Ermittlung des Mittelpunktvektors und der Kovarianzmatrix eine Gewichtung der einzelnen Merkmalsvektoren erfolgt, wobei den im Randbereich des Sollbereichs liegenden Punkten weniger Gewicht zugemessen wird. 3 shows that by using an ellipse in the two-dimensional case shown, a better replica of the course of the point cloud than in 1 can be done. The calculation of the parameters of the ellipse, ie the determination of the parameter values for mean vector and covariance matrix can be done by direct calculation from the sample, ie the amount of training pixels, which is provided that for determining the desired range of the midpoint vector and / or the covariance matrix or be determined by a statistical estimate. Parameter determination can also be performed using the Minimax algorithm (MI Schlesinger and V. Hlavac, Ten lectures on statistical and structural pattern recognition, Kluwer Academic Publishers, 2002). For this purpose, it is provided that, to determine the center vector and the covariance matrix, a weighting of the individual feature vectors takes place, with less weight being allocated to the points lying in the edge region of the desired range.

Es wird nochmals bemerkt, dass die 1, 2 und 3 eine Reduktion der erfindungsgemäßen Vorgangsweise auf den zweidimensionalen Raum darstellen. Sofern im drei- bzw. n-dimensionalen Raum vorgegangen wird, ergeben sich drei- bzw. n-dimensionale Merkmalsvektoren und ein Ellipsoid bzw. Hyperellipsoide.It is noticed again that the 1 . 2 and 3 represent a reduction of the inventive approach to the two-dimensional space. If three- or n-dimensional space is used, three-dimensional or n-dimensional feature vectors and one ellipsoid or hyperellipsoid are obtained.

Eine Verbesserung der Schätzung des Sollbereichs wird durch gleichzeitige Elimination von Ausreißern erreicht. In diesem Fall wird angenommen, die Stichprobe der Trainingspixel ist nicht zur Gänze repräsentativ. Ein Verfahren dazu ist das Volumen des Sollbereichs, bzw. die Fläche im zweidimensionalen Fall, auf einen Bruchteil des Gesamtvolumens zu reduzieren. Ein sinnvoller Wert ist z.B. eine Reduktion des Sollbereiches auf 95% des ursprünglichen Volumens. 4 zeigt ein Beispiel für eine Reduktion des Sollbereiches auf 95% des Volumens.An improvement in the estimation of the target range is achieved by simultaneous elimination of outliers. In this case, it is assumed that the sample of training pixels is not entirely representative. One method is to reduce the volume of the target area, or the area in the two-dimensional case, to a fraction of the total volume. A useful value is for example a reduction of the target range to 95% of the original volume. 4 shows an example of a reduction of the target range to 95% of the volume.

Eine weitere Möglichkeit besteht in der Verwendung eines Mehrschrittverfahrens, wobei im ersten Schritt ein Sollbereich ermittelt wird, in einem zweiten Schritt jene Trainingspixel am Rand des Sollbereiches entfernt werden, und im letzten Schritt aus den verbleibenden Trainingspixel eine neuer Sollbereich ermittelt wird. Als Randpixel wird hier ein Bruchteil r der Stichprobe angesehen und aus den verbleibenden Bruchteil von 1-r Trainingspixel wird der Sollbereich des letzten Schrittes bestimmt. Ein sinnvoller Wert für die zur Schätzung des endgültigen Sollbereiches herangezogenen Pixel ist 95% der Stichprobe. 5 zeigt ein Beispiel für eine Reduktion des Sollbereiches auf 95% der Stichprobe.Another option is Ver Use of a multi-step method, wherein in the first step, a desired range is determined, in a second step those training pixels are removed at the edge of the desired range, and in the last step, a new target range is determined from the remaining training pixels. Here, a fractional part r of the random sample is considered edge pixel, and from the remaining fraction of 1-r training pixel the target range of the last step is determined. A reasonable value for the pixels used to estimate the final target range is 95% of the sample. 5 shows an example of a reduction of the target range to 95% of the sample.

Die Prüfung eines Bildpunktes besteht in der Ermittlung ob der mit diesem Punkt verbundene Merkmalsvektor innerhalb des Sollbereiches liegt. Ist der Sollbereich durch eine Ellipse, ein Ellipsoid oder ein Hyperellipsoid beschrieben, so genügt es zur Feststellung der Distanz die Mahalanobisdistanz für diesen Bildpunkt zu berechnen und mit der Mahalanobisdistanz des Umfanges der Ellipse bzw. der Hülle des Ellipsoids bzw. Hyperellipsoids zu vergleichen. Die Mahalanobisdistanz beinhaltet alle Parameter des Sollbereiches, d.h. den Mittelwertvektor μ und die Kovarianzmatrix Σ. Die Mahalanobisdistanz d für einen Merkmalsvektor x → ist definiert als d = (x → – μ)Σ(x → – μ) und wird verglichen mit der Mahalonisdistanz D für den Rand des Sollbereiches, d.h. die Mahalanobisdistanz für die Hülle des Ellipsoids. Ein Punkt wird als in den Sollbereich fallend klassifiziert, d.h. er hat dann die Prüfung bestanden, wenn d ≤ D. Merkmalsvektoren, die auf der Hüllkurve bzw. -fläche liegen, können als zum Sollwertbereich gehörend klassifiziert werden.The exam of a pixel is in the determination of whether with this point Connected feature vector is within the desired range. Is the Target range by an ellipse, an ellipsoid or a hyperellipsoid described, then suffices for establishing the distance the Mahalanobis distance for this Pixel to calculate and with the Mahalanobisdistanz the scope the ellipse or the shell of the ellipsoid or hyperellipsoid. The Mahalanobisdistanz includes all parameters of the target range, i. the mean vector μ and the Covariance matrix Σ. The Mahalanobisdistanz d for a feature vector x → is defined as d = (x → - μ) Σ (x → - μ) and is compared with the Mahalonis dance D for the edge of the target area, i. the Mahalanobisdistanz for the cover of the Ellipsoid. A point is classified as falling within the target range, i. He then has the exam passed if d ≤ D. feature vectors, the on the envelope or area are, can classified as belonging to the setpoint range become.

Die Ermittlung der Mahalonisdistanz wird erläutert in P.C. Mahalanobis, "On the generalized distance in statistics", Proceedings of National Institute of Sciences of India, Vol. 2, pages 49–55, oder J.D. Jobson "Applied Multivariate Data Analysis", Volume II, Categorical and Multivariate Methods, Chapter 7.1.3: Geometric Interpretation of Data Matrices, pages 140–144, Springer, 1994, oder Luc Devroye, Laszio Györfi, Gabor Lugosi "A Probabilistic Theory of Pattern Recognition", Chapter 3.8, The Mahalanobis Distance, pages 30–31, Springer, 1996.The Determination of the Mahalonize Distance is explained in P.C. Mahalanobis, "On the generalized distance in statistics ", Proceedings of National Institute of Sciences of India, Vol. 2, pages 49-55, or J.D. Jobson "Applied Multivariate Data Analysis ", Volume II, Categorical and Multivariate Methods, Chapter 7.1.3: Geometric Interpretation of Data Matrices, pages 140-144, Springer, 1994, or Luc Devroye, Laszio Györfi, Gabor Lugosi "A Probabilistic Theory of Pattern Recognition, "Chapter 3.8, The Mahalanobis Distance, pages 30-31, Springer, 1996.

Mit der erfindungsgemäßen Vorgangsweise kann der Anforderung entsprochen werden, dass eine Überprüfung eines Gegenstandes extrem schnell vorgenommen werden muss. Es wird dabei mit einer dezidierten Hardware gearbeitet, auf der jedoch der Speicherbedarf sehr begrenzt ist, sodass nur wenige Parameterwerte für die einzelnen Bildpunkte vorgegeben werden können.With the procedure of the invention can The requirement that a review of an item be extremely fast must be made. It is doing this with a dedicated hardware worked, but where the storage requirements are very limited, so only a few parameter values for each pixel can be specified.

Eine Approximation des Sollbereiches durch einen Körper bzw. eine Hüllkurve bzw. -fläche, der bzw. die die Wolke der Merkmalsvektoren möglichst eng umschließt bzw. diese Punktwolke zur Gänze enthält und mit wenigen Parameterwerten beschreibbar ist, ist vorteilhaft. Ein konvexer Körper ist dazu gut geeignet. Weiters ist die Idee der Darstellung eines Sollbereiches durch ein umschließendes Ellipsoid äquivalent zu der Sichtweise der Repräsentation einer Stichprobe durch eine multivariate Normalverteilung. Die Normalverteilungsannahme ist in der Regel eine gute Vorgangsweise für die Prüfung von Gegenständen die durch Merkmale gekennzeichnet welche eine Streuung um einen Sollwert aufweisen.A Approximation of the target range by a body or an envelope or area, the one or the cloud of the feature vectors encloses as closely as possible or Contains this point cloud in its entirety and with is writable few parameter values, is advantageous. A convex body is well suited for this. Furthermore, the idea of representing one Target range equivalent by an enclosing ellipsoid to the view of the representation of a Sample by a multivariate normal distribution. The normal distribution assumption is usually a good procedure for checking items characterized by features which a scatter around a setpoint exhibit.

Die Bildprüfung erfolgt in einer an die Bildaufnahmeeinheit bzw. deren Bildsensor angeschlossenen Recheneinheit, vorzugsweise realisiert durch für die Aufgabe optimierte elektronische Schaltkreise. Dabei spielt der für die Bildprüfung benötigte Speicherplatz eine wesentliche Rolle. Es ist vorteilhaft, eine suboptimale Lösung für die Prüfung der Farbbildpunkte zu akzeptieren und dafür Speicherplatz zu sparen, indem dieselben Parameter für verschiedene Bildpunkte mit gleichen oder ähnlichen Parametersätzen verwendet werden. Besonders vorteilhaft ist es, die Orientierung und Streuung, d.h. die Kovarianzmatrix, für eine Gruppe von Bildpunkten gemeinsam vorzugeben und nur den Mittelwertvektor für jeden Bildpunkt individuell zu speichern.The checking takes place in a to the image pickup unit or its image sensor connected arithmetic unit, preferably realized by for the task optimized electronic circuits. It plays the space required for image verification an essential role. It is advantageous to have a suboptimal solution for testing the To accept color pixels and save space, by setting the same parameters for different pixels with the same or similar parameter sets used become. It is particularly advantageous to the orientation and scattering, i.e. the covariance matrix, for to specify a group of pixels together and only the mean value vector for each Save pixel individually.

Im dreidimensionalen Merkmalsraum sind bei Verwendung eines Ellipsoids 10 Parameter pro zu prüfenden Bildpunkt nötig. Diese Parameter sind die 3 Einträge des Mittelwertvektors μ, 6 Werte die sich aus der symmetrischen 3 × 3 Kovarianzmatrix Σ ergeben und ein skalarer Wert der die Mahalonobisdistanz der Ellipsoidhülle D angibt.in the Three-dimensional feature space are when using an ellipsoid 10 parameters per test to be tested Pixel required. These parameters are the 3 entries the mean vector μ, 6 values resulting from the symmetric 3 × 3 covariance matrix Σ and a scalar value indicating the Mahalonobis distance of the ellipsoidal envelope D.

Es hat sich als vorteilhaft erwiesen, eine Gruppe von Bildpunkten zusammenzufassen und für diese Gruppe einen gemeinsamen Satz der 6 Parameter der Kovarianzmatrix Σ zu speichern und für jeden Bildpunkt in der Gruppe einen individuellen Satz von 4 Parametern zur Festlegung des Mittelwertvektors μ und der Mahalanobisdistanz der Ellipsoidhülle D vorzusehen.It has proven to be advantageous to summarize a group of pixels and for this Group to store a common set of the 6 parameters of the covariance matrix Σ and for each pixel in the group has an individual set of 4 parameters for determining the mean vector μ and the Mahalanobis distance the ellipsoidal envelope D provided.

Der Rechenaufwand zur Prüfung selbst, d.h. die Berechnung der Mahalanobisdistanz d und Vergleich dieser mit dem Wert der Mahalanobisdistanz für den Rand des Sollbereiches D, setzt sich pro Bildpunkt aus den folgenden Operationen zusammen: 3 Subtraktionen, 5 Additionen, 10 Multiplikationen und eine Vergleichsoperation.Of the Calculation effort for testing itself, i. the calculation of Mahalanobisdistanz d and comparison this with the value of the Mahalanobisdistanz for the edge of the target range D, is composed per pixel of the following operations: 3 subtractions, 5 additions, 10 multiplications, and one comparison operation.

Soll die Prüfung mit einer gewissen Toleranz versehen werden, so wird dies vorzugsweise dadurch erreicht, dass der Parameter D derart verändert wird, dass das Ellipsoid bezüglich des Volumens vergrößert wird. Hier kann, ähnlich der Einschränkung des Sollbereichs auf Volumensanteile kleiner 100%, eine Vergrößerung des Toleranzbereiches proportional dem Volumen größer als 100% angegeben werden.If the test is to be provided with a certain tolerance, this is preferably achieved by changing the parameter D such that the ellipsoid is enlarged in relation to the volume. Here, similar to the restriction of the target range to volume fractions smaller than 100%, an increase in the tolerance range proportional to the volume greater than 100%.

Die Zusammenfassung von Bildpunkten des zu prüfenden Gegenstandes zu Gruppen mit teilweise oder gänzlich gleichen Parametern kann nach unterschiedlichen Gesichtspunkten erfolgen:

1) Die Punkte können nach Bildregionen, z.B. nach bestimmten Bildmotiven zusammengefasst werden. Das hat den Vorteil, dass sich vorgegebene Toleranzen (siehe oben) jeweils auf eine Gruppe von Bildpunkten beziehen, denen ein Betrachter eine gemeinsame Bedeutung zuordnet.
2) Die Bildpunkte können nach einer verfahrenstechnischen Gemeinsamkeit zusammengefasst werden (bei Banknoten z.B. Tiefdruck, Offsetdruck, OVI-Druck usw.)
3) Die Bildpunkte können nach farblichen Ähnlichkeiten zusammengefasst werden.
4) Die Bildpunkte können nach ähnlichen Orientierungen und Streuungen zusammengefasst werden.

The grouping of pixels of the object to be examined into groups with partially or completely identical parameters can take place according to different aspects:

1) The points can be grouped by image regions, eg according to specific motifs. This has the advantage that given tolerances (see above) each relate to a group of pixels to which a viewer assigns a common meaning.
2) The pixels can be summarized according to a procedural commonality (in banknotes eg gravure, offset printing, OVI printing, etc.)
3) The pixels can be summarized according to color similarities.
4) The pixels can be summarized according to similar orientations and scatters.

Ferner sind Kombinationen aus obigen Gesichtspunkten, besonders einer der Punkte 1 bis 3 mit 4, vorteilhaft.Further are combinations of the above aspects, especially one of Points 1 to 3 with 4, advantageous.

Die Erfindung betrifft ferner ein Softwareprodukt entsprechend den Merkmalen des Anspruches 9.The The invention further relates to a software product according to the features of claim 9.

Claims

A method for the optical inspection of objects, in particular of printing units, packaging, labels, imprints or banknotes, - wherein a predetermined number of pixels of object areas recorded with an image acquisition unit with respect to their values of predetermined features, eg values to be mixed of the color channels red, green, blue , IR and / or UV and / or values relating to the edge intensity and / or inclination of pixels, is checked or it is checked whether the features of the respective pixels meet predetermined criteria, characterized in that - for a given number of the objects to be tested are similar or very close to the sample objects, the values of these predetermined features are determined for the same pixel or for pixels each having the same positions on the different sample objects and for each image a feature vector with values of features for this pixel is created - that in a space whose dimension corresponds to the number of predetermined features, based on the determined distribution of the feature vectors, an ellipse, an ellipsoid or a hyperellipsoid is determined by assuming a multivariate normal distribution of the feature vectors the center point vector and the covariance matrix are determined, in particular calculated, as parameters of this distribution, - the size or surface of the ellipse, ellipsoid or hyperellipsoid is determined and / or - the distance of the surface of the ellipse, ellipsoid or hyperellipsoid be determined from its center, that the volume bounded by the ellipse, the ellipsoid or the hyperellipsoid in the feature space is regarded as a desired area, that for each pixel on objects to be checked, which corresponds with respect to its coordinates to the pixel on the object of the subject it is checked whether its feature vector lies within or outside the desired range defined for the sample objects and - that each pixel of the object to be tested is considered to be proper with a feature vector within the desired range and optionally subjected to further evaluation, and a pixel outside of the desired range lying feature vector regarded as defective and optionally subjected to a fault assessment.

Method according to claim 1, characterized in that that the distance of the surface of the target range with respect to the center of the ellipse or the ellipsoid or hyperellipsoid is determined as Mahalanobisdistanz.

Method according to claim 1 or 2, characterized that for a number of or for all Pixels of the pattern or setpoint objects are a set of non-identical ones Ellipses, ellipsoids or hyperellipsoids is determined.

Method according to one of claims 1 to 3, characterized that for the review of a from the to be tested Subject recorded pixel for the feature vector this Pixel the Mahalanobisdistanz determined and this with the value Mahalanobisdistanz the surface of the target area compared becomes.

Method according to one of claims 1 to 4, characterized that to determine the surface or the desired range, the midpoint vector and / or the covariance matrix calculated or by a statistical estimate.

Method according to one of claims 1 to 5, characterized in that the determination of the surface or of the desired range takes place in the form of a minimax algorithm, wherein for determining the center vector and the covariance matrix a Ge weighting of the individual feature vectors takes place, with the feature vectors lying in the edge region of the cloud of the feature vectors or of the desired range being given greater weight.

Method according to one of claims 1 to 6, characterized that after identifying the surface or the target range, in particular by calculating the Mahalanobisdistanz, a predetermined number of feature vectors, especially those with big ones Distance, especially Mahalanobisdistanz, suppressed or be disregarded to determine the desired range.

Method according to one of claims 1 to 7, characterized that the allowed Distances, especially Mahalanobisdistanz the surface of Target range is stored by the Mitteilpunktvektor.

Software product with program code means that a computer readable medium stored to the method according to any one of claims 1 to 8 to perform if the program product is running on a computer.