DD298158A5

DD298158A5 - METHOD FOR THE FAST AUTOMATIC DETECTION OF ERRORS IN UNIFORM, UNMANNED OR LOW PATTERNED TRAINS

Info

Publication number: DD298158A5
Application number: DD34422390A
Authority: DD
Inventors: Ulrich Roesler; Klaus Fritzsch; Guenther Schwarze
Original assignee: Adw Inst. F. Bildverarbeitung I. Zi Kybernetik U. Informationprozesse,De
Priority date: 1990-09-26
Filing date: 1990-09-26
Publication date: 1992-02-06

Abstract

Das Verfahren wird vorzugsweise zur Automatisierung der Roh- und Fertigwarenschau in der Textil- bzw. Bekleidungsfertigung eingesetzt. Dabei werden in einer Lernphase ueber einer fehlerfreien Region Bildfenster positioniert, aus denen ueber Grauwerthistogramme die Sollwerte der Texturmerkmale und deren Streuungen ermittelt werden. Diese Streuungsparameter dienen zur Einstellung der Toleranzschwellen eines sequentiellen zweistufigen Klassifikators, in der Detektionsphase werden die Istwerte ermittelt und die Anzahl der UEberschreitungen der jeweiligen Toleranzschwellen des Klassifikators als Masz fuer die Toleranzauspraegung aufsummiert. Die schnelle Verarbeitung wird dadurch erreicht, dasz die sequentielle Klassifikation in einer speziellen zweistufigen Form angewendet wird. In der ersten Stufe erfolgt eine Grobklassifikation in fehlerfreie und fehlerverdaechtige Bildfragmente mit schnell berechenbaren Merkmalen. Nur bei Vorliegen fehlerverdaechtiger Bildfragmente schlieszt sich als zweite, rechenzeitaufwendige Stufe, die Feinklassifikation in fehlerfreie und fehlerhafte Bildfragmente an.The method is preferably used to automate the raw materials and finished goods show in textile or clothing production. In a learning phase, image windows are positioned over a defect-free region, from which gray-scale histograms are used to determine the nominal values of the texture features and their scattering. These scattering parameters serve to set the tolerance thresholds of a sequential two-stage classifier, in the detection phase the actual values are determined and the number of excesses of the respective tolerance thresholds of the classifier is summed up as a measure for the tolerance expression. The fast processing is achieved by applying the sequential classification in a special two-stage form. In the first stage, a rough classification into error-free and error-prone image fragments with quickly calculable features. Only in the presence of image fragments suspected of being defective does the fine classification into error-free and faulty image fragments begin as a second, time-consuming stage.

Description

Hierzu 6 Seiten ZeichnungenFor this 6 pages drawings

Anwendungsgebiet der ErfindungField of application of the invention

Die Erfindung betrifft ein Verfahren zur schnellen, d. h. mit dem technologischen Prozeß schritthaltenden automatischen Erkennung und Charakterisierung von Fehlern in unifarbenen, ungemusterten Warenbahnen. Es wird vorzugsweise zur Automatisierung der Roh- und Fertigwarenschau in der Textil- bzw. Bekleidungsfertigung aber auch in gleichartigen technologischen Fließprozessen benötigt, bei denen die visuelle Inspektion zur Erkennung von Fabrikationsfehlern automatisiert werden soll. Erforderlich ist ein solches Verfahren, um die Qualitätsprüfung von flächigen Materialien unter ständiger objektiver Kontrolle automatisch ablaufen zu lassen, womit eine wesentliche Voraussetzung für eine mängelarme Produktion erfüllbar ist.The invention relates to a method for fast, d. H. automatic detection and characterization of defects in plain, uncoated webs with the technological process. It is preferably required for the automation of raw materials and finished goods show in the textile and clothing production but also in similar technological flow processes in which the visual inspection for the detection of manufacturing errors to be automated. Such a process is required to allow the quality inspection of sheet materials to proceed automatically under constant objective control, thus fulfilling an essential prerequisite for low-defect production.

-2- 298 158 Charakteristik des bekannten Standes der Technik-2- 298 158 Characteristic of the known state of the art

Vielen gefundenen Lösungen zur Prüfung von Warenbahnen, insbesondere Textilien ist gemeinsam, daß ein auf den zu untersuchenden Stoff auftreffender Lichtstrahl remitiert und transmitiert wird und daß dieses Licht auf Lichtsensoren fällt, dort in ein analoges elektrisches Signal gewandelt und einer Auswertungsschaltung mit Summen-, Differenzbildung u.a. zugeführt wird. Die Auswertung besteht in einer analogen Diskriminierung bei festen oder empirisch veränderbaren bzw. aus anderen Signalen erzeugbaren Schwellen. Weiterhin wird in DE-OS 3426065 mit einer Kamera (vornehmlich Videokamera) das 512 χ 512-BiId eines textlien Flächengebildes im Durchlicht abgetastet, verbessert, digitalisiert und gespeichert. Aus diesem werden die geometrischen Daten berechnet und unter dem Gesichtspunkt einer Statistik mit Modelldaten bei tolerierbaren Fehlern verglichen bzw. klassifiziert. Bildverbesserungstechniken, wie Bildaddition, Histogramm-Modifikation, Bildglättung und -Verschärfung sowie Kantendetektion werden vorgeschlagen. Gesteuert wird der Bildverarbeitungs- und -analyseprozeß durch einen Mikrorechner, der gegebenenfalls eine Fehlermarkierung veranlaßt. Mit dem Verfahren sollen unter vielen anderen Fehlern Maßabweichungen, Gewebefehler, Farbabweichungen, Flecken, Falten und Risse detektierbar sein. Aus dieser Patentschrift geht aber nicht hervor, wie die Fehlerdetektion konkret realisiert werden soll und welche evtl. schon bekannten Verfahren angewendet werden sollen.Many solutions found for testing webs, especially textiles have in common that a light beam impinging on the substance to be examined is remitiert and transmitiert and that this light falls on light sensors, where converted into an analog electrical signal and an evaluation circuit with sum, subtraction u.a. is supplied. The evaluation consists in an analogous discrimination in the case of fixed or empirically variable thresholds or thresholds that can be generated from other signals. Furthermore, in DE-OS 3426065, the 512 × 512 image of a textile fabric is scanned, improved, digitized and stored with a camera (primarily a video camera) in transmitted light. From this, the geometric data are calculated and compared from the viewpoint of statistics with model data at tolerable errors or classified. Image enhancement techniques such as image addition, histogram modification, image smoothing and sharpening, and edge detection are proposed. The image processing and analysis process is controlled by a microcomputer, which optionally causes an error mark. The method should detect deviations, tissue defects, color deviations, spots, wrinkles and cracks among many other defects. However, it is not clear from this patent specification how the error detection should actually be realized and which possibly already known methods should be used.

Nach; -ilig bei diesen bekannten Verfahren zur Fehlerdetektion in Flächengebilden ist, daß sich die Auswertung des aus Remiss, on bzw. Transmission erhaltenen Lichtstroms nur auf elektrisch-elektronische Signale bezieht. Damit gelangen allein die plötzlichen Änderungen der Signalparameter bezüglich eines statistisch erfaßbaren Normalzustandes längs der Zeilen zur Auswertung und die strukturellen Bezüge zwischen den nächsten (und übernächsten usw.) Zeilen müssen unberücksichtigt bleiben. Damit wird die wesentliche Eigenschaft eines 2dimensionalen Bildes, Struktur und Textur auf Grund von Nachbarschaftsbeziehungen zwischen beliebigen Bildelementen zu besitzen, durch Schnitte in Form von Bildzeilen zerstört. Diese Verfahren zerlegen ursprünglich 2dimensionale Bilder in 1 dimensionale Signale, womit ihre Schwächen, z. B. textile Fehler in Schlußrichtung zu erkennen, aber solche in Kettrichtung nicht detektieren zu können, grundsätzlich erklärbar sind. Die Überwindung dieser Mängel setzt die Berücksichtigung allgemeiner Nachbarschaftsbeziehungen in zweidimensionalen Bildern voraus. Dazu ist jedoch ein wesentlich höherer Berechnungsaufwand sowie das Ablegen mehrerer Bildzeilen (je nach Reichweite der Nachbarschaftsbeziehungen) in zusätzlichen schnellen Pufferspeichern erforderlich.To; -ilig in these known methods for defect detection in fabrics is that the evaluation of the received from remission, on or transmission luminous flux refers only to electrical-electronic signals. Thus, only the sudden changes of the signal parameters with respect to a statistically detectable normal state along the lines reach the evaluation and the structural relations between the next (and the next but one, etc.) lines must be disregarded. Thus, the essential property of a 2-dimensional image of having texture and texture due to neighborhood relationships between arbitrary picture elements is destroyed by cuts in the form of picture lines. These methods originally split 2-dimensional images into 1-dimensional signals, thus addressing their weaknesses, e.g. B. textile defects in the final direction, but not to be able to detect such in the warp direction, are basically explained. Overcoming these deficiencies requires the consideration of general neighborhood relationships in two-dimensional images. However, this requires considerably more computational effort and the saving of several image lines (depending on the range of the neighborhood relationships) in additional fast buffer memories.

In „Bekleidung und Maschenware" (Band 28 [1989] Heft 2, S. 58-61) wurde nun ein Verfahren vorgeschlagen, das wohl auf der angesprochenen Nutzung der zweidimensionalen Nachbarschaftsbeziehungen beruht, aber durch den höheren rechentechnischen Aufwand den industriellen Echtzeitforderungen nicht genügen kann.In "Clothing and knitwear" (Volume 28 [1989] No. 2, pp. 58-61), a method has now been proposed that is probably based on the mentioned use of the two-dimensional neighborhood relationships, but can not meet the industrial real-time demands by the higher computational effort ,

Object of the invention

Das Ziel der Erfindung besteht daher darin, unifarbene, ungemusterte oder schwach gemusterte textile und andere Warenbahnen auf Fabrikationsfehler mit einem schnellen, d.h. mit dem technologischen Prozeß schritthaltenden Verfahren der digitalen Bildverarbeitung automatisch zu prüfen.The object of the invention is therefore to provide plain, unembellished or lightly patterned textile and other webs for manufacturing defects with a fast, i.e. to automatically check the process of digital image processing using the technological process.

Explanation of the essence of the invention

Der Erfindung liegt die Aufgabe zugrunde, ein automatisches Verfahren zur schnellen, mit dem technologischen Prozeß schritthaltenden Erkennung von Fehlern in unifarbenen, ungemusterten oder schwach gemusterten Warenbahnen unter Verwendung an sich bekannter Verfahren der digitalen Bildverarbeitung zu schaffen, welches auf den densitometrischen und strukturellen Bezügen im Bild der Warenoberfläche aufbaut und auf feinem Vergleich der Werte der die fehlerfreien bzw. fehlerhaften Oberflächenregionen beschreibenden statistischen Texturmerkmale beruht.The invention has for its object to provide an automatic method for rapid, real-time with the technological process detection of defects in plain, unpatterned or weakly patterned webs using per se known methods of digital image processing, which on the densitometric and structural references in the picture builds on the goods surface and based on a fine comparison of the values of the error-free or defective surface regions descriptive statistical texture features.

Erfindungsgemäß wird die Aufgabe, ausgehend von der Erzeugung und Speicherung eines zweidimensionalen Rasterbildes der Warenbahnoberfläche und anschließenden Erzeugung von Grauwerthistogrammen verschieden hoher Ordnung zur Ermittlung der Intensitäts- und Strukturbeziehungen, wobei die Erzeugung eines eindimensionalen Histogramms für die Intensitätsbeziehungen und eines zweidimensionalen Histogramms bzw. eines weiteren eindimensionalen Histogramms, aber von dem kantendetektierten oder durch andere Nachbarschaftsoperatoren bearbeiteten, digitalen Bilde als gleichwertige Ausführung für die Strukturbeziehungen angesehen wird, dadurch gelöst, daß in einer Lernphase, auch als Einstell- oder Trainingsphase bezeichnet, über einer als fehlerfrei ausgewiesenen Region des Rasterbildes der Warenbahnoberfläche möglichst viele Bildfragmente positioniert werden, aus denen jeweils die Grauwerthistogramme und davon die Soll-Werte der Texturmerkmale ermittelt werden. Die Streuungen dieser Merkmale werden dann zur Einstellung der Toleranzschwellen zweier Parallelepipede im Merkmalsraum verwendet.According to the invention, the object, starting from the generation and storage of a two-dimensional raster image of the web surface and subsequent generation of gray scale histograms of different high order to determine the intensity and structure relationships, wherein the generation of a one-dimensional histogram for the intensity relationships and a two-dimensional histogram or another one-dimensional Histogram, but considered by the edge detected or processed by other neighborhood operators, digital image as an equivalent embodiment for the structural relationships is achieved by the fact that in a learning phase, also referred to as adjustment or training phase, over a specified as faulty region of the raster image of the web surface possible many image fragments are positioned, from each of which the gray scale histograms and therefrom the desired values of the texture features are determined. The scattering of these features are then used to set the tolerance thresholds of two parallelepipeds in the feature space.

In der anschließenden Detektionsphase werden die Grauwerthistogramme aus Bildfragmenten über der ganzen Warenbahn bei gleichen optischen Aufnahmebedingungen und jeweils die Ist-Werte der Texturmarkmale berechnet und die Anzahl der Überschreitungen der jeweiligen Toleranzschwellen des betrachteten Parallelepipeds aufsummiert, die ein Maß für die Ausprägung des Fehlers in einer Fragmentposition und alle Ausprägungen zusammengefaßt ein Bild der in der Stoffbahn detektieren Fehler darstellen. Zur Fehlercharakterisierung wird ein Epiped während der Detektionsphase wie folgt benutzt: Befindet sich ein momentan gewonnenes Merkmalstupel vollständig im Innern des Epipeds, dann erfaßt das zugehörige Bildfragment eine fehlerfreie Bildregion. Liegt jedoch das Merkmalstupel teilweise oder vollständig außerhalb der Toleranzschwellen, dann ist das Fragment einer fehlerhaften Bildregion zugehörig in einem Grad, der von der Anzahl der aktiven Merkmale abhängt, die ihre Toleranzschwellen überschritten haben. Die Anzahl der in vorteilhafter Weise mit dem Abstand von der jeweiligen Schwelle gewichteten Überschreitungen wird als Maß für die Ausprägung des Fehlers an der Position des Bildfragmentes betrachtet.In the subsequent detection phase, the grayscale histograms are calculated from image fragments over the entire web at the same optical recording conditions and the actual values of the texture marks and summed the number of transgressions of the respective tolerance thresholds of the parallelepiped under consideration, which is a measure of the extent of the error in a fragment position and all occurrences summarized represent an image of the detect in the fabric error. For error characterization, an epiped is used during the detection phase as follows: If a currently obtained feature tuple is completely inside the epiped, then the associated image fragment detects an error-free image region. However, if the feature tuple is partially or completely out of tolerance levels, then the fragment is associated with a defective image region to a degree that depends on the number of active features that have exceeded their tolerance thresholds. The number of excesses weighted advantageously with the distance from the respective threshold is considered as a measure of the extent of the error at the position of the image fragment.

Die weitere Verarbeitung kann auf zweierlei Arten erfolgen: 1. Die Ausprägung des Fehlers im aktuellen Bildfragment wird unmittelbar zur Fehlercharakterisierung verwendet.The further processing can take place in two ways: 1. The occurrence of the error in the current image fragment is used directly for error characterization.

2. Die Ausprägung des Fehlers im aktuellen Bildfragment wird mittels zweier Schwellen den Klassen fehlerfrei, fehlerverdächtig und fehlerhaft zugeordnet. Die erfindungsgemäße Lösung bezieht sich auf den zweiten Fall.2. The occurrence of the error in the current image fragment is assigned to the classes error-free, suspect and faulty by means of two thresholds. The solution according to the invention relates to the second case.

Die schnelle prozeßschritthaltende Verarbeitung wird dadurch erreicht, daß das an sich bekannte Prinzip einer sequentiellen Klassifikation in einer speziellen zweistufigen Form angewendet wird. Dazu werden in der ersten Einstellphase von den benutzten Texturmerkmalen in Abhängigkeit von Material- und Fehlerarten ein oder mehrere relevante, jedoch schnell berechenbare Merkmale ausgewählt und aus deren Streuungen ein erstes Parallelepiped gebildet. Die Streuungen der übrigen Merkmale bilden ein zweites Parallelepiped. In einer zweiten Einstellphase werden die genannten zwei Schwellen festgelegt. In der ersten Stufe des sequentiellen Klassifikators wird eine Grobklassifikation in der Weise durchgeführt, daß mit dem ersten Parallelepiped die schnell berechenbaren Merkmale entsprechend der oben beschriebenen Vorgehensweise gewichtet werden und anschließend mit der ersten Schwelle klassifiziert wird, cb es sich um ein fehlerfreies oder ein fehlerverdächtiges Bildfragment handelt.The fast process step-holding processing is achieved by applying the per se known principle of sequential classification in a special two-stage form. For this purpose, one or more relevant, but quickly calculable features are selected in the first adjustment phase of the texture features used as a function of material and defect types and formed from their scattering a first parallelepiped. The scattering of the remaining features form a second parallelepiped. In a second adjustment phase, the said two thresholds are set. In the first stage of the sequential classifier, a rough classification is performed such that the first parallelepiped weights the fast computational features according to the procedure described above and then classifies them at the first threshold, cb it is an error-free or suspect image fragment is.

Liegt ein fehlerfreies Bildfragment vor, so wird die Verarbeitung mit dem nächsten Bildfragment forty*., „tzt. Liegt ein fehlerverdächtiges Bildfragment vor, so wird in der zweiten Stufe des sequentiellen Klassifikators eine Feinklassifikation in der Weise durchgeführt, daß mit dem zweiten Parallelepiped alle übrigen Merkmale entsprechend der oben beschriebenen Vorgehensweise gewichtet werden und anschließend mit der zweiten Schwello klassifiziert wird, ob es sich um ein fehlerfreies oder ein fehlerhaftes Bildfragment handelt.If a faultless image fragment is present, the processing is continued with the next image fragment. If a suspect image fragment is present, a fine classification is carried out in the second stage of the sequential classifier in such a way that all other features are weighted with the second parallelepiped according to the procedure described above and then classified with the second threshold, whether an error-free or a faulty image fragment.

Bezüglich der Verarbeitungsgeschwindigkeit kann man voraussehen, daß die Zeit für eine Grobklassifikation sehr klein gegenüber der Zeit für eine Feinklassifikation ist, d. h. die Verarbeitungszeit fü' eine gegebene Bildregion wird entscheidend durch die Anzahl der Feinklassifikation bestimmt.With regard to the processing speed, it can be foreseen that the time for a rough classification is very small compared to the time for a fine classification, i. H. the processing time for a given image region is critically determined by the number of fine classifications.

Aufgrund der Tatsache, daß die Fehlergebiete normalerweise nur eine sehr geringe Ausdehnung gegenüber der gesamten Warenbahnoberfläche aufweisen, ist auch die Anzahl der fehlerverdächtigen Bildfragmente, also der Fragmente, die anschließend der zeitkritischen Feinanalyse entworfen werden müssen, sehr klein gegenübsr der Gesamtzahl aller Bildfragmente.Due to the fact that the error areas usually have only a very small extent compared to the entire web surface, the number of suspect image fragments, so the fragments, which must then be designed time-critical fine analysis, very small compared to the total number of all image fragments.

Daraus folgt, daß das beschriebene zweistufige Klassifikationsprinzip die Voraussetzung für eine wesentliche Steigerung der Verarbeitungsgeschwindigkeit bietet. Mit der Schwelle T1 kann die Anzahl der fehlerverdächtigen Bildfragmente gesteuert und damit die Verarbeitungsgeschwindigkeit in einem weiten Bereich variiert v/erden.It follows that the described two-stage classification principle provides the prerequisite for a substantial increase in the processing speed. Threshold T1 controls the number of image fragments suspected of error, thereby varying the processing speed in a wide range.

Bei der Festlegung der Schwellen in der Einstellphase verfährt man zweckmäßigerweise nach folgenden Regeln: Schwelle TI: Diese wird zweckmäßigerweise so gewählt, daß in weiteren, als fehlerfrei ausgewiesenen Bildregionen der Anteil der in der Grobanalyse als fehlerverdächtig klassifizierten Bildfragmente an der Gesamtheit aller Bildfragmente so klein ist, daß eine vorgegebene Steigerung der Verarbeitungsgeschwindigkeit erreicht wird. Schwelle T2: Diese wird zweckmäßigerweise so gewählt, daß sie dem ersten Minimum der Häufigkeitsverteilung der lokalen Fehlerausprägungen nahekommt, womit falscher Alarm weitestgehend vermieden wird.When setting the thresholds in the adjustment phase, the procedure is expediently according to the following rules: Threshold TI: This is expediently chosen so that the proportion of image fragments classified as faulty in the coarse analysis of the image fragments in the totality of all image fragments is so small in further image regions designated as faultless in that a predetermined increase in the processing speed is achieved. Threshold T2: This is expediently chosen so that it approximates the first minimum of the frequency distribution of the local error manifestations, thus largely avoiding false alarms.

Die Detektionsphase wird über einem zusammenhängenden Stoffgebiet (z. B. einon vollständigen textlien Warenballen) bei sich in vorteilhafter Weise überlappenden Bildfragmenten durchgeführt und liefert vermittels der berechneten Fehlerausprägungen als Resultat ein (diskontinuierliches) Fehlerbild des gegebenen Stoffgebietes mit hoher Datenreduktion. Aus diesem lassen sich die Orte der Fehler, ihre Ausdehnungen in Schuß- und Kettrichtung, ihre Formen u.a. anhand morphometrischer Merkmale bestimmen. Hierzu wird das Fehlerbild mit an sich bekannten Verfahren der digitalen Bildverarbeitung einer Segmentierung und morphometrisrhen Analyse unterzogen. In einer vorteilhaften Ausführung hierzu wird das Fehlerbild mit dem direktionalen Medianfilter geglättet und restauriert sowie mit dem Zeilenkoinzidenzverfahren bei gleichzeitiger Berechnung der Größen- und Formmerkmale segmentiert. Damit können in einer ersten Ausführungsstufe zur Fehlertypklassifizierung mindestens punktförmige und flächige Felder voneinander unterschieden und somit Dickstellen, Nester, Flecke, Löcher und Noppen als Fehler klassifiziert werden.The detection phase is carried out over a coherent material area (eg a complete textile goods bale) with advantageously overlapping image fragments and, by means of the calculated error characteristics, results in a (discontinuous) defect image of the given material area with high data reduction. From this can be the places of the errors, their expansions in the weft and warp direction, their forms u.a. determined by morphometric characteristics. For this purpose, the error image is subjected to segmentation and morphometric analysis using known methods of digital image processing. In an advantageous embodiment, the error image with the directional median filter is smoothed and restored and segmented by the line coincidence method with simultaneous calculation of the size and shape features. Thus, in a first execution stage for error type classification, at least punctiform and areal fields can be distinguished from each other and thus thick points, nests, spots, holes and nubs can be classified as errors.

In einer zweiten Ausführungsstufe zur Typklassifizierung können die Häufigkeiten der aktiven Merkmale bezüglich jeweils eines in der ersten Ausführungsstufe segmentierten Fehlers analysiert werden. Zusammengefaßt ergeben sie ein Merkmalshistogramm, das sich von den Merkmalshistogrammen anderer Fehler unterscheidet. Die Unterschiede sind durch Merkmale beschreibbar, die zusammen mit den Ergebnissen der morphometrischen Analyse zur Klassifikation nach Fehlertyp nutzbar sind.In a second type classification execution stage, the frequencies of the active features can be analyzed for each segmented error in the first execution stage. In summary, they give a feature histogram that differs from the feature histograms of other errors. The differences can be described by features that can be used together with the results of the morphometric analysis to classify by type of error.

Mit dieser Klassifizierung auf der Basis des Fehlerbildes und der Merkmalshäufigkeiten der einzelnen Fehler muß eine andere Klasseneinteilung als nach dem bisher benutzten Fehlerstandard erwartet werden. Hier gehen objektive Maße ein, die allein am optischen Erscheinungsbild orientiert sind und das spezielle Vor- und Fachwissen eines Warenschauers nicht enthalten. Der Lösung der Aufgabe lagen folgende Prämissen zugrunde: Das optische Erscheinungsbild einer Materialoberfläche läßt sich als eine quasiperiodische Anordnung von nicht scharf definierbaren und miteinander vernetzten Strukturelementen charakterisieren, die zufällig oder schwach strukturiert angeordnet sind.With this classification on the basis of the error pattern and the feature frequencies of the individual errors, a different classification from the previously used error standard must be expected. Here objective dimensions are taken, which are based solely on the visual appearance and do not contain the special know-how and expertise of a goods shower. The object was achieved by the following premises: The visual appearance of a material surface can be characterized as a quasi-periodic arrangement of non-sharply definable and interconnected structural elements which are arranged randomly or weakly structured.

Diesem Bild kommt die Eigenschaft einer Textur zu. Ein Fehler in einem Stoff bewirkt eine Texturstörung oder -änderung, die vom menschlichen Betrachter als lokale Auffälligkeit signalisiert wird. Damit sollen nicht Texturen an sich unterschieden werden. Vielmehr sind Abweichungen von einer durch Material- und Fabrikationsart bedingten Textur zu erkennen und diese quantitativ und möglichst auch qualitativ zu bewerten.This image has the property of a texture. An error in a substance causes a texture disorder or change, which is signaled by the human observer as local conspicuousness. This should not be differentiated textures per se. Rather, deviations from a texture caused by material and production type are to be recognized and to evaluate these quantitatively and if possible also qualitatively.

Zur objektiven Beurteilung von Fehlern wurde unter Beachtung von Materialeigenschaften und der enormen Fehlervielfalt der statistische Zugang gewählt. Er beruht auf der Berechnung von Merkmalen (vornehmlich gewichteten Flächenmomenten und deren Modifikation) aus Häufigkeitsverteilungen (Histogrammen) verschieden hoher Ordnung über Grauwerten von Bildeleme. iten, die während der Analyse der optoelektronisch abgebildeten Materialoberfläche aus systematisch verschiebbaren Bildfragmenten entnommen werden. Die erhaltenen Merkmalswerte hängen von der Textur bzw. ihrer Störung, der Beleuchtungsart und von der geometrischen und teilweise auch von der densitometrischen Auflösung ab. Sobald ein Fehler von dem positionierten Bildfragment erfaßt wird, zeigen die Merkmalswerte keine, eine geringe bzw. eine wesentliche Abweichung, die von der Stoff-, besonders aber von der Fehlerart abhängig ist. Dabei stützt sich die Fehlererkennung auf die Erkennung der Abweichungen von textureilen Merkmalswerten gegenüber solchen prototypischen Werten, die aus fehlerfreien Bildregionen des gleichen Materials unter gleichen Aufnahmebedingungen gewonnen werden. Die Verteilungen der Merkmalswerte aus einer Folge von Bildfragmenten über einem fehlerfreien Gebiet unterliegenIn order to objectively assess errors, the statistical approach was chosen, taking into account material properties and enormous diversity of errors. It is based on the calculation of features (mainly weighted area moments and their modification) from frequency distributions (histograms) of different order over gray values of Bildeleme. These are taken from systematically displaceable image fragments during the analysis of the opto-electronically imaged material surface. The obtained feature values depend on the texture or its disturbance, the type of illumination and on the geometric and in part also on the densitometric resolution. As soon as an error is detected by the positioned image fragment, the characteristic values do not show any, a slight or a significant deviation, which depends on the type of material, but especially on the type of error. The error detection is based on the recognition of the deviations of texture feature values against such prototypical values, which are obtained from defect-free image regions of the same material under the same recording conditions. The distributions of the feature values from a sequence of image fragments over a defect-free area are subject

texturbedingten Streuungen, die sich durch Streuparameter kennzeichnen lassen, und aus welchen in einer Lernphase die zwei Parallelepipede mit Toleranzschwellen für den sequentiellen Klassifikator konstruiert werden.texture-related scattering, which can be characterized by scattering parameters, and from which, in a learning phase, the two parallelepipeds are constructed with tolerance thresholds for the sequential classifier.

AusführungsbaispleleAusführungsbaisplele

Die Erfindung soll nachstehend an dem Ausführungsbeispiel „Detektion von Fabrikationsfehlern in unifarbenen, ungemusterten Stoffen" erläutert werden. Die zugehörigen Zeichnungen zeigen inThe invention will be explained below with reference to the embodiment "detection of manufacturing defects in plain-colored, unpatterned fabrics." The accompanying drawings show in fig

Fig. 1: die prinzipiellen Verarbeitungsstufen des VerfahrensFig. 1: the basic processing stages of the process

Fig. 2: die nachgezeichnete Silhouette eines für das Beispiel ausgewählten Webfehlers (Dickstelle [links] mit Nest [rechts]) Fig.3: das Prinzip der Erzeugung von 1- und 2dimensionalen Histogrammen aus Häufigkeitszählungen von Grauwerten (linksFIG. 2: the traced silhouette of a weaving error selected for the example (thick spot [left] with nest [right]) FIG. 3: the principle of generating 1- and 2-dimensional histograms from frequency counts of gray values (left

unten) bzw. Grauwertpaaren (rechts unten), die jus einem Bildfragment (oben) entnommen werden Fig. 4: das in der Lernphase aus den Extremwerten konstruierte Parallelepiped (hier für 2 Dimensionen als Rechtecke gezeichnet) zur Unterscheidung der aktiven von den passiven Texturmerkmalen und zur Berechnung der Fehlerausprägung in der Detektionsphase bei einer gegebenen Position des Bildfragments. Die Zahlen geben die Gewichte für die Aufsummierung nach Formel (unten) zur Fehlerausprägung anbelow) or gray-scale pairs (bottom right), which are taken from a picture fragment (above). Fig. 4: the parallelepiped constructed from the extreme values in the learning phase (drawn here as rectangles for 2 dimensions) to distinguish the active from the passive texture features and for calculating the error occurrence in the detection phase at a given position of the image fragment. The numbers indicate the weights for the summation according to the formula (below) for the error characteristics

Fig. 5: Beispiel für die zweistufige Klassifikation mit Einteilung in fehlerfreie, fehlerverdächtige und fehlerhafte Bildfragmente Fig. 6: das Fehlerbild (oben) des Webfehlers nach Fig. 2 als Gesamtheit der Fehlerausprägungen nach der Wichtung der Merkmale durch das Parallelepiped PE2, das mediangeglättete und mit der Schwelle T2 in fehlerfreie und fehlerhafte Bildfragment klassifizierte Rehlerbild (Mitte) und die fehlerbeschreibenden, morphometrischen Merfcmalswerte (unten) als Protokoll des detektieren Fehlers.5: Example of the two-stage classification with classification into error-free, suspect and defective image fragments FIG. 6: the error image (top) of the weaving error according to FIG. 2 as a whole of the error characteristics after the weighting of the features by the parallelepiped PE2, the median-smoothed and Error image (center) classified with the threshold T2 into error-free and faulty image fragments and the error-describing, morphometric merfcmals values (below) as a record of the detected defect.

Das erfindungsgemäße Verfahren ist nach Fig. 1 durch einen schrittweisen Ablauf einer Fehlerdetektion gekennzeichnet. Im einzelnen sind die Bildverarbeitungsschritte:The inventive method is characterized by Fig. 1 by a stepwise sequence of error detection. In detail, the image processing steps are:

1. Zunächst wird ein digitales Bild durch zeilenweises Abtasten eines gleichmäßig bewegten, textlien Stoffes durch eine (CCD)-Festkörper-Zeilenkamera mit Beleuchtungseinrichtung und Analog/Digital-Wandler von der Stoffoberfläche in Remission nach Fig. 2 erzeugt und z. B. als 128 χ 128 χ 4-bit-Bild im Speicher eines Biidverarbeitungssystems abgelegt.1. First, a digital image is generated by line by line scanning of a uniformly moving, textlien substance by a (CCD) solid-line camera with illumination device and analog / digital converter from the fabric surface in remission of FIG. 2 and z. B. stored as 128 χ 128 χ 4-bit image in the memory of a Biidverarbeitungssystems.

2. Das gespeicherte Bild wird entweder als unbearbeitetes Rohbild zur weitoren Verarbeitung bereitgehalten oder einer Bildverbesserung (z. B. Kontrastverstärkung) durch Histogramm-Modifikation und gegebenenfalls einer Kantenverstärkung (z.B. approximierte Differentialoperation) durch lokale Operationen unterworfen.2. The stored image is either provided as a raw raw image for further processing or subjected to image enhancement (eg, contrast enhancement) by histogram modification and optionally edge enhancement (e.g., approximated differential operation) by local operations.

3. Zur Realisierung der Lernphase werden im Bild einer vom Fachmann als fehlerfrei ausgewiesenen Stoffregion möglichst viele 16x16-Bildfragmente wahlweise positioniert, aus ihnen die Häufigkeiten der Grauwerte und Grauwertpaare durch Aufsummierung bestimmt und zu 1-bzw. 2dimensionalen Histogrammen zusammengefaßt (s. Fig.3). Aus dem Idimensionalen Histogramm HIS(I), I = 0,1,..., R-1, mit R Graustufen lassen sich die Werte der Merkmale: Spannweiten WE und WZ aus den 1%igen bzw. 10%igen oberen und unteren Quantilen3. In order to realize the learning phase, as many 16 × 16 image fragments as possible are positioned in the image of a substance region identified by the person skilled in the art as error-free, from which the frequencies of the gray values and gray value pairs are determined by summation and to 1 or. Summarized 2dimensional histograms (see Fig.3). From the Idimensional Histogram HIS (I), I = 0,1, ..., R-1, with R gray levels, the values of the features can be: Spans WE and WZ from the 1% and 10% upper and lower quantiles

Maximale Häufigkeit HMMaximum frequency HM

II*HIS(I)/MOII * HIS (I) / MO

Z(I-M1)²*HIS(I)/MOZ (I-M1) ² * HIS (I) / MO

VA/M1VA / M1

Σ I * HIS(I)/MOΣ I * HIS (I) / MO

Z(l-M1)³«HIS(l)/M07(VA)Z (l-M1) ³ «HIS (l) / M07 (VA)

Σ HIS(IUMOΣ HIS (IUMO

Σ ABS (HIS(I) - MO/R)/SQRT(HIS(I)(1 - HIS(I)/MO) + (1 - 1/R ♦ MO)Σ ABS (HIS (I) - MO / R) / SQRT (HIS (I) (1 - HIS (I) / MO) + (1 - 1 / R ♦ MO)

berechnen, wobei MO = HIS(I) die Summe der Häufigkeit oder die Anzahl aller, hier 256, Bildelemente des Fragmentes ist. Das 2dimensionale Histogramm (auch Co-occrrence-Matrix genannt) CM(I, J), I, J = 0,1,..., R-I, liefert die Werte der Merkmale:where MO = HIS (I) is the sum of the frequency or the number of all, here 256, pixels of the fragment. The 2-dimensional histogram (also called the co-occrence matrix) CM (I, J), I, J = 0,1, ..., R-I, provides the values of the features:

MittelwertAverage M1M1 Varianzvariance VAVA Variationskoeffizientcoefficient of variation VKVK Kontrastcontrast M2M2 Schiefecrookedness SKSK Energieenergy ENEN Modulmodule MoMo

Mittelwert bez.Mean value IM10 = ΣΣΙ*IM10 = ΣΣΙ * CM/MOOCM / MOO Mittelwert bez.Mean value JM01= ΣΣJ JM01 = ΣΣJ ► CM/MOO► CM / MOO und mitand with M11 = ΣΣΙ»M11 = ΣΣΙ » J « CM/MOOJ "CM / MOO undand M20 = ΣΣΙ»M20 = ΣΣΙ » CM/MOOCM / MOO undand MO2 = ΣΣJ MO2 = ΣΣJ ► CM/MOO► CM / MOO Varianz bez.Variance IVAX = M20IVAX = M20 -M10*-M10 * Varianz bez.Variance JVAY = MO2JVAY = MO2 - M01*- M01 * Kovarianzcovariance COV = M11·COV = M11 -M10*MO1-M10 * MO1 Energieenergy ASM = ΣΣΰΜ/ΜΟΟASM = ΣΣΰΜ / ΜΟΟ Kontrastcontrast SDM = ΣΣ (ISDM = ΣΣ (I Homogenitäthomogeneity IDM = ΣΣαIDM = ΣΣα - J) « CM/MOO- J) «CM / MOO Λ/(1 +(I-J))/MOOΛ / (1 + (I-J)) / MOO

wobei MOO = CM(I, J) die Summe der Paarhäufigkeiten, hier 784, ist. Aus den Merkmalswerten der verschiedenen Fragmentpositionen ergeben sich für je Jes Merkmal die Streuparameter z. B. in Form ihrer Extremwerte MIN(Fn) und MAX(Fn), die als Toleranzschwellen für die Konstruktion der zwei Parallelepipede PE 1 und PE 2 im entsprechend dimensionierten Merkmalsraum dienen.where MOO = CM (I, J) is the sum of the pair frequencies, here 784. From the feature values of the different fragment positions, the scattering parameters z. B. in the form of their extreme values MIN (Fn) and MAX (Fn), which serve as tolerance thresholds for the construction of the two parallelepipeds PE 1 and PE 2 in the correspondingly dimensioned feature space.

Schnell berechenbare Merkmale sind beispielsweise die 1%- und 10%igen oberen und unteren Quantile, die zugehörigen Spannweiten WE bzw. WZ und die Summen SE bzw. SZ oder die maximale Häufigkeit HM. Diese Merkmale bilden das Parallelepiped PE 1, die übrigen Merkmale das Parallelepiped PE 2.Quickly calculable features are, for example, the 1% and 10% upper and lower quantiles, the associated spans WE and WZ and the sums SE and SZ or the maximum frequency HM. These features form the parallelepiped PE 1, the remaining features the parallelepiped PE 2.

Weiterhin werden in der Lern- bzw. Einstellphase die zwei Schwellen T1 und T2 festgelegt. Mit der Schwelle T1 erfolgt in der ' 'Men Stufe des sequentiellen Klassifikators eine Unterscheidung der Fehlerausprägung dos aktuellen Bildfragmentes in fehlerfrei und fehlerverdächtig. Mit der Schwelle T2 erfolgt in der zweiten Stufe eine Unterscheidung in fehlerfrei und fehlerhaft.Furthermore, in the learning or setting phase, the two thresholds T1 and T2 are set. With the threshold T1 in the '' Men 'stage of the sequential classifier, a distinction is made between the error occurrence of the current image fragment in error-free and suspect. With the threshold T2 in the second stage, a distinction in error-free and incorrect.

4. In der Detektionsphase wird das Bildfragment über dem Bild der zu inspizierenden Stoffregion (praktisch über den ganzen Stoffballen) lückenlos und gegenseitig halb überlappend positioniert, die Histogramme in jeder Position erstellt, die Merkmalswerte errechnet und diese durch das in der Lernphase unter gleichen Bedingungen konstruierte Epiped PE 1 daraufhin bewertet, welche und wieviel aktive Merkmale ihre eigenen Toleranzschwellen überschreiten. Die Anzahl der Überschreitungen, die vorteilhaft mit dem Abstand von den Schwellen gewichtet sind, ist die lokale Fehlerausprägung an der momentanen Position des Bildfragments.4. In the detection phase, the image fragment is positioned over the image of the material region to be inspected (practically over the whole tissue) gaplessly and mutually half overlapping, the histograms are created in each position, the feature values are calculated and constructed by the same conditions during the learning phase Epiped PE 1 then evaluates which and how many active features exceed their own tolerance thresholds. The number of transgressions that are advantageously weighted with the distance from the thresholds is the local error severity at the current position of the image fragment.

Die lokale Fehlerausprägung wird mittels der Schwelle T1 in „fehlerfreies Bildfragment" oder „fehlerverdächtiges Bildfragment" klassifiziert. Liegt ein fehlerfreies Bildfragment vor, wird die Verarbeitung mit der nächsten Fensterposition fortgesetzt. Im anderen Fall werden analog zum Vorgehen mit dem Satz schnell berechenbarer Merkmale die übrigen Merkmale mit dem Parallelepiped PE 2 auf gleiche Weise gewichtet. Mit der Schwelle T2 wird in „fehlerfreies Bildfragment" oder „fehlerhaftes Bildfragment" klassifiziert.The local error severity is classified by the threshold T1 in "error-free image fragment" or "suspect image fragment". If there is an error-free image fragment, processing continues with the next window position. In the other case, analogously to the procedure with the set of quickly calculable features, the other features are weighted in the same way with the parallelepiped PE 2. The threshold T2 is classified into "error-free image fragment" or "defective image fragment".

Das sog. Fehlerbild (Fig. 5) enthält da: Ergebnis der Detektionsphase. Die schwachen Punkte zeigen fehlerfreie Bildfragmente, die stärker ausgeprägten Punkte fehlerverdächtige und das Plus zeigt fehlerhafte Bildfragmente an. Ein Beispiel für den zweiten Klassifikationsschritt gibt Fig. 6. Die Nullen im Fehlerbild zeigen die fehlerfreien und die Zahlen größer als Null die fehlerverdächtigen Gebiete nach dem Maß der Fehlerausprägung an. Nach der Klassifikation mit der Schwelle T2 entsteht das binäre Fehlerbild (Fig.6, Mitte). Vor dieser Klassifikation ist es möglich, das Fehlerbild (Fig.6, oben) mittels direktorialen Medianfilter zu glätten und zu restaurieren.The so-called error image (FIG. 5) contains: result of the detection phase. The weak points show faultless image fragments, the more pronounced points suspect and the plus indicates faulty image fragments. An example of the second classification step is given in FIG. 6. The zeroes in the error image indicate the error-free and the numbers greater than zero indicate the regions suspected to be faulty according to the extent of the error. After the classification with the threshold T2, the binary error image arises (FIG. 6, middle). Prior to this classification, it is possible to smooth out and restore the defect image (FIG. 6, top) by means of directorial median filters.

5. Das binäre Fehlerbild kann jetzt einer Segmentierung durch das Zeilenkoinzidenzverfahren mit einer Größen- und Formanalyse durch gleichzeitige Berechnung der morphometrischen Merkmale5. The binary error image can now be segmented by the line coincidence method with size and shape analysis by simultaneously calculating the morphometric features

Ausdehnung in Schußrichtung DX = MAX (X)-MIN (X)+ 1Extension in weft direction DX = MAX (X) -MIN (X) + 1

Ausdehnung in Kettrichtung DY = MAX(Y)-MIN (Y) + 1Stretch in the warp direction DY = MAX (Y) -MIN (Y) + 1

Fläche des umschreibenden Rechtecks REG =DX*DYSurface of the circumscribing rectangle REG = DX * DY

Fläche der Fehlersilhouette ARE = Summe der 1-PixelArea of error silhouette ARE = sum of 1-pixel

Formfaktor FOR = 10*DX/DYbzw.- 10»DY/DXForm factor FOR = 10 * DX / DYbzw.- 10 »DY / DX

Füllfaktor FUL =100 «ARE/REGFill factor FUL = 100 «ARE / REG

für die einzelnen Fehler unterworfen werden. Damit ist eine Beschreibung und Protokollierung der Fehler (wie in Fig. 5 und Fig. 6, unten, für die Beispiele gezeigt) möglich. Die detektieren Fehler lassen sich nach ihren Orten (XCO, YCO), Ausdehnungen in Schuß- und Kettrichtung (DX, DY), nach ihren Flächen (REG bzw. ARE), ihren geometrischen Formen (FOR) und der Füllung (FUL) des umschreibenden Rechtecks unterscheiden. Im Beispielsfall (Fig. 6) handelt es sich um einen Fehler der äußeren Abmessung von 14 χ 7 Längeneinheiten (4 28mm χ 14mm), der Silhouettenfläche von 52 Flächeneinheiten (A 208mm²), die 63% der Fläche des Fehlerumschreibenden Rechteckes von 98 Flächeneinheiten (A 392 mm¹] ausfüllt; der Fehler ist in Schußrichtung um den Faktor 2 (FOR = 20) ausgedehnt.'be subjected to the individual mistakes. Thus, a description and logging of the errors (as shown in Figs. 5 and 6, below, for the examples) is possible. The detected errors can be broken down into their locations (XCO, YCO), weft and weft dimensions (DX, DY), their areas (REG or ARE), their geometric shapes (FOR) and the fill (FUL) of the circumscribing Distinguish rectangles. In the example case (FIG. 6), this is an error of the outer dimension of 14 × 7 length units (4 × 28 mm × 14 mm), the area of 52 area units (A = 208 mm ² ), which is 63% of the area of the error-circumscribing rectangle of 98 area units (A 392 mm ¹ ], the error is widened in the weft direction by a factor of 2 (FOR = 20). '

Claims

Method for the rapid automatic recognition of defects in plain, unpatured or weakly patterned webs, in which a two-dimensional digital raster image is generated from the goods surface, stored and optionally processed with known neighborhood operations and then by means of displaceable image fragments gray scale histogranins of different high order for determining the intensity and structure relationships are obtained and in a preceding learning phase from a defect-free image region of the fabric surface, image fragments are obtained from which gray value histograms and tolerance thresholds are predicted from texture features that define parallelepiped in the feature space and in a subsequent detection phase over the entire raster image of the complete WarenoberflS: We bildfragmente used for the generation of the gray scale histograms and for the calculation of the same characteristics

be the number of transgressions or the distance from the respective ones

Tolerance thresholds to determine weighted overshoots of these thresholds indicating the local error severity and ^; n describe the fault pattern of the web in its entirety, characterized

that as many image fragments as possible are positioned in the learning phase over a region of the raster image of the web surface identified as a defect-free region, from which the gray value histograms and from them the target values of the texture features are determined, that the scattering of the features is used to set the tolerance thresholds of two parallelepipeds in the feature space in which the setting of the first parallelepiped is based on some quickly calculable features and on the second parallelepiped on all other features,

Furthermore, two thresholds with which the parallelepiped-weighted feature sets can be classified are set, the first threshold being selected such that in error-free image regions not used for learning, the proportion of image fragments classified as suspect in the coarse analysis of the ensemble all image fragments is so small that a predetermined increase in the processing speed is achieved and the second threshold is automatically determined from the frequency characteristic of the error characteristics of error-free, not used for learning image regions, that in the subsequent detection phase above the raster image generated under the same conditions image fragments are generated from which the actual values of the quickly calculable features are determined by means of the gray value histograms in a first stage and weighted by means of the first parallelepiped,

wherein the number of tolerance threshold overruns represents a local error severity and the first threshold determines whether it is an error-free or suspect image fragment,

in the case of a defect-free image fragment for processing the next image fragment is transferred and in the case of Fohlerviews image fragment in a second stage, the actual values of all other features determined and weighted by the second parallelepiped, the number of tolerance overruns again represents a local error severity and second threshold, whether it is an error-free or a faulty image fragment,

and that the error occurrences of all fragment positions are combined to form an error image, which is then subjected to segmentation and morphometric analysis for characterization of the errors using methods of digital image processing which are known per se