ITBO980471A1

ITBO980471A1 - PROCEDURE AND APPARATUS FOR QUALITY CONTROL OF A PRODUCTION LINE.

Info

Publication number: ITBO980471A1
Application number: IT98BO000471A
Authority: IT
Inventors: Antonio Messina
Original assignee: Antonio Messina
Priority date: 1998-07-30
Filing date: 1998-07-30
Publication date: 2000-01-30
Also published as: WO2000007145A1; EP1105841A1; IT1306273B1

Description

DESCRIZIONE DESCRIPTION

annessa a domanda di brevetto per INVENZIONE INDUSTRIALE dal titolo: attached to a patent application for INDUSTRIAL INVENTION entitled:

PROCEDIMENTO ED APPARATO PER IL CONTROL-LO DI QUALITÀ IN UNA LINEA DI PRODUZIONE. PROCEDURE AND APPARATUS FOR QUALITY CONTROL IN A PRODUCTION LINE.

La presente invenzione concerne un procedimento ed un apparato per il controllo di qualità in una linea di produzione. The present invention relates to a process and an apparatus for quality control in a production line.

E' noto che, in svariati settori della produzione industriale, sono utilizzati sistemi computerizzati per il controllo di qualità, i quali si basano sostanzialmente sul confronto delle immagini acquisite mediante una o più video camere dei prodotti in lavorazione con immagini di riferimento memorizzate. It is known that, in various sectors of industrial production, computerized systems for quality control are used, which are substantially based on the comparison of the images acquired by means of one or more video cameras of the products being processed with stored reference images.

A titolo di esempio, fra i campi di applicazione di detti sistemi, vi sono: By way of example, the fields of application of these systems include:

la produzione di piastrelle nell'industria ceramica; the production of tiles in the ceramic industry;

la produzione di carte plastificate dotate di banda magnetica o microchip; the production of plastic-coated cards equipped with a magnetic strip or microchip;

- la selezione di oggetti da parte di robot; - the selection of objects by robots;

la stampa a fini diversi (banconote, d'arte, su tessuti) Tipicamente, nella lavorazione di un prodotto, possono essere introdotti vari difetti nella struttura dell'oggetto (irregolarità dei contorni, non planarità, bolle, crateri, fratture, difetti di laminazione, errata collocazione di componenti, ecc.) oppure nel disegno su di esso riprodotto (irregolarità, disuniformità di toni, macchie, difetti di stampa, ecc.). Inoltre, effettuando l'ispezione del prodotto in lavorazione mediante una video camera, ulteriori apparenti difetti sono generalmente introdotti dal sistema di acquisizione dell'immagine, derivanti da fluttuazioni casuali nell'intensità dei pixel. printing for different purposes (banknotes, art, on fabrics) Typically, in the processing of a product, various defects can be introduced in the structure of the object (irregularities of the contours, non-flatness, bubbles, craters, fractures, lamination defects , wrong placement of components, etc.) or in the drawing reproduced on it (irregularities, non-uniformity of tones, spots, printing defects, etc.). Furthermore, by carrying out the inspection of the product being processed by means of a video camera, further apparent defects are generally introduced by the image acquisition system, deriving from random fluctuations in the intensity of the pixels.

Scopo principale della presente invenzione è quello di fornire un procedimento ed un apparato per l'individuazione, automatica ed in tempo reale, di difetti di produzione in un oggetto, indipendentemente dal rumore introdotto dal sistema di acquisizione dell'immagine ed in conformità di parametri di controllo prefissati. The main purpose of the present invention is to provide a process and an apparatus for the identification, automatic and in real time, of production defects in an object, regardless of the noise introduced by the image acquisition system and in compliance with parameters of pre-set control.

E' in particolare scopo dell'invenzione quello di fornire un sistema computerizzato per il controllo di qualità in una linea di produzione, sistema che sia in grado di individuare difetti in un prodotto con una sensibilità analoga e non inferiore a quella dell'occhio umano. In particular, the aim of the invention is to provide a computerized system for quality control in a production line, a system which is capable of identifying defects in a product with a sensitivity similar to and no less than that of the human eye.

Ulteriore scopo dell'invenzione è quello di fornire un sistema che sia in grado di misurare le differenze fra l'immagine di un prodotto ed un’immagine di riferimento di esso e conseguentemente di individuare i prodotti la cui immagine si differenzia dall'immagine di riferimento in misura maggiore di un valore di soglia prefissato, operando nel caso una scelta differenziata. A further purpose of the invention is to provide a system that is able to measure the differences between the image of a product and a reference image of it and consequently to identify the products whose image differs from the reference image. to a greater extent than a predetermined threshold value, making a differentiated choice in the case.

E’ anche scopo dell’invenzione quello di fornire un sistema per il confronto di immagini acquisite mediante video camera con un’immagine di riferimento, il quale sistema consenta di individuare con una sola procedura differenze geometriche, di planarità, nel disegno o nelle tonalità di esso, fra le immagini acquisite e quella di riferimento, anche in presenza di eventuali traslazioni, rotazioni e variazioni di scala. It is also an object of the invention to provide a system for comparing images acquired by means of a video camera with a reference image, which system allows the identification of geometric differences, of planarity, in the design or in the color tones, with a single procedure. it, between the acquired images and the reference one, even in the presence of any translations, rotations and scale variations.

I suddetti scopi sono conseguiti con un procedimento ed un apparato in conformità di quanto indicato nelle allegate rivendicazioni. The aforesaid objects are achieved with a process and an apparatus in accordance with what is indicated in the attached claims.

I vantaggi e le caratteristiche del presente trovato risulteranno evidenti dalla descrizione dettagliata che segue, fatta con riferimento ai disegni allegati, che ne rappresentano una forma di realizzazione puramente esemplificativa e non limitativa, in cui: The advantages and characteristics of the present invention will become evident from the detailed description which follows, made with reference to the attached drawings, which represent a purely exemplary and non-limiting embodiment thereof, in which:

la figura 1 illustra schematicamente un apparato secondo l'invenzione; Figure 1 schematically illustrates an apparatus according to the invention;

la figura 2 è un diagramma a blocchi di una sequenza operativa dell'apparato di figura 1. Figure 2 is a block diagram of an operating sequence of the apparatus of Figure 1.

Con riferimento alla figura 1 , un apparato secondo la presente invenzione, per il controllo di qualità di una linea di produzione, comprende sostanzialmente una video camera 1, un sistema di illuminazione 2, un frame grabber 3 ed una unità 4 di elaborazione e controllo. La video camera 1 può essere di tipo lineare a colori, provvista di un'ottica di luminosità media e di un filtro di conversione della temperatura di colore. La video camera 1 è posizionata al disopra di un nastro trasportatore 5, sul quale giacciono i prodotti (ad es. piastrelle ceramiche) ed è preferibilmente orientabile per consentire l'acquisizione ottimale dell'immagine, conformemente al sistema di trasporto degii oggetti. With reference to Figure 1, an apparatus according to the present invention, for quality control of a production line, substantially comprises a video camera 1, a lighting system 2, a frame grabber 3 and a processing and control unit 4. The video camera 1 can be of the linear color type, provided with a medium brightness optics and a color temperature conversion filter. The video camera 1 is positioned above a conveyor belt 5, on which the products (for example ceramic tiles) lie and is preferably orientable to allow the optimal acquisition of the image, in accordance with the transport system of the objects.

La video camera 1 è inoltre preferibilmente supportata in modo da poterne variare la quota in funzione delle dimensioni degli oggetti da inquadrare e delle caratteristiche ottiche del sistema. The video camera 1 is also preferably supported so as to be able to vary its height according to the size of the objects to be framed and the optical characteristics of the system.

Il sistema di illuminazione 2, che può essere costituito da lampade 20 alogene, è strutturato in modo da consentire una opportuna illuminazione dell’oggetto, a seconda dell'ispezione voluta effettuare. Ad esempio, nel caso in cui si vogliano individuare difformità nelle tonalità di colori, il fascio luminoso deve incidere normalmente alla superficie dell’oggetto. Un filtro dicroico, un array lenticolare e mezzi per il brandeggio rispetto alla verticale possono inoltre essere vantaggiosamente previsti. The lighting system 2, which can consist of 20 halogen lamps, is structured in such a way as to allow appropriate illumination of the object, depending on the desired inspection. For example, if you want to identify discrepancies in the shades of colors, the light beam must normally affect the surface of the object. A dichroic filter, a lenticular array and means for tilting with respect to the vertical can also be advantageously provided.

Qualora l'acquisizione dell'immagine sia effettuata mediante una video camera di tipo lineare, una fotocellula a riflessione è prevista posizionata ortogonale al nastro trasportatore. Ciò consente di generare segnali di Start e di Stop, necessari per limitare l'acquisizione alle sole parti di interesse e per sincronizzare il tratto di trasporto con l'acquisizione stessa. If the image is acquired by means of a linear video camera, a reflection photocell is provided orthogonal to the conveyor belt. This allows to generate Start and Stop signals, necessary to limit the acquisition only to the parts of interest and to synchronize the transport section with the acquisition itself.

Sia il frame grabber 3 che l'unità 4 di elaborazione e controllo possono essere scelti in funzione delle specifiche esigenze legate alla linea di produzione. In particolare l’unità 4 può essere costituita da un personal computer. Both the frame grabber 3 and the processing and control unit 4 can be chosen according to the specific needs related to the production line. In particular, unit 4 can consist of a personal computer.

In ogni caso il funzionamento dell'apparato è sostanzialmente conforme a quanto descritto nel seguito ed illustrato in figura 2. In any case, the operation of the apparatus substantially conforms to what is described below and illustrated in figure 2.

All'inizio della produzione si acquisiscono, nelle stesse condizioni, e si memorizzano più immagini campione di oggetti privi di difetti. Si definisce successivamente un'immagine di riferimento costituita da una "media" delle immagini campione. Detta "media" può essere, ad esempio, ottenuta mediando i valori dei pixel corrispondenti delle immagini acquisite. Nel caso in cui si disponga di un’immagine virtuale realizzata, ad esempio, con strumenti di grafica computerizzata, le immagini campione possono essere generate computazionalmente sommando all’immagine virtuale il rumore prodotto dal sistema di acquisizione. At the start of production, multiple sample images of defect-free objects are acquired under the same conditions and stored. A reference image is subsequently defined consisting of an "average" of the sample images. Said "average" can be obtained, for example, by averaging the values of the corresponding pixels of the acquired images. If you have a virtual image made, for example, with computer graphics tools, the sample images can be computationally generated by adding the noise produced by the acquisition system to the virtual image.

Viene poi calcolato un parametro IM (più dettagliatamente descritto nel seguito), ad esempio per ogni immagine campione acquisita o generata, che misura la "distanza" dall'immagine di riferimento. Si determinano quindi il valor medio <IM> e l'errore corrispondente σ dei valori IM calcolati rispetto ad una distribuzione statìstica scelta in funzione dei criteri di controllo della qualità che si desiderano applicare al prodotto. An IM parameter is then calculated (described in more detail below), for example for each sample image acquired or generated, which measures the "distance" from the reference image. The mean value <IM> and the corresponding error σ of the IM values calculated with respect to a static distribution chosen according to the quality control criteria to be applied to the product are then determined.

A titolo di esempio, qualora i difetti si conoscano (o suppongano) distribuiti in modo normale e si voglia individuare tutti i prodotti la cui immagine si differenzia dall’immagine di riferimento oltre un certo limite, il valor medio <IM> è costituito dalla media aritmetica dei valori IM e σ è lo scarto quadratico medio. L’errore calcolato è vantaggiosamente utilizzato per definire un intervallo i( σ) (ad es. i = 2o) di valori accettabili per i successivi parametri IM relativi agli oggetti prodotti. By way of example, if the defects are known (or assumed) to be distributed in a normal way and you want to identify all the products whose image differs from the reference image beyond a certain limit, the average value <IM> is made up of the average arithmetic of the values IM and σ is the standard deviation. The calculated error is advantageously used to define an interval i (σ) (e.g. i = 2o) of acceptable values for the subsequent IM parameters relating to the objects produced.

Infatti, dato inizio alla produzione, le immagini degli oggetti in lavorazione sono a loro volta acquisite ed elaborate digitalmente, in modo da calcolare e correggere eventuali spostamenti, rotazioni o variazioni di scala rispetto aH’immagine campione. Come illustrato in fig. 2, in questo caso l’unità 4 deve consentire l’elaborazione parallela dell’algoritmo. Qualora la tipologia del prodotto in lavorazione (ad es. piastrelle o carte plastificate) e/o la meccanica del sistema garantiscano l’assenza di tutte o di alcune delle alterazioni sopra indicate, le fasi di calcolo descritte non sono necessarie in tutto o in parte e l'analisi di qualità può essere effettuata in tempi più rapidi. In fact, once production begins, the images of the objects being processed are in turn acquired and processed digitally, in order to calculate and correct any displacements, rotations or changes in scale with respect to the sample image. As illustrated in fig. 2, in this case unit 4 must allow parallel processing of the algorithm. If the type of product being processed (e.g. tiles or plasticized cards) and / or the mechanics of the system guarantee the absence of all or some of the alterations indicated above, the calculation steps described are not necessary in whole or in part. and the quality analysis can be done more quickly.

Per ciascuna immagine acquisita ed eventualmente rielaborata per riprodurre le condizioni dell’immagine di riferimento, si calcola il parametro IM. Se il suo valore cade nell’intervallo i precedentemente definito il prodotto è considerato privo di difetti, altrimenti è individuato come di qualità non accettabile. In effetti, in considerazione della natura statistica del criterio adottato, l’appartenenza del valore calcolato del parametro IM all’intervallo i prestabilito garantisce l’assenza di difetti nei limiti percentuali corrispondenti alla larghezza dell’intervallo. For each image acquired and possibly reprocessed to reproduce the conditions of the reference image, the IM parameter is calculated. If its value falls within the range i previously defined, the product is considered free of defects, otherwise it is identified as being of unacceptable quality. In fact, in consideration of the statistical nature of the criterion adopted, the belonging of the calculated value of the IM parameter to the predetermined interval i guarantees the absence of defects within the percentage limits corresponding to the width of the interval.

E’ evidente che la scelta della funzione di distribuzione per IM determina sostanzialmente i criteri di controllo applicati. In particolare, con un sistema in conformità dell’invenzione, è possibile effettuare un controllo di qualità sostanzialmente analogo a quello effettuato visivamente da un operatore, considerando accettabili difetti non rilevabili a occhio nudo. Inoltre, definendo più intervalli di valori per IM, è possibile individuare produzioni di diversa qualità. Infatti, sulla base dei valori calcolati di IM per ogni immagine acquisita, l'unità 4 di elaborazione e controllo può inviare comandi a valle della linea di produzione per instradare automaticamente i prodotti (ad es. le piastrelle) individuati come di qualità diversa nei rispettivi punti di raccolta. It is clear that the choice of the distribution function for IM substantially determines the control criteria applied. In particular, with a system in accordance with the invention, it is possible to carry out a quality control substantially similar to that carried out visually by an operator, considering acceptable defects that cannot be detected with the naked eye. Furthermore, by defining multiple ranges of values for IM, it is possible to identify productions of different quality. In fact, based on the calculated values of IM for each acquired image, the processing and control unit 4 can send commands downstream of the production line to automatically route the products (e.g. tiles) identified as having different quality in their respective collection points.

Le prove effettuate hanno dimostrato che il sistema proposto è in grado di rilevare minimi difetti nell’oggetto in lavorazione, indipendentemente dal livello di rumore introdotto dal sistema di acquisizione dell'immagine. Ciò comporta il vantaggio di poter utilizzare anche vìdeo camere di basso costo, senza pregiudicare l’efficienza del sistema. The tests carried out have shown that the proposed system is able to detect minimal defects in the object being processed, regardless of the noise level introduced by the image acquisition system. This has the advantage of being able to use low-cost video cameras, without compromising the efficiency of the system.

Per quanto concerne l’algoritmo di calcolo utilizzato, questo è basato sostanzialmente sulla tecnica di confronto fra due immagini bidimensionali s(x,y) e r(x,y) detta Symmetric Phase-Only Matched Filtering dei descrittori invarianti di Fourier-Mellin delie immagini (SMI-SPOMF) (cfr. Q.S. Chen et al., Symmetric Phase-Oniy Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, Voi. 16, No. 12, December 1994). In questa tecnica, si estraggono e si correlano le fasi delle due immagini medìante antitrasformata della correlazione fra i trasformati S(u,v) e R(u,v) in Fourier delle due immagini - o di loro mappa in spazi polari logaritmici - normalizzati alle ampiezze. L’antitrasformata fornisce una misura della “distanza" fra le immagini ed, in particolare, nel continuo si ottiene una funzione δ di Dirac che permette di individuare traslazioni, rotazioni o fattori di scala. As regards the calculation algorithm used, this is substantially based on the comparison technique between two two-dimensional images s (x, y) and r (x, y) called Symmetric Phase-Only Matched Filtering of the invariant Fourier-Mellin descriptors of the images (SMI-SPOMF) (see Q.S. Chen et al., Symmetric Phase-Oniy Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 16, No. 12, December 1994 ). In this technique, the phases of the two images are extracted and correlated by antitransformation of the correlation between the S (u, v) and R (u, v) Fourier transforms of the two images - or map them in logarithmic polar spaces - normalized to the amplitudes. The antitransformation provides a measure of the "distance" between the images and, in particular, in the continuum a Dirac function δ is obtained which allows to identify translations, rotations or scale factors.

Vantaggiosamente, secondo il presente procedimento, la correlazione dei trasformati in Fourier è filtrata mediante una gaussiana. In questo modo, antitrasformando, nel caso discreto, si ottiene una funzione costituita dalla convoluzione di una gaussiana con una funzione δ di Dirac ed avente un picco centrato sui valori della traslazione, nelle coordinate bidimensionali, ovvero sui valori della rotazione e della variazione di scala. Il parametro IM utilizzato è proporzionale a! valore del picco della funzione antitrasformata. Advantageously, according to the present process, the correlation of the Fourier transforms is filtered by means of a Gaussian. In this way, by anti-transforming, in the discrete case, we obtain a function consisting of the convolution of a Gaussian with a Dirac function δ and having a peak centered on the translation values, in the two-dimensional coordinates, or on the values of the rotation and of the scale variation . The IM parameter used is proportional to! peak value of the antitransform function.

L’uso della gaussiana quale filtro offre il vantaggio di eliminare (u,v) elevati e quindi il rumore del sistema di acquisizione sulle piccole scale e pertanto di determinare con maggiore accuratezza il picco della funzione antitrasformata. The use of the Gaussian as a filter offers the advantage of eliminating high (u, v) and therefore the noise of the acquisition system on small scales and therefore of determining the peak of the antitransformed function with greater accuracy.

Poiché l'algoritmo utilizzato sì presta ad essere parallelizzato con elevata efficienza, i tempi di esecuzione del controllo di qualità possono essere vantaggiosamente ridotti utilizzando un sistema di calcolo comprendente più processori. Ad esempio, utilizzando quattro processori anziché uno, i tempi di esecuzione si riducono a circa 1/4. Since the algorithm used lends itself to being parallelized with high efficiency, the execution times of the quality control can be advantageously reduced by using a calculation system comprising several processors. For example, by using four processors instead of one, the execution times are reduced to about 1/4.

Claims

CLAIMS 1. Process for quality control in a production line by comparing the acquired image of a product with a reference image, characterized by the fact of understanding the phases of: establish an acceptability threshold, depending on the type of control desired, by defining at least one range (s) of values for a parameter (IM) designed to measure the distance between the acquired image of a product and the image of reference; - acquire in sequence the images of the products on the line and for each image acquired, calculate the distance (IM) from the reference image; consider the product acceptable if the calculated distance (MI) falls within the defined interval (/) or consider the product unacceptable if the calculated distance (MI) does not fall within the defined interval.

2. Process according to claim 1, characterized in that, to define an acceptability threshold, the average value (<IM>) and the corresponding error (o) of said parameter (IM) with respect to a statistical distribution function are determined predetermined, said interval (/) being chosen as a function of said error (o).

3. Process according to claim 1 or 2, characterized in that said reference image is constituted by the average of several sample images relating to products of acceptable quality.

4. Process according to claim 1 or 2, characterized in that said reference image consists of the average of several images obtained by adding the noise produced by the acquisition system to a virtual image.

5. Process according to claim 1, characterized by the fact of defining several classes of products corresponding to as many intervals of the parameter (IM) and automatically assigning each product to the class corresponding to the interval in which the value of the parameter (IM) falls, calculated for the product image.

6. Process according to one of the preceding claims, characterized in that said parameter (IM) for measuring the distance between said acquired image s (x, y) of a product and said reference image r (x, y) is proportional to height of the peak of the antitransform of the correlation of the transforms S (u, v), R (u, v) in Fourier of the two images - or map of them in logarithmic polar spaces - normalized to the amplitudes, a constituted filter being applied to said correlation from a Gaussian.

7. Equipment for quality control in a production line comprising at least one video camera (1), a product lighting system (2), a frame grabber (3), a processing and control unit (4), characterized in that it operates according to the process of claims 1 to 6.

8. Apparatus according to claim 7, characterized in that it comprises means for the differentiated selection of the products on the basis of the calculated value of said parameter (IM).

9. Process according to claims 1 to 6 and apparatus according to claims 7 and 8 and according to what is described and illustrated with reference to the figures of the accompanying drawings and for the aforementioned purposes.