CZ308990B6 - A method of processing a pre-processed image and the apparatus for this - Google Patents
A method of processing a pre-processed image and the apparatus for this Download PDFInfo
- Publication number
- CZ308990B6 CZ308990B6 CZ2020157A CZ2020157A CZ308990B6 CZ 308990 B6 CZ308990 B6 CZ 308990B6 CZ 2020157 A CZ2020157 A CZ 2020157A CZ 2020157 A CZ2020157 A CZ 2020157A CZ 308990 B6 CZ308990 B6 CZ 308990B6
- Authority
- CZ
- Czechia
- Prior art keywords
- image
- pixels
- module
- algorithm
- created
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000012935 Averaging Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobuA method of processing a preprocessed image and an apparatus for carrying out this method
Oblast technikyField of technology
Vynález spadá do oblasti digitálního zpracování obrazu. Jedná se o prvotní úpravu obrazu před jeho další analýzou.The invention is in the field of digital image processing. This is the initial modification of the image before its further analysis.
Dosavadní stav technikyState of the art
Zařízení pro zpracování digitálního obrazu, resp. zařízení, které pro svůj účel zpracovávají digitální obraz, je mnoho typů. Nejčastěji je možné se s nimi setkat v průmyslovém prostředí, kdy takové zařízení hodnotí například povrch výrobků a hledá povrchové vady, kontroluje průměr děr, pozici drážek, hloubku výbrusů, výslednou barvu výrobků apod. Cílem je obvykle nahradit lidský faktor při repetitivním hodnocení některého z ukazatelů kvality výrobků. Strojové hodnocení je „vždy“ objektivní, nezávislé na denní době a množství odpracovaných hodin. Bohužel strojové hodnocení je objektivní pouze a jen v případě, že pracuje v neměnných pracovních podmínkách, které se maximálně blíží podmínkám při kalibraci stroje. V případě změny například intenzity okolního osvětlení může dojít k posunu prahu jasností nastavených vnitřně algoritmem a zařízení začne např. přehlížet vady, nebo generovat falešné detekce apod. Takové stavy je poté nutné validovat ručně a opět se do procesu hodnocení kvality zapojuje lidský faktor. Tyto stavy jsou samozřejmě nechtěné a prodražují a zpomalují výrobu. V případě využití zařízení pro kontrolu kvality pomocí hodnocení digitálního obrazuje tedy vždy cíleno na co největší robustnost nejen mechanických prvků, ale i ovládacího a vyhodnocovacího algoritmu.Equipment for digital image processing, resp. There are many types of devices that process digital images for their purpose. It is most often possible to meet them in an industrial environment, where such equipment evaluates the surface of products and looks for surface defects, checks the diameter of holes, position of grooves, depth of cuts, final color of products, etc. The goal is usually to replace the human factor in repetitive evaluation product quality. Machine evaluation is "always" objective, independent of the time of day and the number of hours worked. Unfortunately, machine evaluation is objective only and only if it works in constant working conditions, which are as close as possible to the conditions when calibrating the machine. If, for example, the ambient light intensity changes, the brightness threshold set internally by the algorithm may shift and the device may, for example, ignore defects or generate false detections, etc. Such conditions must then be validated manually and the human factor involved in the quality assessment process. These conditions are, of course, unwanted and more expensive and slow down production. In the case of the use of equipment for quality control by means of digital evaluation, it is always aimed at the greatest possible robustness not only of the mechanical elements, but also of the control and evaluation algorithm.
Pod takovým zařízením je možné si představit digitální kameru s integrovaným vyhodnocovací prvkem, obvykle ve formě mikroprocesoru nebo embeded zařízení. Spojení digitální kamery a výpočetní jednotky umožní generovat informace o snímaných objektech a tyto validovat pro další použití. V současné době je neustále vyvíjen a vylepšován hardware pro zpracování obrazu, resp. pro paralelní výpočty využívané v hodnocení obrazu. Tento hardware umožňuje vyvíjet nové algoritmy, které jsou robustnější a mnohem přesnější než starší typy.Under such a device, it is possible to imagine a digital camera with an integrated evaluation element, usually in the form of a microprocessor or embedded device. The combination of a digital camera and a computing unit will make it possible to generate information about the scanned objects and validate it for further use. At present, the hardware for image processing is respected and improved, resp. for parallel calculations used in image evaluation. This hardware allows you to develop new algorithms that are more robust and much more accurate than older types.
Hodnocení kvality výrobků se skládá obvykle ze dvou částí. V první části je sejmut digitální obraz hodnocené oblasti a předzpracován. Ve druhé části je obvykle přítomná umělá inteligence ve formě neuronové sítě, která hodnotí předzpracovaný obraz a dává jednoznačný výsledek. Pokud se první část vynechá, neuronová síť podává horší výsledky a je obvykle nutný mnohem vyšší výkon procesorové části zařízení pro hodnocení kvality, aby se dosáhlo stejného výsledku.Product quality assessment usually consists of two parts. In the first part, a digital image of the evaluated area is taken and preprocessed. In the second part, artificial intelligence is usually present in the form of a neural network, which evaluates the preprocessed image and gives a clear result. If the first part is omitted, the neural network gives worse results and much higher performance of the processor part of the quality evaluation device is usually required to achieve the same result.
Patent EP 2045773 B1 popisuje obecně změnu rozlišení obrazu. Cílem řešení podle EP 2045773 Bije minimalizovat „zoubkování hran“. Primárně je vynález určen pro televize, které často mění rozlišení na základě přijímaného signálu. 4K televize, která má nativně výborný obraz v rozlišení 4K, může obraz v rozlišení SD interpretovat takovým způsobem, že je v principu „nerozlišitelný“. Naproti tomu řešení podle předkládaného vynálezu využívá standardní změnu rozlišení obrazu pomocí průměrování čtverce o definované velikosti.EP 2045773 B1 generally describes changing the image resolution. The aim of the solution according to EP 2045773 is to minimize "edge serrations". The invention is primarily intended for televisions that often change resolution based on the received signal. A 4K television that has a natively excellent 4K image can interpret the SD image in such a way that it is in principle "indistinguishable". In contrast, the solution of the present invention uses a standard change in image resolution by averaging a square of a defined size.
Jeden za způsobů analýzy obrazu je popsán v přihlášce US 2010303348 Al, zahrnující techniky zpracování obrazu, které využívají prostorově spektrální informace relevantní pro obraz, odvozené z alespoň jednoho znázornění ze sady selektivně různých znázornění daného obrazu, například více rozlišeními, jako je prostorová pyramida reprezentací, aby přesně a správně identifikoval osvětlení a hmotné aspekty obrazu.One method of image analysis is described in US 2010303348 A1, which includes image processing techniques that utilize spatial spectral information relevant to an image derived from at least one representation from a set of selectively different representations of a given image, e.g., multiple resolutions such as a spatial pyramid of representations. to accurately and correctly identify the lighting and material aspects of the image.
V přihlášce WO 2016087589 Al je popsána metoda shlukování pixelů, avšak na rozdíl od předkládaného vynálezu je aplikována na soustavu digitálních obrazů, kdy jsou shlukovány takové pixely, které mají napříč obrazy podobné parametry detekovatelných markérů. VeWO 2016087589 A1 describes a pixel clustering method, but unlike the present invention, it is applied to a system of digital images in which pixels that have similar parameters of detectable markers across the images are clustered. And
- 1 CZ 308990 B6- 1 CZ 308990 B6
WO 2016087589 Al použitá metoda shlukování je hierarchická, eventuálně K-means. Ve WO 2016087589 AI popsaný vynález využívá multispektrální obrazy, v nichž jsou definovány regiony určené pro analýzu, na rozdíl od řešení podle předkládaného vynálezu, které využívá jediný obraz bez pevně definovaných regionů. WO 2016087589 AI neřeší problematiku ostrých stínů a změny osvětlení, protože se jedná o snímky z mikroskopů. Naproti tomu řešení podle předkládaného vynálezu je robustnější a využívá rozšířené algoritmy pro detekci podezřelých oblastí.The clustering method used in WO 2016087589 A1 is hierarchical, possibly K-means. The invention described in WO 2016087589 A1 uses multispectral images in which the regions to be analyzed are defined, in contrast to the solution according to the present invention, which uses a single image without fixed regions. WO 2016087589 A1 does not address the issue of sharp shadows and illumination changes because they are microscope images. In contrast, the solution of the present invention is more robust and uses advanced algorithms to detect suspicious areas.
V přihlášce WO 2017175231 AI je popsána metoda zpracování obrazů snímaných pod vodní hladinou. Shlukováním jsou v obrazu vytvořeny linie korespondující se „zamlžením“. Výsledný obraz je opraven tak, že je na něj použit obraz „zamlžený“, a ten je odečten. Naproti tomu cílem řešení podle předkládaného vynálezu je, shlukovat takové pixely obrazu, které jsou pravděpodobně součástí jednoho celku - alfanumerického znaku. V řešení podle předkládaného vynálezu není prováděna oprava obrazu, ani jiná obdobná úprava (zvýšení kontrastu apod.), nýbrž se v obrazu hledají oblasti s čísly a alfanumerickými znaky.WO 2017175231 A1 describes a method for processing images taken below the water surface. By clustering, lines corresponding to "fogging" are created in the image. The resulting image is corrected by applying a "blurred" image to it, which is subtracted. In contrast, the object of the present invention is to group together such pixels of an image which are probably part of one whole - an alphanumeric character. In the solution according to the present invention, no image correction or other similar adjustment (contrast increase, etc.) is performed, but areas with numbers and alphanumeric characters are searched for in the image.
V přihlášce PV 2019-167 je popsán způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše. Výsledný obraz podle PV 2019-167 obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod.PV 2019-167 describes a method of image processing by the method of gradual brightness gradient of image pixels in an area. The resulting image according to PV 2019-167 contains only those areas that are anomalous with respect to the original image. they contain a sharp brightness transition.
Řešení podle předkládaného vynálezu zpracovává výstupní obraz PV 2019-167 pomocí shlukování metodou typu K-means, která zajistí diferenciaci jednotlivých anomálií. Výhodou je zejména to, že výsledné obrazové anomálie v podobě pixelů jsou přiřazeny do jednoznačných množin a je tedy zřejmé, které pixely jsou příslušné k určitému znaku.The solution according to the present invention processes the output image PV 2019-167 by means of a clustering method of the K-means type, which ensures the differentiation of individual anomalies. The advantage is in particular that the resulting image anomalies in the form of pixels are assigned to unambiguous sets and it is thus clear which pixels belong to a certain character.
Řešení podle předkládaného vynálezu tak přidává další krok, kterým se zvyšuje pravděpodobnost odhadu pozice hledaných anomálií v obraze, tedy zařízení podle předkládaného vynálezu je např. schopné odfiltrovat ostrý stín, který dělí snímaný obraz a zároveň ponechá hledané oblasti v obraze, kde se nacházejí například písmena a čísla. Obecně lze řešením podle tohoto vynálezu zpracovat i jakékoliv vstupní obrazy s anomáliemi, které jsou binarizované.The solution according to the present invention thus adds another step which increases the probability of estimating the position of the searched anomalies in the image, i.e. the device according to the present invention is able to filter out the sharp shadow and numbers. In general, the solution according to the invention can also process any input images with anomalies that are binarized.
Podstata vynálezuThe essence of the invention
Podstatou vynálezu je dodatečné zpracování předem upraveného digitálního obrazu.The essence of the invention is the post-processing of a pre-treated digital image.
Obvykle se v průmyslových aplikacích provádí stanovení okolních podmínek při pořizování obrazu. Pokud j e vyhodnocována určitá oblast v obraze například průmyslovou kamerou, j e kladen vysoký důraz na dodržení referenčních podmínek. Pokud se například změní intenzita osvětlení vlivem denní doby, změnou osvětlovacích těles, nebo v případě přítomnosti stínu ve snímané oblasti, popř. pohybujícího se stínu apod., není obraz vyhodnocován správně a dochází k falešným detekcím, nebo naopak k detekcím nedochází.Usually, in industrial applications, the ambient conditions during image acquisition are determined. If a certain area in the image is evaluated, for example by an industrial camera, great emphasis is placed on compliance with the reference conditions. If, for example, the light intensity changes due to the time of day, a change in the lighting fixtures, or in the case of the presence of a shadow in the scanned area, or moving shadow, etc., the image is not evaluated correctly and false detections occur or, conversely, no detections occur.
Detekcí je myšlena informace, poskytnutá zařízením pro hodnocení kvality výrobků, která odpovídá vnitřní struktuře hodnotícího algoritmu a je obecného charakteru. Například rozsvícení signalizačního světla určité barvy, vygenerování akčního zásahu programovatelným automatem apod.By detection is meant the information provided by the product quality evaluation device, which corresponds to the internal structure of the evaluation algorithm and is of a general nature. For example, turning on a signal light of a certain color, generating an action by a programmable controller, etc.
Předem upraveným digitálním obrazem podle předkládaného vynálezu je myšlen obraz (obr. 1) upravený pomocí následujících kroků:By a pre-adjusted digital image according to the present invention is meant an image (Fig. 1) modified by the following steps:
a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií, b) digitální obraz je převeden do maticové podoby,a) a digital image of the area of interest with a possible surface defect or anomaly is created, b) the digital image is converted into a matrix form,
c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,c) the image resolution is reduced by averaging the pixels in a user-defined square window,
-2CZ 308990 B6-2GB 308990 B6
d) v redukovaném snímku je poté postupně ve směru os X a Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořeny dva nové binarizované snímky ad) in the reduced image, the brightness values of the pixels are then derived in the direction of the X and Y axes, two new binarized images are created by thresholding, and
e) je provedena kombinace obou obrazů formou logického součinu odpovídajících si pixelů v externím modulu se samostatným výpočetním jádrem a pamětí a vytvořen nový binarizovaný obraz ae) a combination of both images is performed in the form of a logical product of the corresponding pixels in an external module with a separate computing core and memory and a new binarized image is created, and
f) v tomto obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny.f) a single pixel search is performed in this image and these are removed from the image.
Na takto upravený obraz (obr. 2) je podle předkládaného vynálezu dále aplikována metoda shlukování pixelů typu K-means, která zajistí diferenciaci jednotlivých anomálií vhodných k dalšímu zpracování.According to the present invention, a K-means pixel clustering method is further applied to the thus modified image (Fig. 2), which ensures the differentiation of individual anomalies suitable for further processing.
Metoda shlukování typu K-means je jedna z nejjednodušších a nej používanějších ne hierarchických metod vhodných pro strojového učení. Metoda vychází z premisy, že shlukované body leží v obecné euklidovském prostoru. Počet shluků je obvykle předem definovaný a vychází ze znalosti oblasti použití, popř. ze znalosti CO vlastně shlukujeme a CO od toho očekáváme. Shluk (množina) je jasně definován svým středem, který leží ve stejném prostoru, jako shlukované body (pixely). Body náleží do toho shluku, kterému středu jsou nejblíže. Počáteční náhodná (random) definice souřadnice středu se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřadí další body, a tak stále dokola, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí.The K-means clustering method is one of the simplest and most widely used non-hierarchical methods suitable for machine learning. The method is based on the premise that the clustered points lie in general Euclidean space. The number of clusters is usually predefined and is based on knowledge of the field of application, or. from the knowledge of what we actually cluster and what we expect from it. A cluster (set) is clearly defined by its center, which lies in the same space as the clustered points (pixels). The points belong to the cluster to which they are closest to the center. The initial random definition of the center coordinate is iteratively adjusted by calculating the center of gravity of the assigned points and assigning additional points to the new center, and so on, until the difference between two consecutive iterations is below a user-defined limit.
K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného bodu, resp. mezi i-tým a j-tým objektem, dle následující rovnice.The Euclidean distance of each assigned point is calculated for a given center, resp. between the i-th and j-th objects, according to the following equation.
Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice kThe criterion for ending the iterations is the calculation and minimization of the SSE error according to the following equation k
SSE =ΣΣ cl(x, m^2 j=lXECj kde Cj je j-tý shluk, nij je střed shluku Q a d(x,nij), Deje Euklidovská vzdálenost mezi body x a středem shluku nij.SSE = ΣΣ cl (x, m ^ 2 j = lXECj where Cj is the jth cluster, nij is the center of the cluster Q ad (x, nij), Deje The Euclidean distance between points x and the center of the cluster nij.
Na obr. 3 je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin, odpovídající jejich barvě. Obrázek 4. potom vyjadřuje rozmístění bodů do dvou shluků po 22 iteracích, kdy zelené a černé kruhy zobrazují postupnou migraci středů obou shluků. Z obr. 4 je jasně patrné, že došlo k jednoznačnému přiřazení všech bodů nejvhodnějším shlukům. Tento stav je možné s výhodou využít pro jasné vymezení pixelů k daným znakům v obraze.Fig. 3 is a demonstration of a random set of points and their random assignment into two sets corresponding to their color. Figure 4 then shows the distribution of points in two clusters after 22 iterations, where the green and black circles show the gradual migration of the centers of both clusters. It is clear from Fig. 4 that all points have been unambiguously assigned to the most suitable clusters. This state can be advantageously used to clearly define the pixels to the given characters in the image.
Data odpovídající vybrané oblasti zájmu mohou být dále poskytnuta například zařízení pro hodnocení kvality výrobků, které detekuje přítomnost vad. Zařízení pro hodnocení kvality výrobků pak signalizuje zjištění vady například rozsvícením signalizačního světla určité barvy, vygenerováním akčního zásahu programovatelným automatem apod.Data corresponding to the selected area of interest may further be provided, for example, by a product quality assessment device that detects the presence of defects. The device for evaluating the quality of products then signals the detection of a defect, for example, by lighting a signal light of a certain color, generating an action by a programmable controller, etc.
Výsledný obraz obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod odpovídající definici uživatele zařízení. Navíc jsou anomální složky, resp. Jednotlivé pixely přiřazeny určité množině, shluku, a je možné tak lépe posoudit jejich význam. Zjednodušeně je možné říci, že např. dvě čísla vedle sebe podmíní vznik dvou samostatných množin, ke kterým budou přiřazeny obrazové pixely dle příslušnosti k danému číslu. Jedná se tedy o jednoznačné přiřazení obrazových bodů určité oblasti v obraze a je tedy možné s vysokou pravděpodobností předpokládat, že obrazové body v jedné množině jsouThe resulting image contains only those areas that are anomalous with respect to the original image. they contain a sharp brightness transition corresponding to the definition of the user of the device. In addition, there are anomalous components, resp. Individual pixels are assigned to a certain set, a cluster, and it is possible to better assess their meaning. In simple terms, it is possible to say that, for example, two numbers next to each other condition the formation of two separate sets, to which image pixels will be assigned according to the affiliation to the given number. It is therefore a clear assignment of pixels to a certain area in the image and it is therefore possible with a high probability to assume that the pixels in one set are
-3CZ 308990 B6 vůči sobě v určitém vztahu. Uvedený způsob zpracování je svou podstatou imunní vůči plynulým změnám jasu v obraze a nedetekuje tyto přechody jako anomálie.-3GB 308990 B6 in a certain relationship. This method of processing is inherently immune to smooth changes in brightness in the image and does not detect these transitions as anomalies.
Způsob vyhodnocení obrazu podle vynálezu je velmi robustní a není významně ovlivněn uvedenými negativními vlivy, znehodnocujícími správnou analýzu obrazu.The image evaluation method according to the invention is very robust and is not significantly affected by the stated negative influences, which devalue the correct image analysis.
Podstatou vynálezu je také zařízení pro zpracování digitálního obrazu, které má ve výpočetní části integrován mikrokontroler.The invention also relates to a digital image processing device which has a microcontroller integrated in the computing part.
Zařízení pro zpracování obrazu se skládá z digitální kamery a výpočetní části, které jsou spolu propojeny prostřednictvím přenosového média.The image processing device consists of a digital camera and a computing part, which are interconnected via a transmission medium.
Digitální kamera obsahuje přizpůsobovací obvody analogové části CCD nebo CMOS a komunikační rozhraní pro přenos digitalizovaných dat, které jsou spolu jednosměrně propojeny.The digital camera contains matching circuits of the analog part of the CCD or CMOS and a communication interface for the transmission of digitized data, which are unidirectionally interconnected.
Výpočetní část je tvořena jednotkou zpracování dat s CPU, rozhraním pro styk s okolím, řídicím a ovládacím modulem, vyhodnocovacím a diagnostickým modulem a externím modulem se samostatným výpočetním jádrem a pamětí.The computing part consists of a data processing unit with a CPU, an interface for contact with the environment, a control and management module, an evaluation and diagnostic module and an external module with a separate computing core and memory.
Vyhodnocovací a diagnostický modul, řídicí a ovládací modul a rozhraní pro styk s okolím jsou obousměrně propojeny s jednotkou zpracování dat s CPU. S jednotkou zpracování dat s CPU je dále prostřednictvím rozhraní pro styk s okolím obousměrně propojen také externí modul se samostatným výpočetním jádrem a pamětí.The evaluation and diagnostic module, the control and management module and the interface for environmental contact are connected in both directions to the data processing unit with the CPU. An external module with a separate computer core and memory is also bidirectionally connected to the data processing unit with the CPU via the interface for contact with the environment.
Ve vyhodnocovacím a diagnostickém modulu jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů. V řídicím a ovládacím moduluje integrován obecný ovládací a řídicí software pro chod zařízení.The evaluation and diagnostic module integrates the algorithm of image reduction by averaging according to the size of the square window, the algorithm of derivation of immediately adjacent pixels in the area and image binarization, the algorithm of isolated pixels in the image with defined detection radio, the algorithm of histogram of anomalies in the image and . The integrated control and management software for the operation of the device is integrated in the control and management module.
Externí modul se skládá z jednočipového mikrokontroléru, nutných elektronických součástek pro zabezpečení funkce mikrokontroléru, paměti typu RAM a napájecího zdroje. Externí modul komunikuje s jednotkou zpracování dat s CPU pomocí rozhraní pro styk s okolím, které dovoluje přenášet data obousměrně. Součástí mikrokontroléru externího modulu je jednoúčelový program, který na vyžádání provádí jednu a tutéž operaci nad maticí dat, kteráje přítomna v operační paměti RAM. Ve své podstatě se jedná o paralelní zpracování dat, kdy matematické operace nad daty nezatěžují hlavní jednotku zpracování dat s CPU a je tedy možné zpracovat více dat za jednotku času. Daty je myšlena matice, obsahující jasové složky pixelů.The external module consists of a single-chip microcontroller, the necessary electronic components to ensure the function of the microcontroller, RAM and a power supply. The external module communicates with the data processing unit with the CPU via an interface with the environment, which allows data to be transmitted in both directions. The microcontroller of the external module includes a single-purpose program that performs one and the same operation on the data matrix, which is present in the RAM memory, on request. In essence, it is a parallel data processing, where mathematical operations on data do not burden the main data processing unit with the CPU and it is therefore possible to process more data per unit of time. Data is meant a matrix containing the luminance components of pixels.
Využití řešení podle vynálezu je možné například v prostředí automatizace, obecně při detekci povrchových vad při výrobě, v medicíně při hodnocení anomálií, při hledání určitých znaků na velké ploše, při hodnocení kvalitativních parametrů výrobků apod.The use of the solution according to the invention is possible, for example, in the automation environment, generally in the detection of surface defects in production, in medicine in the evaluation of anomalies, in the search for certain features over a large area, in the evaluation of product quality parameters, etc.
Objasnění výkresůClarification of drawings
Vynález je blíže osvětlen s pomocí výkresů, na kterých je:The invention is further elucidated with the aid of the drawings, in which:
na obr. 1 originální obraz z digitální kamery před úpravami, na obr. 2 je obraz vzniklý kombinací obrazů derivovaných v osách X a Y logickým součinem AND, na obr. 3 je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin,Fig. 1 is an original image from a digital camera before editing, Fig. 2 is an image created by combining images derived in the X and Y axes by the logical product AND, Fig. 3 is a demonstration of a random set of points and their random assignment into two sets,
-4CZ 308990 B6 na obr. 4 je rozmístění bodů do dvou shluků po 22 iteracích, na obr. 5 blokové schéma zařízení pro zpracování obrazu.-4CZ 308990 B6 in Fig. 4 is the arrangement of points into two clusters after 22 iterations, in Fig. 5 is a block diagram of an image processing device.
Příklady uskutečnění vynálezuExamples of embodiments of the invention
Příklad 1Example 1
Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše se shlukováním typu K-means je podle obrázku 5 tvořeno digitální kamerou 2, která je prostřednictvím přenosového média 6 jednosměrně propojena s výpočetní částí 3. Digitální kamera 2 obsahuje přizpůsobovací obvody 4 analogové části CCD nebo CMOS a komunikační rozhraní 5 pro přenos digitalizovaných dat. Přizpůsobovací obvod 4 je jednosměrně propojen s komunikačním rozhraním 5.According to FIG. CCD or CMOS and communication interface 5 for digitized data transmission. The matching circuit 4 is unidirectionally connected to the communication interface 5.
Výpočetní část 3 je tvořena jednotkou 7 zpracování dat s CPU, rozhraním 9 pro styk s okolím, řídicím a ovládacím modulem 10. vyhodnocovacím a diagnostickým modulem 8, mikrokontrolerem 12 a externím modulem 11 se samostatným výpočetním jádrem a pamětí.The computing part 3 consists of a data processing unit 7 with a CPU, an interface 9 for contact with the environment, a control and monitoring module 10, an evaluation and diagnostic module 8, a microcontroller 12 and an external module 11 with a separate computing core and memory.
Jednotka 7 je s modulem 8, rozhraním 9, modulem 10 amikrokontrolerem 12 spojena obousměrně. Jednotka 7 je dále prostřednictvím rozhraní 9 obousměrně propojena s externím modulem 11.The unit 7 is connected to the module 8, the interface 9, the module 10 and the microcontroller 12 in both directions. The unit 7 is further bidirectionally connected to the external module 11 via an interface 9.
V modulu 8 jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus kombinace obou obrazů formou logického součinu odpovídajících si pixelů, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů metodou shlukování pixelů typu K-means.Module 8 integrates an image reduction algorithm by averaging according to the size of a square window, an algorithm for deriving immediately adjacent pixels in the area and image binarization, an algorithm for combining both images in the form of a logical product of matching pixels, an orphaned pixel filter algorithm in a defined detection radio, occurrence histogram algorithm anomalies in the image and the algorithm for estimating the position of the searched objects by the K-means pixel clustering method.
V modulu 10 je integrován obecný ovládací a řídicí software pro chod zařízení LThe general control and operating software for the operation of the device L is integrated in the module 10
Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše pořídí prostřednictvím digitální kamery 2 obraz oblasti zájmu - vyražené číslo na ocelovém sochoru. Digitální obraz vzniká pomocí přizpůsobovacích obvodů 4 analogové části CCD nebo CMOS digitální kamery. Digitální obraz je převeden do maticové podoby, kdy každému pixelů odpovídá vždy jedna konkrétní buňka matice. Digitální obraz má rozlišení 1920 x 1080, resp. velikost matice odpovídá hodnotě 1920 ve směru osy X a 1080 ve směru Y.The image processing device 1 by means of a gradual gradient of the brightness of the image pixels in the area takes a picture of the area of interest - the embossed number on the steel billet - by means of a digital camera 2. The digital image is created using the matching circuits 4 of the analog part of the CCD or CMOS of the digital camera. The digital image is converted into a matrix form, where each pixel corresponds to one specific cell of the matrix. The digital image has a resolution of 1920 x 1080, resp. the size of the matrix corresponds to 1920 in the X-axis direction and 1080 in the Y-direction.
Následně je obraz ve formě matice buněk přenesen pomocí komunikačního rozhraní 5 pro přenos digitalizovaných dat skrz přenosové médium 6, do výpočetní části 3 zařízení. Ve výpočetní části 3 je přítomná jednotka 7 zpracování dat s CPU, která iniciuje soustavu algoritmů obsažených ve vyhodnocovacím a diagnostickém modulu 8. V prvním kroku je provedena redukce rozlišení obrazu algoritmem pro zmenšení obrazu průměrováním, kdy je průměrování pixelů provedeno v uživatelsky definovaném čtvercovém okně. Pro redukci je použita velikost okna 5.Subsequently, the image in the form of a cell matrix is transmitted via a communication interface 5 for transmitting the digitized data through the transmission medium 6, to the computing part 3 of the device. In the computing part 3 there is a data processing unit 7 with a CPU, which initiates a set of algorithms contained in the evaluation and diagnostic module 8. In the first step, the image resolution is reduced by an image reduction algorithm by averaging, where the pixels are averaged in a user-defined square window. Window size 5 is used for reduction.
V redukovaném snímkuje poté ve směru osy X a osy Y provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen binarizovaný snímek obsahující pouze černé a bílé pixely. Dále jsou pomocí prahování vytvořeny dva nové binarizované snímky. Jeden z těchto nových binarizovaných snímků odpovídá derivaci pixelů v ose X a druhý odpovídá derivaci pixelů v ose Y. Celý tento úkon je proveden pomocí algoritmu derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu.In the reduced image, the brightness values of the pixels are then derived in the direction of the X-axis and the Y-axis, and a binarized image containing only black and white pixels is created by thresholding. In addition, two new binarized images are created by thresholding. One of these new binarized images corresponds to the X-axis pixel derivative and the other corresponds to the Y-axis pixel derivative. This is done using the immediately adjacent pixel derivation and image binarization algorithm.
-5CZ 308990 B6-5GB 308990 B6
Dále je provedena kombinace obou vzniklých obrazů v externím modulu 11 se samostatným výpočetním jádrem a pamětí, který je obousměrně propojen s rozhraním 9 pro styk s okolím. Kombinace obou vzniklých obrazů formou logického součinu odpovídajících si pixelů je z důvodu distribuce výpočetní náročnosti celého procesu čištění obrazu provedena v externím modulu 11, kde dochází k vytvoření nového obrazu s výrazným potlačením šumu a zvýrazněním hran anomálií v obraze. Anomálií jsou myšleny takové shluky pixelů, které svou podstatou nezapadají do konceptu snímaného obrazu a mohou představovat, např. povrchové vady. Příkladem může být snímek lakovaného povrchu s odprýsknutým kusem laku. Nově vytvořený obraz je pomocí rozhraní 9 přenesen zpět do jednotky 7 zpracování dat s CPU.Furthermore, a combination of both generated images is performed in an external module 11 with a separate computing core and memory, which is bidirectionally connected to the interface 9 for contact with the environment. Due to the distribution of computational complexity of the whole image cleaning process, the combination of both created images in the form of a logical product of corresponding pixels is performed in the external module 11, where a new image is created with significant noise suppression and highlighting of anomaly edges in the image. By anomalies are meant clusters of pixels which, by their nature, do not fit into the concept of the scanned image and may represent, for example, surface defects. An example is a picture of a painted surface with a chipped piece of paint. The newly created image is transferred back to the data processing unit 7 with the CPU via the interface 9.
V jednotce 7 zpracování dat s CPU je dále provedena detekce osamocených pixelů v obraze, kdy je nastavena hodnota detekčního rádiusu 64, stanovená pomocí modulu 10. Tento úkon je proveden pomocí algoritmu filtrace osamocených pixelů v obraze.In the data processing unit 7, the orphaned pixels in the image are further detected, where the value of the detection radius 64 determined by the module 10 is set. This operation is performed by the orphaned pixels filtering algorithm in the image.
Uvedeným postupem vznikne upravený obraz, který obsahuje pouze fragmenty původního originálního obrazu získaného pomocí digitální kamery 2.This procedure creates a modified image that contains only fragments of the original image obtained with the digital camera 2.
V mikrokontroleru 12 je poté v binarizovaném obrazu provedeno shlukování osamocených pixelů metodou K-means, kdy pixely jsou přiřazeny do toho shluku, jehož středu jsou nejblíže. Počáteční náhodná definice souřadnic středů se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřazují další pixely. K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného pixelů, dle následující rovnice.In the microcontroller 12, the clustering of orphaned pixels is then performed in the binarized image by the K-means method, where the pixels are assigned to the cluster whose center is closest. The initial random definition of the center coordinates is iteratively adjusted by calculating the center of gravity of the assigned points and assigning more pixels to the new center. The Euclidean distance of each assigned pixel is calculated for a given center, according to the following equation.
Tento postup se opakuje tak dlouho, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí. Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice kThis procedure is repeated until the difference between two consecutive iterations is below a user-defined limit. The criterion for ending the iterations is the calculation and minimization of the SSE error according to the following equation k
SSE =ΣΣ d^x,mjY j=lXECj kde Cj je j-tý shluk, nij je střed shluku Cj a d(x,nij), Deje Euklidovská vzdálenost mezi body x a středem shluku nij. Vytvořené shluky jsou poté jasně definovány svými středy a k nim náležejícími pixely a mají přímou souvislost s hledanými anomáliemi v obraze. Shluky jsou poté transponovány na originální obraz a odpovídající pixely jsou předloženy umělé neuronové síti k dalšímu posouzení.SSE = ΣΣ d ^ x, mjY j = lXECj where Cj is the jth cluster, nij is the center of the cluster Cj and d (x, nij), Deje is the Euclidean distance between the points x and the center of the cluster nij. The created clusters are then clearly defined by their centers and their associated pixels and are directly related to the anomalies sought in the image. The clusters are then transposed into the original image and the corresponding pixels are presented to an artificial neural network for further review.
Průmyslová využitelnostIndustrial applicability
Vynález lze využít všude tam, kde je potřeba zpracovat takový obraz, který obsahuje soustavu samostatných, jasně oddělených objektů, například čísla. Výsledná detekce anomálií není závislá na změnách nasvětlení předlohy, na přítomnosti rušivého pozadí, znesnadňující detekci anomálií (rýhy po kotoučové pile, jasový gradient světla čelní strany objektu jako důsledek stříhání, jasový gradient světla čelní strany objektu při pálení plazmou, intenzivní stíny) apod.The invention can be used wherever there is a need to process an image that contains a set of separate, clearly separated objects, such as numbers. The resulting detection of anomalies does not depend on changes in the illumination of the original, the presence of disturbing background, difficult to detect anomalies (grooves after the circular saw, brightness gradient of the front of the object as a result of cutting, brightness gradient of the front of the object when burning plasma, intense shadows), etc.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (en) | 2020-03-20 | 2020-03-20 | A method of processing a pre-processed image and the apparatus for this |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (en) | 2020-03-20 | 2020-03-20 | A method of processing a pre-processed image and the apparatus for this |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ308990B6 true CZ308990B6 (en) | 2021-11-10 |
| CZ2020157A3 CZ2020157A3 (en) | 2021-11-10 |
Family
ID=78410344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (en) | 2020-03-20 | 2020-03-20 | A method of processing a pre-processed image and the apparatus for this |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2020157A3 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303348A1 (en) * | 2009-05-26 | 2010-12-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
| EP2045773B1 (en) * | 2007-10-02 | 2012-02-22 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
-
2020
- 2020-03-20 CZ CZ2020157A patent/CZ2020157A3/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2045773B1 (en) * | 2007-10-02 | 2012-02-22 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
| US20100303348A1 (en) * | 2009-05-26 | 2010-12-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2020157A3 (en) | 2021-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| CN107808161B (en) | Underwater target identification method based on optical vision | |
| WO2018192662A1 (en) | Defect classification in an image or printed output | |
| Mathavan et al. | Use of a self-organizing map for crack detection in highly textured pavement images | |
| JP2000513466A (en) | Color pattern evaluation system for randomly directed products | |
| CN117095005B (en) | Plastic master batch quality inspection method and system based on machine vision | |
| CN112419261B (en) | Visual acquisition method and device with abnormal point removing function | |
| CN110807763A (en) | Method and system for detecting ceramic tile surface bulge | |
| CN110687122A (en) | Method and system for detecting surface cracks of ceramic tile | |
| CN112288682A (en) | Electric power equipment defect positioning method based on image registration | |
| CN115100104A (en) | Defect detection method, device and equipment for glass ink area and readable storage medium | |
| CN107038690A (en) | A kind of motion shadow removal method based on multi-feature fusion | |
| CN107545565B (en) | Solar screen plate detection method | |
| CN113971681A (en) | Edge detection method for belt conveyor in complex environment | |
| JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
| CN117274258A (en) | Method, system, equipment and storage medium for detecting defects of main board image | |
| Lin et al. | Detection of surface flaws on textured LED lenses using wavelet packet transform based partial least squares techniques | |
| CZ308990B6 (en) | A method of processing a pre-processed image and the apparatus for this | |
| CN115131355B (en) | Intelligent method for detecting waterproof cloth abnormity by using electronic equipment data | |
| JP2004296592A (en) | Defect classification equipment, defect classification method, and program | |
| CZ34042U1 (en) | Apparatus for performing pre-processed image processing by the K-means type clustering method | |
| CN115343313A (en) | Visual identification method based on artificial intelligence | |
| CN114170668A (en) | Hyperspectral face recognition method and system | |
| Amoroso et al. | A new technique for color image segmentation | |
| KR101429271B1 (en) | Target tracking method and target tracking apparatus using the same |