CZ34042U1 - Zařízení k provádění zpracování předem zpracovaného obrazu metodou shlukování typu K-means - Google Patents

Description

Oblast techniky

Technické řešení spadá do oblasti digitálního zpracování obrazu. Jedná se o prvotní úpravu obrazu před jeho další analýzou.

Dosavadní stav techniky

Zařízení pro zpracování digitálního obrazu, resp. zařízení, které pro svůj účel zpracovávají digitální obraz, je mnoho typů. Nejčastěji je možné se s nimi setkat v průmyslovém prostředí, kdy takové zařízení hodnotí například povrch výrobků a hledá povrchové vady, kontroluje průměr děr, pozici drážek, hloubku výbrusů, výslednou barvu výrobků apod. Cílem je obvykle nahradit lidský faktor při repetitivním hodnocení některého z ukazatelů kvality výrobků. Strojové hodnocení je „vždy“ objektivní, nezávislé na denní době a množství odpracovaných hodin. Bohužel strojové hodnocení je objektivní pouze a jen v případě, že pracuje v neměnných pracovních podmínkách, které se maximálně blíží podmínkám při kalibraci stroje. V případě změny například intenzity okolního osvětlení může dojít k posunu prahu jasností nastavených vnitřně algoritmem a zařízení začne např. přehlížet vady, nebo generovat falešné detekce apod. Taková stavy je poté nutné validovat ručně a opět se do procesu hodnocení kvality zapojuje lidský faktor. Tyto stavy jsou samozřejmě nechtěné a prodražují a zpomalují výrobu. V případě využití zařízení pro kontrolu kvality pomocí hodnocení digitálního obrazuje tedy vždy cíleno na co největší robustnost nejen mechanických prvků, ale i ovládacího a vyhodnocovacího algoritmu.

Pod takovým zařízením je možné si představit digitální kameru s integrovaným vyhodnocovací prvkem, obvykle ve formě mikroprocesoru nebo embeded zařízení. Spojení digitální kamery a výpočetní jednotky umožní generovat informace o snímaných objektech a tyto validovat pro další použití. V současné době je neustále vyvíjen a vylepšován hardware pro zpracování obrazu, resp. pro paralelní výpočty využívané v hodnocení obrazu. Tento hardware umožňuje vyvíjet nové algoritmy, které jsou robustnější a mnohem přesnější než starší typy.

Hodnocení kvality výrobků se skládá obvykle ze dvou částí. V první části je sejmut digitální obraz hodnocené oblasti a předzpracován. Ve druhé části je obvykle přítomná umělá inteligence ve formě neuronové sítě, která hodnotí předzpracovaný obraz a dává jednoznačný výsledek. Pokud se první část vynechá, neuronová síť podává horší výsledky a je obvykle nutný mnohem vyšší výkon procesorové části zařízení pro hodnocení kvality, aby se dosáhlo stejného výsledku.

V přihlášce PV 2019-167 je popsán způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše. Výsledný obraz podle PV 2019-167 obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod.

Předkládané technické řešení zpracovává výstupní obraz PV 2019-167 pomocí shlukování metodou typu K-means, která zajistí diferenciaci jednotlivých anomálií. Výhodou je zejména to, že výsledné obrazové anomálie v podobě pixelů jsou přiřazeny do jednoznačných množin a je tedy zřejmé, které pixely jsou příslušné k určitému znaku. Řešení podle předkládaného vynálezu tak přidává další krok, kterým se zvyšuje pravděpodobnost odhadu pozice hledaných anomálií v obraze, tedy zařízení podle předkládaného vynálezu je např. schopné odfiltrovat ostrý stín, který dělí snímaný obraz a zároveň ponechá hledané oblasti v obraze, kde se nacházejí například písmena a čísla. Obecně lze řešením podle tohoto vynálezu zpracovat i jakékoliv vstupní obrazy s anomáliemi, které jsou binarizované.

- 1 CZ 34042 U1

Podstata technického řešení

Podstatou technického řešení je dodatečné zpracování předem upraveného digitálního obrazu.

Obvykle se v průmyslových aplikacích provádí stanovení okolních podmínek při pořizování obrazu. Pokud je vyhodnocována určitá oblast v obraze například průmyslovou kamerou, je kladen vysoký důraz na dodržení referenčních podmínek. Pokud se například změní intenzita osvětlení vlivem denní doby, změnou osvětlovacích těles, nebo v případě přítomnosti stínu ve snímané oblasti, popř. pohybujícího se stínu apod., není obraz vyhodnocován správně a dochází k falešným detekcím, nebo naopak k detekcím nedochází.

Detekcí je myšlena informace, poskytnutá zařízením pro hodnocení kvality výrobků, která odpovídá vnitřní struktuře hodnotícího algoritmu a je obecného charakteru. Například rozsvícení signalizačního světla určité barvy, vygenerování akčního zásahu programovatelným automatem apod.

Předem upraveným digitálním obrazem podle předkládaného technického řešení je myšlen obraz (Obrázek 1.) upravený pomoci následujících kroků:

a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií,

b) digitální obraz je převeden do maticové podoby,

c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,

d) v redukovaném snímku je poté postupně ve směru os X a Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořeny dva nové binarizované snímky a

e) je provedena kombinace obou obrazů formou logického součinu odpovídajících si pixelů v externím modulu se samostatným výpočetním jádrem a pamětí a vytvořen nový binarizovaný obraz a

f) v tomto obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny.

Na takto upravený obraz (Obrázek 2.) je podle předkládaného technického řešení dále aplikována metoda shlukování pixelů typu K-means, která zajistí diferenciaci jednotlivých anomálií vhodných k dalšímu zpracování.

Metoda shlukování typu K-means je jedna z nej jednodušších a nej používanějších ne hierarchických metod vhodných pro strojového učení. Metoda vychází z premisy, že shlukované body leží v obecné euklidovském prostoru. Počet shluků je obvykle předem definovaný a vychází ze znalosti oblasti použití, popř. ze znalosti CO vlastně shlukujeme a CO od toho očekáváme. Shluk (množina) je jasně definován svým středem, který leží ve stejném prostoru, jako shlukované body (pixely). Body náleží do toho shluku, kterému středu jsou nejblíže. Počáteční náhodná (random) definice souřadnice středu se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřadí další body, a tak stále dokola, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí.

K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného bodu, resp. mezi i-tým a j-tým objektem, dle následující rovnice.

-2 CZ 34042 U1

Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice k

SSE = ΣΣ d\x,m^² j=ixeCj kde Cj je j-tý shluk, ntj je střed shluku Q a d(x,mj), De je Euklidovská vzdálenost mezi body x a středem shluku ntj.

Na obrázku 3. je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin, odpovídající jejich barvě. Obrázek 4. potom vyjadřuje rozmístění bodů do dvou shluků po 22 iteracích, kdy zelené a černé kruhy zobrazují postupnou migraci středů obou shluků. Z obrázku 4. je jasně patrné, že došlo k jednoznačnému přiřazení všech bodů nejvhodnějším shlukům. Tento stav je možné s výhodou využít pro jasné vymezení pixelů k daným znakům v obraze.

Data odpovídající vybrané oblasti zájmu mohou být dále poskytnuta například zařízení pro hodnocení kvality výrobků, které detekuje přítomnost vad. Zařízení pro hodnocení kvality výrobků pak signalizuje zjištění vady například rozsvícením signalizačního světla určité barvy, vygenerováním akčního zásahu programovatelným automatem apod.

Výsledný obraz obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod odpovídající definici uživatele zařízení. Navíc jsou anomální složky, resp. Jednotlivé pixely přiřazeny určité množině, shluku, aje možné tak lépe posoudit jejich význam. Zjednodušeně je možné říci, že např. dvě čísla vedle sebe podmíní vznik dvou samostatných množin, ke kterým budou přiřazeny obrazové pixely dle příslušnosti k danému číslu. Jedná se tedy o jednoznačné přiřazení obrazových bodů určité oblasti v obraze aje tedy možné s vysokou pravděpodobností předpokládat, že obrazové body v jedné množině jsou vůči sobě v určitém vztahu. Uvedený způsob zpracování je svou podstatou imunní vůči plynulým změnám jasu v obraze a nedetekuje tyto přechody je jako anomálie.

Způsob vyhodnocení obrazu podle předkládaného technického řešení je velmi robustní a není významně ovlivněn uvedenými negativními vlivy, znehodnocujícími správnou analýzu obrazu.

Podstatou předkládaného technického řešení je také zařízení pro zpracování digitálního obrazu, které má ve výpočetní části integrován mikrokontroler.

Zařízení pro zpracování obrazu se skládá z digitální kamery a výpočetní části, které jsou spolu propojeny prostřednictvím přenosového média.

Digitální kamera obsahuje přizpůsobovací obvody analogové části CCD nebo CMOS a komunikační rozhraní pro přenos digitalizovaných dat, které jsou spolu jednosměrně propojeny.

Výpočetní část je tvořena jednotkou zpracování dat s CPU, rozhraním pro styk s okolím, řídicím a ovládacím modulem, vyhodnocovacím a diagnostickým modulem a externím modulem se samostatným výpočetním jádrem a pamětí.

Vyhodnocovací a diagnostický modul, řídící a ovládací modul a rozhraní pro styk s okolím jsou obousměrně propojeny s jednotkou zpracování dat s CPU. S jednotkou zpracování dat s CPU je

-3 CZ 34042 U1 dále prostřednictvím rozhraní pro styk s okolím obousměrně propojen také externí modul se samostatným výpočetním jádrem a pamětí.

Ve vyhodnocovacím a diagnostickém modulu jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů. V řídícím a ovládacím moduluje integrován obecný ovládací a řídicí software pro chod zařízení.

Externí modul se skládá z jednočipového mikrokontroléru, nutných elektronických součástek pro zabezpečení funkce mikrokontroléru, paměti typu RAM a napájecího zdroje. Externí modul komunikuje s jednotkou zpracování dat s CPU pomocí rozhraní pro styk s okolím, které dovoluje přenášet data obousměrně. Součástí mikrokontroléru externího modulu je jednoúčelový program, který na vyžádání provádí jednu a tutéž operaci nad maticí dat, která je přítomna v operační paměti RAM. Ve své podstatě se jedná o paralelní zpracování dat, kdy matematické operace nad daty nezatěžují hlavní jednotku zpracování dat s CPU aje tedy možné zpracovat více dat za jednotku času. Daty je myšlena matice, obsahující jasové složky pixelů.

Objasnění výkresů

Technické řešení je blíže osvětleno s pomocí výkresů, na kterých je:

na obrázku 1 originální obraz z digitální kamery před úpravami, na obrázku 2 je obraz vzniklý kombinací obrazů derivovaných v osách X a Y logickým součinem AND na obrázku 3 je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin na obrázku 4 je rozmístění bodů do dvou shluků po 22 iteracích na obrázku 5 blokové schéma zařízení pro zpracování obrazu.

Příklad uskutečnění technického řešení

Příklad 1

Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše se shlukováním typu K-means je podle obrázku 5 tvořeno digitální kamerou 2, která je prostřednictvím přenosového média 6 jednosměrně propojena s výpočetní částí 3. Digitální kamera 2 obsahuje přizpůsobovací obvody 4 analogové části CCD nebo CMOS a komunikační rozhraní 5 pro přenos digitalizovaných dat. Přizpůsobovací obvod 4 je jednosměrně propojen s komunikačním rozhraním 5.

Výpočetní část 3 je tvořena jednotkou 7 zpracování dat s CPU, rozhraním 9 pro styk s okolím, řídicím a ovládacím modulem 10. vyhodnocovacím a diagnostickým modulem 8, mikrokontrolerem 12 a externím modulem 11 se samostatným výpočetním jádrem a pamětí.

Jednotka 7 je s modulem 8, rozhraním 9, modulem 10 a mikrokontrolerem 12 spojena obousměrně. Jednotka 7 je dále prostřednictvím rozhraní 9 obousměrně propojena s externím modulem 11.

-4 CZ 34042 U1

V modulu 8 jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus kombinace obou obrazů formou logického součinu odpovídajících si pixelů, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů metodou shlukování pixelů typu K-means.

V modulu 10 je integrován obecný ovládací a řídicí software pro chod zařízení 1.

Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše pořídí prostřednictvím digitální kamery 2 obraz oblasti zájmu - vyražené číslo na ocelovém sochoru. Digitální obraz vzniká pomocí přizpůsobovacích obvodů 4 analogové části CCD nebo CMOS digitální kamery. Digitální obraz je převeden do maticové podoby, kdy každému pixelů odpovídá vždy jedna konkrétní buňka matice. Digitální obraz má rozlišení 1920x1080, resp. velikost matice odpovídá hodnotě 1920 ve směru osy X a 1080 ve směru Y.

Následně je obraz ve formě matice buněk přenesen pomocí komunikačního rozhraní 5 pro přenos digitalizovaných dat skrz přenosové médium 6, do výpočetní části 3 zařízení. Ve výpočetní části 3 je přítomná jednotka 7 zpracování dat s CPU, která iniciuje soustavu algoritmů obsažených ve vyhodnocovacím a diagnostickém modulu 8. V prvním kroku je provedena redukce rozlišení obrazu algoritmem pro zmenšení obrazu průměrováním, kdy je průměrování pixelů provedeno v uživatelsky definovaném čtvercovém okně. Pro redukci je použita velikost okna 5.

V redukovaném snímku je poté ve směru osy X a osy Y provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen binarizovaný snímek obsahující pouze černé a bílé pixely. Dále jsou pomocí prahování vytvořeny dva nové binarizované snímky. Jeden z těchto nových binarizovaných snímků odpovídá derivaci pixelů v ose X a druhý odpovídá derivaci pixelů v ose Y. Celý tento úkon je proveden pomocí algoritmu derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu.

Dále je provedena kombinace obou vzniklých obrazů v externím modulu 11 se samostatným výpočetním jádrem a pamětí, který je obousměrně propojen s rozhraním 9 pro styk s okolím. Kombinace obou vzniklých obrazů formou logického součinu odpovídajících si pixelů je z důvodu distribuce výpočetní náročnosti celého procesu čištění obrazu provedena v externím modulu 11, kde dochází k vytvoření nového obrazu s výrazným potlačením šumu a zvýrazněním hran anomálií v obraze. Anomálií jsou myšleny takové shluky pixelů, které svou podstatou nezapadají do konceptu snímaného obrazu a mohou představovat např. povrchové vady. Příkladem může být snímek lakovaného povrchu s odprýsknutým kusem laku. Nově vytvořený obraz je pomocí rozhraní 9 přenesen zpět do jednotky 7 zpracování dat s CPU.

V jednotce 7 zpracování dat s CPU je dále provedena detekce osamocených pixelů v obraze, kdy je nastavena hodnota detekčního rádiusu 64, stanovená pomocí modulu 10. Tento úkon je proveden pomocí algoritmu filtrace osamocených pixelů v obraze.

Uvedeným postupem vznikne upravený obraz, který obsahuje pouze fragmenty původního originálního obrazu získaného pomocí digitální kamery 2.

V mikrokontroleru 12 je poté v binarizovaném obrazu provedeno shlukování osamocených pixelů metodou K-means, kdy pixely jsou přiřazeny do toho shluku, jehož středu jsou nejblíže. Počáteční náhodná definice souřadnic středů se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřazují další pixely. K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného pixelů, dle následující rovnice.

-5 CZ 34042 U1

Tento postup se opakuje tak dlouho, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí. Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice k

SSE = ΣΣ d(x,m^Ý j=ixeCj kde Cj je j-tý shluk, ntj je střed shluku Q a d(x,mj), De je Euklidovská vzdálenost mezi body x a středem shluku ntj. Vytvořené shluky jsou poté jasně definovány svými středy aknim náležejícími pixely a mají přímou souvislost s hledanými anomáliemi v obraze. Shluky jsou poté transponovány na originální obraz a odpovídající pixely jsou předloženy umělé neuronové síti k dalšímu posouzení.

Průmyslová využitelnost

Řešení lze využít všude tam, kde je potřeba zpracovat takový obraz, který obsahuje soustavu samostatných, jasně oddělených objektů, například čísla. Výsledná detekce anomálií není závislá na změnách nasvětlení předlohy, na přítomnosti rušivého pozadí, znesnadňující detekci anomálií (rýhy po kotoučové pile, jasový gradient světla čelní strany objektu jako důsledek stříhání, jasový gradient světla čelní strany objektu při pálení plazmou, intenzivní stíny), apod.

Předkládané technické řešení je možno využít například v prostředí automatizace, obecně při detekci povrchových vad při výrobě, v medicíně při hodnocení anomálií, při hledání určitých znaků na velké ploše, při hodnocení kvalitativních parametrů výrobků apod.

Claims (1)

1. NÁROKY NA OCHRANU

   1. Zařízení (1) k provádění zpracování předem zpracovaného obrazu metodou shlukování typu K-means, tvořené digitální kamerou (2) a výpočetní částí (3), kde digitální kamera (2) obsahuje přizpůsobovací obvody (4) analogové části CCD nebo CMOS a komunikační rozhraní (5) pro přenos digitalizovaných dat a výpočetní část (3) je tvořena jednotkou (7) zpracování dat s CPU, rozhraním (9) pro styk sokolím, a řídícím, ovládacím modulem (10), vyhodnocovacím a diagnostickým modulem (8) a externím modulem (11) se samostatným výpočetním jádrem a pamětí, přičemž v modulu (8) jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů ve směru os X a Y a binarizace obrazu, algoritmus kombinace obou obrazů formou logického součinu odpovídajících si pixelů, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů metodou shlukování pixelů typu K-means, v modulu (10) je integrován obecný ovládací a řídicí software pro chod zařízení (1), digitální kamera (2) je s výpočetní částí (3) jednosměrně propojena prostřednictvím přenosového média (6), přizpůsobovací obvod (4) je jednosměrně propojen s komunikačním rozhraním (5), jednotka (7) je obousměrně propojena s modulem (8), modulem (10) a rozhraním (9), kde rozhraní (9) je dále obousměrně propojeno s externím modulem (11), vyznačující se tím, že výpočetní část (3) je dále tvořena mikrokontrolerem (12), přičemž mikrokontroler (12) je s jednotkou (7) obousměrně propojen.