CZ20024260A3 - Systém zpracování zobrazení pro použití v systému kontroly - Google Patents

Description

Systém zpracování obrazu pro použití v inspekčních systémech

Stanoviska ohledně faJeiálně půdpofovaflého výžkunnr^

VtétgvĚci žádná aplikovatelná.

Odkazy ntt-souvisejícLqdiygg'

Cvtéto věci Žádná aplikovatelné.Oblast techniky

Tento vynález se obecně týká systémů zpracování obrazu a konkrétněji systémů zpracování obrazu pro použití v inspekčních systémech využívaných ke kontrole desek s tištěnými spoji.

Dosavadní stav techniky

Jak je v příslušném oboru známo, inspekční systémy se řadí k systémům užívaným ke zkoumání jakéhokoliv procesu reálného světa, zařízení či předmětu. Automatizovaný optický inspekční systém (AOI) provádí zkoumání převážně bez lidské intervence. AOI mohou mít různé formy a konfigurace v závislosti na konkrétní aplikaci, pro kterou jsou použity. Typicky však takové systémy zahrnují jeden nebo více senzorů, umístěných uvnitř příslušného tělesa (někdy označovaného jako inspekční hlavice). Inspekční hlavice je uzpůsobena k řízenému pohybu vzhledem k objektu, jenž má být zkoumán. Každý z uvedených (jeden nebo více) senzorů snímá obraz zkoumaného objektu (nebo Části tohoto objektu) a poskytuje zachycený obraz systému zpracování obrazu. Nejčastějším typem senzorů jsou kamery pro oblast viditelného světelného spektra. Jiné kupříkladu jsou citlivé k paprskům X. Systém zpracování obrazu porovnává obraz zkoumaného objektu zachycený v daném okamžiku se softwarovým modelem objektů tohoto typu. Na základě výsledků porovnání inspekční systém indikuje, jak dobře odpovídá zachycený obraz tomuto modelu. Tudíž inspekční systém užívá při průzkumném procesu (kontrole) modely.

Jak je rovněž známo, softwarový model, nebo prostě jen model, je reprezentací nějakého procesu reálného světa, zařízení či pojmu, který byl realizován nebo zachycen v software. Model tedy reprezentuje vybrané čí veškeré aspekty struktury, chování Či funkce

NÁHRADNÍ UST (PRAVIDLO 26) • · 44 • 4·

4 4 4

4 4 4 «4 44

4

4· 44 nebo jiné charakteristiky procesu reálného světa, pojmu nebo systému. Proces reálného světa, zařízení či pojem je uváděn jako třída objektu.

Aby bylo možno vytvořit model, musí se nejprve určit třída objektu a pak vybrat atributy (charakteristické znaky) této třídy objektu, které mají být zakódovány v modelu. Třída objektu tedy typicky zahrnuje skupinu objektů čí případů objektů sdílejících jednu či více charakteristik nebo atributů.

Je obvykle žádoucí do obsahu modelů vybrat ty atributy, které mohou stručně a přesně vyjádřit třídu objektu a které umožní inspekčnímu systému používajícímu model zahrnující tyto atributy identifikovat konkrétní objekty jako skutečná pozitiva a rozlišit ostatní objekty, které nejsou částí této třídy, jako skutečná negativa. Poněvadž existuje mnoho atributů, z nichž je možno do modelu vybírat a poněvadž výsledný model, jenž při aplikaci dává vysokou míru úspěšnosti identifikace skutečných pozitiv a rozlišení skutečných negativ, vytvoří jen některé z nich, je obtížné určit, které atributy mají být do modelu zahrnuty. Tento problém se stává ještě obtížnějším, když nemůžeme určit, které atributy umožní inspekčnímu systému rozlišit skutečná pozitiva od skutečných negativ. Nadto, i když hypoteticky víme, jaké atributy zahrnout, nemusíme je umět kvantifikovat nebo vyjádřit.

Objekt označený jako skutečně pozitivní je objekt, který vyloženě náleží ke konkrétní třídě objektu, se kterou je srovnáván. Například, tvorí-li třídu objektu typy pouzder integrovaných obvodů a daný objekt je integrovaný obvod, pak tento integrovaný obvod by byl pokládán za skutečně pozitivní vzhledem ke třídě objektu integrovaný obvod.

Naopak objekt jsoucí skutečně negativní je objekt, který vyloženě nenáleží ke konkrétní třídě objektu, se kterou je srovnáván. Například předpokládejme, že třída objektu jsou typy pouzder integrovaných obvodů a daný objekt je diskrétní prvek rezistor. V tomto případě by byl diskrétní rezistor pokládán za skutečně negativní vzhledem ke třídě objektu integrovaný obvod, neboť diskrétní rezistor nenáleží do téže třídy objektu jako objekty typů pouzder integrovaných obvodů.

K porovnání modelu s objektem s cílem určit, je-li tento objekt součástí příslušné třídy objektu, slouží srovnávací metoda. Srovnávací metoda extrahuje vybrané atributy ze zkoumaného objektu a srovnává tyto posuzované atributy onoho konkrétního objektu s atributy třídy objektu, jak jsou uloženy v modelu. Důležitým aspektem srovnávací metody je, že správně vykalkuluje nebo určí hodnotu atributů ze zkoumaného objektu. Tyto vykalkulované nebo zvolené atributy jsou pak porovnány s atributy modelu. Jedním příkladem atributu používaného k modelování součástek na desce s tištěnými spoji jsou okraje součástky vůči desce s tištěnými spoji a jakékoliv vnitřní hrany součástky. U obrazu, který

NÁHRADNÍ UST (PRAVIDLO 26)

999 * 9 9

99 999 ·· · • 99 9 9 99 9

99 «· 99 může obsahovat součástku, jsou považovány za potenciální kandidáty na hrany velké gradienty nebo nespojitosti, jež jsou výsledkem umístění součástky na desku.

Problémem při tomto přístupu však je, že srovnávací metody nejsou schopny správně určit čí určit v reálném časovém úseku, jaká data z obrazu obsahujícího zkoumaný objekt by měla být zahrnuta do porovnávání atributů. Toto dilema se často nazývá korespondenčním problémem. Je-li třeba přesné shody mezi porovnávanými daty z obrazu zkoumaného objektu s atributy modelu, avšak data týkající se konkrétního atributu nejsou jednoznačná, vedou často srovnávací metody ke špatným výsledkům. V nejhorším případě, existuje-li n porovnávání v úvahu připadajících atributů obrazu a m porovnávání atributů v modelu dané součástky, je m^An možných kombinací. Často musí být vyhodnoceny všechny, aby se vybrala nejlepší shoda. Ale ani pak nemusí existovat skutečná shoda, nebylo-li jedno ze srovnávání kritických atributů v obrazu provedeno správně.

Jak je rovněž v oboru známo, konvenční metody inspekce desek s tištěnými spoji (PCB) používají typicky jeden typ modelu majícího jediný atribut. Konvenční inspekční systémy rovněž používají jednu srovnávací metodu. Většina programů srovnávajících modely spočte případy atributů v obrazu a porovná je se všemi případy atributů v modelu. Jak je výše popsáno, počet vzájemně odpovídajících, které je nutno vyhodnotit, je exponenciální. Mnohé metody se tento objemný soubor snaží probrat vyloučením kombinací nepravděpodobných nebo takových, jež porušují některá heuristicky vytvořená pravidla.

Jsou známy rovněž různé typy modelů. Jeden typ modelu uváděný jako model obrazu (obrazový model) je vytvořen z obrazu příkladu zkoumaného objektu. V praxi je model často odvozen nebo vytvořen z obrazu vzorku či jednoho typického objektu z objektů, které mají být kontrolovány. Vzorek či typický objekt může být celá součástka obvodu nebo část součástky obvodu nebo úsek PCB, jež má být kontrolován. Obrazový model typicky obsahuje jenom jediný atribut, například světelnost. Rozdělení světelnosti má neměnnou prostorovou konfiguraci. Srovnávací metoda je použita k převodu obrazu kontrolovaného objektu (tj. kontrolované součástky nebo úseku obvodu) do souboru atributů podobných těm, jež jsou zahrnuty v modelu. Například, jsou-li v modelu zahrnuty atributy světelnosti, pak srovnávací metoda z kontrolovaného objektu vytvoří soubor atributů světelnosti. Tento jediný obrazový model je pak použit k provedení inspekčního procesu. S metodou obrazového modelu je však spojen jeden problém, a sice mění-li se vzhled skutečných pozitiv napříč spektrem konkrétních případů kontrolovaného objektu (objektů), obrazové modely jeví sklon ke špatné reprezentaci aktuálních dat. Tj., daný obraz součástky obvodu nebo PCB, z něhož je jediný model obrazu získán, není třeba správnou prezentací typické součástky obvodu či PCB

NÁHRADNÍ UST (PRAVIDLO 26) * · • · · ··· ·· «·· ·«· · · · · *

94 ·* ·· ·· ·· kontrolované během inspekčního procesu . Rovněž třeba není dobrou prezentací typické součástky obvodu, která může mít několik přijatelných vzezření. V důsledku toho obrazový model nebude přesně odpovídat obrazům příslušné kontrolované součástky obvodu nebo PCB a tudíž inspekční systém jej používající nebude dávat správné výsledky testování.

Jiný typ modelu, uváděný jako model hran je často získáván z idealizované reprezentace hran (okrajů) součástky nebo části obvodu, jenž má být kontrolován. Srovnávací metoda je použita k převodu obrazu kontrolovaného objektu (např. součástky či části kontrolovaného obvodu) do souboru atributů hran. Tento přístup je však problémový v případě, kdy nově zvolený obraz, jenž má být kontrolován, třeba má velký počet hran. V takovém případě nemusí být jasné, který soubor hran nebo linií v modelu použít k porovnání nových dat z kontrolovaného objektu, tudíž se porovnávání odpovídajících znaků v novém obrazu a v modelu stane obtížným. Je též možné, že následkem Špatných světelných podmínek, šumu kamery, malého kontrastu mezi objektem a pozadím či četným dalším okolnostem systém zpracování obrazu nebyl schopen rozpoznat skutečný okraj součástky. Když srovnávací metoda nepřevedla obraz součástek obvodu do požadovaných atributů správně, inspekční systém nedodá správné testovací výsledky. Jestliže uvedené modely nedávají správné výsledky, inspekční systém produkuje značné množství falešných pozitiv a falešných negativ. V kontextu kontroly desek s tištěnými spoji falešné pozitivum znamená, že inspekční systém indikuje, že se součástka obvodu na PCB nachází, když vlastně ve skutečnosti tam není. Podobně falešné negativum znamená, že systém indikuje nepřítomnost součástky obvodu na PCB, když tato tam ve skutečnosti je.

Automatizovaný optický inspekční systém desek PCB je z mnoha důvodů poměrně nesnadná záležitost. Například součástky obvodů mající tmavé barvy jsou umístěny na deskách tmavých barev.V takovém případě tedy kamera proto, že tmavý prvek (tj. součástka obvodu) je umístěn na temném pozadí (tj. PCB), nezjistí mezi součástkou a PCB žádný podstatný kontrast.

Kromě toho mohou PCB mít falešné hrany, způsobené technologií sítotisku používanou na PCB, jakož i falešná pozitiva a negativa, jejichž příčinou je velká variabilita vzhledu součástek obvodů a desek tištěných spojů. Takové odchylky také činí inspekčnímu systému potíže při rozpoznávání prvků na PCB, odpovídajícímu realitě.

Existence falešných negativ je nežádoucí, poněvadž je časově náročné tyto stavy selhání lidským zrakem registrovat a vyloučit. Je nežádoucí existence falešných pozitiv, poněvadž je časově a finančně náročné zjišťovat, že součástky obvodu chybí nebojsou vadné.

NÁHRADNÍ UST (PRAVIDLO 26) • φ φφφ φ · • φ · φφ· · φ φ • * · φ · φ · φ • Φ Φ· φφ φφ φφ

Tudíž inspekční systémy užívající jediný model a srovnávací metodu typicky vedou k růstu výrobních nákladů PCB a snižují dosažitelné výrobní tempo.

Bylo by tedy zapotřebí inspekčního systému a způsobu, který výsledně vykáže relativně málo falešných pozitiv a negativ, Bylo by rovněž třeba nalézt způsob, který zvyšuje dosažitelnou kapacitu/tempo výroby PCB a který zpracovává obrazy součástek obvodu s tištěnými spoji relativně rychle. Dále by bylo žádoucí poskytnout systém produkující reprodukovatelné výsledky.

Podstata vynálezu

Vzhledem kvýše uvedeným problémům a omezením existujících inspekčních systémů, včetně inspekčních systémů desek s tištěnými spoji a v souladu s předkládaným vynálezem bylo zjištěno, že spojení potřeby správných testovacích výsledků s výhodností a požadavkem rychlého provedení analýzy obrazu lze dosáhnout použitím vícero odlišných typů modelů. To naopak vede k problému, jak vybrat a využít vícero typů modelů ke snížení počtu falešných pozitiv a negativ při současném zvýšení rychlosti, sniž jsou součástky obvodů nebo PCB kontrolovány.

Bylo též zjištěno, že modely zahrnující pouze jeden atribut typicky neposkytují dobrou reprezentaci dat generovaných během inspekčního procesu. Dalším problémem dosavadního stavu techniky je, že atributy použité pro reprezentaci konkrétního modelu často nemohou být snadno posuzovány v obrazu zaznamenávaném kamerou nebo čidlem. Atributy jsou často posuzovány během srovnávacího procesu. V obou případech, (tj. jestliže model buď není dobrou reprezentací dat nebo atributy použité pro reprezentaci konkrétního modelu nelze v obrazu snadno posuzovat), pak metoda srovnávání s modelem bude dávat falešná hlášení. Bylo takto rovněž zjištěno, že omezení způsobu využití modelů vede k inspekčnímu systému dávajícímu menší počet falešných pozitiv a negativ.

Použití několika typů modelů je efektivní, můžeme-li rozložit hlavní problém na menší, při nichž se snadněji zvládají sporné otázky. Každý model v této souvislosti nemusí řešit celý problém, což činí jeho výsledky mnohem průkaznější.

Tudíž podle předkládané metody využívá inspekční systém ke kontrole objektů model obrazu, model struktury a model geometrie. Tyto tři typy modelů jsou kombinovány způsobem využívajícím přednosti každého typu modelu. Nejprve je na kontrolovaný objekt aplikován příslušný obrazový model za účelem zjistit, zda kontrolovaná součást vypadá přesně jako součásti prohlížené v minulosti. Toto použití je nutno rozlišovat, například, od

NÁHRADNÍ UST (PRAVIDLO 26) • * φφφ φ φ ·« • ·· ··» ·· · ···· ♦ ·φ · ·· ·Φ ·· φ· φ

φ * φ · · «φ Φ· použití obrazového modelu k určení, zda je kontrolovaný objekt přítomen. Užití obrazového modelu podle předkládaného vynálezu skýtá poměrně rychlý způsob identifikace objektů podobného vzhledu. Atributy zahrnuté v obrazovém modelu mohou odpovídat barvě, světelnosti či jiným odvozeným atributům, které jsou uspořádány jako prostorově neměnné. Po aplikaci obrazového modelu následuje aplikace modelu strukturálního. Příslušný strukturální model kóduje soubor oblastí a relací. Jeho úkolem je zjistit, zda v obrazu existuje součást mající stejnou strukturu, jaká je zakódována v modelu. Strukturální model lze použít k rozhodování, zda obrazový model skutečně našel v daném obrazu jistou součástku. Tedy v jednom případě je použit k verifikaci. Ve druhém případě, selže-li obrazový model, může prověřit, zda se v daném obrazu nachází součást sice s velmi odlišnými vizuálními znaky, avšak se strukturou podobnou modelu. Nakonec je aplikován geometrický model. U tohoto modelu se předpokládá, že se již ví, že daný objekt nebo součástka je na místě, ale je zapotřebí detailů umístění. Z přibližných údajů o umístění a natočení získaných dvěma předchozími modely zjistí přesné umístění kontrolované součástky či objektu. Geometrický model prozkoumává všechny hrany nebo oblasti svelkým gradientem vdaném objektu v podstatě simultánně stím omezením, že daná vzorová soustava gradientů odpovídá nejvyšsí úrovni konfigurace celkové sestavy. Geometrický model využívá k přesné lokalizaci kontrolované součástky nebo objektu intenzivních gradientů v světelnosti, barvě a pod.

S tímto konkrétním uspořádáním je poskytována metoda srovnávání s modelem, mající méně selhání a přesnější lokalizování, než dosavadní metody. Použitím pluralitních modelů v jednom inspekčním systému mohou být využity přednosti každého typu modelu, zatímco nedostatky každého typu mohou být potlačeny nebo dokonce eliminovány.

Podle dalšího aspektu předkládaného vynálezu způsob porovnávání obrazu objektu, jenž má být detekován pomocí jednoho či více násobných modelů, zahrnuje kroky aplikace obrazového modelu na zájmovou oblast za účelem zjištění přítomnosti objektu s podobným vzhledem jako model, aplikace strukturálního modelu na zájmovou oblast pro potvrzení přítomnosti objektu a jeho přesnější lokalizaci nebo pro zjištění přítomnosti objektu s podobnou strukturou, avšak přijatelného odlišného vzhledu vůči modelu, a aplikace geometrického modelu na zájmovou oblast k lokalizaci přesných okrajů objektu.

Podle dalšího aspektu předkládaného vynálezu způsob kontroly objektu zahrnuje kroky aplikace prvního modelu na zájmovou oblast kolem očekávaného umístění objektu s cílem vytvořit výstupní zájmovou oblast, a aplikace druhého modelu na zájmovou oblast, jež je produkcí prvního modelu. První model snižuje počet parametrů nebo zmenšuje velikost

NÁHRADNÍ LIST (PRAVIDLO 28) φ · φφφ • · φφ φφφφ φφφφ φ • Φ φφ φ» φφ ·· ·· zájmové oblasti, která musí být brána v úvahu při srovnávacím procesu s druhým modelem. Například, u desek s tištěnými spoji aplikace obrazového modelu před strukturálním modelem může snížit počet natáčení a posuvů objektu, se kterými je nutno počítat při srovnávacím procesu se strukturálním modelem. Podobně použití strukturálního modelu před geometrickým modelem může snížit počet natáčení a posuvů objektu, se kterými je nutno počítat u geometrického modelu. Výsledkem je poměrně rychlý srovnávací proces.

Jinak řečeno, řetězec aplikací modelů (tj. aplikace jednoho modelu za druhým v řadě za sebou) lze použít k redukci počtu pracovních hypotéz braných v úvahu u každého modelu. Je třeba chápat, že termín parametry, jak je užít zde v kontextu, je míněn jako zahrnující všechny u modelu uvažované hypotézy. Ve výše uvedeném příkladu jsou hypotézy zaměřeny na získání původních hodnot natočení a posuvu kontrolovaného objektu. Tudíž, jak jsou modely aplikovány jeden po druhém, zkrátí se rada potenciálních natáčení a posuvů. Při jiné aplikaci se však mohou hypotézy vztahovat k tomu, jaký objekt je v daném obrazu. Například při použití k monitorování by mohl soubor hypotéz pokrývat všechny typy pohybujících se vozidel v obrazu přítomných. Objekty, které mohou být přítomny, zahrnují tank, nákladní auto, skříňový vůz, osobní auto, motocykl nebo kolo. S daným reálným obrazem můžeme použít řetězec modelů k systematické redukci počtu a typů možných vozidel v obrazu. V dalším případě jsou hypotézy směrovány na obnovu světelnosti nebo barvy objektu. To se obvykle provádí při zpracování obrazů pro lékařské účely ke stanovení diagnózy interních zdravotních stavů, jako je osteoporóza či krevní poruchy nebo mozkový nádor. Posloupnosti násobných modelů lze využít k případnému vyloučení některých barev nebo hodnot světelnosti.

Tento specifický přístup přináší přímou rozpoznávací metodu porovnávání obrazu objektu, který má být zjišťován, s modelem. Aplikací nejprve obrazového modelu, poté strukturálního modelu a pak geometrického modelu je zajištěn rychlý, přesný inspekční proces. Prezentací každého modelu s dobře definovaným úkolem k provedení a dobře definovaným dotazem k zodpovězení mohou být využity přednosti každého modelu k rychlému získání správných informací. Informace získané při aplikaci každého modelu jsou použity inspekčním systémem k rozhodování týkající se kontrolovaného objektu.

Podle dalšího aspektu předkládaného vynálezu inspekční systém zahrnuje databázi mající v sobě uloženou knihovnu pouzder a inspekční plán, generátor inspekčního plánu napojený na příjem informací z uvedené databáze a informací o desce, která má být kontrolována. Dále tento systém zahrnuje systém zpracování obrazu mající procesor obrazových modelů, procesor strukturálních modelů a procesor geometrických modelů.

NÁHRADNÍ LIST (PRAVIDLO 26) • · 444

4 44 • 4 4 4 4··· 944·

44 ·· 44 44 44

Procesory modelů kooperují při aplikaci násobných modelů na obraz objektu do nich přivedený. V jednom provedení procesory modelů kooperují při postupné aplikaci násobných modelů na obraz objektu.

S tímto konkrétním uspořádáním je poskytován inspekční systém, který využívá násobných modelů během inspekčního procesu (např. kontroly objektu jako je součástka desky s tištěnými spoji) a který dává poměrně málo chybných pozitivních a negativních výsledků. Konkrétní počet modelů použitých při analýze obrazu závisí, alespoň z části, na tom, jak dobře obraz kontrolovaného objektu odpovídá každému z modelů a jak různorodá třída kontrolovaných objektů může být. Užitím prvního modelu k přijmutí hypotézy přítomnosti součástky a užitím dodatečných modelů pro ověření a zjištění detailnějších informací týkajících se součástky nebo určení umístění součástky vzhledem k jinému objektu poskytuje systém výsledky vysoce spolehlivé a přesné.

Podle dalšího aspektu předkládaného vynálezu zahrnuje inspekční proces objektu kroky získání obrazu obsahujícího kontrolovaný objekt, získáni obrazových, strukturálních a geometrických modelů odpovídajících typu objektu, aplikaci obrazového modelu na objekt, zjištění, zda obrazový model indikuje přítomnost oné součásti. V reakci na indikaci přítomnosti objektu pomocí obrazového modelu zkoumání malé plochy uvnitř zájmové oblasti (ROI), v níž obrazový model nalezl onu součást, prostřednictvím strukturálního modelu. V reakci na indikaci pochybnosti o přítomnosti objektu obrazovým modelem je použit strukturální model k úplnému prozkoumáni celé ROI. Ukáže-li strukturální model, že součást je přítomna, je pak použit geometrický model k přesné lokalizaci objektu a k dodání detailních informací týkajícím se umístění objektu.

S tímto konkrétním uspořádáním je poskytován inspekční proces s násobnými modely, který může rychle a přesně lokalizovat objekty. Použitím obrazových, strukturálních a geometrických modelů v určitém předem stanoveném pořadí mohou být zvýrazněny přednosti každého typu modelu při současném zmírnění nedostatků každého typu modelu.

Podle dalšího aspektu předkládaného vynálezu proces inspekce desek s tištěnými spoji zahrnuje kroky zaplnění knihovny pouzder, anotace knihovny pro přiřazení typu vizuální třídy, tvorby inspekčního plánu pro konkrétní desku s tištěnými spoji, prozkoumání PCB s použitím násobných modelů a volitelně provedení kroku zaučení modelu na pozadí. S tímto konkrétním uspořádáním je poskytován postup pro kontrolu desek s tištěnými spoji. Pochopitelně, že stejný postup, jaký je zde používán ke inspekci PCB, lze použít i k inspekci jiných typů objektů.

NÁHRADNÍ LIST (PRAVIDLO 26) • φ φφφ φφφ» φ φφ φφφ φφ φφφ φ φ φ φ φφφφ φ φφ φφ φφ φφ φφ φφ

V jednom provedení může způsob zahrnovat sebeopravný (trasovací) režim, který lze použít k nápravě potíží vyskytnuvších se ve spojitosti s některým modelem v inspekčním plánu. Nutno rozumět, že podle předkládaného vynálezu má každá součást řadu či skupinu doprovodných modelů. Například obrazový model, strukturální model a geometrický model mohou tvořit skupinu modelů pro konkrétní součástku. Je-li vydáno rozhodnutí spustit trasovací proces, pak program postupuje k trasování zaučovacího procesu. Byl-li nový model nebo řada modelů (např. obrazový, strukturální či geometrické modely) pro součástku zaučeny na kroku tvorby modelu s pozadím, mohou jím být v inspekčním plánu nahrazeny. Jinak jsou zaučovací kroky pro konkrétní model či soubor modelů opakovány na odlišných souborech obrazů. Trasovací proces se uzavírá aktualizací inspekčního plánu, která znamená nahrazení modelu či řady modelů pro problémovou součást opraveným modelem nebo přidání nových exemplářů modelu (např. druhý obrazový model). Výsledkem trasovacího a následného zaučovacího procesu je revidovaný specifický model či řada modelů pro tu součást, kterou systém identifikoval jako problémovou. Poté, co je vygenerován nový model nebo soubor modelů, je inspekční plán pro problémovou součást aktualizován. Je rovněž pochopitelné, že lze aktualizovat nebo rozšířit jeden nebo všechny modely v modelové skupině. Například, podle trasovacího/zaučovacího procesu je možno zaučit nový obrazový model, avšak zachovat tentýž strukturální a geometrický model.

Podle dalšího aspektu předkládaného vynálezu metoda vývoje nebo zaučování modelů, kterou lze použít v inspekčních systémech pro desky s tištěnými spoji, zahrnuje kroky použití snímku pro tvorbu výchozího obrazového a strukturálního modelu a použití informací o geometrii dané součástky ke tvorbě výchozího geometrického modelu daného objektu.

V jednom provedení je použita metoda automatického omezování snímku. Tato metoda zahrnuje kroky identifikace zájmové oblasti (ROI) na PCB, která by měla obsahovat kontrolovaný objekt, a porovnávání výchozího obrazového a strukturálního modelu s ROI s cílem rozhodnout, zda je tento objekt přítomen. Poznamenejme, že jelikož obrazový model vyžaduje snímek, tato metoda si může vypomoci inherentně použitím syntetického snímku (tj. syntetického obrazu generovaného z dat shromážděných z násobných obrazů nebo automaticky generovaných či kombinovaných pro syntetický obraz) nebo snímku podobné součástky, Je-li rozhodnuto, že daný objekt není přítomen, je pak dosazena jiná ROI a výše uvedené kroky jsou opakovány. Je-li naopak rozhodnuto, že objekt je přítomen, použije se geometrického modelu k lokalizaci přesných okrajů dané součástky a k získání informací o natočeni daného objektu, a získá se omezený obraz dané součásti. S tímto konkrétním

NÁHRADNÍ UST (PRAVIDLO 26) • 4·4 • ·· · · 44 444 4 * 4 4 * 4 4 4 4 • 4 4* ** 44 4* uspořádáním je poskytována metoda automatického získávání omezeného obrazu, kterou lze použít pro přípravu modelu.

Jakmile mají modely všechny své základní prvky, jsou trénovány na vzorcích k rozlišování pozitivních příkladů (obrazů obsahujících správnou součástku) od negativních příkladů (obrazů součástku neobsahujících nebo obsahujících součástku nesprávnou čí poškozenou). Vzorky mohou být jen dva (jeden pozitivní a jeden negativní) nebo může být jejich počet roven počtu veškerých dat vygenerovaných z desek s tištěnými spoji kontrolovaných předešle.

Seznam vyobrazení

Předchozí hlavní znaky vynálezu, jakož i vynález sám, mohou být plněji pochopeny z následujícího popisu vyobrazení, ve kterých:

Obr. 1 je blokové schéma inspekčního systému;

Obr. 2 uvádí kroky při kontrole konkrétního typu desky s tištěnými spoji;

Obr. 3A uvádí kroky automatického získávání snímku součástky natočené do výchozí orientace;

Obr. 3B popisuje zaučovací proces při daném souboru vzorových obrazů (holého, pastovaného, osazeného, a snímku součástky);

Obr. 4A a 4B ilustrují zaučovací proces sloužící výběru nejlepšího souboru vzorových obrazů pro použití v obr. 3B;

Obr. 5 popisuje kroky inspekčního procesu pro součástku; a

Obr. 6A a 6B popisuje specifickou implementaci obr. 5 pro inspekci součástky.

Obr. 7A a 7B znázorňuje obrazový model, strukturální model a geometrický model v nominálních orientacích, trénované na oblastech zachyceného obrazu.

Obr. 8 ukazuje obrazový, strukturální a geometrický model zobr.7A a 7B, s větší odchylkou od očekávaného úhlu.

Obr. 9A - 9D ukazují obrazový, strukturální a geometrický model při aplikaci ve třech různých případech inspekce.

Obr. 10A - 10E jsou diagramy výsledků strukturálního modelu odpovídajících případům pastovaného a osazeného obrazu pro pouzdro typu CCO8O5.

Obr. 11A a 11B jsou diagramy výsledků strukturálního modelu odpovídajících případům série osazených součástek a pastovaných součástek typu RC1206.

NÁHRADNÍ LIST (PRAVIDLO 26) • · «· *· *· ·· W* ··

Obr. 12 ukazuje výsledky obrazového modelu porovnávaného se součástkou identifikovanou jako RC0805.

Obr. 13 ukazuje výsledky obrazového modelu pro pastovaný a osazený obraz tohoto typu RC1206.

Obr. 14A - 14B ukazují postup zaučování modelu či řady modelů poskytující dobré zatřiďování obrazů u daného typu součásti.

Obr. 14C ukazuje histogram četnosti výskytu výsledků se dvěma křivkami odpovídajícími rozložení příslušných položek dat.

Příklady provedení vynálezu

Před popisováním postupu a zařízení v předkládaném vynálezu je třeba si uvědomit, že v úsilí podpořit srozumitelnost výkladu je zde občas odkazováno na inspekci (kontrolu) určitých objektů nebo jsou inspekce prováděny v konkrétní oblasti použití. Takové odkazy a doprovodné příklady jsou určeny pouze k usnadnění pochopení vynálezu a nemohou být brány jako omezené využití pojmů zde uváděných, při použití se systémy jenom toho typu, jak jsou zde popsány. Spíše, jak je zmiňováno předešle, předkládaný vynález nachází využití v široké paletě odlišných oblastí a obvykle je aplikován při řešení problémů rozpoznávání a detekce objektů. Předkládaný vynález lze použít k rekognoskaci objektů, jako např. obličejů či k zjišťování objektů, jako např. defektů polovodičových plátků. Další oblasti zahrnují indexaci databází obrazů, analýzu obrazu pro lékařské účely, pozorovací a monitorovací aplikace.

V níže uvedeném popisu je rovněž občas odkazováno na systém mající konkrétní zobrazovací soustavu či části zobrazovací soustavy, nebo konkrétní osvětlovací soustavu či části osvětlovací soustavy, nebo osvětlení pracující v konkrétních kmitočtových pásmech či teplotách. Osoby se standardní znalostí oboru si ovšem budou vědomy toho, že koncepce zde popsané se dají aplikovat stejně dobře na inspekční systémy s jakýmkoliv typem zobrazovacích nebo osvětlovacích soustav (včetně osvětlovacích soustav pracujících v širokém rozmezí kmitočtových pásem) nebo částí za předpokladu, že tyto soustavy nebo části mají požadované provozní či funkční parametry. Občas je zde také odkazováno na osvětlovací soustavu se světly rozmístěnými ve speciální topologii. Osoby se standardní znalostí oboru si budou vědomy, že základní principy předkládaného vynálezu lze implementovat při použití různých topologií světel a že zde uvedené jsou pouze příklady a nemohou být interpretovány jako omezení.

NÁHRADNÍ LIST (PRAVIDLO 26) • ···

Občas je zde též odkaz na kontrolu určitých objektů, např. desek s tištěnými spoji a součástek obvodů rozmístěných na deskách s tištěnými spoji. Jak je zde popisováno, součástka obvodu Či jednoduše jen součástka, se vztahuje na díl, např. integrovaný obvod, který je přimontován nebo jinak připojen k desce s tištěnými spoji (PCB). Objektem může též být defekt desky s tištěnými spoji. PCB může být jakéhokoliv typu.

Osoby se standardní znalostí oboru pochopí, že principy předkládaného vynálezu naleznou uplatnění v širokém rozmezí aplikací, které zahrnují kontrolu desek s tištěnými spoji a součástek, jakož i kontroly objektů jiných typů, ale nejsou omezeny jen na tyto inspekce. Například, předkládaný vynález najde využití tam, kde jeden objekt je umístěn nad a eventuálně i v kontaktu s jiným objektem nebo v jeho těsné blízkosti, nebo kde jeden objekt je vložen v jiném objektu, nebo kde je žádoucí v obrazu identifikovat objekt v popředí od pozadí. Podobně postupy zde popisované mohou být použity pro jakýkoliv typ desky s tištěnými spoji či jejího dílu bez ohledu na její funkci.

Osoby se standardní znalostí oboru taktéž pochopí, že popis a postupy zde uvedené jako odehrávající se s deskami s tištěnými spoji a součástkami se mohou stejně tak odehrávat s tvářemi osob či otiskem prstu, nebo s logem společnosti Či libovolným jiným obrazem. Podobně procesory níže popisované mohou zahrnovat libovolný typ integrovaného obvodu fyzicky zapojeného nebo naprogramovaného k plnění konkrétního úkolu či funkce.

S odkazem nyní na obr. 1, prováděcí systém 10 k realizaci inspekce desek s tištěnými spoji (PCB) zahrnuje složku databáze 12, mající v sobě uloženu knihovnu pouzder 14, která obsahuje detailní informace týkající se určitých objektů. Například, v případě inspekčního systému pro PCB knihovna pouzder 14 obsahuje detailní informace týkající se tvaru a velikosti integrovaného obvodu, neobsahuje informace týkající se rozmístění těchto součástek na PCB. Databáze 12 obsahuje ještě knihovnu inspekčních plánů 16 napojenou na generátor inspekčních plánů 18, který generuje inspekční plán pro konkrétní PCB a uchovává výsledky inspekčního plánu v knihovně inspekčních plánů 18.

Systém zpracování obrazu 20 spojený s databází 12 zahrnuje soustavu snímání obrazu 22, obrazový procesor 24 a jednotku rozhraní obrazu 25. Soustavu snímání obrazu 22 může tvořit např. jedna či více kamer nebo čidel, které snímají objekt, který má být kontrolován. V přednostním provedení jsou tyto kamery barevnými kamerami. Poté, co je obraz zachycen, následuje zpracování příslušných dat, např. Bayerova rekonstrukce barev, vyvážení bílé, zvýraznění kontrastu atd. Rozhraní obrazu 25 může být např. grafické uživatelské rozhraní (GUI), prostřednictvím kterého může uživatel komunikovat se systémem zpracování obrazu

20.

NÁHRADNÍ LIST (PRAVIDLO 26)

Μ· ♦ 9 99

Obrazy zachycené soustavou snímání obrazu 22 jsou dodány systému spouštěče aplikací (runtime) 26. Runtime systém 26 zjistí z inspekčního plánu z knihovny 16, které části se mají kontrolovat v zorném poli jedné kamery u konkrétního typu desky. Runtime systém 26 rovněž zjistí, které Části je třeba kontrolovat v zorném poli několika kamer (např. když Část překračuje rámec záběru kamery nebo je část příliš velká pro záběr jedné kamery).

Ke kontrole jedné konkrétní části runtime systém 26 aktivuje inspekční modul 28. Inspekční modul 28 zahrnuje detektor zakrytí 30, theta kalkulátor 32, zaučovací a trasovací systém 34, procesor obrazových modelů 36, procesor strukturálních modelů 38, procesor geometrických modelů 40 a detektor orientačních značek 42. Runtime systém 26 může aktivovat inspekční modul 28 v inspekčním režimu, zaučovacím režimu nebo trasovacím režimu V obou posledních režimech systém 10 poznává a ukládá atributy týkající se vzhledu součástí a aktualizuje nebo doplňuje odpovídající obrazové, strukturální či geometrické modely. Runtime systém 26 může přijímat vstup uživatele prostřednictvím modulu uživatelského rozhraní. Například během trasovacího procesu může být uživatel systému dotazován přes toto uživatelské rozhraní.

Jakmile runtime systém aktivuje inspekční modul 28 v inspekčním režimu, započne proces kontroly. Proces kontroly bude detailně popsán ve spojení s obr. 5 níže. Zde postačí říci, že inspekční systém 10 využívá během procesu kontroly vícero modelů. V jednom provedení využívá inspekční modul 28 k provedení kontroly v konkrétním pořadí příslušný obrazový model 36, strukturální model 38 a geometrický model 40. Inspekční systém 1Ό tedy používá ke kontrole objektů nějaký obrazový, strukturální a geometrický model.

Tyto tři typy modelů jsou kombinovány způsobem, který využívá předností každého typu modelu. Obrazový model 36 je nejprve aplikován na větší zájmovou oblast na PCB, aby se zjistilo, zda v této oblasti existuje objekt extrémně podobný vyobrazení uloženému v obrazovém modelu objektu, který je zkoumán s cílem určit, zda ta součást vypadá jako obrazový model. Takové použití by mělo být odlišeno, např. od konvenčního používání obrazových modelů, kde je obrazový model užit ke zjištění, zda je kontrolovaný objekt v obrazu přítomen. Použití obrazového modelu podle předkládaného vynálezu skýtá poměrně rychlý postup při identifikaci objektů velmi podobného vzhledu. Atributy obsažené v obrazovém modelu mohou odpovídat barvě, světelnosti atd... Je třeba si uvědomit, že obrazový model je obvykle fixní sestava binárních, světelných, barevných pixelů. Obvykle tyto pixely odpovídají zobrazovanému pohledu na objekt jedna ku jedné. Obrazový model může však být rovněž fixní sestava zpracovaných charakteristických znaků obrazu, např. gradientů nebo vlastností textury. Obrazový model může též existovat v mnoha různých

NÁHRADNÍ LIST (PRAVIDLO 26) • 444 • 44 4 · 4 «4 444

4 4 4 4 4 4 4 4 ·· ·4 44 44 44 44 rozlišeních. Nevýhodou obrazového modeluje, že mnohé znaky na holé nebo pastované desce mohou být velmi podobné znakům na objektu.

Po aplikaci obrazového modelu 36 na kontrolovaný objekt je aplikován strukturální model 38. Konkrétně je strukturální model 38 aplikován s cílem rozhodnout, zdali je tento objekt v zájmové oblasti skutečně přítomen. Indikuje-li obrazový model pravděpodobnou přítomnost dané součástky v konkrétní oblasti, strukturální model se pokouší zjistit, zda má indikovaná součást všechny strukturální znaky, které by na ní měly být. Strukturální model lze použít k těsnější aproximaci umístění objektu. Jestliže obrazový model indikuje, že součástka podobná jeho internímu obrazu pravděpodobně není v zájmové oblasti přítomna, strukturální model hledá v celé dané oblasti součástku sice odlišného vzhledu, ale mající správné strukturální složky,

Výsledkem porovnávacích kroků v obrazu a struktuře je buďl) součástka chybí nebo

2) součást je přítomna přibližně na místě <x,y> s odhadem natočení o r stupňů. Je-li součástka přítomna, je aplikován geometrický model k určení přesného umístění kontrolované součástky nebo objektu.

Nakonec je aplikován geometrický model 40 , aby se přesně zjistilo umístění kontrolované součástky nebo objektu. Geometrický model prozkoumává všechny hrany objektu v podstatě simultánně stím omezením, že tyto hrany odpovídají popisu modelu nejvyšší úrovně. U geometrického modelu se předpokládá již znalost, že příslušná součást nebo objekt je na konkrétním místě a geometrický model 40 zjišťuje přesné detaily umístění. Geometrický model využívá k přesné lokalizaci kontrolované součásti nebo objektu velkých gradientů v světelnosti, barvě, atd. Je třeba si uvědomit, že geometrický model může využít jiných znaků, než velkých gradientů. Například, může analyzovat obraz, zda jsou v něm oblasti s místy ohybu, jiným geometrickým znakem či dokonce znaky jako např, zřetelná přesně umístěná značka. Tedy použití násobných modelů v inspekčním systému 10 vede k systému rychlejší, sméně selháními a lepším rozlišováním při zkoumání než systémy dosavadního stavu techniky.

Obr. 2 - 6B jsou řadou postupových diagramů znázorňujících průběh akce vykonávané prováděcím zařízením, které např. může být částí inspekčního systému 10 (obr.

1) ke kontrole desek s tištěnými spoji (PCB). Alternativně mohou být prováděcí kroky implementovány systémem zpracování obrazu, který prostě porovnává obrazy v jiném procesu, než je kontrola PCB. Obdélníkovými prvky (typicky představované prvkem 54 na obr. 2) jsou zde označeny programové bloky a představují instrukce nebo skupiny instrukcí software počítače. Prvky tvaru kosočtverce (představované prvkem 50 na obr. 2) jsou zde

NÁHRADNÍ UST (PRAVIDLO 26) » »«· označeny rozhodovací bloky a představují instrukce nebo skupiny instrukcí software počítače ovlivňující vykonávání instrukcí reprezentovaných programovými bloky.

Alternativně programové a rozhodovací bloky představují kroky prováděné funkčně ekvivalentními obvody, jako je např. obvod procesoru digitálního signálu (DSP) nebo integrovaný obvod pro specifické aplikace (ASIC). Postupový diagram nepopisuje syntaxi nějakého konkrétního programovacího jazyka. Postupový diagram spíše znázorňuje provozní informace, které potřebuje osoba standardně znalá oboru ke konstrukci obvodů nebo tvorbě počítačového software k provádění procesu požadovaného od konkrétního zařízení. Je nutno poznamenat, že mnoho rutinních programových prvků, např. iniciace (spuštění) smyček a proměnných a použití dočasných proměnných není znázorněno. Osoby standardních znalostí oboru si budou vědomy, že pokud zde není jinak naznačeno, popsaná konkrétní sekvence kroků je pouze ilustrativní a lze ji obměňovat bez odchýlení se od podstaty vynálezu.

Některé z kroků v postupovém diagramu na obr. 2 - 6B jsou níže popisovány jako pro desku nespecifické, což znamená, že k provedení toho kroku není třeba žádných informací z jakékoliv specifické desky s tištěnými spoji. Jiné kroky v postupovém diagramu jsou popsány jako pro desku specifické, což znamená že je zapotřebí alespoň některých informací o jedné nebo více specifických deskách s tištěnými spoji (nebo specifickými typy desek s tištěnými spoji) k provedení toho kroku. Zejména, je-li řečeno o konkrétním prvku nebo kroku provedeném během procesu kontroly desky s tištěnými spoji, že je pro desku nespecifický, vyjadřuje to, že tyto prvky jsou aplikovány bez ohledu na to, jaká deska je připravována. Příklady pro desku nespecifických informací zahrnují velikost součástek, snímky konkrétní součástky, výchozí strukturální a geometrický model. Pro desku specifické informace jsou využívány nejvíce při tréninkových krocích, kde se modely učí poznávat rozdíl mezi případem součástky na pastě v zájmové oblasti a zájmovou oblastí s pastovanými Či holými podkladovými plochami (tzv. pads). Jakýkoliv krok vyžadující kontextuální informace o dané součástce na dané desce je pro desku specifický.

Odkazujeme nyní obr. 2, kde je znázorněn inspekční proces na PCB. Při tomto procesu program začíná na kroku 50, kde je zjišťováno, zda je knihovna pouzder zaplněna. Je-li knihovna zaplněna, postupuje program ke kroku 52, kde je pro specifickou PCB generován inspekční plán. Není-li knihovna zaplněna, postupuje program nejprve ke kroku 54, kde se knihovna zaplní, a pak ke kroku 52, kde je generován pro specifickou PCB inspekční plán.

Knihovna pouzder je opatřována anotací, aby zahrnovala typ vizuální třídy. V jedné konkrétní aplikaci inspekce PCB je definováno jedenáct různých typů vizuálních tříd. Pochopitelně mohou některé aplikace vyžadovat více než jedenáct vizuálních tříd a jiné

NÁHRADNÍ LIST (PRAVIDLO 26) • φφφ φ ·Φ • φ · φ φ φ · φ φφφ φφφφ φφφφ φ φφ φφ φφ φφ φφ φφ aplikace méně než jedenáct vizuálních tříd. Konkrétní počet vizuálních tříd užitých při konkrétní aplikaci bude volen podle potřeb aplikace. Součástky klasifikované jako konkrétní vizuální třída mají společnou strukturu. Například, všechny diskrétní součástky s kovovými koncovými čepičkami mají dvě čepičky - jednu na každém konci barevného tělesa. Tudíž kondenzátor velikosti 60krát 0,76 mm (60krát 30 mil) (uváděný jako pouzdro typu CC0603) a rezistor velikosti 120krát 1,5 mm (120krát 60 mil) (uváděný jako pouzdro typu RC1206) mají tutéž vizuální třídu, i když jsou různých velikostí a mají odlišnou funkci.

Knihovny součástek typicky popisují danou součástku jako specifický typ pouzdra se známými rozměry a též s provozním parametrem. Číslo součástky je často dáváno typu pouzdra s konkrétním provozním parametrem. V těchto knihovnách není zaznamenáno, jak součástky vypadají nebo jak by měly být sestaveny do skupin skrze vizuální charakteristiky. Naproti tomu systém zpracování obrazu, např. systém zpracování obrazu 20 (obr.l) předpokládá seskupování součástek na základě jejich struktury či vzhledu. Tedy je užitečné knihovny jakýchkoliv součástek opatřit anotací s definicí vizuálních tříd.

Je třeba poznamenat, že je-li knihovna již zaplněna (tj. jestliže data o objektu, který má být kontrolován, jsou již uložena v příslušné bázi dat nebo mohou být načtena z databáze počítače nebo jiného paměťového média), zaplňujícího kroku, v němž program začíná pořízením anotace knihovny, nemusí být zapotřebí. V praxi se málokdy vyskytne, že v knihovně nebudou žádné uložené součástky, takže se provede zkouška, zda v knihovně existují údaje pro každou součástku na dané desce.

Knihovna pouzder obsahuje informace jako: (1) rozměry součásti; (2) název součásti;

(3) přidělené číslo součásti; (4) prodejce; (5) velikost tělesa; (6) má součást vývody?; (7) rozměry vývodů; (7A) typ vývodů; (8) rozteč vývodů; (9) má součást orientační značku?; (10) kde na součásti se nachází orientační značka. V jedné implementaci typů tříd je jeden z jedenácti typů vizuálních tříd: (1) diskrétní součástky s kovovými koncovými čepičkami; (2) integrované obvody s vývody typu racČího křídla; (3) integrované obvody s J-vývody; (4) tantalové kondenzátory; (5) součástky s plochými vývody; (6) pouzdra CAP; (7) sestavy diskrétních součástek; (8) pouzdra MELF; (9) SOT(tranzistory); (10) diody; a (11) pouzdra technologie balí grid (BGA).

Pochopitelně mohou být podle potřeby přidány další typy vizuálních tříd. Pro některé aplikace také může být vhodné začlenit typy tříd, které nejsou vizuálními třídami typů součástek. Například může být vhodné vytvořit soubor vizuálních tříd týkajících se určitých defektů, např. náhrobkování Čili bilbórdingu (součástka se jednou stranou dotýká desky a druhá její strana trčí do prostoru), poškození součástky a rozmazaná pasta. Knihovna pouzder

NÁHRADNÍ UST (PRAVIDLO 26) • 0 000 • 00

00 0 0 00 0 0 00 0 00 00 00 00 00 00 je přednostně k dispozici jako databáze, do níž je možný přístup z rozličných částí inspekčního systému podle potřeb. Krok zaplňování/anotace knihovny součástek je krokem pro desku nespecifickým.

U některých aplikací může být žádoucí zařadit do knihovny snímky. Dosud je snímek považován za nezávislý na desce. Avšak několik testů prokázalo, že součástka na světlé desce je jeví světlejší než součástka na desce tmavé.

Jak je ukázáno na kroku 52, po zaplnění knihovny pouzder je generován inspekční plán. Při generaci inspekčního plánu je použito informací pro desku specifických. Informace pro desku specifické mohou být ve tvaru CAD dat (návrhů s pomocí počítače), dat typu vzít|&umístiť' a/nebo údajů dispozičního plánu PCB (např. Gerberova data). Inspekční plán popisuje umístění každé součástky na PCB, popisuje typ součástky a orientaci, kterou by měla mít. Inspekční plán rovněž popisuje, kde se na desce nacházejí měřící resp. referenční body a příčné spoje. Popisuje též modely, které budou použity při kontrole každé součástky. Inspekční plán je uveden výchozími modely pro každý typ součástky.

Jakmile je vytvořen základní inspekční plán, program pokročí ke kroku 56, jenž odpovídá pro desku specifickému zaučovacímu kroku, při němž je obsah informací oproti základnímu inspekčním plánu rozšířen. Tento pro desku specifický zaučovací proces uvádí do vzájemné souvislosti známé informace o součástce obsažené v plánu, např. geometrické informace, s jejími pozorovanými vizuálními znaky. Tento zaučovací proces je úplněji popsán ve spojení s obr. 3 A, 3B, 4 A, 4B a 14A, 14B níže v textu. Výše uvedené kroky 50 - 56 tedy odpovídají nastavovací a zaučovací proceduře, která probíhá před provedením inspekčního kroku.

Po tvorbě inspekčního plánu a ukončení pro desku specifické zaučovací procedury program postoupí ke kroku 58, na němž je proveden inspekční krok. Inspekční krok je pro desku specifický krok a je popsán ve spojení s obr. 5, 6A a 6B níže. Na kroku 58 je inspekce prováděna se souborem zkušebních dat. Obvykle by se dalo očekávat, že pro první nastavení nebo trénink vezmeme pouze tři tréninkové desky, První je holá deska, druhá pastovaná deska a třetí osazená deska. Pro každý typ součástky na desce potřebujeme trénovat příslušné modely, aby byly schopny zjistit, kdy je součástka přítomna a kdy chybí. Obvykle je na dané desce víc než jeden případ dané součástky. Případy můžeme rozdělit do dvou skupin, zaučovací a testovací skupinu. Každá skupina by měla mít klasifikované pozitivní (součástka přítomna) a negativní (součástka chybí) vzorky. Systém bude trénovat modely na zaučovací skupině a ověřovat jejich správnou funkci na testovací skupině. (Je možné, aby testovací a zaučovací skupina měly společné prvky.)

NÁHRADNÍ UST (PRAVIDLO 26) · 999 · 99 • · · · «9*9 9 9·· *· ·· 9» 99 ··

Po skončení inspekce se souborem testovacích dat na kroku 58 program postoupí ke kroku 60, na němž se rozhoduje, zda by měl být započat trasovací režim. Rozhodování je v podstatě založeno na výsledcích inspekce souboru testovacích dat kroku 58. Zejména ukáželí se na kroku 58, že model dává dobré výsledky pro všechny další součástky nebo celou PCB, je pak na kroku 60 rozhodnuto postoupit přímo ke kroku 62, kde se rozhoduje, zda by měly být kontrolovány další desky. Jestliže se naopak ukáže, že model nedává dobré výsledky pro jednu či více součástek nebo pro celou PCB, je na kroku 60 rozhodnuto postoupit ke kroku 64, kde je zaveden další zaučovací krok. Tento zaučovací krok uváží stávající falešná pozitiva a negativa spolu s dalšími tréninkovými daty a reviduje příslušné modely. Kromě nového tréninku na falešných pozitivech a negativech může uživatel nebo systém změnit příslušný snímek v obrazovém modelu, změnit rozměry součástky, aby lépe odpovídaly příslušným údajům, přidat více modelů konkrétního typu, změnit pořadí aplikace modelů, změnit rozhodovací funkci pro určování přítomnosti a absence součástky.

Je nutno upozornit, že uživatel může nastavit systém na trasovací režim kdykoliv. Rovněž je třeba poznamenat, že trasovací režim se používá hlavně ke korekci problémů s jakýmkoliv z modelů v inspekčním plánu. Je-li rozhodnuto spustit trasovací proces, pak program postupuje k trasování zaučovacího procesu kroků 64, 66. Byl-li nový model pro součástku zaučen v základním režimu (s pozadím), lze jím nahradit model v inspekčním plánu. Jinak jsou zaučovací kroky pro konkrétní model opakovány na odlišném souboru obrazů. Program poté postupuje ke kroku aktualizace inspekčního plánu, na němž je model pro problémovou součástku nahrazen novým opraveným modelem.

K rozhodnutí, zda by měly následovat kroky trasovacího programu, lze dospět dvěma způsoby. Při jednom inspekční systém sám identifikuje problém při kontrole konkrétní součástky (jinak řečeno, inspekční systém sám identifikuje problém s konkrétním modelem např. model dává při kontrole specifické součástky špatné výsledky). V tomto případě inspekční systém sám jako součást trasováni zaučovacího procesu může klást uživateli řadu otázek, např,: (1) dotyčná součástka má velmi odlišný vzhled oproti jiným součástkám tohoto druhu. Je to běžná variace?; a (2) systém má při kontrole této součástky potíže. Je poškozená?

Výsledkem procesu trasování a dodatečného zaučování je revidovaný specifický model nebo řada modelů pro tu součástku, kterou systém identifikoval jako problémovou. Po tvorbě nového modelu ČÍ řady modelů je inspekční plán pro problémovou součástku aktualizován.

Při druhém způsobu systém nerozpozná, že má problém součástku zkontrolovat správně (tj. systém nezachytí, že model, který používá, dává nesprávné výsledky inspekce).

NÁHRADNÍ UST (PRAVIDLO 26) • 9 ·99

9 99 • · · 9 9 9 « 9 9 «9 9

99 99 99 99 99

Například systém nerozpozná, že dává falešná pozitiva (tj. označí špatnou součástku jako dobrou, označí prázdné místo jako místo osazené součástkou) a falešná negativa (tj. označí dobrou součást jako špatnou, nebo nesprávně označí součástku jako nepřítomnou). V tomto případě je nutná vnější intervence (např. uživatel nebo nějaký jiný objekt vně systému musí rozpoznat, že systém má s identifikací součástky potíže). Jakmile je problém identifikován, je systém zpraven a instruován, aby změnil model a tím snížil počet falešných pozitiv a negativ.

V reakci na manuální instrukce a s cílem snížit počet falešných pozitiv a negativ systém provádí operace trasovacího režimu, zaučování a aktualizace inspekčního plánu. Během trasování a dodatečného zaučování uživatel případně může systému poskytnout obrazy, které vedly k falešným pozitivním a falešným negativním výsledkům.

Je nutno podotknout, že trasovací proces lze zavést kdykoliv (např. po kontrole jediné součástky či desky nebo po kontrole stovky součástek či desek).

Program poté přejde k rozhodovacímu kroku 62 , kde se rozhoduje, zda ještě zůstaly další desky, jež mají být podrobeny kontrole.

Po ukončení zaučovacího kroku 64 je pro problémovou součástku nebo desku aktualizován inspekční plán. To znamená, že na kroku 64 generovaný nový model je uveden ve spojitost se součástkou nebo PCB, která způsobovala při kontrole Špatné výsledky. Tudíž při příštím procesu kontroly oné konkrétní součástky bude použit nový model resp. modely. Nutno poznamenat, že inspekční plány jsou pro desky specifické.

Pak program opět přechází ke kroku 62, kde je rozhodnuto o kontrole dalších PCB. Zůstane-li ke zpracování více PCB, pak proces pokračuje ke kroku 68, kde je kontrolována další deska.

Poté, co je další deska zkontrolována, program postoupí ke kroku 70, na němž probíhá volitelná operace tvorby základního modelu (s pozadím). Takže během regulérní inspekce lze provést krok zaučování základního modelu. Kroky při zaučování základního modelu jsou stejné jako pro zaučování uvedené výše. Při zaučování základního modelu mohou být zpracovávána data z mnoha desek a jedná se tedy o relativně velké množství dat ve srovnání s množstvím dat použitých v počátečním zaučovacím procesu na kroku 56.

Jak je zmiňováno výše, je-li rozhodnuto netrasovat, program postoupí přímo k rozhodovacímu kroku, kde se určí, zda zůstávají ještě další desky, které mají být zkontrolovány.

Tudíž, zjistí-li se na kroku 62, že nezbývají žádné desky ke kontrole, program končí.

V opačném případě, zůstávají-li další desky ke kontrole, se zavede smyčka, v níž je identifikována a prohlédnuta další deska určená ke kontrole a opakují se volitelné operace

NÁHRADNÍ UST (PRAVIDLO 26) • · 999 • 9 ι· • 9« 999 99 999 9 9 ♦ ·*9 999* 9999 • · 99 99 99 99 >9 tvorby základního modelu a trasování. Pochopitelně, že u některých provedení může být vhodnější neprovádět zaučování základního modelu nebo trasování vždy. Součástkový plán lze uložit a použít v pozdější době, kdy je deska spojovaná s tímto plánem opět připravena.

Obr. 3A, 3BA a 4A, 4B popisují prvky zaučovací operace. Modely třeba vyžadují trénink na specifických obrazech desek. Pro jeden typ součástky modely potřebují prozkoumat vzorové příklady: (1) těsně omezeného obrazu této součástky bez jakéhokoliv okolního prostředí, natočené do správné orientace, (2) součástky na pastě s okolím (známé jako osazený obraz), (3) pastovaných podkladových ploch s okolím bez součástky (známé jako pastovaný obraz), (4) holých podkladových ploch a okolí bez součástky (uváděné jako holý obraz). Proto je v jednom konkrétním provedení minimální počet vzorových obrazů potřebných k tréninku modelů roven čtyřem. Při některých aplikacích však může být minimální počet vzorků menší než čtyři. Ku příkladu pří některých aplikacích (např. pří kontrole některých desek s tištěnými spoji) bylo shledáno, že holá deska není důležitá. Přednostně výše uvedené obrazy (2) - (4) pochází ze stejného referenčního designátoru (tj. ze stejné součástky ve stejném umístění na PCB) a obr. 1 z odlišného referenčního designátoru (tj. ze stejné součástky na jiném místě na PCB než příklady (2) - (4)). Obraz (1) může též být snímán nezávisle pro desku nespecifickým způsobem (např. může být snímán osamoceně bez desky).

Při zaučování, jak kontrolovat součástku, se projeví existence několika proměnlivých parametrů. Ty zahrnují proměnlivost barvy/světelnosti součástky, změny rozměrů součástky, nerovnoměrné osvětlení, více či méně zoxidovaný kov, různé typy pasty a různorodost vlastností holé desky. Vlastnosti holé desky zahrnují odlišné barvy na téže desce, rozdíly v tloušťce a konečné úpravě, příčných spojích, plošných spojích a sítotisku. Omezením, že holý, pastovaný a osazený obraz pochází z téhož referenčního designátoru, můžeme alespoň eliminovat proměnlivost desky během zaučování. Pro způsob, jakým obrazový model provádí srovnávání je důležité, aby snímek pocházel z odlišného referenčního designátoru či dokonce z odlišné desky. Obrazový model zkouší zjistit, zda v zájmové oblasti existuje součástka vzhledu přesně jako uchovávaný snímek. Jestliže snímek pocházel z téhož referenčního designátoru jako osazený obraz, bude snímek odpovídat součástce dokonale (s odchylkou 0). Ve skutečnosti se součástky případ od případu vzhledem malinko liší. Rádi bychom se pokusili o kvantifikaci této proměnlivosti v zauČovacím procesu. Snímek porovnávaný sám se sebou nesdělí systému nic o míře odchylek ve vzhledu součástky.

Je žádoucí mít systém schopný automaticky omezovat snímky z příkladu (vzorku), jeli toho zapotřebí. Alternativou je, že uživatel dodá obraz dané desky obsahující danou

NÁHRADNÍ LIST (PRAVIDLO 26) • φφφ • · φφ • φ φ φ φ φ φ φ φ φ φ φ • Φ φφ φ« φφ φφ φφ součástku nebo obraz dané součástky na pozadí, ovine součástku gumovým páskem, zkopíruje a začlení součástku do nového obrazu, natočí omezený obraz do správné orientace a uloží jej. Tento uživatelský zásah se stává velmi nepohodlným, je-li mnoho typů součástek.

Na obr. 3 A je ukázán postup automatického získávání snímku součástky natočené do výchozí orientace a tedy způsob uvedený na obr. 3A popisuje, jak automaticky získat omezený obraz dané součástky.

S odkazem nyní na obr. 3 A program začíná krokem 72, na kterém se získá výchozí snímek objektu, který má být kontrolován. Nejlepší cestou k získání reálného snímku součástky je použití inspekčního procesu předešle popsaného k lokalizaci požadované součástky v zájmové oblasti. Je-li součástka správně lokalizována, její obraz lze snadno natočit do výchozí orientace a omezit. Běžně vyžaduje jak obrazový model, tak strukturální model k provedení inspekce snímek, Abychom se zbavili kruhové povahy problému, můžeme svépomocně vybavit systém syntetickým snímkem mající stejnou geometrii jako požadovaná součástka a některé její klíčové vizuální charakteristiky. Kromě tohoto se může též použít snímek podobně vypadající součástky. Například, potřebujeme-li snímek CC0805 s číslem součástky 23-000-000, můžeme použít předešle zachyceného snímku, s nímž má společný stejný typ pouzdra, CCO8O5, které tam má ale číslo součástky 123-000-001. Tyto výchozí snímky mohou být uloženy v databázi 12 nebo v inspekčním plánu samém.

Bez ohledu na to, jak se opatří výchozí snímek , program postupuje ke kroku 74, kde je snímek použit ke konstrukci výchozího obrazového modelu a výchozího strukturálního modelu. Obrazový a strukturální model, generované na kroku 74, jsou uváděny jako výchozí modely, poněvadž tyto modely nepracují ještě s žádnými pro desky specifickými informacemi.

Program poté pokračuje ke kroku 76, kde je generován geometrický model nebo je sestavován výhradně z geometrických informací samotných (např, geometrických informací jsoucích k dispozici v knihovně pouzder). Lze tedy utvořit geometrický model přímo z informací týkajících se příslušné součástky nacházejících se v knihovně pouzder.

Dále je, jak je ukázáno na kroku 78, určena zájmová oblast (ROI) na PCB, která má být kontrolována. ROI by měla obsahovat uvažovaný objekt (např. díl, jako je součástka obvodu, který má být kontrolován). Na procesním kroku 80 jsou výchozí obrazový model a výchozí strukturální model aplikovány na ROI, aby se rozhodlo, zda je uvnitř této oblasti uvažovaná součástka přítomna. Tudíž obrazový a strukturální model jsou použity k zjištění, zdaje tato součástka přítomna v ROI.

NÁHRADNÍ UST (PRAVIDLO 26) • * 444 4 4 44 · · 4

4 φ « · 4 4« 444 4 4

4444 4444 4444

44 44 44 44 44

Je-li v rozhodovacím bloku 82 učiněno rozhodnutí, že tato součástka přítomna není, pak program postupuje zpět ke kroku 78, kde je vložena nová ROI pro aplikaci obrazového a strukturálního modelu na kroku 80, Uvedený okruh se opakuje, dokud obrazový a strukturální model neindikují v některé ROI přítomnost součástky, nebo dokud nejsou vyčerpány všechny ROI a součástka je definitivně považována za nepřítomnou.

Je-li v rozhodovacím bloku 82 učiněno rozhodnutí, že tato součástka přítomna je, pak proces postupuje ke kroku 84. Na kroku 84 strukturální model poskytne geometrickému modelu přibližné určení polohy součástky na PCB v ROI. Výstup ze strukturálního modelu zahrnuje střed součástky v ROI <dx, dy> (polohový trojúhelník od očekávaného umístění) a přibližný odhad, jak je součástka natočena, theta. Strukturální model může jít o krok dále ke konverzi <dx, dy> a theta na polohu každé hrany součástky, která je uvažovaná v geometrickém modelu.

Geometrický model lokalizuje (tj. nalezne) okraje a libovolný úhel natočení součástky (Θ) s přesností velikosti řádově sub-pixelu (např. s několika desetinami pixelu).

Jak je ukázáno na kroku 86, jakmile jsou známy okraje součástky a její natočení, může být tato otočena do výchozí orientace. Součástka je otočena o hodnotu rovnající se zápornému úhlu natočení (-Θ), aby bylo dosaženo nominálního úhlu, který je definován v knihovně součástek (tj. knihovna obsahuje definici, co znamená natočení nula stupňů a tento údaj lze vztáhnout na natočení, nalezené na konkrétní desce s tištěnými spoji.) Například, shledá-li systém součástku natočenou o 1 stupeň proti směru hodinových ručiček a výchozí orientace součástky je 90 stupňů ve směru hodinových ručiček, systém může otočit obraz součástky o 91 stupňů ve směru hodinových ručiček, aby jej převedl do správné orientace.

Jakmile byl snímek nalezen a omezen, jak je ukázáno na kroku 88, může být nahodile vybrán referenční designátor k obstarání příslušného osazeného, pastovaného a holého příkladu (vzorku).

Obr. 3B rozebírá jeden způsob tréninku modelů na snímku a příkladech pro desku specifických. To odpovídá kroku 56 na obr. 2.

S odkazem na obr. 3B je nyní popsán zaučovací program pro příslušný obrazový a strukturální model. Program začíná kroku 90, na němž jsou dodány strukturální a obrazový model a aplikovány na omezený, holý, pastovaný a osazený příklad zájmové oblasti (ROI). Podotýkáme, že při toku programu podle obr. 3B jsou obrazy vybrány nahodile. Při některých aplikacích však může být zapotřebí zvolit pro použití v zaučovacím procesu nejlepší soubor příkladů obrazů. Tento způsob bude popsán níže ve spojení s obr. 4.

NÁHRADNÍ UST (PRAVIDLO 26) • » »*· » » ·» »ιι • · · ·«· ·· ·*· » » »·»· · ·· · »·»» ·» ·· ** »· ·· ·»

Program poté pokračuje ke kroku 92, na němž jsou výchozí kvalitativní a kvantitativní vlastnosti čili atributy strukturálního modelu nahrazeny parametry zjištěnými při aplikaci strukturálního modelu na uvedené obrazy. V jednom provedení jsou použity Čtyři obrazy - tj. omezený, pastovaný, osazený a holý. Rozumí se ovšem, že předkládaný vynález nemusí být omezen na tyto čtyři obrazy, neboť uvedený zaučovací postup je velmi obecně použitelný (generický). Atributy strukturálního modelu mohou být modifikovány na několika úrovních.

Na nejvyšší úrovni strukturální model může pouze registrovat svou dobrou či špatnou funkci při aplikaci na pastovaném a osazeném obrazu. Jeho operace může být ukládána jako soubor výsledků s nejméně jedním výsledkem s pastovaným obrazem a jedním výsledkem s osazeným obrazem.

Strukturální model lze modifikovat na nižší úrovni. Můžeme instruovat strukturální model ke změně jeho kvantitativních a kvalitativních vztahů, aby co nejlépe odpovídal osazenému obrazu a co nejlépe se odlišil od pastovaného obrazu.

Program poté postupuje ke kroku 94, na němž jsou výchozí atributy obrazového modelu nahrazeny parametry zjištěnými při aplikaci obrazového modelu na uvedené čtyři obrazy (omezený, pastovaný, osazený a holý obraz).

Podobně jako strukturální model lze modifikovat na několika rozdílných úrovních obrazový model. Nejprve je snímek uveden ve spojitost s modelem. Dáte, výsledky aplikace obrazového modelu na osazeném a pastovaném obrazu mohou být ukládány. Navíc mohou být v rámci obrazového modelu modifikovány jiné atributy, aby model co nejlépe odpovídal osazenému obrazu a co nejlépe se odlišil od pastovaného obrazu. Například se může zjistit, že v místech (xl,yl) a (x2,y2) obrazový model odpovídá dobře pastovanému obrazu. To znamená, že na prázdné desce jsou znaky vyhlížející velmi podobně jako příslušná součástka. Můžeme odvodit výsledkovou funkci tak, že obrazový model při aplikaci na novou oblast dává výsledku porovnání malou věrohodnost, shledá-li nejlepší shodu na (xl,yl) nebo (x2,y2).

Program poté postoupí ke kroku 95, na němž jsou výchozí atributy geometrického modelu nahrazeny parametry zjištěnými pří aplikaci geometrického modelu na uvedené čtyři obrazy. Například, geometrický model může zjistit skutečné rozměry součástky a jejích Částí z příslušného osazeného obrazu a snímku. Rozměry uložené ve výchozím geometrickém modelu jsou průměrem předpokládaných rozměrů pro daný typ součástky napříč spektrem všech prodejců (výrobců). Geometrický model může rovněž zjišťovat velikost gradientů na rozhraních mezi deskou a součástkou a též mezi vzájemnými hranicemi dílů součástky. Je-li

NÁHRADNÍ UST (PRAVIDLO 26) * · ·Φ· φ φ φφ φ φ · φ··φ φφφφ «φφ ·· φ· φφ φφ φφ φφ poskytován barevný obraz, geometrický model může rovněž zjistit pro hodnocení gradientů nejvhodnější pásmo barev.

Program poté končí.

Je pochopitelné, že výběr nahodilého souboru holých, pastovaných a osazených obrazů k tréninku (jak je popsán na obr, 3B) nemusí být optimálním postupem. Ideálně by měl systém probrat všechny referenční designátory napříč různými typy desek (např. holých, pastovaných, osazených), aby vybral příklady obrazů, poskytujících nejlepší výsledky.

Tudíž s odkazem na obr. 4A jsou uvedeny kroky, které bylo možno provést, kdyby bylo žádoucí vybrat nejlepší omezený, pastovaný, osazeny a holý obraz pro zaučovací proces popsaný výše ve spojení s obr. 3B.

Program začíná na kroku 96 zavedením: (1) typů desek (holá, pastovaná, osazená), (2) inspekčního plánu. Vzorky osazených desek jsou obvykle uváděné jako bronzové desky, poněvadž na nich mohou být chybně umístěné nebo vynechané součástky.

Na postupovém kroku 98 jsou generovány výchozí modely příslušné ke každému typu součástky a na kroku 100 jsou pro konkrétní typ součástky tyto výchozí modely trénovány na jednom z více referenčních designátorů a aplikovány na všechny další referenční designátory související s daným typem součástky. Nutno poznamenat, že každému místu (čili pozici desky) na desce s tištěnými spoji, na níž má být součástka umístěna, je přidělen určitý referenční designátor (fyzické označení součástky na desce, pozn. překl.). V inspekčním plánu tedy každý referenční designátor specifikuje konkrétní, jednoznačné místo na desce s tištěnými spoji, jakož i konkrétní součástku, která má být umístěna v této pozici na desce.

Na kroku 102 jsou, pro konkrétní referenční designátor, použity výchozí obrazový a strukturální model konkrétního typu součástky k prvnímu ověření, zda je na tomto referenčním designátorů daná součástka přítomna na bronzové desce a není přítomna na pastované a holé desce.

Program poté, jakmile je soubor postulátů z kroku 102 ověřen, pokračuje ke kroku 104, kde jsou modely trénovány na třech obrazech odvozených od vzorového referenčního designátorů (Poznamenejme, že není vždy třeba tréninku na všech třech obrazech.

V některých provedeních bylo shledáno použití holé desky neúČelným). Jak je ukázáno na kroku 106, zaučený model pak může být použit k inspekci zbylých referenčních designátorů souvisejících s daným typem součástky jak na bronzové osazené desce, tak na pastované a holé desce.

Jak je patrno na kroku 108, modely trénované na konkrétním referenčním designátorui lze posuzovat podle hlediska, jak dobře oddělují skutečně positivní příklady - součástka je

NÁHRADNÍ LIST (PRAVIDLO 26) ♦ · ··· • · ·· • · φ * I · Φ Φ · Φ · φ φ » φ φ · · φ φ · φφφφ ·· «φ φφ φφ · φφ přítomna, od skutečně negativních příkladů - součástka není přítomna. Pro každý referenční designátor použitý jako příklad k tréninku lze posoudit efektivitu této separace. Jak je ukázáno na kroku 110, sada příkladů obrazů, které dávají nejlepší separaci, by měla být vybrána jako tréninkový příklad pro použití při kontrole desek ve velkovýrobě.

Jak je uvedeno na kroku 112, může být shledáno, že jedna sada tréninkových obrazů není pro modely jednoho typu součástky dostačující k oddělení skutečných pozitiv a skutečných negativ. Například na desce mohou být jak hnědé, tak bílé případy jednoho typu součástky. Spíše než muset vybrat mezi hnědým nebo bílým příkladem můžeme trénovat dvě sady modelů, jednu pro hnědou součástku a jednu pro bílou. Jednoduchý klastrovací algoritmus na výstupech obrazového a strukturálního modelu lze užít k rozhodnutí, zda je zapotřebí více než jeden referenční designátor. Klastrovací algoritmus určí, kolik příkladů referenčních designátorů je třeba.

Na kroku 114 je vybrána pro každý klastr sada obrazů s jistým referenčním designátorem. Pro každý klastr jsou generovány výchozí obrazové a strukturální modely. Poté se provede zaučení pro každou sadu <modely, referenční designátor>.

Program nato postupuje ke kroku 116, kde jsou pak zaučené modely uloženy zpět do inspekčního plánu. Program poté končí.

Rozumí se, že obr. 4 popisuje scénář, v němž je pro trénink použita pouze jediná trojice obrazů (jeden příklad holého, pastovaného a osazeného obrazu). Dalších N-l obrazuje použito k testování s cílem zjistit či posoudit, jak dobře modely pracují. Pochopitelně by však mohl být použit při některých aplikacích pro trénink na kroku 104 více než jeden referenční designátor a tedy by bylo žádoucí zvolit nejlepší soubor či soubory referenčních designátorů, které dávají příslušným modelům nejlepší rozlišovací schopnost v celém testovacím souboru (tj. všech designátorů, co zbývají).

Například, jsou-Ii k dispozici dva referenční designátory, může být jeden použit pro snímek a jeden k zaučení modelů v pastovaném a osazeném obrazu. Jako jiný příklad - při daných třech referenčních designátorech první referenční designátor by mohl být použít pro snímek a zbylé dva by byly použity k tréninku. Toto lze rozšířit na případ, kde je N použitelných referenčních designátorů a M (kde M je menší než N) z nich je použito pro trénink, zbývá N-M k dispozici pro testování. Nakonec je třeba poznamenat, že tento postup lze použít k výběru nejlepšího snímku, jakož i nejlepšího tréninkového souboru ROI.

Pochopitelně není ve výše uvedeném popisu činěn rozdíl mezi volbou snímku a volbou holého, pastovaného a osazeného obrazu pro trénink. V nejhorším případě by měl být

NÁHRADNÍ UST (PRAVIDLO 26) ·* ’ » » » V w * « • * *·* · · ·· * « * · ·« « · :: :« :

«* · ·· ·· «· ·· každý referenční designátor přezkoumán coby připadající v úvahu pro snímek. V praxí je to však příliš časově náročné.

Jakmile jsou pro každý typ součástek vygenerovány modely a natrénovány na sadě příkladů obrazů, systém je připraven ke kontrole desek. Obr. 5 ilustruje kroky inspekčního programu používajícího násobné modely.

S odkazem na obr. 5 program začíná na kroku 118 nejprve získáním obrazu zájmové oblasti na desce, která by měla obsahovat určitý typ součástky. Program poté postupuje na krok 120, kde jsou získány modely spojené s tímto typem součástky.

Dále, jak je ukázáno na kroku 122, je na zachycený obraz aplikován obrazový model.

Při jakémkoliv modelu je žádoucí aplikace modelu na všechny možné středové polohy při všech možných natočeních, abychom zjistili střed součástky a její natočení. To je známo jako metoda úplného průzkumu a ta zaručí, že je-li tam přítomna součástka podobného vzhledu jako snímek v obrazovém modelu, obrazový model ji najde. Pro rychlý výsledek může obrazový model při průzkumu příslušné ROI vzorkovat soubor středů a možných natočení.

Čím hrubší je vzorkování, tím je operace rychlejší. Avšak s růstem velikosti vzorku klesá pravděpodobnost, že model najde příslušnou součástku. Ve snaze maximalizovat jak rychlost, tak efektivitu užijeme přístupu od hrubého k jemnému; nejprve vzorkujíce hrubě a pak jemněji křížem krážem v oblastech, které připadají nejspíše v úvahu pro místo skutečného středu součástky a natočení. Tento přístup lze použít u jakéhokoliv modelu, nejen u obrazového modelu.

Proces poté postupuje k rozhodovacímu bloku 124, kde se rozhoduje, zda obrazový model indikuje přítomnost součástky.

Je-li konstatováno, že obrazový model je přesvědčen o přítomnosti součástky, pak proces pokračuje ke kroku 126, kde je použit strukturální model k průzkumu relativně malé oblasti, v níž obrazový model nalezl tuto součástku. Je-li konstatováno, že se neví, zda je součástka přítomna, pak proces pokračuje ke kroku 128, kde je použito strukturálního modelu k celkovému průzkumu příslušné ROI. Při průzkumu celé ROI může strukturální model využívat průzkumové metody od hrubého jemnému.

Na dalším kroku 130 je na základě výsledků strukturálního modelu učiněno konečné rozhodnutí, zda je součástka přítomna. (Poznamenejme, že při rozhodování, zda je součástka přítomna, může strukturální model použít výsledek obrazového modelu jako části své rozhodovací funkce,) Je-li součástka definitivně označena jako nepřítomná, pak program končí.

NÁHRADNÍ UST (PRAVIDLO 26) • 4 ·44 * 4 44

44 ««4 44 «44 4 ·

444 4 « 44 4 4 4 · 4

4· 44 44 ·4 44

Jestliže naopak je součástka definitivně označena jako přítomná, pak program pokračuje ke kroku 132, na němž je použit geometrický model k přesné lokalizaci součástky a rovněž k získání detailnějších informací o natočení součástky. Pak program končí.

Obr. 6A a 6B znázorňují detailněji kroky procesu kontroly pro konkrétní součástku na konkrétním referenčním designátoru. Jsou identifikovány další kroky mimo aplikaci daných tří modelů. Rovněž jsou popsány rozhodovací procedury k zjištění, zda obrazový a strukturální model indikují přítomnost součástky.

Na kroku 134 jsou modely pro typ součástky vloženy do inspekčního plánu. Na příštím kroku 136, jak je ukázáno, systém získá snímek součástky a jejího okolí pro konkrétní referenční designátor. Tento obraz je označen zájmová oblast neboli ROI. ROI může být omezena z většího snímku desky, který byl již získán nebo složen dohromady ze záběrů několika kamer. Stanovení velikosti ROI závisí na typu součástky, její velikosti, na tolerancích polohy udaných uživatelem a na velikosti všech okolních oblastí v modelech.

První volitelný krok 138 je kontrola ROI týkající se znaků, které se jeví na holé a pastované desce, ale mohly by být zakryty, je-li příslušná součástka přítomna. Tyto znaky zahrnují příčné spoje, plošné spoje, a podkladové plochy (napastované Či holé) které jsou normálně skryty pod velkými součástkami, jako jsou integrované obvody nebo součástkami se zakrytými přívody, jako jsou BGA. Jednou implementací tohoto kroku je vyhledávání kruhových, obdélníkových nebo lineárních znaků předpokládané velikosti. Další implementací je porovnávání stávající ROI se stejnou ROI na zaučené pastované desce. Je-li na kroku 140 rozhodnuto že s velkou věrohodností jsou zakrývané znaky přítomny, program pak skončí, neboť to znamená, že příslušná součástka chybí.

Jestliže je na kroku 140 učiněno rozhodnutí, že zakrývané znaky přítomny nejsou, má se za to, že v obrazu se něco (např. správná součástka nebo něco jiného) nachází. Systém pak provádí druhý dodatkový krok 142 zpracování ROI - poohlédne se po dominantních úhlových znacích. Jednou z metod, jak to provést, je vypočítat směr a velikost gradientů v každém bodě obrazu. Na základě těchto znaků systém vypočítává dominantní úhel objektů v obrazu. Není-li příslušná součástka přítomna, pozadí desky s plošnými spoji a podkladovými plochami dává dominantní úhly 0,90, 180 nebo 360 stupňů. Je to proto, že tyto znaky jsou obvykle ve směru nebo kolmo ke směru záběru kamery. Je-li součástka přítomna, její znaky přispějí k souboru dominantních úhlů. Nejdominantnější úhel theta, jiný než 0, 90, 180 nebo 360 stupňů, je zaznamenán pro pozdější použití. Ten poskytuje systému odhad, jak je příslušná součástka natočena, avšak nikoliv kde je umístěna.

NÁHRADNÍ UST (PRAVIDLO 26) • · ♦♦· · · ·· · · * • ·· »·· · · ··· · · • · ·· ···· ·*·· ** ·* ·· *· ·» 9·

Na příštím kroku 144, jak vidno, je obrazový model aplikován na obraz ROI. Obrazový model se v podstatě snaží zjistit, zda tato ROI obsahuje sestavu velmi se podobající omezenému snímku a velmi se odlišující od holého či pastovaného obrazu. Ke kalkulaci pravděpodobnosti či věrohodnosti přítomnosti správné součástky používá dat získaných při zaučování. Obrazový model prozkoumává celou ROI. Obrazový model by měl odpovídat příslušnému snímku na četných natočeních a na četných místech v obrazu v případě, že součástka sama je posunuta z předpokládané polohy a potočena mimo předpokládané natočení. Aby se zvýšila rychlost, nemusí obrazový model zkoumat ohledně příslušné součástky každé místo v ROI. Velikost součástky a její typ současně určuje, jak hrubě vzorkuje obrazový model plochu obrazu. Kromě toho pro zvýšení rychlosti obrazový model kontroluje pouze dvě natočení, předpokládané a theta. Po hrubém průzkumu může obrazový model provést jemný průzkum poblíž nej vhodnějšího místa připadajícího v úvahu (kandidátské umístění) pro střed součástky. Obrazový model produkuje výstup obsahující nejlepší umístění <xl,yl> a předpokládaný úhel theta2, týkající se příslušné součástky v příslušné ROI, jakož i pravděpodobnost fí (Φ), že součástka je přítomna.

Na dalším kroku 146 se rozhoduje, zda obrazový model indikuje přítomnost součástky. To je založeno na prvním prahovém kvalífikátoru, zde označeném fí. Pochopitelně, přestože je zde použit poměrně jednoduchý prahový kvalifíkátor, při některých aplikacích může být výhodné nebo žádoucí využít ke stanovení prahu poměrně složitou fimkci. Například, složitější funkce ke stanovení, zdaje součástka skutečně přítomna, by měla uvážit vypočtenou pravděpodobnost fí, skutečný výsledek srovnávání mezi snímkem obrazu a kandidátským umístěním příslušné součástky, a pravděpodobnost, že se nejedná o pastovaný obraz. Je-lí obrazový model přesvědčen o přítomnosti příslušné součástky a jejím vzhledu odpovídajícímu přesně tomu, na nějž byl model zaučen, proces postupuje ke kroku 148 a zde je použit strukturální model k verifikaci přítomnosti součástky. Snaží se zvýšit rozlišovací schopnost v daném místě průzkumem relativně malé oblasti, kde obrazový model součástku nalezl. V tomto případě průzkum týkající se pouze příslušné součástky probíhá po malých krůčcích velikosti např. 1 nebo 2 pixelů kolem místa <xl,yl> a úhlu theta2.

Není-li obrazový model přesvědčen o přítomnosti součástky, pak proces postupuje ke kroku 150, na kterém strukturální model provádí celkový průzkum ROI. Opět kvůli zvýšení rychlosti strukturální model neprovádí průzkum ohledně příslušné součástky u každého místa a natočení v ROI. Velikost součástky současně určuje, jak hrubě vzorkuje strukturální model ROI. Kromě toho pro další zvýšení rychlosti kontroluje strukturální model pouze dvě možná natočení součástky, předpokládané a theta.

NÁHRADNÍ UST (PRAVIDLO 26) • ··· • · φφ » · · φ φ · φ φ « · φ • ·φ· · φ · « · φ · · * ·* · · · · · ·

Strukturální model s konečnou platností určí, zda je příslušná součástka přítomna.

V každém případě, jestliže určí, že tato součástka v ROI je, uvede nejlepší místo <x2,y2> a úhel theta3, jak vidno na kroku 152. Tyto informace jsou dodány geometrickému modelu, jenž pak lokalizuje součástku s přesností sub-pixelu a zpřesní odhad theta, jak je ukázáno na kroku 156. Geometrický model odpoví označením přítomná, uvede finální středovou polohu <x3,y3> a úhel theta4, jak ukazuje krok 158.

UrČí-li strukturální model, že součástka přítomna není, systém zastaví činnost a odpoví označením chybí.

Postup znázorněný na obr. 6A a 6B je optimalizován z hlediska rychlosti. Volitelné předchozí kroky srovnávání znaků holé desky a propočítávání odhadu theta lze vynechat.

V nejúplnějším režimu mohou obrazový a strukturální model zkontrolovat v souvislosti s příslušnou součástkou všechny možné pozice v ROL Mohou rovněž provádět průzkum tak, že vyhledávají součástku pod různými úhly. Kromě toho mohou zkoumat jak polohu, tak natočení hrubě i detailně.

Je možné, že prostřednictvím zaučování a trasování byl specifikován alternativní obrazový nebo strukturální model. Nastane-li tento případ, v příhodný čas by byly aplikovány oba modely. Jestliže odpovídal při porovnávání jeden i druhý, proces by pokračoval, jak je uvedeno na obr. 4.

Je nutno poznamenat, že rozhodovací funkce na obr. 6A a 6B může být založena na jiných faktorech, nebo výrazech složitějších než je pravděpodobnost > fí. To je jen příklad.

Kromě toho může být v určité rozhodovací funkci použita i smíšená sestava výsledků modelů, jako např. v rozhodovací funkci strukturálního modelu.

Rovněž je třeba poznamenat, že i když obr. 6A a 6B uvádějí pouze výstupní údaj přítomná a chybí, existuje přechodná varianta, v níž v obrazu něco je, avšak není to správná součástka. V tomto případě, je-li v etapě strukturálního modelu při použití druhé rozhodovací funkce středně velká pravděpodobnost, že příslušná součástka je přítomna, může se systém rozšířit o další analytický postup, stanovící diagnózu s výsledkem poškozená součástka, nesprávnásoučástka, potřísnění pastou, součástkanáhrobkuje ...

Tato práce je účelově zaměřena na kontrolu desek s tištěnými spoji, ale metoda je aplikovatelná ve všech oblastech zpracování obrazu. Stejnou strategii lze použít při rozpoznávání tváří, osob, hledání v obrazových databázích, uvedeme-li jen některé příklady

S odkazem nyní na obr. 7A a 7B obrazový model Í60. strukturální model 162 a geometrický model 164 zobrazené v nominální orientaci jsou trénovány na oblastech zachyceného obrazu 166, 168. Oblasti obrazu 166. 168 odpovídají úsekům PCB. Oblast

NÁHRADNÍ LIST (PRAVIDLO 26) • III

99 obrazu 166 ie tzv. pastovaný obraz, což znamená, že PCB má nanesenou pastu (např. pájecí pastu) na plochách, na nichž bude provedena montáž součástky obvodu. Tudíž v obrazové oblasti 166 není žádná součástka. Oblast obrazu 168 je tzv. osazený obraz, což znamená, že součástka obvodu 170 by měla se měla nacházet na konkrétním místě uvnitř oblasti 168.

Každý z oněch tří typů modelů je dodán pro předem určenou vizuální třídu. Jedenáct typů tříd užitých v jednom provedení systému kontroly desek s tištěnými spoji je vyjmenováno výše ve spojitosti s obr. 2. Jak je výše poznamenáno, lze užít méně či více než jedenáct typů tříd a konkrétní počet typů tříd jakož i typy tříd samy mohou být zvoleny v souladu s potřebami konkrétní aplikace.

Abychom určili počet vizuálních tříd, zvažovali jsme všechny typické příklady součástek pro povrchovou montáž desek s tištěnými spoji. V podstatě jsme seskupili součástky na základě jejich společných vizuálních charakteristik. Cílem byla tvorba co nejmenšího počtu vizuálních tříd, zahrnujících všechny typy typických součástek. V případě součástek pro PCB jsme zjistili, že o vizuálním vjemu součástky rozhoduje typ vývodů součástky. Například, součástky s koncovými Čepičkami jsou zpravidla odpory a kondenzátory, které všechny mají kovové koncové čepičky a barevné těleso. Součástky s vývody tvaru racčího křídla jsou obvykle integrované obvody mající zpravidla černé obdélníkové těleso s kovovými vývody vystupujícími z tělesa, ohnutými dolů ve směru osy Z a pak vyrovnanými. V každém případě, i když se velikost celého pouzdra a jeho Částí může měnit, celkové prostorové uspořádání součástky zůstává stejné. To je důvod, proč je strukturální model velmi vhodný k reprezentaci těchto tříd.

Metoda seskupování vizuálních podnětů do vizuálních tříd není pro aplikace v oblasti kontroly desek s tištěnými spoji specifická. Je užita ve většině aplikací v oblastech strojového vidění k vytváření modelů pokrývajících třídu vizuálních podnětů pro danou aplikaci. Jedním z příkladů je oblast detekce tváří. Tváře lidí různého pohlaví a stáří při různých podmínkách osvětlení, s různými výrazy, mohou být seskupeny do skupin založených na vizuální podobnosti. Například v pracích předchozího stavu techniky týkajících se zpracování obrazů tváří bylo shledáno, že čelně situované tváře mohou být seskupeny do šesti vizuálních tříd. Přestože vizuální třídy nejsou pojmenovány nebo nemají sémantický význam ve vztahu klidem, tyto skupiny (klastry) velmi pomohly při problémech spojených s detekcí tváře. Jestliže nový obraz při zpracování zapadl do jednoho z těchto vizuálních klastrů, byl identifikován jako tvář. Padl-li mimo tyto klastry, byl identifikován jako nejsa tváří. Míra věrohodnosti diagnózy závisela na tom, jak věrně odpovídal nový obraz některému klastru tváří,

NÁHRADNÍ UST (PRAVIDLO 26) • 9*9

Seskupování do vizuálních tříd je společné pro další aplikace jako je zobrazování v lékařství (např. charakteristika a klastrování tumorů podle vzhledu senzorem), vojenské aplikace (např. klasifikace vzorů pro detekci objektů z radaru se syntetickou aperturou) a dokonce aplikace jako sledování dopravního provozu (např. klasifikace různých příkladů dopravního situace),

Ve zde předkládaném konkrétním příkladu každý z modelů 160 - 164 náleží do typu vizuální třídy zvané diskrétní součástky. Každý z jedenácti typů vizuálních tříd zahrnuje devět prvků pro souhrnnou srovnávací metodu (1) skryté znaky; (2) oblasti theta kalkulátoru; (3) vlastnosti obrazového modelu; (4) vlastnosti strukturálního modelu; (5) vlastnosti geometrického modelu; (6) typy orientačních značek; (7) alternativní modely; (8) parametry pro zaučování; (9) příslušnou rozhodovací funkci.

Skrytý atribut identifikuje skryté (zakrývané) znaky, jejichž přítomnost je v ROI předpokládána. Atribut theta kalkulátoru určuje oblast (oblasti), na něž má být theta kalkulátoru použito. Atribut strukturálního modelu popisuje oblasti, vlastnosti a vztahy oblastí, z nichž se model skládá. Atribut geometrického modelu popisuje sestavu velkých gradientů nebo znaky hran. Orientační značka stanoví typ značky, jejíž přítomnost je předpokládána na části tělesa příslušné součástky

Atributy alternativních modelů určují alternativní modely, které mohou být použity pro každou součástku v konkrétním typu třídy. Například, alternativní model by mohl zahrnovat obrazový model součástky umístěné obráceně (spodem nahoru). Vlastnosti pro zaučování obsahují informace o tom, jaké charakteristiky by mě být zahrnuty k zaučování a k uložení pro každý model v každém typu třídy. Konečně poslední vlastnost stanoví rozhodovací funkcí pro určování, zda je daná součástka přítomna nebo nepřítomna. Tato rozhodovací funkce může použít jako vstupní informaci výsledků jednoho nebo více typů modelů.

Příklad těchto informací z vizuální třídy diskrétních součástek, použitý při aplikaci u desek s tištěnými spoji je uveden v tabulce 1 níže.

NÁHRADNÍ UST (PRAVIDLO 26) • « ··· · « ·· · · · • · · · « · ·· ··· · · ··«· · · · · · · · v a· ·· ·· «· ·· a ·

TABULKA 1 Vizuální třída. DISKRÉTNÍ SOUČÁSTKY

Skryté znaky	Theta odhad	Obraz. model	Struktur. model	Geometr. model	Orientač. značka	Altemat. model	Zaučeni Poenániy	Pozn.
	Použij na celou ROIči obdélník nmpgiijírí chyby	Použij celý obrazs potenc. zdůraz- něním konoov.	3 oblasti s tělesem 2pastov. oblasti 2obhstí pozadí	Víceslož. pořadí operací: 1) theta 2) DxDy 3) Theta revize Nejprve porovnej V' Vř vnejsi okraje koncových čepiček Použij okraje tělesa k ověření výsledku Změň rozměry z původních vzorků pro nejlepší přizpůsobení součástky	Většinou žádné orientač. značky V pár případech je orient, značka proužek	Mohly by být modely pro převracené součástky	Geometr. model rozpozná celkovou dcutečnou vefikost celku a koncových čepiček. Ulož Všechny parametry sbuktuáL modelu včetně: urči poměr mezi koncovou čepičkou a pastou. -Těfesaa pozadí	Strukt. model činí rozhodnutí o přítomností/ absenci

Obrazový model 160 odpovídá omezenému obrazu, který lze získat např. dle postupů výše popsaných. Strukturální model 162 je použit s referenčním designátorem R29 na různých případech desek s tištěnými spoji.

Poněvadž tento strukturální model při použití pro typ pouzdra RC1206 neidentifikuje správně konkrétní součástku na referenčním designátoru R29 (viz obr. 11 A), je pro tuto konkrétní součástku na tomto konkrétním místě na desce generován nový strukturální model. Jakmile je pro typ pouzdra RC1206 a referenční designátor R29 použit nový model je, jak lze vidět na obr. 11B, dosaženo dobrého rozlišování mezi osazenými a pastovanými obrazy, jak naznačuje poloha seskupení 210. Skupina 210 ukazuje výsledky produkované novým strukturálním modelem u obrazů osazených součástkami na referenčním designátoru R29.

NÁHRADNÍ UST (PRAVIDLO 26) • 4 444 • ««

Takže obr. 1 IB demonstruje, že výsledky identifikace jak pro model s R29 (skupina 210), tak pro původní model bez R29 (skupina 206 pro pastovaný obraz a skupina 204 pro osazený obraz) odpovídají dobrému rozlišení mezi pastovanými a osazenými obrazy.

Obr. 11A a 11B ilustrují, že zkoumáním klastrů obrazů příkladů lze identifikovat součástky vyžadující pro detekci a rozpoznání specializované nebo speciálně trénované modely. Například kroky 100 - 108 popsané výše ve spojení s obr. 4 uvádějí proces tvorby separační osnovy, která je kriteriem, jak dobře umí příslušné modely rozlišovat mezi pozitivními a negativními příklady, pro soubor pastovaných a osazených obrazů. Na obr. 4 je rozebíráno, jak vybrat nejlepŠi soubor modelů, který dává dobré rozlišení mezi pastovanými a osazenými obrazy.

Poznamenejme, že na konci programu, v souladu s výsledky v obr. 11 A, jsme přidali nový strukturální model pro typ součástky RC1206. To značí, že jsou s tímto typem součástky spojeny dva strukturální modely. Téhož postupu lze použít k rozhodování, zda máme vytvořit nový obrazový či geometrický model.

Odkážeme nyní na obr. 12, kde je ukázáno porovnání obrazového modelu se součástkou identifikovanou jako RC0805. Opět v tomto konkrétním příkladě jsou dobře oddělena seskupení pastovaných a osazených obrazů 214, 216 a je tedy demonstrováno, že příslušný obrazový model umí správně rozlišovat mezi pastovaným obrazem a obrazem s osazenou součástkou. Tato analýza ukazuje, že pro tento typ součástky bude porovnávání sledovat postup popsaný na obr. 6A, kde je strukturální model použit ve větší míře k verifikaci než k detekci a určování umístění.

Obr. 13 ukazuje výsledky obrazového modelu pro pastovaný a osazený obraz typu RC1206. Výsledky pro pastovaný obraz jsou znázorněny jako skupina 218 a výsledky pro osazený obraz jsou vyznačeny čárkami. Pochopitelně, že oproti výsledkům dosaženým v souladu s postupy podle předkládaného vynálezu a s odkazem na obr. 13, je při použití postupů předchozího stavu techniky (tj. použití pouze obrazového modelu k identifikaci a rozlišení osazených a pastovaných oblastí desky s tištěnými spoji) rozlišení mezi pastovaným a osazeným obrazem malé nebo vůbec žádné, jak je z obr. 13 zřejmé. Poznamenejme, že postup popsaný v tomto vynálezu je schopen kompenzovat omezení obrazového modelu použitím strukturálního modelu. Strukturální model skutečně poskytuje dobré rozlišení mezí pastovaným a osazeným obrazem, jak je již ukázáno na obr, 1 IB.

Uvedená analýza ukazuje, že u tohoto typu součástky bude porovnávací postup probíhat podle popisu na obr. 6B, kde je strukturální model použit pro detekci součástky a zjištěni jejího umístění.

NÁHRADNÍ UST (PRAVIDLO 26) • ··· • · ··

Odkazujeme nyní na obr. 14A-I4B, kde je uváděna procedura zaučování modelu, která poskytuje dobrou klasifikaci obrazů pro daný typ součástky. Proces začíná krokem 230, na němž je zvolen pro daný typ součástky model ze souboru typů modelů. Tento model může být obrazový, strukturální nebo geometrický. I když každý z těchto modelů může být zaučován nezávisle, obvykle zaučujeme obrazový a strukturální model společně.

Jak je uvedeno na kroku 232, příslušný model je aplikován na všechny osazené obrazy téhož typu součástky. Osazený obraz se vztahuje na obraz, v němž objekt, který má být kontrolován, je v jednom místě ze skupiny očekávaných míst v obrazu. Program pak pokračuje ke kroku 234, kde je vypočteno skóre (výsledek) osazeného obrazu odpovídající porovnání zvoleného modelu s každým osazeným obrazem v příslušné zájmové oblasti (ROI). Každé skóre osazeného obrazu je kvalitativní parametr představující nebo indikující, jak dobře odpovídá model konkrétnímu osazenému obrazu.

Program pak postupuje ke krokům 236 a 238, kde je tentýž model aplikován na všechny pastované obrazy pro tentýž typ součástky a je vypočteno skóre pastovaného obrazu mezi tímto modelem a každým pastovaným obrazem v zájmové oblasti (ROI).

Jakmile jsou vypočtena skóre osazeného a pastovaného obrazu, jsou uložena pro pozdější zpracování. V následném kroku 242 je provedena prověrka skóre outsiderů (neboli jednodušeji outsiderů). Termín outsidery se vztahuje na ty výsledky osazeného a pastovaného obrazu, které padnou značně mimo typické rozmezí výsledků osazeného obrazu a pastovaného obrazu. Je-li zjištěn outsider, pak je třeba určit důvod, proč vznikl. To jest, bylli takový outsider zapříčiněn anomální situací nebo znaky, u nichž se neočekává, že se budou opakovat, pak by neměl být tento outsider zahrnut do výpočtu rozložení příslušných výsledků. Jestliže naopak se outsidery vyskytnou následkem situace nebo znaků, u nichž se očekává, že se budou opakovat, pak musí být do výpočtu rozložení výsledků zahrnuty. Například, diskrétní součástka s pastou na koncové čepičce dá výsledek, který je outsiderem. Chtěli bychom vyloučit tento výsledek ze souboru dobře zařazených (odpovídajících) výsledků, protože jde o aktuální závadu. Stejně tak, je-li osazený obraz nesprávně klasifikován, což znamená, že očekávaný objekt v tom obrazu není, chtěli bychom odstranit výsledek spojený s tímto obrazem ze souboru výsledků onoho osazeného obrazu. Na druhé straně, je-li diskrétní součástka obvykle černé těleso a vyskytne-li se oprávněný případ součástky s bílým tělesem (nebo drasticky odlišného vzhledu), bylo by třeba tyto uznatelné případy zahrnout do rozložení dobrých výsledků osazeného obrazu.

Jako příklad stručně zmiňujeme obr. 14C, na němž jsou uvedeny dva histogramy četnosti výskytů výsledků. Každý prvek na ose X udává pásmo výsledků.. Osa Y udává počty

NÁHRADNÍ LIST (PRAVIDLO 26) • 000 • 0 00 výskytů tohoto výsledku či pásma výsledků. Křivka 254 odpovídá Gaussově křivce rozložení četnosti sledující histogram výsledků osazeného obrazu a křivka 256 odpovídá Gaussově křivce sledující histogram výsledků pastovaného obrazu. Bod 258 představuje outsider výsledků osazeného obrazu. Tj. bod 258 odpovídá výsledku, který nebyl zahrnut ve výpočtu použitému k produkci křivky 254, Podobně bod 260 představuje outsider výsledků pastovaného obrazu a tedy odpovídá výsledku nezahrnutému do výpočtu křivky 256.

S opětovným odkazem na obr. 14A a 14B program postupuje ke kroku 244, na němž je vypočtena separační funkce. Způsob, jakým je separační funkce vypočítávána, závisí na mnoha faktorech zahrnujících (avšak tím nelimitovaných), typ modelu který byl vybrán na kroku 230, charakteristiky osazeného a pastovaného obrazu a konkrétní typ aplikace, v níž je model použit. Například v aplikaci na proces kontroly desek s tištěnými spoji, kde tento model odpovídá obrazovému modelu, může být separační funkce generována z výsledků korelační funkce. Tyto výsledky mohou vznikat z jakékoliv metody porovnávání modelů. Například tímto modelem může být tvář, se složitou porovnávací funkcí. Výsledné skóre může být vstupem pro stejný program k účelu tvorby separační funkce, jak je popsáno u kroku 244.

Separační funkce se v tomto případě pokouší přizpůsobit Gaussovu křivku k pozitivním příkladům a jinou Gaussovu křivku k negativním příkladům. Je možné, že jedna Gaussova křivka nemusí stačit k dosažení dostatečné shody křivek. Může tedy být zapotřebí několika Gaussových křivek k aproximaci dat v každé třídě. Například pastované příklady mohou produkovat bí-modální rozdělení, má-li PCB dvě velmi rozdílné barvy pozadí. Existuje několik klastrovacích algoritmů, např. K-means, dobře známých osobám se standardními znalostmi v oboru, které se hodí pro tento účel. Dalším způsobem výpočtu separační funkce je zjištění křivky nejlépe odpovídající daným datům. To za předpokladu, že neznáme nebo nezavádíme distribuční funkci.

Je-li dána nová položka dat, lze nalézt hodnotu křivky pro tuto položku. Na základě vypočtené hodnoty a charakteru distribuce (rozložení) lze vypočíst šancí či pravděpodobnost, že tato položka dat náleží do uvažované třídy. Někdy může tato položka padnout do průsečíku dvou či více rozložení. V tom případě můžeme vypočíst, s jakou pravděpodobností položka náleží ke každému rozložení. V nejjednodušším případě bychom označili tuto položku jako náležící k rozdělení s nejvyšší pravděpodobností. Tuto diagnostiku však můžeme považovat za málo věrohodnou.

NÁHRADNÍ UST (PRAVIDLO 26) • ···· * · ·* · · • ·· »♦» * · * · * · * • ·· * * · · » · · · * ·· ·· ·· ·· · ·

Poté, co je vypočtena separační funkce, program postupuje k rozhodovacímu bloku 246, kde se rozhoduje, zda je tato separační funkce přijatelná, Opět závisí způsob, jakým je rozhodováno a faktory při rozhodování zvažované, na vícero věcech. Například v aplikacích, jako je kontrola desek s tištěnými spoji, kde příslušný model odpovídá obrazovému modelu a separační funkce zahrnuje korelační funkci, rozhodnutí o přijatelnosti separační funkce lze učinit pomocí výpočtu rozdílu mezi minimální a maximální hodnotou korelace a porovnáním rozdílové hodnoty s předem stanoveným prahem.

V dalších aplikacích však by separační funkcí mohla být míra shody vzájemných souvislostí a vlastností oblastí se strukturálním modelem nebo míra shody obrazce gradientů s modelem hran.

Je pochopitelné, že uvedený proces je v podstatě stejný pro jakoukoliv aplikaci, při níž jsou generovány výsledky příslušející pozitivním a negativním příkladům. Je však možno mít výstupy rozmanitých výsledků, V tomto případě je třeba k aproximaci dat Gaussovy křivky vyššího řádu.

Je-li v rozhodovacím bloku 246 stanoveno, že separační funkce je přijatelná, program pokračuje ke kroku 248, kde je příslušný model ukládán pro další použití. Je-li naopak v rozhodovacím bloku 246 rozhodnuto, že separační funkce není přijatelná, program pokračuje ke kroku 250, kde je příslušný model identifikován jako model, který nebude použit (nebo tento model může být jednoduše označen jako model k vyřazení). Tento špatný model může být použit jako měřítko při posuzování budoucích modelů.

Program pak pokračuje ke kroku 252, kde se rozhoduje, zda k vyhodnocení existují jiné modely téhož typu. Nejsou-lí žádné takové modely, program končí. Jestliže naopak je v rozhodovacím bloku 252 zjištěno, že jiné modely téhož typu pro hodnocení existují, pak program postupuje na krok 253, kde je zvolen další typ modelu a pak se program vrací ke kroku 232. Od kroku 232 se kroky programu uvedené výše v popisu znovu opakují.

Otázku existence jiných modelů lze interpretovat několika způsoby. V nejužším rámci otázka zní, zda jsou k dispozici nějaké další modely téhož typu. Například, je-li typ modelu obrazový model, pak otázka zní, zda jsou k dispozici nějaké jiné korelační obrazy k vyzkoušení se všemi příslušnými daty. Jestliže otázka zní, zda jsou k dispozici nějaké jiné modely pro danou součástku nebo typ součástky, další typ modelu by mohl být strukturální nebo geometrický model.

Zaučovací postup či generátor rozhodovací funkce jak jsou popsány na obr. 14A 14B jsou metodou využívající všech skutečných positiv a skutečných negativ, které jsou k dispozici. Tato rozhodovací funkce může být v průběhu doby, jak jsou zkoumány nové

NÁHRADNÍ LIST (PRAVIDLO 26) • · 999 • 9 9 9 9 99 9 9 99 9 • 9 99 99 9« 99 9« příklady, dokonaleji propracována. Zdokonalení modelu může nastat např. při kroku zaučováni modelu s pozadím 70 na obr. 2.

Tento zaučovací postup se liší od postupu popsaného na obr. 3B a 4A. K tvorbě příslušných modelů používá všech dostupných dat. Obr. 3B a 4A jsou zaměřeny na získáni nejreprezentativnějších dat pro trénink těchto modelů.

Poznamenejme, že na obr. 1 a 14A se předpokládá, že jsou k dispozici pouze dva typy diagnózy: součástka tam je, součástka tam není. Můžeme však mít další klasifikace, které bychom rádi zachytili, jako např. součástka poškozena, součástka chybná, potřísnění pastou. Buď můžeme vypočíst rozložení výsledků pro každý z těchto označených obrazů nebo vytvořit složitější funkci ke klasifikaci nového obrazu, jestliže se nový posuzovaný obraz zařadí mezi přesně odpovídající osazené a pastované obrazy.

Poté, co byla popsána přednostní provedení vynálezu, se pro osobu standardních znalostí v oboru stane zřejmým,že mohou být rovněž použita jiná provedeni zahrnující uvedenou koncepci. Proto zastáváme názor, že tato provedení by neměla být omezena na provedení zde rozebíraná, ale spíše jen omezením plynoucím z podstaty a rámce připojených nároků.

Všechna oznámení a reference zde citované jsou zde úmyslně zařazeny s poukazem na jejich úplnost.

NÁHRADNÍ UST (PRAVIDLO 26) • 99· • 9 9 9 9 · • 9

9 99

9 9 9 9 • · 9 9

99

9

Claims (11)

1. PATENTOVĚ NÁROKY

   1. Způsob inspekce obrazu k získávání informací o objektu v zájmové oblasti vyznačující se tím,že tento způsob zahrnuje aplikaci prvního modelu a druhého modelu, aplikace druhého modelu zakládající se na výsledcích aplikace prvního modelu, kde první model produkuje výstup předpovídající, zda je v této zájmové oblasti zobrazen objekt prostřednictvím identifikace prvního souboru atributů v tomto obrazu a druhý model předpovídá, zda je v této zájmové oblasti přítomen specifický typ objektu prostřednictvím identifikace druhého typu atributů.
2. 2. Způsob podle nároku 2 navíc zahrnující aplikaci třetího modelu, aplikace třetího modelu vedoucí k přesné lokalizaci tohoto objektu.
3. 3. Způsob podle nároku 2, kde aplikace třetího modelu vede k indikaci přemístění tohoto objektu z předpokládaného místa a natočení vzhledem k předpokládané orientaci.
4. 4. Způsob podle jakéhokoliv z předchozích nároků, kde první model je obrazový model zahrnující pozitivní atributy, které jsouce přítomny v obrazu indikují přítomnost objektu v dané zájmové oblasti a negativní atributy, které jsouce přítomny v obrazu indikují nepřítomnost objektu v této zájmové oblasti.
5. 5. Způsob podle nároku 4 použitý při kontrole desek s tištěnými spoji, kde negativní atributy zahrnují skryté znaky vystihující struktury na povrchu příslušné desky s tištěnými spoji, které by měly být na této desce s tištěnými spoji blokovány správně umístěnou součástkou.
6. 6. Způsob podle jakéhokoliv z předchozích nároků, kde první model je aplikován slaďováním vzorového obrazce s podoblastmi příslušného obrazu při mnoha natočeních vedoucím k produkci mnoha korelačních výsledků a identifikující přítomnost a umístění daného objektu z korelačních výsledků.

   NÁHRADNÍ UST (PRAVIDLO 26) • · ··· fl fl ·* • · · fl fl * · fl ' « flfl •fl flfl ·· ·· ·· flfl
7. 7. Způsob podle nároku 6, kde tento vzorový obrazec je aplikován pouze na část možných podoblastí v obrazu a identifikované umístění představuje přibližné umístění.
8. 8. Způsob podle jakéhokoliv z předchozích nároků, kde aplikace prvního modelu produkuje faktor důvěryhodnosti předpovědi přítomnosti objektu vdané zájmové oblasti a aplikace druhého modelu zahrnuje hledání mnohých znaků s předem stanovenými pozičními vztahy uvnitř podoblasti příslušného obrazu.
9. 9. Způsob podle nároku 8, kde pluralita znaků zahrnuje velké gradienty v obrazu představující okraje objektů v příslušném obrazu.
10. 10. Způsob podle jakéhokoliv z nároků 8 nebo 9, kde druhý model je aplikován na mnoho podoblastí a počet podoblastí, na něž je druhý model aplikován, je menší, je-li faktor důvěryhodnosti vyšší,
11. 11. Způsob kontroly desky s tištěnými spoji používající metodu zkoumání obrazu podle jakéhokoliv z předchozích nároků, kde příslušný obraz reprezentuje oblast této desky s tištěnými spoji, kde by měla být elektronická součástka umístěna, a navíc zahrnující krok tvorby inspekčního plánu, který zahrnuje volbu vhodných modelů k použití zakládající se na druhu součástky s předpokládanou montáží v této oblasti desky s tištěnými spoji.