CZ2024342A3 - Způsob nalezení pozice špičky manipulátoru - Google Patents

Abstract

Předmětem vynálezu je způsob nalezení pozice špičky manipulátoru spočívající v získání alespoň tří různých obrazů vzorku, kdy se mezi získáním jednotlivých obrazů přemístí buď stolek, nebo manipulátor a zároveň alespoň jeden obraz je se špičkou manipulátoru v zorném poli, nebo spočívající v získání alespoň dvou různých obrazů vzorku, kdy se mezi získáním jednotlivých obrazů přemístí buď stolek, nebo manipulátor a zároveň alespoň jeden obraz je se špičkou manipulátoru v zorném poli a zároveň jsou získány rozdílové obrazy odečtením vždy dvojice získaných obrazů vzorku. Z těchto obrazů je následně nalezena pozice špičky manipulátoru v posledním ze získaných obrazů vzorku se špičkou manipulátoru v zorném poli.

Description

Způsob nalezení pozice špičky manipulátoru

Oblast techniky

Vynález se týká způsobu automatického nalezení pozice špičky manipulátoru zejména v zařízeních se svazkem nabitých částic.

Dosavadní stav techniky

Pro zkoumání vnitřní struktury vzorků například pomocí transmisního elektronového mikroskopu je nutné mít velmi tenký vzorek, tzv. lamelu, což je část vzorku obsahující oblast zájmu. Takovéto lamely jsou obvykle vytvořeny pomocí zařízení s fokusovaným iontovým svazkem (FIB), obvykle v kombinaci s rastrovacím elektronovým mikroskopem (REM) pro pozorování průběhu přípravy lamely. Zařízení může obsahovat i zařízení generující svazek fotonů. Proces probíhá obvykle tak, že se do zařízení vloží vzorek obsahující oblast zájmu. Zmíněná oblast zájmu je nalezena pomocí REM a poté je pomocí FIB nebo pomocí svazku fotonů vytvořena lamela ze vzorku. Takto vytvořená lamela je přenesena pomocí manipulátoru na držák lamel (tzv. mřížku), kde může být následně ještě dále opracováván např. pomocí svazku nabitých částic.

Manipulátorem se rozumí pohyblivé zařízení nacházející se v komoře elektronového mikroskopu, které je zakončeno obecně špičkou, kterou může být jehla tvořící samostatnou část rozebíratelně spojenou se zbytkem manipulátoru nebo jím může být sám manipulátor, jenž má konec ve tvaru špičky. K manipulátoru se různými způsoby připevňuje lamela, např. pomocí materiálové depozice. Při této metodě se k lamele, která je doposud stále spojena se vzorkem, přivedou pomocí jedné nebo více trysek různé druhy plynů obsahujících požadovaný materiál, které se pod svazkem nabitých částic deponují. Na lamele a špičce manipulátoru pak zůstává čistý prvek či jejich kombinace tvořící mezi lamelou a špičkou manipulátoru pevné spojení. Následně je lamela od substrátu oddělena např. pomocí FIB a manipulátorem přenesena k mřížce, k níž je opět např. pomocí FIB a materiálové depozice připevněna. Poté je špička manipulátoru pomocí FIB od lamely oddělena. Tato metoda je popsána např. v patentu US9040908B2.

Proces přípravy lamely je časově i technicky náročný a vyžaduje stálou přítomnost kvalifikovaného pracovníka, který musí proces sledovat a řídit. Existují snahy vyvinout takové řešení přípravy lamely, které bude zařízením prováděno automaticky, spolehlivě a zároveň efektivně, bez nutnosti přítomnosti stálé a kvalifikované obsluhy.

Jedním z kroků je automatizace nalezení špičky manipulátoru v obraze, aby bylo možné špičku manipulátoru přesně navigovat k lamele.

V dosavadním stavu techniky existují způsoby využívající dvou snímků, jako je popsáno například v patentu US10825651B2. Tento patent popisuje získání prvního obrazu špičky manipulátoru, následně přesunutí manipulátoru do jiné pozice a vytvoření druhého obrazu špičky manipulátoru. Tyto obrazy se srovnají a na základě rozdílů mezi nimi je nalezena pozice špičky manipulátoru. Toto řešení má však nevýhodu spočívající v nespolehlivosti ve chvíli, kdy má pozadí na obrázku například povrch substrátu takový vzor, který je podobný tvaru manipulátoru. Takový vzorem mohou být například rovné čáry tvořené například vrstvami polovodičového čipu.

Další možností, jak automatizovat nalezení špičky manipulátoru je využití značky vytvořené na špičce manipulátoru, tak jak je to také popsáno ve zmíněném patentu US10825651B2. Toto řešení je však komplikované, jelikož je nutné vytvářet zmíněnou značku. Další možností popsanou v témže patentu je využití strojově rozpoznatelného tvaru manipulátoru. Toto řešení je však také nevhodné, jelikož neřeší problém v případě vzorku s povrchem podobným tvaru manipulátoru a

- 1 CZ 2024 - 342 A3 zároveň může také docházet ke změně tvaru manipulátoru vlivem usazování například odprášeného materiálu nebo zbytků po odřezání lamely od špičky manipulátoru.

Bylo by tedy vhodné přijít s robustním řešením způsobu automatického rozpoznání manipulátoru i když je například jeho tvar podobný povrchu vzorku bez toho, aniž by bylo nutné uzpůsobovat jakýmkoliv způsobem manipulátor.

Podstata vynálezu

Výše uvedené problémy řeší první varianta předkládaného způsobu nalezení pozice špičky manipulátoru pomocí zařízení se svazkem nabitých částic obsahujícího alespoň jeden zdroj nabitých částic, alespoň jeden detektor signálních částic, pohyblivý manipulátor, pohyblivý stolek uzpůsobený pro umístění vzorku, vzorek umístěný na pohyblivém stolku a vyhodnocovací jednotku pro provádění způsobu, jehož podstata spočívá vtom, že způsob nalezení špičky manipulátoru zahrnuje získání alespoň tří různých obrazů vzorku pomocí ozařování vzorku zdrojem nabitých částic a detekování signálních částic detektorem signálních částic, přičemž mezi získáním jednotlivých obrazů vzorku dochází k přemístění buď stolku, nebo manipulátoru a zároveň alespoň jeden obraz vzorkuje se špičkou manipulátoru v zorném poli, přičemž získané obrazy vzorku jsou následně vyhodnoceny a je nalezena pozice špičky manipulátoru v posledním ze získaných obrazů vzorku se špičkou manipulátoru v zorném poli. Způsob naplňuje výše uvedený cíl využitím alespoň tří různých obrazů vzorku pro vyhodnocení pozice špičky manipulátoru. Využitím tří a více obrazů se zvyšuje pravděpodobnost správného nalezení pozice špičky manipulátoru.

Ve výhodném provedení je vyhodnocení získaných obrazů vzorku provedeno pomocí neuronové sítě, jejímž vstupem jsou alespoň tři obrazy vzorku a výstupem je informace umožňující nalezení pozice špičky manipulátoru. Výhoda využití neuronové sítě pro vyhodnocení obrazů vzorku spočívá v jednoduchosti a robustnosti takovéhoto způsobu vyhodnocení oproti způsobům založených na klasických matematických metodách, které nejsou vhodné pro vyhodnocování více než dvou obrazů.

Výše uvedené problémy řeší také druhá varianta předkládaného způsob nalezení pozice špičky manipulátoru pomocí zařízení se svazkem nabitých částic obsahujícího alespoň jeden zdroj nabitých částic, alespoň jeden detektor signálních částic, pohyblivý manipulátor, pohyblivý stolek uzpůsobený pro umístění vzorku, vzorek umístěný na pohyblivém stolku a vyhodnocovací jednotku pro provádění způsobu, jehož podstata spočívá vtom, že způsob nalezení špičky manipulátoru zahrnuje získání alespoň dvou různých obrazů vzorku pomocí ozařování vzorku zdrojem nabitých částic a detekování signálních částic detektorem signálních částic, přičemž mezi získáním jednotlivých obrazů vzorku dochází k přemístění buď stolku, nebo manipulátoru a zároveň alespoň jeden obraz vzorkuje se špičkou manipulátoru v zorném poli, přičemž následně se vezmou dvojice získaných obrazů vzorku, přičemž každá dvojice má vždy buď stolek, nebo manipulátor na stejné pozici v obou obrazech vzorku a tyto jsou od sebe navzájem odečteny, čímž jsou získány rozdílové obrazy, přičemž získané obrazy vzorku a rozdílové obrazy jsou následně vyhodnoceny a je nalezena pozice špičky manipulátoru v posledním ze získaných obrazů vzorků se špičkou manipulátoru v zorném poli. Způsob naplňuje výše uvedený cíl využitím alespoň dvou různých obrazů vzorku a zároveň alespoň jednoho rozdílového obrazu pro vyhodnocení pozice špičky manipulátoru. Využitím opět tří a více obrazů se zvyšuje pravděpodobnost správného nalezení pozice špičky manipulátoru.

Ve výhodném provedení vyhodnocení získaných obrazů vzorku a rozdílových obrazů je provedeno pomocí neuronové sítě, jejímž vstupem jsou alespoň dva obrazy vzorku a alespoň jeden rozdílový obraz a výstupem je informace umožňující nalezení pozice špičky manipulátoru. Výhoda využití neuronové sítě pro vyhodnocení obrazů vzorku spočívá v jednoduchosti a robustnosti takovéhoto

-2 CZ 2024 - 342 A3 způsobu vyhodnocení oproti způsobům založených na klasických matematických metodách, které nejsou vhodné pro vyhodnocování více než dvou obrazů.

Objasnění výkresů

Podstata vynálezu je dále objasněna na příkladech jeho uskutečnění, které jsou popsány s využitím připojených výkresů. Pro lepší přehlednost jsou ve výkresech znázorněny jen ty části zařízení, které jsou důležité z hlediska principu předkládaného vynálezu.

obr. 1 je schematicky znázorněno zařízení se svazkem nabitých částic;

obr. 2 je první získaný obraz vzorku dle prvního konkrétního příkladného provedení;

obr. 3 je druhý získaný obraz vzorku dle prvního konkrétního příkladného provedení;

obr. 4 je třetí získaný obraz vzorku dle prvního konkrétního příkladného provedení;

obr. 5 je první získaný obraz vzorku dle druhého konkrétního příkladného provedení;

obr. 6 je druhý získaný obraz vzorku dle druhého konkrétního příkladného provedení;

obr. 7 je třetí získaný obraz vzorku dle druhého konkrétního příkladného provedení;

obr. 8 je binární obraz odpovídající prvnímu získanému obraz vzorku dle druhého konkrétního příkladného provedení;

obr. 9 je binární obraz odpovídající druhému získanému obraz vzorku dle druhého konkrétního příkladného provedení;

obr. 10 je binární obraz odpovídající třetímu získanému obraz vzorku dle druhého konkrétního příkladného provedení;

obr. lije výstupní binární obraz dle druhého konkrétního příkladného provedení;

obr. 12 je první získaný obraz vzorku dle třetího konkrétního příkladného provedení;

obr. 13 je druhý získaný obraz vzorku dle třetího konkrétního příkladného provedení;

obr. 14 je rozdílový obraz dle třetího konkrétního příkladného provedení;

obr. 15 je první získaný obraz vzorku dle čtvrtého konkrétního příkladného provedení;

obr. 16 je druhý získaný obraz vzorku dle čtvrtého konkrétního příkladného provedení;

obr. 17 je třetí získaný obraz vzorku dle čtvrtého konkrétního příkladného provedení;

obr. 18 je první rozdílový obraz dle čtvrtého konkrétního příkladného provedení;

obr. 19 je druhý rozdílový obraz dle čtvrtého konkrétního příkladného provedení;

obr. 20 je binární obraz odpovídající třetímu získanému obrazu vzorku dle čtvrtého konkrétního příkladného provedení;

obr. 21 je první získaný obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 22 je druhý získaný obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 23 je třetí získaný obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 24 je čtvrtý získaný obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 25 je první rozdílový obraz dle pátého konkrétního příkladného provedení;

obr. 26 je druhý rozdílový obraz dle pátého konkrétního příkladného provedení;

obr. 27 je třetí rozdílový obraz dle pátého konkrétního příkladného provedení;

obr. 28 je binární obraz odpovídající druhému získanému obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 29 je binární obraz odpovídající třetímu získanému obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 30 je binární obraz odpovídající čtvrtému získanému obraz vzorku dle pátého konkrétního příkladného provedení;

obr. 31 je výstupní binární obraz dle pátého konkrétního příkladného provedení.

Příklady uskutečnění vynálezu

Uvedená uskutečnění znázorňují příkladné varianty provedení vynálezu, které však nemají z hlediska rozsahu ochrany žádný omezující vliv.

-3 CZ 2024 - 342 A3

Způsob nalezení pozice špičky manipulátoru 6 je prováděn pomocí zařízení se svazkem nabitých částic viditelném na obr.l. Částice jsou generovány pomocí alespoň jednoho zdroje 1 nabitých částic. Zdrojem nabitých částic je zdroj elektronů nebo zdroj iontů.

Zařízení dále obsahuje alespoň jeden tubus 2 a komoru 3. Tubus 2 je připojen ke komoře 3. Zdroj nabitých částic 1 je umístěn v tubusu 2. V tubusu 2 je dále umístěn soubor 7 prvků k formování a směřování částic. Prvky k formování a směřování částic jsou například elektromagnetické čočky, stigmátory, elektrody na potenciálu, clony a jiné běžně používané součásti pro částicovou optiku. V případě, že zařízení obsahuje dva tubusy připojené ke komoře 3 jsou tyto připojeny tak, aby jejich optické osy svíraly úhel větší než 0° a menší než 180°. Příkladem takovéhoto zařízení je rastrovací elektronový mikroskop s druhým tubusem produkujícím fokusovaný iontový svazek. V příkladném provedení zařízení se svazkem nabitých částic je ke komoře 3 dále připojeno zařízení generující svazek fotonů.

Zdroj 1 nabitých částic pomocí souboru 7 prvků k formování a směřování částic ozařuje jeho zorné pole.

Zařízení se svazkem částic dále obsahuje alespoň jeden detektor 8 signálních částic. Signálními částicemi jsou zejména sekundární nebo zpětně odražené částice, případně jiné částice emitované vzorkem 5 vlivem interakce s dopadajícím svazkem nabitých částic nebo částice vzorkem 5 odražené. Detektor 8 signálních částic může být umístěný v komoře 3 nebo v tubusu 2.

V komoře 3 se dále nachází pohyblivý stolek 4 pro umístění alespoň jednoho vzorku. Stolek 4 je uzpůsoben pro pohyb podél alespoň dvou navzájem kolmých os. V příkladném provedení stolku 4 je stolek 4 uzpůsoben pro pohyb podél tří navzájem kolmých os. V dalším příkladném provedení stolku 4 je stolek 4 dále uzpůsoben pro rotaci kolem alespoň jedné osy a náklon kolem alespoň jedné osy. Příkladná provedení stolku 4 se mohou libovolně kombinovat. Stolek 4 je uzpůsoben pro umístění alespoň jednoho vzorku 5.

V komoře 3 se dále nachází pohyblivý manipulátor 6. Konec manipulátoru 6 má tvar špičky. V alternativním provedení manipulátoru 6 je konec manipulátoru 6 tvořen jehlou připojenou rozebíratelně k manipulátoru 6 a tvořící špičku manipulátoru 6. V příkladném provedení možností pohybu manipulátoru 6 je manipulátor 6 pohyblivý podél tří os, které jsou v příkladném provedení na sebe navzájem kolmé. V dalším příkladném provedení možností pohybu manipulátoru umožňuje manipulátor 6 dále rotaci kolem alespoň jedné osy.

Zařízení dále zahrnuje vyhodnocovací jednotku obsahující software pro provádění způsobu.

Způsobu nalezení špičky manipulátoru 6 zahrnuje krok získání různých obrazů vzorku 5 pomocí ozáření vzorku 5 pomocí zdroje 1 nabitých částic a detekování signálních částic. Mezi získáním jednotlivých obrazů vzorku 5 dochází vždy k přemístění buď stolku 4, nebo manipulátoru 6. Dvojice získaných obrazů má tedy vždy buď stolek 4, nebo manipulátor 6 stejné pozici. Jinými slovy, ke každému získanému obrazu vzorku 5 musí existovat jiný obraz vzorku 5, který bude mít buď stolek 4, nebo manipulátor 6 na stejné pozici. Zároveň alespoň jeden ze získaných obrazů vzorku 5 je se špičkou manipulátoru 6 v zorném poli.

V prvním příkladném provedení kroku získání obrazů vzorku 5 jsou získány alespoň tři různé obrazy vzorku 5.

Ve druhém příkladném provedení kroku získání obrazů vzorku 5 jsou získány alespoň dva různé obrazy vzorku 5.

V dalším kroku způsobu nalezení špičky manipulátoru 6 je provedeno vyhodnocení získaných obrazů vzorku 5 pomocí vyhodnocovací jednotky a je nalezena pozice špičky manipulátoru 6 v posledním ze získaných obrazů vzorku 5 se špičkou manipulátoru 6 v zorném poli. Součástí

-4 CZ 2024 - 342 A3 procesu vyhodnocení je využití neuronové sítě. Neuronová síť může být jakákoliv neuronová síť, která je uzpůsobena pro segmentaci obrazu. V příkladném provedení neuronové sítě je neuronovou sítí dvourozměrná konvoluční neuronová síť s architekturou typu U-Net. Neuronová síť je naučená pomocí anotovaných simulovaných nebo reálných dat, na kterých jsou viditelné různé vzorky a manipulátory. Neuronová síť je naučená tak, aby rozpoznávala tvar jehly v obraze.

V prvním příkladném provedení vstupů neuronové sítě jsou vstupem neuronové sítě alespoň tři získané obrazy vzorku 5.

Ve druhém příkladném provedení vstupů neuronové sítě jsou vstupem neuronové sítě alespoň dva získané obrazy vzorku 5 a zároveň je vstupem také alespoň jeden rozdílový obraz. Rozdílový obraz je vytvořen odečtením dvou obrazů vzorku 5 majících buď stolek 4, nebo manipulátor 6 na stejné pozici v obou obrazech. Při odečtení dvou obrazů vzorku 5 majících určitý objekt na stejném místě by mělo dojít k odstranění tohoto objektu z výsledného rozdílového obrazu, avšak vlivem například teplotního driftu vzorku 5, vlivem změny elektrického pole působícího na svazek částic způsobené změnou pozice manipulátoru 6, šumu signálních částic nebo obecně šumu detektoru 8 signálních částic se ve výsledném rozdílovém obraze nachází i artefakty objektu, který měl být z obrazu odstraněn, protože byl na stejném místě.

Výstupem neuronové sítě je informace umožňující nalezení pozice špičky manipulátoru 6.

V prvním příkladném provedení informace umožňující nalezení pozice špičky manipulátoru 6 je informací umožňující nalezení pozice špičky manipulátoru 6 alespoň jeden binární obraz odpovídajícího obrazu vzorku 5 na vstupu neuronové sítě, přičemž na binárním obrazuje rozlišen manipulátor 6 a pozadí. Binární obraz se nevytváří pro obraz vzorku 5 neobsahující manipulátor 6.

Ve druhém příkladném provedení informace umožňující nalezení pozice špičky manipulátoru 6 jsou informací umožňující nalezení pozice špičky manipulátoru 6 souřadnice špičky manipulátoru 6 dle posledního ze získaných obrazů vzorku 5.

V případě, že informací umožňující nalezení pozice špičky manipulátoru 6 je binární obraz, je obraz dále zpracován pomocí standardních technik zpracování obrazu tak, aby byly nalezeny souřadnice špičky manipulátoru 6 dle posledního ze získaných obrazů vzorku 5 se špičkou manipulátoru 6 vzorném poli. V jednom z příkladných provedeních vyhodnocení obrazů v případě, že výstupem neuronové sítě je lichý počet binárních obrazů a zároveň jsou alespoň tři, je dále provedeno zpracování binárních obrazů pomocí techniky „majority voting“, kdy dojde ke srovnání obrazů na úrovni pixelů a výsledkem je opět binární obraz, jehož hodnoty jednotlivých pixelů odpovídají hodnotám většiny. Jinými slovy, pokud má pixel na vstupních dvou binárních obrazech hodnotu 0 a na jednom vstupním binárním obrazu hodnotu 1, tak hodnota tohoto pixelů ve výstupním binárním obrazu bude 0. V případě, že binární obraz nebo obrazy odpovídají získaným obrazům vzorku 5 s manipulátorem 6 na různých místech je nutné provést posunutí tohoto obrazu nebo obrazů tak, aby manipulátor 6 byl na stejném místě jako v případě posledního získaného obrazu vzorku 5, než dojde ke zpracování pomocí „majority voting“ např. pomocí korelace obrazu nebo posunutím o hodnotu přemístění manipulátoru 6 vůči poslednímu získanému obrazu vzorku 5.

V prvním konkrétním příkladném provedení způsobu nalezení špičky manipulátoru 6 je využito zařízení se svazkem nabitých částic. Nejprve jsou získány obrazy vzorku 5, a to pomocí ozáření vzorku 5 elektronovým svazkem a detekování signálních částic detektorem signálních částic 8. První získaný obraz vzorku 5 viditelný na obr. 2 je obraz vzorku 5, kde se stolek 4 nachází v první pozici stolku 4 a manipulátor 6 se nachází v první pozici manipulátoru 6 se špičkou manipulátoru 6 nacházející se mimo zorné pole. Následně se manipulátor 6 přesune do druhé pozice manipulátoru 6 se špičkou manipulátoru 6 v zorném poli a zároveň stolek 4 se nehýbe a je získán druhý obraz vzorku 5, viditelný na obr. 3. Následně se stolek 4 přemístí v ose kolmé na plochu stolku 4, na které je umístěn vzorek 5 a manipulátor 6 se nehýbe a je získán třetí obraz vzorku 5,

-5 CZ 2024 - 342 A3 viditelný na obr. 4. Následně jsou tyto získané obrazy vzorku 5 použity jako vstupy pro neuronovou síť a výstupem z neuronové sítě j sou souřadnice špičky manipulátoru 6 dle posledního, tedy třetího získaného obrazu vzorku 5.

Ve druhém konkrétním příkladném provedení způsobu nalezení špičky manipulátoru 6 je využito zařízení se svazkem nabitých částic. Nejprve jsou získány obrazy vzorku 5, a to pomocí ozáření vzorku 5 elektronovým svazkem a detekování signálních částic detektorem signálních částic 8. První získaný obraz vzorku 5 viditelný na obr. 5 je obraz vzorku 5, kde se stolek 4 nachází v první pozici stolku 4 a manipulátor 6 se nachází ve první pozici manipulátoru 6 se špičkou manipulátoru 6 nacházející se v zorném poli. Následně se manipulátor 6 přesune do druhé pozice manipulátoru 6 nacházející se také v zorném poli a zároveň stolek 4 se nehýbe a je získán druhý obraz vzorku 5 viditelný na obr. 6. Následně se stolek 4 přemístí v rovině rovnoběžné s plochou stolku 4, na které je umístěn vzorek 5, a manipulátor 6 se nehýbe a je získán třetí obraz vzorku 5 viditelný na obr. 7. Následně jsou tyto získané obrazy vzorku 5 použity jako vstupy pro neuronovou síť a výstupem z neuronové sítě jsou tři binární obrazy viditelné na obr. 8, 9 a 10 odpovídající získaným obrazům vzorku 5. Na prvním získaném obraze vzorku 5 se nachází manipulátor 6 v první pozici manipulátoru 6, na zbývajících obrazech se nachází manipulátor 6 ve druhé pozici manipulátoru 6. Následně je binární obraz odpovídající prvnímu obrazu vzorku 5 posunut tak, aby pozice manipulátoru 6 odpovídala druhé pozici manipulátoru 6. Následně jsou binární obrazy srovnány pomocí techniky „majority voting“, přičemž výsledkem je výstupní binární obraz viditelný na obr. 11, v němž j e následně nalezena špička manipulátoru 6 a určeny j ej i souřadnice.

Ve třetím konkrétním příkladném provedení způsobu nalezení špičky manipulátoru 6 je využito zařízení se svazkem nabitých částic. Nejprve jsou získány obrazy vzorku 5, a to pomocí ozáření vzorku 5 elektronovým svazkem a detekování signálních částic detektorem signálních částic 8. První získaný obraz vzorku 5 viditelný na obr. 12 je obraz vzorku 5, kde se stolek 4 nachází v první pozici stolku 4 a manipulátor 6 se nachází v první pozici manipulátoru 6 se špičkou manipulátoru 6 nacházející se v zorném poli. Následně se stolek 4 se vzorkem 5 přesune v ose kolmé na plochu stolku 4, na které je umístěn vzorek 5, manipulátor 5 se nehýbe a je získán druhý obraz vzorku 5 viditelný na obr. 13. Následně se první obraz vzorku 5 a druhý obraz vzorku 5 od sebe odečtou a je získán rozdílový obraz viditelný na obr. 14. Následně jsou první obraz vzorku 5, druhý obraz vzorku 5 a rozdílový obraz použity jako vstupy pro neuronovou síť a výstupem z neuronové sítě jsou souřadnice špičky manipulátoru 6 dle posledního, tedy druhého získaného obrazu vzorku 5.

Ve čtvrtém konkrétním příkladném provedení způsobu nalezení špičky manipulátoru 6 je využito zařízení se svazkem nabitých částic. Nejprve jsou získány obrazy vzorku 5, a to pomocí ozáření vzorku 5 elektronovým svazkem a detekování signálních částic detektorem signálních částic 8. První získaný obraz vzorku 5 viditelný na obr. 15 je obraz vzorku 5, kde se stolek 4 nachází v první pozici stolku 4 a manipulátor 6 se nachází v první pozici manipulátoru 6 se špičkou manipulátoru 6 nacházející se mimo zorné pole. Následně se manipulátor 6 přesune do druhé pozice manipulátoru 6 nacházející se v zorném poli a zároveň stolek 4 se nehýbe a je získán druhý obraz vzorku 5 viditelný na obr. 16. Následně se stolek 4 přemístí v rovině rovnoběžné s plochou stolku 4, na které je umístěn vzorek 5 a manipulátor 6 se nehýbe a je získán třetí obraz vzorku 5 viditelný na obr. 17. Následně je vytvořen první rozdílový obraz viditelný na obr. 18 odečtením prvního obrazu vzorku 5 a druhého obrazu 5 vzorku a druhý rozdílový obraz viditelný na obr. 19 odečtením druhého obrazu vzorku 5 a třetího obrazu vzorku 5. Následně j sou první obraz vzorku 5, druhý obraz vzorku 5, třetí obraz vzorku 5, první rozdílový obraz a druhý rozdílový obraz použity jako vstupy pro neuronovou síť a výstupem z neuronové sítě je binární obraz viditelný na obr. 20 odpovídající třetímu obrazu vzorku 5 v němž je nalezena špička manipulátoru 6 dle posledního, tedy třetího získaného obrazu vzorku 5 a určeny její souřadnice.

Ve pátém konkrétním příkladném provedení způsobu nalezení špičky manipulátoru 6 je využito zařízení se svazkem nabitých částic. Nejprve jsou získány obrazy vzorku 5, a to pomocí ozáření vzorku 5 elektronovým svazkem a detekování signálních částic detektorem signálních částic 8. První získaný obraz vzorku 5 viditelný na obr. 21 je obraz vzorku 5, kde se stolek 4 nachází v první

-6 CZ 2024 - 342 A3 pozici stolku 4 a manipulátor 6 se nachází v první pozici manipulátoru 6 se špičkou manipulátoru 6 nacházející se mimo zorné pole. Následně se manipulátor 6 přesune do druhé pozice manipulátoru 6 nacházející se v zorném poli a zároveň stolek 4 se nehýbe a je získán druhý obraz vzorku 5 viditelný na obr. 22. Následně se manipulátor 6 přesune do třetí pozice manipulátoru 6 nacházející se v zorném poli a zároveň odlišné od druhé pozice manipulátoru 6 a zároveň stolek 4 se nehýbe a je získán třetí obraz vzorku 5 viditelný na obr. 23. Následně se manipulátor 6 přesune do čtvrté pozice manipulátoru 6 nacházející se v zorném poli a zároveň odlišné od druhé a třetí pozice manipulátoru 6 a zároveň stolek 4 se nehýbe a je získán čtvrtý obraz vzorku 5 viditelný na obr. 24. Následně je vytvořen první rozdílový obraz viditelný na obr. 25 odečtením prvního obrazu vzorku 5 a druhého obrazu vzorku 5 a druhý rozdílový obraz viditelný na obr. 26 odečtením prvního obrazu vzorku 5 a třetího obrazu vzorku 5 a třetí rozdílový obraz viditelný na obr. 27 odečtením prvního obrazu vzorku 5 a čtvrtého obrazu vzorku 5. Následně jsou první obraz vzorku 5, druhý obraz vzorku 5, třetí obraz vzorku 5, čtvrtý obraz vzorku 5, první rozdílový obraz, druhý rozdílový obraz a třetí rozdílový obraz použity jako vstupy pro neuronovou síť a výstupem z neuronové sítě jsou binární obrazy viditelné na obr. 28, 29 a 30 odpovídající druhému obrazu vzorku 5, třetímu obrazu vzorku 5 a čtvrtému obrazu vzorku 5. Vzhledem k tomu, že na každém obraze vzorku 5 je manipulátor 6 v odlišné pozici, a tedy i na binárních obrazech odpovídajících obrazům vzorku 5 je manipulátor 6 v různých pozicích je nutné provést posunutí binárních obrazů odpovídajících druhému a třetímu obrazu vzorku 5 tak, aby byly na stejné pozici jako na binárním obrazu odpovídajícímu čtvrtému obrazu vzorku 5. Posunutí je provedeno pomocí korelace obrazů. Následnějsou binární obrazy srovnány pomocí techniky „majority voting“ a výsledkem je výstupní binární obraz viditelný na obr. 31, v němž je nalezena špička manipulátoru 6 a určeny její souřadnice.

Průmyslová využitelnost

Výše popsaný způsob nalezení špičky manipulátoru je dále možné použít v optickém mikroskopu namísto zařízení se svazkem nabitých částic.

Claims (4)

1. PATENTOVÉ NÁROKY

   1. Způsob nalezení pozice špičky manipulátoru pomocí zařízení se svazkem nabitých částic obsahujícího alespoň jeden zdroj nabitých částic, alespoň jeden detektor signálních částic, pohyblivý manipulátor, pohyblivý stolek uzpůsobený pro umístění vzorku, vzorek umístěný na pohyblivém stolku a vyhodnocovací jednotku pro provádění způsobu, vyznačující se tím, že způsob nalezení špičky manipulátoru zahrnuj ezískáni alespoň tří různých obrazů vzorku pomocí ozařování vzorku zdrojem nabitých částic a detekování signálních částic detektorem signálních částic, přičemž mezi získáním jednotlivých obrazů vzorku dochází k přemístění buď stolku, nebo manipulátoru a zároveň alespoň jeden obraz vzorku je se špičkou manipulátoru v zorném poli, přičemž získané obrazy vzorku jsou následně vyhodnoceny a je nalezena pozice špičky manipulátoru v posledním ze získaných obrazů vzorku se špičkou manipulátoru v zorném poli.
2. 2. Způsob nalezení pozice manipulátoru podle nároku 1, vyznačující se tím, že vyhodnocení získaných obrazů vzorku je provedeno pomocí neuronové sítě, jejímž vstupem jsou alespoň tři obrazy vzorku a výstupem je informace umožňující nalezení pozice špičky manipulátoru.
3. 3. Způsob nalezení pozice špičky manipulátoru pomocí zařízení se svazkem nabitých částic obsahujícího alespoň jeden zdroj nabitých částic, alespoň jeden detektor signálních částic, pohyblivý manipulátor, pohyblivý stolek uzpůsobený pro umístění vzorku, vzorek umístěný na pohyblivém stolku a vyhodnocovací jednotku pro provádění způsobu, vyznačující se tím, že způsob nalezení špičky manipulátoru zahrnuje získání alespoň dvou různých obrazů vzorku pomocí ozařování vzorku zdrojem nabitých částic a detekování signálních částic detektorem signálních částic, přičemž mezi získáním jednotlivých obrazů vzorku dochází k přemístění buď stolku, nebo manipulátoru a zároveň alespoň jeden obraz vzorkuje se špičkou manipulátoru v zorném poli, přičemž následně se vezmou dvojice získaných obrazů vzorku, přičemž každá dvojice má vždy buď stolek, nebo manipulátor na stejné pozici v obou obrazech vzorku a tyto jsou od sebe navzájem odečteny, čímž jsou získány rozdílové obrazy, přičemž získané obrazy vzorku a rozdílové obrazy jsou následně vyhodnoceny a je nalezena pozice špičky manipulátoru v posledním ze získaných obrazů vzorků se špičkou manipulátoru v zorném poli.
4. 4. Způsob nalezení pozice manipulátoru podle nároku 3, vyznačující se tím, že vyhodnocení získaných obrazů vzorku a rozdílových obrazů je provedeno pomocí neuronové sítě, jejímž vstupem jsou alespoň dva obrazy vzorku a alespoň jeden rozdílový obraz a výstupem je informace umožňující nalezení pozice špičky manipulátoru.