CZ308784B6 - Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě - Google Patents

Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě Download PDF

Info

Publication number
CZ308784B6
CZ308784B6 CZ2020444A CZ2020444A CZ308784B6 CZ 308784 B6 CZ308784 B6 CZ 308784B6 CZ 2020444 A CZ2020444 A CZ 2020444A CZ 2020444 A CZ2020444 A CZ 2020444A CZ 308784 B6 CZ308784 B6 CZ 308784B6
Authority
CZ
Czechia
Prior art keywords
raw cotton
image
neural network
monitored area
impurities
Prior art date
Application number
CZ2020444A
Other languages
English (en)
Other versions
CZ2020444A3 (cs
Inventor
Martin Rozkovec
Rozkovec Martin Ing., Ph.D
Karel PaleÄŤek
Paleček Karel Ing., Ph.D.
Original Assignee
Rieter Cz S.R.O.
Technická univerzita v Liberci
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rieter Cz S.R.O., Technická univerzita v Liberci filed Critical Rieter Cz S.R.O.
Priority to CZ2020444A priority Critical patent/CZ2020444A3/cs
Publication of CZ308784B6 publication Critical patent/CZ308784B6/cs
Publication of CZ2020444A3 publication Critical patent/CZ2020444A3/cs

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Textile Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Wood Science & Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Řešení se týká způsobu hodnocení nečistot (N) ve vlákenném materiálu (M), kterým je plocha surové bavlny (B) pomocí neuronové sítě. Sledovaná plocha (2) surové bavlny (B) se ozařuje světelným zářením a pořizují se obrazové snímky sledované plochy (2), které se zpracují neuronovou sítí pro identifikaci a hodnocení výskytu nečistot (N) v surové bavlně (B). Sleduje se plocha surové bavlny (B) před dalšími technologickými kroky, kde plocha surové bavlny (B) se ozařuje alespoň dvěma zářeními s odlišnou vlnovou délkou z rozsahu alespoň části VIS, UV a NIR záření a obraz se snímá maticovým pixelovým monochromatickým optickým snímačem (10). Získá se multispektrální obrazový snímek sledované plochy (2) surové bavlny (B) a zpracuje se metodou obrazové analýzy v natrénované neuronové síti (6) pro obrazové rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B). Řešení se také týká systému pro hodnocení nečistot (N) ve vlákenném materiálu (M) pomocí neuronové sítě k provedení tohoto způsobu.

Description

Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě
Oblast techniky
Vynález se týká způsobu hodnocení nečistot ve vlákenném materiálu neuronovou sítí, při kterém se sledovaná plocha vlákenného materiálu ozařuje světelným zářením, přičemž se pořizují obrazové snímky sledované plochy s vlákenným materiálem a tyto snímky se zpracují neuronovou sítí pro identifikaci a hodnocení výskytu nečistot ve vlákenném materiálu.
Vynález se také týká systému pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě, který obsahuje výpočetní zařízení se softwarem, kde toto výpočetní zařízení se softwarem je uzpůsobeno pro okamžité zpracování snímků získaných kamerou, při ozáření zářením vlnové délky a pro identifikaci a hodnocení výskytu nečistot ve vlákenném materiálu.
Dosavadní stav techniky
Vlákenný materiál často obsahuje celou řadu cizích příměsí a nečistot, které při dalším zpracování vlákenného materiálu způsobují problémy a komplikace. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.
Typickým příkladem je bavlna, která obsahuje celou řadu cizích příměsí a nečistot, kde cizí příměsi organického charakteru nejčastěji pocházejí z rostlin bavlny a bývají to části stonků, listy nebo jejich fragmenty, kůra, slupky semen či jejich části. Za organickou nečistotu lze považovat i nezralou bavlnu nebo znečištění mízou rostliny. Ostatní cizí příměsi lze jen obtížně vyjmenovat, ale nej častěji se jedná o kusy obalových materiálů, znečištění půdou, cizí vlákna, ať už přírodní nebo syntetická, fragmenty látek, chlupů nebo vlasů. Výjimečně může být bavlna znečištěná i metalickými nečistotami, nebo může být obarvena otiskem barevných listů nebo barvou nepřírodního původu.
Většinu cizích příměsí je žádoucí při zpracování bavlny odstranit. Míra čištění bavlny ovlivňuje kvalitu výsledného produktu - příliš intenzivní čištění poškozuje vlákna a nedostatečné čištění zanechává nečistoty do dalšího zpracování. Standardní způsob řízení kvality procesu zpracování bavlny spočívá v průběžném sledování charakteristik odpadu a ve zpětnovazebním nastavení strojů, které je kontrolováno zpravidla provozním technologem. Druhou možností je odebírání statistických vzorků materiálu a jeho zpracování za pomocí laboratorních přístrojů. Vzorek je možné buď destruktivně vyčistit a porovnat hmotnostní poměr nečistot s hmotností čisté bavlny, nebo pomocí algoritmů strojového vidění na nepohyblivém vzorku lze v laboratoři odhadnout míru znečistění vzorku, typicky pomocí sejmutí monochromatického širokospektrálního snímku a jeho následné binarizace pomocí prahování. Taková metoda však umožňuje pouze detekci a odhad míry znečistění, ne však klasifikaci nečistot, která je důležitá pro stanovení kvality bavlny.
Většina nežádoucích příměsí v bavlně je viditelná ve viditelném spektru elektromagnetického záření-světla - (vlnová délka 450 až 650 nm, v textu označováno jako VIS). Spektrální charakteristika určitých nečistot (např. PET, HDPE, PVC, 1DPE, PP, PS, PC, Akryl, Polyamid, PTFE, aj.) však obsahuje vrcholy (spektra), které se nacházejí i v jiné oblasti spektra el. mag záření, než je oblast VIS, např. ve světle ultrafialovém (10 až 400 nm, v textu označováno UV) nebo blízkém infračerveném (650 až IlOOnm, v textu NIR). Přítomnost těchto nečistot je možné zachytit pomocí přístrojů snímajících dané vlnové délky spektra a následně je i vyhodnotit. Jsou známé metody detekce a odstranění cizích příměsí, které pracují pouze s jednou konkrétní vlnovou délkou, případně s kaskádou jednotlivých stupňů detekce s navzájem odlišným spektrem snímání.
-1 CZ 308784 B6
V posledních letech se nedílnou součástí většiny moderních systémů v oblasti zpracování obrazu stalo strojové vidění a s ním spojená umělá inteligence s umělou neuronovou sítí. Na neuronové sítě lze nahlížet jako na parametrizovatelné univerzální funkční aproximátory-funkční bloky, jež mohou modelovat libovolnou závislost.
Z CN 101739570 je znám online klasifikační způsob a systém hodnocení cizích vláken v bavlně, přičemž tento způsob zahrnuje kroky sběru barevných obrázků cizích vláken v reálném čase; segmentování barevných obrazů cizích vláken metodou segmentace obrazu založenou na třísložkové střední hodnotě a rozptylu pixelů R, G a B pro získání objektivního obrazu vytvořeného objektivním pixelem v barevných obrazech cizích vláken; odstranění malých objektů produkovaných šumem a falešnými cizími vlákny v obrazu metodou prahové hodnoty plochy pro získání předmětů z cizích vláken; extrakci barevných prvků, tvarových prvků a textumích znaků každého objektu cizích vláken za účelem generování vektorů fúnkcí pro popis objektů cizích vláken; klasifikaci předmětů z cizích vláken pomocí fúnkčních vektorů a vektorového stroje pro podporu klasifikace typu jeden-na-jednoho založeného na řízeném acyklickém grafů. Vynález realizuje online klasifikaci cizích vláken v reálném čase a je prospěšný pro následné provedení online výpočtu podílu cizích vláken. Vynález se tak dotýká oblasti strojového vidění a rozpoznávání vzorů, zejména pro online klasifikaci cizích vláken v bavlně.
Nevýhodou tohoto řešení je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu, ve kterém se projevuje celá řada negativních vlivů.
Z CN 107219188 je znám způsob analýzy obsahu bavlny v textilu na základě vylepšeného DBN (deep brief network) v blízkém infračerveném spektru. Způsob popsaný vynálezem může rychle stanovit obsah bavlny ve vzorku bez ztráty a aplikuje hlubokou neuronovou síť do pole detekce obsahu bavlny v textilii v blízkém infračerveném spektru, takže se zlepší přesnost a spolehlivost detekce.
Nevýhodou tohoto řešení je jeho optimalizace na hledání bavlny v ostatních materiálech, přičemž prostá inverze řešení, tj. pro hledání ostatních materiálů v bavlně není jednoduše možná. Další nevýhodou je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu.
Z US 2020116627 AI je znám systém pro hodnocení znečištění textilu nebo jeho části, typicky oděvů, před jejich čištěním, např. v prádelně apod. Systém je založen na osvícení znečištěné plochy textilie a části okolí této znečištěné plochy plošné textilie alespoň jedním širokospektrálním zdrojem záření z oblasti záření 600 nm do 780 nm (červená), 490 nm do 600 nm (zelená) a 380 nm do 490 nm (modrá) nebo NIR. Následně se snímačem pořídí spektrální snímek záření odraženého od tohoto znečištění, tj. snímek toho, jaká spektra záření se v odraženém záření vyskytují. Typickým snímačem je snímač bolometrického typu, který má maximum citlivosti v oblasti NIR. V pořízeném spektrálním snímku se provede detekce vlnových délek odraženého záření a z nich se sestaví spektrální obraz (spektrogram) znečištění, který znázorňuje, jaké vlnové délky nebo jaký rozsah vlnových délek, obsahuje odražené záření, včetně polohy jednotlivých píků v tomto spektrogramu. Detekční algoritmus následně provede porovnání se spektrogramy známých znečistění, a výsledkem celého procesu je identifikace materiálového složení znečištění daného oděvu a přiřazení odpovídajícího pracího nebo jiného čisticího procesu k odstranění nečistoty.
Nevýhodou řešení podle US 2020116627 AI je, že není schopno detekovat výskyt nečistot v základním vlákenném materiálu pro textilní výrobu (např. surové bavlně), jako jsou zbyťky listů, skořápky, kousky plastu atd. na začátku procesu zpracování vlákenného materiálu. Toto řešení také nehodnotí, jestli se na ploše dané textilie vyskytuje nějaká nečistota, ale hodnotí chemické složení této nečistoty za účelem automatizovaného nastavení pracího nebo jiného podobného čisticího procesu.
- 2 CZ 308784 B6
Z odborného článku Detecting LWIR Filters using Hyperspectral Camera and Neural Networks, Jin Cech, Martin Rozkovec, Institute of Information Technologies and Electronics, FMMIS, Technical University of Eiberec, Liberec, Czech Republic je známo využití convolučních neuronových sítí (CNN) pro hyperspektrální detekci pozice LWIR filtru v zařízení pro dálkovou detekci nebezpečných chemických substancí HDES, viz. http://www.toptec.eu/opencms/export/sites/toptec/.content/projects/fmished/hdes.pdf. Systém HDES používají např. složky integrovaného záchranného systému nebo vojenské složky k dálkové detekci výskytu nebezpečných chemikálií, např. při požárech chemických provozů, při chemickém napadení atd. Systém HDES využívá skenovací zrcátko a speciální optiku, která rozloží přicházející záření ze snímané scény na jednotlivá spektra, která pak cíleně směřuje na určené části speciálního bolometrického snímače. Takto získané údaje mají podobu 3D spektrogramu, který se následně vyhodnocuje využitím CCN pro určení chemického složení látek ve snímané ploše. Nejedná o obrazovou detekci nečistot z hlediska jejich polohy a tvaru v základním textilním materiálu pro textilní výrobu, jako je surová bavlna atd. na vstupu do procesu čištění vlákenného materiálu před zpracováním. Toto řešení není možné použít pro obrazovou analýzu plochy textilního materiálu za účelem detekce a klasifikace nečistot v základním textilním materiálu.
Z CN 109331990 A je znám proces a zařízení pro rychlou automatickou detekci nečistot v odpadním skle na dopravním pásu, který je zakončen sestavou odpadních košů pro detekované a vyloučené nečistoty. Systém obsahuje jednořádkový CCD snímač, jemuž je přiřazena modrá, zelená a červená LED a také UV LED a NIR LED. Plocha odpadního skla se postupně osvětluje jednotlivými LED a přitom se řádkovým CCD snímačem pořídí multispektrální řádkový snímek (v podstatě spektrogram), který se pošle do připojeného FPGA a DSP pro určení materiálového složení molekul v příslušné části snímaného řádku. Tato data se dále zpracovávají v reálním čase pro rozhodnutí, jestli daná položka je sklo nebo nečistota a následně se podle toho ovládá třídič, kterým se mění trajektorie odvodu vybrané nečistoty do příslušné odpadní nádoby. Žádný proces umělé inteligence ve smyslu obrazové analýzy plošného multispektrálního obrazového snímku vyhledávání a identifikace složek plošného obrazu není popsán.
Cílem vynálezu je snížit nebo odstranit nevýhody dosavadního stavu techniky, zejména pak vytvořit optimalizovaný způsob hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě, který je spolehlivý, přesný a rychlý i v podmínkách textilního provozu.
Podstata vynálezu
Cíle vynálezu je dosaženo způsobem hodnocení nečistot ve vlákenném materiálu neuronovou sítí, jehož podstata spočívá v tom, že jako vlákenný materiál se sleduje plocha surové bavlny ve formě vrstvy vláken na ploše a/nebo ve formě vlákenných vloček a chuchvalců, případně i ve formě pramene vláken, balíku vláken nebo hromady vláken v procesu zpracování surové bavlny před dalšími technologickými kroky, přičemž se sledovaná plocha surové bavlny (B) ozařuje alespoň dvěma zářeními s odlišnou vlnovou délkou z rozsahu alespoň části VIS, UV a NIR záření a synchronizované s tímto ozařováním sledované plochy se sejme buď jednorázově maticovým pixelovým monochromatickým obrazovým optickým snímačem jeden multispektrální obrazový snímek sledované plochy surové bavlny nebo se maticovým pixelovým monochromatickým optickým snímačem sejmou alespoň dva obrazové snímky sledované plochy surové bavlny při ozáření zářením s navzájem odlišnou vlnovou délkou a z těchto obrazových snímků se softwarově složí jeden multispektrální obrazový snímek sledované plochy surové bavlny, načež se multispektrální obrazový snímek sledované plochy surové bavlny zpracuje metodou obrazové analýzy v natrénované neuronové síti pro obrazové rozpoznání a vyhodnocení cizích příměsí v surové bavlně, zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, fragmentů látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.
-3CZ 308784 B6
Cíle vynálezu je také dosaženo systémem pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě, jehož podstata spočívá v tom, že kamera obsahuje maticový pixelový monochromatický obrazový optický snímač spřažený s osvětlovacím zařízením s prostředky pro vydávání záření o alespoň dvou různých vlnových délkách v alespoň části spekter UV, VIS, NIR, přičemž software obsahuje natrénovanou vícevrstvou konvoluční neuronovou síť pro obrazovou analýzu multispektrálního obrazového snímku sledované plochy surové bavlny, přičemž vícevrstvá konvoluční neuronová síť obsahuje pětivrstvý enkodér s výstupním tensorem y(4) , na který navazuje dekodér uzpůsobený pro nadvzorkování tensoru y(4) na původní rozlišení vstupního multispektrálního obrazového snímku sledované plochy surové bavlny, přičemž na dekodér navazuje klasifikátor uzpůsobený pro klasifikaci jednotlivých pixelů vstupního multispektrálního obrazového snímku sledované plochy surové bavlny pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně.
Výhodou tohoto řešení je, že umožňuje rychle, přesně, a i v běžných provozních podmínkách textilního provozu detekovat a klasifikovat široké spektrum možných cizích příměsí ve zpracovávané surové bavlně, protože vhodným a optimalizovaným způsobem kombinuje použití multispektrálního snímání znečištěného materiálu za využití počítačového zpracování získaných specifických obrazových dat optimalizovanou obrazovou analýzou založenou na využití natrénované neuronové sítě, zejména vícevrstvé konvoluční neuronové sítě.
Objasnění výkresů
Vynález je schematicky znázorněn na výkresech, kde ukazuje obr. 1 příklad uskutečnění zařízení pro snímání nečistot ve vlákenném materiálu, obr. la boční pohled na příklad zařízení pro snímání nečistot ve vlákenném materiálu s ochranou proti parazitnímu okolnímu světlu, obr. 2 příklad uskutečnění osvětlovací jednotky pro snímání nečistot ve vlákenném materiálu, obr. 3 příklad uskutečnění konvoluční neuronové sítě (CNN) optimalizované pro účely tohoto vynálezu, obr. 4 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu, obr. 5 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 6 a 7, a obr. 6 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 7 a 8.
Příklady uskutečnění vynálezu
Vynález bude popsán na příkladech uskutečnění zařízení pro hodnocení nečistot N ve vlákenném materiálu M neuronovou sítí. Příkladem vlákenného materiálu pro použití s tímto vynálezem je bavlna B, vlna, len či jiná přírodní vlákna, stejně jako uměle vytvořená (chemická) vlákna.
Zařízení pro hodnocení nečistot ve vlákenném materiálu obsahuje snímkovací zařízení vlákenného materiálu M ve snímané ploše 2, např. snímkovací zařízení bavlny B. Snímkovací zařízení obsahuje monochromatický optický snímač 10 uzpůsobeným pro příjem alespoň dvou odlišných záření s vlnovou délkou ze skupiny viditelná část spektra záření (VIS), ultrafialové záření (10 až 400 nm, Ultra Violet - UV) a blízké infračervené spektrum záření (650 až 1100 nm, Near Infra Red-NIR). Monochromatický optický snímač 10 je tak ve své podstatě VIS+UV+NIR monochromatickým optickým snímačem 10.
Monochromatický optický snímač 10 je ideálně tvořen širokospektrálním maticovým pixelovým optickým snímačem typu CMOS nebo CCD uzpůsobeným pro příjem viditelné části spektra záření (VIS), ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného spektra záření (650 až 1100 nm, Near Infra Re-NIR). Aby byl monochromatický optický snímač 10 takto
-4CZ 308784 B6 širokospektrální, není opatřen vrstvou zabraňující pronikání ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného záření (650 až 1100 nm, Near Infra Red-NIR) na jednotlivé pixely snímače 10, tj. snímač 10 je proveden bez této blokační vrstvy.
Monochromatický optický snímač 10 je uzpůsoben pro synchronizované zachycení všech svých snímaných obrazových bodů (pixelů) v jeden stejný daný okamžik, tj. je opatřen tzv. globální závěrkou, která umožňuje, že všechny pixely (obrazové body) celého snímače 10 zachycují obrazovou informaci v jeden jediný stejný okamžik, jak to probíhá např. u klasického fotografování na kinofilm s vrstvou stříbra.
Monochromatický optický snímač JO je výhodně součástí kamery 1, která obsahuje elektroniku 11 pro vyčítání, zpracování, ukládání a odesílání obrazu, resp. snímku snímané plochy 2, ze snímače 10, a která dále obsahuje vhodnou optiku 12 uzpůsobenou pro širokospektrální snímání obrazu (scény) v rozmezí zachycujícím alespoň část UV spektra, VIS a část NIR spektra.
Monochromatický optický snímač 10 je namířen na sledovanou plochu 2 s vlákenným materiálem M, zde příkladně bavlnou B nebo jiným vlákenným materiálem.
Případně je sledovaná plocha 2 uspořádána za průhledovým oknem, které je vyrobeno z materiálu, který je pro záření použitých vlnových délek UV, VIS, NIR propustný, např. je vyrobeno z křemenného skla, safírového skla, polykarbonátu atd. Vzdálenost mezi sledovanou vrstvou 2 a kamerou 1, resp. mezi sledovanou vrstvou 2 a monochromatickým optickým snímačem 10, odpovídá ohniskové vzdálenosti použité optiky 12 kamery 1, resp. monochromatického optického snímače 10, aby byl snímaný obraz vlákenného materiálu M ve sledované ploše 2 zaostřen.
Stejným směrem, kterým je zamířen monochromatický optický snímač 10 na sledovanou plochu 2 je dále namířeno alespoň jedno osvětlovací zařízení 5, které obsahuje alespoň jeden zdroj záření s vlnovou délkou ze skupiny VIS, UV a NIR záření, kde tento zdroj záření buď pokrývá celý rozsah příslušných vlnových délek nebo pokrývá alespoň část vlnových délek záření.
V neznázoměném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň dva zdroje záření odlišných vlnových délek ze skupiny viditelné záření (VIS), UV záření (tj. 10 až 400 nm) a NIR záření (tj. 650 až 1100 nm), kde jednotlivé zdroje záření dohromady buď pokrývají celý rozsah příslušných vlnových délek nebo dohromady pokrývají alespoň část vlnových délek záření.
Ve znázorněném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň jeden zdroj 50 viditelného záření (VIS), alespoň jeden zdroj 51 UV záření (tj. 10 až 400 nm) a alespoň jeden zdroj 52 NIR záření (tj. 650 až IlOOnm), kde jednotlivé zdroje 50, 51, 52 záření dohromady buď pokrývají celý rozsah vlnových délek VIS, UV a NIR záření (tj. od 10 do IlOOnm) nebo dohromady pokrývají alespoň část vlnových délek VIS, UV a NIR záření.
V příkladu provedení znázorněném na obr. 2 osvětlovací zařízení 5 obsahuje maticově uspořádanou sestavu samostatných (bodových) zdrojů 50, 51. 52 VIS, UV a NIR záření uspořádaných na společné nosné desce 53. Jednotlivé samostatné zdroje 50, 51, 52 VIS, UV a NIR záření mají na ploše nosné desky 53 vhodné vzájemné rozložení, včetně případného členění do skupin nebo segmentů 54 atd. pro optimalizaci ozáření sledované plochy 2. Jednotlivé samostatné zdroje 50, 51, 52 VIS, UV a NIR záření jsou výhodně tvořeny UED příslušných vlnových délek a s příslušnými budiči, ideálně pak jsou tvořeny vysoce svítivými LED příslušných vlnových délek a s příslušnými budiči.
Jak již bylo výše naznačeno, výhodně jsou samostatné zdroje 50, 51, 52 VIS, UV a NIR záření uspořádány do segmentů 54. které mají vhodný počet jednotlivých v segmentech obsažených zdrojů 50, 51. 52 VIS, UV a NIR záření a také mají vhodné rozložení na ploše nosné desky 53 uzpůsobené pro rovnoměrné ozáření sledované plochy 2.
-5CZ 308784 B6
Na obr. 2 je znázorněno několik příkladů různého rozložení a počtu jednotlivých zdrojů 50, 51. 52 VIS, UV a NIR záření v každém segmentu 54. včetně různého možného členění a uspořádání jednotlivých segmentů 54. Každý segment 54 pak ideálně obsahuje jednotlivé zdroje 50, 51, 52 VIS, UV a NIR záření z jedné oblasti spektra záření, tj. buď jen zdroje 50 VIS, nebo jen zdroje 51 UV záření nebo jen zdroje 52 NIR záření, takže každý segment 54 výhodně vyzařuje pouze v určité části spektra elektromagnetického záření. V jiném příkladu provedení jev každém segmentu 54 vždy alespoň jeden zdroj 50, 51, 52 z alespoň dvou částí (VIS, UV, NIR) spektra elektromagnetického záření. Kombinované vyzařované spektrum zdrojů 50, 51. 52 VIS, UV aNIR záření ideálně pokrývá celý rozsah UV-VIS-NIR.
V dalším příkladu provedení jsou jednotlivé segmenty 54 zdrojů 50, 51. 52 VIS, UV a NIR záření uspořádány tak, že zdroje 50, 51. 52 VIS, UV a NIR záření jednoho segmentu 54 vyzařují záření stejné vlnové délky, která je přitom volena tak, aby pokrývala špičky, které ve spektrálních charakteristikách vykazují zkoumané nečistoty, případně jsou segmenty 54 zdrojů 50, 51, 52 VIS, UV a NIR záření uspořádány v řádcích.
Jednotlivé zdroje 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivé segmenty 54 zdrojů 50, 51., 52 VIS, UV a NIR záření jsou napojeny na řídicí elektroniku uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení 5 a monochromatického optického snímače 10. např. na dále uvedené výpočetní zařízení 4 se softwarem, jak je i znázorněno na obr. 1 a la.
Řídicí elektronika zdrojů 50, 51. 52 VIS, UV a NIR záření je uzpůsobena jednak pro řízené rozsvěcování a pohasínání jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, a dále je uzpůsobena pro ovládání (řízení) intenzity svícení jednotlivých zdrojů 50, 51. 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51. 52 VIS, UV a NIR záření, např. pomocí pulsně šířkové modulace pro ovládání budicí elektroniky jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51. 52 VIS, UV a NIR záření atd.
V závislosti na očekávané charakteristice a optických vlastnostech nečistot N ve vlákenném materiálu M, např. v bavlně B, ve sledované ploše 2 jsou případně voleny vlnové délky aktuálně použitého ozáření vlákenného materiálu M osvětlovacím zařízením 5 ve sledované ploše 2 tak, aby kombinované spektrum záření vydávaného osvětlovacím zařízením 5 pokrývalo významné body spektrálních charakteristik nečistot N hledaných nebo očekávaných ve vlákenném materiálu M, např. v hodnocené bavlně B, aby tyto nečistoty N byly zviditelněny, nebo zvýrazněny, ve sledované ploše 2 pro hodnocení vlákenného materiálu M, např. bavlny B, neuronovou sítí podle tohoto vynálezu.
Pro hledané nebo očekávané nečistoty N organického původu lze např. využít ozáření plochy 2 viditelnou částí spektra (VIS), pro hledané nebo očekávané nečistoty N ve formě umělých částic, plastů, bělených vláken atp. ie výhodné využít ozáření plochy 2 částí vlnových délek ve spektrech UV a/nebo NIR atd.
Ve znázorněném provedení je před osvětlovacím zařízením 5, tj. mezi osvětlovacím zařízením 5 a sledovanou plochou 2, umístěn difusor 55 záření osvětlovacího zařízení 5, příkladně vytvořený z materiálu polopropustného pro vydávané záření, kde materiál difůzoru 55 je uzpůsoben pro bránění vzniku odlesků jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51, 52 VIS, UV a NIR záření od sledované plochy 2, aby v obrazu scény snímané monochromatickým optickým snímačem 10 nedocházelo k nežádoucím chybám snímání a také pro homogenizaci osvitu sledované plochy 2.
Pro omezení nebo zabránění pronikání nežádoucího okolního a/nebo parazitního světla do prostoru mezi kamerou 1, resp. monochromatickým optickým snímačem 10. a sledovanou plochou 2, je v příkladu na obr. la mezi kamerou 1 a sledovanou plochou 2, nebo mezi monochromatickým optickým snímačem 10 a sledovanou plochou 2, uspořádáno duté stínící pouzdro 3, na jehož
-6CZ 308784 B6 jednom konci 30 je uspořádána kamera 1, resp. monochromatický optický snímač 10, a na druhém konci 31 stínícího pouzdra 3 je uspořádána sledovaná plocha 2. V příkladu provedení na obr. laje alespoň jedno osvětlovací zařízení 5 uspořádáno rovněž na konci stínícího pouzdra 3, na kterém je uspořádána kamera 1, resp. monochromatický optický snímač 10. Monochromatický optický snímač 10 a osvětlovací zařízení 5 jsou tak uspořádány v dutém stínícím pouzdru 3, které je opatřeno dosedací plochou pro dosednutí kolem sledované plochy 2 vlákenného materiálu M.
Zařízení pro hodnocení nečistot ve vlákenném materiálu M, např. v bavlně B, dále obsahuje výpočetní zařízení 4 se softwarem, kde toto výpočetní zařízení 4 se softwarem je uzpůsobeno pro okamžité zpracování snímků získaných monochromatickým optickým snímačem 10, resp. kamerou 1, při ozáření zářením odpovídající vlnové délky, ideálně pak alespoň dvou různých vlnových délkách spekter UV, VIS, NIR osvícení sledované plochy 2.
Výpočetní zařízení 4 se softwarem příkladně obsahuje alespoň jeden univerzální počítač se softwarem, nebo obsahuje alespoň jeden specializovaný výpočetní hardware se softwarem, nebo obsahuje kombinaci alespoň jednoho univerzálního počítače se softwarem a alespoň jednoho specializovaného výpočetního hardware se softwarem atd. Ideálně pak výpočetní zařízení 4 obsahuje univerzální počítač spřažený s výpočetní farmou množství PC grafických karet, protože struktura a vysoký počet výpočetních jader grafických výpočetních jednotek (GPU) na jedné PC grafické kartě jsou ideální pro dosažení vysokého výpočetního výkonu v takových masivně paralelizovaných úlohách pro účely tohoto vynálezu, jak bude dále popsáno v bližších podrobnostech.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, podle tohoto vynálezu je založen na tom, že se monochromatickým optickým snímačem 10 s globální závěrkou nebo kamerou 1 s takovým snímačem 10 s globální závěrkou snímá scéna ve sledované ploše 2, kde toto snímání scény se provádí v součinnosti snímače 10 s osvětlovacím zařízením 5.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, neuronovou sítí je založen na tom, že se sledovaná plocha 2 ozařuje světelným zářením, přičemž se pořizují obrazové snímky sledované plochy 2 a tyto snímky se zpracují pro následnou analýzu neuronovou sítí pro identifikaci a hodnocení nečistot N ve vlákenném materiálu M. Přitom se sledovaná plocha 2 ozařuje zářením s vlnovou délkou ze skupiny VIS, UV a NIR záření, přičemž se synchronizované s tímto ozařováním sledované plochy 2 sejme monochromatickým optickým snímačem 10 alespoň jeden obrazový snímek sledované plochy 2 a tento snímek nebo snímky se zpracuje/jí natrénovanou neuronovou sítí 6 pro rozpoznání a vyhodnocení nečistot N ve vlákenném materiálu M.
Rozšířený způsob hodnocení nečistot N ve vlákenném materiálu M je založen na součinném (synchronizovaném) snímání sledované plochy 2 monochromatickým optickým snímačem 10. při kterém se zachycují snímky vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, přičemž zachycení každého snímku snímačem 10 a následná analýza snímku natrénovanou neuronovou sítí 6 se provede v následujících krocích, znázorněných také na obr. 4:
Krok 1.) řídicí elektronika osvětlovacího zařízení 5 sepne alespoň jeden ze zdrojů 50, 51, 52 VIS, UV a NIR záření, nebo alespoň jeden segment 54 těchto zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo zvolenou kombinaci zdrojů 50. 51. 52 VIS, UV a NIR záření a/nebo segmentů 54. a to na požadovaný jas tohoto zdroje 50, 51, 52 VIS, UV a NIR záření, segmentu 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, kombinace zdrojů 50, 51, 52 VIS, UV a NIR záření a segmentů 54 atd., čímž se ozáří ve sledované ploše 2;
Krok 2.) paralelně nebo v návaznosti na sepnutí zdrojů 50, 51, 52 VIS, UV a NIR záření, segmentů 54 atd. osvětlovacího zařízení 5 předchozím krokem se zahájí snímání vlákenného materiálu M ve sledované ploše 2, pomocí monochromatického optického snímače 10. resp. pomocí jeho jednotlivých pixelů (na záření citlivých elementů);
-7 CZ 308784 B6
Krok 3.) počká se na uplynutí expoziční doby pro pořízení snímku snímačem 10;
Krok 4.) ze snímače 10 s globální závěrkou se vyčte pořízený snímek a uloží se do paměti;
Krok 5.) provede se opakování procesu podle kroků 1 až 4, a to s dalším zdrojem 50, 51, 52 VIS, UV a NIR záření, nebo s dalším segmentem 54 těchto zdrojů 50, 51, 52 VIS, UV a NIR záření, nebo s další zvolenou kombinací zdrojů 50,51, 52 VIS, UV a NIR záření a/nebo segmentů 54; toto opakování se provede tolikrát, kolik různých vlnových délek záření VIS, UV, NIR spektra nebo jejich kombinací je pro ozáření hodnoceného vlákenného materiálu M, např. bavlny B, ve sledované ploše 2 požadováno podle očekávaného výskytu a typu nečistot N;
Krok 6.) postupem podle kroků 1 až 5 se získá v paměti uložená série alespoň dvou monochromatických snímků vlákenného materiálu M ve sledované ploše 2 při různých vlnových délkách ozařujícího záření, které reprezentují tzv. spektrální řezy, tj. část spektrální charakteristiky snímané scény;
Krok 7.) takto získaná série monochromatických snímků vlákenného materiálu M ve sledované ploše 2 se softwarově složí do jednoho multispektrálního snímku (v zásadě jsou pro složení do jednoho multispektrálního snímku potřeba alespoň dvou monochromatické snímky při různých vlnových délkách ozáření sledované plochy 2;
Krok 8.) vytvořený multispektrální snímek se následně analyzuje natrénovanou neuronovou sítí, ideálně pak natrénovanou vícevrstvou konvoluční neuronovou sítí 6 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N;
Krok 9.) identifikované cizí příměsi, resp. nečistoty N, se zatřídí (klasifikují) a jejich výskyt se statisticky vyhodnotí z hlediska četnosti a hustoty výskytu ve sledované ploše 2 atd.
Krok 10.) opakování od kroku 1 pro získání nových snímků nového obrazu vlákenného materiálu ve sledované ploše 2 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N, v další části hodnoceného vlákenného materiálu M, např. bavlny B, který se ve sledované ploše 2 posunul, např. vlivem probíhajícího zpracovávání vlákenného materiálu M, např. bavlny B, textilním strojem.
Při pořizování jednotlivých monochromatických snímků podle kroků 1 až 4 může vlivem probíhajícího zpracovávání vlákenného materiálu M textilním strojem dojít k pohybu vlákenného materiálu M ve sledované ploše 2 i mezi jednotlivými monochromatickými snímky určenými pro složení do jednoho multispektrálního snímku podle kroku 7. Vliv tohoto případného pohybu vlákenného materiálu M se s výhodou kompenzuje zvýšením rychlosti pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 pro jeden multispektrální snímek podle kroku 7. Celková doba na pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 projeden multispektrální snímek podle kroku 7 je závislá na počtu pořizovaných monochromatických snímků projeden multispektrální snímek a na době expozice každého snímku. Softwarově při zpracování jednotlivých monochromatických snímků však lze případně řešit i dodatečnou kompenzaci posunu hodnocené vlákenného materiálu M ve sledované ploše 2 mezi pořízenými jednotlivými monochromatickými snímky podle kroku 1 až 4 projeden multispektrální snímek podle kroku 7. Zmíněná softwarová kompenzace posuvu sledovaného materiálu mezi jednotlivými monochromatickými snímky podle kroku 1 až 4 snímky je možná, např. využitím známých a volně dostupných algoritmů korekce pohybujícího se obrazu při strojovém vidění, jejichž pomocí se určí míra vzájemného posunutí, rotace a deformace obrazu mezi dílčími snímky a časově centrálním snímkem. Přesahuje-li míra posunutí sledovaného vlákenného materiálu M mezi snímky heuristicky definovanou mez, je získaný obraz označen za vadný a je z následného zpracování pro identifikaci a hodnocení nečistot N vyřazen. V případě vysoké míry podobnosti dílčích monochromatických snímků pro jeden multispektrální snímek jsou tyto dílčí monochromatické snímky geometricky transformovány a vycentrovány. Tato korekce posunutí,
-8CZ 308784 B6 rotace a deformace obrazuje výhodně zařazena podle potřeba jako krok 6a mezi výše uvedené kroky 6 a 7, viz. obr. 5, neboje zařazena jako krok 7a mezi výše uvedené kroky 7 a 8, viz. obr. 6.
V kroku 7 vytvořený a validovaný multispektrální snímek se ořízne tak, aby neobsahoval nepotřebné části snímané scény ve sledované ploše 2 a odešle se ke zpracování pomocí natrénované neuronové sítě, ideálně pak pomocí natrénované vícevrstvé konvoluční neuronové sítě 6.
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, je podle tohoto vynálezu uzpůsobena pro klasifikaci objektů v obrázcích (snímcích), resp. multispektrálních obrázcích (snímcích), vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, tedy pro mapování třída = /(obrázek; 0), kde roh funkce / zastupuje neuronová síť s parametry Θ. resp. pro segmentaci obrázků (snímků) nebo multispektrálních obrázků (snímků) vlákenného materiálu M ve sledované ploše 2, tedy mapování maska (nebo mapa) = /(obrázek; 0).
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, podle tohoto vynálezu vytváří funkci, která mapuje obrazové body a jejich okolí z jednotlivých vrstev vytvořených snímků nebo multispektrálních snímků na pravděpodobnost, se kterou se na daném místě vyskytuje zkoumaná třída, např. bavlna B, nečistota N určitého druhu, atp. Natrénování neuronové sítě, resp. natrénování vícevrstvé konvoluční neuronové sítě 6 podle tohoto vynálezu, se ideálně provede tzv. super vizovaným trénováním, při kterém jsou výsledky klasifikace obrazu získané trénovanou neuronovou sítí kontrolovány, upravovány a hodnoceny živou osobou. Samotné trénování neuronové sítě, resp. trénování vícevrstvé konvoluční neuronové sítě 6, tj. určení váhy jednotlivých vrstev a vzájemného propojení se provádí s použitím databáze snímků vlákenného materiálu M, např. bavlny B, která se pořídí před samotným hodnocením vlákenného materiálu M, např. bavlny B, a identifikací (rozpoznáváním) a hodnocení nečistot N v textilním provozu a tato databáze trénovacích snímků je ručně anotována trénující osobou, tj. jednotlivé prvky, včetně nečistot N, na snímcích jsou ručně označeny trénující osobou a jsou jim přiřazeny příslušné třídy hodnocení. Databáze anotovaných snímků je případně průběžně rozšiřována náhodným výběrem snímků pořízených při skutečném provozu textilního stroje, čímž je možno dále vylepšovat klasifikační parametry natrénované neuronové sítě, resp. natrénované vícevrstvé konvoluční neuronové sítě 6.
Vstupem segmentační (vícevrstvé) konvoluční neuronové sítě 6 podle tohoto vynálezu je tensor s rozměry C X Η X W, kde C značí počet spektrálních kanálů při získání příslušného multispektrálního snímku, H výšku zachyceného obrazu a W šířku zachyceného obrazu.
Použitá segmentační (vícevrstvá) konvoluční neuronová síť 6 má tři části: enkodér 60, dekodér 61 a klasifikátor 62.
Enkodér 60 je ve své první vrstvě 600 uzpůsoben pro provedení operace dvourozměrné konvoluce (Conv2D) se 64 filtry, normalizace hodnot na odhadnutý průměr a standardní odchylku (batch normalization, Bachnorm), rektifikace linearity (Rectified Linear Unit, ReLU) a podvzorkování skrze výpočet lokálních maxim (max pooling, Maxpool). Podvzorkování skrze výpočet lokálních maxim (Maxpool) sníží prostorové rozlišení vstupu na polovinu. Výstupem první vrstvy 600 enkodéru 60 je tedy konvoluční mapa y® = L(x). kde L reprezentuje sekvenční aplikaci výše uvedených funkcí. Tensor y® má rozměry 64 X H/2 Y.W/2 Další čtyři vrstvy 601 až 604 enkodéru 60 tvoří z hlediska architektury shodné makrobloky E^l\l = 1, ...,4, které sestávají z jednoho či více jednodušších, tzv. reziduálních bloků r[1\ Každý reziduální blok modeluje závislost výstupu u na vstupu t jako funkci tvaru u = t + r(ť), kde r(t) reprezentuje sekvenci operací v následujícím pořadí: Conv2D, Batchnorm, ReLU, Conv2D, Batchnorm, podvzorkování skrze výpočet lokálních průměrných hodnot (average pooling, Avgpool). Poslední krok Avgpool se provádí pouze u posledních reziduálních bloků uvnitř makrobloků 2, 3, a 4 (tj. s výjimkou prvního). Jelikož kromě podvzorkování používají makrobloky č. 2, 3 a 4 zároveň vždy dvojnásobný počet konvolučních filtrů oproti předchozímu makrobloků, je výstupem enkodéru 60
-9CZ 308784 B6 konvoluční mapa (tensor) y^ s přibližnými rozměry 512 X H /32 xlV/32. Enkodér 60 je s výhodou architektury ResNet-50.
Úkolem dekodéru 61 je nadvzorkovat výstupní tensor y^ enkodéru 60 na původní rozlišení vstupu tak, aby mohly být klasifikovány jednotlivé pixely obrazu. Za tímto účelem se opakovaně aplikuje tzv. transponovaná varianta dvourozměrné konvoluce (TConv2D). Podobně jako u enkodéru 60, i dekodér 6fje tvořen čtyřmi makroblokyD^/k = 1, ...,4, sestávajícími z jednoho či více vnitřních konvolučních bloků G^k\ Každý makroblok převezme výstup předchozího makrobloku (výstup z ekodéru y^ v případě makrobloku D^) a nadvzorkuje ho na dvojnásobné rozlišení. Pokud je vstup do makrobloku tensor z^k~^ s rozměry F X Μ X N, výstup prvního kroku makrobloku je tensor = F X 2M X 2N. Pro lepší zpracování informace z více vrstev sítě 6, je k tensoru připojen výstup y^-^ enkódovacího makrobloku E^~k\ Výsledný spojený tensor ivmá tvar 2F x2M X 2N a na něj jsou poté aplikovány vnitřní konvoluční bloky Gj , každý provádějící následující sekvenci operací: Conv2D, Batchnorm, ReLU. Jelikož každý dekódovací makroblok zdvojnásobí prostorové rozlišení a zároveň redukuje počet konvolučních filtrů na polovinu, je výstupem dekodéru 61 tensor ztvaru 64 X H/2 xW/2.
Poslední částí segmentační konvoluční neuronové sítě 6 podle vynálezu je klasifikátor 62, který obsahuje jednu aplikaci transponované konvoluce s krokem 2 a počtem filtrů K tak, aby výsledný tensor P byl tvaru K X Η X W, kde K značí počet klasifikovaných tříd. Výstupní tensor P segmentační (vícevrstvé) konvoluční neuronové sítě 6 udává pro každý pixel vstupního obrazu jeho skóre či pravděpodobnost náležení do jedné z definovaných tříd odlišujících hodnocený vlákenný materiál M, např. bavlnu B, od různých typů nečistot N.
Výpočetní zařízení 4 pak data z klasifikátoru 62 řadí do přehledového schématu, např. tabulky, kterou průběžně ukládá do paměti a/nebo zobrazuje na monitoru a/nebo odesílá na vzdálené místo k supervizi a/nebo výpočetní zařízení 4 obsahuje algoritmus včasného varování, který pouze v případě hrozícího nebo již nastalého překročení nastavených kvalitativních mezí vlákenného materiálu M, např. hodnocené bavlny B, ve sledované ploše 2 vydá varování obsluze atd.
Zjednodušeně řečeno, neuronová síť 6 nezávisle na vstupu (obrázek vs multispektrální obrázek) vždy klasifikuje jednotlivé pixely (byť zohledňuje i jejich okolí), tzn. vystupuje ze sítě 6 něco, co je možno označit za „mapu“ (resp. mapu pravděpodobností, nebo to lze nazvat i jako maska), která má stejné rozlišení jako vstup. To znamená, že výstupem sítě 6 je opět obrázek, kde jsou zvýrazněny nečistoty N. Tato výstupní mapa sítě 6 má přitom tolik vrstev, kolik tříd v hodnoceném obrazu rozlišujeme, tj. např. bavlna, list, umělé vlákno atd. Jinými slovy máme pro každý pixel tolik hodnot pravděpodobností, kolik je rozlišovaných tříd a dohromady tyto pravděpodobnosti mají součet jedna, tj. 100 %. Toto mapování obrázek —> třída implikuje, že výsledkem průchodu sítí 6 je jedno číslo nebo nějaká jiná reprezentace třídy, jako např. o celém obrázku bychom řekli, zdaje dobrý či špatný. Jednotlivé objekty a jejich statistiky (počty, velikosti, ...) se proto získávají až postprocessingem výpočetním zařízením 4, kdy ve výstupní mapě nalezneme spojité oblasti dostatečně odlišených (rozsvícených) pixelů, které mají pravděpodobnost nečistota N heuristicky stanovenou jako prahová hodnota. Je také možné, aby modifikovat síť tak, že již jejím výstupem jsou jednotlivé objekty rozřazené na třídy, např. bavlna, list, umělé vlákno atd.
Průmyslová využitelnost
Vynález je využitelný pro hodnocení kvality vlákenného materiálu, např. bavlny, v procesu zpracování, zejména čištění, před dalšími technologickými kroky. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.

Claims (9)

  1. PATENTOVÉ NÁROKY
    1. Způsob hodnocení nečistot (N) ve vlákenném materiálu (M) neuronovou sítí, při kterém se sledovaná plocha (2) vlákenného materiálu (M) ozařuje světelným zářením, přičemž se pořizují obrazové snímky sledované plochy (2) s vlákenným materiálem (M) a tyto snímky se zpracují neuronovou sítí pro identifikaci a hodnocení výskytu nečistot (N) ve vlákenném materiálu (M), vyznačující se tím, že jako vlákenný materiál (M) se sleduje plocha surové bavlny (B) ve formě vrstvy vláken na ploše a/nebo ve formě vlákenných vloček a chuchvalců, případně i ve formě pramene vláken, balíku vláken nebo hromady vláken v procesu zpracování surové bavlny (B) před dalšími technologickými kroky, přičemž se sledovaná plocha (2) surové bavlny (B) ozařuje alespoň dvěma zářeními s odlišnou vlnovou délkou z rozsahu alespoň části VIS, UV a NIR záření a synchronizované s tímto ozařováním sledované plochy (2) se sejme buď jednorázově maticovým pixelovým monochromatickým obrazovým optickým snímačem (10) jeden multispektrální obrazový snímek sledované plochy (2) surové bavlny (B) nebo se maticovým pixelovým monochromatickým optickým snímačem (10) sejmou alespoň dva obrazové snímky sledované plochy (2) surové bavlny (B) při ozáření zářením s navzájem odlišnou vlnovou délkou a z těchto obrazových snímků se softwarově složí jeden multispektrální obrazový snímek sledované plochy (2) surové bavlny (B), načež se multispektrální obrazový snímek sledované plochy (2) surové bavlny (B) zpracuje metodou obrazové analýzy v natrénované neuronové síti (6) pro obrazové rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B), zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, fragmentů látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.
  2. 2. Způsob podle nároku 1, vyznačující se tím, že multispektrální obrazový snímek plochy (2) se zpracuje natrénovanou vícevrstvou konvoluční neuronovou sítí (6) postupně pětivrstvým enkodérem (60), jehož výstupní tensor se následně dekodérem (61) natrénované vícevrstvé konvoluční neuronové sítě (6) nadvzorkuje na původní rozlišení vstupního multispektrálního obrazového snímku plochy (2) pro následnou klasifikaci jednotlivých obrazových pixelů vstupního multispektrálního obrazového snímku plochy (2) v následujícím klasifikátoru (62) natrénované vícevrstvé konvoluční neuronové sítě (6).
  3. 3. Způsob podle kteréhokoli z nároků 1 nebo 2, vyznačující se tím, že multispektrální obrazový snímek surové bavlny (B) ve sledované ploše (2) se získá a cizí příměsi v surové bavlně (B) se vyhodnotí v následujících krocích:
    - krok 1. osvětlovací zařízení (5) ozáří surovou bavlnu (B) ve sledované ploše (2) jedním zářením z rozsahu VIS, UV nebo NIR záření;
    - krok 2. paralelně nebo v návaznosti na ozáření surové bavlny (B) ve sledované ploše (2) se maticovým pixelovým monochromatickým optickým snímačem (10) provede snímání surové bavlny (B) ve sledované ploše (2);
    - krok 3. počká se na uplynutí expoziční doby pro pořízení obrazového snímku surové bavlny (B) ve sledované ploše (2) maticovým pixelovým monochromatickým optickým snímačem (10);
    - krok 4. z maticového pixelového monochromatického optického snímače (10) se vyčte pořízený obrazový snímek a uloží se do paměti;
    - krok 5. podle toho, kolik různých vlnových délek spektra nebo jejich kombinací je pro ozáření surové bavlny (B) ve sledované ploše (2) požadováno podle očekávaného výskytu cizích příměsí v surové bavlně (B) ve sledované ploše (2) se provede opakování procesu podle kroků 1 až 4 s alespoň jedním dalším zářením z rozsahu VIS, UV nebo NIR vlnových délek záření;
    -11 CZ 308784 B6
    - krok 6. do paměti se uloží alespoň dva monochromatické obrazové snímky získané podle kroku 5 při různých ozářeních surové bavlny (B) ve sledované ploše (2);
    - krok 7. získaná série monochromatických obrazových snímků surové bavlny (B) ve sledované ploše (2) se softwarově složí do jednoho multispektrálního obrazového snímku;
    - krok 8. multispektrální obrazový snímek se analyzuje natrénovanou vícevrstvou konvoluční neuronovou sítí (6) pro identifikaci cizích příměsí v surové bavlně (B);
    - krok 9. identifikované cizí příměsi se klasifikují ajejich výskyt se statisticky vyhodnotí z hlediska četnosti a hustoty jejich výskytu ve sledované ploše (2);
    - krok 10. opakuje se krok 1 až 9 pro získání nového multispektrálního obrazového snímku surové bavlny (B) ve sledované ploše (2) pro průběžné vyhodnocování cizích příměsí v surové bavlně (B) procházející sledovanou plochou (2).
  4. 4. Způsob podle nároku 3, vyznačující se tím, že mezi kroky 6 a 7 nebo mezi kroky 7 a 8 se provede detekce a korekce posunutí, rotace a deformace snímaných obrazů surové bavlny (B) ve sledované ploše (2).
  5. 5. Systém pro hodnocení nečistot (N) ve vlákenném materiálu (M) pomocí neuronové sítě způsobem podle kteréhokoli z předchozích nároků, který obsahuje výpočetní zařízení (4) se softwarem, kde toto výpočetní zařízení (4) se softwarem je uzpůsobeno pro okamžité zpracování snímků získaných kamerou (1), při ozáření zářením vlnové délky a pro identifikaci a hodnocení výskytu nečistot (N) ve vlákenném materiálu (M), vyznačující se tím, že kamera (1) obsahuje maticový pixelový monochromatický obrazový optický snímač (10) spřažený s osvětlovacím zařízením (5) s prostředky pro vydávání záření o alespoň dvou různých vlnových délkách v alespoň části spekter UV, VIS, NIR, přičemž software obsahuje natrénovanou vícevrstvou konvoluční neuronovou síť (6) pro obrazovou analýzu multispektrálního obrazového snímku sledované plochy (2) surové bavlny (B), přičemž vícevrstvá konvoluční neuronová síť (6) obsahuje pětivrstvý enkodér (60) s výstupním tensorem y^, na který navazuje dekodér (61) uzpůsobený pro nadvzorkování tensoru y^ na původní rozlišení vstupního multispektrálního obrazového snímku sledované plochy (2) surové bavlny (B), přičemž na dekodér (61) navazuje klasifikátor (62) uzpůsobený pro klasifikaci jednotlivých pixelů vstupního multispektrálního obrazového snímku sledované plochy (2) surové bavlny (B) pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B).
  6. 6. Systém podle nároku 5, vyznačující se tím, že enkodér (60) obsahuje první vrstvu (600) uzpůsobenou pro provedení operací dvourozměrné konvoluce - Conv2D se 64 filtry, normalizace hodnot na odhadnutý průměr a standardní odchylku - batch normalization, Bachnorm, rektifikace linearity - Rectified Uinear Unit, ReUU a podvzorkování skrze výpočet lokálních maxim - max pooling, Maxpool, přičemž výstupem první vrstvy (600) enkodéru (60) je konvoluční mapa y® = L(x), kde L reprezentuje sekvenční aplikaci výše uvedených funkcí a tensor y® má rozměry 64xH/2 xW/2, přičemž za první vrstvou (600) jsou zařazeny čtyři vrstvy (601 až 604) shodných makrobloků E®, Z = 1, ...,4, které obsahují alespoň jeden reziduální blok R® uzpůsobený pro modelaci závislosti výstupu u na vstupu t jako funkci tvaru u = t + r(t\ kde r(t) reprezentuje sekvenci operací v následujícím pořadí: Conv2D, Batchnorm, ReUU, Conv2D, Batchnorm, podvzorkování skrze výpočet lokálních průměrných hodnot average pooling a u posledních reziduálních bloků i funkce Avgpool.
  7. 7. Systém podle nároku 5, vyznačující se tím, že dekodér (61) je tvořen čtyřmi makrobloky D^k\k = 1, ...,4, sestávajícími z alespoň jednoho vnitřního konvolučního bloku , přičemž
    -12 CZ 308784 B6 každý makroblok přebírá výstup předchozího makrobloku z^-1^ a nadvzorkuje jej na dvojnásobné rozlišení, přičemž vstupem do makrobloku je tensor z^-1^ s rozměry F X Μ X N a výstup prvního kroku makrobloku je tensor = F X 2M X 2N.
    5
  8. 8. Systém podle nároku 7, vyznačující se tím, že k tensoru je připojen výstup y^~k^ enkódovacího makrobloku E^4~k^ a výsledný spojený tensor má tvar 2F X 2M X 2N, který je vstupem do vnitřních konvolučních bloků Gj uzpůsobených pro provádění sekvence operací: Conv2D, Batchnorm, ReLU s výstupem dekodéru (61) ve formě tensoru tvaru 64xH/2x!V/2.
  9. 9. Systém podle nároku 5, vyznačující se tím, že klasifikátor (62) obsahuje jednu aplikaci transponované konvoluce s krokem 2 a počtem filtrů K, přičemž výsledný tensor P má tvar K x H x W, kde K značí počet klasifikovaných tříd.
CZ2020444A 2020-08-05 2020-08-05 Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě CZ2020444A3 (cs)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CZ2020444A CZ2020444A3 (cs) 2020-08-05 2020-08-05 Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CZ2020444A CZ2020444A3 (cs) 2020-08-05 2020-08-05 Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě

Publications (2)

Publication Number Publication Date
CZ308784B6 true CZ308784B6 (cs) 2021-05-12
CZ2020444A3 CZ2020444A3 (cs) 2021-05-12

Family

ID=75795366

Family Applications (1)

Application Number Title Priority Date Filing Date
CZ2020444A CZ2020444A3 (cs) 2020-08-05 2020-08-05 Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě

Country Status (1)

Country Link
CZ (1) CZ2020444A3 (cs)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200116627A1 (en) * 2017-06-12 2020-04-16 Henkel Ag & Co. Kgaa Detecting an impurity and/or a property of at least one part of a textile

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200116627A1 (en) * 2017-06-12 2020-04-16 Henkel Ag & Co. Kgaa Detecting an impurity and/or a property of at least one part of a textile

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ČECH, J. a ROZKOVEC, M. Detecting LWIR filters using hyperspectral camera and neural networks International Conference on Applied Electronics, AE 2017 0. vyd. Pilsen, Czech Republic: University of West Bohemia, 2017 S. 35 – 38. ISBN: 9788026106418, ISSN: 1803-7232. *

Also Published As

Publication number Publication date
CZ2020444A3 (cs) 2021-05-12

Similar Documents

Publication Publication Date Title
Kim et al. Detection of skin tumors on chicken carcasses using hyperspectral fluorescence imaging
US8126213B2 (en) Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line
Huang et al. Development of a multispectral imaging system for online detection of bruises on apples
Qin et al. Citrus canker detection using hyperspectral reflectance imaging and PCA-based image classification method
Li et al. Detection of common defects on oranges using hyperspectral reflectance imaging
Gowen et al. Hyperspectral imaging combined with principal component analysis for bruise damage detection on white mushrooms (Agaricus bisporus)
US20030142852A1 (en) Automated plant analysis method, apparatus, and system using imaging technologies
Chao et al. High throughput spectral imaging system for wholesomeness inspection of chicken
Sarkar Machine vision for quality control in the food industry
Jiang et al. Detection and discrimination of cotton foreign matter using push-broom based hyperspectral imaging: System design and capability
Yao et al. Hyperspectral image classification and development of fluorescence index for single corn kernels infected with Aspergillus flavus
Guo et al. Detection of foreign materials on surface of ginned cotton by hyper-spectral imaging
de Castro Pereira et al. Detection and classification of whiteflies and development stages on soybean leaves images using an improved deep learning strategy
Alfatni et al. Colour feature extraction techniques for real time system of oil palm fresh fruit bunch maturity grading
PP et al. Automated quality assessment of cocoons using a smart camera based system
Lee et al. A simple multispectral imaging algorithm for detection of defects on red delicious apples
CZ308784B6 (cs) Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě
CZ2020443A3 (cs) Zařízení pro hodnocení nečistot ve vlákenném materiálu
WO2023135320A1 (en) Method, device and system for analyzing a sample
Huang et al. Early detection of bruises on apples using near-infrared hyperspectral image
Gonçalves et al. A novel strategy for the classification of naturally colored cotton fibers based on digital imaging and pattern recognition techniques
US20230162365A1 (en) Method, system and computer programs for the automatic counting of the number of insects in a trap
Campbell et al. Hyperspectral imaging through partially transparent media
Yao et al. Single aflatoxin contaminated corn kernel analysis with fluorescence hyperspectral image
Gültekin et al. IMAGE PROCESSING APPROACH FOR FOREIGN MATERIAL DETECTION IN COTTON BUNDLE