CZ308783B6 - Zařízení pro hodnocení nečistot ve vlákenném materiálu - Google Patents
Zařízení pro hodnocení nečistot ve vlákenném materiálu Download PDFInfo
- Publication number
- CZ308783B6 CZ308783B6 CZ2020443A CZ2020443A CZ308783B6 CZ 308783 B6 CZ308783 B6 CZ 308783B6 CZ 2020443 A CZ2020443 A CZ 2020443A CZ 2020443 A CZ2020443 A CZ 2020443A CZ 308783 B6 CZ308783 B6 CZ 308783B6
- Authority
- CZ
- Czechia
- Prior art keywords
- radiation
- image
- vis
- cotton
- fibrous material
- Prior art date
Links
- 239000012535 impurity Substances 0.000 title claims abstract description 63
- 239000002657 fibrous material Substances 0.000 title claims abstract description 62
- 230000005855 radiation Effects 0.000 claims abstract description 95
- 229920000742 Cotton Polymers 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 239000000835 fiber Substances 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 8
- 210000004209 hair Anatomy 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 239000010903 husk Substances 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 4
- 238000004040 coloring Methods 0.000 claims description 3
- 239000005022 packaging material Substances 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 229920002994 synthetic fiber Polymers 0.000 claims description 2
- 238000002211 ultraviolet spectrum Methods 0.000 claims description 2
- 238000001429 visible spectrum Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 241000219146 Gossypium Species 0.000 description 48
- 238000013528 artificial neural network Methods 0.000 description 21
- 239000000463 material Substances 0.000 description 12
- 239000004753 textile Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 6
- 238000011109 contamination Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000004417 polycarbonate Substances 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000002024 Gossypium herbaceum Species 0.000 description 1
- 235000004341 Gossypium herbaceum Nutrition 0.000 description 1
- 240000006240 Linum usitatissimum Species 0.000 description 1
- 235000004431 Linum usitatissimum Nutrition 0.000 description 1
- 239000004952 Polyamide Substances 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 229920001903 high density polyethylene Polymers 0.000 description 1
- 239000004700 high-density polyethylene Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920002647 polyamide Polymers 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 239000003923 scrap metal Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000012209 synthetic fiber Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000001392 ultraviolet--visible--near infrared spectroscopy Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/344—Sorting according to other particular properties according to electric or electromagnetic properties
-
- D—TEXTILES; PAPER
- D01—NATURAL OR MAN-MADE THREADS OR FIBRES; SPINNING
- D01H—SPINNING OR TWISTING
- D01H13/00—Other common constructional features, details or accessories
- D01H13/14—Warning or safety devices, e.g. automatic fault detectors, stop motions ; Monitoring the entanglement of slivers in drafting arrangements
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
- D06H3/00—Inspecting textile materials
- D06H3/08—Inspecting textile materials by photo-electric or television means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/36—Textiles
- G01N33/362—Material before processing, e.g. bulk cotton or wool
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Textile Engineering (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Materials Engineering (AREA)
- Mechanical Engineering (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Řešení se týká zařízení pro hodnocení nečistot (N) ve vlákenném materiálu (M), kterým je surová bavlna (B), pomocí snímkovacího zařízení a alespoň jednoho osvětlovacího zařízení (5). Snímkovací zařízení je napojeno na výpočetní zařízení (4) pro zpracování snímků a pro vyhodnocení nečistot (N). Snímkovací zařízení obsahuje maticový pixelový optický snímač CMOS nebo CCD. Osvětlovací zařízení (5) obsahuje alespoň jeden zdroj (50) viditelného záření (VIS), zdroj (51) UV záření a zdroj (52) NIR záření. Osvětlovací zařízení (5) je spřaženo s řídicí elektronikou pro synchronizaci s optickým snímačem. Zařízení je uzpůsobeno pro přiřazení sledované ploše surové bavlny (B) v procesu zpracování surové bavlny (B) před dalšími technologickými kroky. Optický snímač je tvořen monochromatickým širokospektrálním maticovým pixelovým optickým snímačem opatřeným globální závěrkou. Výpočetní zařízení (4) je uzpůsobeno pro softwarové vytvoření celoplošného multispektrálního obrazového snímku surové bavlny (B), prostředky pro obrazovou analýzu tohoto snímku a prostředky pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B).
Description
Zařízení pro hodnocení nečistot ve vlákenném materiálu
Oblast techniky
Vynález se týká zařízení pro hodnocení nečistot ve vlákenném materiálu, které obsahuje snímkovací zařízení vlákenného materiálu ve snímané ploše, jemuž je přiřazeno alespoň jedno osvětlovací zařízení vlákenného materiálu ve snímané ploše, přičemž snímkovací zařízení je napojeno na výpočetní zařízení uzpůsobené pro zpracování snímků ze snímkovacího zařízení a pro vyhodnocení nečistot ve vlákenném materiálu, přičemž snímkovací zařízení obsahuje maticový pixelový optický snímač typu CMOS nebo CCD a osvětlovací zařízení obsahuje alespoň jeden zdroj viditelného záření, alespoň jeden zdroj UV záření a alespoň jeden zdroj NIR záření a osvětlovací zařízení je spřaženo s řídicí elektronikou uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení a maticového pixelového optického snímače typu CMOS nebo CCD.
Dosavadní stav techniky
Vlákenný materiál často obsahuje celou řadu cizích příměsí a nečistot, které při dalším zpracování vlákenného materiálu způsobují problémy a komplikace. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.
Typickým příkladem je bavlna, která obsahuje celou řadu cizích příměsí a nečistot, kde cizí příměsi organického charakteru nejčastěji pocházejí z rostlin bavlny a bývají to části stonků, listy nebo jejich fragmenty, kůra, slupky semen či jejich části. Za organickou nečistotu lze považovat i nezralou bavlnu nebo znečištění mízou rostliny. Ostatní cizí příměsi lze jen obtížně vyjmenovat, ale nej častěji se jedná o kusy obalových materiálů, znečištění půdou, cizí vlákna, ať už přírodní nebo syntetická, fragmenty látek, chlupů nebo vlasů. Výjimečně může být bavlna znečištěná i metalickými nečistotami, nebo může být obarvena otiskem barevných listů nebo barvou nepřírodního původu.
Většinu cizích příměsí je žádoucí při zpracování bavlny odstranit. Míra čištění bavlny ovlivňuje kvalitu výsledného produktu - příliš intenzivní čištění poškozuje vlákna a nedostatečné čištění zanechává nečistoty do dalšího zpracování. Standardní způsob řízení kvality procesu zpracování bavlny spočívá v průběžném sledování charakteristik odpadu a ve zpětnovazebním nastavení strojů, které je kontrolováno zpravidla provozním technologem. Druhou možností je odebírání statistických vzorků materiálu a jeho zpracování za pomocí laboratorních přístrojů. Vzorek je možné buď destruktivně vyčistit a porovnat hmotnostní poměr nečistot s hmotností čisté bavlny, nebo pomocí algoritmů strojového vidění na nepohyblivém vzorku lze v laboratoři odhadnout míru znečistění vzorku, typicky pomocí sejmutí monochromatického širokospektrálního snímku a jeho následné binarizace pomocí prahování. Taková metoda však umožňuje pouze detekci a odhad míry znečistění, ne však klasifikaci nečistot, která je důležitá pro stanovení kvality bavlny.
Většina nežádoucích příměsí v bavlně je viditelná ve viditelném spektru elektromagnetického záření-světla - (vlnová délka 450 až 650 nm, v textu označováno jako VIS). Spektrální charakteristika určitých nečistot (např. PET, HDPE, PVC, 1DPE, PP, PS, PC, Akryl, Polyamid, PTFE, aj.) však obsahuje vrcholy (spektra), které se nacházejí i v jiné oblasti spektra el. mag záření, než je oblast VIS, např. ve světle ultrafialovém (10 až 400 nm, v textu označováno UV) nebo blízkém infračerveném (650 až IlOOnm, v textu NIR). Přítomnost těchto nečistot je možné zachytit pomocí přístrojů snímajících dané vlnové délky spektra a následně je i vyhodnotit. Jsou známé metody detekce a odstranění cizích příměsí, které pracují pouze s jednou konkrétní vlnovou délkou, případně s kaskádou jednotlivých stupňů detekce s navzájem odlišným spektrem snímání.
-1 CZ 308783 B6
V posledních letech se nedílnou součástí většiny moderních systémů v oblasti zpracování obrazu stalo strojové vidění a s ním spojená umělá inteligence s umělou neuronovou sítí. Na neuronové sítě lze nahlížet jako na parametrizovatelné univerzální funkční aproximátory-funkční bloky, jež mohou modelovat libovolnou závislost.
Z CN 101739570 je znám online klasifikační způsob a systém hodnocení cizích vláken v bavlně, přičemž tento způsob zahrnuje kroky sběru barevných obrázků cizích vláken v reálném čase; segmentování barevných obrazů cizích vláken metodou segmentace obrazu založenou na třísložkové střední hodnotě a rozptylu pixelů R, G a B pro získání objektivního obrazu vytvořeného objektivním pixelem v barevných obrazech cizích vláken; odstranění malých objektů produkovaných šumem a falešnými cizími vlákny v obrazu metodou prahové hodnoty plochy pro získání předmětů z cizích vláken; extrakci barevných prvků, tvarových prvků a textumích znaků každého objektu cizích vláken za účelem generování vektorů fúnkcí pro popis objektů cizích vláken; klasifikaci předmětů z cizích vláken pomocí fúnkčních vektorů a vektorového stroje pro podporu klasifikace typu jeden-na-jednoho založeného na řízeném acyklickém grafů. Vynález realizuje online klasifikaci cizích vláken v reálném čase a je prospěšný pro následné provedení online výpočtu podílu cizích vláken. Vynález se tak dotýká oblasti strojového vidění a rozpoznávání vzorů, zejména pro online klasifikaci cizích vláken v bavlně.
Nevýhodou tohoto řešení je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu, ve kterém se projevuje celá řada negativních vlivů.
Z CN 107219188 je znám způsob analýzy obsahu bavlny v textilu na základě vylepšeného DBN (deep brief network) v blízkém infračerveném spektru. Způsob popsaný vynálezem může rychle stanovit obsah bavlny ve vzorku bez ztráty a aplikuje hlubokou neuronovou síť do pole detekce obsahu bavlny v textilii v blízkém infračerveném spektru, takže se zlepší přesnost a spolehlivost detekce.
Nevýhodou tohoto řešení je jeho optimalizace na hledání bavlny v ostatních materiálech, přičemž prostá inverze řešení, tj. pro hledání ostatních materiálů v bavlně není jednoduše možná. Další nevýhodou je zaměření a použitelnost spíše v laboratorních a kontrolních podmínkách než přímo v textilním provozu.
US 2020/0116627 popisuje metodu a zařízení pro rozpoznání znečištění oděvu nebo strukturálních vad textilie. Podstatou metody je, že se znečištěný nebo strukturně poškozený oděv postupně osvítí jednotlivými kanály RGB světla, případně i blízkými okolními kanály, a pro každý obrazový bod, tedy každý snímací pixel v případě použití vícepixelového snímače, se pro každé světlo vytvoří obrazová informační položka, která obsahuje i reflexní spektrum světla odraženého od nečistoty na oděvu a zaznamenané každým obrazovým pixelem. Toto reflexní spektrum každého obrazového pixelu je zde multispektrálním snímkem, který se pro každý typ osvětlení vytvoří a zaznamená. Následně se porovná s databází známých spekter známých nečistot za účelem stanovení chemického složení té nečistoty, která je na aktuálně sledovaném oděvu. Podle výsledku této analýzy se řídí následný proces čištění oděvu, např. se nastaví režim chodu pračky, použitý detergent, doba praní atd. a případně se po dokončení procesu odstranění nečistoty provádí výstupní kontrola. Při hledání složení nečistoty na oděvu je možno využít i umělou inteligenci, prostorové snímání oděvu atd. US 2020/0116627 automatizuje proces hodnocení znečištění a poškození oděvů, kde nečistoty a poškození oděvů jsou viditelné ve viditelné části spektra. US 2020/0116627 nevytváří celkový obraz sledované scény při různých osvětleních sledované scény, nevytváří z těchto celkových obrazů jeden snímek, a nehodnotí tento složený snímek metodami obrazové analýzy. US 2020/0116627 nemůže být použito pro hodnocení četnosti výskytu nečistot v základních textilních materiálech jako je surová bavlna apod. US 2020/0116627 nepopisuje vytvoření multispektrálního snímku celkového obrazu sledované oblasti složením jednotlivých snímků celkového obrazu sledované oblasti při jednotlivých osvětleních.
- 2 CZ 308783 B6
US 2017/0353712 popisuje způsob a zařízení pro pořizování 3D snímků za pomoci infračerveného pásmového filtru a globální závěrky. IR světlo je zde využito k rekonstrukci hloubky obrazu, nikoli pro pořízení obrazu jako takového. US 2017/0353712 se netýká problematiky detekce znečistění základních textilních materiálů, jako je surová bavlna apod.
CN 109331990 je určeno pro rychlé automatické třídění použitého skla pro rozdělení a odlišení využitelného skla od odpadu, který se z materiálu odstraňuje. CN 109331990 představuje rychlý a automatický proces recyklace a třídění odpadního skla, kde struktura světelného zdroje třídicího modulu obsahuje červenou LED, modrou LED, zelenou LED, Near IR LED a UV LED 5, které jsou kombinovány pomocí multiplexování s časovým dělením pro řízení zdroje světla, zatímco jednotlivá spektra odraženého světla od sledované zóny jsou zachycována lineární CCD kamerou pro sběr obrazů odpovídajícího spektra pro získání multispektrálních dat. Shromážděná multispektrální data se odešlou do modulu pro zpracování vloženého obrazu pro analýzu a zpracování v reálném čase, aby se určilo, zda jsou položky v obraze skleněné tabule nebo kovové látky, a výsledek posouzení se použije jako řídicí signál pro třídič, čímž se získá surové terciární sklo materiály a kovový šrot s minimem nečistot. CN 109331990 nepopisuje použití plošného snímače a vytvoření jednoho snímku, teprve který je předmětem obrazové analýzy.
US 2018/0252691 popisuje zařízení a způsob pro optick20ou kontrolu a selekci ovoce a zeleniny, který je založen na osvětlování ovoce a zeleniny různými spektry světla a snímání jednotlivých obrazů jednou barevnou kamerou (kamerou s maticí RGB filtrů a bez IR filtru nebo kamerou s trojicí snímačů pro každý kanál RGB spektra a bez IR filtru), kdy alespoň jeden pořízený snímek je při ozáření sledované scény IR světlem, přičemž sekvence ozáření je předem určena a také záleží na směru, ze kterého je záření vysíláno, protože US 2018/0252691 rozlišuje mezi reflexními snímky a difuzními snímky pořízenými při osvícení z různých stran a pod různými úhly osvětlení. Kamera pořídí sekvenci snímků při různých osvíceních a jednotlivé snímky jsou následně analyzovány k detekci hledaných parametrů ovoce a zeleniny. Žádné složení pořízených snímků do jednoho snímku, který se poté podrobuje obrazové analýze není předmětem US 2018/0252691.
Cílem vynálezu je snížit nebo odstranit nevýhody dosavadního stavu techniky, zejména pak vytvořit optimalizované zařízení pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě schopné spolehlivě, přesně a rychle pracovat i v provozních podmínkách textilního provozu.
Podstata vynálezu
Cíle vynález je dosaženo zařízením pro hodnocení nečistot ve vlákenném materiálu, zejména při procesu čištění bavlny pro další zpracování, jehož podstata spočívá v tom, že zařízení je uzpůsobeno pro přiřazení sledované ploše surové bavlny ve formě vrstvy vláken na ploše a/nebo ve formě vlákenných vloček a chuchvalců, případně i ve formě pramene vláken, balíku vláken nebo hromady vláken v procesu zpracování surové bavlny (B) před dalšími technologickými kroky, maticový pixelový optický snímač typu CMOS nebo CCD je tvořen monochromatickým širokospektrálním maticovým pixelovým optickým snímačem, který je uzpůsoben pro příjem viditelné části spektra záření, ultrafialového záření a blízkého infračerveného spektra záření, přičemž snímač je opatřen globální závěrkou pro synchronizované zachycení všech plošně snímaných obrazových bodů v jeden stejný daný okamžik a výpočetní zařízení je uzpůsobeno pro softwarové vytvoření celoplošného multispektrálního obrazového snímku surové bavlny ve sledované ploše složením jednotlivých celoplošných monochromatických obrazových snímků surové bavlny ve sledované ploše a pořízených při různých vlnových délkách ozařujícího záření, přičemž výpočetní zařízení je dále opatřeno prostředky pro obrazovou analýzu vytvořeného celoplošného multispektrálního obrazového snímku surové bavlny ve sledované ploše a pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně, zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, fragmentů
-3CZ 308783 B6 látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.
Výhodou tohoto řešení je, že umožňuje rychle, přesně a i v běžných provozních podmínkách textilního provozu detekovat a klasifikovat široké spektrum možných cizích příměsí ve zpracovávané surové bavlně, protože vhodným a optimalizovaným způsobem kombinuje použití multispektrálního snímání znečištěného vlákenného materiálu za využití počítačového zpracování získaných specifických obrazových dat optimalizovanou obrazovou analýzou založenou na využití natrénované neuronové sítě, zejména vícevrstvé konvoluční neuronové sítě.
Objasnění výkresů
Vynález je schematicky znázorněn na výkresech, kde ukazuje obr. 1 příklad uskutečnění zařízení pro snímání nečistot ve vlákenném materiálu, obr. la boční pohled na příklad zařízení pro snímání nečistot ve vlákenném materiálu s ochranou proti parazitnímu okolnímu světlu, obr. 2 příklad uskutečnění osvětlovací jednotky pro snímání nečistot ve vlákenném materiálu, obr. 3 příklad uskutečnění konvoluční neuronové sítě (CNN) optimalizované pro účely tohoto vynálezu, obr. 4 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu, obr. 5 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 6 a 7 a obr. 6 postupové schéma kroků způsobu pro pořízení a analýzu snímku nebo multispektrálního snímku vlákenného materiálu ve sledované ploše podle tohoto vynálezu s korekcí posunutí, rotace a deformace obrazu mezi kroky 7 a 8.
Příklady uskutečnění vynálezu
Vynález bude popsán na příkladech uskutečnění zařízení pro hodnocení nečistot N ve vlákenném materiálu M neuronovou sítí. Příkladem vlákenného materiálu pro použití s tímto vynálezem je bavlna B, vlna, len či jiná přírodní vlákna, stejně jako uměle vytvořená (chemická) vlákna.
Zařízení pro hodnocení nečistot ve vlákenném materiálu obsahuje snímkovací zařízení vlákenného materiálu M ve snímané ploše 2, např. snímkovací zařízení bavlny B. Snímkovací zařízení obsahuje monochromatický optický snímač 10 uzpůsobeným pro příjem alespoň dvou odlišných záření s vlnovou délkou ze skupiny viditelná část spektra záření (VIS), ultrafialové záření (10 až 400 nm, Ultra Violet - UV) a blízké infračervené spektrum záření (65 až 1100 nm, Near Infra RedNIR). Monochromatický optický snímač 10 je tak ve své podstatě VIS+UV+NIR monochromatickým optickým snímačem 10.
Monochromatický optický snímač 10 je ideálně tvořen širokospektrálním maticovým pixelovým optickým snímačem typu CMOS nebo CCD uzpůsobeným pro příjem viditelné části spektra záření (VIS), ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného spektra záření (650 až 1100 nm, Near Infra Red-NIR). Aby byl monochromatický optický snímač 10 takto širokospektrální, není opatřen vrstvou zabraňující pronikání ultrafialového záření (10 až 400 nm, Ultra Violet - UV) a blízkého infračerveného záření (650 až 1100 nm, Near Infra Red-NIR) na jednotlivé pixely snímače 10. tj. snímač 10 je proveden bez této blokační vrstvy.
Monochromatický optický snímač 10 je uzpůsoben pro synchronizované zachycení všech svých snímaných obrazových bodů (pixelů) v jeden stejný daný okamžik, tj. je opatřen tzv. globální závěrkou, která umožňuje, že všechny pixely (obrazové body) celého snímače 10 zachycují obrazovou informaci v jeden jediný stejný okamžik, jak to probíhá např. u klasického fotografování na kinofilm s vrstvou stříbra.
-4CZ 308783 B6
Monochromatický optický snímač 10 je výhodně součástí kamery 1, která obsahuje elektroniku 11 pro vyčítání, zpracování, ukládání a odesílání obrazu, resp. snímku snímané plochy 2, ze snímače 10, a která dále obsahuje vhodnou optiku 12 uzpůsobenou pro širokospektrální snímání obrazu (scény) v rozmezí zachycujícím alespoň část UV spektra, VIS a část NIR spektra.
Monochromatický optický snímač 10 je namířen na sledovanou plochu 2 s vlákenným materiálem M, zde příkladně bavlnou B nebo jiným vlákenným materiálem.
Případně je sledovaná plocha 2 uspořádána za průhledovým oknem, které je vyrobeno z materiálu, který je pro záření použitých vlnových délek UV, VIS, NIR propustný, např. je vyrobeno z křemenného skla, safírového skla, polykarbonátu atd. Vzdálenost mezi sledovanou vrstvou 2 a kamerou 1, resp. mezi sledovanou vrstvou 2 a monochromatickým optickým snímačem 10, odpovídá ohniskové vzdálenosti použité optiky 12 kamery 1, resp. monochromatického optického snímače 10. aby byl snímaný obraz vlákenného materiálu M ve sledované ploše 2 zaostřen.
Stejným směrem, kterým je zamířen monochromatický optický snímač 10 na sledovanou plochu 2 je dále namířeno alespoň jedno osvětlovací zařízení 5, které obsahuje alespoň jeden zdroj záření s vlnovou délkou ze skupiny VIS, UV a NIR záření, kde tento zdroj záření buď pokrývá celý rozsah příslušných vlnových délek nebo pokrývá alespoň část vlnových délek záření.
V neznázoměném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň dva zdroje záření odlišných vlnových délek ze skupiny viditelné záření (VIS), UV záření (tj. 10 až 400 nm) a NIR záření (tj. 650 až 1100 nm), kde jednotlivé zdroje záření dohromady buď pokrývají celý rozsah příslušných vlnových délek nebo dohromady pokrývají alespoň část vlnových délek záření.
Ve znázorněném příkladu provedení obsahuje osvětlovací zařízení 5 alespoň jeden zdroj 50 viditelného záření (VIS), alespoň jeden zdroj 51 UV záření (tj. 10 až 400 nm) a alespoň jeden zdroj 52 NIR záření (tj. 650 až IlOOnm), kde jednotlivé zdroje 50, 51. 52 záření dohromady buď pokrývají celý rozsah vlnových délek VIS, UV a NIR záření (tj. od 10 do IlOOnm) nebo dohromady pokrývají alespoň část vlnových délek VIS, UV a NIR záření.
V příkladu provedení znázorněném na obr. 2 osvětlovací zařízení 5 obsahuje maticově uspořádanou sestavu samostatných (bodových) zdrojů 50, 51, 52 VIS, UV a NIR záření uspořádaných na společné nosné desce 53. Jednotlivé samostatné zdroje 50, 51. 52 VIS, UV a NIR záření mají na ploše nosné desky 53 vhodné vzájemné rozložení, včetně případného členění do skupin nebo segmentů 54 atd. pro optimalizaci ozáření sledované plochy 2. Jednotlivé samostatné zdroje 50, 51, 52 VIS, UV a NIR záření jsou výhodně tvořeny UED příslušných vlnových délek a s příslušnými budiči, ideálně pak jsou tvořeny vysoce svítivými LED příslušných vlnových délek a s příslušnými budiči.
Jak již bylo výše naznačeno, výhodně jsou samostatné zdroje 50, 51. 52 VIS, UV a NIR záření uspořádány do segmentů 54. které mají vhodný počet jednotlivých v segmentech obsažených zdrojů 50, 51, 52 VIS, UV a NIR záření a také mají vhodné rozložení na ploše nosné desky 53 uzpůsobené pro rovnoměrné ozáření sledované plochy 2.
Na obr. 2 je znázorněno několik příkladů různého rozložení a počtu jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření v každém segmentu 54, včetně různého možného členění a uspořádání jednotlivých segmentů 54. Každý segment 54 pak ideálně obsahuje jednotlivé zdroje 50, 51. 52 VIS, UV a NIR záření z jedné oblasti spektra záření, tj. buď jen zdroje 50 VIS, nebo jen zdroje 51 UV záření nebo jen zdroje 52 NIR záření, takže každý segment 54 výhodně vyzařuje pouze v určité části spektra elektromagnetického záření. V jiném příkladu provedení jev každém segmentu 54 vždy alespoň jeden zdroj 50, 51. 52 z alespoň dvou částí (VIS, UV, NIR) spektra elektromagnetického záření. Kombinované vyzařované spektrum zdrojů 50, 51, 52 VIS, UV aNIR záření ideálně pokrývá celý rozsah UV-VIS-NIR.
-5CZ 308783 B6
V dalším příkladu provedení jsou jednotlivé segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření uspořádány tak, že zdroje 50, 51, 52 VIS, UV a NIR záření jednoho segmentu 54 vyzařují záření stejné vlnové délky, která je přitom volena tak, aby pokrývala špičky, které ve spektrálních charakteristikách vykazují zkoumané nečistoty, případně jsou segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření uspořádány v řádcích.
Jednotlivé zdroje 50. 51. 52 VIS, UV a NIR záření a/nebo jednotlivé segmenty 54 zdrojů 50. 51. 52 VIS, UV a NIR záření jsou napojeny na řídicí elektroniku uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení 5 a monochromatického optického snímače 10, např. na dále uvedené výpočetní zařízení 4 se softwarem, jak je i znázorněno na obr. 1 a la.
Řídicí elektronika zdrojů 50, 51, 52 VIS, UV a NIR záření je uzpůsobena jednak pro řízené rozsvěcování a pohasínání jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50. 51. 52 VIS, UV a NIR záření, a dále je uzpůsobena pro ovládání (řízení) intenzity svícení jednotlivých zdrojů 50, 51. 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, např. pomocí pulsně šířkové modulace pro ovládání budící elektroniky jednotlivých zdrojů 50. 51. 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50. 51. 52 VIS, UV a NIR záření atd.
V závislosti na očekávané charakteristice a optických vlastnostech nečistot N ve vlákenném materiálu M, např. v bavlně B, ve sledované ploše 2 jsou případně voleny vlnové délky aktuálně použitého ozáření vlákenného materiálu M osvětlovacím zařízením 5 ve sledované ploše 2 tak, aby kombinované spektrum záření vydávaného osvětlovacím zařízením 5 pokrývalo významné body spektrálních charakteristik nečistot N hledaných nebo očekávaných ve vlákenném materiálu M, např. v hodnocené bavlně B, aby tyto nečistoty N byly zviditelněny, nebo zvýrazněny, ve sledované ploše 2 pro hodnocení vlákenného materiálu M, např. bavlny B, neuronovou sítí podle tohoto vynálezu.
Pro hledané nebo očekávané nečistoty N organického původu lze např. využít ozáření plochy 2 viditelnou částí spektra (VIS), pro hledané nebo očekávané nečistoty N ve formě umělých částic, plastů, bělených vláken atp. ie výhodné využít ozáření plochy 2 částí vlnových délek ve spektrech UV a/nebo NIR atd.
Ve znázorněném provedení je před osvětlovacím zařízením 5, tj. mezi osvětlovacím zařízením 5 a sledovanou plochou 2, umístěn difusor 55 záření osvětlovacího zařízení 5, příkladně vytvořený z materiálu polopropustného pro vydávané záření, kde materiál difůzoru 55 je uzpůsoben pro bránění vzniku odlesků jednotlivých zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo jednotlivých segmentů 54 zdrojů 50, 51. 52 VIS, UV a NIR záření od sledované plochy 2, aby v obrazu scény snímané monochromatickým optickým snímačem 10 nedocházelo k nežádoucím chybám snímání a také pro homogenizaci osvitu sledované plochy 2.
Pro omezení nebo zabránění pronikání nežádoucího okolního a/nebo parazitního světla do prostoru mezi kamerou 1, resp. monochromatickým optickým snímačem 10, a sledovanou plochou 2, je v příkladu na obr. la mezi kamerou 1 a sledovanou plochou 2, nebo mezi monochromatickým optickým snímačem 10 a sledovanou plochou 2, uspořádáno duté stínící pouzdro 3, na jehož jednom konci 30 je uspořádána kamera 1, resp. monochromatický optický snímač 10, a na druhém konci 31 stínícího pouzdra 3 je uspořádána sledovaná plocha 2. V příkladu provedení na obr. laje alespoň jedno osvětlovací zařízení 5 uspořádáno rovněž na konci stínícího pouzdra 3, na kterém je uspořádána kamera J., resp. monochromatický optický snímač 10. Monochromatický optický snímač 10 a osvětlovací zařízení 5 jsou tak uspořádány v dutém stínícím pouzdru 3, které je opatřeno dosedací plochou pro dosednutí kolem sledované plochy 2 vlákenného materiálu M.
Zařízení pro hodnocení nečistot ve vlákenném materiálu M, např. v bavlně B, dále obsahuje výpočetní zařízení 4 se softwarem, kde toto výpočetní zařízení 4 se softwarem je uzpůsobeno pro
-6CZ 308783 B6 okamžité zpracování snímků získaných monochromatickým optickým snímačem 10. resp. kamerou 1, při ozáření zářením odpovídající vlnové délky, ideálně pak alespoň dvou různých vlnových délkách spekter UV, VIS, NIR osvícení sledované plochy 2.
Výpočetní zařízení 4 se softwarem příkladně obsahuje alespoň jeden univerzální počítač se softwarem, nebo obsahuje alespoň jeden specializovaný výpočetní hardware se softwarem, nebo obsahuje kombinaci alespoň jednoho univerzálního počítače se softwarem a alespoň jednoho specializovaného výpočetního hardware se softwarem atd. Ideálně pak výpočetní zařízení 4 obsahuje univerzální počítač spřažený s výpočetní farmou množství PC grafických karet, protože struktura a vysoký počet výpočetních jader grafických výpočetních jednotek (GPU) na jedné PC grafické kartě jsou ideální pro dosažení vysokého výpočetního výkonu v takových masivně paralelizovaných úlohách pro účely tohoto vynálezu, jak bude dále popsáno v bližších podrobnostech.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, podle tohoto vynálezu je založen na tom, že se monochromatickým optickým snímačem 10 s globální závěrkou nebo kamerou 1 s takovým snímačem 10 s globální závěrkou snímá scéna ve sledované ploše 2, kde toto snímání scény se provádí v součinnosti snímače 10 s osvětlovacím zařízením 5.
Způsob hodnocení nečistot N ve vlákenném materiálu M, např. v bavlně B, neuronovou sítí je založen na tom, že se sledovaná plocha 2 ozařuje světelným zářením, přičemž se pořizují obrazové snímky sledované plochy 2 a tyto snímky se zpracují pro následnou analýzu neuronovou sítí pro identifikaci a hodnocení nečistot N ve vlákenném materiálu M. Přitom se sledovaná plocha 2 ozařuje zářením s vlnovou délkou ze skupiny VIS, UV a NIR záření, přičemž se synchronizované s tímto ozařováním sledované plochy 2 sejme monochromatickým optickým snímačem 10 alespoň jeden obrazový snímek sledované plochy 2 a tento snímek nebo snímky se zpracuje/jí natrénovanou neuronovou sítí 6 pro rozpoznání a vyhodnocení nečistot N ve vlákenném materiálu M.
Rozšířený způsob hodnocení nečistot N ve vlákenném materiálu M je založen na součinném (synchronizovaném) snímání sledované plochy 2 monochromatickým optickým snímačem 10, při kterém se zachycují snímky vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, přičemž zachycení každého snímku snímačem 10 a následná analýza snímku natrénovanou neuronovou sítí 6 se provede v následujících krocích, znázorněných také na obr. 4:
Krok 1.) řídicí elektronika osvětlovacího zařízení 5 sepne alespoň jeden ze zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo alespoň jeden segment 54 těchto zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo zvolenou kombinaci zdrojů 50, 51, 52 VIS, UV a NIR záření a/nebo segmentů 54, a to na požadovaný jas tohoto zdroje 50, 51, 52 VIS, UV a NIR záření, segmentu 54 zdrojů 50, 51, 52 VIS, UV a NIR záření, kombinace zdrojů 50, 51. 52 VIS, UV a NIR záření a segmentů 54 atd., čímž se ozáří ve sledované ploše 2;
Krok 2.) paralelně nebo v návaznosti na sepnutí zdrojů 50, 51. 52 VIS, UV a NIR záření, segmentů 54 atd. osvětlovacího zařízení 5 předchozím krokem se zahájí snímání vlákenného materiálu M ve sledované ploše 2, pomocí monochromatického optického snímače 10, resp. pomocí jeho jednotlivých pixelů (na záření citlivých elementů);
Krok 3.) počká se na uplynutí expoziční doby pro pořízení snímku snímačem 10;
Krok 4.) ze snímače 10 s globální závěrkou se vyčte pořízený snímek a uloží se do paměti;
Krok 5.) provede se opakování procesu podle kroků 1 až 4, a to s dalším zdrojem 50, 51, 52 VIS, UV a NIR záření, nebo s dalším segmentem 54 těchto zdrojů 50, 51. 52 VIS, UV a NIR záření, nebo s další zvolenou kombinací zdrojů 50,51. 52 VIS, UV a NIR záření a/nebo segmentů 54; toto opakování se provede tolikrát, kolik různých vlnových délek záření VIS, UV, NIR spektra nebo
-7 CZ 308783 B6 jejich kombinací je pro ozáření hodnoceného vlákenného materiálu M, např. bavlny B, ve sledované ploše 2 požadováno podle očekávaného výskytu a typu nečistot N;
Krok 6.) postupem podle kroků 1 až 5 se získá v paměti uložená série alespoň dvou monochromatických snímků vlákenného materiálu M ve sledované ploše 2 při různých vlnových délkách ozařujícího záření, které reprezentují tzv. spektrální řezy, tj. část spektrální charakteristiky snímané scény;
Krok 7.) takto získaná série monochromatických snímků vlákenného materiálu M ve sledované ploše 2 se softwarově složí do jednoho multispektrálního snímku (v zásadě jsou pro složení do jednoho multispektrálního snímku potřeba alespoň dva monochromatické snímky při různých vlnových délkách ozáření sledované plochy 2;
Krok 8.) vytvořený multispektrální snímek se následně analyzuje natrénovanou neuronovou sítí, ideálně pak natrénovanou vícevrstvou konvoluční neuronovou sítí 6 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N;
Krok 9.) identifikované cizí příměsi, resp. nečistoty N, se zatřídí (klasifikují) a jejich výskyt se statisticky vyhodnotí z hlediska četnosti a hustoty výskytu ve sledované ploše 2 atd.
Krok 10.) opakování od kroku 1 pro získání nových snímků nového obrazu vlákenného materiálu ve sledované ploše 2 pro identifikaci a hodnocení cizích příměsí, resp. nečistot N, v další části hodnoceného vlákenného materiálu M, např. bavlny B, který se ve sledované ploše 2 posunul, např. vlivem probíhajícího zpracovávání vlákenného materiálu M, např. bavlny B, textilním strojem.
Při pořizování jednotlivých monochromatických snímků podle kroků 1 až 4 může vlivem probíhajícího zpracovávání vlákenného materiálu M textilním strojem dojít k pohybu vlákenného materiálu M ve sledované ploše 2 i mezi jednotlivými monochromatickými snímky určenými pro složení do jednoho multispektrálního snímku podle kroku 7. Vliv tohoto případného pohybu vlákenného materiálu M se s výhodou kompenzuje zvýšením rychlosti pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 pro jeden multispektrální snímek podle kroku 7. Celková doba na pořízení celé sekvence jednotlivých monochromatických snímků podle kroků 1 až 4 projeden multispektrální snímek podle kroku 7 je závislá na počtu pořizovaných monochromatických snímků projeden multispektrální snímek a na době expozice každého snímku. Softwarově při zpracování jednotlivých monochromatických snímků však lze případně řešit i dodatečnou kompenzaci posunu hodnoceného vlákenného materiálu M ve sledované ploše 2 mezi pořízenými jednotlivými monochromatickými snímky podle kroku 1 až 4 projeden multispektrální snímek podle kroku 7. Zmíněná softwarová kompenzace posuvu sledovaného materiálu mezi jednotlivými monochromatickými snímky podle kroku 1 až 4 snímky je možná např. využitím známých a volně dostupných algoritmů korekce pohybujícího se obrazu při strojovém vidění, jejichž pomocí se určí míra vzájemného posunutí, rotace a deformace obrazu mezi dílčími snímky a časově centrálním snímkem. Přesahuje-li míra posunutí sledovaného vlákenného materiálu M mezi snímky heuristicky definovanou mez, je získaný obraz označen za vadný a je z následného zpracování pro identifikaci a hodnocení nečistot N vyřazen. V případě vysoké míry podobnosti dílčích monochromatických snímků pro jeden multispektrální snímek jsou tyto dílčí monochromatické snímky geometricky transformovány a vycentrovány. Tato korekce posunutí, rotace a deformace obrazuje výhodně zařazena podle potřeba jako krok 6a mezi výše uvedené kroky 6 a 7, viz. obr. 5, neboje zařazena jako krok 7a mezi výše uvedené kroky 7 a 8, viz. obr. 6.
V kroku 7 vytvořený a validovaný multispektrální snímek se ořízne tak, aby neobsahoval nepotřebné části snímané scény ve sledované ploše 2 a odešle se ke zpracování pomocí natrénované neuronové sítě, ideálně pak pomocí natrénované vícevrstvé konvoluční neuronové sítě 6.
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, je podle tohoto vynálezu uzpůsobena pro klasifikaci objektů v obrázcích (snímcích), resp. multispektrálních
-8CZ 308783 B6 obrázcích (snímcích), vlákenného materiálu M, např. bavlny B, ve sledované ploše 2, tedy pro mapování třída = /(obrázek; 0), kde roh funkce / zastupuje neuronová síť s parametry Θ. resp. pro segmentaci obrázků (snímků) nebo multispektrálních obrázků (snímků) vlákenného materiálu M ve sledované ploše 2, tedy mapování maska (nebo mapa) = /(obrázek; 0).
Natrénovaná neuronová síť, resp. natrénovaná vícevrstvá konvoluční neuronová síť 6, podle tohoto vynálezu vytváří funkci, která mapuje obrazové body a jejich okolí z jednotlivých vrstev vytvořených snímků nebo multispektrálních snímků na pravděpodobnost, se kterou se na daném místě vyskytuje zkoumaná třída, např. bavlna B, nečistota N určitého druhu, atp. Natrénování neuronové sítě, resp. natrénování vícevrstvé konvoluční neuronové sítě 6 podle tohoto vynálezu, se ideálně provede tzv. super vizovaným trénováním, při kterém jsou výsledky klasifikace obrazu získané trénovanou neuronovou sítí kontrolovány, upravovány a hodnoceny živou osobou. Samotné trénování neuronové sítě, resp. trénování vícevrstvé konvoluční neuronové sítě 6, tj. určení váhy jednotlivých vrstev a vzájemného propojení se provádí s použitím databáze snímků vlákenného materiálu M, např. bavlny B, která se pořídí před samotným hodnocením vlákenného materiálu M, např. bavlny B, a identifikací (rozpoznáváním) a hodnocení nečistot N v textilním provozu a tato databáze trénovacích snímků je ručně anotována trénující osobou, tj. jednotlivé prvky, včetně nečistot N, na snímcích jsou ručně označeny trénující osobou a jsou jim přiřazeny příslušné třídy hodnocení. Databáze anotovaných snímků je případně průběžně rozšiřována náhodným výběrem snímků pořízených při skutečném provozu textilního stroje, čímž je možno dále vylepšovat klasifikační parametry natrénované neuronové sítě, resp. natrénované vícevrstvé konvoluční neuronové sítě 6.
Vstupem segmentační (vícevrstvé) konvoluční neuronové sítě 6 podle tohoto vynálezu je tensor s rozměry C X Η X W, kde C značí počet spektrálních kanálů při získání příslušného multispektrálního snímku, H výšku zachyceného obrazu a W šířku zachyceného obrazu.
Použitá segmentační (vícevrstvá) konvoluční neuronová síť 6 má tři části: enkodér 60, dekodér 61 a klasifikátor 62.
Enkodér 60 je ve své první vrstvě 600 uzpůsoben pro provedení operace dvourozměrné konvoluce (Conv2D) se 64 filtry, normalizace hodnot na odhadnutý průměr a standardní odchylku (batch normalizaiton, Bachnorm), rektifikace linearity (Rectified Linear Unit, ReLU) a podvzorkování skrze výpočet lokálních maxim (max pooling, Maxpool). Podvzorkování skrze výpočet lokálních maxim (Maxpool) sníží prostorové rozlišení vstupu na polovinu. Výstupem první vrstvy 600 enkodéru 60 je tedy konvoluční mapa y® = L(x). kde L reprezentuje sekvenční aplikaci výše uvedených funkcí. Tensor y® má rozměry 64 X H/2 X W/2. Další čtyři vrstvy 601 až 604 enkodéru 60 tvoří z hlediska architektury shodné makrobloky E^, l = 1, ...,4, které sestávají z jednoho či více jednodušších, tzv. reziduálních bloků R^l\ Každý reziduální blok modeluje závislost výstupu u na vstupu t jako funkci tvaru u = t + r(t\ kde r(t) reprezentuje sekvenci operací v následujícím pořadí: Conv2D, Batchnorm, ReLU, Conv2D, Batchnorm, podvzorkování skrze výpočet lokálních průměrných hodnot (average pooling, Avgpool). Poslední krok Avgpool se provádí pouze u posledních reziduálních bloků uvnitř makrobloků 2, 3, a 4 (tj. s výjimkou prvního). Jelikož kromě podvzorkování používají makrobloky č. 2, 3 a 4 zároveň vždy dvojnásobný počet konvolučních filtrů oproti předchozímu makrobloků, je výstupem enkodéru 60 konvoluční mapa (tensor) y^ s přibližnými rozměry 512 X H/32 xVP/32. Enkodér 60 je s výhodou architektury ResNet-50.
Úkolem dekodéru 61 je nadvzorkovat výstupní tensor y enkodéru 60 na původní rozlišení vstupu tak, aby mohly být klasifikovány jednotlivé pixely obrazu. Za tímto účelem se opakovaně aplikuje tzv. transponovaná varianta dvourozměrné konvoluce (TConv2D). Podobně jako u enkodéru 60, i dekodér 61 je tvořen čtyřmi makrobloky DÍk\k = 1, ...,4, sestávajícími z jednoho či více vnitřních konvolučních bloků G^k\ Každý makroblok převezme výstup předchozího makrobloků
-9CZ 308783 B6 z(fc-i) (výstup z ekodéru y^ v případě makrobloku D^) a nadvzorkuje ho na dvojnásobné rozlišení. Pokud je vstup do makrobloku tensor s rozměry F X Μ X N, výstup prvního kroku makrobloku je tensor = F X 2M X 2N. Pro lepší zpracování informace z více vrstev sítě 6, je k tensoru připojen výstup y^^ enkódovacího makrobloku E^~kX Výsledný spojený tensor má tvar 2F x2M X 2N a na něj jsou poté aplikovány vnitřní konvoluční bloky
Gj , každý provádějící následující sekvenci operací: Conv2D, Batchnorm, ReLU. Jelikož každý dekódovací makroblok zdvojnásobí prostorové rozlišení a zároveň redukuje počet konvolučních filtrů na polovinu, j e výstupem dekodéru 61 tensor z tvaru 64 X H/2 X W / 2.
Poslední částí segmentační konvoluční neuronové sítě 6 podle vynálezu je klasifikátor 62, který obsahuje jednu aplikaci transponované konvoluce s krokem 2 a počtem filtrů K tak, aby výsledný tensor P byl tvaru K X Η X W, kde K značí počet klasifikovaných tříd. Výstupní tensor P segmentační (vícevrstvé) konvoluční neuronové sítě 6 udává pro každý pixel vstupního obrazu jeho skóre či pravděpodobnost náležení do jedné z definovaných tříd odlišujících hodnocený vlákenný materiál M, např. bavlnu B, od různých typů nečistot N.
Výpočetní zařízení 4 pak data z klasifikátoru 62 řadí do přehledového schématu, např. tabulky, kterou průběžně ukládá do paměti a/nebo zobrazuje na monitoru a/nebo odesílá na vzdálené místo k supervizi a/nebo výpočetní zařízení 4 obsahuje algoritmus včasného varování, který pouze v případě hrozícího nebo již nastalého překročení nastavených kvalitativních mezí vlákenného materiálu M, např. hodnocené bavlny B, ve sledované ploše 2 vydá varování obsluze atd.
Zjednodušeně řečeno, neuronová síť 6 nezávisle na vstupu (obrázek vs multispektrální obrázek) vždy klasifikuje jednotlivé pixely (byť zohledňuje i jejich okolí), tzn. vystupuje ze sítě 6 něco, co je možno označit za „mapu“ (resp. mapu pravděpodobností, nebo to lze nazvat i jako maska), která má stejné rozlišení jako vstup. To znamená, že výstupem sítě 6 je opět obrázek, kde jsou zvýrazněny nečistoty N. Tato výstupní mapa sítě 6 má přitom tolik vrstev, kolik tříd v hodnoceném obrazu rozlišujeme, tj. např. bavlna, list, umělé vlákno atd. Jinými slovy máme pro každý pixel tolik hodnot pravděpodobností, kolik je rozlišovaných tříd a dohromady tyto pravděpodobnosti mají součet jedna, tj. 100 %. Toto mapování obrázek —> třída implikuje, že výsledkem průchodu sítí 6 je jedno číslo nebo nějaká jiná reprezentace třídy, jakože např. o celém obrázku bychom řekli, zdaje dobrý či špatný. Jednotlivé objekty a jejich statistiky (počty, velikosti, ...) se proto získávají až postprocessingem výpočetním zařízením 4, kdy ve výstupní mapě nalezneme spojité oblasti dostatečně odlišených (rozsvícených) pixelů, které mají pravděpodobnost nečistota N heuristicky stanovenou jako prahová hodnota. Je také možné, aby modifikovat síť tak, že již jejím výstupem jsou jednotlivé objekty rozřazené na třídy, např. bavlna, list, umělé vlákno atd.
Průmyslová využitelnost
Vynález je využitelný pro hodnocení kvality vlákenného materiálu, např. bavlny, v procesu zpracování, zejména čištění, před dalšími technologickými kroky. Vlákenný materiál přitom může zaujímat celou řadu prostorových útvarů a forem, např. jako vrstva vláken na ploše, vlákenné vločky a chuchvalce, pramen vláken, balík vláken, hromada vláken atd.
Claims (5)
1. Zařízení pro hodnocení nečistot (N) ve vlákenném materiálu (M), které obsahuje snímkovací zařízení vlákenného materiálu (M) ve snímané ploše (2), jemuž je přiřazeno alespoň jedno osvětlovací zařízení (5) vlákenného materiálu (M) ve snímané ploše (2), přičemž snímkovací zařízení je napojeno na výpočetní zařízení (4) uzpůsobené pro zpracování snímků ze snímkovacího zařízení a pro vyhodnocení nečistot (N) ve vlákenném materiálu (M), přičemž snímkovací zařízení obsahuje maticový pixelový optický snímač typu CMOS nebo CCD a osvětlovací zařízení (5) obsahuje alespoň jeden zdroj (50) viditelného záření - VIS, alespoň jeden zdroj (51) UV záření a alespoň jeden zdroj (52) NIR záření a osvětlovací zařízení (5) je spřaženo s řídicí elektronikou uzpůsobenou pro synchronizaci činnosti osvětlovacího zařízení (5) a maticového pixelového optického snímače typu CMOS nebo CCD, vyznačující se tím, že zařízení je uzpůsobeno pro přiřazení sledované ploše surové bavlny (B) ve formě vrstvy vláken na ploše a/nebo ve formě vlákenných vloček a chuchvalců, případně i ve formě pramene vláken, balíku vláken nebo hromady vláken v procesu zpracování surové bavlny (B) před dalšími technologickými kroky, maticový pixelový optický snímač typu CMOS nebo CCD je tvořen monochromatickým širokospektrálním maticovým pixelovým optickým snímačem, který je uzpůsoben pro příjem viditelné části spektra záření, ultrafialového záření a blízkého infračerveného spektra záření, přičemž snímač je opatřen globální závěrkou pro synchronizované zachycení všech plošně snímaných obrazových bodů v jeden stejný daný okamžik a výpočetní zařízení (4) je uzpůsobeno pro softwarové vytvoření celoplošného multispektrálního obrazového snímku surové bavlny (B) ve sledované ploše (2) složením jednotlivých celoplošných monochromatických obrazových snímků surové bavlny (B) ve sledované ploše (2) a pořízených při různých vlnových délkách ozařujícího záření, přičemž výpočetní zařízení (4) je dále opatřeno prostředky pro obrazovou analýzu vytvořeného celoplošného multispektrálního obrazového snímku surové bavlny (B) ve sledované ploše (2) a pro rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B), zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, fragmentů látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.
2. Zařízení podle nároku 1, vyznačující se tím, že monochromatický optický snímač (10) je součástí kamery (1), která obsahuje elektroniku (11) pro vyčítání, zpracování, ukládání a odesílání obrazu ze snímače (10), a která dále obsahuje optiku (12) uzpůsobenou pro širokospektrální snímání obrazu v rozmezí alespoň části UV spektra, alespoň části VIS spektra a alespoň části NIR spektra.
3. Zařízení podle nároku 1 nebo 2, vyznačující se tím, že jednotlivé zdroje (50, 51, 52) záření dohromady pokrývají alespoň část vlnových délek VIS, UV a NIR z každé části spektra záření.
4. Zařízení podle kteréhokoli z nároků 1 až 3, vyznačující se tím, že osvětlovací zařízení (5) obsahuje maticově uspořádanou sestavu samostatných zdrojů (50, 51, 52) VIS, UV a NIR záření uspořádaných na společné nosné desce (53), přičemž jednotlivé samostatné zdroje (50,51,52) VIS, UV a NIR záření mají na ploše nosné desky (53) definované vzájemné rozložení a/nebo členění do skupin nebo segmentů (54) napojených na řídicí a synchronizační zařízení.
5. Zařízení podle nároku 4, vyznačující se tím, že segmenty (54) zdrojů (50, 51, 52) VIS, UV a NIR záření mají definovaný počet jednotlivých zdrojů (50, 51, 52) VIS, UV a NIR záření a jsou definovaně rozloženy na ploše nosné desky (53).
6. Zařízení podle kteréhokoli z nároků 1 až 5, vyznačující se tím, že před osvětlovacím zařízením (5) je umístěn difůsor (55) záření osvětlovacího zařízení (5).
-11 CZ 308783 B6
7. Zařízení podle kteréhokoli z nároků 1 až 5, vyznačující se tím, že monochromatický optický snímač (10) a osvětlovací zařízení (5) jsou uspořádány v dutém stínícím pouzdru (3), které je opatřeno dosedací plochou pro dosednutí kolem sledované plochy (2) vlákenného materiálu (M).
5 8. Zařízení podle kteréhokoli z nároků 1 až 7, vyznačující se tím, že výpočetní zařízení (4) se softwarem je opatřeno natrénovanou vícevrstvou konvoluční neuronovou sítí (6) uzpůsobenou pro obrazové rozpoznání a vyhodnocení cizích příměsí v surové bavlně (B), zejména částí stonků, listů nebo jejich fragmentů, kůry, slupek semen či jejich částí, nezralých vláken bavlny, mízy bavlny, umělých vláken, kusů obalových materiálů, částice půdy, cizích vláken přírodních i syntetických, ίο fragmentů látek, chlupů, vlasů, metalických nečistot, obarvení otiskem barevných listů nebo barvou nepřírodního původu.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020443A CZ308783B6 (cs) | 2020-08-05 | 2020-08-05 | Zařízení pro hodnocení nečistot ve vlákenném materiálu |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020443A CZ308783B6 (cs) | 2020-08-05 | 2020-08-05 | Zařízení pro hodnocení nečistot ve vlákenném materiálu |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ2020443A3 CZ2020443A3 (cs) | 2021-05-12 |
| CZ308783B6 true CZ308783B6 (cs) | 2021-05-12 |
Family
ID=75795367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2020443A CZ308783B6 (cs) | 2020-08-05 | 2020-08-05 | Zařízení pro hodnocení nečistot ve vlákenném materiálu |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ308783B6 (cs) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353712A1 (en) * | 2016-06-06 | 2017-12-07 | Raymond Kirk Price | Pulsed gated structured light systems and methods |
| US20180252691A1 (en) * | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
| CN109331990A (zh) * | 2018-09-28 | 2019-02-15 | 天津理工大学 | 一种废旧玻璃快速自动回收分拣工艺 |
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
-
2020
- 2020-08-05 CZ CZ2020443A patent/CZ308783B6/cs unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170353712A1 (en) * | 2016-06-06 | 2017-12-07 | Raymond Kirk Price | Pulsed gated structured light systems and methods |
| US20180252691A1 (en) * | 2017-03-01 | 2018-09-06 | Maf Agrobotic | Method and device for optically analysing fruit or vegetables and device for automatic sorting |
| US20200116627A1 (en) * | 2017-06-12 | 2020-04-16 | Henkel Ag & Co. Kgaa | Detecting an impurity and/or a property of at least one part of a textile |
| CN109331990A (zh) * | 2018-09-28 | 2019-02-15 | 天津理工大学 | 一种废旧玻璃快速自动回收分拣工艺 |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2020443A3 (cs) | 2021-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Detection of skin tumors on chicken carcasses using hyperspectral fluorescence imaging | |
| Zhang et al. | Applications of computer vision techniques to cotton foreign matter inspection: A review | |
| US8126213B2 (en) | Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line | |
| Li et al. | Detection of common defects on oranges using hyperspectral reflectance imaging | |
| Qin et al. | Citrus canker detection using hyperspectral reflectance imaging and PCA-based image classification method | |
| Mahendran et al. | Application of computer vision technique on sorting and grading of fruits and vegetables | |
| US9684960B2 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
| Lü et al. | Detection of hidden bruise on kiwi fruit using hyperspectral imaging and parallelepiped classification | |
| Chao et al. | High throughput spectral imaging system for wholesomeness inspection of chicken | |
| US20080151233A1 (en) | Method And Apparatus For Classification Of Surfaces | |
| Sarkar | Machine vision for quality control in the food industry | |
| Chao et al. | Spectral line-scan imaging system for high-speed non-destructive wholesomeness inspection of broilers | |
| US20110007151A1 (en) | Imaging Method For Determining Meat Tenderness | |
| Behera | Image-processing in textiles | |
| Guo et al. | Detection of foreign materials on surface of ginned cotton by hyper-spectral imaging | |
| Zhao et al. | Effect of fruit harvest time on citrus canker detection using hyperspectral reflectance imaging | |
| CZ308783B6 (cs) | Zařízení pro hodnocení nečistot ve vlákenném materiálu | |
| PP et al. | Automated quality assessment of cocoons using a smart camera based system | |
| JP2011033612A (ja) | 農産物検査装置 | |
| CZ2020444A3 (cs) | Způsob hodnocení nečistot ve vlákenném materiálu neuronovou sítí a systém pro hodnocení nečistot ve vlákenném materiálu pomocí neuronové sítě | |
| WO2023135320A1 (en) | Method, device and system for analyzing a sample | |
| Gonçalves et al. | A novel strategy for the classification of naturally colored cotton fibers based on digital imaging and pattern recognition techniques | |
| Yao et al. | Single aflatoxin contaminated corn kernel analysis with fluorescence hyperspectral image | |
| Campbell et al. | Hyperspectral imaging through partially transparent media | |
| Gültekin et al. | IMAGE PROCESSING APPROACH FOR FOREIGN MATERIAL DETECTION IN COTTON BUNDLE |