CZ306919B6 - Způsob kontroly barvy oděvu a/nebo pokrývky hlavy osoby - Google Patents

Abstract

Způsob kontroly barvy oděvu a pokrývky hlavy osoby, při kterém se kontrolovaný prostor snímá kamerou, ze které se videosignál odesílá do výpočetní jednotky, do které se zadá požadovaná barva oděvu a pokrývky hlavy a pro alespoň některé barevné snímky z kamery se provádějí následující operace: - snímek se převede jednak na snímek ve stupních šedi a jednak do modelu HSV, - ve snímku převedeném do stupňů šedi se zjišťuje výskyt obrazu lidské postavy, - v případě zjištění výskytu obrazu lidské postavy se nalezne její silueta, - z ní se vybere alespoň jedna oblast, pro kterou má být sledována barva oděvu a pokrývky hlavy, - ta se vyznačí ve snímku převedeném do modelu HSV, - na základě histogramu barevných složek modelu HSV se zjistí majoritní barva ve vybrané oblasti, a - zjištěná barva se porovná s požadovanou barvou.

Description

Způsob kontroly barvy oděvu a/nebo pokrývky hlavy osoby

Oblast techniky

Vynález se týká způsobu kontroly barvy oděvu a/nebo pokiývky hlavy osoby, při kterém se kontrolovaný prostor snímá kamerou, ze které se videosignál odesílá do výpočetní jednotky za účelem zjištění, zda má osoba na sobě požadovaný ochranný oděv a/nebo pokrývku hlavy.

Dosavadní stav techniky

Na řadě pracovišť je z bezpečnostních důvodů u pracovníků, jejich doprovodu, případných inspekčních návštěv a podobně vyžadováno nošení ochranných oděvů a pokrývek hlavy. Například se může jednat o plášť z odolného materiálu a helmu. Kontrola dodržování těchto požadavků přitom bývá pouze náhodná, případně vůbec žádná. Tím se zvyšuje pravděpodobnost nedodržování tohoto požadavku a v důsledku toho se zvyšuje také riziko, že na daném pracovišti dojde u osob bez ochranných pomůcek k úrazu. Zajištění dostatečného počtu kontrol nošení ochranných oděvů a pokrývek hlavy by ovšem na většině pracovišť způsobilo příliš vysoké náklady na kontrolory.

Úkolem vynálezu tedy je zajistit finančně dostupný a účinný způsob kontroly, zda osoby vstupující do pracovního prostoru mají na sobě požadované ochranné pomůcky.

Podstata vynálezu

Tento úkol je vyřešen způsobem kontroly barvy oděvu a/nebo pokrývky hlavy osoby, při kterém se kontrolovaný prostor snímá kamerou, ze které se videosignál odesílá do výpočetní jednotky, přičemž se do výpočetní jednotky zadá požadovaná barva oděvu a/nebo pokrývky hlavy a pro alespoň některé barevné snímky z kamery se provádějí následující operace

- snímek se převede jednak na snímek ve stupních šedi a jednak do modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace,

- ve snímku převedeném do stupňů šedi se zjišťuje výskyt obrazu lidské postavy,

- v případě zjištění výskytu obrazu lidské postavy se ve snímku převedeném do stupňů šedi následně nalezne její silueta,

- z nalezené siluety se vybere alespoň jedna oblast, pro kterou má být sledována barva oděvu a/nebo pokrývky hlavy,

- vybraná oblast se vyznačí ve snímku převedeném do modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace,

- na základě histogramu alespoň některých barevných složek modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace se zjistí majoritní barva ve vybrané oblasti, a

- zjištěná barva se porovná s požadovanou barvou.

S výhodou se zjišťování obrazu lidské postavy provádí metodou histogramu orientových gradientů a nalezení siluety lidské postavy se provede metodou modelování pozadí na sledovaný videosignál, ve zvlášť výhodném provedení metodou Gaussovských směsí. Přitom se při modelování

- 1 CZ 306919 B6 pozadí metodou Gaussovských směsí s výhodou oblasti zjištěného výskytu lidské postavy přiřadí nižší koeficient učení než zbývající oblasti.

Pro nalezení siluety lidské postavy lze rovněž využít morfologické operace založené na vzájemných odlišnostech v soustavě po sobě jdoucích snímků.

S výhodou se převedení snímku do modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace se provede převedením snímku do modelu HSV.

Výše uvedený úkol je rovněž realizován zařízením, které zahrnuje kameru, ke kameře připojenou výpočetní jednotku a s výpočetní jednotkou propojené nebo propojitelné paměťové médium, které obsahuje program umožňující provádění výše popsaného způsobu.

Objasnění výkresů

Vynález je dále podrobněji popsán pomocí příkladných provedení, přičemž zvlášť výhodné provedení je naznačeno na postupovým diagramem na obr. 1, zatímco na obr. 2 jsou znázorněny tři fáze modelování lidské siluety.

Příklady uskutečnění vynálezu

Pro realizaci popisovaného způsobu se na nebo v blízkosti vstupu na pracoviště nainstaluje kamera, kterou je prostor přiléhající ke vstupu sledován, resp. jsou sledovány osoby blížící se ke vstupu. Kamera je propojena s výpočetní jednotkou, na které běží program k provádění daného způsobu.

Obecně se v obraze snímaném kamerou jednak zjišťuje pohyb a jednak hledá postava osoby. V případě detekce postavy se v obraze postavy vymezí oblast od kotníků po obličej a/nebo oblast nad obličejem, podle toho, zda je požadován ochranný oděv a/nebo ochranná pokrývka hlavy. Následně se zjišťuje barva v těchto vymezených oblastech a porovnává se se zadanou škálou povolených/požadovaných barev. V případě zjištění, že barva vymezených oblastí neodpovídá požadavkům, je spuštěn indikátor nepřítomnosti ochranného oděvu a/nebo ochranné pokrývky hlavy.

Jednotlivé konkrétní kroky výhodného provedení způsobu jsou znázorněny na obr. 1 postupovým diagramem.

Na počátku se provede inicializace, při které se nastaví hodnoty 3D map pro jednotlivé povolené barvy ochranného oděvu a pokrývky hlavy a na základě prvního snímku ze vstupního video signálu se vytvoří referenční snímek pozadí scény, který se pak dále aktualizuje (viz metoda gaussovských směsí).

Následně se v tomto výhodném provedení provede dekrementace životnosti záznamů. Jelikož detektor postav nemusí být 100% spolehlivý, může se stát, že v některém snímku není osoba ve scéně detekována. Z toho důvodu je s výhodou součástí každého záznamu osob nacházejících se ve scéně tzv. doba životnosti, která je při zpracování každého snímku dekrementována. Pokud tato hodnota dosáhne nuly, předpokládá se, že osoba se v záznamu již nenachází a její záznam je tak odstraněn. Při každé detekci dané osoby je pak tato doba životnosti nastavena na původní hodnotu odpovídající s výhodou pěti snímkům. Pokud tedy v následujících pěti snímcích není osoba znovu detekována, je předpokládáno, že se již ve scéně nenachází.

-2CZ 306919 B6

Snímek získaný z kamery, a to snímek typu RGB (red - green - blue), se jednak převede do modelu HSV (Hue, Saturation, Value), který pracuje s hodnotami odstínu, sytosti a jasu, a jednak se převede do stupňů šedi.

Snímek ve stupních šedi se s výhodou upraví z hlediska rozlišení, a to za účelem snížení výpočetní náročnosti algoritmu (barevná složka nese minimum informací použitelných pro detekci osob a je tedy nadbytečná), a následně se prozkoumá z hlediska možné detekce lidské postavy.

K detekci lidské postavy je v tomto výhodném provedení využita metoda HOG (Histogram of Oriented Gradients - histogram orientovaných gradientů), jejíž princip spočívá v tom, že každý objekt, lze identifikovat podle rozložení intenzity gradientu nebo hrany v různých směrech, přičemž se obraz rozdělí na malé propojené oblasti a pro každou z nich se zpracuje histogram směrů gradientu nebo orientací hrany pro pixely v dané oblasti. Výstupem tohoto algoritmu jsou souřadnice obdélníkové oblasti s pevně definovaným poměrem stran v analyzovaném obraze, kde byla detekována lidská postava, přičemž výška této oblasti zároveň přibližně koresponduje s výškou detekované postavy. Jelikož však obdélníková oblast v daném obrazu obsahuje kromě obrazové oblasti vlastní postavy ve většině případů i obrazovou oblast pozadí, je dále vhodné vytvořit siluetu lidské postavy. V uvažovaném případě je silueta lidské postavy reprezentována jako binární obraz, který je získán aplikací techniky modelování pozadí na sledovaný obrazový signál.

Pro modelování pozadí lze s výhodou využít modifikaci metody Mixture of Gaussian (metoda gaussovských směsí). Tato modifikace řeší problematiku náhlé změny intenzity osvětlení na určitém místě scény (např. sluneční svit v oknech), kdy tato změna má negativní vliv na algoritmus detekce pohybu, který je založen na vytvoření statického modelu pozadí, který se průběžně s určitým koeficientem učení aktualizuje. Čím vyšší je tento koeficient, tím rychleji konverguje model pozadí k aktuálnímu obrazu scény. Efekt náhlé změny intenzity osvětlení v určitém místě tedy lze kompenzovat zvýšením tohoto koeficientu, čímž se v relativně krátké době začlení tato změna do modelu pozadí a nedojde tak k falešným detekcím pohybujících se objektů. Zvýšením koeficientu se ale zároveň rovněž urychlí i začlenění pohybujících se objektů (objekty, které jsou předmětem sledování) a ovlivní se tak úspěšnost celého procesu detekce použití ochranných pomůcek. Z tohoto důvodu se s výhodou provede modifikace algoritmu modelování pozadí, kdy lze jednotlivým částem scény přidělit různý koeficient učení. Tak lze na základě výsledků detektoru postav stanovit oblast, kde se vyskytuje sledovaná osoba a této oblasti přiřadit nízký koeficient učení a ostatním oblastem přiřadit vyšší koeficient učení. Tato optimalizace má za následek nejen potlačení negativního vlivu náhlé změny intenzity osvětlení na určitém místě scény, ale zároveň umožní udržet sledovanou osobu mimo model pozadí po neomezeně dlouhou dobu (tj. omezí se tím negativní vliv velmi pomalé chůze, nebo dlouhodobějšího postávání osoby na jednom místě).

Z posloupnosti snímků se detekuje pohyb a na základě této detekce se provádí morfologické operace, které lze doplňkově využít pro vymezení siluety postavy.

Ne všechny obrazové body lidské siluety jsou totiž obvykle detekovány správně a zároveň se vyskytují i ojedinělé obrazové body s falešnou pozitivní detekcí. Z tohoto důvodu je vhodné následně provést sadu morfologických operací uzavření a otevření s morfologickým operátorem odpovídající tvarem zmenšené siluetě lidské postavy. Například se může jednat o operaci uzavření (kombinace dilatace a eroze) se strukturním elementem odpovídajícím elipse s osami (a, b) v poměru =3:1, kde velikost osy a odpovídá 1/3 předpokládané velikosti osob. Tato operace má za následek vytvoření kompaktních siluet.

Následuje potom ještě operace eroze se čtvercovým strukturním elementem o velikosti 3x3 pixelů pro odstranění malých siluet zapříčiněných šumem v obraze.

Na obrázku 2 jsou uvedeny výstupy detektoru HOG pro zachycení lidské postavy a techniky modelování pozadí pro vytvoření lidské siluety před a po provedení morfologických operací.

-3 CZ 306919 B6

Dalším krokem je rozdělení siluety detekované postavy na dvě části: část obsahující ochranný oděv a část obsahující helmu. Zde je vhodné uvážit vliv obličeje, který by měl být ze siluety odstraněn.

Díky tomu, že z výstupu detektoru HOG je k dispozici informace o přibližné výšce postavy, může toto rozdělení být realizováno pomocí pevně definovaného poměru jednotlivých částí lidského těla aplikovaného na danou siluetu. Tento definovaný poměr je například empiricky zvolen tak, aby se ze siluety odstranil celý obličej a částečně spodní část nohou přibližně odpovídající obuvi.

Obecně se na zjištěné siluetě vyberou oblasti, ve kterých se má zkontrolovat přítomnost ochranných pomůcek, tedy menší oblast nad předpokládaným obličejem, a větší oblast mezi předpokládaným krkem a koleny/kotníky.

Tyto oblasti se vymezí na snímku v modelu HSV a zjistí se v nich většinové barvy na základě histogramu.

Zjištěná data se pak porovnají s požadovanými prahovými hodnotami a v případě, že neodpovídají požadavkům, se spustí alarm či jiný indikátor nepřítomnosti ochranných pomůcek.

Zpracování probíhá nad videosignálem, tj. při průchodu jedné osoby je prováděna série detekcí nad každým snímkem videa. Aby se předešlo falešným poplachům, je s výhodou alarm vyhlášen pouze tehdy, je-li počet pozitivních detekcí vyšší než počet detekcí negativních, ve zvlášť výhodném provedení vyšší než dvojnásobek detekcí negativních.

S tím souvisí i možnost porovnání se záznamy, jak je uvedena v diagramu na obr. 1, protože existuje předpoklad, že ve scéně se může vyskytovat více osob. Pro každou osobu, která se ve scéně objeví, je tak vytvořen záznam, který obsahuje aktuální pozici, akumulátor pozitivních detekcí a výše uvedenou dobu životnosti. Při použití detektoru osob je pak provedeno přiřazení detekovaných osob k existujícím záznamům dle jejich poslední známé pozice.

Parametry algoritmu pro určení barev ochranných pomůcek je potřeba pro konkrétní instalaci odborně nastavit dle použitého způsobu osvětlení. K tomu je využita podvzorkovaná matice trojrozměrné mapy jednotlivých barevných složek. Přičemž pro hodnotu intenzity jasu lze s výhodou vybrat 8 hodnot, pro barevný odstín 45 hodnot a pro sytost barvy 64 hodnot. Technický pracovník zodpovědný za instalaci daného modulu, pak provede výběr barevných hodnot, které odpovídají povoleným barvám ochranného oděvu ajejich barevným variacím v dané scéně.

Aby bylo možno tuto práci zjednodušit, lze s výhodou využít algoritmus, který před zahájením provozu na základě několika zaznamenaných průchodů osoby s ochranným oděvem dané barvy a za místních typů osvětlení provede výpočet trojrozměrného histogramu barev a na základě statistického vyhodnocení provede počáteční nastavení hodnot v 3D mapě. Technický pracovník pak provede pouze drobnou korekci těchto měření.

Níže je uvedena tabulka s výsledky testování navrženého algoritmu. Výsledky jsou ze dvou různých scén, vždy pro dvě různé barvy ochranných pomůcek a za různého typu osvětlení.

-4CZ 306919 B6

Tabulka s výsledky testování

	Osvětlení	Barva OPP	FP	FR	Celkem video sekvencí	relativní chyba
Scéna A	Denní osvětlení	bílé OPP	6	0	166	3,6%
žluté OPP	2	2	180	2,2%
celkem	8	2	346	2,9%
Zářivky	bílé OPP	3	1	109	3,7%
žluté OPP	0	2	83	2,4%
celkem	3	3	192	3,1%
všechny typy celkem	bílé OPP	9	1	275	3,6%
žluté OPP	2	4	263	2,3%
Celkem scéna A		11	5	538	3,0%
Scéna B	Denní osvětlení (zatažená obloha)	bílé OPP	1	0	55	1,8%
žluté OPP	7	1	75	10,7%
celkem	8	1	130	6,9%
tlumené zářivky	bílé OPP·	0	2	65	3,1%
žluté OPP	8	0	75	10,7%
celkem	8	2	140	7,1%
všechny typy celkem všechny typy celkem	bílé OPP	1	2	120	2,5%
žluté OPP	15	1	150	10,7%
Celkem scéna B		16	3	270	7,0%
Celkem scéna A i B	27	8	808	4,3%

OPP = ochranné pracovní pomůcky

Claims (7)

1. 5 PATENTOVÉ NÁROKY

   1. Způsob kontroly barvy oděvu a/nebo pokrývky hlavy osoby, při kterém se kontrolovaný prostor snímá kamerou, ze které se videosignál odesílá do výpočetní jednotky, vyznačující se tím, že se do výpočetní jednotky zadá požadovaná barva oděvu a/nebo pokrývky hlavy a pro alespoň některé barevné snímky z kamery se provádějí následující operace

   - snímek se převede jednak na snímek ve stupních šedi a jednak do modelu HSV pracujícího s navzájem nezávislými složkami jasu a barevné informace,

   -5CZ 306919 B6

   - ve snímku převedeném do stupňů šedi se zjišťuje výskyt obrazu lidské postavy,

   - v případě zjištění výskytu obrazu lidské postavy se ve snímku převedeném do stupňů šedi následně nalezne její silueta,

   - z nalezené siluety se vybere alespoň jedna oblast, pro kterou má být sledována barva oděvu a/nebo pokrývky hlavy,

   - vybraná oblast se vyznačí ve snímku převedeném do modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace,

   - na základě histogramu alespoň některých barevných složek modelu pracujícího s navzájem nezávislými složkami jasu a barevné informace se zjistí majoritní barva ve vybrané oblasti, a

   - zjištěná barva se porovná s požadovanou barvou.
2. 2. Způsob podle nároku 1, vyznačující se tím, že zjišťování obrazu lidské postavy se provádí metodou histogramu orientových gradientů.
3. 3. Způsob podle nároku 1 nebo 2, vyznačující se tím, že nalezení siluety lidské postavy se provede metodou modelování pozadí na sledovaný videosignál.
4. 4. Způsob podle nároku 3, vyznačující se tím, že modelování pozadí se provádí metodou Gaussovských směsí.
5. 5. Způsob podle nároku 4, vyznačující se tím, že se při modelování pozadí metodou Gaussovských směsí oblasti zjištěného výskytu lidské postavy přiřadí nižší koeficient učení než zbývající oblasti.
6. 6. Způsob podle kteréhokoli z předcházejících nároků, vyznačující se tím, že pro nalezení siluety lidské postavy se rovněž využijí morfologické operace založené na vzájemných odlišnostech v soustavě po sobě jdoucích snímků.
7. 7. Zařízení pro provádění způsobu podle kteréhokoli z nároků laž6, vyznačující se tím, že zahrnuje kameru, ke kameře připojenou výpočetní jednotku a s výpočetní jednotkou propojené nebo propojitelné paměťové médium, které obsahuje program umožňující provádění způsobu podle alespoň jednoho z nároků 1 až 6.