CZ35337U1 - Sestava pro bezpilotní mapování plochy aktivního požářiště - Google Patents

Description

Sestava pro bezpilotní mapování plochy aktivního požářiště

Oblast techniky

Technické řešení se týká sestavy pro bezpilotní mapování plochy aktivního požářiště, která umožňuje získávání a zpracovávání digitálních obrazů, a tak umožňuje automatizaci úkonů spojených s vyhledáváním, detekcí a klasifikací definovaných vzorů osob, záchranářů, vozidel a ohnisek požáru či požářiště.

Dosavadní stav techniky

V rámci složek integrovaného záchranného systému existují drony, ke kterým jsou upevněny kamery nebo termokamery, přičemž získané obrazové signály jsou analyzovány člověkem/operátorem, který pak tlumočí zjištěné informace zasahujícím osobám.

Podstata technického řešení

Úkolem tohoto technického řešení je vytvořit takovou sestavu, která by umožňovala mapovat plochu aktivního požářiště, skládala na sebe mapu založenou na dříve získaných snímcích, snímky z kamery pracující ve viditelném spektru a snímky z termo-kamery a prováděla případně samostatné rozpoznávání objektů a zároveň automaticky strojově předávala informace dalším složkám integrovaného záchranného systému.

Výše uvedený úkol je vyřešen sestavou pro bezpilotní mapování plochy aktivního požářiště, která zahrnuje:

- bezpilotní letecký prostředek,

- RGB kameru upevněnou na bezpilotním leteckém prostředku pro snímání barevného obrazu oblasti s požářištěm,

- termo-kameru upevněnou na bezpilotním leteckém prostředku pro snímání teplot oblasti s požářištěm,

- první komunikační jednotku upevněnou k bezpilotnímu leteckému prostředku a signálově propojenou s RGB kamerou atermo-kamerou, přičemž tato první komunikační jednotka je uzpůsobena pro bezdrátové vysílání dat přijatých z RGB kamery a termokamery,

- GPS jednotku upevněnou na bezpilotním leteckém prostředku pro zjišťování aktuálních polohových souřadnic GPS jednotky a pro bezdrátové vysílání zjištěných polohových souřadnic.

Výhodné provedení obsahuje pozemní jednotku, která obsahuje druhou komunikační jednotku, přičemž první komunikační jednotka a druhá komunikační jednotka jsou uzpůsobeny pro vzájemnou bezdrátovou komunikaci.

Rovněž je výhodné, když pozemní jednotka obsahuje první přenosný elektronický přístroj signálově propojitelný s druhou komunikační jednotkou a uzpůsobený pro zpracovávání dat z RGB kamery a termo-kamery.

- 1 CZ 35337 UI

Sestava přednostně rovněž obsahuje druhý přenosný elektronický přístroj signálově propojitelný s prvním přenosným elektronickým přístrojem.

S výhodou sestava obsahuje server signálově propojitelný s prvním přenosným elektronickým přístrojem.

Sestava s výhodou obsahuje řídicí jednotku pro řízení pohybu bezpilotního leteckého prostředku, upevněnou na bezpilotním leteckém prostředku a signálově propojitelnou s první komunikační jednotkou.

Rovněž je výhodné, když pozemní jednotka obsahuje ovladač bezpilotního leteckého prostředku a bezpilotní letecký prostředek obsahuje řídicí jednotku pro řízení pohybu bezpilotního leteckého prostředku, upevněnou na bezpilotním leteckém prostředku a signálově propojitelnou s ovladačem.

Druhá komunikační jednotka je s výhodou uzpůsobena pro přijímání signálu z GPS jednotky upevněné na bezpilotním leteckém prostředku.

Server přednostně obsahuje grafickou kartu, a přednostně rovněž paměťovou jednotku, na které je uložena softwarová aplikace pro skládání snímků z RGB kamery a termo-kamery přes sebe a vytváření ortofotomap a pro automatické vyznačování plochy aktivního požářiště v ortofotomapách. Tato softwarová aplikace uložená v paměťové jednotce serveru je rovněž s výhodou uzpůsobena pro definování zón, vyhodnocování trajektorie objektů a detekci objektů a/nebo událostí v předem zadaných perimetrech.

Rozpoznávání objektů a zároveň možnost automatického strojového předávání informací lze vyřešit díky užití nejmodemější techniky zpracování digitálního obrazu a know-how pokročilého zpracování obrazu z dronu sjeho integrací do systému pro krizové řízení. Přidanou hodnotou tohoto řešení je získání dodatečných informací z obrazu z dronu v reálném čase, což zefektivní procesy řízení a rozhodování v krizových situacích a také umožní vidět a sledovat pohyb i za zhoršených podmínek viditelnosti.

Řešení tohoto problému musí složit dohromady několik vědních oblastí, jedná se o

- Let dronem s kamerou a termokamerou s přenosem dat v reálném čase do tzv. ground station (základnových pozemních jednotek),

- Schopnost provádět analýzu obrazových dat se schopností detekce markantů (osoba, záchranář, vozidlo, požár, požářiště);

- Integrace výsledků do rozhodování a procesů národních složek Integrovaného záchranného systému.

Z analýzy vyplývá, že existují produkty, které umožňují vidění z dronu nebo mapování terénu (reálný obraz nebo termovize). Nicméně neexistuje řešení, které by tento snímaný obraz zpracovávalo, tj. skládalo obrazy na sebe a umožnilo identifikovat objekty v obraze (osoby, dopravní prostředky, ohnisko požáru aj.) a tyto objekty sledovalo (např. trasování pohybu jednotlivých osob, zásahových jednotek a vozidel v perimetru, mapování vývoje požáru) a tyto dodatečné informace poskytovalo v reálném čase velitelům zásahu a dispečerům pro přesnější a rychlejší rozhodování a řízení operace. Jednoznačným přínosem pro zákazníka je poskytování těchto nových dodatečných informací, které umožní efektivnější řešení krizových událostí.

Objasnění výkresů

Technické řešení je dále podrobněji popsáno pomocí příkladného provedení, které je schematicky znázorněno na výkrese na obr. 1.

-2 CZ 35337 UI

Příklady uskutečnění technického řešení

Příkladné provedení sestavy podle tohoto technického řešení, znázorněné na výkrese, obsahuje bezpilotní letecký prostředek tedy obecně dron či vrtulník.

K bezpilotnímu leteckému prostředku 1 je upevněna RGB kamera 10 pro barevné snímání obrazu ve viditelném světle a termo-kamera 11 pro snímání teplotních polí s využitím infračerveného záření.

Dále je bezpilotní letecký prostředek 1 vybaven první komunikační jednotkou 12 pro bezdrátové předávání signálu z RGB kamery 10 a z termo-kamery 11 do pozemní jednotky 2.

První komunikační jednotka 12 je tedy prostřednictvím kabelů signálově propojená s RGB kamerou 10 a termo-kamerou 11.

První komunikační jednotka 12 je určena pro bezdrátovou komunikaci s pozemní jednotkou 2· Přednostně je první komunikační jednotka 12 modem s vysílačem/přijímačem a alespoň jednou anténou, přičemž je uzpůsobena pro komunikaci ve standardu IEEE 802.11 nebo pro komunikaci prostřednictvím mobilních sítí 4G nebo 5G.

Anténa první komunikační jednotky 12 může být všesměrová anténa. Ve zvlášť výhodném provedení zahrnuje první komunikační jednotka 12 směrovou anténu a k ní směrovač antény uzpůsobený pro natáčení antény za účelem udržení kvalitního spojení s pozemní jednotkou 2· Přídavně nebo alternativně může první komunikační jednotka 12 obsahovat skenovací zařízení pro zjišťování síly signálu spojení s pozemní jednotkou 2 v čase a hledání směru s nej lepším signálem. Alternativně může být jako anténa první komunikační jednotky 12 použita víceprvková anténa s technologií beamsteering nebo beamforming.

Bezpilotní letecký prostředek 1 zahrnuje rovněž neznázoměný akumulátor pro napájení pohonu a doplňkový akumulátor pro napájení dalších komponent, které jsou na bezpilotním leteckém prostředku 1 upevněny. Alternativně může mít každá komponenta svůj akumulátor.

Další součástí bezpilotního leteckého prostředku 1 je GPS jednotka 15. která poskytuje GPS souřadnice míst, ve kterých se právě nachází, nebo kterými se pohybovala, tedy obecně mapované oblasti. Tyto souřadnice jsou základním orientačním prostředkem pro mapování. GPS jednotka 15 přitom obsahuje jednak přijímač pro přijímání signálů z družic, dále procesorovou jednotku pro výpočet souřadnic polohy na základě přijatých signálů a dále vysílač pro vysílání souřadnic polohy, přednostně s nastavitelnou frekvencí vysílání.

Výpočet trajektorie letu bezpilotního leteckého prostředku 1 je zajištěn prostřednictvím trasovací jednotky 13. do které jsou předávána data z GPS jednotky 15.

Trasovací jednotku 13 může tvořit například mikroprocesor či mini počítač.

Bezpilotní letecký prostředek 1 rovněž zahrnuje řídicí jednotku 14, která řídí jeho pohyb na základě průběžně přijímaných pokynů, nebo na základě předem zadaných pokynů prostřednictvím níže uvedeného ovladače 23. a současně na základě údajů z GPS jednotky 15. resp. z trasovací jednotky 13.

Pozemní jednotka 2 obsahuje druhou komunikační jednotku 22, která je určena pro bezdrátovou komunikaci s první komunikační jednotkou 12. Přednostně je druhá komunikační jednotka 22 modem s vysílačem/přijímačem a alespoň jednou anténou, přičemž je uzpůsobena pro komunikaci ve standardu IEEE 802.11 nebo pro komunikaci prostřednictvím mobilních sítí 4G nebo 5G.

-3CZ 35337 Ul

Anténa druhé komunikační jednotky 22 přitom může být robustnější a tedy výkonnější než anténa první komunikační jednotky 12. Přednostně je anténa druhé komunikační jednotky 22 opatřena natáčecím mechanismem pro natáčení antény za účelem udržení co nej kvalitnějšího signálového spojení s první komunikační jednotkou 12.

Druhá komunikační jednotka 22 je uzpůsobena pro předávání dat přijatých z první komunikační jednotky 12 do prvního přenosného elektronického přístroje 21, který je uzpůsoben pro odesílání dat do druhého přenosného elektronického přístroje 3 a na server 4.

První přenosný elektronický přístroj 21 obsahuje rovněž paměť pro uložení software pro ukládání dat přijatých z GPS jednotky 15 a z první komunikační jednotky 12. tedy snímků z kamer 10. 11. a pro zobrazování získaných map na základě těchto dat.

Pozemní jednotka 2 dále obsahuje ovladač 23 pro dálkové ovládání bezpilotního leteckého prostředku L

Prvním přenosným elektronickým přístrojem 21 může být například mobilní telefon smartphone nebo tablet nebo laptop. Obdobně druhým přenosným elektronickým přístrojem 3 může být rovněž například mobilní telefon smartphone nebo tablet nebo laptop.

Zatímco pozemní jednotka 2 je určena pro operátora, který řídí bezpilotní letecký prostředek 1 a obecně provoz celé sestavy, druhý přenosný elektronický přístroj 3 je určen například pro velitele zásahu, který řídí práci hasičů a dalších členů integrovaného záchranného systému na místě.

Server 4 je určen pro sběr a případně další zpracovávání a ukládání dat, tedy vedle obvyklých komponent obsahuje přednostně rovněž grafickou kartu. Na serveru 4 mohou být předem uloženy mapy, například satelitní snímky příslušné oblasti. Ty lze v případě potřeby načíst do pozemní jednotky 2, resp. do prvního přenosného elektronického přístroje 21. na počátku akce. V takto získané mapě lze pak vyznačit oblast, která má být bezpilotním leteckým prostředkem 1 zmapována, a na základě takto určené oblasti a dat přijímaných z GPS jednotky 15 se automaticky řídí let bezpilotního leteckého prostředku 1 pro účely získání aktuálních snímků z RGB kamery 10 a termo-kamery 11.

Jinými slovy, přes pozemní jednotku 2 operátor pouze definuje hranice oblasti, která má být zmapována a sestava po spuštění prostřednictvím prvního přenosného elektronického přístroje 21 sama prostřednictvím bezpilotního leteckého prostředku 1 provádí mapování definované oblasti.

Operátor přijímá data z kamer 10, 11, přičemž přenos dat probíhá v reálném čase po jednotlivých snímcích nebo v paketech.

Tak jsou získávány snímky zájmové oblasti ve viditelném spektru i snímky teplotní mapy, které mohou být v prvním přenosném elektronickém přístroji 21 nebo na serveru 4 softwarově / dedikovanou aplikací skládány přes sebe, případně na výše uvedené satelitní snímky, a tak mohou být vytvářeny ortofotomapy v termálním spektru s automatickým vyznačením plochy aktivního požářiště. Díky zpracování dat z termo-kamery 11 je možno také detekovat a rozpoznat objekty i za snížené viditelnosti, např. ve tmě, v kouři, v mlze. Software může také doplňkově v získaných snímcích rozpoznávat a vyznačovat osoby a/nebo vozidla a/nebo další zájmové objekty.

Kromě vzájemné komunikace s bezpilotním leteckým prostředkem J. pozemní jednotka 2 rovněž předává data do druhého přenosného elektronického přístroje 3 a také do serveru 4, který data ukládá pro jejich další využití v integrovaném záchranném systému, přičemž druhý přenosný elektronický přístroj 3 může mít například velitel zásahu. Zásahem se rozumí zásah jednotek integrovaného záchranného systému v oblasti, v níž se vyskytuje požár.

-4CZ 35337 UI

Postup automatické detekce požářiště prováděné na základě dat získaných sestavou obsahující bezpilotní letecký prostředek j_, pozemní jednotku 2, kontrolní stanoviště 3 a server 4, je následující.

K detekci požářiště je nejvýhodnější použití snímků z termo-kamery 11 bezpilotního leteckého prostředku 1 z výšky kolmo k zemi. Nejvhodnější je použit snímky v tzv. surovém stavu, tedy RAW data, které obsahují přímo hodnoty pixelů na škále zvoleného teplotního rozsahu. K snímkům je ale důležité přiložit odpovídající geografická data spárovaná s jednotlivými soubory termosnímku. Tato data slouží k vypočtení přesné GPS pozice plochy požářiště podle GPS polohy bezpilotního leteckého prostředku 1 při focení.

Prvním krokem algoritmu detekce je normalizace. Ta je prováděna jako první operace předzpracování, protože všechny následující operace vyžadují standardizovaná data v rozsahu hodnot obrazových dat v rozmezí <0,l>.

Po normalizaci obrazových dat je provedeno rozmazání obrazu z důvodu zjemnění hran obrazových dat za účelem sjednocení malých částí do jednoho celku, jelikož některé oblasti požářiště mohou mít nižší teplotu, než jak je nastaven práh k jeho detekci. Nepoužití rozmazání by vedlo k segmentaci jednoho požářiště na mnoho menších kousků.

Po operaci rozmazání následuje klíčová operace algoritmu, kterou je prahování. Prahování je nejjednodušší metoda segmentace obrazu. Výsledkem operace je binární maska obrazových dat, kde pozitivní body obrazových dat jsou namapovány číslem 1 a negativní číslem 0. Dle rozsahu signálu termo-kamery 11 a prostřednictvím správně zvoleného rozhodovacího prahu dojde k dostatečnému oddělení požáru od okolních objektů.

Dalším krokem je binární dilatace obrázku. Výsledkem binární dilatace je zvětšení pozitivních oblastí v binárním obrázku.

Poslední krokem v detekci plochy požářiště je nalezení kontur, tedy hranic tvaru se stejnou intenzitou, dilatovaných pozitivních oblastí v binárním obrázku. Následně je zjištěna plocha každé oblasti ohraničené konturami. Oblasti, které jsou příliš malé, jsou ignorovány a všechny ostatní jsou označeny jako požár. Výsledné oblasti jsou vykresleny zpět do původního obrázku. Obrázek s detekovanými požáry lze dále zpracovávat, např. namapovat barevnou škálu.

Následně lze takto získaný obrázek zobrazit na displeji prvního elektronického přístroje 21 a/nebo druhého elektronického přístroje 3 a/nebo serveru 4 a/nebo odeslat a zpřístupnit pro další klientská elektronická zařízení 5, například počítače dalších členů integrovaného záchranného systému.

Claims (10)

1. NÁROKY NA OCHRANU

   1. Sestava pro bezpilotní mapování plochy aktivního požářiště, vyznačující se tím, že zahrnuje:

   - bezpilotní letecký prostředek (1),

   - RGB kameru (10) upevněnou na bezpilotním leteckém prostředku (1) pro snímání barevného obrazu oblasti s požářištěm,

   - termo-kameru (11) upevněnou na bezpilotním leteckém prostředku (1) pro snímání teplot oblasti s požářištěm,

   - první komunikační jednotku (12) upevněnou k bezpilotnímu leteckému prostředku (1) a signálově propojenou s RGB kamerou (10) a termo-kamerou (11), přičemž tato první komunikační jednotka (12) je uzpůsobena pro bezdrátové vysílání dat přijatých z RGB kamery (10) a termo-kamery (11),

   - GPS jednotku (15) upevněnou na bezpilotním leteckém prostředku (1) pro zjišťování aktuálních polohových souřadnic GPS jednotky (15) a pro bezdrátové vysílání zjištěných polohových souřadnic.
2. 2. Sestava podle nároku 1, vyznačující se tím, že obsahuje pozemní jednotku (2), která obsahuje druhou komunikační j ednotku (22), přičemž první komunikační j ednotka (12) a druhá komunikační jednotka (22) jsou uzpůsobeny pro vzájemnou bezdrátovou komunikaci.
3. 3. Sestava podle nároku 2, vyznačující se tím, že pozemní jednotka (2) obsahuje první přenosný elektronický přístroj (21) signálově propojitelný s druhou komunikační jednotkou (22) a uzpůsobený pro zpracovávání dat z RGB kamery (10) a termo-kamery (11).
4. 4. Sestava podle nároku 3, vyznačující se tím, že obsahuje druhý přenosný elektronický přístroj (3) signálově propojitelný s prvním přenosným elektronickým přístrojem (21).
5. 5. Sestava podle kteréhokoliv z nároků 2 až 4, vyznačující se tím, že obsahuje server (4) signálově propojitelný s prvním přenosným elektronickým přístrojem (21).
6. 6. Sestava podle nároku 2 nebo 3, vyznačující se tím, že obsahuje řídicí jednotku (14) pro řízení pohybu bezpilotního leteckého prostředku (1), upevněnou na bezpilotním leteckém prostředku (1) a signálově propojitelnou s první komunikační jednotkou (12).
7. 7. Sestava podle nároku 2 nebo 3, vyznačující se tím, že pozemní jednotka (2) obsahuje ovladač (23) bezpilotního leteckého prostředku (1) a bezpilotní letecký prostředek (1) obsahuje řídicí jednotku (14) pro řízení pohybu bezpilotního leteckého prostředku, upevněnou na bezpilotním leteckém prostředku (1) a signálově propoj itelnou s ovladačem (23).
8. 8. Sestava podle kteréhokoli z nároků 2 až 7, vyznačující se tím, že druhá komunikační jednotka (22) je uzpůsobena pro přijímání signálu z GPS jednotky (15) upevněné na bezpilotním leteckém prostředku (1).
9. 9. Sestava podle nároku 5, vyznačující se tím, že server (4) obsahuje grafickou kartu, a přednostně rovněž paměťovou jednotku, na které je uložena softwarová aplikace pro skládání snímků z RGB kamery (10) a termo-kamery (11) přes sebe a vytváření ortofotomap a pro automatické vyznačování plochy aktivního požářiště v ortofotomapách.

   -6CZ 35337 UI
10. 10. Sestava podle nároku 9, vyznačující se tím, že softwarová aplikace uložená v paměťové jednotce serveru (4) je uzpůsobena pro definování zón, vyhodnocování trajektorie objektů a detekci objektů a/nebo událostí v předem zadaných perimetrech.