CZ306641B6

CZ306641B6 - Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru

Info

Publication number: CZ306641B6
Application number: CZ2015-879A
Authority: CZ
Inventors: Luděk Žalud
Original assignee: LTR s.r.o.
Priority date: 2015-12-09
Filing date: 2015-12-09
Publication date: 2017-04-12
Also published as: CZ2015879A3

Abstract

Metoda a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru jsou určeny pro minimalizaci zpoždění mezi vydáním signálu o natočení kamerového manipulátoru a natočením výřezu obrazu o požadovaný úhel. Toho je dosaženo pomocí výřezu obrazu z kompenzačního obrazu a kompenzační oblastí. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) pro použití způsobu zahrnuje řídicí systém (2) spojený s kamerou (4) umístěnou na kamerovém manipulátoru (3), zobrazovací jednotku (5) pro zobrazení určitého výřezu obrazu a ovladač (1) kamerového manipulátoru se snímačem pohybu, přičemž řídicí systém (2) je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery (4), vyznačující se tím, že kamera (4) je uzpůsobena pro snímání kompenzačního obrazu, přičemž zorné pole kompenzačního obrazu je o alespoň 5.degree. větší než zorné pole výřezu obrazu.

Description

Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru

Oblast techniky

Vynález se týká systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, použitého například při přenosu obrazu z kamery umístěné na kamerovém manipulátoru do vzdálené helmy pro virtuální realitu.

Dosavadní stav techniky

V současném stavu techniky jsou známy systémy a metody, ve kterých je mechanický kamerový manipulátor ovládán operátorem, především pak pohybem hlavy pomocí displeje rozšířené reality a snímače, jak je popsáno například v patentu US 7 714 895 B2, kde popisují systém, kdy je kamera připevněna na robotické rameno a podle pohybů člověka, který vnímá scénu okolo robotického ramene prostřednictvím displeje pro virtuální realitu, který má nasazený na hlavě, pohybuje robotickým ramenem.

Výše zmíněné systémy mají problém s časovým zpožděním natočení kamery a tedy i zpožděním posunu obrazu z kamery. To je způsobeno především tím, že například natočení hlavy musí být nejdříve změřeno na snímači, následně bývá obvykle zpracováno a zasláno do mechanického kamerového manipulátoru, zde jsou přes zpětnovazební regulátory aktivovány aktuátory, které konečnou rychlostí začnou otáčet kamerovou hlavicí. Po ustavení hlavice do správné polohy je teprve nasnímán obraz ze správného natočení kamerového manipulátoru a odeslán konečnou rychlostí (obvykle po zpracování) směrem k operátorovi, kde je mu zobrazen. Tím vznikne nesoulad mezi zobrazeným a požadovaným obrazem.

V současnosti jsou známy způsoby softwarové stabilizace obrazu sloužící ke stabilizaci obrazu například rychlého pohybu nebo vibrací, jak je popsáno například v patentu US 8 891 625 B2, kdy popisují způsob stabilizace obrazu vibrujících snímků, přičemž vyhodnocují, zda obraz vibruje a následně vyhodnocují o kolik stupňů a podle toho kompenzují tuto vibraci zobrazením pouze části obrazu, kdy okraj slouží jako kompenzační oblast.

Podstata vynálezu

Výše uvedené nedostatky dosud známých řešení odstraňuje systém pro zrychlení vizuální zpětné vazby kamerového manipulátoru. Systém zahrnuje řídicí systém spojený s kamerou umístěnou na kamerovém manipulátoru, zobrazovací jednotku pro zobrazení určitého výřezu obrazu a ovladač kamerového manipulátoru se snímačem pohybu. Řídicí systém je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery. Podstata výhody spočívá v tom, že kamera je uzpůsobena pro snímání kompenzačního obrazu, zobrazujícího zorné pole o alespoň 5° větší než je zorné pole výřezu obrazu, čehož se dále využívá pro zrychlení vizuální zpětné vazby po vyslání signálu natočení kamerového manipulátoru o požadovaný úhel natočení.

S výhodou se využívá, že zobrazovací jednotkou je kterékoliv zařízení ze skupiny brýle pro virtuální realitu, helma pro virtuální realitu, monitor.

S výhodou se využívá, že ovladačem kamerového manipulátoru je kterékoliv zařízení ze skupiny joystick, helma pro virtuální realitu, brýle pro virtuální realitu, klávesnice, trackball, touchpad.

- 1 CZ 306641 B6

S výhodou se využívá, že snímačem pohybuje kterékoliv zařízení ze skupiny akcelerometr, gyroskop, kapacitní snímač, indukční snímač, magnetometr, odporový snímač, optoelektrický snímač, mikrospínač.

S výhodou se využívá, že kamera s kamerovým manipulátorem je umístěna na mobilním robotu. Ovladačem kamerového manipulátoru a zároveň zobrazovací jednotkou je helma pro virtuální realitu nebo brýle pro virtuální realitu.

S výhodou se využívá, že řídicí systém se skládá z alespoň jedné řídicí jednotky.

Výhodné použití systému pro zrychlení zpětné vazby spočívá v tom, že kamera v první poloze nasnímá kompenzační obraz, který následně předá do řídicího systému, jenž provede výřez obrazu z kompenzačního obrazu a následně zašle výřez obrazu do zobrazovací jednotky. Přičemž s výhodou je výřez obrazu minimálně o 5° menší než zorné pole kompenzačního obrazu. Výřez je ve statické poloze kamery centralizovaný. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazuje kompenzační oblast, určená pro zrychlení vizuální zpětné vazby. Vzniklý výřez obrazu je zaslán do zobrazovací jednotky a zobrazovací jednotka zobrazuje výřez obrazu. Poté co řídicí systém zpracuje signál o požadovaném úhlu natočení ze snímače pohybu, vyšle řídicí systém signál do kamerového manipulátoru a natočí kameru o požadovaný úhel natočení. A zároveň decentralizuje výřez zobrazovaného obrazu zobrazovací jednotkou, kde postupně zobrazuje výřez obrazu ve směru požadovaného pohybu kamery. Kompenzace zpoždění systému se tedy provede krátkodobým posunutím výřezu obrazu do kompenzační oblasti v požadovaném směru.

S výhodou se dále používá krok centralizace výřezu obrazu z kompenzačního obrazu zobrazovaného zobrazovací jednotkou po natočení kamery do požadovaného úhlu.

Objasnění výkresů

Vynález bude dále objasněn pomocí výkresů, na kterých je na obr. 1 znázorněn tradiční systém s kamerovým manipulátorem a na obr. 2 systém s kamerovým manipulátorem pracující s výřezem obrazu a kompenzační oblastí z kompenzačního obrazu.

Příklady uskutečnění vynálezu

Příkladem provedení vynálezu je systém a metoda pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, zahrnující řídicí systém 2, tvořený např. dvěma řídicími jednotkami, první řídicí jednotkou 6 a druhou řídicí jednotkou 7, jak je znázorněno na obr. 1 a obr. 2. K řídicímu systému 2 je na jedné straně připojena kamera 4 snímající zorné pole alespoň 90°, umístěná na kamerovém manipulátoru 3 připevněném na mobilním robotu nebo jiném, ať už stacionárním nebo pohyblivém kamerovém systému. A na druhé straně je k řídicímu systému 2 připojena zobrazovací jednotka 5, např. v podobě helmy virtuální reality obsahující displej se zorným polem alespoň 80°, alternativně může být zobrazovací jednotka provedena jako brýle virtuální reality nebo monitor. Dále je k řídicímu systému 2 připojen ovladač 1 kamerového manipulátoru, který může být např. v podobě helmy virtuální reality, joysticku, brýlí pro virtuální realitu, klávesnice, touchpadu nebo trackballu, přičemž ovladač 1 kamerového manipulátoru obsahuje snímač pohybu tvořený např. akcelerometrem, gyroskopem, kapacitním snímačem, indukčním snímačem, odporovým snímačem, optoelektrickým snímačem, magnetometrem nebo mikrospínačem vysílajícím signály o pohybu např. hlavy nebo ruky do řídicího systému 2. Kamera 4 snímá kompenzační obraz, který je poslán do řídicího systému 2, který provede ve středu kompenzačního obrazu výřez obrazu. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazu je kompenzační oblast. Řídicí systém 2 posílá výřez obrazu do zobrazovací jednotky 5. Při zaznamenání pohybu vyšle snímač pohybu signál o požadovaném úhlu natočení do řídicího systému 2, který ho zpracuje a na základě něho vyšle pokyn k natočení do kamerového manipulátoru 3 a zároveň začne

-2 CZ 306641 B6 posouvat výřez obrazu do kompenzační oblasti. Tato operace se děje decentralizováním výřezu obrazu v kompenzačním obrazu, díky čemuž se minimalizuje zpoždění mezi pokynem k natočení a natočením výřezu obrazu o požadovaný úhel natočení. Při natočení kamery 4 o požadovaný úhel natočení dojde k centralizaci výřezu obrazu.

Claims

PATENTOVÉ NÁROKY

1. Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) zahrnující kameru (4), kamerový manipulátor (3), zobrazovací jednotku (5) a ovladač (1) kamerového manipulátoru se snímačem pohybu, které jsou připojeny k řídicímu systému (2), zahrnující kroky, kdy kamera (4) v první poloze snímá kompenzační obraz, který předává do řídicího systému (2), vyznačující se tím, že řídicí systém (2) provede výřez obrazu z kompenzačního obrazu, přičemž zorné pole výřezu obrazuje minimálně o 5° menší než zorné pole kompenzačního obrazu a výřez obrazu je ve statické poloze kamery centralizovaný, vzniklý výřez obrazu je zaslán do zobrazovací jednotky (5), zobrazovací jednotka (5) zobrazuje výřez obrazu, jakmile řídicí systém (2) zpracuje signál o požadovaném úhlu natočení ze snímače pohybu, řídicí systém (2) odešle zároveň signál kamerovému manipulátoru (3) určující požadovaný úhel natočení kamery (4), a zároveň decentralizuje výřez zobrazovaného obrazu zobrazovací jednotkou (5), kde postupně zobrazuje výřez obrazu ve směru požadovaného pohybu kamery.
2. Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru podle nároku 1, vyznačující se tím, že dále zahrnuje krok centralizace výřezu obrazu z kompenzačního obrazu zobrazovaného zobrazovací jednotkou (5) po natočení kamery (4) do požadovaného úhlu.
3. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) pro použití podle kteréhokoliv z nároku 1 nebo 2 zahrnující řídicí systém (2) spojený s kamerou (4) umístěnou na kamerovém manipulátoru (3), zobrazovací jednotku (5) pro zobrazení určitého výřezu obrazu a ovladač (1) kamerového manipulátoru se snímačem pohybu, přičemž řídicí systém (2) je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery (4), vyznačující se tím, že kamera (4) je uzpůsobena pro snímání kompenzačního obrazu, přičemž zorné pole kompenzačního obrazuje o alespoň 5° větší než zorné pole výřezu obrazu.
4. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle nároku 3, vyznačující se tím, že zobrazovací jednotkou (5) je kterékoliv zařízení ze skupiny brýle pro virtuální realitu, helma pro virtuální realitu, monitor.
5. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že ovladačem (1) kamerového manipulátoru je kterékoliv zařízení ze skupiny joystick, helma pro virtuální realitu, brýle pro virtuální realitu, klávesnice, trackball, touchpad.
6. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že snímačem pohybu je kterékoliv zařízení ze skupiny akcelerometr, gyroskop, kapacitní snímač, indukční snímač, magnetometr, odporový snímač, optoelektrický snímač mikrospínač.
7. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že kamera (4) s kamerovým manipulátorem (3) je umístěna na mobilním robotu a tím, že ovladačem (1) kamerového manipulátoru a zobrazovací jednotkou (5) je helma pro virtuální realitu nebo brýle pro virtuální realitu.

-3 CZ 306641 B6
8. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že řídicí systém (2) se skládá z alespoň jedné řídicí jednotky.