CZ32686U1 - Zařízení pro bezdrátovou časovou synchronizaci videozáznamů více kamer - Google Patents

Description

Oblast techniky

Technické řešení se týká zařízení pro bezdrátovou časovou synchronizaci videozáznamů více kamer, které používá pro synchronizaci videozáznamů 3 formy časových kódů, vkládaných do videozáznamu.

Dosavadní stav techniky

Systémy pro časovou synchronizaci kamer se v televizní technice používají již od padesátých let 20. století, a to v podobě přímé synchronizace snímkovací frekvence pomocí externě generovaného signálu, ze kterého je odvozena snímkovací frekvence všech kamer a jiných zdrojů videosignálu ve studiu. Tento způsob synchronizace se nazývá „Genlock“. Dodnes se používá proto, aby při každém přepnutí mezi různými zdroji videa nedocházelo na straně přijímačů k dočasné ztrátě vertikální synchronizace obrazu. Přepínání mezi různými kamerami v režii vysílání je totiž častý a běžný úkon, který se např. u přenosů sportovních utkání provádí neustále.

Po potřeby editace audio a video záznamů pak v 60. letech vzniklo několik proprietámích systémů s časovými kódy (timecode). V roce 1967 firma EECO vytvořila systém pro editaci časových kódů ON-TIME a právě jejich verze časového kódu se v roce 1970 stala základem pro otevřený standard časového kódu SMPTE-12M, který je dodnes široce používán ve většině audio a video systémů. Poslední revize tohoto standardu vznikla v roce 2014.

V současné době je na trhu několik existujících zařízení, která umožňují synchronizaci video rámců pomocí časového kódu a blíží se tak předloženému technickému řešení.

Jedná se např. o síťový programovatelný systém přenosu časových kódů a metadat podle patentové přihlášky USA US 20150373230 (SyncBac PRO) ve verzi pro GoPro HERO4 nebo HERO6. Ve srovnání s předloženým technickým řešením má ale toto zařízení následující nevýhody:

• při ztrátě synchronizačního radiového signálu postižené zařízení SyncBac PRO okamžitě ztratí synchronizaci, • obnova synchronizace může trvat déle vlivem radiového rušení na použitém kanále, • vizuální indikace časového kódu na LCD displeji zařízení má přesnost odpovídající periodě obnovovací frekvence LCD displeje, tzn. typicky 1/60 s = +/-16 ms, • zařízení nemá žádný pomocný LED displej s pomocným časovým kódem, • zařízení lze použít pouze s kamerami jednoho výrobce a jednoho typu, protože synchronizační signál se do kamery přivádí přes proprietámí konektor a proprietámí protokol a zaznamenává se do metadat MP4 souboru.

Další skupinu známých zařízení tvoří jednoduché výrobky bez displeje (Tentacle sync, TIG Q28, NanoLockit). Všechny generují Longitidinal time code (LTC) dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M. Synchronizace jednotlivých zařízení Tentacle a TIG Q28 se provádí jejich propojením kablíkem. Po synchronizaci jednotlivá zařízení zůstávají synchronizovaná po dobu několika hodin. Zařízení NanoLockit se synchronizují pomocí radiového signálu. Ve srovnání s předloženým technickým řešením těmto výrobkům zcela chybí schopnost generovat časový kód vizuálně, např. ve formátu BITC.

- 1 CZ 32686 UI

Zařízení s LED displejem, zobrazujícím BITC časový kód, které přijímá i vysílá synchronizační SMPTE časový kód po kabelu. (Time Code Sync Master mini) na rozdíl od předloženého technického řešení neposkytuje bezdrátový přenost časového kódu. Maximální nastavitelná rychlost rámců je 30 rámců za sekundu, tzn. přesnost synchronizace při využití BITC časového kóduje +/-33 ms.

Podstata technického řešení

K odstranění výše uvedených nedostatků známých řešení časové synchronizace kamer přispívá do značné míry zřízení pro bezdrátovou časovou synchronizaci videozáznamů více kamer podle předloženého technického řešení. Podstata technického řešení spočívá v tom, že toto zařízení je tvořeno vysílačem infračerveného signálu referenčního časového kódu a přijímači, z nichž každý je propojen s jednou kamerou. Každý z přijímačů obsahuje IR přijímač synchronizačního signálu referenčního časového kódu vysílače, generátor audio signálu s časovým kódem pro kameru a OLED displej s pomocným LED indikátorem ke zobrazení aktuální časové značky.

Přijímače dále s výhodou obsahují lokální hodiny na bázi teplotně kompenzovaných krystalových oscilátorů k zajištění funkčnosti po výpadku nebo vypnutí vysílače.

Výstupem generátoru je s výhodou audio signál pro kameru s časovým kódem na principu fázové modulace - Longitidinal time code (LTC) dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M.

Aktuální časová značka je na OLED displeji s výhodou zobrazena jako časový kód Bum-In Time Code (BITC) dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M. Na pomocném LED indikátoru je pak s výhodou implementována jako Auxiliary Time Code (ATC) časový kód dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M, který je zobrazován jako cyklicky se opakující zrcadlový binární (Grayův) kód nebo „sloupcový“ kód.

Technické řešení tedy používá pro synchronizaci videozáznamů 3 formy časových kódů, vkládaných do videozáznamu:

• lineární časový kód LTC (Linear TimeCode) - dle nastavení konfigurace systému vlastní proprietámí kód, nebo LTC kód dle standardu SMPTE-12.

• časový kód BITC (Bum-In Time Code) dle standardu SMPTE-12 pomocný časový kód (Auxiliary Time Code, „ATC“), zobrazený na LED indikátoru pomocí Grayova kódu „sloupcového“ kódu.

Novými prvky a přínosy předloženého technického řešení tedy jsou:

• použití nového, originálně navrženého kódování lineárního časového kódu v audio stopě video nahrávky. Toto kódování zlepšuje odolnost proti šumu v audiozáznamu až o 22 dB oproti běžnému standardu SMPTE LTC.

• použití nového, originálně navrženého BITC pomocného časového kódu „ATC“, který má následující vlastnosti:

— Rozlišení časového kódu menší nebo rovno Ims, — Grayovo kódování pro omezení rozmazání kódu vlivem delší expozice.

-2CZ 32686 Ul • použití IR přenosu pro distribuci časového kódu. Výhodou IR přenosu je — zanedbatelný jitter (rozptyl zpoždění přenosu) mezi jednotlivými přijímači, — zanedbatelný odběr proudu přijímací elektroniky.

Zařízení podle předloženého technického řešení tedy překonává dosavadní stav techniky použitím několika unikátních technických prvků, díky čemuž dosahuje řádově větší přesnosti synchronizace a vyšší užitné hodnoty.

Objasnění výkresů

K bližšímu objasnění podstaty technického řešení slouží přložené výkresy, kde představuje:

Obr. 1: Příklad celkového uspořádání zařízení podle technického řešení.

Obr. 2: Blokové schéma přijímače.

Příklad uskutečnění technického řešení

Zařízení v příkladném provedení (viz obr. 1) se skládá z vysílače 1, který vysílá referenci času formou infračerveného (IR) signálu a z přijímačů 2, z nichž každý z přijímačů 2 je propojen pomocí běžného audio kabelu s jednou kamerou 3.

Centrální vysílač 1 IR signálu s časovým kódem umožňuje uživateli nastavit aktuální čas, který pak dále udržuje pomocí přesných interních hodin. V pravidelných intervalech nebo na povel uživatele pak čas vysílá pomocí infračervených diod do prostoru.

Principiální výhoda použití IR přenosu pro distribuci časového kóduje velmi malý jitter (rozptyl zpoždění přenosu) mezi jednotlivými přijímači 2. Díky tomu synchronizační algoritmus nemusí jitter latencí přenosového média brát v úvahu.

Další výhodou IR přenosu je to, že vysílač 1 nemusí testovat a čekat na to, až bude přenosový kanál volný. Není to potřeba proto, že v systému žádný jiný vysílač není a trvalé rušení od cizích systémů není předpokládáno.

Pro kódování časového kódu do IR signálu je využita modulace volně inspirovaná protokolem SIRC. Logická jednička je reprezentována vysíláním nosné frekvence 40 kHz po dobu 1,2 ms, následovaným 0,6 ms bez vysílání. Logická nula je pak reprezentována vysíláním nosné frekvence po dobu 0,6 ms, následovaným 0,6 ms bez vysílání.

Úkolem každého přijímače 2 (viz blokové schéma obr. 2) je získat prostřednictvím IR přijímače 2.1 synchronizačního signálu referenčního časového kódu od vysílače 1 přesný čas, udržovat tento čas přesný pomocí lokálních hodin na bázi teplotně kompenzovaných krystalových oscilátorů a zprostředkovávat ho prostřednictvím generátoru 2.2 audio signálu ve formě LTC časového kódu kameře 3, která ho zaznamenává. Přijímače 2 dále obsahují prvky ke zobrazení aktuální časové značky - OLED displej 2.3 zobrazující BITC časový kód a pomocný LED indikátor 2.4 zobrazující ATC časový kód. Pokud se OLED+LED zobrazení časové značky zakomponuje do obrazu snímané scény (umístěním přijímače 2 do zorného pole kamery 3), je pak možné tuto časovou značku v obraze najít a použít k synchronizaci video záznamu.

Spolupráce jednotlivých funkčních bloků přijímače 2 s ostatními komponentami systému je

-3CZ 32686 Ul znázorněna na obr. 2. Po zaznamenání několika po sobě jdoucích pulzů od vysílače 1 je přijímač 2 schopen vykompenzovat odchylky způsobené přenosem časového kódu a nastavit si vlastní přesný čas, který odpovídá času na vysílači L Takto nastavený čas lze na straně přijímače udržovat pomocí lokálních hodin s dostatečnou přesností po dobu několika hodin, poté může dojít vzhledem k přesnosti použitého krystalu k příliš vysoké odchylce. Proto je nutné vzájemnou synchronizaci přijímačů 2 periodicky (jednou za několik hodin) obnovovat přijetím další časové značky z IR vysílače 1 do přijímačů 2.

Pro zakódování aktuálního času do audio signálu je stejně jako u LTC dle normy SMPTE 12M použita fázová modulace. Pro zvýšení odolnosti proti rušení a šumu je navíc před každou časovou značkou vysílán 13-bitový Barkerův kód, který je použit pro spolehlivou detekci začátku a fáze LTC kódu. Teoretický zisk („zesílení“) u 13-bitového Barkerova kóduje cca 22 dB.

Časový kód BITC (Bum-In Time Code) je zobrazován na OLED displeji 2,3 ve standardním formátu dle standardu SMPTE 12M a na LED indikátoru 2,4 ve vlastním formátu „ATC“.

Protože OLED displeje 2,3 mají omezenou obnovovací frekvenci (cca 100 Hz), kterou navíc u většiny OLED displejů nelze měnit, budou se v závislosti na snímkovací frekvenci použité kamery 3 ve videozáznamu objevovat následující „artefakty“:

• v některých videorámcích bude displej zachycen ve stavu obnovování, tj. s černým pruhem (místo obsahu).

• Pokud bude snímkovací frekvence kamery násobně pomalejší než obnovovací frekvence displeje, bude časový kód na nejméně významných číslicích rozmazán.

Z tohoto důvodu je OLED displej 2,3 doplněn ještě pomocným LED indikátorem 2,4 s ATC časovým kódem. ATC časový kód je zobrazován/implementován jako cyklicky se opakující zrcadlový binární (Grayův) kód nebo „sloupcový“ kód. Volbu typu kódu provádí uživatel v nastavení - konfiguraci přijímače. Oba kódy mají zvláštní vlastnost: při každé změně časového kódu se zobrazení LED indikátoru 2,4 mění pouze o 1 bit. Pokud by byl použit jiný - např. přímý binární kód, pak změna časového kódu z hodnoty např. OxOF na 0x10 přesně v době expozice snímku bude ve videu zachycena nesprávně/nepředvídatelně, a to v závislosti na snímkovací frekvenci a typu obrazového senzoru.

Co se týče typu senzoru kamery 3, klíčový je způsob expozice:

• senzory s expozicí typu „Rolling shutter“ - případ většiny běžných kamer s CMOS obrazovým senzorem, z nějž se pixely čtou postupně řádek po řádku metodou „progressive scan“, přičemž jakmile je pixel přečten, ihned se znovu exponuje. Nevýhodou Rolling shutteru jsou artefakty při záznamu rychlých dějů.

• senzory s expozicí typu „Global shutter“ - exponují celý obraz najednou. Pixely se vyčítají až po ukončené expozici. Kamery s Global shutter jsou dražší a mívají nižší fps, takže je téměř jisté, že většina uživatelů zařízení podle předloženého technického řešení bude používat kamery s expozicí typu „Rolling shutter“.

K bližšímu vysvětlení významu použití různých typů kódu (Grayův, sloupcový, přímý...) slouží následující konkrétní příklad:

bude použita kamera 3 s běžným senzorem typu Rolling shutter, rozlišením 1024x768 a 60 fps, tzn. jeden rámec bude trvat 16 ms. LED indikátor 2,4, umístěný před kamerou 3 horizontálně (na šířku) v obraze zabírá oblast o výšce např. 24 řádků (= 768/32), tzn. LED indikátor se bude exponovat 16 ms/32 = 0,5 ms. Pokud se na LED indikátoru 2,4 bude měnit hodnotu každou 1 ms, pak je pravděpodobnost toho, že hodnota na indikátoru se změní někdy v době expozice

-4CZ 32686 UI indikátoru, rovna 0,5 ms/1 ms = 50 %. Ph použití Grayova nebo sloupcového kódu bude 50 % případů jedna LED dioda exponována s několika řádky svítícími, ale na zbytku řádků bude zhaslá (nebo naopak). S tímto jevem se dekódovací SW snadno vyrovná. Je dokonce možné uvažovat, že dekódovací SW na základě počtu rozsvícených/zhaslých řádků může odhadovat čas expozice i s přesností lepší, než 1 ms.

Průmyslová využitelnost

Každý přijímač 3 zařízení podle předloženého řešení je schopen vkládat časový kód do video streamu dvěma způsoby:

• do obrazu Burn-in Time Code (BITC) pomocí OLED displeje 2.3 a LED indikátoru 2.4 • do zvuku Linear Time Code (LTC)

Volba metody závisí na preferenci uživatele a na použité kameře - např. kamera, která neumožňuje do videa zaznamenávat zvukový vstup, nemůže použít LTC.

Vkládání časového kódu do obrazu probíhá tak, že uživatel do zorného pole kamery 3 umístí vizuální indikátor časové značky, což je OLED displej 2.3, resp. LED indikátor 2.4 na přijímači 2, na kterých je zobrazován čas v milisekundách a číslo rámce.

Při vkládání časového kódu do zvukového kanálu videa lze časový kód z přijímače 2 nahrát do audio stopy nahrávky, pokud má kamera:

• vstup „Line-in“ pro připojení externích zdrojů zvukového signálu - pak lze přijímač 2 propojit s kamerou 3 běžným audio kabelem, • mikrofon (a nemá vstup Line-in) - pak je nutné k výstupu přijímače 2 připojit sluchátka a ty připevnit k mikrofonu kamery 3. Při přenosu zvuku přes reproduktor do mikrofonu kamery 3 je ale problém v tom, že na scéně nebude nikdy úplné ticho. Tzn. audio signál kódu LTC na audio stopě videonahrávky bude rušen hlukem herců nebo prostředí scény. Proto časový kód nemůže používat jen jednoduchou modulaci typu AM/FM/PM, ale musí se použít nějaký vhodný kód, který zvýší odolnost proti šumu na pozadí. Používáme se proto metodu rozprostřeného spektra pomocí kódu Barker.

Claims (5)

1. NÁROKY NA OCHRANU

   1. Zařízení pro bezdrátovou časovou synchronizaci videozáznamů více kamer, vyznačující se tím, že je tvořeno vysílačem (1) infračerveného signálu referenčního časového kódu a přijímači (2), z nichž každý je propojen s jednou kamerou (3) a obsahuje IR přijímač (2.1) synchronizačního signálu referenčního časového kódu vysílače (1), generátor (2.2) audio signálu s časovým kódem pro kameru (3) a OLED displej (2.3) s pomocným LED indikátorem (2.4) ke zobrazení aktuální časové značky.
2. 2. Zařízení podle nároku 1, vyznačující se tím, že přijímače (2) dále obsahují lokální hodiny na bázi teplotně kompenzovaných krystalových oscilátorů k zajištění funkčnosti po výpadku nebo vypnutí vysílače (1).
3. 3. Zařízení podle nároku 1, vyznačující se tím, že výstupem generátoru (2.2) je audio signál pro kameru (3) s časovým kódem na principu fázové modulace - Longitidinal time code (LTC)

   -5 CZ 32686 Ul dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M.
4. 4. Zařízení podle nároku 1, vyznačující se tím, že aktuální časová značka je na OLED displeji (2.3) zobrazena jako časový kód Bum-In Time Code (BITC) dle standardu Society of Motion
5. 5 Picture and Television Engineers (SMPTE) 12M.

   5. Zařízení podle nároku 1, vyznačující se tím, že aktuální časová značka je na pomocném LED indikátoru (2.4) implementována jako Auxiliary Time Code (ATC) časový kód dle standardu Society of Motion Picture and Television Engineers (SMPTE) 12M, který je io zobrazován jako cyklicky se opakující zrcadlový binární (Grayův) kód nebo sloupcový kód.