CZ2020288A3 - Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény a zařízení pro provádění tohoto způsobu - Google Patents

Abstract

Předmětem vynálezu je způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně. Způsob zahrnuje nastavení odlišných směrů exponování čipů (10, 20). Pro alespoň jednu dvojici obrazů (P.10, P.20) nasnímaných po exponování čipů (10, 20) kamerami (1, 2) se detekuje alespoň jedna dvojice korespondujících oblastí v obrazech (P.10, P.20). Každé z těchto dvojic korespondujících oblastí odpovídá jeden z význačných 3D objektů (Ei) scény. Zjistí se polohy korespondujících oblastí v obrazech a údaje o časech exponování světlocitlivých elementů čipů (10, 20), které odpovídají korespondujícím oblastem nebo o vzájemném posunu těchto časů. Zvolí se model relativního pohybu zařízení vůči scéně. Vypočtou se parametry modelu pohybu podle údajů a informací o vzájemné poloze a vzájemné orientaci kamer (1, 2) a směrech exponování čipů (10, 20). Způsob lze provádět v zařízení, kde směr exponování prvního čipu (10) první kamery (1) svírá úhel 90 stupňů ± 5 stupňů se směrem exponování druhého čipu (20) druhé kamery (2).

Description

Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény a zařízení pro provádění tohoto způsobu

Oblast techniky

Vynález se týká zařízení pro snímání obrazu s více kamerami a/nebo fotoaparáty s plovoucí závěrkou (anglicky rolling shutter, zkratka RS), například mobilních telefonů, robotických systémů, autonomních aut.

Dosavadní stav techniky

Deformace v obraze, které jsou způsobené elektronickou plovoucí závěrkou (zkráceně RS deformace nebo také RS efekt, přičemž pojmy RS deformace a RS efekt používáme v celém textu jako synonyma), jsou všudypřítomným jevem v situacích, kdy je obrazové záznamové zařízení, typicky kamera nebo fotoaparát, v pohybu vůči scéně nebo části scény při nahrávání videa či pořizovaní fotografií.

RS deformace přitom vedou nejen k vizuálnímu znehodnocení obrazu, ale znesnadňují také výpočetní metody počítačového vidění, které ze zdeformovaného obrazu vycházejí. Ze zdeformovaného obrazu se obtížně určují parametry modelu pohybu a polohy a orientace záznamového zařízení vůči scéně, které mohou být samy o sobě důležité pro různé aplikace, jež pro svou činnost vyžadují informace o pohybu zařízení. Příkladem z oblasti herního průmyslu může být, např. hra Pokémon GO, příkladem z oblasti zpracování obrazu, např. stabilizace videa dle reference [11] či odstranění rozmazání obrazu dle reference [12], ale vhodné aplikace jsou i v jiných oborech jako například virtuální a rozšířená realita. Přitom podaří-li se parametry modelu pohybu korektním způsobem získat, lze je využít nejen samy o sobě, ale též k odstranění deformací v obraze vzniklých RS efektem.

Správné zjištění parametrů modelu pohybuje tedy velmi důležité a je provázáno s RS deformacemi dvěma způsoby: RS deformace často brání správnému zjištění parametrů modelu pohybu, ale když se s RS deformacemi podaří vhodně pracovat, lze to využít nejen ke zjištění parametrů modelu pohybu, ale i k odstranění těchto deformací. Odstranění RS deformací způsobených plovoucí závěrkou se doposud nejčastěji řeší pomocí jednoho snímku z jedné kamery nebo pomocí sekvencí více snímků z jedné kamery pořízených v různém čase, mezi kterými se hledají vhodné klíče k popsání pohybu kamery a následnému odzkreslení obrazu, jak je popsáno, např. v publikacích [4, 5,6, 7, 8],

Uvedené metody jsou zpravidla závislé na obsahu pořízených obrázků, šité na míru konkrétním situacím a pouze některým druhům pohybu nebo vyžadují znalost parametrů kamery, které lze spolehlivě získat pouze náročnou kalibrací.

Žádná z uvedených metod neobsahuje kroky, na jejichž základě by bylo možné dostatečně korektně a dostatečně nezávisle na typu scény spočítat parametry modelu pohybu a ty buď využít samy o sobě, nebo na jejich základě docílit vizuálně nerušivého odstranění obrazových deformací a/nebo kvalitně zrekonstruovat 3D hloubkovou mapu scény.

Existují i systémy s více kamerami, které se snaží problém řešit. V publikaci [1] je popsán systém dvou kamer s překrývajícím se zorným polem, jejichž vzájemná poloha je známá. Ze dvou obrazů pořízených těmito kamerami pak autoři odhadují pohyb objektu nebo kamer v okamžiku pořízení obrazů a pomoci parametrů tohoto pohybu pak rekonstruují 3D scénu. Polohu jednotlivých 3D bodu scény přitom vypočtou za pomocí dostatečné vzdálenosti mezi kamerami (jde o stereosnímání a za pomoci zjištěných parametrů modelu pohybu. Pomocí zjištěných parametrů pohybu pak dokážou tyto body promítnout do obrazu, jako by byl bez deformací.

-1 CZ 2020 - 288 A3

Toto řešení ale v mnoha situacích selhává, například při konstrukčním řešení a nastavení, které je běžné pro mobilní telefony. V mobilních telefonech jsou středy kamer velmi blízko u sebe a kamery mají nastaven stejný směr exponování čipů. Kamery se stejným směrem exponování čipů jsou přitom v publikaci [1] explicitně ukázány, jiné nastavení autoři neuvažují. Za těchto okolností při malé vzdálenosti kamer od sebe není dostatek informací k triangulaci bodů a navržená metoda selže. V případě rovnoměrného translačního pohybu metoda selhává i pro kamery se vzdálenějšími středy.

Ke správnému zjištění pohybu, 3D rekonstrukci či odkreslení deformací obrázků pro případ obecného pohybu kamer vůči scéně a pro libovolnou konfiguraci kamer včetně konfigurace s kamerami tak blízko u sebe, jak je běžné u mobilních telefonů, je tato metoda nevhodná. Bez výrazně rozdílného směru exponování čipů obou kamer není totiž v případě kamer umístěných blízko sebe možné docílit správného zjištění parametrů pohybu, 3D rekonstrukce scény ani odzkreslení deformací obrazů.

V publikaci [2] či v patentovém spisu US 10410372 autoři používají systém více kamer s plovoucí závěrkou pro detekci a sledovaní rychle se pohybujících objektů a výpočet parametrů modelu pohybu kamer. Za tímto účelem však využívají radiální zkreslení čoček kamer, které je pro jejich metodu nezbytné. Jejich řešení používá deset kamer, které mají značně rozdílné umístění a musí být ve stereo párech, tedy s dostatečnou vzdáleností od sebe vzhledem ke scéně. Autoři nenavrhují řešení, které by bylo aplikovatelné na kamery umístěné v malé vzdálenosti od sebe, a už vůbec ne pro kamery, které jsou umístěny těsně u sebe jako například u mobilních telefonů. Autoři také uvádějí, že jejich řešení nebude fungovat dobře pro dvě kamery.

V publikaci [3] jsou popsány kamery otočené vzájemně o 90 stupňů. Účelem této konfigurace je rozšíření úhlu záběru. Metoda umožňuje zjistit parametry modelu pohybu, avšak pro toto zjištění není využito výše popsané vzájemné pootočení kamer, naopak je k tomuto zjištění nutné radiální zkreslení čoček kamer. Metodu nelze aplikovat na některé jiné konfigurace kamer, například na dvojici kamer velmi blízko u sebe jako kamery používané na mobilních telefonech, jak autoři sami uvádějí.

Patentový dokument US 2015271483 popisuje vzájemnou synchronizaci dvou kamer ve směru exponování plovoucí závěrky. Tato synchronizace je pak využita k tomu, aby 2D panorama složené z obrazů obou kamer nebo 3D obraz složený z obrazů obou kamer nebyly rozmazané. V dokumentu ale není popsáno odstranění deformací v jednotlivých nesložených obrazech, ty odstraněny nejsou, pouze je díky synchronizaci závěrek obou kamer zajištěno, že se deformace ve složených 2D panoramatech nebo ve 3D obraze ještě nezhoršují.

V patentovém dokumentu US 2016050370 je popsána prostorová konfigurace kamer, jejichž plovoucí závěrky exponují čip v opačném směru. Cílem je, aby se překrývající se část obrazů obou kamer snímala v co nej podobnějších časech, aby artefakty způsobené plovoucí závěrkou byly v obou kamerách podobné a obrázky se dobře spojovaly do panoramat. Ani tento dokument neřeší odstranění deformací obrazu, je zaměřen na spojování snímků do panoramat.

Z patentového dokumentu US 200915371 je rovněž známo zařízení s dvěma čipy s plovoucí závěrkou, přičemž první směr exponování je opačný než druhý směr exponování. Toto zařízení se používá pro korekci deformací vzniklých v obraze v důsledku pohybu objektu. Navržený způsob korekce deformací, ale nevyužívá modely pohybu, proto je výpočetně náročný. Popsaný způsob také neumožňuje získat hloubkovou mapu. Není navrženo ani zařízení, které by jednoduchou změnou exponování po řádcích na exponování po sloupcích v jedné z kamer umožnilo provádět korekce deformací obrazu.

Ze stavu techniky není známé žádné zařízení, které by dostatečně efektivně řešilo problém RS deformací například i v mobilních telefonech, kde není možné kamery rozestavovat ve větší vzdálenosti od sebe, a které by bylo aplikovatelné na libovolný typ pohybu.

- 2 CZ 2020 - 288 A3

Podstata vynálezu

Výše uvedené nedostatky odstraňuje navržený způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu tohoto zařízení vůči scéně nebo části scény a zařízení pro provádění tohoto způsobu. V tomto zařízení jsou obsaženy alespoň dvě kamery s plovoucí závěrkou, přičemž směr exponování prvního čipu první kamery je odlišný od směru exponování druhého čipu druhé kamery. Díky tomuto pootočení a RS efektu je při relativním pohybu zařízení vůči scéně nebo části scény rozdíl v deformacích v obrazech nasnímaných první kamerou oproti deformacím v obrazech nasnímaných druhou kamerou. Když se takto zkonstruovaným zařízením nasnímají obrazy scény, která je v relativním pohybu vůči zařízení, lze uvedené efekty v obrazech důvtipně využít, jak pro zjištění parametrů modelu pohybu zařízení vůči scéně nebo části scény, tak následně například i pro určení poloh a orientací čipů kamer vůči scéně nebo části scény, odstranění RS efektu a vytvoření hloubkové mapy scény, přičemž způsob je aplikovatelný dokonce i na mobilní telefony a na libovolný typ pohybu.

Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény podle předkládaného vynálezu se provádí v zařízení, které je osazeno alespoň dvěma kamerami s plovoucí závěrkou, z nichž každá má svůj čip se světlocitlivými elementy. Podstatou tohoto způsobuje, že zahrnuje:

a) nastavení směrů exponování čipů kamer tak, že směr exponování prvního čipu první kamery je odlišný od směru exponování druhého čipu druhé kamery;

b) snímání obrazů kamerami při relativním pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde snímání obrazů zahrnuje exponování čipů, při němž mají první čip první kamery a druhý čip druhé kamery v podstatě neměnnou vzájemnou polohu a v podstatě neměnnou vzájemnou orientaci, a zpracování získaných dat do podoby obrazů, přičemž alespoň část scény v zorném poli první kamery obsahuje alespoň po část doby exponování prvního čipu první kamery alespoňjeden význačný 3D objekt scény, který je během alespoň části doby exponování druhého čipu druhé kamery také v zorném poli druhé kamery a který je také alespoň po část doby exponování čipů v relativním pohybu vůči zařízení pro snímání obrazů;

c) pro alespoň jednu dvojici obrazů nasnímaných kamerou a kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu • detekování alespoň jedné dvojice navzájem korespondujících oblastí, když každé z těchto dvojic navzájem korespondujících oblastí odpovídá jeden z význačných 3D objektů scény, • zjištění polohy korespondující oblastí v obraze nasnímaném první kamerou a zjištění polohy korespondující oblasti v obraze nasnímaném druhou kamerou a • zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů prvního čipu, které odpovídají korespondující oblasti v obraze nasnímaném první kamerou a zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů druhého čipu, které odpovídají korespondující oblasti v obraze nasnímaném druhou kamerou; nebo zjištění alespoň jednoho údaje o vzájemném posunu těchto časů;

d) zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu první kamery a druhého čipu druhé kamery, a výpočetní určení parametrů tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí a údajů o časech exponování nebo o jejich vzájemném posunu zjištěných v kroku c) a na základě informací o vzájemné poloze a vzájemné orientaci první kamery a druhé kamery a o směrech exponování čipů nastavených v kroku a).

-3CZ 2020 - 288 A3

Je výhodné zvolit model pohybu buď z první skupiny modelů pohybu obsahující rotaci, translaci a jejich kombinace, nebo z druhé skupiny modelů pohybu obsahujících údaje o posunech poloh korespondujících oblastí v obrazech nasnímaných kamerami, kde posun polohy je pro každou dvojici navzájem korespondujících oblastí definován jako trajektorie, po které se při předpokládaném typu relativního pohybu kamer vůči scéně nebo části scény musí virtuálně posunout poloha korespondující oblasti v obraze nasnímaném první kamerou tak, aby se kryla s polohou jí odpovídající korespondující oblasti v obraze nasnímaném druhou kamerou.

Parametry modelu pohybu se mohou použít například k určení poloh a orientací každé z kamer vůči scéně nebo části scény v závislosti na čase během doby exponování čipů.

Parametry modelu pohybu se mohou také použít k odstranění deformací v obraze nasnímaném první kamerou a/nebo v obraze nasnímaném druhou kamerou, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.

V dalším výhodném provedení se polohy a orientace kamer vůči scéně nebo části scény v závislosti na čase během doby exponování čipů se použijí k odstranění deformací v obraze nasnímaném kamerou a/nebo v obraze nasnímaném kamerou, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.

Je rovněž možné provedení, v němž se pro alespoň jednu dvojici obrazů nasnímaných první kamerou a druhou kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere alespoň jedna dvojice navzájem korespondujících oblastí v těchto dvou obrazech nasnímaných první a druhou kamerou a pro každou z těchto vybraných dvojic korespondujících oblastí se pomocí parametrů modelu pohybu spočte hloubka toho 3D objektu scény, který jim odpovídá.

Následně je možné hloubky jednotlivých 3D objektů scény se použít k vytvoření 3D hloubkové mapy scény.

Výhodná jsou provedení, v nichž krok nastavení směru exponování čipů zahrnuje otočení čipu v alespoň jedné z kamer a/nebo změnění pořadí, v jakém jsou exponovány řádky nebo sloupce čipu, v alespoň jedné z kamer a/nebo změnění typu exponování v jedné z kamer z exponování po řádcích na exponování po sloupcích nebo opačně.

Nastavení směrů exponování v kroku a) se může s výhodou provést tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu dmhé kamery je 90 stupňů ± 5 stupňů.

V jiném výhodném provedení se nastavení směrů exponování v kroku a) provede tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu dmhé kamery je 180 stupňů ± 5 stupňů.

Je výhodné, když jsou optické osy obou kamer navzájem rovnoběžné.

Rovněž je výhodné, je-li vzdálenost mezi středy kamer menší než 5 cm.

Výhodné je také provedení, v němž model pohybu obsahuje pouze rotaci.

V případě vzdálenosti mezi středy kamer menší než 5 cm a pokud model pohybu obsahuje pouze rotaci, je možné parametry modelu pohybu vypočtené pro kteroukoli dvojici nebo skupinu dvojic navzájem korespondujících oblastí v obrazech nasnímaných první a dmhou kamerou použít pro odstranění deformací vzniklých v libovolném bodě nebo v libovolných bodech obrazu kterékoli z kamer, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.

-4CZ 2020 - 288 A3

Je možné rovněž provedení, v němž model pohybu sestává z údajů o posunech poloh navzájem korespondujících oblastí v obrazech nasnímaných kamerami a parametry modelu pohybu sestávají z množiny parametrů definujících trajektorii posunu polohy korespondující oblasti v obraze nasnímaném první kamerou, po které se tato korespondující oblast v obraze nasnímaném kamerou musí posunout pro překrytí s odpovídající korespondující oblastí v obraze nasnímaném druhou kamerou.

V posledně uvedeném provedení je možné pro alespoň jednu dvojici obrazů nasnímaných kamerou a kamerou na základě exponování čipů těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu vybrat dvojice navzájem korespondujících oblastí v těchto obrazech nasnímaných první a druhou kamerou a z parametrů modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí vypočíst korigovanou polohu, která odpovídá témuž význačnému 3D objektu scény jako vybraná dvojice korespondujících oblastí. Tato korigovaná poloha přitom odpovídá poloze projekce tohoto význačného 3D objektu scény v obraze s odstraněnými deformacemi vzniklými relativním pohybem kamer vůči scéně nebo části scény. Následně se proces buď ukončí, nebo se pokračuje výběrem další dvojice navzájem korespondujících oblastí v téže dvojici obrazů nasnímaných první a druhou kamerou pro jiný význačný 3D objekt scény, dokud není zjištěna korigovaná poloha v obraze s odstraněnými deformacemi pro všechny 3D objekty scény, kterým odpovídají vybrané dvojice korespondujících oblastí.

V předešle uvedeném provedení je výhodné, když výpočet korigované polohy pro vybranou dvojici navzájem korespondujících oblastí v obrazech nasnímaných kamerami sestává z interpolace podél trajektorie definované parametry modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí.

V jednom výhodném provedení je zařízení pro provádění tohoto způsobu konstruováno tak, že úhel mezi směrem exponování prvního čipu první kamery a směrem exponování druhého čipu druhé kamery je 90 stupňů ± 5 stupňů.

Předkládaný vynález tedy poskytuje možnost využít efektů, speciálně deformací, vzniklých v obrazech v důsledku relativního pohybu zařízení vůči scéně nebo části scény a s tím spojeného RS efektu k získání parametrů modelu relativního pohybu zařízení vůči scéně nebo části scény, na jejichž základě je následně možné například korigovat uvedené deformace v obrazech nebo získat 3D mapu scény, a to i pro systémy kamer umístěných velmi blízko sebe, jak je tomu, např. v mobilních telefonech. Řešení známá ze stavu techniky tyto možnosti nenabízela.

Objasnění výkresů

Příklady provedení předkládaného vynálezu jsou uvedeny v přiložených obrázcích.

V obr. la až 1c jsou znázorněny příklady možností různých směrů exponování čipů v mobilním telefonu se dvěma kamerami na stejné straně zařízení.

V obr. 2 je ilustrace vzniku RS efektu.

V obr. 3 je ilustrace modelu pohybu obsahujícího údaje o posunech poloh korespondujících oblastí v obrazech P.10, P.20 nasnímaných kamerami 1, 2.

V obr. 4 jsou schematicky naznačeny rychlosti exponování čipů 10. 20, vybrané řádky těchto čipů a současně také těmto čipům odpovídající obrazy P.10. P.20 nasnímané kamerami 1, 2, to vše při translačním relativním pohybu soustavy kamer L 2 vůči scéně.

-5CZ 2020 - 288 A3

Příklady uskutečnění vynálezu

I když j sou níže popsána některé podrobná provedení vynálezu, j e třeba mít na paměti, že j de pouze o příklady, které lze různě modifikovat, přičemž i modifikovaná řešení budou spadat do rozsahu ochrany definovaného přiloženými patentovými nároky. Níže podrobněji popsaná provedení ukazují pouze některá z mnoha možných řešení, která spadají do ochrany vynálezu a ilustrují vynálezeckou myšlenku.

V následujícím textu budeme používat tyto pojmy a definice:

Zařízení pro snímání obrazů - jakékoli zařízení obsahující nějaké součásti schopné snímat obraz, speciálně tím v tomto textu rozumíme soustavu kamer, kterých může být různý počet a mohou být navzájem odlišně konstruované, vysvětlení termínu kamera viz níže.

Kamera - zahrnuje zařízení schopné pořizovat jednorázový statický záznam obrazu, typicky fotoaparát v režimu fotografie, či snímat video, typicky videokamera nebo fotoaparát v režimu video. Všechna tato zařízení označujeme souhrnným názvem kamera a mohou být v různých kombinacích osazena do zařízení pro snímání obrazu.

Plovoucí závěrka - termín je používán tak, jak je v oboru běžné, odpovídající anglický termín je rolling shutter, ve zkratce RS.

Čip - prvek umístěný v kameře obsahující světlocitlivé elementy, typicky polovodičové fotodiody, uspořádané do podélných pravoúhlých bloků, jejichž podélné osy jsou navzájem rovnoběžné. Takovým podélným blokem je typicky řádek nebo skupina řádků světlocitlivých elementů, případně sloupec nebo skupina sloupců světlocitlivých elementů. Kamera s plovoucí závěrkou exponuje různé bloky čipu v různém čase. Uspořádání čipů může být různé, obvykle se jedná o CCD nebo CMOS čipy.

Exponování čipu - v kameře s plovoucí závěrkou je čip exponován tak, že jsou postupně exponovány, tj. vystaveny světlu, jednotlivé bloky světlocitlivých elementů, tj. například řádky nebo sloupce. Ve světlocitlivých elementech typického čipu dochází při expozici ke konverzi světla na nosiče náboje. Kamera s plovoucí závěrkou exponuje různé bloky světlocitlivých elementů v různých časových intervalech, tj. například nejprve první řádek, pak druhý atd. až k poslednímu (nebo obdobně pro sloupce). Každý blok je přitom exponován najednou, tj. exponuje se najednou, např. celý řádek nebo celý sloupec, přičemž po část doby exponování jednoho bloku se už může, ale nemusí, exponovat také následující blok nebo bloky světlocitivých elementů, tzn. exponování jednotlivých bloků se může částečně překrývat v čase. Při snímání videozáznamu jde o periodický proces v čase, kdy se postupuje od prvního bloku světlocitlivých elementů k poslednímu a následně se proces opakuje, a to opět od prvního bloku k poslednímu. Při exponování čipu nemusí být nutně využita celá jeho plocha ani všechny na něm umístěné světlocitlivé elementy. Termínem exponování čipu rozumíme i exponování částečné, tj. exponování pouze vybrané plochy čipu.

Rychlost exponování čipu - udává počet bloků se světlocitlivými elementy čipu, jejichž expozice je zahájena za jednotku času.

Směr exponování čipu dané kamery definujeme jako směr normálového vektoru k podélné ose bloku světlocitlivých elementů, kde tento vektor je orientován ve směru od dříve exponovaného bloku světlocitivých elementů k následně exponovanému bloku světlocitlivých elementů během jedné sekvence exponování využité plochy čipu této kamery. V případě, že mluvíme o směru exponování dvou a více čipů dvou a více kamer, směry exponování čipů všech kamer jsou vyjádřeny vzhledem k jedné souřadné soustavě. V obr. la až 1c jsou uvedeny některé příklady směrů exponování čipů na příkladu schematicky zakreslené stěny mobilního telefonu se dvěma kamerami, a to první kamerou 1 a druhou kamerou 2. První kamera 1 má první čip 10, druhá kamera 2 má druhý čip 20. Směry exponování prvního čipu 10 a druhého čipu 20 jsou v každém

-6CZ 2020 - 288 A3 z provedení zakresleny jako navzájem protichůdné, tzn. vektor směru exponování prvního čipu 10, v obrázcích vyznačený šipkou, je otočen o 180° oproti vektoru směru exponování druhého čipu 20, rovněž označenému šipkou. V obr. laje příklad uspořádání, v němž je první čip 10 první kamery 1 exponován po řádcích směrem shora dolů a druhý čip 20 druhé kamery 2 je exponován po řádcích směrem zdola nahoru, v obr. 1b je první čip 10 exponován po řádcích naopak směrem zdola nahoru a druhý čip 20 je exponován po řádcích směrem shora dolů. V obr. 1c je první čip 10 exponován po sloupcích směrem zleva doprava a druhý čip 20 je exponován po sloupcích zprava doleva. Z obrázků la, 1b jsou patrné také příklady některých možných vzájemných uspořádání kamer a čipů, možností je samozřejmě mnohem více.

Je zřejmé, že pojmy „sloupec“ a „řádek“ jsou použity jen pro větší jasnost, jinak jsou zaměnitelné podle orientace čipu. Při otočení čipu o 90° kolem osy kolmé na rovinu čipu se z řádků stanou sloupce a naopak. Není přitom ani v nejmenším nutné, aby „řádky“ byly orientovány, např. vodorovně a „sloupce“ svisle.

Protichůdných, tedy navzájem o 180° pootočených směrů exponování lze dosáhnout například těmito dvěma způsoby:

1) kamery, které mají směr exponování stejný, vzájemně otočíme tak aby směr exponování byl protichůdný,

2) u kamer, které mají směr exponování stejný, změníme pořadí exponování řádků či sloupců.

Obraz nebo nasnímaný obraz - signály ze světlocitivých elementů, které jsou typicky analogové elektrické, se zpracovávají, typicky digitalizují, a takto vzniklý soubor digitalizovaných dat a/nebo převod tohoto souboru dat do podoby viditelné lidským okem (např. na displeji nebo při nějakém typu projekce nazýváme „obraz“, případně „nasnímaný obraz“. Pojmy obraz a nasnímaný obraz jsou používány jako synonyma. Přitom data z jednotlivých bloků světlocitlivých elementů odpovídají blokům pixelů v nasnímaném, obraze. Jeden nasnímaný obraz odpovídá jedné sekvenci exponování využité plochy čipu, tj., např. sekvenci exponování od prvního po poslední řádek světlocitlivých elementů na využité ploše čipu. Bloky pixelů digitálního obrazu jsou lineárně uspořádané podle času, v němž došlo k exponování jim odpovídajících bloků světlocitlivých elementů na čipu.

Řádek v obraze je řádek pixelů v obraze nasnímaném některou z kamer j_, 2.

Orientace čipu - je definována jako rotace z globální souřadné soustavy, spojené se scénou nebo částí scény, do souřadné soustavy spojené s čipem. Jako jednoduchý příklad souřadné soustavy spojené s čipem uveďme souřadnou soustavu, která má počátek například v jednom z rohů čipu a j ej i osy j sou zvoleny například tak, že osa z j e kolmá na plochu čipu a míří směrem od osvětlované části čipu, osa x je rovnoběžná s bloky světlocitlivých elementů čipu odpovídajících řádkům v obraze a osa y je položena tak, aby osy tvořily pravotočivou soustavu. Lze však zvolit i jakoukoli jinou souřadnou soustavu spojenou s daným čipem. Pro každý z čipů může být také souřadná soustava spojená s tímto čipem zvolena jiným způsobem, tzn., např. s počátkem v libovolném místě na čipu nebo dokonce i mimo něj nebo s libovolně orientovanými osami. Podstatné je, aby šlo o souřadné soustavy spojené s daným čipem. S jejich pomocí pak provádíme další výpočty a také snáze definujeme některé pojmy. Vzájemnou, tedy vůči sobě navzájem relativní, orientaci čipů 10, 20 kamer J_, 2 definujeme jako rotaci ze souřadné soustavy spojené s prvním čipem JO první kamery J. do souřadné soustavy spojené s druhým čipem 20 druhé kamery 2. Tato vzájemná orientace prvního čipu 10 a druhého čipu 20 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.

Poloha čipu - je definována jako souřadnice počátku souřadné soustavy spojené s daným čipem, vzhledem ke globální souřadné soustavě. Vzájemnou, tedy vůči sobě navzájem relativní, polohu čipů 10. 20 kamer 1, 2 definujeme jako souřadnice počátku souřadné soustavy spojené s druhým

-7 CZ 2020 - 288 A3 čipem 20 dmhé kamery 2 v souřadné soustavě spojené s prvním čipem 10 první kamery L Tato vzájemná poloha prvního čipu 10 a druhého čipu 20 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.

V podstatě neměnná vzájemná poloha a orientace čipu - vzájemná poloha a vzájemná orientace čipů 10, 20, jsou pokládány za v podstatě neměnné, pokud zůstávají v rámci tolerancí daných pohybem čipů 10, 20 uvnitř zařízení způsobených posuny součástek za pohybu. Za změnu vzájemné polohy ani za změnu vzájemné orientace čipů 10. 20 se také nepokládají případné drobné změny způsobené mechanickou stabilizací obrazu.

Orientace kamery - je definovánajako rotace z globální souřadné soustavy, spojené se scénou nebo částí scény, do souřadné soustavy spojené s kamerou, kde souřadná soustava spojená s kamerou může mít například počátek v optickém středu kamery, a její osy jsou zvoleny například tak, že osa z je kolmá na plochu čipu a míří směrem od osvětlované části čipu, osa x je rovnoběžná s bloky světlocitlivých elementů čipu odpovídajících řádkům v obraze a osa y je položena tak, aby osy tvořily pravotočivou souřadnou soustavu. Orientace kamery je při takto zvolené souřadné soustavě spojené s kamerou a výše zmíněné volbě souřadné soustavy spojené s čipem shodná s orientací čipu. Orientaci první kamery 1 vůči scéně označujeme Ri a orientaci druhé kamery 2 vůči scéně označujeme R2. Vzájemnou, tedy vůči sobě navzájem relativní, orientaci kamer L 2 definujeme jako rotaci ze souřadné soustavy spojené s první kamerou 1 do souřadné soustavy spojené s druhou kamerou 2 a budeme ji označovat R_r. Tato vzájemná orientace R_r první kamery 1 a druhé kamery 2 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10. 20 v podstatě neměnná. Přitom je třeba mít na paměti, že pro provádění uvedeného způsobu není rozhodující, v jakém bodě zvolíme počátek souřadné soustavy spojené s danou kamerou, ani jak zvolíme polohu a orientaci os této souřadné soustavy. Důležité je jen to, aby šlo o souřadnou soustavu pevně spojenou s danou kamerou. Výpočty jsou ale nejjednodušší pro souřadné soustavy spojené s kamerami zvolené podle výše popsaného příkladu.

Poloha středu kamery neboli poloha kamery - je definována jako souřadnice optického středu kamery. V případě souřadné soustavy spojené s kamerou zvolené podle příkladu uvedeného v definici orientace kamery zde výše má optický střed kamery souřadnice počátku souřadné soustavy spojené s danou kamerou vzhledem ke globální souřadné soustavě spojené se scénou nebo částí scény. Polohu středu první kamery 1 označujeme Ci a polohu středu dmhé kamery 2 označujeme C2. Vzájemnou, tedy vůči sobě navzájem relativní, polohu kamer 1,2 definujeme jako souřadnice počátku souřadné soustavy druhé kamery 2 v souřadné soustavě první kamery 1 a budeme ji označovat C_r. Tato vzájemná poloha C_r první kamery 1 a druhé kamery 2 zůstává při provádění způsobu podle předkládaného vynálezu během exponování čipů 10, 20 v podstatě neměnná.

Vzájemná poloha a orientace čipu a kamery - je definována jako transformace ze souřadné soustavy spojené s čipem do souřadné soustavy spojené s jemu příslušnou kamerou, tak jak jsou tyto soustavy definovány výše. Cípy 10 a 20 jsou pevnými součástmi kamer J. a 2 a tudíž polohy a orientace čipů 10 a 20 jsou pevně svázány s polohami a orientacemi kamer 1 a 2 a v průběhu exponování obrazů P.10 a P.20 se vzájemná poloha a orientace čipu a kamery nemění. Díky znalosti vzájemné polohy a orientace čipů a kamer, která je obsažena například v parametrech kamery K, jak je definováno níže, můžeme při znalosti polohy a orientace kamery spočítat také polohu a orientaci čipu a naopak.

Korespondující oblast - oblast, které v obraze P.10 nasnímaném první kamerou a v obraze P.20 nasnímaném druhou kamerou odpovídá totožné části scény. Může jít o body, křivky i plochy.

Význačný 3D objekt Ei scény - obvykle nějaký snadno rozlišitelný objekt, např. roh domu, roh okna, zrno v omítce, oko. Objekt, který lze v obraze detekovat dostupnými metodami počítačového vidění, například SIFT, SURF, Harris etc.

-8CZ 2020 - 288 A3

Relativní pohyb zařízení pro snímání obrazů vůči scéně nebo části scény, někdy zkracujeme jen na relativní pohyb - zahrnuje jak pohyb zařízení pro snímání obrazů vůči statické scéně, např. jedoucí zařízení pro snímání obrazů snímající krajinu, tak pohyb nějaké společně se pohybující části scény vůči zařízení pro snímání obrazů, např. jedoucí vlak před stojící kamerou. Relativní pohyb zařízení pro snímání obrazů vůči scéně nebo části scény navíc zahrnuje i kombinaci výše uvedeného, tzn. že se pohybuje jak zařízení pro snímání obrazů, tak alespoň některé elementy scény, například snímání běžců pohybující se kamerou. Příkladů je samozřejmě velmi mnoho. Rozmanité mohou být také typy pohybů zařízení pro snímání obrazů a/nebo objektů scény, může jít například o pohyby translační, rotační, jejich kombinace i různé další typy pohybů.

Pro úspornost je také někdy v následujícím popise spojení „relativní pohyb vůči scéně nebo části scény“ zestručněn na „relativní pohyb vůči scéně“, což může zahrnovat buď relativní pohyb zařízení vůči celé scéně, nebo jen relativní pohyb zařízení vůči části scény, která jez hlediska snímání zajímavá, např. pohybující se objekt okolním statickém prostředí.

Parametry kamery - parametry kamery lze rozdělit, jak je běžně používáno v literatuře, na interní a externí. Interní parametry jsou dané konstrukcí kamery samotné a nemění se v průběhu snímaní. Interní parametry mohou obsahovat například hlavní bod projekce (anglicky principal point), zkosení čipu, ohniskovou vzdálenost a dále parametry zkreslení dané použitými optickými elementy, které se zpravidla dělí na radiální a tangenciální. Tyto interní parametry označujeme souhrnně K. Externí parametry popisují aktuální polohu a orientaci kamery v daném souřadném systému, který může být zvolen, např. jako relativní vůči scéně nebo části scény, a jsou popsány 6 parametry pro 6 stupňů volnosti - 3 pro orientaci a 3 pro polohu. Tyto parametry označujeme souhrnně P.

Střed kamery - středem kamery je ve shodě s literaturou označován optický střed kamery.

V předkládaném vynálezu navrhujeme zařízení pro snímání obrazů obsahující soustavu kamer zahrnující alespoň dvě kamery. V této soustavě kamer je obsažena první kamera 1 s plovoucí závěrkou a druhá kamera 2 s plovoucí závěrkou, přičemž každá z těchto dvou kamer 1, 2 má svůj čip se světlocitlivými elementy. Směr exponování prvního čipu 10 první kamery 1 je přitom odlišný od směru exponování druhého čipu 20 druhé kamery 2. Takové zařízení může být osazeno například do mobilního telefonu, do auta s automatickým řízením, do zařízení pro snímání pohybu hlavy, do dronu, robotického systému apod. Při relativním pohybu takového zařízení vůči scéně nebo části scény dochází k deformacím v obrazech nasnímaných jednotlivými kamerami a díky odlišnému směru exponování prvního čipu 10 a druhého čipu 20 jsou tyto deformace v obrazech nasnímaných jednotlivými kamerami rozdílné. Tyto rozdíly se dají využít v následujících výpočtech. Čím je rozdíl mezi směry exponování prvního čipu 10 a druhého čipu 20 větší, tím je větší také rozdíl v deformacích v obrazech nasnímaných první kamerou 1 vůči deformacím v obrazech nasnímaných druhou kamerou 2. Uhel 180° ± 5 stupňů mezi směry exponování prvního čipu 10 a druhého čipu 20 poskytuje nejvyšší poměr signál/šum pro následující výpočty.

Výhodné je také takové provedení zařízení, v němž směr exponování prvního čipu 10 první kamery 1 svírá úhel 90 stupňů ± 5 se směrem exponování druhého čipu 20 druhé kamery 2. Při takovém provedení je poměr signál/šum stále dost vysoký k provedení následujících výpočtů a lze ho jednoduše dosáhnout pomocí změny typu exponování v jedné z kamer z exponování po řádcích na exponování po sloupcích. Další výhodná možnost dosažení tohoto provedení je mechanické otočení čipu jedné z kamer o 90 stupňů ± 5 stupňů, přičemž zmíněná výhoda spočívá ve faktu, že otočený čip zůstává rovnoběžný/kolmý k druhému čipu, což usnadňuje jiné metody zpracování obrazu, a zároveň rovnoběžný/kolmý k ostatním mechanickým částem zařízení, což vede ke snadnější montáži a úspoře prostoru.

Několik možných příkladů takové soustavy kamer je v obr. la, 1b a 1c. Vzájemná poloha a vzájemná orientace čipů 10, 20, které jsou v obrázcích vyznačeny, jsou známými parametry zařízení. Mohou být pevné nebo nastavitelné. Během exponování scény se ale tato vzájemná

-9CZ 2020 - 288 A3 poloha a ani vzájemná orientace čipů 10. 20 nemění. Směry exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2 svírají v příkladných provedeních zařízení dle obr. la, lb, 1c, obr. 2 i dle obr. 4 úhel 180°, což však není pro fungování zařízení podmínkou, zařízení může fungovat i při jiných úhlech či v případě provedení, v němž čipy 10, 20 neleží v jedné rovině a také při jiných úhlech mezi směry exponování.

Ukázka deformací způsobených relativním pohybem zařízení pro snímání obrazu vůči scéně, neboli ukázka RS efektu, je schematicky zakreslena v obr. 2. Snímaná scéna je zde představovaná domem, který je v obrázku symbolicky zakreslen. Tato scénaje během relativního pohybu zařízení pro snímání obrazu vůči ní alespoň po část doby exponování prvního čipu 10 první kamery 1 v zorném poli této první kamery 1 a podobně je snímaná scéna po alespoň část doby exponování druhého čipu 20 druhé kamery 2 v zorném poli této druhé kamery 2. Cípy 10. 20 jsou v tomto příkladném provedení umístěny rovnoběžně s přední stěnou domu, což v obrázku pro jednoduchost není znázorněno, a zařízení pro snímání obrazu osazené kamerami s těmito čipy 10, 20 se pohybuje vodorovným směrem rovnoběžně s přední stěnou domu. Přitom první čip 10 se exponuje shora dolů a druhý čip 20 se exponuje vertikálně zdola nahoru, tyto směry exponování jsou symbolicky naznačeny v levé horní části obrázku. Pod snímanou scénou v podobě domu je naznačen směr relativního pohybu zařízení pro snímání obrazu vůči scéně. V pravé části obr. 2 je pak shora dolů nejprve obraz ΡΤ0 nasnímaný první kamerou 1, pod ním obraz P.20 nasnímaný druhou kamerou 2, vpravo dole je pak znázorněn také nedeformovaný obraz 50. Tento nedeformovaný obraz je možné získat pomocí parametrů modelu pohybu zjištěných podle předkládaného vynálezu, jak bude podrobněji vysvětleno níže. Takový nedeformovaný obraz by vznikl také při nasnímání téže scény kamerou s globální závěrkou (anglicky global shutter při dostatečně krátkém čase expozice vůči rychlosti pohybu.

Ukázka deformací v obrazech P.10. P.20 nasnímaných kamerami 1, 2, či jinak řečeno RS efektu, v obr. 2 je jen jedním možným příkladem pro jednu konfiguraci kamer a jeden typ relativního pohybu zařízení pro snímání obrazů vůči scéně - translační pohyb, v obrázku jde o pohyb ve vodorovném směru rovnoběžném s přední stěnou domu. Je to jeden z mnoha možných příkladů, tento jsme zvolili pro názornou ilustraci.

Předkládaný vynález navrhuje způsob využití podobných efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, přičemž v uvedeném zařízení jsou umístěny alespoň dvě kamery 1, 2 s plovoucí závěrkou, z nichž každá má svůj čip se světlocitlivými elementy. Způsob podle předkládaného vynálezu zahrnuje:

a) nastavení směrů exponování čipů 10, 20 kamer 2 tak, že směr exponování prvního čipu 10 první kamery ]_ je odlišný od směru exponování druhého čipu 20 druhé kamery 2;

b) snímání obrazů kamerami 2 při relativním pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde snímání obrazů zahrnuje exponování čipů 10, 20, pň němž mají první čip 10 první kamery 1 a druhý čip 20 druhé kamery 2 v podstatě neměnnou vzájemnou polohu a v podstatě neměnnou vzájemnou orientaci, a zpracování získaných dat do podoby obrazů, přičemž alespoň část scény v zorném poli první kamery 1 obsahuje alespoň po část doby exponování prvního čipu 10 první kamery alespoň jeden význačný 3D objekt scény, který je během alespoň části doby exponování druhého čipu 20 druhé kamery 2 také v zorném poli druhé kamery 2 a který je také alespoň po část doby exponování čipů 10, 20 v relativním pohybu vůči zařízení pro snímání obrazů;

c) pro alespoň j ednu dvoj ici obrazů nasnímaných kamerou 1 a kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu • detekování alespoň jedné dvojice navzájem korespondujících oblastí el, e², kde el je korespondující oblast v obraze P.10 nasnímaném první kamerou 1 a ef je korespondující

-10CZ 2020 - 288 A3 oblast v obraze P.20 nasnímaném druhou kamerou 2, když každé z těchto dvojic navzájem korespondujících oblastí ef e² odpovídá jeden z význačných 3D objektů Ei scény, • zjištění polohy korespondující oblastí v obraze P.10 nasnímaném první kamerou 1 a zjištění polohy korespondující oblasti ef v obraze P.20 nasnímaném druhou kamerou 2 a • zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů prvního čipu 10, které odpovídají korespondující oblasti e) v obraze P.10 nasnímaném první kamerou 1 a zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů druhého čipu 20, které odpovídají korespondující oblasti e² v obraze P.20 nasnímaném druhou kamerou 2, nebo zjištění alespoň jednoho údaje o vzájemném posunu těchto časů;

d) zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2, a výpočetní určení parametrů M tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí a údajů o časech exponování nebo o vzájemném posunu těchto časů zjištěných v kroku c) a na základě informací o vzájemné poloze C_r a vzájemné orientaci R_r první kamery 1 a druhé kamery 2 a o směrech exponování čipů 10. 20 nastavených v kroku a).

Pokud nastavení směrů exponování čipů 10. 20 podle kroku a) nebylo provedeno v rámci továrního nastavení zařízení pro snímání obrazů, krok a nastavení směrů exponování čipů 10, 20 může být provedeno jako otočení čipu v alespoň jedné z kamer 1, 2 a/nebo jako změnění pořadí, v jakém jsou exponovány řádky nebo sloupce čipu v alespoň jedné z kamer 1, 2 a/nebo jako změnění typu exponování v jedné z kamer 1, 2 z exponování po řádcích na exponování po sloupcích nebo opačně. Jaká kombinace těchto operací se provede, závisí na výchozím vzájemném nastavení směrů exponování čipů 10, 20 a požadovaném výsledném vzájemném natočení těchto směrů exponování.

Nastavení směrů exponování v kroku a) se může s výhodou provést tak, aby směr exponování prvního čipu 10 první kamery 1 svíral úhel 90 stupňů ± 5 stupňů se směrem exponování druhého čipu 20 druhé kamery 2. V jiném výhodném provedení, které je znázorněno v obr. la až obr. 1c, se nastaví směry exponování tak, že směr exponování prvního čipu 10 první kamery 1 svírá úhel 180 stupňů ± 5 stupňů se směrem exponování druhého čipu 20 druhé kamery 2.

V nej častějším výhodném provedení, které je znázorněno v obr. la až 1c a odpovídá mobilnímu telefonu, j sou optické osy obou kamer 10, 20 navzájem rovnoběžné, případně se osy kamer mohou takto nastavit, což je výhodné pro zjednodušení výpočtů, ale způsob bude fungovat i s nerovnoběžnými osami kamer.

Příkladem jednoho z význačných 3D objektů Ei scény může být, např. roh domu vyznačený v obr. 2 a v obr. 4. Jemu odpovídající a navzájem korespondující oblasti e{, e² jsou v obr. 2 a v obr. 4 rovněž znázorněny. e[ je oblast v prvním obraze P.10 nasnímaném první kamerou 1, přičemž tato kamera obsahuje první čip 10 a e² je oblast v obraze P.20 nasnímaném druhou kamerou 2, kde tato kamera obsahuje druhý čip 20, proto tuto oblast značíme horním indexem 2. Pro způsob podle tohoto vynálezu je v některých provedeních výhodné využít co nejvíce význačných 3D objektů scény, v tom případě bude mít každý takový objekt svůj index i, kde za písmeno i dosadíme pořadové číslo tohoto objektu, analogicky pak pro korespondující oblasti e{, e² odpovídající tomuto význačnému 3D objektu Ejscény.

V případě, že jde o kontinuální snímání videa, vyberou se v kroku c) vždy takové dvojice obrazů nasnímané kamerami 1, 2, které jsou získány z exponování prvního čipu 10 a druhého čipu 20, proběhlých v alespoň částečně se překrývajícím časovém intervalu. V takových dvojicích obrazů se pak hledají dvojice navzájem korespondujících oblastí e[, e², kde každá z těchto oblastí

-11 CZ 2020 - 288 A3 odpovídá stejnému význačnému 3D objektu E, scény. Toto lze zopakovat pro všechny dvojice obrazů dané videosekvence a v každé dvojici obrazů pro více 3D objektů E, scény s různým indexem i, a tedy i v každé dvojici obrazů pro více navzájem korespondujících oblastí e[, e². Tyto korespondující oblasti e}, c² mohou mít podobu oblastí, křivek, přímek či bodů.

Obvykle se korespondující oblasti v každé zvolené dvojici obrazů nasnímaných kamerami 1, 2 aproximují souřadnicemi v obraze. Zjištění polohy korespondující oblasti e? v obraze nasnímaném první kamerou 1 a zjištění polohy korespondujících oblastí er v obraze P.20 nasnímaném druhou kamerou 2 podle kroku c) pak pro každé i znamená přiřazení souřadnic x/ a y? oblasti ei¹ v obraze P.10 nasnímaném první kamerou 1 a souřadnic xý a yý oblasti ei², v obraze P.20 nasnímaném druhou kamerou 2, kde x/ a y? odpovídá sloupci, respektive řádku obrazu, kde se nachází oblast ei¹ a xí² a yý odpovídá sloupci, respektive řádku, kde se nachází oblast ei².

V obr. 4 a v dalším textu také pro jednoduchost budeme značit souřadnice obrazu stejně jako souřadnice čipu. Tedy v kartézské soustavě budou souřadnice korespondující oblasti e/ v obraze P.10 nasnímaném první kamerou 1 značeny x·, y? a stejně, tedy x[, y[, budou značeny i souřadnice světlocitlivého elementu prvního čipu 10 této první kamery jejichž exponováním a následným datovým zpracováním se vytvořila oblast v obraze P.10 nasnímaném první kamerou 1 aproximovaná souřadnicemi χ},γι.

Podobné zjednodušení značení využijeme i pro druhou kameru, tedy v kartézské soustavě budou souřadnice pixelů nebo pixelů korespondující oblasti e² v obraze P.20 nasnímaném druhou kamerou 2 značeny x²,y² a stejně, tedy x²,y², budou značeny i souřadnice světlocitlivého elementu nebo elementů druhého čipu 20 této druhé kamery 2, jejichž exponováním a následným datovým zpracováním se vytvořila oblast ei² v obraze P.20 nasnímaném druhou kamerou 2 aproximovaná souřadnicemi x²,y².

Mezi sadami souřadnic pro obraz a sadami souřadnic pro čip může být obecně jistý převodní faktor. Obraz většinou není stejně velký jako čip, jednomu pixelů v obraze může odpovídat blok světlocitlivých elementů na čipu a oblast čipu použitá k vytvoření obrazu může být různě posunutá. V dalším textu pro jednoduchost předpokládáme, že souřadnice na čipu byly zvoleny tak, že souřadnice v obraze jsou identické se souřadnicemi na čipu.

V obr. 4 jsou v popředí čtyři obdélníčky, z nichž každý znázorňuje jak čip, tak obraz nasnímaný příslušnou kamerou na základě exponování tohoto čipu. Je třeba si uvědomit, že zpracování dat z exponování čipu do nasnímaného obrazu může být v čase libovolně posunutý proces, pro zpracování jsou proto důležité časy exponování jednotlivých řádků čipu, nikoli čas, kdy se z těchto dat vytváří obraz. Nasnímané obrazy, které odpovídají exponovaným řádkům, jsou ale v obr. 4 pro názornost, jak souvisí RS efekt s exponováním jednotlivých řádků čipu, zakresleny přímo do čipů, i když v realitě tomu tak není.

Zjištění údajů o časech exponování světlocitlivých elementů čipu v kroku c) znamená typicky pro každý z čipů 10, 20 zjištění času, kdy exponování těchto světlocitlivých elementů na daném čipu započne. Je ale možné použít i jiný údaj nebo údaje, který souvisí s časem exponování těchto světlocitlivých elementů, například zjištění času, kdy exponování těchto světlocitlivých elementů na daném čipu skončí. Údaje o čase mohou být i relativní, tzn., např. o jaký čas je posunuto exponování řádku y/ na prvním čipu 10 vůči exponování korespondujícího řádku y² na druhém čipu 20.

Jelikož mezi exponováním čipu po řádcích nebo blocích řádků či sloupcích nebo blocích sloupců není z hlediska principu řešení žádný rozdíl, budeme se dále zabývat pouze případem exponování po řádcích, přitom se bude jednat o řádky značené totožně v čipu i v obraze kamery příslušející k tomuto čipu. Obvykle se takový řádek čipu exponuje tak, že na něj po určitý nenulový časový interval dopadá světlo. Tento nenulový časový interval, po který trvá exponování řádku čipu, bývá

-12 CZ 2020 - 288 A3 zpravidla, ale nikoli nutně, pro každý řádek čipu stejný. Zjištění údaje o čase exponování těch světlocitlivých elementů prvního čipu 10 první kamery 1, které odpovídají korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1, pak typicky znamená zjištění času zahájení exponování řádku y[ prvního čipu 10 první kamery j_, viz obr. 4 a podobně zjištění údaje o čase exponování těch světlocitlivých elementů druhého čipu 20 druhé kamery 2, které odpovídají korespondující oblasti ef v obraze P.20 nasnímaném druhou kamerou 2, pak znamená zjištění času zahájení exponování řádku yf druhého čipu 20 druhé kamery 2, opět viz obr. 4. Je nutné upozornit, že index i u řádků yl,yt čipů 10, 20 neznačí číslo řádku ve smyslu pořadí řádku ve směru, např. shora dolů nebo zdola nahoru, ale že jde o index vztažený k význačnému 3D objektu Ei scény se stejným indexem jako má řádek, přičemž tento index zároveň označuje fakt, že na základě exponování řádku y/ prvního čipu 10 byla zpracováním dat vytvořena korespondující oblast e/ v obraze P.10 nasnímaném první kamerou 1, kde tato oblast e/ odpovídá 3D objektu Ei scény, a že na základě exponování řádku yf druhého čipu 20 byla zpracováním dat vytvořena korespondující oblast ef v obraze P.20 nasnímaném druhou kamerou 2, kde tato oblast ef rovněž odpovídá význačnému 3D objektu Ei scény. Přitom řádek y/ prvního čipu 10, který odpovídá 3D objektu Ei scény, může být na čipu 10 třeba pátý shora, zatímco řádek yf druhého čipu 20, který odpovídá témuž 3D objektu Ei scény, může být třeba patnáctý shora. Pořadová čísla týkající se pořadí řádků shora uvedená v předchozí větě jsou přitom uvedena pouze pro příklad a ilustraci toho, jak je volena indexace řádků a že nesouvisí s pořadím řádků na čipu. Při exponování po řádcích v sobě souřadnice y[,yt nesou informaci o čase zahájení exponování daných řádků, alespoň v relativní časové ose, tj. v takové ose, kdy se časy zahájení exponování řádku y[ prvního čipu 10 měří relativně vůči času zahájení exponování řádku yf se stenými indexem i na druhém čipu 20. Souřadnice řádků yl.yl, což jsou obecně reálná čísla, lze převést pomocí lineární aproximace na pořadová čísla řádků představovaná přirozenými čísly.

V obr. 4 jsou také vyznačeny rychlost exponování vi prvního čipu 10 a rychlost exponování V2 druhého čipu 20 vč. naznačení směrů exponování. Tyto rychlosti, případně poměr těchto rychlostí vi/v2, jsou známé parametry zařízení, mohou být pevné nebo nastavitelné.

Informaci o rychlostech exponování vi, V2, případně o poměru těchto rychlostí, lze spolu s údaji o čase započetí exponování každého z čipů nebo o relativním posunu času exponování jednoho čipu vůči druhému využít pro určení času nebo relativního času exponování kteréhokoliv z řádků, známe-li údaje o souřadnici nebo pořadovém čísle daného řádku.

Například čas exponování řádku y[ prvního čipu se může určit jako čas započetí exponování prvního čipu 10 + rychlost vi exponování prvního čipu 10 * pořadové číslo řádku y[ * konst. V případě, že obě kamery 1, 2 začnou exponovat své čipy 10. 20 ve stejný čas, stačí k určení časů započetí exponování řádků y[, y[ pouze znalost poměru viM rychlostí exponování obou čipů.

Počet řádků na každém z čipů 10, 20 je obecně různý. V některých příkladech provedení ale budeme pro jednoduchost pracovat se stejným počtem řádků obou čipů.

Termínem „model pohybu“ v následujícím textu označujeme zkráceně model relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény. Značíme ho symbolem M.

Model pohybu se může zvolit buď z první skupiny modelů pohybu obsahující rotaci, translaci a jejich kombinace, nebo z druhé skupiny modelů pohybu obsahujících údaje o posunech poloh korespondujících oblastí v obrazech P.10, P.20 nasnímaných kamerami 2, kde posun polohy je pro každou dvojici navzájem korespondujících oblastí definován jako trajektorie p, po které se při předpokládaném typu relativního pohybu kamer 1, 2 vůči scéně musí virtuálně posunout poloha korespondující oblasti v obraze P.10 nasnímaném první kamerou 1 tak, aby se kryla s polohou jí odpovídající korespondující oblasti v obraze P.20 nasnímaném druhou kamerou 2. Model pohybu volí obvykle uživatel.

-13 CZ 2020 - 288 A3

Ilustrace modelu pohybu z druhé skupiny modelů pohybu je v obr. 3. V tomto případě model pohybu sestává z údajů o posunech poloh navzájem korespondujících oblastí e[, ef v obrazech P.10. P.20 nasnímaných kamerami 1, 2 a parametry M modelu pohybu sestávají z množiny parametrů definujících trajektorii p posunu polohy korespondující oblasti e[ v obraze P.10 nasnímaném první kamerou 1, po které se tato korespondující oblast v obraze nasnímaném kamerou 1 musí posunout pro překrytí s odpovídající korespondující oblastí ef v obraze P.20 nasnímaném druhou kamerou 2. Tvar této trajektorie p je charakteristický pro daný model pohybu. Jsou vyobrazeny dva příklady modelu pohybu, kde se korespondující oblast e? v obraze P.10 nasnímaném první kamerou 1 posunuje po trajektorii p směrem ke korespondující oblasti ei² v obraze P.20 nasnímaném druhou kamerou 2. Tento pohyb je popsán parametry M modelu pohybu, které definují trajektorii p. V obr. 3. nahoře je trajektorií p přímka, v obr. 3 dole je to křivka. V obou případech lze po určení parametrů křivky trajektorie p spočítat polohu odzkreslené korespondující oblasti egi, kde toto odzkreslení znamená odstranění deformací vzniklých v obraze nasnímaném kamerami 1, 2 pohybem zařízení pro snímání obrazu vůči scéně nebo části scény. Možné příklady parametrů trajektorie p, a tedy současně i příklady parametrů M modelu pohybu reprezentovaného touto trajektorií, budou blíže popsány níže.

Nyní podrobněji vysvětlíme pojem „parametry modelu pohybu“.

Zavedeme-li kartézskou souřadnou soustavu s osami x, y, z, první skupina modelů pohybu může být popsána následujícími parametry:

• V případě translačního pohybu parametry modelu pohybu mohou zahrnovat:

o Vektor Tv jehož 3 složky Tvx, Tvy, Tvz určují rychlost relativního posunu soustavy kamer vůči scéně nebo části scény v jednotlivých osách.

o Vektor Ta, jehož 3 složky Tax, Tay, Taz určují relativní akceleraci soustavy kamer vůči scéně nebo části scény v jednotlivých osách.

• V případě rotačního pohybu parametry modelu pohybu mohou zahrnovat:

o Vektor Wv jehož 3 složky Wvx, Wvy, Wvz určují rychlost relativní rotace soustavy kamer vůči scéně nebo části scény v jednotlivých osách.

o Vektor Wa, jehož 3 složky Wax, Way, Waz určují relativní akceleraci rotace soustavy kamer vůči scéně nebo části scény v jednotlivých osách.

o Interpolace mezi dvěma relativními orientacemi, kde parametry modelu pohybu zahrnují parametry počáteční a koncové relativní orientace, například kvatemiony q 1 a q2, Eulerovy úhly, osa-úhel, Cayleyho parametrizace nebo jiné známé parametrizace rotace.

• V případě kombinace translačního a rotačního pohybu parametry modelu pohybu zahrnují:

o Vhodnou kombinaci parametrů modelu pohybu pro translační a rotační pohyb.

• Parametry modelu pohybu mohou také zahrnovat jakýkoliv jiný popis pohybu tělesa s až šesti stupni volnosti, popsaný parametry a_l,...,a_n, kde n je celkový počet parametrů.

Pohyby z druhé skupiny modelů pohybu lze popsat pomocí parametrů libovolných parametrizací trajektorie p v rovině, například:

-14CZ 2020 - 288 A3 • Parametrická rovnice trajektorie p. kde, např. v kartézské souřadnicové soustavě os x, y v rovině platí pro každý z čipů 10, 20: x = x(t) a y = y(t), kde t je čas exponování světlocitlivých elementů čipu. Dosazením t = ti¹, což je čas začátku exponování řádku y¹ na prvním čipu 10, kde tento řádek odpovídá korespondující oblasti el v obraze P.10 první kamery získáme kartézské souřadnice aproximující korespondující oblast e¹ v obraze první kamery E Podobně dosazením t = ti², což je čas začátku exponování řádku y? na druhém čipu 20, kde tento řádek odpovídá korespondující oblasti e? v obraze P.20 druhé kamery 2, získáme souřadnice korespondující oblasti e? v obraze druhé kamery 2. Parametry této trajektorie p můžeme označit obecně b_l,... ,b_l a tyto parametry jsou současně parametry modelu pohybu.

• Implicitní rovnice trajektorie p. kde F(x,y)= 0, kde pro souřadnice x* a y¹ první korespondující oblasti el a pro souřadnice x² a yf druhé korespondující oblasti ef je tato rovnice splněna Parametry touto rovnicí určené křivky můžeme opět označit obecně b_l,... ,b_n. a tyto parametry jsou současně parametry modelu pohybu.

• Jiné parametrizace 2D trajektorií jako například Bezierova křivka nebo Spline křivka.

Každá z dvojic korespondujících oblastí c'. e² nese informaci o orientaci a poloze zařízení pro snímání obrazu ve dvou různých časech, neboť obecně bude daný význačný 3D objekt Ei scény zachycen v obou kamerách 1,2 na různých řádcích příslušných čipů 10, 20 a tedy v různých časech. Při dostatečném množství dvojic korespondujících oblastí e¹, c² je pak možné určit parametry M modelu pohybu relativního pohybu zařízení vůči scéně nebo části scény, přičemž množství potřebných dvojic korespondujících oblastí e[, ef a metoda určení parametrů závisí na volbě modelu pohybu. Při jednoduchých modelech pohybu, jako je, např. samotná translace, postačuje znalost jen jedné dvojice korespondujících oblastí.

Když známe polohy korespondujících oblastí e¹, c² a časy exponování těmto korespondujícím oblastem odpovídajících světlocitlivých elementů čipů 10,20 těchto kamer 1,2, můžeme přistoupit ke kroku d), tedy ke zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu 10 první kamery 1 a druhého čipu 20 druhé kamery 2. Následně se výpočetně určí parametry M tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí e¹, e² a údajů o časech exponování odpovídajících každé z těchto korespondujících oblastí nebo o vzájemném posunu těchto časů zjištěných v kroku c) a na základě informací o vzájemné poloze C_r a vzájemné orientaci R_r první kamery 1 a druhé kamery 2. Tato vzájemná poloha C_r a vzájemná orientace R_r kamer 2 se během exponování v podstatě nemění, podobně jako se v podstatě nemění vzájemná poloha a orientace čipů 10, 20 těchto kamer.

Během pohybu se ale mění polohy C,. C₂ i orientace Rj, R₂ kamer 1, 2 vůči scéně v závislosti na čase t, přičemž tyto polohy a orientace kamer 2 vůči scéně závisí také na parametrech M modelu pohybu, což lze výhodně využít právě pro zjištění těchto parametrů M modelu pohybu.

Označme C_k (t, M) průběh polohy k-té kamery vůči scéně v závislosti na čase t a parametrech M modelu pohybu a označme R_k (t, M) průběh orientace k-té kamery vůči scéně v závislosti na čase t a parametrech M modelu pohybu, kde k nabývá pro první kameru hodnoty 1 a pro druhou kameru hodnoty 2.

Pro vypočtení poloh C_k(t,M) a orientací R_k(t,M) kamer 1, 2 vůči scéně v průběhu exponování lze využít například následující postup. Mějme fúnkci p_k, která popisuje projekci význačného 3D objektu Ei scény do korespondující oblasti e^v obraze nasnímaném kamerou k a závisí na externích parametrech P_k a interních parametrech K_k této kamery k tak, že e* =μ^Ε,,ΡΜ (1).

-15 CZ 2020 - 288 A3

Uvažujme nejprve případ, kdy se systém kamer vůči scéně nepohybuje. Externí parametry P_k kamery k lze rozdělit na parametry C_k popisující polohu kamery k vůči scéně a parametry R_k. popisující orientaci kamery k vůči scéně. V případě, kdy se systém kamer vůči scéně nebo části scény nepohybuje, tyto polohy C_k vůči scéně i orientace R_k vůči scéně jsou pro každou z kamer k v čase neměnné a ze stejného důvodu nezávisí ani na parametrech M modelu pohybu. Projekční funkci p_k lze potom napsat jako ^ei ⁼ Ric^i,C_k,R_k,K_k) (2).

Pro systém dvou spojených kamer lze polohu C2 a orientaci R2 druhé kamery 2 vůči scéně vyjádřit pomocí vzájemné polohy C_r a vzájemné orientace R_r vůči první kameře E Korespondující oblasti e[ a ef, jež jsou v uvedeném pořadí projekcemi význačného 3D objektu Ei do obrazu nasnímaného první kamerou 1 a do obrazu nasnímaného druhou kamerou 2 lze pak vyjádřit jako = p₁(E_i,C₁,R_I,K_I') (3) e²t = P₂(E_b Ri> Cr, Rr, ^2) (4).

Dále uvažujme soustavu kamer pohybující se oproti scéně. Jak zmíněno výše, poloha Ci a orientace Ri první kamery 1 vůči scéně se budou v průběhu snímání měnit a lze je popsat v závislosti na čase t a na parametrech M modelu pohybu jako polohu C,(t, M) první kamery 1 vůči scéně a orientaci Rj(t,M) první kamery 1 vůči scéně nebo části scény, kde čas t je současně časem započetí exponování právě exponovaného řádku na prvním čipu 10. Obdobně to platí i pro polohu C₂(t, M) druhé kamery 2 vůči scéně a orientaci R₂(t, M) druhé kamery 2 vůči scéně nebo části scény, které rovněž závisí na čase t a parametrech M modelu pohybu, přičemž čas t je i zde současně časem započetí exponování právě exponovaného řádku na druhém čipu 20.

Korespondující oblast e[ v obraze první kamery 1 lze pak vyjádřit jako ^et = (5).

Projekce význačného 3D objektu Ei scény do korespondující oblasti e? v obraze druhé kamery 2 nastane při expozici řádku y? a tedy v čase t?, který bude exponován obecně v jiný čas než řádek yl. Tato oblast je pak vyjádřena jako e? = μ^, C^, M), R^, M), R_r, C_r, K₂) (6).

Uvažujme dále, že máme k dispozici údaje potřebné pro určení časů tj¹ a odpovídajících v tomto pořadí započetí exponování řádku y' a započetí exponování řádku y?, a to, např. díky známým časům započetí exponování čipů 10, 20 nebo známým posunům času započetí exponování prvního čipu 10 vůči času započetí exponování druhého čipu 20 díky informacím o rychlostech exponování těchto čipů vi, V2, nebo o poměru V1/V2 těchto rychlostí. Dále známe vzájemné orientace a pozice kamer R_r a C_r. V případě, že jsou rozdíly mezi Cj(t, M) a C₂(t, M) aRj(t,M) aR₂(t, M) po celou dobu exponování čipů 10, 20 zanedbatelné, můžeme vzájemnou pozici kamer aproximovat jako R_r= I a vzájemnou orientaci kamer aproximovat jako C_r= 0. V následujících příkladech provedení předpokládáme, že jsou známy interní parametry kamer Κι, K2, které mohou být jednoduše zjištěny kalibrací při výrobě a nemění se v čase nebo jsou jejich změny zanedbatelné. Obecně však tyto parametry známé nemusejí být a dají se spočítat zároveň s parametry modelu pohybu. Pro známé Κι, K2 soustava rovnic (1) a (2) obsahuje neznámé pouze parametry M pohybu obsažené v Cj(t,M), Rj(t,M) a 3D polohy význačného 3D objektu Ei scény vzhledem k soustavě kamer. Každá korespondující oblast e* nám dá 2 lineárně nezávislé rovnice pro 2 souřadnice v obraze, dvojice korespondujících oblastí e[ a e? nám projeden význačný 3D objekt Ei scény dá celkem 4 rovnice, a tedy možnost zjištění jednoho parametru M modelu pohybu, jelikož význačný 3D objekt

-16 CZ 2020 - 288 A3

Ei scény má 3 neznámé. Pro zvolený model pohybu lze určit minimální počet dvojic korespondujících oblastí e[, ef potřebných k plnému určení všech parametrů M tohoto modelu pohybu.

Příklady provedení:

Uvažujme nyní případ, kdy kamery 1 a 2 jsou umístěny na jedné straně zařízení, například mobilního telefonu, přičemž jejich optické osy jsou už z výroby nastaveny jako navzájem rovnoběžné. Pokud jde o jiné zařízení je výhodné tyto optické osy kamer 1 a 2 jako rovnoběžné nastavit, což zjednoduší potřebné výpočty. Výpočty níže se týkají právě kamer s rovnoběžnými optickými osami. Obdobné, ale složitější výpočty je ale možné provést i pro kamery s optickými osami nerovnoběžnými, bylo by to ale méně přehledné. Dále uvažujme, že interní parametry Kj a K₂ kamer 1 a 2 jsou známé a byly použity k odzkreslení obrazu tak, že souřadnice ve výsledném obraze odpovídají kameře s jednotkovou ohniskovou vzdáleností, čtvercovými pixely, nulovým zkosením, optickou osou procházející počátkem souřadného systému kamery a bez zkreslení čočky. Korespondující oblasti e/ a ef lze pak v případě, že se zařízení pro snímání obrazu relativně vůči scéně nebo části scény nepohybuje, vyjádřit jako

Kde A- a Aj jsou neznámé skaláry a X_L jsou neznámé 3D souřadnice význačného 3D objektu Ei scény. Pokud ztotožníme globální souřadný systém se souřadným systémem kamery 1 a tedy Rj = I, kde I je jednotková matice a C, = [0,0,0]^T a orientaci R2 druhé kamery 2 vůči scéně vyjádříme pomocí matice R_r popisující vzájemnou orientaci kamer 1, 2 a polohu C2 druhé kamery 2 vůči scéně, vyjádříme pomocí vektoru C_r popisujícího vzájemnou polohu kamer 1, 2, dostaneme xÍ yi

Xi y? ⁼ B_r(Xi — C_r) .1.

(9) (10).

V tomto příkladu se pro jednoduchost budeme soustředit na případ, kdy směry exponování obou čipů 10 a 20 jsou ve směru shora dolů a R_r je rotace o 180 stupňů kolem osy z, čímž dosáhneme toho, že směr exponování prvního čipu 10 první kamery 1 svírá úhel 180 stupňů vůči směru exponování druhého čipu 20 druhé kamery 2.

Dále budeme uvažovat, že relativní pohyb zařízení pro snímání obrazu vůči scéně nebo části scény popisujeme kombinací rotačního a translačního pohybu s konstantní úhlovou rychlostí popsanou vektorem W_v a konstantní posuvnou rychlostí popsanou vektorem T_v. Bez újmy na všeobecnosti budeme dále uvažovat, že čipy 10 a 20 exponují obraz po řádcích, mají stejnou rychlost expozice a stejný počet řádků a začaly exponovat obraz ve stejný čas. Poté lze časy t[ a tf reprezentovat řádky y[ a yf a korespondující oblasti e[ a ef lze pak vyjádřit jako

-17 CZ 2020 - 288 A3 λ/ yl .1.

= R_w{y¹i,wv)xi + Tvy¹i λΐ

Xi' yi .1.

— R_w(yt> Wv)R_rXi + c_r + R_rT_vy?

(Π) (12).

Kde R_w(yt> W_v) je parametrizace rotace vůči scéně nebo části scény závislá na řádku y^ a úhlové rychlosti W_v. V tomto případě máme 6 neznámých parametrů M modelu pohybu T_vx, Tvy Kz. W_vx, ^vy, ^vz ^a neznámé skaláry λ[, Af a 3D souřadnice X_L. Rovnice lze upravit tak, že se zbavíme neznámých A-, Aj a X_L a zbyde nám 6 neznámých parametrů M modelu pohybu. Vztah popisující závislost 6 neznámých parametrů M modelu pohybu na korespondujících oblastech e[ a e? lze vyjádřit pomocí epipolámí rovnice e-^TFe[ = 0

Kde F je esenciální matice a T značí transpozici

F = \T&,y^_xR<j^ (13) (14).

Kde R(yt,yp) = RrRw{yiyv_v)R_w(ytXv^ = yiR_rT_v + R_rc_r -yí^R{yía [E(y/,yf)]_z je anti-symetrická matice pro vektor Pro každou dvojici korespondujících oblastí e[ a e? získáme 1 rovnici ve tvaru (13) a tudíž pro nalezení všech 6 parametrů modelu pohybu potřebujeme alespoň 6 dvojic korespondujících oblastí.

Pokud by směry exponování prvního čipu první kamery byly stejné tak by rozdíly mezi deformacemi v obraze kamery 1 a obraze kamery 2 byly příliš malé nebo žádné a tudíž poměr vstupního signálu k šumu menší a vypočtené parametry modelu pohybu více tímto šumem zatížené, a tudíž méně přesné. Navíc by soustava rovnic by pro určité typy pohybu degenerovala, jak je zmíněno v [1], a nemohli bychom pak parametry pohybu jednoznačně určit.

Pokud je vzdálenost středů kamer ]_ a 2 velmi malá, speciálně menší než 5 cm, což je typické, např. pro mobilní telefony, můžeme položit C_r = [0,0,0]^T a tedy T(y-,y^ = ytR_rT_v — y/R(y/,yf)· Na tomto příkladu tedy ukážeme další zjednodušení výpočtů, i když výpočet lze ve složitější formě provést i pro kamery s větší vzdáleností středů kamer, případně lze též vzdálenost středů kamer zmenšit. V tomto případě malé vzdálenosti středů kamer, jelikož měřítko scény nelze pozorovat, můžeme translační pohyb parametrizovat pomocí T_v = [T_vx, 1 — T_vx, T_VZ]^T. Tím se sníží počet neznámých na 5 a můžeme parametry modelu pohybu spočítat z 5 nebo více dvojic korespondujících oblastí.

Pokud dále předpokládáme, že model pohybu obsahuje pouze rotaci, můžeme tento pohyb popsat parametry 14^ = I4^_y, W_vz\ a T_v v tomto případě bude rovno nulovému vektoru T_v =

[0,0,0]^T. V případě, kdy vzdálenost středů kamer 2 od sebe je zanedbatelná a pohyb pouze rotační, deformace v obrazech nejsou závislé na hloubce scény a vztah mezi korespondujícími oblastmi e[ a e? lze vyjádřit pomocí soustavy rovnic

[ef]_xR_w(y2i, W_v)R_rR_w(y[, W_vf = 0 (15)

-18 CZ 2020 - 288 A3 z nichž 2 rovnice jsou v obecném případě lineárně nezávislé. Počet neznámých parametrů M modelu pohybu je 3 a tudíž potřebujeme 3 rovnice k jejich spočtení a tím pádem alespoň dvě dvojice korespondujících oblastí e[, ej. Pro urychlení výpočtu můžeme rovnice zjednodušit nahrazením rotačních matic R_w(yf, Wj) aproximací prvního řádu Taylorova rozvoje

R_w(yi,Wv) = i + [Wvyi]_x, (16), kde I je jednotková matice. Po dosazení (16) do (15) získáme kvadratické rovnice o 3 neznámých, pro něž existuje efektivní řešení, viz, např. reference [9],

Rovnice (13) - (16) určují parametry M modelu pohybu pro modely pohybu z první skupiny modelů pohybu.

V dalším příkladu budeme předpokládat, že matice R_r je jednotková matice, tedy že obě kamery mají stejnou orientaci, ale směr exponování prvního čipu 10 první kamery 1 je protichůdný, tj. otočený o 180°, ke směru exponování druhého čipu 20 kamery 2. V případě zvolení modelu pohybu z druhé skupiny modelů pohybu, tj. v případě, že model pohybu vyjádříme jako trajektorii p vedoucí z korespondující oblasti el v obraze nasnímaném první kamerou 1 do korespondující oblasti e? v obraze nasnímaném druhou kamerou 2, přičemž pro jednoduchost v tomto příkladě předpokládáme, že trajektorie p je přímka, můžeme parametry trajektorie p a tedy i parametry M modelu pohybu spočítat b = el (17) kde a, b jsou vektory koeficientů parametrického popisu 2D trajektorie p, tedy parametry M modelu pohybu, a xl>y[ jsou stejně jako výše souřadnice korespondující oblasti el v obraze P.10 nasnímaném první kamerou 1 a podobně xj yf jsou souřadnice korespondující oblasti e? v obraze P.20 nasnímaném druhou kamerou 2.

Parametry M modelu pohybu lze ale získat i pro složitější parametrické popisy trajektorie p než je přímka, například hyperbola nebo splíne.

Takto získané parametry M modelu pohybu se mohou použít k odstranění deformací v obraze P.10 nasnímaném první kamerou 1 a/nebo v obraze P.20 nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer 1, 2 vůči scéně nebo části scény.

Postup je následující: pro alespoň jednu dvojici obrazů nasnímaných první kamerou 1 a druhou kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere dvojice navzájem korespondujících oblastí e[, el v těchto obrazech nasnímaných kamerami 2. Z parametrů M modelu pohybu spočtených pro pro tuto vybranou dvojici navzájem korespondujících oblastí el, el, se vypočte korigovaná poloha, která odpovídá témuž význačnému 3D objektu Ej scény jako vybraná dvojice korespondujících oblastí e[, el, přičemž tato korigovaná poloha odpovídá poloze projekce tohoto význačného 3D objektu Ej scény v obraze 50 s odstraněnými deformacemi vzniklými relativním pohybem kamer 1, 2 vůči scéně nebo části scény. Poté se proces buď ukončí, nebo se pokračuje výběrem další dvojice navzájem korespondujících oblastí ej, ej v téže dvojici obrazů P.10, P.20 nasnímaných kamerami j_, 2 pro jiný význačný 3D objekt Ej scény, dokud není zjištěna korigovaná poloha v obraze s odstraněnými deformacemi pro všechny 3D objekty, kterým odpovídají vybrané dvojice korespondujících oblastí. Ukázka takové další dvojice navzájem korespondujících oblastí ej, ej a

-19 CZ 2020 - 288 A3 dalšího význačného 3D objektu Ej scény je v obr. 2. Parametry modelu pohybu M lze tedy pro každou dvojici navzájem korespondujících oblastí e·, e? spočítat zvlášť, což nám dovolí odstranit deformace například pro 2 auta jedoucí různými směry.

V provedení, v němž jsou parametry M modelu pohybu určeny podle rovnic (17 a (18), výpočet korigované polohy pro vybranou dvojici navzájem korespondujících oblastí e[, el v obrazech nasnímaných kamerami 1, 2 sestává z interpolace podél trajektorie p definované parametry M modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí el, el.

K interpolaci se použije rovnice trajektorie p v závislosti na čase t p(t)=ta + b (19), kde a, b jsou parametry spočtené na základě rovnic (17) a (18). Parametr t této trajektorie odpovídající času určuje polohu bodu na této přímce, přičemž dosazením t = ti¹ dostáváme korespondující oblast el a v obraze první kamery 1 a dosazením t = t²i korespondující oblast el. v obraze druhé kamery 2. Korigované souřadnice oblasti e_gi v obraze 50 s odstraněnými deformacemi získáme dosazením hodnoty lineárně interpolovaného parametru t = (t\ + t²i / 2 do vztahu (19).

Vypočítané parametry M modelu pohybu lze v případě modelů pohybu z první skupiny modelů pohybu použít k odstranění deformací také následujícím způsobem: Nejprve se parametry M modelu pohybu použijí k určení poloh Cft, M\ C₂(t, M) každé z kamer j_, 2 vůči scéně nebo části scény a k určení orientací R₂(t,M\ R₂(t,M) každé z kamer j_, 2 vůči scéně nebo části scény v závislosti na čase t během doby exponování čipů 10, 20. Polohy a orientace určíme dosazením vypočtených parametrů M modelu pohybu, představovanými v případě, že model pohybu obsahuje translaci i rotaci, tedy je popsán parametry T_V,W_V.

Takto zjištěné polohy C₂(t, M) a orientace R](t, M), R₂(t, M) kamer 2 vůči scéně nebo části scény v závislosti na čase během doby exponování čipů 10. 20 se mohou použít k odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.

Nejprve se pro alespoň jednu dvojici obrazů P.10. P.20 nasnímaných první kamerou 1 a druhou kamerou 2 na základě exponování čipů 10, 20 těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu vybere alespoň jedna dvojice navzájem korespondujících oblastí e[, el v těchto dvou obrazech P.10, P.20 nasnímaných kamerami 1,2, a pro každou z těchto vybraných dvojic korespondujících oblastí el, el se pomocí parametrů M modelu pohybu spočtou metodou triangulace, viz, např. reference [10], 3D souřadnice X_L = [X_ix, X_iy, X_iz] význačného 3D objektu Ej scény, který jim odpovídá. V těchto souřadnicích je obsažena i hloubka 3D objektu Ei scény, který odpovídá uvedené dvojici korespondujících oblastí el, el.

Získání odzkreslených souřadnic e_gi korespondujících oblastí el a el, nebo jinak řečeno odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2, kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény, provedeme projekcí význačného 3D objektu Ej scény se souřadnicemi Xi = [Xi_X,Xi_y,Xi_Z] do virtuální kamery, která se nepohybuje a odpovídá kameře s globální závěrkou pomocí rovnice

-^IZ-20CZ 2020 - 288 A3

Tímto jsme ukázali další z příkladů, jak lze parametry M modelu pohybu použít k odstranění deformací v obraze nasnímaném první kamerou 1 a/nebo v obraze nasnímaném druhou kamerou 2.

3D souřadnice X; význačného 3D objektu E, scény lze také použít k vytvoření 3D hloubkové mapy scény, a to tak, že souřadnicím e_gi přiřadíme jako hloubku hodnotu Xi_Z, kde Xizje třetí souřadnice vypočítaného boduXj. Když toto učiníme pro více význačných 3D objektů Ei scény, vznikne hloubková mapa scény.

Pro model pohybu obsahující pouze rotaci a pro malou vzdálenost mezi středy kamer 10, 20, typicky vzdálenost menší než 5 cm, se parametry M modelu pohybu vypočtené pro kteroukoliv dvojici nebo skupinu dvojic navzájem korespondujících oblastí e{, e? v obrazech P.10. P.20 nasnímaných kamerami j_, 2 mohou použít pro odstranění deformací vzniklých v libovolném bodě nebo v libovolných bodech obrazu kterékoli z kamer 1, 2. Přitom jde stále o deformace vzniklé relativním pohybem kamer vůči scéně nebo části scény. Konkrétně se to provede, např. tak, že po nalezení parametrů rotace W_v se provede odstranění deformací v kterémkoliv bodě obrazu, nehledě na to, zda má korespondující oblast a zda tuto korespondující oblast známe, za pomoci transformace určené z parametrů W_v. Pro obrazový bod u- v obraze z kamery 1 použijeme k získání odzkreslených souřadnic u_gi následující rovnici

Ugt = R_w(yt,w_vyul (19) a pro obrazový bod uf z kamery 2 rovnici

Ugi = Rw^.W^u? (22).

V tomto případě je tedy možné odstranit deformace z celého obrazu na základě parametrů modelu pohybu zjištěných třeba jen pro dvě dvojice navzájem korespondujících oblastí ef, ef aef, ef v obrazech P.10, P.20 nasnímaných kamerami 2, není tedy nutné zjišťovat parametry M modelu pohybu pro každou dvojici korespondujících oblastí ef, ef, pro něž chceme odzkreslit obraz. Toto lze s výhodou využít u mobilních telefonů, kde je už typicky nastavena z výroby vzdálenost středů kamer menší než 5 cm, případně u jiných zařízení je možné tato zařízení nastavit tak, aby se středy kamer dostaly do vzdálenosti menší než 5 cm.

Všechny výše uvedené výpočty se mohou provádět v rámci zařízení pro snímání obrazů, ale i nebo mimo ně. Tzn. je-li nasnímána alespoň jedna dvojice obrazů v zařízení, v němž se nastaví odlišné směry exponování čipů 10, 20, další zpracování těchto obrazů podle předkládaného způsobu může proběhnout v tomto zařízení, částečně v tomto zařízení a částečně mimo toto zařízení, nebo i zcela mimo toto zařízení.

Je tedy navržen vynález a způsob, který umožní díky nastavení směrů exponování čipů 10, 20, které je hardwarově velmi jednoduché, vypočítat parametry M modelu pohybu a s jejich pomocí případně provádět další užitečné výpočty, přičemž výpočty dle předkládaného vynálezu jsou rychlé a přesné, což umožňuje dosáhnout velmi kvalitních výsledků, např. v oblastech odstranění deformací obrazu, výpočtu 3D hloubkové mapy scény v reálném čase, odstranění rozmazání obrazu, stabilizace videa nebo oblastech virtuální a rozšířené reality.

- 21 CZ 2020 - 288 A3

Průmyslová využitelnost

Průmyslová využitelnost je především u mobilních telefonů, které nesou více než jednu kameru na jedné straně, u nichž je možné instalování kamer s rozdílnými směry exponování čipů, nebo HW změna směrů exponování. Využití je ale možné i v jiných vícekamerových systémech, pro příklad uveďme systémy pro navigaci a lokalizaci v robotíce či automobilovém průmyslu, autonomní nebo částečně autonomní vozidla, zařízení pro snímání pohybu hlavy či v drony. Všechny tyto a podobné systémy s kamerami mohou těžit z odlišných směrů exponování čipů těchto kamer podle předkládaného vynálezu, například pomocí způsobu, který je rovněž součástí tohoto vynálezu.

Citovaná literatura

[1] O. Ait-Aider and F. Berry, Structure and kinematics triangulation with a rolling shutter stereo rig, 2009 IEEE 12th International Conference on Computer Vision, Kyoto, 2009, pp. 1835-1840.

[2] A. Bapat, E. Dunn and J. Frahm, Towards Kilo-Hertz 6-DoF Visual Tracking Using an Egocentric Cluster of Rolling Shutter Cameras, in IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 11, pp. 2358-2367, Nov. 2016.

[3] A. Bapat, T. Price and J. Frahm, “Rolling Shutter and Radial Distortion Are Features for High Frame Rate Multi-Camera Tracking”, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 4824-4833

[4] M. Grundmann, V. Kwatra, D. Castro and I. Essa, Calibration-free rolling shutter removal, 2012 IEEE International Conference on Computational Photography (ICCP), Seattle, WA, 2012, pp. 1-8.

[5] Lao, Yizhen and Omar Ait-Aider. “A Robust Method for Strong Rolling Shutter Effects Correction Using Lines with Automatic Feature Selection.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018): 4795-4803.

[6] Vasu, Subeesh, R. Mohan M. MaheshMohanM. and A. N. Rajagopalan. “Occlusion-Aware Rolling Shutter Rectification of 3D Scenes.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018): 636-645.

[7] Rengarajan, Vijay, Yogesh Balaji and A. N. Rajagopalan. “Unrolling the Shutter: CNN to Correct Motion Distortions.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR (2017): 2345-2353.

[8] V. Rengarajan, A. N. Rajagopalan and R. Aravind, From Bows to Arrows: Rolling Shutter Rectification of Urban Scenes, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 2773-2781.

[9] Z. Kukelova, J. Heller and A. Fitzgibbon, Efficient Intersection of Three Quadrics and Applications in Computer Vision, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 1799-1808.

[10] Richard Hartley and Andrew Zisserman. 2003. Multiple View Geometry in Computer Vision (2nd. ed.). Cambridge University Press, USA.

[11] J. Mustaniemi, J. Kannala, S. Sárkká, J. Matas and J. Heikkilá. “Fast Motion Deblurring for Feature Detection and Matching Using Inertial Measurements.” 24th International Conference on Pattern Recognition (ICPR), 2018, pp. 3068-3073.

- 22 CZ 2020 - 288 A3

[12] E. Ringaby and P.-E. Forssén. “Efficient Video Rectification and Stabilisation for CellPhones.” International Journal of Computer Vision 96, 2011, pp. 335-352.

Claims (18)

1. PATENTOVÉ NÁROKY

   1. Způsob využití efektů vzniklých v obrazech v důsledku relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde toto zařízení je osazeno alespoň dvěma kamerami (1, 2) s plovoucí závěrkou, z nichž každá má svůj čip se světlocitlivými elementy, vyznačující se tím, že zahrnuje:

   a) nastavení směrů exponování čipů (10, 20) kamer (1,2) tak, že směr exponování prvního čipu (10) první kamery (1) je odlišný od směru exponování druhého čipu (20) druhé kamery (2);

   b) snímání obrazů kamerami (1,2) při relativním pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, kde snímání obrazů zahrnuje exponování čipů (10, 20), při němž mají první čip (10) první kamery (1) a druhý čip (20) druhé kamery (2) v podstatě neměnnou vzájemnou polohu a v podstatě neměnnou vzájemnou orientaci, a zpracování získaných dat do podoby obrazů, přičemž alespoň část scény v zorném poli první kamery (1) obsahuje alespoň po část doby exponování prvního čipu (10) první kamery alespoň jeden význačný 3D objekt scény, který je během alespoň části doby exponování druhého čipu (20) druhé kamery (2) také v zorném poli druhé kamery (2) a který je také alespoň po část doby exponování čipů (10, 20) v relativním pohybu vůči zařízení pro snímání obrazů;

   c) pro alespoň jednu dvojici obrazů (P.10, P.20) nasnímaných kamerou (1) a kamerou (2) na základě exponování čipů (10, 20) těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu • detekování alespoň jedné dvojice navzájem korespondujících oblastí (ef ef), kde (el) je korespondující oblast v obraze (P.10) nasnímaném první kamerou (1) a (e²)je korespondující oblast v obraze (P.20) nasnímaném druhou kamerou (2), když každé z těchto dvojic navzájem korespondujících oblastí (ef e?) odpovídá jeden z význačných 3D objektů (Ei) scény, • zjištění polohy korespondující oblasti (e^) v obraze (P.10) nasnímaném první kamerou (1) a zjištění polohy korespondující oblasti (e²) v obraze (P.20) nasnímaném druhou kamerou (2) a • zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů prvního čipu (10), které odpovídají korespondující oblasti (e^) v obraze (P.10) nasnímaném první kamerou (1) a zjištění alespoň jednoho údaje o čase exponování světlocitlivých elementů druhého čipu (20), které odpovídají korespondující oblasti (e²) v obraze (P.20) nasnímaném druhou kamerou (2); nebo zjištění alespoň jednoho údaje o vzájemném posunu těchto časů;

   d) zvolení modelu relativního pohybu zařízení pro snímání obrazů vůči scéně nebo části scény, probíhajícího při exponování prvního čipu (10) první kamery (1) a druhého čipu (20) druhé kamery (2), a výpočetní určení parametrů tohoto modelu pohybu na základě údajů o polohách korespondujících oblastí (ef e²) a údajů o časech exponování nebo o jejich vzájemném posunu zjištěných v kroku c) a na základě informací o vzájemné poloze a vzájemné orientaci první kamery (1) a druhé kamery (2) a o směrech exponování čipů (10, 20) nastavených v kroku a).
2. 2. Způsob podle nároku 1, vyznačující se tím, že model pohybu se zvolí buď z první skupiny modelů pohybu obsahující rotaci, translaci a jejich kombinace, nebo z druhé skupiny modelů pohybu obsahujících údaje o posunech poloh korespondujících oblastí (ef e?) v obrazech (P.10, P.20) nasnímaných kamerami (1, 2), kde posun polohy je pro každou dvojici navzájem

   -24CZ 2020 - 288 A3 korespondujících oblastí (ef e?) definován jako trajektorie (p), po které se při předpokládaném typu relativního pohybu kamer (1, 2) vůči scéně nebo části scény musí virtuálně posunout poloha korespondující oblasti v obraze (P.10) nasnímaném první kamerou (1) tak, aby se kryla s polohou jí odpovídající korespondující oblasti (e-) v obraze (P.20) nasnímaném druhou kamerou (2).
3. 3. Způsob podle nároku 1 nebo 2, vyznačující se tím, že parametry modelu pohybu se použijí k určení poloh a orientací každé z kamer (1,2) vůči scéně nebo části scény v závislosti na čase během doby exponování čipů (10, 20).
4. 4. Způsob podle nároku 1 nebo 2, vyznačující se tím, že parametry modelu pohybu se použijí k odstranění deformací v obraze (P.10) nasnímaném první kamerou (1) a/nebo v obraze (P.20) nasnímaném druhou kamerou (2), kde tyto deformace vznikly relativním pohybem kamer (1, 2) vůči scéně nebo části scény.
5. 5. Způsob podle nároku 3, vyznačující se tím, že polohy a orientace kamer (1, 2) vůči scéně nebo části scény v závislosti na čase během doby exponování čipů (10, 20) se použijí k odstranění deformací v obraze (P.10) nasnímaném kamerou (1) a/nebo v obraze (P.20) nasnímaném kamerou (2), kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.
6. 6. Způsob podle kteréhokoliv z nároků 1 až 5, vyznačující se tím, že pro alespoň jednu dvojici obrazů (P.10, P.20) nasnímaných první kamerou (1) a druhou kamerou (2) na základě exponování čipů (10, 20) těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere alespoň jedna dvojice navzájem korespondujících oblastí (ef, e?) v těchto dvou obrazech (P.10, P.20) nasnímaných kamerami (1, 2), a pro každou z těchto vybraných dvojic korespondujících oblastí (ef e?) se pomocí parametrů modelu pohybu spočte hloubka toho 3D objektu (Ei) scény, který jim odpovídá.
7. 7. Způsob podle nároku 6, vyznačující se tím, že hloubky jednotlivých 3D objektů (Ei) scény se použijí k vytvoření 3D hloubkové mapy scény.
8. 8. Způsob podle kteréhokoliv z nároků 1 až 7, vyznačující se tím, že krok nastavení směru exponování čipů (10, 20) zahrnuje otočení čipu v alespoň jedné z kamer (1, 2) a/nebo změnění pořadí, v jakém jsou exponovány řádky nebo sloupce čipu v alespoň jedné z kamer (1, 2) a/nebo změnění typu exponování v jedné z kamer (1, 2) z exponování po řádcích na exponování po sloupcích nebo opačně.
9. 9. Způsob podle kteréhokoliv z nároků 1 až 8, vyznačující se tím, že optické osy obou kamer (1,2) jsou navzájem rovnoběžné.
10. 10. Způsob podle kteréhokoliv z nároků 1 až 9, vyznačující se tím, že vzdálenost mezi středy kamer (1, 2) je menší než 5 cm.
11. 11. Způsob podle kteréhokoliv z nároků 1 až 10, vyznačující se tím, že model pohybu obsahuje pouze rotaci.
12. 12. Způsob podle nároku 10 nebo 11, vyznačuj ící se tím, že parametry modelu pohybu vypočtené pro kteroukoli dvojici nebo skupinu dvojic navzájem korespondujících oblastí (e^, e?) v obrazech (P.10, P.20) nasnímaných kamerami (1, 2) se použijí pro odstranění deformací vzniklých v libovolném bodě nebo v libovolných bodech obrazu kterékoli z kamer (1,2), kde tyto deformace vznikly relativním pohybem kamer vůči scéně nebo části scény.
13. 13. Způsob podle kteréhokoliv z nároků 2 až 12, vyznačující se tím, že model pohybu sestává z údajů o posunech poloh navzájem korespondujících oblastí (ef e?) v obrazech (P.10, P.20)

    - 25 CZ 2020 - 288 A3 nasnímaných kamerami (1, 2) a parametry modelu pohybu sestávají z množiny parametrů definujících trajektorii (p) posunu polohy korespondující oblasti (e¹) v obraze (P.10) nasnímaném první kamerou (1), po které se tato korespondující oblast v obraze nasnímaném kamerou (1) musí posunout pro překrytí s odpovídající korespondující oblastí (ef) v obraze (P.20) nasnímaném druhou kamerou (2).
14. 14. Způsob podle nároku 13, vyznačující se tím, že pro alespoň jednu dvojici obrazů (P.10, P.20) nasnímaných první kamerou (1) a druhou kamerou (2) na základě exponování čipů (10, 20) těchto kamer proběhlých v alespoň částečně se překrývajícím časovém intervalu se vybere dvojice navzájem korespondujících oblastí (el, ef} v těchto obrazech (P.10, P.20) nasnímaných kamerami (1, 2) a z parametrů modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí (el, e?) se vypočte korigovaná poloha, která odpovídá témuž význačnému 3D objektu (Ei) scény jako vybraná dvojice korespondujících oblastí (el, ef ) , přičemž tato korigovaná poloha odpovídá poloze projekce tohoto význačného 3D objektu (Ei) scény v obraze (50) s odstraněnými deformacemi vzniklými relativním pohybem kamer vůči scéně nebo části scény, načež se proces buď ukončí, nebo se pokračuje výběrem další dvojice navzájem korespondujících oblastí (el, el) v téže dvojici obrazů (P.10, P.20) nasnímaných kamerami (1,2) pro jiný význačný 3D objekt (Ej) scény, dokud není zjištěna korigovaná poloha v obraze s odstraněnými deformacemi pro všechny význačné 3D objekty scény, kterým odpovídají vybrané dvojice korespondujících oblastí.
15. 15. Způsob podle nároku 14, vyznačující se tím, že výpočet korigované polohy pro vybranou dvojici navzájem korespondujících oblastí (el, e?) v obrazech (P.10, P.20) nasnímaných kamerami (1, 2) sestává z interpolace podél trajektorie (p) definované parametry modelu pohybu pro tuto vybranou dvojici navzájem korespondujících oblastí.
16. 16. Způsob podle kteréhokoliv z nároků 1 až 15, vyznačující se tím, že nastavení směrů exponování v kroku a) se provede tak, že směr exponování prvního čipu (10) první kamery (1) svírá úhel 90 stupňů ± 5 stupňů se směrem exponování druhého čipu (20) druhé kamery (2).
17. 17. Způsob podle kteréhokoliv z nároků 1 až 15, vyznačující se tím, že nastavení směrů exponování v kroku a) se provede tak, že směr exponování prvního čipu (10) první kamery (1) svírá úhel 180 stupňů ± 5 stupňů se směrem exponování druhého čipu (20) druhé kamery (2).
18. 18. Zařízení pro provádění způsobu podle nároku 16, vyznačující se tím, že směr exponování prvního čipu (10) první kamery (1) svírá úhel 90 stupňů ± 5 stupňů se směrem exponování druhého čipu (20) druhé kamery (2).