CZ399892A3

CZ399892A3 - Method of compensating motion in a picture signal and apparatus for making the same

Info

Publication number: CZ399892A3
Application number: CS923998A
Authority: CZ
Inventors: Roderick Thomson; Michael Burl; Phillip Layton
Original assignee: British Broadcasting Corp
Priority date: 1991-05-24
Filing date: 1992-12-30
Publication date: 1993-05-12
Also published as: CN1079350A; NO930221L; GB9211154D0; HU9300005D0; EP0540714B1; SK399892A3; JPH06500225A; US6011596A; AU660020B2; GB2256341B; DK0540714T3; CA2087946A1; WO1992021201A1; GB2256341A; EP0540714A1; FI930280A; ES2112316T3; NO930221D0; JP3226539B2; DE69223925D1

Description

- 1 -

_> JjO ->L

Nj .i I?£SJ. :g _ o. r* {

Způsob kompenzace pohybu v signálu viiieo/ a: gařízettí 1Γ proudě ní f 4- -λ V r* *" o ”·\ ir*· /*> Ví *t * ^ f · V >Á V U v/ «-J wrf.wJ ^ »wi U< - ,.n _ * , -, .(

Oblast techniky ^

^>ciřv-jicvc V íi ^|V\. ©l/CC

Vynález se týká íy^obu UcN^en^ceXýicJeo, zejména odvození a přiřazení pohybových vektorů indikujících směr a velikost okamžité to pohybu pro různé oblasti obrazu, aby pomohlo generování žádaných výstupních obrazů.

Dosavadní stav techniky Náš britský vynález δ. GB-B-2188510 popisuje způsob vytvoření seznamu pohybových vektorů, který je možno použít pro celou oblast obrazu video a pro přiřazení příslušného z pohybových vektorů v seznamu ke každé oblasti obrazu. Jsou možné i další metody generování takových seznamů pohybových vektorů. Oblasti, na které se vektory aplikují, mohou být tak malé jako jediný obrazový prvek /pixel/ nebo mohou obsahovat řadu obrazových prvků, tj. celý blok obrazu.

Tyto pohybové vektory jsou zejména užitečné, když se mají generovat výstupní pole video, která odpovídají časovému okamžiku mezi dvěma vstupními poli. Taková výstupní pole jmu nutná v systémech zpracování obrazů video, které přenášejí obrazy video z filmu nebo na film, při transformaci normy nebo při vytváření zpomalovacích efektů.

Ve všech těchto aplikacích je žádoucí vytvoření ostrého pomalu se pohybujícího obrazu. V případě generování pomalého pohybu, je-li metoda použita např. se závěrkovou kamerou CCD, je možno generovat obraz s jakostí, která se blíží jakosti dosažitelné kamerou s velkou četností snímků. Jeden možný způsob generování seznamu pohybových vektorů a pak jejich přiřazení jednotlivým obrazovým prvkům byl navržen v naší mezinárodní patentové přihlášce č. W0-A-9205662 a také v n8Ší mezinárodní patentové přihlášce č. PCT/GB91/01622. Tento způsob je znám jako algoritmus čtyř polí a používá celkem čtyři vstupní pole pro přiřazení jednoho výstupního vektorového pole. Bylo zjištěno, že pro určité typy pohybu, zvláště rotačních pohybů tento typ systému neposkytuje vždy vyhovující výsledky.

Jiný známý systém je ponsán v britské patentové nřihlášce č. GB-A-2231743. Zde ge seznam pokusných vektorů odvozuje s použitím metody blokového srovnávání mezi dvojicí polí označených a P2. Tento seznam čili menu vektorů se pak aplikuje na tři intervaly polí až F4, aby se vytvořilo vektorové pole v okamžiku žádaného výstupního vektorového pole. Tento způsob má také své problémy, protože vektory jsou přiřazeny výstupnímu vektorovému poli, aniž by se nutně bralo v úvahu, zda objekt, reprezentovaný tímto vektorem, je či není přítomen na obou sousedních polích. Tím mohou na výstupních polích vzniknout chyby. Také když se použije další interval /Fg až F-j/, je nutno pro F2 odvodit novou sadu vektorů a pak je přiřadit. To vede k dalším výpočtům a zvětšení složitosti·

Podstata vynálezu

Uvědomili {Jsme si, že pro sled tří obrazů video, jakýkoli objekt, který se vyskytne na vstupním poli, bude přítomen bučí na předešlém vstupním poli video nebo na následujícím vstupním poli video. Takto jsou všechny informace potřebné pro generování mezilehlého výstupního pole přítomny na těchto třech polích. Takže jediný způsob, jak zajistit, aby vektory byly při generování výstupních pálí správně přiřazeny, je přiřadit vektory specificky vstupním polím před generováním polí výstupních. V této přihlášce se popisují dva způsoby vytváření potřebných menu vektorů a jejich přiřazení vstupním polím před odvozováním výstupních polí. Tyto způsoby nazýváme algoritmem tří poli a algoritmem dvou polí vzhledem k postupu, jakým pracují.

Vynález je definován připojenými nároky, na které nyní odkážeme. Přehled obrázků na výkresech

Vynález nyní podrobně popíšeme na příkladech s odkazy na připojené výkresy. Obr. 1 je diagram znázorňující odvození koreleční - 3 - plochy algoritmem tří polí. Na obr. 2 je diagram znázorňující do-hyb popředí a pozadí mezi sledem Čtyř za sebou jdoucích polí. Na obr. 3 je diagram znázorňující jeden ze způsobů přiřazení vektorů. Obr. 4 je diagram znázorňující odvození korelační plochy algoritmem dvou polí; na obr. 5 je diagram znázorňující přiřazení vektorů pro menu vektorů generovaných podle obr. 4. Obr. 6 je skupinová schéma obvodů vytvářejících korelační plochu podle obr.1 a obr. T je skupinové schéma obvodů vytvářejících korelační plochu podle obr. 4. Příklady provedení vynálezu

Nejprve popíšeme shora zmíněný způsob přiřazení vektorů algoritmem tří poli. Způsob přiřazení vektorů tří polí popíšeme s odkazy na obr. 1, který ukazuje tři časově posunutá pole, fo» Í1 a ί*2 v časech to» tχ a $2·

Použitím způsobu vysvětleného v našem britská» patentu č. GB-B-2188510, metody fázové korelace založené na rychlé Fouriero-vě transformaci, se odvodí plocha P^ fázové korelace, zobrazující vektorové pole, definující rozdíly mezi poli íq a ίχ. Pak se odvodí druhá korelační plocha P2, zobrazujcí rozdíly mezi poli f\ a f2· Tyto korelační plochy se odvodí pro každý z množství bloků vstupních polí Pq, Ρχ a F2. Vstupní obraz se před fázovou korelací typicky rozdělí na 108 bloků uspořádaných jako 9 řad po 12 blocích. Zřejmě jsou možné i jiné permutace. Fázová korelace se provede mezi týmiž bloky na dvou za sebou Jdoucích polích ťq a ίχ.

Po odvození korelačních ploch Ρχ a Pg pro odoovídající blo-ky v fg a fi a Í2 se tyto plochy časově filtrují sečtením ve sčítačce 2. Tím se vytvoří korelační plocha PT, kterou je možno použít k přiřazení vektorů vstupnímu poli ίχ. Tato plocha PT bude obsahovat informace o objektech, které jsou přítomny na všech třech polích, a také o objektech, které jsou přítomny jen na polích fo a fl nebo ίχ a f2· Takto by mělo být možné přiřadit vektor všem oblastem obrazu na fx. Před přiřazením vektorů poli fx se z PT odvodí menu vektorů vyhledáním umístění vrcholů korelační plochy. Vybere se seznam - 4 - např. až pěti vrcholů nsd předem nestaveným prahem, aby vytvořil menu pokusných vektorů pro přiřazení oblastem obrazu v bloku f]_, z něhož byla plocha odvozena. Dříve než se menu pokusných vektorů přiřadí poli f]_, analyzuje se na složky pohybu a přiblížení kamery a provedou se vhodná nastavení. Způsoby těchto nastavení jsou popsány v naší britské patentové přihlášce ě. 9206396.5.

Toto t8kto odvozené menu vektorů by mělo obsahovat vektor, který jednoznačně popisuje pohyb mezi fo a fi a mezi fj a fg pro každý obrazový prvek pole fi. tfčelem tohoto přiřazení je vytvořit vektory přiřazené obrazovým prvkům pole f^, které mohou být použity, aby přispěly k odvození výstupního pole bu3 mezi fo a t\ nebo f^ a f 2 projekcí ůdajů tohoto obrazového prvku do časové polohy výstupního pole. Jedna z metod přiřazení těchto vektorů je popsáne v naší mezinárodní patentové přihlášce č. W0-A-9205662. U této metody se vektor přiřadí obrazovému prvku v fi podle toho vektoru v seznamu pokusných vektorů, který dává nejmenší celkovou chybu /chybu shody/ při odvození projekce tohoto obrazového prvku tímto vektorem na pole f2 a na pole fq. U tohoto přiřazení nastávají problémy, když se předměty v popředí pohybují a v důsledku toho odkrývají a zakrývají části pozadí obrazu mezi poli. Některé návrhy, Jak řešit -tyto problémy, Jsou uvedeny v naší mezinárodní patentové přihlášce č. W0-A-9205662 ve vztahu k algoritmu čtyř polí a jejich modifikaci Je možno použít při přiřazování odvozených vektorů při použití algoritmu tří polí.

Na scéně s objekty v Dopředí pohybujícími se před objekty pozadí se předpokládá, že objekt v popředí zakrývá oozadí. Pohyb objektu v popředí spojitě zakrývá a odkrývá pozadí. Ve sledu tří polí by všechno, co je viditelné ve středním poli, mě}.o být viditelné buá v předešlém poli nebo v následujícím poli nebo v obou.

To je naznačeno na obr. 2. Výjimkou z tohoto pravidla je okénkový efekt, způsobený otvorem v popředí, který ukazuje na každém poli něco zcela jiného.

Algoritmus tří polí se použije k vytvoření seznamu pokusných vektorů a s jejich použitím je možno všechny prvky obrazu přiřadit - 5 - jedním z těchto způsobů: a/ Objekt v popředí; malá chyba shody v periodě středního pole. b/ Zakryté pozadí; malá chyba shody v periodě předešlého pole při přiřazení pole 1. c/ Odkryté pozadí; malá chyba shody v periodě příštího pole při přiřazení pole 2. d/ Problém chybějícího vektoru nebo okénka; žádná vyhovující shoda. Přiřazení se třemi poli vytváří pole vektorů a pole stavů časově odpovídající vstupnímu poli. Je-li k dispozici pole vektorů s časováním vstupu pro dvě za sebou jdoucí vstupní pole, pak vytvoření mezilehlého výstupního pole je jen logický problém.

Ovšem chybí-li v menu vektor, pak musí být oblast obrazu určena použitím návratového režimu a není pohybově kompenzována. Přiřazení několika vektorů Podle této metody je proces výběru vektorů rozšířen, aby umožnil generování až dvou vektorů pro každý výstupní obrazový prvek v oblastech odkrývaného a zakrývaného pozadí. To umožňuje hladké přepínání mezi vektory užitými pro interpolaci obrazů na přechodech mezi objekty popředí a pozadí. Např. pro každý obrazový prvek, který je přiřazen jako odkryté pozadí /tj. nejmenší vážená chybe přiřazení nastala mezi dvěma posledními poli/, se určí také vektor dávející nejmenší chybu přiřazení pro první dvě pole. Výstupní obraz se pak inter-poluje z následujících polí posunutých přiřazeným vektorem odkrytého pozadí /načasovaným pro požadovaný čas výstupu/, spolu s příspěvkem z předchozích polí, posunutým tímto sekundárním vektorem. Relativní poměr těchto dvou příspěvků je možno určit takto: Pro každý obrazový prvek, který se má interpolovat, se vypočte řídicí signál, určující podíl výstupního obrazu, který se má vzít z následujících polí. Pro všechny vzorky v oblastech popředí to bude konstanta rovná St na obr. 2, což je normální pracovní režim časového interpolačního filtru. V oblasti označené jako odkryté pozadí se řídicí signál nastaví na jedničku, protože všechny informace se mají vzít z následujících polí, jak bylo popsáno dříve pro oblast e na obr. 2. Tento řídicí signál se pak zavede do dolnofrekvenční prostorové' propusti, takže právě v oblastech - 6 - odkrytého pozadí už nebude roven jedničce.

Obrazové prvky, které obsahuje výstupní pole, je pak možno smísit způsobem, který minimalizuje tvrdé hrany. V obraze původního zdroje dojde k smíšení na úzkém rozhraní mezi objekty. Toto rozhraní je dáno rozlišovací schopností.

Pro většinu výstupního obrazu budou obrazové prvky přítomny jak na snímku před, tak i na snímku po okamžité pozici výstupního pole. Výstupní obraz je vytvořen váženým součtem dvou vstupních obrazů. Příspěvek každé ze vstupních proměnných je dán maticí o velikosti obrazu zvanou assn_ff.

Použije-li se zakryté nebo odkryté pozadí, výstup se vytvoří jen z jednoho snímku. Při vytváření výstupu nastane přepínání obrazu mezi vytvářením obrazu z jednoho a ze dvou polí. Toto přepnutí nastane dvakrát, jednou mezi pozadím z jednoho pole a pozadím ze dvou polí a opět mezi pozadím při použití jednoho pole a popředím vytvořeným ze dvou polí. Během přiřazení vektorů se vytvoří dvě vektorová pole přiřazená velikosti obrazu /zvaná assn_Vl a assn_V2/. První vektorové pole odpovídá poli bezprostředně před okamžikem výstupního obrazu a druhé poli po tomto okamžiku. Každé z vektorových polí je odvozeno z jiného menu odvozeného pro toto pole použitím algoritmu tří polí. Když se ve střední periodě najde minimální chyba shody, oběma vektorovým polím se dá táž hodnota a assn^ff se položí rovno vzdálenosti "dist" mezi polem jedna a TO, době výstupního pole. Výstupní obraz se vypočte jako vážený průměr obou polí, závislý na assnjff:

Aout = AI x ( 1 - essn_ff) + A2 assn_ff kde tossn_ff = dist, byla-li nejlepší 3hoda v předcházející periodě mezi poli.

Je-li nejlepší shoda v předcházející periodě mezi poli, nejlepší vektor pro tuto periodu se vloží do vektorového pole assn_Vl a nejlepší vektor pro střední periodu se vloží do assn_V2. V tomto případě se 2a assn^ff* vloží 0, aby se vynutilo vytvoření výstupu z pole 1. Je-li nejlepší shoda v další následující oeriodě mezi poli, nejlepší vektor pro střední periodu se vloží do vektorového pole assnjn a nejlepší vektor pro tuto periodu se vloží do assnJV2. Pak se za assn_ff vloží 1, aby se vynutilo vytvoření - 7 - výstupu z pole 2. To je neznačeno ne obr. 3.

Je tedy zřejmé, že s každým obrazovým prvkem každého pole jsou sdruženy dva vektory; jeden vektor je použit pro "pohled” vpřed a druhý vektor se použije při "pohledu" zpět. Během zakrývaného a odkrývaného pozadí míří jeden vektor na pozadí a použije se pro získání pozadí, zatímco druhý vektor míří na objekt v popředí. Vzhledem k přiřazeným hodnotám assn_ff se vždy použije jen jeden vektor, dokud je matice assn_ff prostorově filtrována. Malá dolnofrekvenční propust na assn_ff způsobí vzá£ mná překrytí během změn režimu. Výstupní pole se takto generuje po jednotlivých obrazových prvcích pro pole pro posun TO zpět o distxassra_Vl a pole pro posun TO vpřed o (1 - dist)*assnjn.

Je také možné za jiných okolností přiřadit každému obrazovému prvku několik pohybových vektorů, např. 2. Toto přiřazení může nastat v okamžiku vstupu nebo* v okamžiku výstupu. ¥ dále popsané® uspořádání podle vynálezu je vektorové pole časově shodné s prvním pole® vždy promítáno vpřed a vektorové pole časově shodné a druhým pole® je vždy promítáno zpět. Předfíltrace Před přiřazením prochází vstupní obraz malým prostorovým filtrem 2Ώ. Impulsní odezva filtru je pravoúhlá, takže odezvou na skok bude lineární průběh. Když se vypočte chyba shody z rozdílu mezi obrazy, vypočte se také obrazový gradient. Výsledek dělení rozdílu gradientem odpovídá polohové chybě. Je to obdoba gradientní metody měření pohybu a byla by nejpřesnější, kdyby gradienty obrazu byly lineární.

Je-li posuv velmi velký, metoda selže a výsledkem není míra posuvu ale velká chyba. Metoda se použije pouze k výběru nejlepšího vektoru. Dalším zdokonalením je použití měření posuvu k opravě malých chyb v přiřazeném vektoru.

Neúplně vzorkovaná vektorová pole. Vektorová pole s časováním vstupu se vypočítají pro každý druhý obrazový prvek. Původní obraz se vzorkuje úplně a tedy přesnost chyb shody není tímto neúplným vzorkováním podstatně ovlivněna, ale získá se významná úspora hardwaru.

Vypočet chyby shody Obvyklý význam a metodu chyb shody je 8 možno shrnout takto: Chyby shody jsou prostředkem pro zjištění, zda je určitý vektor v menu vektorů vhodný pro určitý obrazový prvek. Chyba shody se vypočte posuvem dvou obrazů o navržený posuv vektoru a pak odečtením obou těchto obrazí. To se provede pro oblast bloku přiřazení a absolutní hodnota tohoto chybového signálu se dělí obrazovým gradientem středního obrazového prvku a pak ae prostorově filtruje. U algoritmu tří polí se vstupní obraz časově shodný s požadovaným vstupním polem udržuje stabilní a předešlé a následující obrazová pole se posunou pokusným vektorem. To se provede jak pro pole před, tak pro pole po požadovaném okamžiku výstupu. Výsledkem jsou dvě chyby shody, jedna před a -druhá po vstupním obrazu. -Při projekci vektorového pole vpřed druhá chyba shody odpovídá periodě času výstupního obrazu a malá chyba shody bude indikovat popředí. Této střední chybě shody se dá malá preference jejím násobením-váhovým faktorem mezi 0,5 e 0,99. Při projekci vektorového pfcle zpět první chyba shody odpovídá periodě doby výstupního obrazu a melá chyba shody bude indikovat popředí. Tato chyba shody středu pole se váží stejně jako předtím. Přídavná chyba shody se vypočte sečtením ostatních dvou chyb shody a také vážením. Ukazuje se, že chyba shody středu pole a kombinované dvě chyby shody pole při identifikaci popředí jsou stejně dobré a váhové faktory jsou tedy podobné. V praxi je vektorové pole, časově shodné s prvním obrazem pro projekci vpřed, velmi podobné vektorovému poli pro týž obraz, když byl v pozici druhého obrazu a promítán zpět. Výpočty chyby shody jsou tytéž, avšak vážení závislá na poli se změnila a tedy i přiřazené vektory a stavové hodnoty. Pole pro projekci vpřed a vektorové pole pro zpětnou projekci se počítají současně, avšak přední vektorové pole je zpožděno o jednu periodu vstupního pole. Přiřazení- a stav -V tomto uspořádání se vstupní vektorové pole vzorkuje pro 360 obrazových prvků a 288 řádek pole. Pro každý prvek vstupních vektorů se porovnávají vážené chyby shody. Tomuto prvku se pak přiřadí pokusný vektor s nejnižší váženou chybou shody.

Pro pole vektorů dopředné projekce platí tato stavová pravidla: - 9 - - Popředí se vyznačuje tím, že nejmenší chybou shody je druhé pole nebo průměr obou polí. - Zakryté pozadí je vyznačeno tím, že nejméněí chybou shody je první pole. - Chybějící vektor pohybu je indikován velkou chybou shody.

Pro pole vektorů zpětné projekce platí tato stavová pravidla: - Popředí se vyznačuje tím, že nejmenší chybou shody je první pole nebo průměr obou polí. - Odkryté pozadí se vyznačuje tím, že nejmenší chybou shody je druhé pole. - Chybějící vektor je indikován velkou chybou shody.

Stav se ukládá s každým přirazeným vektorem v prvním a druhém poli vektorů.

Vektorové pole pro okamžik výstupu Mapu vstupních přiřazených vektorů je možno položit na časově odpovídající obraz pro indikaci, kterým směrem se všechno pohybuje. Pole výstupních vektorů se vytvoří projekcí každého prvku prvního pole vstupních vektorů vpřed do okamžiku výstupu a druhého vektorového pole zpět do výstupní pozice. I když je pole vstupních vektorů vzorkováno jen částečně, pole výstupních vektorů má plný počet 720 horizontálních vzorků.

Pole vektorů s časováním výstupu je zapotřebí za nějakou dobu po poli vstupních vektorů. Tato situace je naznačena na obr- 4. Při projekci prvního pole vektorů se místo každého vektoru se vstupním časováním přičte k přiřazenému vektoru násobenému vzdáleností a toto nové místo má uloženo přiřazený vektor. Pro druhé pole vektorů se místo každého vektoru se vstupním časováním přičte k přiřazenému vektoru násobenému (l - vzdálenost) a toto nové místo má uloženo přiřazený vektor. komplikací je, že místo projekce pravděpodobně nebude na přesném místě v ooli výstupních vektorů a také pole výstupních vektorů je hustěji vzorkováno než pole vstupních vektorů. Oba problémy lze řešit uložením vektoru na místo vedle promítnutého vektoru.

Stav a režimy Stav pole vektorů se vstupním časováním následuje promítnutý vektor a vytvoří se nový stav výstupních vektorů. Pravidla pro stav pole výstupních vektorů jsou tato: 10 -

Popředí: Vektory popředí se promítnou vpřed a vzad od obou vektorových polí se vstupním časováním. Pokud dva vektory popředí přijdou na totéž místo, oba vektory se uloží a stav indikuje dva vektory popředí.

Pozadí: Zakryté pozadí se promítne vpřed a stav označí oblast jako zakryté pozadí. Odkryté pozadí se promítne zpět a stav označí oblast jako odkryté pozadí. Návratový režim: V oblasti obrazu, kde je v nékterém poli vektorů se vstupním Časování® velká chyba shody, se předpokládá, že není k dispozici žádný pohybový vektor,, Aby se zabránilo ztrátě objektu na promítaném pozadí, oblast se označí jako nepřiřaditelná a přejde do návratového režimu. Okamžitý návratový režim použije stabilní vektor a smísí oba obrazy dohromady v poměru polohy výstupního pole vzhledem k polím vstupním. Pro návrat se použije obraz s menším rozlišením, aby se zmenšila tvrdost obrazových prvků bez kompenzace pohybu·

Zpracování pole výstupních vektorů Důsledkem projekce vektorů je, že v poli vektorů mohou být díry. Tyto díry se vyplní sousedním přiřazeným vektorem a stavem* Výstupní obraz se vytvoří z posunuté směsi obrazů, které jsou k dispozici. Faktor prolnutí řídí směs obou vstupních polí při vytváření výstupního* obrazu. Tento "prolínací" signál nabývá hodnot 0 až 1,0 podle těchto pravidel:

Zakryté pozadí: Prolnutí = 0, přebírá obraz z předchozího obrazu

Odkryté pozadí: Prolnutí = 1, přebírá obraz z následujícího obrazu

Popředí: Prolnutí = dist, přebírá obraz jak z předchozího tak následujícího obrazu. Jsou-li dva vektory popředí, pak se první pole posouvá prvním vektorem, který se má přiřadit, a druhý vektor se použije k posunutí druhého obrazu.

Oblast s velkou chybou: Prolnutí = distj režim návratu, přiřazené vektory jsou rovny 0.

Zakryté pozadí a odkryté pozadí: To může nastat, když není možno dosáhnout nízké střední chyby shody a bylo zjištěno, že pracuje prolnutí = dist. - 11 -

Vytvoření výstupního obrazu Proces vytvářeni výstupního obrazu prochází všemi prvky míst na výstupním obrazu a používá tento algoritmus: picwoutput/x,y/ = pic_l /x,y posunuté o distxvec_l/ * /1 - prolnutí/ + pic_2 /x,y posunuté o /dist - l^xvec^/ x prolnutí kde vee_l a vec_2 jsou dva přiřazené vektory; pokud je jen jeden přiřazený vektor, vec_2 se rovná vec_l.

Byl použit interpolátor pro vytvoření zlomkových posuvů obrazových prvků, ale přesná podoba je ještě otevřena pro nějakou optimalizaci o Tento detail ovlivní jakost konečných obrazů, avšak z hlediska podstaty algoritmu tří polí není důležitý.

Algoritmus s projekcí vektorů dvou polí Algoritmus dvou polí má své jméno podle toho, že během prvního stupně přiřazení vektorů porovnává pouze dvě pole. Menu vstupních vektorů pro systém dvou polí jsou vektory ěasované shodně s intervaly mezi obrazy a nikoli s obrazy, jak se požaduje u systému tří polí.

Způsob je schematicky naznačen na obr. 5* Obrázek ukazuje sled čtyř snímků video fg až tj. Plocha fázové korelace se odvozuje pro interval mezi každou dvojicí snímků a to jsou korelační plochy 1*01» ^12 a ^23* Každá z nich je použitelná pro příslušný interval. Použije-li se každá z nich prostě pro přiřazení vektorů polím, z nichž je odvozena, vznikne problém s objekty, které jsou přítomny na jednom poli a nikoli na druhém. Proto se odvodí vážený průměr všech tří korelačních ploch a pak se použije k přiřazení vektorů pro generování obrazů ve středním intervalu fi až Ť2· Ψ tomto konkrétním příkladu se oběma plochám Pqi β dává vá ha jedna čtvrtina a ploše P^2 váha jedné poloviny, než se všechny sečtou dohromady, aby se odvodila časově filtrovaná korelační plocha, z níž lze odvodit vektorové menu 12. Jakmile byly vektory přiřazeny, proces se opakuje odvozením další korelační plochy pro interval až f4 a použitím této plochy sdoIu s P^ a 1*23 Pro odvození vektorového menu pro přiřazení v intervalu f2 až fj. Proces Dokračuje celou posloupností obrazů video.

Takto se odvodí plocha fázová korelace pro každý interval snímků v posloupnosti obrazů video a tyto korelační plochy se pak 12 kombinují ve váženém průměru k vytvoření vektorového menu, které Je použitelné pro Jediný interval snímku. Skutečnost, že menu je použitelné v intervalu mezi dvěma snímky, je důvodem, proč to nazýváme algoritmem dvou polí.

Jak jsme již uvedli, je výhodné, aby vektory byly přiřazeny spíše vstupním než výstupním polím a ocení se, když např. menui2 je přiřazeno k a a pak menu2j k Í2 P f*3> í2 bude nit k sobě přiřazena dvě vektorová pole. Jedno z nich se vztahuje k fχ a druhé fj. Nazýváme je pole dopředné a zpětné projekce a jejich použití umožňuje velmi spolehlivé vytváření mezilehlých oolí typu používaného při generování zpomalených sekvencí0 Důvod pro jejich generování a způsob, jakým se generují výstupní obrazy, vysvětlíme v dalším. Přiřazené vektorové pole je podobné tomu, jaké se vytváří dopředný® a zpětným přiřazením, navrženém v naší britské patentové přihlášce č. 9013642.5. Dopředná a zpětná vektorová pole se ukládají ve dvojicích s příslušnou chybou shody a k určení vektorového stavu se kombinují·

Kombinovaná vektorová pole se promítají před a po okamžiku výstupu, aby se vytvořilo dvojité výstupní vektorové pole. První vektor časovaný k výstupu je sdružen s dopřednou projekcí a druhý je sdružen se zpětnou ..projekcí a oba se kombinují, aby řídily dva vektorové vstupy do systému vytváření obrazu.

Odhad pohybu Větvšina vlastností bloku pro odhad pohybu je podobná jako u dříve popsaného algoritmu tří polí. Hlavní rozdíl spočívá v: Časování vektorového menu Menu pro verzi se třemi poli vyžaduje vektorová menu, která platí jak pro periodu před, tak pro periodu po příchodu vstupního pole. Na korelační plochu se aolikuje časový filtr sudého řádu pro získání nejlepšího odhadu případu tohoto pohybu. To je kompromis, který zdokonaluje odhad pohybu, jeli pohyb dosti souvislý, na ukop měření náhlých pohybů a velkých zrychlení.

Algoritmus "dvou polí" používá každé menu pouze pro periodu jednoho pole, a proto zde není změna časování. Je pravděpodobnější, Že menu bude platné pro případ jednoho pole než dvou, a proto - 13 - problém vektorového pole je zde menším kompromisem.

Korelační filtr 'Zjistilo se, že určité řešení česového korelačního filtru odstraní problémy způsobené prokládáním při provádění korelací četností polí. Řešení časového filtru spíše splní podmínku, že součet koeficientů na lichých odbočkách je roven součtu koeficientů, na sudých odbočkách. Protože ne j pravdě pod ohně ji počet odboček je roven třem, pak koeficienty budou 0,25, 0,5 ® 0,25.

Obr. 5 znázorňuje algoritmus dvou polí a přidružená vektorová pole a v dalších částech na něj budeme odkazovat.

Vektorové pole se vstupním časováním Pro každé menu vytvořené blokem odhadu se přiřazení provede dvakrát, jednou s použitím dopředného přiřazení a jednou s použitím zpětného přiřazení. Dopředně přiřazení se realizuje podržením stabilního stavu prmího pole a posunutím druhého o pokusný vektor a výpočtem chyby shody z velikosti rozdílu. Rozdíl se dělí gradientem, což je aplikace měření vektorů gradientní metodou, avšak výsledek se použije jen pro výběr, chyba odpovídá vzdálenosti, ffiěže se použít pro opravu někdy později. Pole zpětné projekce se vytvoří podržením stabilního stavu druhého pole, posuvem prvního a opakováním postupu. Každé nové vstupní pole a menu vytvoří dvě přiřazená vektorová pole, např. z menu 2 se vytvořila pole bac.

Kombinování vektorových polí časovaných se vstupem Ψ tomto okamžiku máme čtyři přiřazená vektorová pole, jednu dvojici pro pole před okamžikem výstupu a jednu dvojici po okamžiku výstupu. V každé dvojici bylo první pole vytvořeno zpětným přiřazením předešlého menu a druhé dopředným přiřazením druhého menu.

Je-li vstupní vektorové pole pro dopřednou projekci, pak druhé vektorové pole "b" odpovídá střední periodě a je sdruženo s popředím. Na druhé vektorové pole a chybu shody se aplikuje střední váha /centre_wt/ a to se pak porovná s chybou shody vnějšího pole "a". Přiřadí se vektor s nejmenší chybou shody. Při kombinování vektorových polí "a" a "b" pro vytvoření vektorového pole "cM se použijí tato pravidla:

Střední dolní pole: Popředí /stav = 3/

Vnější dolní pole: Zakryté pozadí /stav = 1/

Obě chyby shody velké: Chybějící vektor /stav = 5/. - 14 -

Situace je podobná, když je vstupní vektorová pole pro zpětnou projekci, s tou výjimkou, že se střední váha použije pro chyby shody zpětně přiřazeného vektorového pole "c". Vážené chyby shody pro "c" se porovnají s chybami shody pro "d", aby se vytvořilo vektorové pole "f" zpětné projekce. Použijí se tato pravidla: Střední dolní pole: Popředí /stav = 3/

Vnější dolní pole: Odkryté pozadí /stav = 2/

Obě chyby shody velké: Chybějící vektor /stav = 5/. Kombinovaná vektorová pole nazvaná před a po /na obr. 5 "e" a "f"/ jsou obdobná vektorovým polím se vstupním časováním vytvořeným algoritmem tří polí.

Vektorová pole s výstupním časováním Obdobně jako u vektorových polí se vstupním časováním, jsou také s výstupním polem sdružena dvě vektorová pole. Jedno se získá dopřednou projekcí vektorového pole wpřed e" a druhé zpětnou projekcí vektorového pole "po f".

Projekce vektorů /dopředu/ Projekce vektor® se provede vyhledáním každého místa v poli "e" vstupního vektoru, přičtením "dist" násobeného vektorem přiřazeným tomu místu vektoru a zápisem vektoru a stavu do výstupního vektorového pole. Je dosti pravděpodobné, ře při zápisu do určité výstupní pozice dojde k soupeření popředí a pozadí. Může nastat situace, kdy do stejného bodu v prostoru přijdou dva vektory popředí, a proto je k dispozici jednoduchá sada pravidel pro zápis do výstupního vektorového pole. Pravidla lze shrnout takto: 1/ Celá matice vektorů se nejprve uvede do stavu = 0, nepřiřazena. 2/ Kterýkoli vektor může zapisovat do výstupního vektorového pole, pokud je jeho stav vyšší než ten, který je už přítomen. Druhý vektor se zanedbá.

Projekce vektorů /zpětná/ Projekce vektorů z příštího vstupního pole je podobná projekci dopředně. Zpětné vektorové pole s výstupním časováním je na obr. 5 naznačeno jako "h" a stav se před začátkem projekce nastaví na nulu. Rozdílem je, že vzdálenost je nyní 1 - dist. - 15 -

Kombinování vektorových polí s výstupním časováním T)vš výstupní vektorová pole se kombinují podle jiné sedy pravidel, která jsou shrnuta do tabulky:

Režim Vektorové pole G Vektorové pole H Výstupní vektory Prolnutí 00 nepřiřazeno nepřiřazeno blíží se 0,0 stává se !dyž se nepřiřadí nejbližší, dojde k návratu. nejbližší c 02 nepřiřazeno odkryté pozadí 0,0 vec_2 dist 03 nepřiřazeno popředí vec_2 vec_2 dist 05 nepřiřazenot návrat nejbližší 0,0 dist 10 zakryté pozadí nepřiřazeno vec_l 0,0 0,0 12 zakryté pozadí odkryté pozadí vec_l vec_2 dist 13 zakryté pozadí popředí vec_2 vec_2 dist 15 zakryté pozadí návrat vec_l 0,0 dist 30 popředí nepřiřazeno vec_l vecJL dist 32 popředí odkryté pozadí vec_l vec_l dist 33 popředí popř edí vec__l vec_2 dist 35 popředí návrat vec_l 0,0 dist. 50 návrat nepřiřazeno 0,0 nejbližší 52 návrat odkryté pozadí 0,0 vec_2 dist 53 návrat popředí 0,0 vec_2 dist 55 návrat návrat 0,0 0,0 dist

Režimy startůjící 4 x by se mohly prolínat s dist nebo 0,5; záležitost je ještě předmětem optimalizace.

Po zpracování vektorů byla vyplněna všechna místa vektorů ”g" a "h" a faktor prolnutí. Bylo zjištěno patrné zlepšení výstupního obrazu do průchodu vektorového pole a prolínácí plochy dvourozměrným prostorovým filtrem.

Vytvoření výstupního obrazu Proces vytvoření výstupního obrazu prochází všemi prvky míst výstupního obrazu a používá tento algoritmus:

Picnoutput/x,y/ * pic__l /x,y posunuté o dist x vec_l/ x /1 - prolnutí/ + pic_2 /x,y posunuté o ^dist - 1/ x vec_2/ x prolnutí Byl použit interpolátor pro vytvoření zlomkových posuvů obrazových prvků, avšak přesná podoba je ještě otevřena pro další optimalizaci. - 16 -

Tento detail ovlivní jakost konečných obrazů, ale není důležitý z hlediska základního algoritmu tří polí.

Obr. 6 ukazuje obvody provádějící algoritmus tří polí. Obsahuje dvojici zpožďovacích obvodů 20 spojených do série, přijímající sled polí video. Vstup a výstup každého ze zpožďovacích obvodů je připojen k příslušnému vstupu obvodu 22 fázové korelace. Každý z nich vytváří korelační plochu, reprezentující pohyb mezi dvěma za sebou jdoucími poli. Tyto plochy dostávají v násobičkách 24 shodnou váhu 0,5 a pak se kombinují ve sčítačce 26. Tato průměrná korelační plocha pak prochází špičkovým detektorem 28 vektorů, který propouští jen ty vektory, které překračují předem nastavený práh. Tím se vytvoří menu vektorů pro přiřazení střednímu poli sady tří polí. V okamžiku, kdy je toto vektorové menu k dispozici, vstupní pole, k němuž má být přiřazeno, bude k dispozici na výstupu druhého ze zpožďovacích obvodů 20. Menu vektorů a výstupy obou zpožďovacích obvodů tvoří vstupy přiřazovací jednotky, kde mohou být vektory přiřazeny střednímu poli ze sledu tří polí, s něhož bylo menu odvozeno. ITa obr. 7 je modifikace obvodů podle obr. 6 a je vhodná k provádění algoritmu dvou polí. Obsahuje ještě další zpožďovací obvod 20 v sérii s ostatními dvěma. Má přidružen další obvod 22 fázové korelace, jehož výstup-se váží třetí násobičkou 24 než se ve sčítačce 26 kombinuje s výstupy ostatních obvodů 22 fázové korelace. Vytvořené menu vektorů a jednotlivá vstupní pole, ze kterých byla odvozena, vstupují do přiřazovací jednotky /není naznačena/.

Jak přiřazení vektorů tak proces časové interpolace byly popsány bez ohledu na orokládání. Postup lze aplikovat přímo i na prokládaný signál /s uvážením vertikální polohy vzorkovaných řádek/; jinou možností je konverze proloženého signálu před zpracováním na sekvenční či postupný.

Pokud jde o skupinové schéma systému pro zpomalenou reprodukci, do něhož může být vynález začleněn, odkazujeme na publikaci č. 32? konference IEE /IBC 90/ str. 121 až 125m - popis je zde začleněn jako odkaz - a na odkazy uvedené v této práci.

Je patrno, Že shora popsané operace je možno obecně realizo- 17 - vat počítačovým systémem spíše než diskrétními obvody. Uvedený funkční popis poskytuje všechny informace potřebné pro vytvoření takového systému, Jak bude zřejmé odborníku z tohoto oboru a podrobný Dopis programových bloků není proto nutný a není zde připojen.

Citovaná literatura 1/ Pat. přihláška WO,A, 9,705.662 - British Broadcasting Corp. /2. dubna 1992/ - viz str. 13 2/ Pat. přihláška ΕΡ,Α,Ο 132.822 - Hitachi Ltd. /13· února 1985/ - viz nárok 1

3/ C.Caffbrio et.al.í Motion compensated image interpolation, str. 218, odst. A B IEEE Transactions on Communications, vol.38, č. 2,

February 1990» New York, str. 215 - 222 4/ G.M.3C.Femando et al.: Motion compensated display conversion, str. 385, odst.4$ str. 398, oQst.6

Proceedings of the 2nd International Workshop on Signál Processing of HDW, l/Aguila, 29*2. - 2.3.1988, str. 393-399 5/ Pat. přihláška WC,A,' 8,705.769 - British Broadcasting Corp. /24. září 1987/ - viz str. 1-4

Claims

- 18 - - 18 - ! O ! w CZ- i Xh : * O’ o. .* » m > i G ! e* <~o i N '-O ti R Cr K »Y i PATENTOVÁ 1β Způsob kompenzace pohybu v signálu video, sestávající z krokví odvození- řady pohybových vektorů reprezentujících pohyb v řízných částech obrazu- a přiřazení příslušných těchto vektorů jednotlivým základním oblastem obrazu, vyznačující se tím, že určité základní oblasti mají k sobě přiřazeny dva nebo více vektorů.
2. Způsob podle bodu 1, vyznačující se tím, že výstupní pole se generuje mezilehle ke dvěms vstupním polinu
3. Způsob podle bodu 2, vyznačující se tím, že v uvedené určité základní oblasti se první z přiřazených vektorů použije k specifikaci pohybu vstupního pole na jednu stranu výstupního pole a druhý přiřazený vektor se použije k specifikaci pohybu vstupního pole na druhou stranu výstupního posle.
4. Způsob podle bodu 2, vyznačující se tím, že Jeden z přiřazených vektorů je sdružen s první částí obrazu a druhý z přiřazených vektorů je sdružen s druhou částí obrazu, pohybující se odlišně od první, přičemž odpovídající část výstupního obrazu se vytvoří kombinací výslednice obou vektorů na příslušné části vstupního obrazu, aby se získal dojem rozmazání na hranách pohybujícího se obrazu. 5o Způsob podle bodu 2, vyznačující se tím, že je-li určeno, že dva objekty mají stejné právo být na výstupním obrazu, dva přiřazené vektory jsou jednotlivě přiřazeny těmto dvěma objektům a výslednice se kombinuje, aby vytvořila výstupní pole.
6. Způsob podle bodu 2, vyznačující se tím, že pokud v uvedených určitých základních oblastech není možné platné určení pohybu, první z přiřazených vektorů odpovídá -ne návratovému režimu a druhý z přiřazených vektorů odpovídá vektoru ze sousedního bloku měření.
7. Způsob podle bodu 1, vyznačující se tím, že se na základě dvou přiřazených vektorů dělají dvě předpovědi pro hodnotu v uvedených určitých základních oblastech a dvě výslednice se kombinují jako jednoduchý nebo vážený průměr·
8. Způsob podle bodu 7, vyznačující se tím, že se kombinace udělá v závislosti na časově závislém koeficientu, na který se aplikuje funkce vyhlazovacího filtru.
9. Způsob podle bodu 1, vyznačující se tím, že se pohybové vektory odvodí pro všechny z řady bloků obrazu a takto odvozené vektory se zvolí, aby poskytly řadu vektorů pro obraz nebo jeho části.
10. Způsob podle bodu 1, vyznačující se tím, že se tyto vektory odvodí metodou fázové korelace.
11. Způsob podle bodu 2, vyznačující se tím, že se přiřazení provede současným porovnáním obsahu tří vstupních snímků.
12. Způsob podle bodu 1, vyznačující se tím, že se jednomu vstupnímu poli přiřazují dvě vektorová pole, první vektorové pole je přiřazeno zpětnou projekcí předcházejícímu vstupnímu poli a druhé vektorové pole je přiřazeno dopřednou projekcí následujícímu vstupnímu poli.
17. Způsob podle bodu 1,vyznačující se tím, že základní oblasti se dvěma či více přiřazenými vektory mají tyto vektory přiřazeny z různých sad pohybových vektorů.
14. Zařízení pro kompenzaci pohybu v signálu video, obsahující prostředky pro odvození řady pohybových vektorů pro každý z řady bloků obrazu a prostředky pro přiřazení příslušných z těch- - 20 - to vektorů jednotlivým základním oblastem obrazu, vyznačující se tím, že prostředky pro přiřazení vektorů přiřazují určitým základním oblastem dva nebo více platných vektorů.
15. Způsob kompenzace pohybu v signálu video, obsahující kroky odvození řady pohybových vektorů reprezentujících pohyb v různých částech obrazu, přiřazující příslušné z těchto vektorů jednotlivým základním oblastem každého vstupního pole, vyznačující se tím, že pro jeke.e takto přiřazených vektorů se použije pro odvození výstupního pole mezilehlého k dvěma vstupním polím.
16. Způsob podle bodu 15, vyznačující se tím, že každé ze základních oblastí vstupního pole se přiřadí alespoň dva vektory. 17· Způsob podle bodu 16, vyznačující se tím, že první vektor přiřazený základní oblasti vstupního pole se odvodí zpětnou projekcí k předchozímu vstupnímu poli a druhý vektor, přiřazený téže základní oblasti, se odvodí dopřednou projekcí k následujícímu vstupnímu poli.
18. Způsob podle bodu 15, vyznačující se tím, že sada pohybových vektorů, použitá pro přiřazení jednomu vstupnímu poli, se odvodí ze dvou nebo více sad pohybových vektorů, odvozených z porovnání mezi tímto vstupním polem a předcházejícím a následujícím vstupním polem.
19. Způsob podle bodu 18, vyznačující se t:í m, že uvedená sada pohybových vektorů obsahuje průměr sad pohybových vektorů, odvozených z porovnání mezi daným vstupním Dolem a vstupním polem bezprostředně předcházejícím a vstupním polem bezprostředně následujícím.
20. Způsob podle bodu 15, vyznačující se tím, že pohybové vektory se odvozují metodou fázové korelace· - 21 -
21. Způsob padle bodu 15, vyznačující se tím, že sada pohybových vektorů pro přiřazení vstupním polím na některé straně výstupního pole se odvozuje ze sady pohybových vektorů odvozených pro interval mezi dvěma vstupními poli a ze sad pohybových vektorů odvozených pro předcházející a následující interval.
22. Způsob podle bodu 21, vyznačující se tím, že uvedená sada pohybových vektorů je odvozena z průměru sady pohybových vektorů odvozených pro daný interval a pro interval bezprostředně předcházející a interval bezprostředně následující.
23. Způsob podle bodu 22, vyznačující se tím, Že použitý průměr je vážený průměr.
24. Způsob odvození sady pohybových vektorů pro použití v sýstámu pro kompenzaci pohybu v signálu video, vyzná čuj íc í se t í m, že sestává z kroků odvození první sady pohybových vektorů porovnáním prvního a druháho vstupního pole, odvození druhá sady pohybových vektorů porovnáním druháho a třetího vstupního pole a odvození třetí sady vektorů z táto první a druhá sady.
25. Způsob podle bodu 24, vyznačující se tím, že vstupní pole jsou za sebou jdoucí pole v sekvenci.
26. Způsob podle bodu 24, vyznačující se tím, že obsahuje krok přiřazení vektorů třetí sady záMafoím oblastem obrazu.
27. Způsob podle bodu 24, vyznačující se tím, že obsahuje krok přiřazení vektorů třetí sady základním oblastem obrazu v druhám vstupním noli.
28. Způsob.podle bodu 24, vyznačující se tím, že první a druhá sada pohybových vektorů se odvozuje metodou 22 - fázové korelace*
29. Způsob odvození sady pohybových vektorů vhodných pro použití v systému pro kompenzaci pohybu v signálu video, vyznačující se tím, že sestává z kroků odvození první, druhé a třetí sady pohybových vektorů z prvního a druhého, z druhého a třetího a z třetího a čtvrtého vstupního pole a 2 odvození čtvrté sady pohybových vektorů z této první, druhé a třetí sady.
30. Způsob podle bodu 29, vyznačující se tím, že tato čtvrtá sada pohybových vektorů je odvozena 2 průměru první, druhá a třetí sady.
31. Způsob podle bodu 30, vyznačující se tím, že použitý průměr Je vážený průměr.
32. Způsob podle bodu 29, vyznačující se tím, že vstupní posle jsou 22a sebou jdoucí pole v sekvenci.
33. Způsob podle bodu 29, vyznačující se tím, že obsahuje krok přiřazení vektorů čtvrté sady základním oblastem obrazu, reprezentovaného signálem video.
34. Způsob podle bodu 33, vyznačující se tím, že vektory jsou přiřazeny základním oblastem druhého a třetího vstupního pole. 35» Způsob podle bodu 34, vyznačující se tím, že vektory jsou přiřazeny druhému vstupnímu poli metodou dopředně projekce a vektory jsou přiřažerty třetímu vstupnímu poli metodou zpětná projekce.
36. Způsob podle bodu 28, vyznačující se tím, že obsahuje krok opakující postup pro druhé, třetí, čtvrté a páté vstupní pole a takto odvozující pátou sadu pohybových vektorů. - 23 -
37. Způsob podle bodu 28, vyznačující se tím, že sady pohybových vektorů se odvozují metodou fázové korelace o
38. Zařízení pro odvození sady pohybových vektorů, vhodná pro použití v systému pro kompenzaci pohybu, vyznačující se t í m, že obsahujme alespoň dva zpožáovací obvody /20/ zapojené do série a přijímající sekvenci polí video, alespoň dva obvody /22/ pro odvození pohybových vektorů, každý z nich přijímá vstupní pole ze vstupu a výstupu odpovídajícího zpožďovacího obvodu /20/ a dále kombinující obvod /26/, připojený k výstupům obvodů /22/ pro odvození vektorů,, Jehož výstup poskytuje uvedenou sadu pohybových vektorů.