FI92896C - Menetelmä liikkeen estimoimiseksi videosignaalista sekä liike-estimaattori - Google Patents

Description

5 92896

Menetelmä liikkeen estimoimiseksi videosignaalista sekä liike-estimaattori - Förfarande för att estimera rörelse i en videosignal samt rörelseestimator

Keksintö koskee menetelmää ja estimaattoria, joilla näyt-teistetystä videosignaalista estimoidaan lohkosovitusta käyttäen televisiokuvan osa-alueiden liiketieto, joka saadaan liikkeen suunnan ja laajuuden antavan liikevektorin 10 muodossa. Menetelmä ja estimaattori sopivat käytettäväksi vastaanottimessa kun vastaanotettua esim. HD-MAC, PAL jne. standardin mukaista videosignaalia prosessoidaan jollain liikekompensoidulla menetelmällä ja erityisesti silloin kun näytettävän kuvan parantamiseksi suoritetaan juovaluvun kas-15 vattamista LRU (Line Rate Upconversion) tai kenttätaajuuden kasvattamista FRU (Field Rate Upconversion). Estimaattoria voidaan käyttää myös muunnoksessa standardista toiseen.

Liike-estimointimenetelmät voidaan jakaa kahteen pääluok-20 kaan: menetelmiin, joissa erotetaan liikeparametreja ja menetelmiin, joissa mitataan pikselin nopeutta. Pikselin nopeutta mittaavat menetelmät voidaan edelleen jakaa menetelmiin, jotka perustuvat spatiaalis-temporaalisiin differen-tiaaleihin, sovitukseen (matching), jossa tutkitaan lohkojen 25 vastaavuuksia eri ajan hetkenä, sekä Fourier-tekniikkoihin.

•

Liikeparametrien erottamismenetelmissä liikettä kuvataan parametritermein kuten etenemisen, pyörimisen ja zoomauksen avulla. Nämä parametrit on erotettu liikkuvien kaksidimen-30 sionaalisten kohteiden sekvenssistä. Ominaisuudet voidaan erottaa joko manuaalisesti tai käyttäen ylipäästö- tai mor-\ fologisuodatusta. Kuvalle asetettavien rajoitusten ja kom pleksisuuden vuoksi liikeparametrien erotusmenetelmät eivät sovellu erikoisen hyvin liike-estimointiin televisiossa.

Pikselin nopeutta mittaaviin menetelmiin kuuluvat spatiaalis- temporaalisiin differentiaaleihin pohjautuvat tekniikat perustuvat pelkästään etenemismalleihin. Niissä oletetaan, 35 2 92896 että intensiteettivaihtelu on kauttaaltaan television kuva-kentässä siirtymän lineaarinen funktio. Mutkikkaampia liikkeitä voidaan estimoida rajoittamalla estimointialuetta osa-kenttää koskevaksi. On myös välttämätöntä otaksua, että 5 liikkuvan kohteen valoisuus ei muutu. Temporaalisessa (peräkkäisten kenttien välillä) sekä vaaka- ja pystysuunnassa lasketaan useita differentiaaleja. Nämä differentiaaliset suhteet antavat spatiaalisen siirtymän, yksikkönä pikseli kuvaa kohti.

10 Tällaiset differentiaaleihin pohjautuvat tekniikat toimivat hyvin kun liike on vähäistä ts. siirtymät ovat pikseliä pienempiä, mutta toimivat huonosti kun liike on suurta. Niitä voidaan parantaa käyttämällä rekursiota, mutta konvergenssi 15 voi olla pieni tai sitä ei ole ollenkaan.

Fourier-tekniikoissa käytetään kahden kuvan korrelointia siten, että ensiksi tehdään kaksidimensionaalinen Fourier-muunnos jokaiselle kuvalle, kerrotaan vastaavat taajuuskom-20 ponentit ja suoritetaan käänteismuunnos. Tuloksena saadaan korrelaatiopinta, jonka huippu on niiden koordinaattien kohdalla, jotka vastaavat siirrosta kahden kuvan välillä. Fourier- tekniikkaan eivät vaikuta valoisuusmuutokset ja sillä on hyvä häiriönsietokyky. Menetelmä sopii hyvin globaalisen 25 liikkeen mittaamiseen ja käyttäen jotain lisäprosessointia, : kuten korrelaatiopinnan interpoloinmista ja jälkiprosessoin- tia voidaan tarkkuutta edelleen parantaa.

Pikselin nopeutta mittaaviin menetelmiin kuuluva usein käy-30 tetty muunnos on lohkosovitus (block matching), jossa estimoidaan alue alueelta sen sijaan että estimoitaisiin pikseli pikseliltä. Jäljempänä tekstissä puhuttaessa sana "kenttä" tarkoittaa sekä lomitellun .kuvan kenttää että progressiivisen kuvan kenttää, joka on tällöin on sama kuin kuva. Lohko-35 sovituksessa kentät on jaettu lohkoihin, joiden koko on n*m, ja oletetaan, että jokaisen pikselin siirtymävektori on sama lohkon sisällä. Esimerkki valaisee lohkosovitusta: oletetaan, että yhdessä kentässä t on n*m pikseliä käsittävän 3 92896 lohkon ( = tietyn kokoisen kuvan osa-alueen) sisällä objekti, esim. auton kuva. Tätä lohkoa voidaan nimittää vertailuloh-koksi. Auto liikkuu ja seuraavassa kentässä t+1 se on siirtynyt johonkin uuteen paikkaan. Tämä uusi paikka on nyt et-5 sittävä. Se tehdään niin, että uudessa kentässä t+1 määritetään etsintäalue, jossa liikutellaan lohkoa, jonka koko on sama kuin vertailulohkolla eli n*m pikseliä. Voidaan ajatella tämä lohko ikkunaksi, jonka läpi näkyy kentän pikseli-joukko ikkunan kokoiselta alueelta. Jokaisessa asemassa loh-10 kon (ikkunan) sisältöä verrataan kentän t vertailulohkon sisältöön. Vertailussa verrataan ikkunan pikseleitä vastaaviin kentän t vertailulohkon pikseleihin. Kun lohkoa (ikkunaa) liikutellaan pitkin kenttää t+1, niin jossain kohdassa kentässä t+1 määrätty vertailukriteeriehto täyttyy, mikä 15 tulkitaan siten, että lohkojen sisällöt ovat samat. Lohkot "sopivat" nyt toisiinsa, koska niiden sisältö on sama. Tällöin tiedetään, että auto on siirtynyt tähän kohtaan kentässä t+1. Näin saadaan selville siirtymän suuruus ja suunta.

20 Kuvat 1 ja 2 esittävät lohkosovituksen periaatetta. Kuvassa 1 vasemmanpuoleinen suunnikas esittää televisiokuvan yhtä kenttää t ja oikeanpuoleinen suunnikas seuraavaa kenttää t+1. Kuten edellä on sanottu, kukin kenttä jaetaan n*m-pik-selin suuruisiin lohkoihin. Kentässä t on esitetty kolme 25 tällaista lohkoa. Niiden esittämä kuva on siirtynyt kentässä ; t+1 uuteen kohtaan, joita osoittavat vektoreiden kärjet.

Viitataan nyt kuvaan 2. Lohkosovitus tehdään siten, että kentässä t+1 valitaan etsintäalue sx*sy, jonka keskellä oleva lohko on samassa positiossa kuin kentässä t oleva refe-30 renssilohko. Yksinkertaisuuden vuoksi kuvitellaan, että tämä lohko on vertailulohko A. Lohkosovituksessa käydään kentän t+1 alue sx*sy lävitse liu'uttamalla täsmälleen lohkon A kokoista ikkunaa B alueessa. Ikkunan joka asemassa verrataan ikkunan sisältöä kentän t lohkon A sisältöön. Kun sisällöt 35 ovat asetetun kriteerin mukaiset, todetaan, että lohkot "sopivat" toisiinsa. Kuvan 2 nuoli kuvaa siten lohkon A liikettä kentästä t kenttään t+1.

4 92896

Kuvassa 1 vastaavasti todetaan, että kentän t mustalla merkityn lohkon kuvasisältö on liikkunut kentän t+1 mustalla merkittyyn kohtaan. Tämän kohdan x- ja y-koordinaatit ovat liikevektorin koordinaatit. Vastaavalla tavalla todetaan, 5 että kentän t kahden vierekkäisen valkealla neliöllä kuvatun lohkon kuva on siirtynyt kentän t+l kohtaan, johon vektoreiden kärjet osoittavat. Kun kenttätaajuuden kasvattamisessa on interpoloitava uusi kenttä il kenttien t ja t+l väliin, huomataan, että liikevektorit kulkevat kentän il saman koh-10 dan kautta. Tällöin on suoritettava konsistenssitarkastus, jotta tämän kohdan liikevektorin suunnaksi tulee yhtenäisellä viivalla esitettyjen vektoreiden suunta, joka on kuvan liikkeen pääsuunta.

15 Yleisesti käytetyt vertailukriteerit lohkosovituksessa ovat lohkojen pikseleiden absoluuttisten erotuksien keskiarvo MAD (Mean Absolute Difference), erotuksien neliöiden keskiarvo MSD (Mean Squared Difference) ja pikselieroluokittelu PDC (Pixel Difference Classification). Viimeksi mainitussa kri-20 teerissä lohkon jokaisesta pikselistä tutkitaan sen sopivuutta eli tutkitaan kynnysarvoa käyttäen, onko sen arvo sama kuin vertailulohkon vastaava pikselin arvo. Jos on, sijoitetaan pikseli luokkaan "sopiva" (matching) ja jos ei, sijoitetaan luokkaan "epäsopiva" (mismatching). Ylärajan 25 lohkon koolle asettaa käytetty yksinkertainen etenemismalli, : koska pyörimistä ja zoomausta ei ole helppo mallintaa.

Kuten edellä on selotettu, on lohkosovitusmenetelmässä käytettävä jotakin sovituskriteeriä, jonka mukaan lohko tuiki-30 taan sovitetuksi. Sovituskriteeriä käyttäen saadaan liike-vektorikenttä. Kuitenkaan eivät lohkosovituksessa tunnetut sovituskriteerit tuota aina tarkkaa liikevektorikenttää. Tämän keksinnön tavoitteena on siten saada aikaan liike-es-timaattori, jossa lohkosovitusta hyväksi käyttäen voidaan 35 erittäin luotettavasti saada selville liikevektorin suunta ja suuruus. Tämä tavoite saavutetaan käyttäen patenttivaatimuksen 1 mukaista menetelmää tai vaatimuksen 9 mukaista liike -estimaattoria.

Il 5 92896 Tässä menetelmässä tutkittavan kuvan lohkoille tehdään millä tahansa tunnetulla tavalla ensin yksinkertainen liike-ilmaisu, jotta saadaan selville stationääriset lohkot. Tämä säästää paljon laskemista, koska voidaan keskittyä tutkimaan 5 vain liikettä sisältävien lohkojen liikevektoreita. Tämän jälkeen haetaan jokaiselle lohkolle joukko siihen liittyviä liikevektoriehdokkaita. Se tapahtuu niin, että jaetaan koko etsintäalue limittäisiin vyöhykkeisiin, joiden keskellä on vertailulohko. Vyöhykkeen yksi mahdollinen muoto on ympyrä, 10 jolloin kaikki suunnat painottuvat yhtä paljon. Jos muoto on esim. neliö, painottuvat kulma-alueiden suunnat liikaa. Ensimmäisessä eli pienimmässä vyöhykkeessä tehdään lohkosovi-tusoperaatio kvantisoiduille pikseleille ja tätä vyöhykettä koskevat liikevektoriarvot x ja y sekä vastaava sovituslas-15 kenta tallennetaan. Tämän jälkeen ympyrävyöhykettä suurennetaan, tehdään taas lohkosovitusoperaatio ja tallennetaan tulokset, mikäli sovitus on parempi kuin edellisessä pienemmässä vyöhykkeessä. Sama prosessi toistetaan joka vyöhykkeessä. Koska vyöhykkeet ovat limittäisiä, samat vektorit 20 voivat kuulua useisiin vyöhykkeisiin, ja hyvä origonläheinen sovitus, joka edellyttää pientä siirrosta, voi edetä kaikkien vyöhykkeiden kautta.

Kun yhden lohkon liikevektoriehdokkaat on laskettu, siirry-25 tään seuraavaan lohkoon jne. kunnes kuvan tai ainakin riit-: tävän suuren alueen kaikkien liikettä sisältävien lohkojen vektoriehdokkaat on laskettu. Näin ollen kullekin liikkuvalle lohkolle on aina olemassa useita vektoriehdokkaita, jotka voivat olla, mutta joiden ei tarvitse olla, yhtä suuria.

30 Tämän jälkeen seuraa vektorijälkikäsittelyvaihe parhaan lii-kevektorin valitsemiseksi. Jotta saataisiin yhtenäinen lopullinen vektorikenttä, otetaan kunkin lohkon lopullista liikevektoria määrättäessä huomioon myös naapurilohkojen 35 vektoriehdokkaat. Ensimmäisessä vaiheessa pannaan kaikki tutkittavan lohkon ja naapurilohkojen x- ja y-komponentti-muodossa olevat vektoriehdokkaat pinosuodattimiin. Tämän 6 92896 jälkeen pinojen sisältö järjestellään ja otetaan ulos jokaista etsintävyöhykettä kohti mediaani.

Näin saadut vyöhykkeiden konsistenssivektorit, joita on siis 5 yhtä monta kuin etsintävyöhykkeitä, johdetaan toisiin pino-suodattimiin, joiden korkeus on yhtä suuri kuin vyöhykkeiden lukumäärä. Tämän jälkeen otetaan taas mediaani ulos. Saatu mediaani hyväksytään tutkittavan lohkon lopulliseksi liike-vektoriksi .

10

Edullisessa suoritusmuodossa tehdään vielä toinen vektorin-käsittelyoperaatio vektorikentän pehmentämiseksi. Toisen jälkikäsittelyn toiminto on hyvin lähellä ensimmäisen jälkikäsittelyn toimintoa. Tutkittavan lohkon ja sen naapuriloh-15 kojen edellä saadut "lopulliset" vektorit pinotaan, järjestellään järjestykseen ja valitaan mediaani lopulliseksi lii-kevektoriksi.

Keksinnön mukaista menetelmää ja estimaattoria selostetaan 20 seuraavassa havainnollisemmin oheisten piirustusten avulla, joissa kuva 1 esittää lohkosovituksen periaatetta, kuva 2 esittää etsinnän yleistä periaatetta, kuva 3 kuvaa etsintäalueita keksinnön mukaisessa menetel-25 mässä, : kuva 4 kuvaa 3*3-suuruista lohkojen joukkoa, joille on laskettu liikevektoriehdokkaat, kuva 5 on kaaviokuva ensimmäisestä vektorien jälkikäsit-telyvaiheesta, 30 kuva 6 kuvaa 3*3-lohkoa, jonka lohkoille on piirretty kuvan 5 vaiheen jälkeen saadut liikevektorit, kuva 7 on kaaviokuva toisesta vektorien jälkikäsittelyvai-heesta, ja kuva 8 on lohkokaavio eräästä kenttätaajuuden kasvatuspii-35 ristä.

Kuvia 1 ja 2 on selostettu jo edellä tekniikan tason kuvauksen yhteydessä. Nyt esitetyssä lohkosovituksessa sovelletaan li 7 92896 PDC-menetelmää kvantisoituun videosignaaliin, jossa sovitus-pikselien täytyy olla yhtä suuret. Kvantisointitasojen lukumäärä on muutettavissa, mikä merkitsee, että menetelmällä saavutetaan hyvä sovitus myös kohinaisissa oloissa. Tyypil-5 lisesti kohinainen videosignaali on kvantisoitu käyttäen 4-tai 5-bittistä kvantisointia, ja tulokseksi saadaan 16 tai 32 tasoa. Kun alkuperäinen videosignaali on tavallisesti 8-bittinen eli 255-harmaatasoinen, merkitsee 5-bittinen kvan-tisointi sitä, että peräkkäisten 5-bittisten lukujen väliin 10 mahtuu 8 alkuperäistä harmaatasoa. Tällöin kahden pikselin eron ollessa pienempi kuin 8, tulkitaan pikselien arvo samaksi. Tämä merkitsee, että kvantisointi parantaa myös systeemin kohinankestoisuutta.

15 Kuva 3, joka idealtaan vastaa kuvaa 2, esittää etsintäaluei-ta keksinnön menetelmässä. Kuva voidaan ajatella kentän t+1 osaksi. Kenttä, jonka pikselit on kvantisoitu, on jaettu n*m-kokoisiin lohkoihin, joita esittävät toisiinsa rajoittuvat suorakaiteet. Keskellä oleva vahvennetulla viivalla 20 piirretty suorakaide esittää vertailulohkoa, joka on peräisin edeltävästä kentästä t. Nyt ei käytetäkään yhtä liike-vektorin etsintäaluetta, kuten tunnetussa tekniikassa on tehty, vaan etsintäalue muodostuu useista, kuvan tapauksessa seitsemästä ympyrävyöhykkeestä, niin että ympyrävyöhykkeen 25 keskellä on vertailulohko ja ympyrävyöhykkeet ovat näin ol-: Ien limittäisiä. Suurimman ympyrän säteen määrää käytettä vissä oleva maksimi liikevektorikoko, ts. mitä pidempi maksimi vektori on, sitä suurempi on vyöhykkeiden lukumäärä.

30 Ensiksi suoritetaan lohkosovitus pienimmässä vyöhykkeessä.

Tässä vyöhykkeessä liikutetaan lohkoa (ikkunaa), kuten kuvan \ 2 selityksen yhteydessä on selostettu. Lohkon jokaisessa asemassa verrataan lohkon kutakin kvantisoitua pikseliä alueen keskellä olevan vertailulohkon vastaavaan kvantisoituun 35 pikseliin. Suoritetaan siis n*m-vertailua. Aina kun vertailu osoittaa pikseliparien olevan yhtä suuret, inkrementoidaan laskuria (matchcount). Kun vertailu tässä asemassa on suoritettu, on tuloksena tietty laskurin luku N, jota nimitetään 8 92896 sovituslaskennaksi. Tämä ja lohkon x- ja y-koordinaatit tallennetaan muistiin. Ikkunalohkoa siirretään vyöhykkeessä yhden indeksin (juovan tai sarakkeen) verran ja lasketaan jälleen tässä asemassa yhtä suurien pikseliparien lukumäärä 5 1. uusi sovituslaskenta N tässä asemassa. Jos N on suurempi kuin muistissa oleva luku N, mikä merkitsee parempaa sovitusta, laskurin edellinen muistiin tallennettu luku korvataan tällä luvulla ja samoin muistiin tallennetut x- ja y-koordinaatit korvataan tämän paremman sovituksen omaavan 10 lohkon koordinaateilla. Näin käydään lävitse koko ympyrä- vyöhykkeen alue ja sovituksen loputtua on tuloksena lohkon A liikevektoriehdokkaan koordinaatit x ja y sekä sovituspik-seleiden lukumäärä N ensimmäisessä ympyrävyöhykkeessä.

15 Tämän jälkeen, laajennetaan etsintäaluetta niin, että se käsittää toisen ympyrävyöhykkeen. Liikutetaan ikkunalohkoa tämän vyöhykkeen alueella vastaavalla tavalla kuin ensimmäisen vyöhykkeen alueella ja joka kohdassa toistetaan samanarvoisten pikseliparien laskenta. Kun koko vyöhyke on käyty 20 lävitse, ovat tuloksena lohkon A liikevektoriehdokkaan koordinaatit x ja y sekä sovituspikseleiden lukumäärä N toisessa ympyrävyöhykkeessä. Saatu tulos voi olla aivan sama kuin ensimmäisessä vyöhykkeessäkin.

25 Laajennetaan taas etsintäaluetta käsittämään kolmas vyöhyk-ke, sen jälkeen neljäs jne. kunnes kaikki vyöhykkeet on käyty läpi. Jokaiselle vyöhykkeelle tallennetaan vektoriarvot x ja y sekä vastaava sovituslaskenta N. Koska vyöhykkeet ovat limittäisiä, sama vektori voi toteuttaa sovituskriteerin 30 usealla vyöhykkeellä, joten sama vektori voi esiintyä usean vyöhykkeen vektoriehdokkaana. Näin ollen kullekin liikkuval- « le lohkolle on aina olemassa useita vektoriehdokkaita, jotka voivat olla, mutta joiden ei tarvitse olla, yhtä suuria.

35 Kun edellä kuvattu operaatio on tehty jokaiselle kentän t liikettä sisältävälle lohkolle, on tulos kuvan 4 mukainen. Siinä on esitetty 3*3 lohkon ryhmä, lohkot A, B, C, D, E, F, G, H ja I. Koska harmaalla merkityt lohkot E, H ja I on en- 9 92896 nen lohkosovitusta tehdyssä operaatiossa todettu stationaa-risiksi, niille ei ole tehty lohkosovitusta, eikä niillä niin ollen ole liikevektoreitakaan. Kuvan mukaisesti etsin-tävyöhykkeitä on ollut 3, joten jokaista lohkoa kohti on 5 kolme liikevektoriehdokasta. Nyt on vielä määritettävä kullekin vyöhykkeelle yksi lopullinen liikevektori. Tarkastellaan seuraavassa, miten lohkon E lopullinen liikevektori määräytyy.

10 Jotta televisiokuvan vektorikenttä tulisi tasaiseksi, niin ettei siinä olisi yksittäisiä ilmeisen vääriä liikevektorei-ta, suoritetaan vektorijälkikäsittelyvaihe parhaan vektorin valitsemiseksi. Viitataan kuviin 4 ja 5. Tutkittavan lohkon E vektoriehdokkaiden lisäksi otetaan huomioon ainakin sen 15 välittömien naapurilohkojen vektoriehdokkaat kuvan 4 mukaisesti. Ensimmäisessä vaiheessa pannaan kaikki 3x3-lohkon vektoriehdokkaat pinosuodattimiin Fl, F2, F3, F4, F5 ja F6. Suodattimien lukumäärä riippuu ympyrävyöhykkeiden lukumäärästä. Mikäli on, kuten kuvassa 4, 3 vyöhykettä, tarvitaan 20 silloin 6 pinosuodatinta. Vektorikomponentit x ja y käsitellään erikseen. Pinojen maksimikorkeus on sama kuin lohkojen lukumäärän mukaan eli tässä tapauksessa kussakin pinossa on 9 paikkaa. Ensimmäisessä jälkiprosessointivaiheessa asetetaan vektoriehdokkaat jokaisesta vyöhykkeestä (vyöhyke 1 on 25 siis etsintäalue 1) pinoon, x- ja y-komponenteilla on oma ; pinonsa. Esimerkiksi suodattimen Fl pinossa ovat jokaisen lohkon etsintäalueen 1 x-vektoriehdokkaat ja suodattimen F2 pinossa ovat tämän alueen y-vektoriehdokkaat. Vastaavasti pinoissa F3 ja F4 ovat kunkin lohkon etsintäalueen 2 x- ja 30 y-vektoriehdokkaat ja pinoissa F5 ja F6 ovat etsintäalueen 3 x- ja y-vektoriehdokkaat. Kolme paikkaa kussakin pinossa on • tyhjiä, koska lohkot F, H ja I ovat stationaarisia.

Tämän jälkeen pinojen sisältö järjestellään ja otetaan ulos 35 kustakin pinosta siinä olevien arvojen mediaani. Nyt meillä on lohkolle E etsintävyöhykkeittäin yhtäpitävät vektorit alueesta, joka käsittää 3x3-lohkon naapuruston. Vyöhykkeiden konsistenssivektorit 1. mediaanit johdetaan lisäpinoihin F7 10 92896 ja F8, joiden korkeus on yhtä suuri kuin vyöhykkeiden lukumäärä, tässä tapauksessa 3. Pinoon F7 johdetaan kunkin kolmen vyöhykkeen y-konsistenssivektori ja vastaavasti pinoon F8 kunkin vyöhykkeen x-konsistenssivektori. Tämän jälkeen 5 otetaan kummastakin pinosta mediaani. Saadaan liikevektori-komponentit X ja Y, joita voidaan käyttää lohkon E lopullisina liikevektorikomponentteina.

Kuvassa 6 on esitetty kuvan 4 3*3-lohko, jonka kunkin lohkon 10 liikevektori on laskettu käyttäen konsistenssitarkastelussa naapurilohkojen vektoriehdokkaita edellä esitetyllä tavalla.

Tavallisesti on kuitenkin edullista suorittaa vielä yksi pehmennysoperaatio. Sitä on kuvattu kuvassa 7. Tämän toisen 15 jälkikäsittelyn toiminto on hyvin lähellä edellä kuvattua ensimmäisen jälkikäsittelyn toimintoa. 3x3-ikkunan lohkojen A, B, C, D, E ja G liikevektoreiden x-komponentit pinotaan pinomuistiin S71 ja järjestellään järjestelylohkossa ST1 suuruusjärjestykseen pinoon S73. Pinon arvoista otetaan me-20 diaani, joka on lopullinen lohkon E liikevektorin x-kom- ponentti Xout. Vastaavalla tavalla lohkojen A, B, C, D, E ja G liikevektoreiden y-komponentit pinotaan pinomuistiin S72, järjestellään järjestelylohkossa ST2 suuruusjärjestykseen pinoon S73 ja pinon arvoista otetaan mediaani, joka on lo-25 pullinen lohkon E liikevektorin y-komponentti Yout. Tässä esimerkissä arvot Xout ja Yout ovat lopullisia arvoja, jotka esittävät liikettä kahden peräkkäisen kentän välillä.

Keksinnön sovellusta esittävä kuva 8 kuvaa erästä kenttätaa-30 juuden kasvatuspiiriä sovellettuna HD-MAC-standardin mukaiseen videosignaaliin. Tuleva lomittelematon 50 Hz:n kenttä- • · taajuinen signaali muunnetaan ensin progressiiviseksi 50 Hz:n kenttätaajuiseksi kuvaksi IPC-muuntimissa 81 ja 81' (Interlaced-to-Progressive Converter). Muunnos voidaan suo-35 rittaa millä tahansa tunnetulla tavalla liikeadaptiivisesti käyttäen HD-MAC-signaalin mukana vastaanotettua liikevekto-rit sisältävää DATV-signaalia ja muunnoksessa käytetään kentän siirtoa ja kentän sisäistä interpolointia. Kun halutaan 11 92896 ulostulokentän kenttätaajuudeksi 100 Hz ja kuvan olevan progressiivinen, on interpoloitava uuden kentän juovat in-terpolaattorilohkossa 87. Tätä varten ei DATV-liikevektorei-ta voida käyttää, vaan haetaan uudet liikevektorit keksinnön 5 mukaisella menetelmällä. Aivan ensimmäiseksi peräkkäisten progressiivisten kuvien pikselit kvantisoidaan 8-bittisestä esim. 5-bittiseksi kvantisointilohkoissa 82 ja 82'. Kvan-tisoidut kuvat johdetaan liikeilmaisimeen 83 (MD, Motion Detection), joka tutkii, onko kukin lohkon liikettä sisäl-10 tävä vai ei. Tämän jälkeen lohkossa 84 haetaan liikevektorit ympyrävyöhykeittäin kuten kuvien 3 ja 4 selityksessä on esitetty. Tulos on kuvan 4 mukainen. Jälkiprosessointilohkossa 85 suoritetaan konsistenssioperaatio, joka on selostettu kuvaan 5 liittyvässä tekstissä. Lopulliset lohkojen liike-15 vektorit saadaan toisessa jälkiprosessointilohkossa 86, jossa suoritetaan kuvan 7 mukainen prosessointi. Lopputuloksena saadut lohkojen liikevektorikomponentit X ja Y johdetaan interpolaattorilohkoon 87, joka interpoloi liikeadaptiivi-sesti uuden kentän t.

20 Käytännössä ei kannata suorittaa lohkojen täydellistä vertailua koko etsintävyöhykkeen alueella, vaan edellisen, pienemmän ympyrävyöhykkeen kanssa limittyvän alueen tutkimisessa otetaan huomioon tämän pienimmän alueen tutkimisesta saa-25 dut vertailutulokset.

Patenttivaatimusten suojapiirissä pysyen keksintö voidaan toteuttaa eri tavoin. Etsintäalueen ei tarvitse välttämättä olla ympyränmuotoinen, vaan se voi olla esim. neliö, suora-30 kaide tai monikulmio. Pikseleiden ei välttämättä tarvitse olla kvantisoituja, vaan voidaan verrata myös todellisia : arvoja, jolloin on laskettava niiden absoluuttisia erotuk sia. Liikevektoriehdokkaiden jälkikäsittelyvaiheessa voidaan konsistenssitarkastus suorittaa käyttäen myös muita kuin 35 mediaanioperaatiota.

Liikettä ei ole välttämätöntä tutkia kahden peräkkäisen kuvan välillä, vaan tutkittavat kuvat voivat muodostaa näy- 12 92896 tesekvenssin, jonka yksittäisten kuvien välistä puuttuu yksi tai useampi alkuperäinen kuva.

Claims (15)

13 92896

1. Menetelmä televisiokuvien välisen liikkeen estimoimi-seksi digitaalisesta videosignaalista, jossa menetelmässä kuva jaetaan lohkoihin 1. kuva-alueisiin ja lohkosovitusta 5 käyttäen etsitään seuraavan kuvan (t+1) etsintäalueesta sovi tuslohko, jonka sisältö vastaa edellisen kuvan (t) vertai-lulohkon sisältöä, jolloin sovituslohkon siirtymästä vertai -lulohkoon nähden saadaan vertailulohkon liikevektori, tunnettu siitä, että jokaista edellisen kuvan lohkoa koh-10 ti: - etsintäalue muodostuu useista samankeskisistä alueista, - jokaisessa alueessa etsitään se sovituslohkon asema, joka antaa parhaan sovituksen kyseisen alueen sisällä ja tallennetaan tämän sovituslohkon x- ja y-koordinaatit vertailuloh- 15 kon liikevektoriehdokkaan vektorikomponentteina muistiin, jolloin sen jälkeen kun etsintä on suoritettu jokaisessa alueessa, on saatu jokaista lohkoa kohti yhtä monta liike-vektoriehdokasta kuin on etsintäalueita, - vertailulohkon ja ainakin sen välittömien naapurilohkojen 20 liikevektoriehdokkaat johdetaan etsintäalueittain ensimmäisen suodatusoperaation suorittaviin ensimmäisiin suodatti-miin (Fl, F2; F3, F4; F5, F6), jolloin eri lohkojen toisiaan vastaavien etsintäalueiden liikevektoriehdokkaat ovat samassa suodattimessa, ja kunkin suodattimen lähdöstä saadaan 25 kutakin etsintäaluetta kohti vain yksi suodatettu liikevek-: toriehdokas, ja - saadut suodatetut liikevektoriehdokkaat johdetaan toisen suodatusoperaation suorittavaan toiseen suodattimeen (F7, F8), jonka lähdöstä saadaan lopullinen liikevektori, jota 30 voidaan mahdollisesti lisäprosessoida. ·' 2. Patenttivaatimuksen 1 mukainen menetelmä, tunnet - t u siitä, että etsintäalueet ovat samankeskisiä ympyräalu-eita.

3. Patenttivaatimuksen 1 mukainen menetelmä, tunnet -t u siitä, että lohkokosovitus suoritetaan kvantisoiduille näytteille. 35 92896 14

4. Patenttivaatimuksen 3 mukainen menetelmä, tunnet -t u siitä, että - lohkosovituksessa verrataan vain osaa sovituslohkon näyt-5 teistä vertailulohkon vastaaviin näytteisiin ja lasketaan niiden sovituslohkon näytteiden lukumäärä (N), joiden ero vertailulohkon vastaavasta näytteestä on pienempi kuin asetettu kynnysarvo, ja - parhaan sovituksen antavan lohkon asemaksi valitaan sovi-10 tuslohkon se asema, jossa laskettujen näytteiden lukumäärä (N) on suurin.

5. Patenttivaatimuksen 1 mukainen menetelmä, tunnet -t u siitä, että ennen liikkeen estimointia lohkoille suori- 15 tetaan yksinkertainen liikeilmaisu ja liikevektoreita ei etsitä lohkoille, jotka ovat stationaarisia.

6. Patenttivaatimuksen l mukainen menetelmä, tunnet -t u siitä, että ensimmäinen suodatusoperaatio on mediaani- 20 operaatio.

7. Patenttivaatimuksen 1 tai 6 mukainen menetelmä, tunnettu siitä, että toinen suodatusoperaatio on mediaani-operaatio. 25

8. Jonkin edeltävän patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että lisäprosessoinnissa vertailulohkon ja ainakin sen välittömien naapurilohkojen saadut lopulliset liikevektorit johdetaan kolmansiin suodattimiin, 30 joissa lasketaan mediaani ja joita mediaaneja käytetään vertailulohkon liikevektoreina.

9. Liike-estimaattori televisiokuvien välisen liikkeen estimoimiseksi digitaalisesta videosignaalista, jonka esti- 35 maattorin tuloihin johdetaan samanaikaisesti kaksi peräk käistä, lohkoihin eli kuva-alueisiin jaettua kuvaa (t, t+1), ja joka lohkosovitusta käyttäen etsii seuraavan kuvan (t+1) etsintäalueesta sovituslohkon, joka vastaa sisällöltään li 15 92896 edellisen kuvan (t) vertailulohkon sisältöä ja laskee sovi-tuslohkon siirtymästä vertailulohkoon nähden vertailulohkon liikevektorin, joka saadaan estimaattorin lähdöstä, tunnettu siitä, että liike-estimaattori edelleen sisältää: 5 - ensimmäiset välineet useiden samankeskisten etsintä- alueiden muodostamiseksi, - toiset välineet, jotka etsivät jokaisessa alueessa parhaan sovituksen ja tallentavat sovituslohkon x- ja y-koordinaatit liikevektoriehdokkaana muistiin, jolloin sen jälkeen kun 10 etsintä on suoritettu jokaisessa alueessa, on muistissa yhtä monta liikevektoriehdokasta kuin on etsintäalueita, - ensimmäisen suodatusoperaation suorittavat ensimmäiset suodattimet (Fl, F2; F3, F4; F5, F6), jotka on kytketty muistiin siten, että kuhunkin suodattimeen menee vertailu- 15 lohkon ja ainakin sen naapurilohkojen vastaavien etsintäalu-eiden liikevektoriehdokkaat ja kunkin muistin lähdöstä saadaan yksi suodatettu liikevektoriehdokas, ja - toisen suodatusoperaation suorittavat toiset suodattimet (F7, F8), jotka on kytketty ensimmäisten suodattimien läh- 20 töön ja joiden lähdöstä saadaan lopullinen liikevektori ja joka lähtö voidaan kytkeä mahdolliseen kolmanteen suodattimeen.

10. Patenttivaatimuksen 9 mukainen estimaattori, t u n -25 n e t t u siitä, että ensimmäisten välineiden muodostamat : . etsintäalueet ovat samankeskisiä ympyräalueita.

11. Patenttivaatimuksen 9 mukainen estimaattori, tunnettu siitä, että siihen lisäksi kuuluvat kvantisoin- 30 tielimet sisääntulevien näytteiden kvantisoimiseksi.

12. Patenttivaatimuksen 9 mukainen estimaattori, tunnettu siitä, että näytteet johdetaan liike-ilmaisimeen, joka suorittaa lohkoille liikeilmaisun ja jonka lähtö on 35 kytketty toisiin välineisiin. 16 92896

13. Patenttivaatimuksen 9 mukainen estimaattori, tunnettu siitä, että ensimmäiset suodattimet (Fl, F2, F3, F4, F5, F6) ovat mediaanisuodattimia.

14. Patenttivaatimuksen 8 tai 12 mukainen estimaattori, tunnettu siitä, että toiset suodattimet (F7, F8) ovat mediaanisuodattimia.

15. Jonkin patenttivaatimuksen 8-13 mukainen estimaattori, 10 tunnettu siitä, että kolmannet suodattimet ovat mediaanisuodattimia ja ne laskevat mediaanin vertailulohkon ja ainakin sen välittömien naapurilohkojen saaduista lopullisista liikevektoreista, jotka mediaanit saadaan estimaatto-rin lähdöstä. 15