FI89121C - Foerfarande foer soekning av roerelsevektorer foer en videosignal - Google Patents

Description

1 89121

Menetelmä liikevektorien hakemiseksi videosignaalille

Keksinnön kohteena on menetelmä liikevektorien hakemiseksi videosignaalille liikevektorien hyödyntämiseksi 5 videosignaalin käsittelysovelluksessa, kuten videosignaalin kompressiossa. Menetelmässä ainakin osalle kuvaloh-koista lasketaan kunkin käytettävän liikevektoriehdokkaan perusteella virhearvo, ja kuvalohkon liikevektoriksi valitaan kulloinkin pienimmän virhearvon tuottava liikevekto-10 riehdokas.

Yhä useammassa videosignaalin käsittelysovelluksessa tarvitaan tietoa kuvan sisällön liikkeestä. Liikekom-pensaatiota käyttävät videosignaalin kompressiomenetelmät sekä liikekompensoidut juovataajuuden tai näytteistysras-15 terin muunnokset ovat esimerkkejä tällaisista sovelluksis ta. Yleensä kukin kuva on jaettu pienempiin lohkoihin, joihin kuhunkin liittyy yksi liikevektori. Tämä vektori kertoo kyseisen lohkon sisältämän kuvainformaation liikkeen suunnan ja nopeuden.

20 Kuvaan liittyvät liikevektorit etsitään tyypilli sesti käyttämällä niin sanottua lohkonsovitusmenetelmää, jossa senhetkisen kuvan jokaista lohkoa verrataan vertai-lukuvan lohkoihin tietyllä hakualueella. Vertailulohkoista valitaan se, joka minimoi käytetyn virhekriteerin (tyypil-25 lisesti MAE (Mean Absolute Error, keskimääräinen absoluuttinen virhe) tai MSE (Mean Square Error, neliöllinen virhe)). Nykyisen lohkon ja valitun vertailulohkon paikkojen erotus antaa kyseiseen lohkoon liittyvän liikevektorin.

Liikekompensointia käyttävissä kompressiosovelluk-30 sissa pitää varsinaisen koodatun kuvan ohessa lähettää kuhunkin lohkoon liittyvä liikevektori. Tyypillisesti tämä tehdään niin, että kunkin lohkon liikevektoria ei lähetetä sellaisinaan, vaan lähetetään pelkästään nykyisen lohkon ja sitä edeltäneen lohkon liikevektoreiden erotus, ' 35 ts. edellisen lohkon liikevektoria käytetään ennustajana 2 89121 nykyisen lohkon liikevektorille. Ennen lähetystä nämä erotukset edelleen VLC-koodataan (VLC=Variable Length Coding) niin, että yleisimpiä erotuksia vastaavat lyhyimmät koodisanat. Liikevektoreiden koodauksen kannalta on edullis-5 ta, jos peräkkäisten vektoreiden erot ovat mahdollisimman pienet, jolloin lähetykseen tarvittava bittimäärä on myös pieni.

Liikevektoreiden hakua kuvataan tarkemmin jäljempänä oheiseen kuvioon 1 viitaten.

10 Tyypillisesti lohkot, joille liikevektorit etsi tään, ovat kooltaan pieniä, esim. 16 * 16 kuvaelementtiä. Normaalissa kuvainformaatiossa esiintyy hyvin harvoin tilanne, jossa suuruusluokaltaan lohkon kokoinen osa kuvasta liikkuisi eri suuntaan kuin sitä ympäröivät lohkot. Toisin 15 sanoen yksittäiset, omaan suuntaansa osoittavat liikevektorit johtuvat useimmiten vektoreiden etsintämenetelmän tekemistä virheistä. Niinpä homogeenisempi vektorikenttä vastaa yleensä paremmin kuvassa todellisuudessa tapahtuvaa liikettä.

20 Liikevektoreita voidaan käyttää valintakriteereinä kuvan myöhäisemmälle käsittelylle esimerkiksi koodauksessa. Kuvalle voidaan suorittaa liikeadaptiivista tai liike-kompensoitua esi- tai jälkiprosessointia ja kuvalle saatuja liikevektoreita voidaan käyttää apuna valittaessa pro-25 sessointitapaa, esimerkiksi tehtäessä päätös lohkon pro-sessoimisesta kahtena erillisenä kenttänä (olettaen lohkossa olevan liikettä) tai kenttien yhdistämisestä yhdeksi kuvaksi (jolloin saadaan parempia tuloksia kuvan liikkumattomissa kohdissa). Tällöin on yleensä eduksi, että vek-30 torit ovat mahdollisimman lyhyitä ja ettei vektorien suunnissa tapahdu äkkinäisiä hyppäyksiä.

Useimmissa koodaussovelluksissa liikevektoreita käytetään tuottamaan ennustaja koodattavalle kuvalle jo lähetetyistä kuvista ja lisäksi välitetään syntynyt ennus-35 tusvirhe. Tällöin väärä liiketieto ei näy yksittäisinä 3 39121 virheinä kuvassa, vaan se aiheuttaa välillisesti kuvan laadun huononemista koko kuva-alueella.

Liikekompensoiduissa juovataajuuden muunnoksissa ja liikeadaptiivisessa kohinanpoistossa taas väärän liikein-5 formaation vaikutus näkyy suoraan kuvassa joko selvinä virheinä tai halutun toiminnan epätäydellisyytenä. Siksi oikea tieto lohkojen liiketilasta on näissä sovelluksissa ensiarvoisen tärkeä.

Kuten edellä olevasta ilmenee, saavutettaisiin so-10 velluksissa useinkin parempi tulos, jos kuvaan liittyvä liikevektorikenttä olisi mahdollisimman homogeeninen ilman yksittäisiä eri suuntaan osoittavia vektoreita, ja jos vektorit olisivat mahdollisimman lyhyitä.

Esillä olevan keksinnön tarkoituksena onkin saada 15 aikaan perinteisillä liikevektorin hakumenetelmillä ai kaansaatua vektorikenttää homogeenisempi vektorikenttä siten, että edellä kuvatut ongelmat vähenevät. Tämä saavutetaan keksinnön mukaisella menetelmällä, jonka ensimmäiselle suoritusmuodolle on tunnusomaista se, että ennen 20 liikevektorin lopullista valintaa muutetaan virhearvoa testattavan vektorin ja/tai sen sekä sen ympäristöstä mahdollisesti jo valittujen liikevektorien suhteen määräämällä painotusarvolla homogeenisemmän liikevektorikentän aikaansaamiseksi, jolloin mainittu valinta suoritetaan 25 muutettujen virhearvojen perusteella.

Keksinnön mukaisena perusajatuksena on antaa myös kuvalohkon ympäristössä olevien kuvalohkojen liikevektorien vaikuttaa kuvalohkon lopullisen liikevektorin valintaan siten, että liikevektorikentän homogenoitumisesta ; . 30 saatava hyöty on suurempi kuin sovitusvirhearvon mahdolli sesta kasvusta aiheutuva haitta.

Seuraavassa keksintöä ja sen edullisia suoritusmuotoja selitetään tarkemmin viitaten oheisen piirustuksen mukaisiin esimerkkeihin, joissa 4 89121 kuvio 1 esittää liikevektorien hakua sinänsä tunnetulla lohkonsovitusmenetelmällä, ja kuvio 2 esittää lohkokaaviota keksinnön mukaisen menetelmän suorittavasta laitteistosta.

5 Kuviossa 1 on esitetty liikevektorin hakua sinänsä tunnetulla lohkonsovitusmenetelmällä. Kompensoitavaa lohkoa 10 verrataan saman kokoisiin lohkoihin 12 hakualueen 13 sisällä vertailukuvassa. Hakualueen 13 koko kokonaisina kuvaelementteinä määräytyy termien x_max ja y_max mukaan. 10 Lohkojen 10 ja 12 välillä lasketaan sovitusvirhe käytetyn virhekriteerin mukaisesti. Seuraavaksi vektoria muutetaan yhden kuvaelementin verran ja lasketaan sitä vastaavalle lohkolle virhearvo. Virhearvoa verrataan edelliseen ja pienemmän virhearvon omaava vektori valitaan sen hetki-15 seksi liikevektoriehdokkaaksi. Hakua jatketaan koko hakualueen 13 ylitse, ja kuvalohkon 10 lopulliseksi liikevek-toriksi saadaan näin hakualueen sisällä pienimmän virhearvon omaava vektori.

Koska lohkojen vertailu on raskas operaatio, on 20 kehitetty menetelmiä, joilla pyritään testaamaan vain osa kaikista liikevektorivaihtoehdoista. Tämä voidaan toteuttaa esimerkiksi testaamalla muutamia erisuuntaisia vektoreita ja tarkentamalla hakua parhaan tuloksen antaneen vektorin ympäristössä.

25 Liikevektori voidaan myös hakea suuremmalla kuin kokonaisen kuvaelementin tarkkuudella. Tämä tapahtuu tihentämällä vertailukuvan 13 näytteistysrasteria interpo-loimalla uusia kuvaelementtejä alkuperäisten elementtien väliin. Näin menetellen liikevektori voidaan hakea halu-30 tulla tarkkuudella.

Liikevektoreita voidaan hakea myös suorittamalla kuvalle ensin jokin muunnos (esim. Fourier-muunnos) ja hakemalla korrelaatiopiikkejä muunnostasossa. Tyypillisesti nämä menetelmät tuottavat joukon liikevektoriehdokkaita, 35 joista valitaan paras käyttämällä lohkonsovitusta halutul la valintakriteerillä.

Il s 89121

Edellä kuvatulla lohkonsovitusmenetelmällä haetut liikevektorit tuottavat kuitenkin ongelmia, joita kuvataan seuraavassa.

Lohkonsovitusmenetelmässä kunkin lohkon liikevekto-5 ri etsitään täysin itsenäisesti, ts. muiden lohkojen vektorit eivät mitenkään vaikuta etsintään. Vaikka tällä menetelmällä saadaankin haluttu virhekriteeri minimoitua, se ei mitenkään edesauta homogeenisen vektorikentän syntymistä.

10 Kuvassa esiintyvä kohina aiheuttaa ongelmia kuvain- formaatioltaan tasaisilla, paikallaanpysyvillä alueilla. Useat lohkot eri puolilla hakualuetta antavat lähes yhtä pienen sovitusvirhearvon, ja vaikka lohkossa ei olisi todellista liikettä ollenkaan, sille voi kohinan vaikutuk-15 sesta löytyä täysin virheellinen mielivaltaiseen suuntaan osoittava pitkäkin vektori.

Lohkonsovituksessa usein käytetyt virhekriteerit MAE ja MSE on valittu lähinnä siksi, että ne eivät vaadi mutkikkaita laskuoperaatioita. Lohkonsovitus on jo näillä 20 yksinkertaisillakin virhekriteereillä niin raskas operaatio, että kaupallisia, videonopeuksilla toimiva lohkonso-vituksen suorittavia IC-piirejä on tullut markkinoille vasta aivan viime vuosina.

Esimerkiksi nykyisin yleisesti käytetyssä DCT 25 (Discrete Cosine Transform, kvantisoitu kosinimuunnos)-hybridikoodauksessa (paikallisen DCT- ja ajallisen DPCM-koodauksen yhdistelmä) koodattavasta lohkosta vähennetään ennustuslohko, joka on haettu vertailukuvasta koodattavan lohkon liikevektorin osoittamasta paikasta. Näin saadu 30 erokuva DCT-muunnetaan ja saadut DCT-kertoimet kvantisoi-daan ja VLC-koodataan (engl. Variable Length Coding). Syntyvien DCT-kertoimien määrä ja sitä kautta koodauksen tehokkuus riippuu muunnettavasta erokuvasta ja siis myös käytetyistä liikevektoreista. MAE- ja MSE-virhekriteerit 35 eivät mitenkään minimoi DCT-muunnoksessa syntyvää bittien 6 89121 määrää tai syntyvää lopullista virhettä ihmisen silmän kannalta.

Kuten aikaisemmin jo todettiin, pyritään esillä olevan keksinnön mukaisessa menetelmässä aikaansaamaan 5 perinteisillä menetelmillä aikaansaatua vektorikenttää homogeenisempi vektorikenttä siten, että myös ympäröivien lohkojen vektorit vaikuttavat lohkon lopullisen liikevek-torin valintaan. Samalla pyritään suosimaan mahdollisimman lyhyitä vektoreita.

10 Menetelmä esitetään seuraavassa kuvioon 2 viitaten.

Lohkonhakuyksikkö 21 saa ohjauksena tutkittavan liikevek-toriehdokkaan ja hakee kuvamuistissa 22 olevasta kuvasta vektoria vastaavan lohkon, jota verrataan virheenlasken-tayksikössä 23 sovitettavaan kuvalohkoon 24. Virheenlas-15 kentayksikössä 23 suoritettava operaatio laskee vektorin osoittaman lohkon ja sovitettavan lohkon 24 välisen virheen halutulla menetelmällä (esim. MAE tai MSE) ja välittää tiedon tästä eteenpäin. Keksinnön mukaisessa menetelmässä tätä virhettä painotetaan virheenpainotusyksikössä 20 25. Virhettä korjataan matemaattisella operaatiolla, esim.

kertolaskulla painotusgeneraattorin 26 tuottaman arvon avulla. Lopullinen virhearvo viedään vertailijalle 27, jossa virhettä verrataan pienimpään aikaisempaan virheeseen ja lopuksi pienimmän virheen antanut vektori valitaan 25 sovitettavan lohkon liikevektoriksi ja annetaan tuloksena eteenpäin.

Painotusgeneraattori 26 tuottaa jokaiselle vektorille sopivan painotusarvon riippuen vektorin pituudesta ja vektorin suhteesta ympäristön valittuihin vektoreihin. 30 Painotusarvo on näin ollen sellainen, että suurentaa tai pienentää vektoriin liittyvää virhearvoa haluttuun suuntaan. Sovelluksissa, joissa liikevektorit lähetetään DPCM-tekniikalla lähettämällä vain vektorin muutos edellisen vektorin suhteen, annetaan samalle vektorille kuin edelli-35 nen käytetty vektori suuri painotusarvo. Tällöin tämä vek-

II

7 89121 tori voidaan hyväksyä, vaikka sille laskettu virhearvo onkin vähän suurempi kuin jollain toisella vektorilla.

Useissa sovelluksissa on tärkeää saada tieto siitä, onko kuvassa liikettä. Nollavektori (kuvamuistin 22 lohko 5 täsmälleen samasta kohdasta kuin lohko 24) ilmoittaa, että kuva on stationäärinen, jolloin tätä tietoa voidaan hyödyntää monissa kuvankäsittelymenetelmissä. Kohinan aiheuttamien virhetulkintojen määrää voidaan huomattavasti pienentää antamalla nollavektorille painotusarvo, joka pie-10 nentää nollavektoriin liittyvää virhearvoa.

Lisäksi erilaiset liikevektoreita käyttävät sovellukset voivat saavuttaa hyötyä, jos vektorit pysyvät jonkin tietyn alueen sisällä. Tällöin voidaan tälle alueelle laatia oma painotus ja mahdollisesti yhdistää tämä edel-15 listen painotusten kanssa.

Painotusarvolla voidaan myös suosia joko spatiaalisessa tai ajallisessa ympäristössä esiintyviä vektoreita, mahdollisesti yhdistyneenä muihin painotustapoihin.

Keksinnön mukainen menetelmä voidaan toteuttaa myös 20 olemassaolevan vektorikentän jälkiprosessointina. Tätä kuvataan seuraavassa.

Ensimmäisessä vaiheessa on etsitty kuvan kaikille lohkoille normaalisti liikevektori, joka minimoi käytetyn virhekriteerin käyttäen täyttä hakualuetta. Näin on saatu 25 valmis vektorikenttä. Toisessa vaiheessa lasketaan kullekin lohkolle virhearvot uudelleen käyttäen sekä kyseiselle lohkolle alunperin saatua liikevektoria että sitä ympäröiviin lohkoihin liittyviä valittuja liikevektoreita. Koska testattavia tapauksia ei ole kovin monta, voidaan 30 virhearvon laskennassa käyttää monimutkaisempaa virhekri-teeriä kuin täyden hakualueen testauksessa, esim. MAE-kriteeri voidaan korvata MSE-kriteerillä.

Saatuja virhearvo ja painotetaan painotusgeneraatto-ria 26 vastaavan generaattorin tuottamalla painoarvolla, 35 ja liikevektoriksi valitaan vektori, joka tuottaa pienim- β 89121 män lopullisen painotetun virheen. Vektorin saamaan paino-tusarvoon vaikuttavat tässäkin tapauksessa vektorin pituus sekä sen vaikutus lopullisen vektorikentän homogeenisuuteen.

5 Uusia liikevektoreita ei siis toisessa vaiheessa etsitä, vaan nykyisen lohkon liikevektori voidaan korvata jollakin viereisen lohkon vektorilla, mikäli vektorikentän yhtenäistymisenä ja lyhyempinä vektoreina saavutettu hyöty on suurempi kuin suuremman sovitusvirheen aiheuttama hait-10 ta.

Esimerkkinä edellisestä esitetään yksinkertainen tilanne, jossa tutkitaan vain nykyisen ja sitä välittömästi edeltäneen lohkon liikevektoreita. Olkoon Vc nykyisen lohkon ja Vp edellisen lohkon vektori, jotka on saatu vek-15 torien etsinnän ensimmäisen vaiheen tuloksena. Ec olkoon nykyisen lohkon vektorin tuottama sovitusvirhe ja Ep edellisen lohkon vektorin tuottama virhe MAE-virhekriteerin mukaan. Tässä esimerkissä haun toisessa vaiheessa käytetään samaa virhekriteeriä kuin ensimmäisessäkin vaiheessa, 20 joten Ec:tä ja Ep:tä käytetään myös lopullisen vektorin valinnassa. Lopullisen liikevektorin valinta voidaan tehdä esimerkiksi seuraavasti:

Vp pitkä, Vc lyhyt -» lopullinen vektori on Vc Vp pitkä, Vc pitkä, Ep < k*Ec -* lopullinen vektori on Vp 25 Vp lyhyt, Vc lyhyt, Ep < k*Ec -» lopullinen vektori on Vp

Vp lyhyt, Vc pitkä, Ep < k*l*Ec -> lopullinen vektori on Vp

Esimerkissä vektorien pituudet on jaoteltu karkeasti vain kahteen luokkaan, pitkiin ja lyhyisiin. Kertoimet k ja 1 ovat arvoiltaan suurempia kuin yksi. Esimerkissä 30 pyritään siis käyttämään edellisen lohkon vektoria aina, kun se ei ole liian pitkä, eikä sitä käyttämällä saatu sovitusvirhe liian paljon nykyisen lohkon vektorilla saatua sovitusvirhettä suurempi.

Keksinnön mukaista menetelmää voidaan hyödyntää 35 kaikentyyppisissä liikevektorien hakutavoissa. Sillä voi-

II

g 89121 daan ensinnäkin toteuttaa normaali, koko liikealueen kattava, ns. täydellinen haku. Sitä voidaan myös soveltaa käytettäessä erilaisia nopeutettuja hakualgoritmeja, joissa koko hakualuetta ei testata, vaan erilaisilla approksi-5 moinneilla pyritään testaamaan lupaavimmat osat hakualueesta. Samoin sitä voidaan tehokkaasti hyödyntää haettaessa myös kokonaista kuvaelementtiä tarkempia liikevektorei-ta.

Vaikka keksintöä on edellä selostettu viitaten 10 oheisen piirustuksen mukaiseen esimerkkiin, on selvää, ettei keksintö ole rajoittunut siihen, vaan sitä voidaan muunnella monin tavoin oheisten patenttivaatimusten esittämän keksinnöllisen ajatuksen puitteissa. Liikevektorien haku voi esim. tapahtua usemman tarkentuvan haun avulla, 15 jossa vektorin tarkkuutta pyritään kasvattamaan iteraa-tiokerroilla. Liikevektoriehdokkaita voidaan myös hakea esim. vaiheen korrelaatioon perustavalla menetelmällä. Vaikka tässä yhteydessä on koko ajan puhuttu menetelmästä, jossa ainakin osalle kuvalohkoista lasketaan kunkin käy-20 tettävän liikevektoriehdokkaan perusteella virhearvo, ja kuvalohkon liikevektoriksi valitaan pienimmän virhearvon tuottava liikevektoriehdokas, on myös mahdollista laskea virhearvon sijasta korrelaatioarvoja, ja valita liikevektoriksi aina suurimpaan korrelaatioarvoon liittyvä vekto-25 ri. Koska keksinnön mukainen menetelmä on sovellettavissa yhtä hyvin tällaiseen päinvastaiseen perustilanteeseen, on oheisissa vaatimuksissa käytetyn sanamuodon ymmärrettävä kattavan myös tällaiset variaatiot.

Claims (7)

10 891 21

1. Menetelmä liikevektorien hakemiseksi videosignaalille liikevektorien hyödyntämiseksi videosignaalin 5 käsittelysovelluksessa, kuten videosignaalin kompressiossa, jossa menetelmässä ainakin osalle kuvalohkoista (24) lasketaan kunkin käytettävän liikevektoriehdokkaan perusteella virhearvo, ja kuvalohkon (24) liikevektoriksi valitaan kulloinkin pienimmän virhearvon tuottava liikevekto-10 riehdokas, tunnettu siitä, että ennen liikevekto-rin lopullista valintaa muutetaan (25) virhearvoa testattavan vektorin ja/tai sen sekä sen ympäristöstä mahdollisesti jo valittujen liikevektorien suhteen määräämällä painotusarvolla homogeenisemmän liikevektorikentän aikaan-15 saamiseksi, jolloin mainittu valinta suoritetaan muutettujen virhearvojen perusteella.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että painotusarvolla suositaan viimeksi valittua vektoria uutta vektoria valittaessa.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että painotusarvolla suositaan nollavektoria suhteessa muihin vektoreihin.

4. Patenttivaatimuksen 1, 2 tai 3 mukainen menetelmä, tunnettu siitä, että painotusarvolla suositaan 25 vektoreita vektorien pituusjärjestyksessä.

5. Jonkin patenttivaatimuksen 1-4 mukainen menetelmä, tunnettu siitä, että painotusarvolla suositaan tietyn alueen sisällä olevia vektoreita.

6. Jonkin patenttivaatimuksen 1-5 mukainen menetel- 30 mä, tunnettu siitä, että painotusarvolla suositaan spatiaalisessa ympäristössä esiintyviä vektoreita.

7. Jonkin patenttivaatimuksen 1-6 mukainen menetelmä, tunnettu siitä, että painotusarvolla suositaan ajallisessa ympäristössä esiintyviä vektoreita. Il n β9121