FI96561C - Menetelmä liikkeen estimoimiseksi videosignaalista - Google Patents

Description

9656'!

Menetelmä liikkeen estimoimiseksi videosignaalista - Förfarande för att estimera rörelse i en videosignal 5 Keksintö koskee menetelmää, jolla näytteistetystä videosignaalista estimoidaan loh-kosovitusta käyttäen televisiokuvan osa-alueiden liiketieto, joka saadaan liikkeen suunnan ja laajuuden antavan liikevektorin muodossa. Menetelmä sopii käytettäväksi muunnoksessa standardista toiseen ja erityisesti silloin kun näytettävän kuvan parantamiseksi suoritetaan kenttätaajuuden kasvattamista FRU (Field Rate Upconver-10 sion).

Liike-estimomtimenetelinät voidaan jakaa kahteen pääluokkaan: menetelmiin, joissa erotetaan liikeparametreja ja menetelmiin, joissa mitataan pikselin nopeutta. Pikselin nopeutta mittaavat menetelmät voidaan edelleen jakaa menetelmiin, jotka perustuvat 15 spatiaalis-temporaalisiin differentiaaleihin, lohkosovitukseen (matching), jossa tutkitaan lohkojen vastaavuuksia eri ajan hetkenä, sekä Fourier-tekniikkoihin.

Tässä keksinnössä käytetään lohkosovitukseen (block matching) perustuvaa menetelmää. Lohkosovituksessa kentät on jaettu lohkoihin, joiden koko on n*m, ja olete-20 taan, että jokaisen pikselin siirtymävektori on sama lohkon sisällä. Estimointi suoritetaan lohkoittain sen sijaan, että estimoitaisiin pikseli pikseliltä. Jäljempänä tekstissä puhuttaessa sana "kenttä" tarkoittaa sekä lomitellun kuvan kenttää että progressiivisen kuvan kenttää, joka on tällöin on sama kuin kuva. 1 2 3 4 5 6 7 8 9 10 11

Kuvat 1 ja 2 esittävät lohkosovituksen periaatetta. Kuvassa 1 vasemmanpuoleinen 2 suunnikas esittää televisiokuvan yhtä kenttää t ja oikeanpuoleinen suunnikas seuraa- 3 vaa kenttää t+1. Kuten edellä on sanottu, kukin kenttä jaetaan n*m-pikselin suurui 4 siin lohkoihin. Kentässä t on esitetty kolme tällaista lohkoa. Niiden esittämä kuva on 5 siirtynyt kentässä t+1 uuteen kohtaan, joita osoittavat vektoreiden käijet. Viitataan 6 nyt kuvaan 2. Lohkosovitus tehdään siten, että kentässä t+1 valitaan etsintäalue 7 sx*sy, jonka keskellä oleva lohko on samassa positiossa kuin kentässä t oleva ns.

8 sovituslohko tai referenssilohko. Yksinkertaisuuden vuoksi kuvitellaan, että tämä 9 lohko on vertailulohko A. Lohkosovituksessa käydään kentän t+1 alue sx*sy lävitse 10 liuottamalla täsmälleen lohkon A kokoista ikkunaa B alueessa. Jokaisessa ikkunan 11 asemassa verrataan myöhemmin kuvattavaa vertailukriteeriä käyttäen ikkunan sisältöä kentän t lohkon A sisältöön. Kun sisällöt ovat asetetun kriteerin mukaiset, todetaan, että lohkot "sopivat" toisiinsa. Kuvan 2 nuoli kuvaa siten lohkon A liikettä kentästä t kenttään t+1. Paremman liikeinformaation saamiseksi käytetään tavaili- 9656" 2 sesti lisäksi esi-ja jälkiprosessointia kuten alipäästösuodatusta ja konsistenssitarkas-tusta. Konsistenssitarkastus on epälineaarinen operaatio, jossa verrataan vierekkäisiä liikearvoja. Mikäli arvo eroaa olennaisesti naapuriarvosta, muutetaan liikearvoa. Pienet ja hitaasti liikkuvat kohteet jätetään näin huomiotta, ja jäljelle jääneet kohteet 5 ovat todellisia liikkuvia kohteita.

Kuvasta 1 vastaavasti nähdään, että kentän t mustalla merkityn lohkon kuvasisältö on liikkunut kentän t+1 mustalla merkittyyn kohtaan. Tämän kohdan x-ja y-koordi-naatit ovat liikevektorin koordinaatit. Vastaavalla tavalla todetaan, että kentän t kah-10 den vierekkäisen valkealla neliöllä kuvatun lohkon kuva on siirtynyt kentän t+1 kohtaan, johon vektoreiden käijet osoittavat. Kun kenttätaajuuden kasvattamisessa on interpoloitava uusi kenttä il kenttien t ja t+1 vähin, huomataan, että liikevektorit kulkevat kentän il saman kohdan kautta. Konsistenssitarkastuksessa tämän kohdan liikevektorin suunnaksi tulee yhtenäisellä viivalla esitettyjen vektoreiden suunta, jo-15 ka on kuvan liikkeen pääsuunta.

Yleisesti käytetyt vertailukriteerit lohkosovituksessa ovat lohkojen pikseleiden absoluuttisten erotuksien keskiarvo MAD (Mimimum Absolute Difference), erotuksien neliöiden keskiarvo MSD (Mean Squared Difference) ja pikselieroluokittelu PDC 20 (Pixel Difference Classification). Kahdessa ensin mainitussa lasketaan lohkon ja vertailulohkon vastaavien pikseleiden virhekeskiarvot, siirretään lohkoa etsintäalu-eessa ja lasketaan taas virhekeskiarvot jne. ja pienimmän virheen antavan lohkon sijaintia käytetään liikevektorin määritykseen. Pienimmän virheen antavan lohkon sijainnista saadaan liikevektori. Kaikkien pikseleiden läpikäyminen on työlästä ja 25 siksi laskennan nopeuttamiseksi on kehitetty erilaisia nopeutus- ja approksimaatio-menetelmiä. Voidaan esim. alinäytteistää lohkot.

MAD-kriteeri on käytetyin, sillä sen käytännön toteutus on helpompaa, vaikka sen suorituskyky ei olekaan paras mahdollinen. MSD-kriteeri toimii hyvin, mutta sen 30 käytännön toteutus on kompleksinen. Viimeksi mainitussa PDC-kriteerissä tutkitaan lohkon jokaisen pikselin sopivuutta eli tutkitaan kynnysarvoa käyttäen, onko sen arvo sama kuin vertailulohkon vastaava pikselin arvo. Jos on, sijoitetaan pikseli luokkaan "sopiva" (matching), ja jos ei, se sijoitetaan luokkaan "epäsopiva" (mismatching). Ylärajan lohkon koolle asettaa käytetty yksinkertainen etenemismalli, koska 35 pyörimistä ja zoomausta ei ole helppo mallintaa. PDC-kriteerin suorituskyky on hy vä, laskennallisesti se vastaa MSD-kriteeriä ja lisäksi se on toteutukseltaan suhteellisen yksinkertainen.

Il 9656 3

Kun näytettävän kuvan parantamiseksi kasvatetaan juovataajuutta LRU (Line Rate Upconversion), esim. konvertoitaessa lomiteltu normaalitarkkuuden kuva (720*576/50/2:1) joko lomittelemattomaksi (720*576/50/1:1) tai kasvatetaan kenttä-taajuutta FRU (Field Rate Upconversion) muunnettaessa signaali kenttätaajuudel-5 taan kaksinkertaiseksi (720*576/100/2:1), joudutaan interpoloimaan uusia näytteitä. Kaikissa näissä konversioissa voidaan käyttää samaa reunantunnistusmenetelmää. Muunto progressiiviseksi on edullista tehdä, sillä lomittelematon kuva on hyvä lähtökohta erilaisiin pyyhkäisyformaatteihin ja siksi formaatin muunnoksissa tehdäänkin tekniikan tason ratkaisuissa lähes aina ensimmäiseksi IPC-muunnos. Muunnok-10 sessa tehdään lähtökuvalle aluksi reuna-analyysi ts. etsitään kentän sisällä reunat sekä niiden suunnat ja suoritetaan sitten interpolointi niiden suunnassa. Erilaisia reu-nantunnistusalgoritmeja on esitetty runsaasti ja mitä tahansa niistä voidaan käyttää tämän keksinnön mukaisessa jäijestelyssä edellyttäen kuitenkin, että algoritmi pystyy tunnistamaan myös horisontaalisuuntaiset reunat. Tällainen algoritmi on esitetty 15 samanaikaisesti tämän hakemuksen kanssa jätetyssä suomalaisessa patenttihakemuksessa nro 942750, hakija Nokia Consumer Electronics. Mainittu hakemus sisällytetään viittauksena tähän hakemukseen.

Viitatun hakemuksen menetelmässä etsitään tutkittavan pisteen lähiympäristössä 20 dominoiva reunan suunta. Siten osoitetaan kutakin tutkittavaa asemaa kohden kentässä muutamia ehdokassuuntia ja sen jälkeen vähennetään sopivaa kriteeriä käyttäen väärien ehdokkaiden lukumäärää, jotta oikean suunnan todennäköisyys kasvaisi. Todennäköisyyttä kasvatetaan ensinnäkin siten, että käytetään kussakin suunnassa rinnakkaista erolaskentaa, toiseksi prosessoidaan eri suuntia hierarkkisesti jakamalla 25 suunnat pääsuuntiin ja osasuuntiin ja kolmanneksi lasketaan interpoloinnin koearvot ja jätetään huomiotta yksi pääsuunta, joka ei sovi naapuruston suuntiin.

Viitatun hakemuksen menetelmässä käytetään esim. 9*3-tunnistinmaskia ja lasketaan useiden operaattoreiden vasteet, jotka toimivat eri osasuunnisssa maskin kes-30 kipisteenä olevan tutkittavan position suhteen. Operaattoreiden vasteet ryhmitellään pääsuuntien mukaisiin pääryhmiin ja etsitään kustakin pääryhmästä minimivaste ja ‘ sen osasuunta. Sitten etsitään minimivasteiden minimi. Lisäksi määritetään tutkitta van position aktiivisuus, jolloin vain aktiiviseksi luokitellut positiot otetaan huomioon konsistenssitarkastuksessa. Operaattoreihin kuuluu lisäksi horisontaalioperaat-35 tori, joka vertailee tutkittavan position ylä- ja alapuolella olevien näytteiden erotusta, ikkunan ylärivillä olevan kahden naapurinäytteen erotusta ja ikkunan alarivillä olevan kahden näytteen erotusta. Konsistenssitarkastuksessa haetaan dominoiva reunan pääsuunta käyttäen tutkittavan position ja sen naapuripositioiden pää-ja osa- 9656·' 4 suuntatietoja ja valitaan lopulliseksi reunasuunnaksi osasuunta, joka on tutkittavan position sanotun pääsuuntaiyhmän minimivasteen osasuunta.

Aiemmin sanotun mukaisesti tunnetuissa kytkennöissä, joissa esim.lomiteltu PAL-5 signaali 625/50/2:1 muunnetaan lomittelemattomaksi 625/50/1:1-signaaliksi, muodostetaan uusi kenttä reuna-adaptiivisella interpoloinnilla. Jotta saadun signaalin kenttätaajuutta voitaisiin tämän jälkeen nostaa, tarvitaan FRU-konversion interpoloinnissa liikevektoreita. Nämä voidaan määrittää tunnetuilla esim. MAD- tai MSD-kriteeriä käyttävillä lohkosovitusmenetelmillä. Menetelmien haittoina ovat kuitenkin 10 joko huono suorituskyky tai toteutuksen kompleksisuus. Tämä keksintö esittää järjestelyn, jolla ei ole näitä haittoja vaan jolla melko yksinkertaisella laskennalla ja siten kohtuullisen yksinkertaisilla piireillä voidaan jollain tunnetulla toteutuksella muodostettu lomittelematon 625/50/1 :l-signaali edelleen muuttaa kenttätaajuudel-taan kaksinkertaiseksi joko lomittelemattomaksi tai lomitelluksi signaaliksi.

15

Keksinnön järjestelylle on tunnusomaista se, että liikevektorin muodostamisessa käytetään rinnakkaisesti ja samanaikaisesti kahta sovitusta: suoritetaan erikseen sekä reunatietosovitus että hahmosovitus. Näiden sovitusten tuloksena estimoitavan kentän tutkittavalle lohkolle saadaan vektoriarvo, joka kuvaa parasta reunatietosovitus-20 ta, ja toinen vektoriarvo, joka kuvaa parasta hahmotietosovitusta. Tämän jälkeen otetaan käsittelyyn alue, joka käsittää tutkittavan lohkon ja ainakin sen välittömät naapurilohkot, joille on samoin laskettu kaksi eri vektoriehdokasta. Alue on siten ainakin 3 -lohkon alue, jossa keskellä on tutkittava lohko, jolle on määritettävä lopullinen liikevektori. Alueen kaikki vektorit muodostavat liikevektoriehdokkaiden 25 kentän. Liikevektoriehdokkaiden lukumäärää vähennetään aluksi esim. MSE-kri-teerillä (Minimum Mean Square Error). Tämän jälkeen suoritettavassa jälkiproses-soinnissa suoritetaan lopullinen liikevektorin määritys.

Keksintöä selostetaan viittamalla oheisiin kuviin, joissa 30 kuvat 1 ja 2 esittävät lohkosovituksen periaatetta, kuva 3 esittää keksinnön mukaista liike-estimaattoria, kuva 4 esittää liikkeen merkitystä interpoloinnissa, kuva 5 esittää liike-estimaattoria FRU-kytkennässä.

Kuvan 3 kenttämuistia 31, interpolaattorilohkoa 32, kuvamuistia 33 ja reunantunnis-tuslohkoa 37 käytetään muuttamaan tuleva lomiteltu videosignaali lomittelemattomaksi signaaliksi. Tässä esimerkissä tuleva PAL-videosignaali, jonka formaatti on ti 35 9656 ! 5 625/50/2:1, muutetaan progressiiviseksi 625/50/1:1-videosignaaliksi A. Tässä esimerkissä ei käytetä liikekompensoitua interpolointia vaan uudet kentät interpoloi-daan kuvan reunatietojen mukaan.Tämä osa kuvan kytkennästä on periaatteeltaan aiemmin tunnettuja sisältyy lähes kaikkiin nykyisiin vastaanottimiin, joissa suorite-5 taan lomitellusta lomittelemattomaksi -muunnos IPC tai kenttätaajuuden nostaminen FRU.

Reunantunnistuspiiri 37 voi olla mikä tahansa sellainen tunnettu reunantunnistuspii-ri, joka kykenee tunnistamaan myös horisontaalisuuntaiset reunat. Interpolaattori-10 lohko 32 interpoloi tarvittavien uusien juovien näytteet tunnettuja näytteitä käyttäen siinä suunnassa, jonka reunantunnistuspiiri antaa reunan suunnaksi. On edullista käyttää reunantunnistuspiiriä, jollainen on esitetty samanaikaisesti tämän hakemuksen kanssa jätetyssä suomalaisessa patenttihakemuksessa nro 942750, hakija Nokia Consumer Electronics. Mainittu piiri sisällytetään viittauksena tähän hakemukseen. 15 Reunantunnistuspiiri kykenee tunnistamaan videokuvassa olevat reunat 10 suunnassa, joten interpolaattorilohko 32 käsittää interpolaattoripankin, jossa on oma interpo-laattorinsa kullekin suunnalle. Sopivan kaltainen interpolaattorijärjestely on esitetty esim. suomalaisessa patentissa FI-89995, patentinhaltija Nokia Consumer Electronics. Siinä käytetään FMH-suodatinpankkia (Fir-Median Hybrid). FMH-suodattimet 20 ovat yksinkertaisimpia mahdollisia ja käsittävät 3 pisteen mediaanisuodattimen, jonka alirakenteena on 1- tai 2 -tappinen FIR (Finite Impulse Response) -suodatin. Reunantunnistuspiiri 37 sisältää muistit, joihin koodattu reunatieto tallennetaan. Kuvamuistiin 33 muodostetaan täydellinen progresssiivinen kuva ja se on saatavissa lähtösignaalina joko näytettäväksi kuvaputkella tai käytettäväksi edelleen proses-25 sointiin.

Koska edellä kuvatun kaltaista reunantunnistuspiirin ja interpolaattorit sisältävää kytkentärakennetta on ehdotettu IPC-muunnoksen suorittaviin vastaanottimiin, sopii keksinnön liike-estimaattori erityisen hyvin juuri niihin, jos halutaan, että vastaan-30 otin kykenee suorittamaan myös kenttätaajuuden muunnoksen FRU. Muunnoksessa tarvitaan uusien kenttien muodostuksessa liikevektoreita, jotka tämän keksinnön mukaisella liike-estimaattorilla ovat kätevästi muodostettavissa.

Keksinnön liike-estimaattorin perusosat muodostuvat reunasovituslohkosta 36, 35 hahmosovituslohkosta 35 ja MSE-valintalohkosta (Minimum Mean Square Error). Tekniikan tason mukaisen lohkosovituksen sijasta käytetään laskennallisesti huomattavasti yksinkertaisempien ja nopeampien reunasovituksen ja hahmosovituksen yhdistelmää. Seuraavassa selostetaan niitä kumpaakin.

e 9 6 5 6'!

Hahmosovitusta varten kuvamuistista 33 saatavan lomittelemattomaksi muunnetun videosignaalin 8 bittiset luminanssinäytteet kvantisoidaan kvantisointilohkossa 34 neljäbittisiksi näytteiksi, niin että vain 4 merkitsevintä bittiä jää jäljelle. Tämä 5 merkitsee kuvan harmaasävyjen vähenemistä, joka puolestaan merkitsee kuvan yksityiskohtien häviämistä ja kuvan pelkistymistä tasasävyisiin alueisiin, joiden rajat määrittävät hahmoja. On kokeellisesti havaittu, että neljän vähimmän merkitsevän bitin jättäminen huomiotta ei merkittävästi heikennä liike-estimoinnin luotettavuutta.

10 Kvantisoitu signaali johdetaan hahmosovituspiiriin, jossa kvantisoituja pikseleitä sisältävää lohkoa, esim. 16* 16 pikselin lohkoa liikutellaan etsintäalueessa, joka voi olla kooltaan 50*50 pikseliä, ja verrataan edellisen kuvan referenssilohkoon. Käytetään siis tunnettua lohkosovituksen perusperiaatetta eli haetaan etsintäalueesta loh-kosijainti, joka parhaiten täyttää vertailukriteerin.

15

Hahmosovitusta selostetaan tarkemmin viitaten kuvaan 4. Siinä keskellä oleva estimoitava kenttä E(t) tarkoittaa uutta kenttää, joka on luotava FRU-algoritmissa. Progressiivisen kentän P(t-T/2) paksulla viivalla merkitty suorakaide kuvaa referenssi-lohkoa, ja vastaavasti seuraavan kentän P(t+T/2) paksulla viivalla kuvattu suora-20 kaide kuvaa lohkosovituksessa saatua kohdelohkoa, jolloin vektori D kuvaa refe-renssilohkon pikseleiden liikesuuntaa. Tämä vektori kulkee estimoitavan kentän E(t) pikselin p kautta. On selvää, että suoritettaessa lohkosovitusta, voi kentän P(t-T/2) jonkin muunkin referenssilohkon, joita kuvaavat ohuella viivalla piirretyt suorakaiteet, liikevektori kulkea pisteen p kautta kentässä P(t+T/2) olevaan kohdelohkoon.

25 Lohkosovituskriteeri ottaa tämän asian huomioon.

Kun nyt on määritettävä kentän E(t) lohkojen liikevektorit, tapahtuu se siten, että estimoitava kenttä jaetaan myös samalla tavoin lohkoihin kuin todelliset progressiiviset kentät. Tällaista lohkoa kuvaa kentässä E(t) oleva paksulla viivalla piirretty 30 suorakaide, joka esittää tutkittavaa lohkoa, jonka asema on sama kuin edellisessä kentässä olevan referenssilohkon. Tämä tutkittava lohko on "sovitettava" edellisestä * kentästä ja seuraavaan kenttään kulkevaan liikevektoriin. Kuvassa 4 on esitetty ta paus, että referenssilohkon liikevektori D ei kulje tutkittavan lohkon kautta, vaan tutkittavan lohkon liikevektori on siirretty vektoriin D nähden.

35

Edellä sanotussa sovituksessa käytetään BLC (Bit Level Classification). BLC on samakaltainen kuin tunnettu PDC (Pixel Difference Classification) lukuunottamatta « sovituskriteeriä: PDC:n absoluuttinen ero ja kynnystys korvataan kvantisoinnilla ja

II

7 9656' yhtäsuuruusvertailulla. Tämä yksinkertaistaa laskentaa merkittävästi. Koska estimoitava kenttä ja siten tutkittava lohko eivät välttämättä ole ajallisesti yhtä etäällä vierekkäisistä tunnetuista kentistä, vaan lähempänä toista kuin toista, on asia otettava huomioon jollakin tavalla. Tämä otetaan huomioon käyttämällä skaalaustekijää a.

5 Jos a on lA, merkitsee se sitä, että estimoitava kenttä on ajallisesti peräkkäisten tunnettujen progressiivisten kenttien puolivälissä. Merkitään yleisesti kentän t tutkittavan lohkon kohdassa x, y olevan pikselin p (x,y,t) näytesovitusta kiijaimella M ja määritetään hahmosovituskriteeriksi: 10 M(x,y,t) = 1, jos I[x - aDx, y - aDy, t- aT] = I[x +(1- a)Dx, y + (1- a)Dy, t + (1- a)T], M(x,y,t) =0 muutoin.

jossa x, y ovat näytteen p sijaintikoordinaatit estimoitavassa kentässä t, 15 Dx ja Dy ovat edeltävän kentän t-(l- a)T ja seuraavan kentän t+(l- aT vastaavien pikseleiden estimoidut horisontaali-ja vertikaali-siirrokset näytteeseen p nähden, I on näytteen kvantisoitu luminanssiarvo, T on progressiivisten kenttien välinen temporaalinen ero, ja 20 a on skaalaustekijä.

Toisin sanoen etsitään ne kentässä t olevat pikselit p, jotka ovat sillä "uralla", jolla edellisen kentän t-1 pikseli on liikkunut seuraavan kentän t+1 vastaavaksi pikseliksi. Edellä oleva kaava tarkoittaa yksinkertaisesti sitä, että mikäli tutkittavien pikselei-25 den kvantisoitu luminanssiarvo on sama, niin tutkittavan lohkon pikselin p sovitus edellisen kentän ja seuraavan kentän tunnettuihin pikseleihin nähden on hyvä ja merkitään ykkösellä. Skaalaustekijä a ottaa huomioon kenttätaajuuden muutoksen alkuperäiseen nähden eli interpoloitavan kentän ajallisen etäisyyden "todellisesta" kentästä. Mikäli kenttätaajuus kahdennetaan 50 Hz => 100 Hz, on tekijä a = 0,5 eli 30 interpoloitavan kenttä on 0,5*20 ms= 10 ms päässä todellisesta kentästä. Mikäli kenttätaajuusmuutos on 50 Hz => 75 Hz, on tekijä a = 0,66 eli 13,3 ms päässä todellisesta kentästä.

Jos yksinkertaistetaan yllä oleva kaava koskemaan kenttätaajuuden kahdennusta, jol-35 loin a = 0,5, ja käyttäen kuvan 4 pikseleiden positioita, yksinkertaistuu kaava muotoon: M(x,y,t) = 1, jos I[p - D/2, t - T/2] = I[p + D/2, t + T/2], 9656 8 M(x,y,t) = O muutoin.

Kun nyt tutkitaan estimoitavan kentän t tutkittavan lohkon sovitusta, lasketaan lohkossa jokaiselle pikselille hahmosovituksella lasketut arvot M yhteen. Mikäli lohkon 5 koko on n*m, saadaan lohkolle arvo B(iJ) summaani alla M-arvot: ^ij) = Y^M{xkiyut) k=l 1=1

Edellä kuvatulla tavalla saadaan etsintäalueessa estimoitavan kentän lohkoille tietty 10 B(iJ) arvo ja suurimman B(iJ) arvon omaava lohko antaa hahmotunnistuksella saadun liikevektoriehdokkaan. Toistamalla hahmosovitus kuvan yli saadaan estimoitavan kentän jokaiselle lohkolle ensimmäinen liikevektoriehdokas.

Paitsi edellä kuvattua hahmosovitusta tehdään keksinnön mukaisesti myös reuna-15 sovitus lohkossa 36. Reunantunnistuslohkossa 37 on jo määritetty jokaiselle pikselille reunatieto eli onko sen kohdalla reunaa, ja jos on, niin missä suunnassa. Tämä pikselikohtainen tieto on koodattuna esimerkiksi 4-bittiseksi ja tätä tietoa käytetään hyväksi lohkossa 36 suoritettavassa sovituksessa täsmälleen samalla tavalla kuin edellä kuvatussa hahmosovituksessakin tehdään. Käytetään siis bittitason luokittelua 20 BLC(Bit Level Classification). Kun hahmontunnistuksessa käytettiin perättäisten progressiivisten kenttien harmaasävyarvoja, käytetään nyt niiden sijasta vastaavien lomiteltujen kenttien 4-bittiseksi koodattuja reunatietoarvoja, jotka saadaan reunan-tunnistuslohkosta 37. Laskentakaavat pätevät sellaisenaan. Merkitään jälleen yleisesti kentän t tutkittavan lohkon kohdassa x, y olevan pikselin p (x,y,t) näytesovi-* 25 tusta kirjaimella M ja määritetään reunasovituskriteeriksi: M(x,y,t) = 1, jos l£[x - aDx, y - aDy, t- aT] = M* +0- a)Dx, y + (1- a)Dy, t + (1- a)T], M(x,y,t) = 0 muutoin.

30 jossa x, y ovat näytteen p sijaintikoordinaatit estimoitavassa kentässä t,

Dx ja Dy ovat edeltävän kentän t-(l- a)T ja seuraavan kentän t+(l- a)T vastaavien pikseleiden estimoidut horisontaali- ja vertikaali-siirrokset näytteeseen p nähden, ?5 l£ on näytteen koodattu reunatietoarvo, T on progressiivisten kenttien välinen temporaalinen ero, ja a on skaalaustekijä.

Il g 9656'

Jos yksinkertaistetaan yllä oleva kaava koskemaan kenttätaajuuden kahdennusta, jolloin a = 0,5, ja käyttäen kuvan 4 pikseleiden positioita, yksinkertaistuu kaava muotoon: 5 M(x,y,t) = 1, jos IE[p - D/2, t - T/2] = IE[p + D/2, t + T/2] M(x,y,t) = 0 muutoin.

Kuten edelläkin tutkittaessa estimoitavan kentän t tutkittavan lohkon sovitusta, las-10 ketään lohkossa jokaiselle pikselille reunasovituksella lasketut arvot M yhteen. Mikäli lohkon koko on n*m, saadaan lohkolle arvo B(i,j) summaamalla M-arvot: k=\ /=1 15 Edellä kuvatulla tavalla saadaan etsintäalueessa estimoitavan kentän kullekin lohkoille tietty B(i j) arvo ja suurimman B(i j) arvon omaava lohko antaa reunatunnis-tuksella saadun liikevektoriehdokkaan. Toistamalla reunasovitus kuvan yli saadaan estimoitavan kentän jokaiselle lohkolle toinen liikevektoriehdokas. 1

Erillisesti ja samanaikaisesti suoritettavat reunantunnistus ja hahmontunnistus merkitsevät sitä, että jokaiselle lohkolle saadaan kaksi liikevektoriehdokasta, jotka voivat osoittaa eri suuntiin. Tämän jälkeen menetelläänkin siten, että estimoitavan kentän tietyn lohkon lisäksi otetaan huomioon ainakin sen välittömät naapurilohkot. Tällöin kun MSE-valintalohko 38 käsittelee 3*3 lohkoalaa, jossa tutkittava lohko on : 25 keskellä, saadaan yhteensä 18 liikevektoriehdokasta (9 lohkoa, 2 vektoria/lohko). Kussakin lohkoa verrataan sekä reunasovituksessa että hahmosovituksessa saatuun kohdelohkoon MSE (Minimum Mean Square Error) -kriteeriä käyttäen ja pienemmän MSE arvon antava suuntavektori valitaan. MSE-kriteerillä laskenta tehdään täydellä 8 bitin resoluutiolla. Laskenta suoritetaan kullekin lohkolle 3*3 lohkoa-30 lassa, jolloin tuloksena on yhdeksän vektoria käsittävä vektorikenttä, jossa yksittäisen lohkon vektori on joko hahmosovituksella saatu ensimmäinen liikevektori tai reunasovituksella saatu toinen liikevektori. MSE-lohkon ulostulo voidaan ajatella 3*3 lohkon alueeksi ja jokaisella lohkolla on yksi liikevektori. Saatua vektorikenttää voidaan edelleen jälkiprosessoida halutulla tavalla keskimmäisen tutkittavan lohkon 35 lopullisen liikevektorin määrittämiseksi. Jälkiprosessointi voidaan suorittaa monella alan ammattilaisen tuntemalla tavalla. Suoritetut testit ovat osoittaneet, että reuna-sovituksen osuus lopullisesta liikevektorista on melko pieni, vain 10 % luokkaa, 10 9656 ' mutta sen merkitys subjektiivisesti arvioitaessa kuvaa, jolle on suoritettu FRU, on mainittua prosenttiosuutta paljon suurempi.

Kuvassa 5 on esitetty kuvan 3 mukainen kytkentä sovellettuna kenttätaajuuden nos-5 tamiseen FRU. Jälkiprosessoinnilla, joka voi olla mediaanisuodatusta vektorikentän tasoittamiseksi ja mahdollisesti muita epälineaarisia operaatioita, saatu lopullinen liikevektori johdetaan interpolaattorilohkoon 51. Tässä lohkossa interpoloidaan liikeadaptiivisesti liikevektorin mukaan uuden kentän pikselit. Tuloksena on alkuperäiseen, formaatiltaan PAL standardin mukaiseen 625/50/2:1-signaaliin nähden 10 kenttätaajuudeltaan kaksinkertainen ja lomittelematon signaali 625/100/1:1. Alinäyt- teistämällä tämä signaali lohkossa 52 saadaan alkuperäiseen signaaliin nähden kenttätaajuudeltaan kaksinkertainen signaali 625/100/2:1. Interpolointi lohkossa 51 voidaan suorittaa monilla ammattimiehen tuntemilla tavoilla.

15 Edellä on kuvattu piiriä, jossa tulosignaali on lomiteltu. Tulosignaali voi olla myös lomittelematon, jolloin reunantunnistus ja koodaus tehdään lomitelemattomalle signaalille. Kuvassa 3 esitetty IPC-osa jää tällöin kokonaan pois.

t il

Claims (8)

9656 1 11

1. Menetelmä tutkittavan kentän lohkon liikevektorin määrittämiseksi, jossa menetelmässä digitaalinen videosignaali johdetaan reunantunnistuslohkoon (3 7), joka useassa suunnassa horisontaalisuunta mukaan lukien toimien tunnistaa kentän jo-5 kaisen näytteen kohdalla mahdollisen reunan suunnan ja tallentaa sen koodattuna reunatietoarvona muistiin ja jossa lohkosovitusta käyttämällä etsitään kentästä se kohdelohko, joka parhaiten vastaa edeltävän kentän referenssilohkoa, tunnettu siitä, että samanaikaisesti ja toisistaan erillään käytetään kahta lohkosovitusta, joista - reunatietosovituksessa käytetään peräkkäisten kenttien todellisten näytteiden sijas-10 ta niihin liittyvää reunatietoarvoa, jolloin kullekin tutkittavalle lohkolle saadaan ensimmäinen liikevektoriehdokas, - hahmosovituksessa käytetään peräkkäisten lomittelemattomien kenttien todellisten näytteiden sijasta niistä kvantisoimalla saatuja näytteitä, jolloin kullekin tutkittavalle lohkolle saadaan toinen liikevektoriehdokas, 15 ja että alueessa, joka käsittää tutkittavan lohkon ja ainakin sen välittömät naapuri-lohkot, suoritetaan vektoriehdokkaille vektoriehdokkaiden lukumäärän pienentäminen, jolloin tuloksena on vektorikenttä, jossa jokaisella lohkolla on yksi liikevektoriehdokas.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että kohdelohkon ja referenssilohkon vertailussa käytetään bittitasoluokittelua BLC (Bit Level Classification), jossa merkittäessä hahmosovitusta kirjaimella M, on vertailukriteeri: M(x,y,t) = 1, jos I[x - aDx, y - aDy, t- aT] = I[x +(1- a)Dx, y + (1- a)Dy, t + (1- a)T] . 25 M(x,y,t) = 0 muutoin. jossa x, y ovat näytteen sijaintikoordinaatit estimoitavassa kentässä t, Dx ja Dy ovat edeltävän progressiivisen kentän t-at ja seuraavan progressiivisen kentän t + (1- a)T vastaavien pikseleiden estimoidut hori-30 sontaali- ja vertikaali siirrokset näytteeseen p nähden, I on näytteen kvantisoitu arvo, T on lomittelemattomien kenttien välinen temporaalinen ero, ja a on skaalaustekijä, jolloin arvo 1 merkitsee kohdelohkon näytteen sopivuutta referenssilohkon näyttee-35 seen.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että kohde-lohkon ja referenssilohkon vertailussa käytetään bittitasoluokittelua BLC (Bit Level 9656 ’ 12 Classification), jossa merkittäessä reunasovitusta kirjaimella L on reunasovituskri-teeri: L(x,y,t) = 1, jos l£[x - otDx, y - oDy, t- aT] = l£[x +(1- a)Dx, y + (1- a)Dy, t + (1- a)T]

4. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että vektorieh-dokkaiden lukumäärän pienentämisessä verrataan alueen kussakin lohkossa lohkon näytteitä sen sekä hahmosovituksella saadun kohdelohkon näytteisiin että reuna- 20 sovituksella saadun kohdelohkon näytteisiin ja neliöllistä virhekeskiarvoa MSE (Minimun Mean Square Error) käyttämällä valitaan lohkon ainoaksi liikevektori-eh-dokkaaksi joko ensimmäinen tai toinen liikevektoriehdokas.

5. Patenttivaatimuksen 4 mukainen menetelmä, tunnettu siitä, että saatua vek- . 25 torikenttää jälkiprosessoidaan niin, että tuloksena on yksi liikevektori, joka on tutkittavan lohkon liikevektori.

5 L(x,y,t) = 0 muutoin. missä x, y ovat näytteen sijaintikoordinaatit estimoitavassa kentässä t, Dx ja Dy ovat edeltävän lomitellun kentän t-at ja seuraavan lomitellun kentän t + (1- a)T vastaavien pikseleiden estimoidut horisontaali-ja 10 vertikaalisiirrokset näytteeseen nähden, l£ on näytteen reunatietoarvo, T on kenttien välinen temporaalinen ero, ja a on skaalaustekijä, jolloin arvo 1 merkitsee kohdelohkon näytteen sopivuutta referenssilohkon näyttee-15 seen.

6. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että digitaalinen videosignaali on lomittelematon ja että se muutetaan ennen kvantisoimista lomittele- 30 mattomaksi IPC-muunnosta käyttäen, jolloin kenttä on sama kuin kuva.

7. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että reunatie-to-arvo ja kvantisoitu näytearvo ovat 4-bittisiä. 1 Il

8. Patenttivaatimuksen 2 ja 3 mukainen menetelmä, tunnettu siitä, että skaala ustekijä a on 0,5, jolloin liikevektoria käytetään normaalistandardin mukaisen lomitellun videosignaalin kenttätaajuuden kahdentamisessa. 13 9656