FI97096C

FI97096C - Videonkompressiomenetelmä

Info

Publication number: FI97096C
Application number: FI944235A
Authority: FI
Inventors: Pentti Haikonen; Janne Juhola; Petri Latva-Rasku
Original assignee: Nokia Mobile Phones Ltd
Priority date: 1994-09-13
Filing date: 1994-09-13
Publication date: 1996-10-10
Also published as: FI944235A0; US6304605B1; FI944235A; DE69519801D1; DE69519801T2; WO1996008928A1; EP0781491A1; FI97096B; EP0781491B1; AU3388995A

Description

97096

Videonkompressiomenetelmä

Keksintö kohdistuu videonkompressiomenetelmään ja erityisesti videonkompressio-5 menetelmään, joka on tarkoitettu sovellettavaksi siirrettäessä videokuvaa digitaalisena videosignaalina hyvin alhaisilla siirtonopeuksilla.

Videokuva digitoidaan jakamalla se kuvapisteisiin (pikseleihin) ja antamalla kuva-pisteille digitoidut arvot. Mustavalkokuvan ollessa kyseessä kuvapisteen arvo voi 10 olla yksinkertaisesti kuvan vastaavan pisteen kirkkautta vastaava valoisuusarvo digitaalisessa muodossa esimerkiksi kahdeksalla bitillä esitettynä. Värikuvan esittämiseen tarvitaan useita signaaleja ja digitaaliseen esitykseen siten esimerkiksi Y-, U- ja V-kuvapisteet ja niille digitoidut arvot, jotka sisältävät kuvan kirkkaus- ja väri-informaation. Keksintöä sovelletaan samalla tavalla kaiken kuvapisteinformaation kom-15 pressointiin, ja siksi tässä hakemuksessa puhutaan enimmäkseen vain yleisesti kuva-pisteistä ja kuvapisteiden arvoista tai arvoinformaatiosta.

Erityisesti digitaalisen kuvainformaation siirtoon käytettyjen kanavien rajallisen kapasiteetin takia informaatiota on ennen sen siirtämistä kompressoitava. Esimerkiksi 20 tavanomaisessa televisiokuvan siirrossa UHF-kanavalla, jonka siirtokapasiteetti on 32 Mbit/s, tarvitaan käytännössä kuvainformaation kompressointia suhteessa 1:10 -1:20. Kun videokuvaa joudutaan siirtämään kanavalla, jonka siirtonopeus on hyvin alhainen, esimerkiksi 8 kbit/s, tarvitaan kuvan laadusta tingittäessäkin siten erittäin voimakasta kompressointia.

25

Videokuvan kompressointia varten on kehitetty lukuisia eri menetelmiä, joita käytetään lähetyspään enkooderissa kuvainformaatiota koodattaessa ja vastaavasti vastaanottopäässä kuvainformaatiota dekoodattaessa ja kuvaa rekonstruoitaessa. Tällaisia menetelmiä ovat esimerkiksi vaihtuvamittainen koodaus VLC, prediktiivinen 30 eli ennustava koodaus, liikkeenkompensointi, juoksunpituuskoodaus (run-length - coding) ja transformikoodaus, kuten esimerkiksi diskreetti kosinitransformikoodaus DCT. Laskennan helpottamiseksi kuva koodataan tavallisesti lohkoina, ja yleisesti käytetty lohkon koko on 8 x 8 kuvapistettä. Edellä mainitut menetelmät ovat alan ammattilaiselle tuttuja, ja vaikka eräitä niistä, esimerkiksi vaihtuvamittaista koo-35 dausta, voidaan käyttää myös keksinnön mukaisessa videonkompressiomenetelmäs-sä kompression tehostamiseen, niitä ei tarkastella tässä lähemmin, koska se ei ole keksinnön ymmärtämisen kannalta tarpeellista.

97096 2

Siirrettäessä videokuvaa digitaalisena videosignaalina alhaisilla siirtonopeuksilla käytetään yleisesti myös kompressiomenetelmää, jossa kuva jaetaan n x m kuvapis-tettä käsittäviin lohkoihin, verrataan saatuja lohkoja, joiden kuvapisteinformaatio voi olla ja yleensä onkin jo koodattu jollakin kompressoivalla menetelmällä, aiem-5 min käsitellyn kuvan vastaaviin lohkoihin, tunnistetaan muuttuneet lohkot, siirretään muuttuneiden lohkojen koodattu informaatio ja niiden paikat osoittava osoitetietoja rekonstruoidaan vastaanottopäässä kuva tätä informaatiota ja sanotun aiemmin käsitellyn kuvan tunnettua informaatiota hyväksi käyttäen. Tämän kompressiomenetelmän käyttö on videokuvaa alhaisilla siirtonopeuksilla siirrettäessä hyvin edullista, ja 10 siksi myös keksinnön mukaista menetelmää on, sen käyttöä tähän millään tavoin rajoittamatta, ajateltu sovellettavan ensisijaisesti tämän menetelmän yhteydessä.

Seuraava esimerkki valaisee videokuvan siirron ehtoja tapauksessa, jossa käytettävissä olevan siirtokanavan kapasiteetti on erittäin alhainen ja jossa keksinnön mu-15 kaisen menetelmän soveltaminen on edullista. Kuvan QCIF-resoluutio on 176 pik-seliä/juova ja kuvassa on 144 juovaa. Kuva jaetaan 16 x 16 kuvapisteen makro-lohkoihin, joita on 9 x 11 eli 99. Kukin makrolohko koostuu neljästä Y-lohkosta (8x8 pikseliä) sekä yhdestä U-ja yhdestä V-lohkosta (8x8 pikseliä). Kuvassa on siis kaikkiaan 4 x 99 + 2 x 99 = 594 lohkoa. Jos kanavan kapasiteetiksi oletetaan 20 8 kbit/s ja kuvataajuudeksi valitaan 8.3 kuvaa sekunnissa, on kuvaa kohti käytössä 963 bittiä. Jos oletetaan edelleen, että muuttuneiden makrolohkojen osuus kuvassa on 10 %, niin koodattavia lohkoja on 0.1 x 594 eli noin 60. Käytettävissä olevista 963 bitistä noin 50 kuluu muuttuneiden makrolohkojen osoittamiseen esimerkiksi binäärisen juoksunpituuskoodatun bittikartan avulla, ja loput noin 910 bittiä jäävät 25 kuvainformaatiolle, joten lohkoa kohti on käytettävissä 910/60 bittiä eli 15 bittiä.

•

Erittäin alhaisilla siirtonopeuksilla tai mikäli kuvan muutosten määrä on suurempi kuin edellä oletetut 10 % eräs yleisesti käytetty keino on pienentää kuvataajuutta, jolloin siirretyn kuvainformaation määrä ja siten resoluutio voidaan säilyttää. Kuva-30 taajuuden laskeminen kuitenkin tunnetusti heikentää silmän aistimaa liikkuvan kuvan laatua. Vaihtoehtona kuvataajuuden laskemiselle on tehokkaampi kompressio, jossa kuvalohkon sisältämä informaatio pyritään esittämään aikaisempaa pienemmällä tietomäärällä.

35 Keksinnön tavoitteena on kehittää videonkompressiomenetelmä, jolla mahdollistetaan kuvainformaation siirtäminen hyvin pienellä bittimäärällä koodattuna ja silti kuvan laadun säilyttäminen kohtuullisena. Eräänä keksinnön tavoitteena on, että 8 x 8 kuvapistettä käsittävän lohkon kuvainformaatio voidaan koodata 14 bitillä. Lisäksi 3 97096 keksinnön mukaisella kompressiomenetelmällä ja vastaavalla rekonstruktiomenetel-’ mällä pyritään kuvan ääriviivojen jatkuvuuden ja kontrastin säilyttämiseen. Mene telmä mahdollistaa myös kuvapisteiden resoluution parantamisen interpoloimalla 5 kuvaa rekonstruoitaessa sekä rekonstruoinnin suuremmalle näyttöpistemäärälle, ilman että ääriviivat porrastuvat.

Näiden tavoitteiden saavuttamiseksi keksinnön mukaiselle videonkompressiomene-telmälle on tunnusomaista se, mitä on esitetty patenttivaatimuksessa 1.

10

Keksinnön mukaisen menetelmän ensisijaisessa suoritusmuodossa kuva koodataan 8x8 kuvapisteen lohkoina tai milloin koodaus jää liian epätarkaksi 4x4 kuvapis-teen alilohkoina. Lohkon sisältämä informaatio jaetaan hahmoinformaatioksi ja siihen liittyväksi arvoinformaatioksi. Useimmiten lohko sisältää yhden tai kahden ääri-15 viivan muodostaman hahmon, jolloin hahmokuvio määräytyy ääriviivojen ja lohkon rajojen mukaisesti. Keksinnön mukaisessa menetelmässä laaditaan ennalta olennaisesti suppea joukko hahmokuviomalleja ja osoitetaan kullekin mallille vastaava olennaisesti lyhyt, esimerkiksi 8-bittinen koodi. Hahmokuviomallit laaditaan siten, että ne approksimoivat mahdollisimman monia erilaisia hahmokuvioita riittävällä 20 tarkkuudella. Ensisijaisessa suoritusmuodossa lohkon hahmokuviolle etsitään sen kanssa lähinnä yhtenevä hahmokuviomalli ja hahmoinformaatiokoodiksi asetetaan sanotulle lähinnä yhtenevälle hahmokuviomallille osoitettu koodi. Hahmoinformaa-tiokoodiin yhdistetään siihen liittyvää arvoinformaatiota vastaava arvoinformaatio-koodi.

25

Eräs tarkennusmahdollisuus on myös lohkon jakaminen neljään pienempään aliloh-koon, joihin sovelletaan keksinnön menetelmää lohkon sisältämän kuvainformaation koodaamiseksi etsimällä alilohkoille lähinnä yhtenevät hahmokuviomallit ennalta laaditusta olennaisesti suppeasta joukosta alilohkon hahmokuviomalleja, jotka on 30 laadittu lohkon hahmokuviomallien lisäksi.

Myös koodattavan lohkon viereisiä, aiemmin koodattuja lohkoja voidaan käyttää apuna koodauksessa ääriviivojen jatkuvuuden varmistamiseksi.

97096 4

Menetelmälle keksinnön mukaisella menetelmällä kompressoidun lohkon rekonstruoimiseksi on tunnusomaista se, mitä on esitetty patenttivaatimuksessa 12. Eräässä edullisessa suoritusmuodossa keksinnön mukaisella menetelmällä kompressoitu loh-5 ko voidaan rekonstruoida alkuperäistä suuremmalle kuvapistemäärälle ilman, että lohkon sisältämät ääriviivat porrastuvat.

Seuraavassa keksintöä kuvataan tarkemmin viitaten oheisiin piirustuksiin, joista: 10 kuva 1 esittää keksinnön eräässä sovellutuksessa käytetyt lohkon ja alilohkon hah-mokuviomallit binäärikuvina, kuva 2 esittää keksinnön erääseen suoritusmuotoon liittyvän joukon ääriviivoina esitettyjä lohkon hahmokuviomalleja ja vastaavia ääriviivojen suuntakoo-deja, 15 kuva 3 esittää esimerkin binäärikuvaksi muutetusta lohkosta, joka sisältää yhden ääriviivan, kuva 4 esittää koodatun lohkon rekonstruointiin liittyvää kuvapisteiden arvoinfor-maation interpolointia, ja kuva 5 esittää esimerkin ääriviivakuvion muuntamisesta suuremmalle kuvapiste-20 määrälle.

Kuten edellä selityksen yleisessä osassa jo todettiin, keksinnön perusajatuksena on, että lohkon sisältämän kuvainformaation, joka muodostuu sen kuvapisteiden arvoin-formaatiosta, koodaamiseksi, siitä johdetaan ensiksi lohkon hahmoinformaatio ja 25 siihen liittyvä arvoinformaatio. Hahmoinformaatio voidaan johtaa esimerkiksi kehit-: tämällä lohkon kuvainformaatiosta lohkon binäärikuva. Hahmoinformaatioon liitty vä arvoinformaatio, esimerkiksi binäärikuvan alueen arvoinformaatio, saadaan alkuperäisestä kuvainformaatiosta määrittämällä esimerkiksi alueen kuvapisteiden arvojen keskiarvo tai mediaani tai ottamalla arvoinformaatioksi alueen jonkin tietyn ku-30 vapisteen arvo. Hahmoinformaation koodaamiseksi sen määrittämälle hahmokuviol-;. le etsitään sen kanssa lähinnä yhtenevä hahmokuviomalli, ja hahmoinformaatiokoo-diksi asetetaan hahmokuviomallille osoitettu koodi. Jos lähinnä yhtenevä malli eroaa liiaksi hahmokuviosta, sitä voidaan tarkentaa tai keksinnön menetelmää voidaan soveltaa lohkon osille, alilohkoille, joita varten on laadittu ennalta joukko alilohko-35 jen hahmokuviomalleja.

Kuvassa 1 on esitetty binäärikuvina keksinnön eräässä sovellutuksessa käytetty ennalta laadittu joukko 8x8 kuvapisteen lohkon ja 4x4 kuvapisteen alilohkon hah-

i «Hi »Iti I I t M

5 97096 mokuviomalleja. Lohkon hahmokuviomalleja on 192 kappaletta ja alilohkon hahmo-kuviomalleja 47 kappaletta. Hahmokuviomallit on laadittu edustamaan mahdollisimman hyvin mahdollisimman monia käytännössä esiintyviä hahmokuvioita. Useimmissa lohkon hahmokuviomalleissa on siten vain yksi ääriviiva, mutta malleihin on 5 sisällytetty myös edustava joukko kaksi ääriviivaa käsittäviä malleja. Lisäksi mal leihin sisältyy joitakin sakkiruutukuvioita ja tiheämpiä viivakuvioita, ns. tiheäkuvi-oita, jotka ovat käyttökelpoisia esimerkiksi hiusten tai vastaavien pienipiirteisten hahmojen koodauksessa.

10 Hahmokuviomalleille voidaan periaatteessa antaa mitkä tahansa sopivat koodit. Kuvan 1 esimerkissä 8x8 kuvapisteen lohkon hahmokuviomalleille, joilla lohkon hah-moinformaatio useimmissa tapauksissa voidaan riittävän tarkasti esittää, voidaan esimerkiksi antaa kaikille 8-bittiset koodit, jolloin mahdollisia 8-bittisiä koodeja jää myös tarkennettujen hahmokuviomallien esittämistä varten. Toisaalta on myös mah-15 dollista käyttää hahmoinformaation koodauksessa vaihtuvamittaista koodausta, jolloin useimmin esiintyville hahmokuviomalleille annetaan lyhyemmät koodit ja säästetään siten koodauskapasiteettia tarkennusten esittämiseen tai tarvittaessa kaikkien neljän alilohkon hahmokuviomallien sisällyttämiseen hahmoinformaatiokoodiin. Alan ammattilaiselle on selvää, että esimerkiksi lohkoa kohti varatun 8 hahmoinfor-20 maatiobitin puitteissa voidaan toteuttaa monia erilaisia koodausvaihtoehtoja.

Alan ammattilaiselle on myös selvää, että nykyiset kuva-analyysimenetelmät taijoa-vat binäärikuvan kehittämisen lisäksi muitakin mahdollisuuksia lohkon kuvainfor-maation sisältämän hahmoinformaation johtamiseen. Lähetyspään enkooderissa, 25 jossa kuvainformaation koodaus suoritetaan, on yleensä käytettävissä huomattava : määrä laskentakapasiteettia, joka mahdollistaa erilaisten kuva-analyysimenetelmien käytön. Myös johdettua hahmoinformaatiota vastaavan hahmokuvion vertaaminen hahmokuviomalleihin voidaan toteuttaa monin eri tavoin. Eräs käyttökelpoinen ratkaisu on yksinkertaisesti verrata hahmokuviota jossakin jäijestyksessä kaikkiin mah-30 dollisiin malleihin ja valita niistä sopivin. Mallin tarkentaminen voidaan samoin tehdä tarvittaessa yksinkertaisesti kokeilemalla tiettyjä määriteltyjä tarkennusvaihto-ehtoja jossakin, vaikkapa niiden todennäköisyyteen perustuvassa jäijestyksessä.

Kuva 2 liittyy keksinnön suoritusmuotoon, jossa hahmokuvioista analysoidaan ää-3 5 riviivojen suunta ja paikka ja hahmoinformaatio koodataan yhdistämällä saadut ää riviivan suuntakoodi ja paikkakoodi. Suoritusmuotoa tarkastellaan tapauksessa, jossa hahmokuviossa on vain yksi ääriviiva. Kuvassa 2 on esitetty esimerkkeinä 12 lohkopiirrosta, joissa kussakin vahvennetulla esitetyillä ääriviivoilla on tietty yleis- 97096 6 suunta ja samalla tietty muoto. Kunkin piirroksen oikeassa yläkulmassa on tätä suuntaa vastaava 4-bittinen suuntakoodi. Ääriviivan paikka lohkossa on merkitty piirroksissa numeron 1, 3, 5, 7, jne. avulla, joka voidaan koodata halutulla tavalla. Jos kyseinen paikkakoodi esitetään myös neljällä bitillä, tarvitaan yhteensä kahdek-5 san bittiä määrittelemään tämän esimerkin hahmokuviomallit.

Seuraavassa esitetään esimerkinomaisesti eräs tapa, jolla lohkon kuvainformaatiosta kehitetään binäärikuva, joka määrittelee hahmokuvion ääriviivat. Olkoon lohkon koko 8 x 8 kuvapistettä. Lasketaan juovan kuvapisteiden erotusten itseisarvot vaaka-10 suunnassa seuraavasti:

Di = I Pi - Pi+i I

D7 = 0, jossa i saa arvot 0, 1,..., 6 ja 15 Dj = kuvapisteen i kohdalle tuleva erotuksen itseisarvo,

Pi = kuvapisteen i arvo.

Jos juovan kuvapisteet saavat arvot 32, 30, 29, 10,11, 20, 18 ja 19, ovat vastaavat erotukset 2, 1, 19, 1, 9, 2, 1 ja 0. Erotukset muutetaan binääriarvoiksi käyttämällä 20 kynnysarvona, jonka kanssa yhtä suuret tai sitä suuremmat arvot asetetaan ykkösiksi, esimerkiksi suurimman erotuksen neljännestä, joka on tässä tapauksessa 4,75. Kynnystetyt erotukset ovat: 00101000 25 : Nyt merkitään vasemmalta lukien nollat nolliksi, kunnes löytyy ykkönen, jonka jäl keen nollat merkitään ykkösiksi. Jos vielä löytyy ykkönen, merkitään seuraavat nollat nolliksi. Saadaan juovan kuvapisteitä vastaavat binääriarvot: 30 00 1 1 1 000

Toistamalla tämä menettely j oka juovalle erotetaan lohkon sisältämät pystysuuntaiset ääriviivat ja saadaan vaakasuunnassa laskettu lohkon binäärikuva, jossa kunkin kuvapisteen kohdalla on kuvapisteiden erotusten itseisarvoista edellä kuvatulla 3 5 tavalla johdettu binääriarvo.

..; Tekemällä vastaavat laskutoimitukset lohkon kuvapisteille riveittäin pystysuunnassa erotetaan lohkon sisältämät vaakasuuntaiset ääriviivat ja saadaan pystysuunnassa 7 97096 laskettu lohkon binäärikuva. Lopullisen binäärikuvan muodostamiseksi kunkin ku-vapisteen kohdalla vaakasuuntaisesti lasketussa binäärikuvassa oleva binääriarvo ja pystysuuntaisesti lasketussa binäärikuvassa oleva binääriarvo lasketaan loogisesti yhteen. Kuvassa 3 on esitetty esimerkki binäärikuvasta, joka sisältää yhden äärivii-5 van, jonka määrittävät eri binääriarvot saavien vierekkäisten kuvapisteiden väliset rajaviivat. Kuvaan on merkitty vahvennetulla kuvan 2 vaihtoehdoista lähinnä tätä ääriviivaa oleva ääriviiva.

Seuraavaksi menetelmässä lasketaan binäärikuvan sisältämien ääriviivojen suunta.

10 Laskenta etenee kuvan 3 esimerkin mukaisesti seuraavasti. Vähennetään vaakarivin 1 kunkin kuvapisteen binääriarvo vaakarivin 0 samalla pystyrivillä olevasta arvosta, vaakarivin 2 kukin binääriarvo vaakarivin 1 vastaavasta arvosta ja niin edelleen ja lopulta vaakarivin 7 kukin binääriarvo vaakarivin 6 vastaavasta arvosta. Kullakin pystyrivillä saadut erotukset on merkitty pystyrivien kohdalle kuvan 3 piirroksen 15 alareunaan. Erotukset lasketaan yhteen ja merkitään erotusten summaa symbolilla Zve. Vastaavasti vähennetään pystyrivin 1 kunkin kuvapisteen binääriarvo pysty-rivin 0 samalla vaakarivillä olevasta arvosta jne. ja lopulta pystyrivin 7 kukin binääriarvo pystyrivin 6 vastaavasta arvosta. Saadut erotukset on merkitty piirroksen oikeaan reunaan kunkin vaakarivin kohdalle. Erotukset lasketaan yhteen ja summaa 20 merkitään symbolilla Σρε. Mikäli Σνε ja Σρε ovat nollasta poikkeavia lukuja, laske taan suhde R = Σνε/Σρε 25 Suuntakoodi määrätään suhteen R arvon perusteella hakutaulukosta. Suunnat ja niitä : vastaavat koodit voidaan määritellä halutulla tarkkuudella. Oheinen taulukko 1 on esimerkki suuntakodin määritykseen käytetystä hakutaulukosta:

Taulukko 1 30 ____ R - Zve/Zpe__Suunta__R = Σ ve/Σρε__Suunta 0 < R< 0,35__0001 0 > R> -0,35__1001 0,35 <R< 0.75__0010 - 0,35 > R>-0.75__1010 0,75 <R< 1.3__0011 - 0,75 >R>-1.3__1011 1,3 <R<3__0100 -1,3 > R> -3__1100 R> 3 0101 R < -3 1101 • · 97096 8

Jos Σνε = Σρε = 0, on kysymyksessä tasainen alue ilman ääriviivoja. Jos Σνε = 0 ja Σρε * 0, kuviossa on pystysuuntainen ääriviiva, jonka koodi on 1000. Jos Σρε = 0 ja Σνε Φ 0, kuviossa on vaakasuuntainen ääriviiva, jonka koodi on 0000. Kuvan 3 esimerkkikuviossa Σνε = 8 ja Σρε = 3, jolloin R = 2,67 ja vastaava suuntakoodi 5 edellä esitetystä taulukosta 0100.

Ääriviivan paikka kuviossa voidaan löytää laskemalla binäärikuvan ykkösten (tai vastaavasti nollien) lukumäärä vaakariveittäin lähtien vasemmasta ylä- (tai ala-) nurkasta. Ykkösiä lasketaan riviä pitkin aina siihen saakka, kunnes kohdataan nolla. 10 Tällöin siirrytään seuraavalle vaakariville. Saatua ykkösten summaa verrataan suun-takoodikohtaisesti taulukoituihin ykkösten määriin. Kuvan 2 esimerkissä ykkösiä on 29 kpl. Lähin taulukkoarvo olisi kuvan 1 lähinnä yhtenevästä hahmokuviomallista laskien 32 kpl. Kuvaan 3 on piirretty vahvennetulla tätä arvoa vastaava ääriviiva. Ääriviivan tunnistus voidaan suorittaa käyttäen joko ykkösten tai nollien määrää.

15 Ääriviivan paikka ilmoitetaan halutulla tavalla koodattuna.

Suunta- ja paikkakoodit yhdessä muodostavat koodin, jonka perusteella kuvaa rekonstruoitaessa voidaan valita lohkon lähinnä sopivin hahmokuviomalli esimerkiksi kuvan 1 malleista.

20

Ero kuvainformaatiosta johdetun hahmokuviomallin ja etsityn sen kanssa lähinnä yhtenevän hahmokuviomallin välillä voidaan määrittää esimerkiksi laskemalla mallin ja hahmokuvion ääriviivojen poikkeama-alueiden sisältämien kuvapisteiden määrä. Mikäli ero ylittää sallitun raja-arvon, pyritään mallia tarkentamaan lisäämällä 75 siihen esimerkiksi kahden kuvapisteen levyinen poikkiviiva, minkä jälkeen ero määritetään uudelleen.

Eräs tapa etsiä lohkon hahmokuviolle tarkempi malli on jakaa lohko alilohkoihin, joista kullekin etsitään edellä kuvatulla tavalla hahmokuviomalli joukosta aliloh-30 koille ennalta asetettuja hahmokuviomalleja. Eräs mahdollisuus on muuntaa alilohko suuremmalle kuvapistemäärälle, jolloin lohkon hahmokuviomalleja voidaan käyttää * niille malleina. Tällöin lohkon koodiin on luonnollisesti liitettävä tieto lohkon zoomauksesta, esimerkiksi sopivan etuliitteen avulla, lohkon rekonstruoimiseksi oikeaan kokoonsa.

Eräs tapa tarkentaa hahmokuviomallia on soveltaa lohkoon mallia, joka sisältää ns. tiheäkuvion, joka muodostuu esimerkiksi pieniamplitudisesta juovituksesta tasaisella

; : «Hi a.lll II IM

35 9 97096 pohjalla. Tiheäkuviot ovat käyttökelpoisia esimerkiksi hiusten tai vastaavien vaikeasti erottuvien hahmojen koodauksessa.

Koodattu lohko voidaan rekonstruoida hahmokuviomallin ja siihen liittyvän arvoin-5 formaation perusteella joko sellaisenaan tai käyttäen sopivaa alipäästösuodatusta.

Vaihtoehtoisesti voidaan suorittaa interpoloitu rekonstruktio, jolloin hahmokuvio-mallin ohella käytetään hyväksi myös vierekkäisten lohkojen äärimmäisiä kuvapis-teitä, jotka rajoittuvat käsiteltävään lohkoon. Kuva 4 havainnollistaa rekonstruktiota, jossa kuvapisteiden arvoinformaatiota tarkennetaan interpoloimalla. Lohkon sisäl-10 tämän hahmokuvion osa-alueiden kuvapisteiden arvot interpoloidaan vierekkäisiin lohkoihin A, B ja C kuuluvien kuvapisteiden avulla. Kuvan 4 vaaleassa osa-alueessa interpoloidaan ensin väli C77 - D77 ja väli B77 - D77 ja näiden interpoloitujen arvojen avulla loput kuvapisteet. Eräs mahdollinen interpolointijäijestys on esitetty kuvassa 4 nuolilla. Esimerkiksi välille C77 - D77 tulevat seuraavat interpoloidut ar-15 vot: (7C77 + 077)/8, (6C77 + 2077)/8, (5C77 + 3077)/8, (4C77 + ΑΌηη)/%, (3C77 + 5D77)/8, (2C77 + 6Ö77)/8, (C77 + 7D77)/8 20 Rekonstruktion subjektiivista tarkkuutta voidaan lisätä jakamalla rekonstruoidussa kuvassa kukin kuvapiste neljään pienempään kuvapisteeseen, jolloin rekonstruktio-lohkon koko tulee olemaan 16 x 16 kuvapistettä. Rekonstruoidun kuvan ääriviivaa on tällöin myös modifioitava. Kuvassa 5 on esitetty 8x8 kuvapisteen lohkon muuntaminen 16 x 16 kuvapisteen lohkoksi jakamalla jokainen kuvapiste neljäksi pienem-25 mäksi kuvapisteeksi. Tumma alue kuvassa on hahmo ääriviivamodifioinnin jälkeen. Tällä tavalla kuva voidaan rekonstruoida suuremmalle kuvapistemäärälle ilman ääriviivojen porrastumista. Huomattakoon, että kuvan muuntaminen suuremmalle kuva-pistemäärälle kuvaa rekonstruoitaessa ei vaadi mitään lisätietoja lohkon koodaus-vaiheessa.

30

Kun videokuvan siirrossa käytetään kompressiomenetelmää, jossa siirretään ainoastaan muuttuneiden lohkojen informaatio, keksinnön mukaisella menetelmällä voidaan koodata muuttuneet lohkot erittäin pienellä tietomäärällä. Esimerkiksi ilmoitettaessa hahmokuvio kahdeksalla bitillä ja kaksi arvoinformaatiota, esimerkiksi perus-35 harmaasävyä, DPCM-koodattuina kumpikin kolmella bitillä lohkon koodaukseen tarvitaan 8 + 3 + 3 = 14 bittiä. Kuten edellä esitettiin hahmokuvion koodi voi jois-; sakin tapauksissa olla myös lyhyempi. Esimerkiksi hahmokuvio, joka muodostuu tasaisesta alueesta, jossa on vaaka-ja pystysuora ääriviiva, voidaan ilmoittaa koodilla, 97096 10 joka sisältää määritellyn tasaisen alueen koodin sekä hahmon nurkkapisteen arvon lohkossa.

Menetelmän etuna tunnettuun tekniikkaan verrattuna on, että kompressio kohdistuu 5 lohkon sisältämään hahmoinformaatioon. Arvoinformaation määrittelevä tieto voidaan jättää kompression ulkopuolelle ja siten säilyttää alkuperäisen kuvan kontrasti. Lisäksi rekonstruoidun kuvan laatua voidaan parantaa sovittamalla hahmon ääriviivat vierekkäisten lohkojen hahmoihin käyttämällä rekonstruktiossa lohkon ääripis-teiden interpolointia viereisiin lohkoihin sekä muuntamalla rekonstruoitu kuva suu-10 remmalle kuvapistemäärälle ja soveltamalla siihen ääriviivan modifiointia.

Esillä oleva keksintö ei rajoitu edellä esitettyihin esimerkkeihin, vaan sitä on mahdollista soveltaa oheisten patenttivaatimusten sallimissa rajoissa.

* • «

Claims

11 97096

1. Videonkompressiomenetelmä, jossa videokuva jaetaan useita kuvapisteitä käsittäviin lohkoihin, jolloin lohkon sisältämä kuvainfonnaatio muodostuu sen kuva-pisteiden arvoinformaatiosta, tunnettu siitä, että lohkon sisältämän kuvainformaa- 5 tion koodaamiseksi johdetaan lohkon sisältämästä kuvainformaatiosta lohkon hahmoinformaatio ja siihen liittyvä arvoinformaatio, laaditaan ennalta olennaisesti suppea joukko lohkon hahmokuviomalleja ja osoitetaan niistä kullekin vastaava olennaisesti lyhyt koodi, 10 etsitään hahmoinformaation määrittelemälle hahmokuviolle sen kanssa lähinnä yhtenevä hahmokuviomalli sanotusta suhteellisen suppeasta joukosta lohkon hahmokuviomalleja, asetetaan hahmoinformaatiokoodiksi sanotulle lähinnä yhtenevälle hahmoku-viomallille osoitettu koodi, ja 15 yhdistetään hahmoinformaatiokoodiin siihen liittyvää arvoinformaatiota vas taava arvoinformaatiokoodi.

2. Patenttivaatimuksen 1 mukainen videonkompressiomenetelmä, tunnettu siitä, että jos lohkon hahmoinformaation määrittelemän hahmokuvion ja sanotun lähinnä 20 yhtenevän hahmokuviomallin välinen ero ylittää asetetun raja-arvon, lohko jaetaan alilohkoihin ja menetelmää lohkon sisältämän kuvainformaation koodaamiseksi sovelletaan alilohkoihin, joille etsitään ennalta laaditusta olennaisesti suppeasta joukosta alilohkon hahmokuviomalleja lähinnä yhtenevät hahmokuviomallit.

3. Patenttivaatimuksen 1 tai 2 mukainen videonkompressiomenetelmä, tunnettu siitä, että lohkon koko on 8 x 8 pikseliä ja alilohkon koko 4x4 pikseliä.

4. Jonkin edellisen patenttivaatimuksen mukainen videonkompressiomenetelmä, tunnettu siitä, että hahmoinformaatiokoodi on 8-bittinen. 30 * . 5. Jonkin patenttivaatimuksen 1 - 3 mukainen videonkompressiomenetelmä, tun nettu siitä, että hahmoinformaatiokoodi on vaihtuvamittainen.

6. Jonkin edellisen patenttivaatimuksen mukainen videonkompressiomenetelmä, 35 tunnettu siitä, että arvoinformaatiokoodi käsittää kaksi arvoinformaatiota molemmat kolmella bitillä DPCM-koodattuina. 97096 12

7. Jonkin edellisen patenttivaatimuksen mukainen videonkompressiomenetelmä, tunnettu siitä, että lohkon hahmokuviomalli on lohkon binäärikuva, jossa kuvapis-teillä on binääriarvot, ja että lohkon hahmoinformaatio johdetaan lohkon sisältämästä kuvainformaatiosta kehittämällä siitä lohkon kuvapisteille binääriarvot. 5

8. Jonkin edellisen patenttivaatimuksen mukainen videonkompressiomenetelmä, tunnettu siitä, että lohkon sisältämästä kuvainformaatiosta johdetaan lohkon hahmoinformaatio määrittämällä lohkon sisältämän ääriviivan suunta ja paikka ja muodostamalla hahmoinformaatiokoodi suuntaa vastaavasta suuntakoodista ja paikkaa 10 vastaavasta paikkakoodista.

9. Patenttivaatimuksen 8 mukainen videonkompressiomenetelmä, tunnettu siitä, että lohkon sisältämän ääriviivan suunta ja suuntakoodi määritetään lohkon binäärikuvasta 15 vähentämällä vaakarivin (n+1) kunkin kuvapisteen binääriarvo vaakarivin n sa malla pystyrivillä olevasta binääriarvosta, kun n = 0, 1,..., (s-1) ja s on binäärikuvan vaakarivien lukumäärä, ja laskemalla saatujen erotusten summa (Σνε), vähentämällä pystyrivin (m+1) kunkin kuvapisteen binääriarvo pystyrivin m samalla vaakarivillä olevasta binääriarvosta, kun m = 0, 1,..., (t-1) ja t on binääri-20 kuvan pystyrivien lukumäärä, ja laskemalla saatujen erotusten summa (Σρβ), laskemalla saatujen summien suhde (Σνε/Σρε), mikäli molempien summien arvo on eri kuin nolla, ja valitsemalla summien suhdetta vastaava suuntakoodi haku-taulukosta, joka käsittää suhteen arvoalueet ja niitä vastaavat suuntakoodit, asettamalla suuntakoodiksi tasaiselle alueelle osoitettu koodi, mikäli molem-25 mat summat ovat nollia, pystysuuntaiselle ääriviivalle osoitettu suuntakoodi, mikäli vain ensiksi laskettu summa (Σνε) on nolla, ja vaakasuuntaiselle ääriviivalle osoitettu suuntakoodi, mikäli vain jälkimmäinen lasketuista summista (Σρε) on nolla.

10. Patenttivaatimuksen 8 tai 9 mukainen videonkompressiomenetelmä, tunnettu 30 siitä, että ääriviivan paikka ja paikkakoodi määritetään binäärikuvasta laskemalla yhteen ykkösten tai vastaavasti nollien määrät vaakariveittäin alkaen rivin vasem-* masta reunasta ja päättyen rivin ensimmäiseen nollaan tai vastaavasti ykköseen ja asettamalla paikkakoodiksi saatua kokonaismäärää ja määritettyä suuntakoodia vastaava paikkakoodi. 35

11. Menetelmä patenttivaatimuksen 1 mukaisella menetelmällä kompressoidun lohkon rekonstruoimiseksi, tunnettu siitä, että ,97096 13 vastaanotetaan lohkon sisältämää kuvainformaatiota vastaava koodi, joka sisältää hahmoinformaatiokoodin ja arvoinformaatiokoodin, muodostetaan hahmokuvio hahmoinformaatiokoodin mukaisesti hahmokuvio-mallin avulla, ja 5 lisätään hahmokuvioon arvoinformaatio arvoinformaatiokoodin mukaisesti.

12. Patenttivaatimuksen 11 mukainen menetelmä, tunnettu siitä, että hahmoku-viota tarkennetaan parantamalla ääriviivojen jatkuvuutta lohkon ja viereisten lohkojen rajoilla. 10

13. Patenttivaatimuksen 11 tai 12 mukainen menetelmä, tunnettu siitä, että kuva-pisteiden arvoinformaatiota tarkennetaan interpoloimalla viereisten lohkojen lohkon reunaan rajoittuvien kuvapisteiden arvoinformaation avulla.

14. Jonkin patenttivaatimuksen 11-13 mukainen menetelmä, tunnettu siitä, että rekonstruoidun hahmokuvion tarkkuutta lisätään muuntamalla se alkuperäistä suuremmalle kuvapistemäärälle jakamalla jokainen lohkon kuvapiste useammaksi kuvapisteeksi ja modifioimalla hahmokuvion ääriviivaa porrastuksen eliminoimiseksi. 20