FI90179C - Foerfarande foer kompressering av en videobild, som kodats digitaliskt - Google Patents

Description

Menetelmä digitaalisesti koodatun videokuvan kompressoimi- seksi 1 90179

Keksinnön kohteena on menetelmä digitaalisesti 5 koodatun videokuvan kompressoimiseksi lähetyksen yhteydessä. Menetelmässä kuvainformaatio koodataan peräkkäisinä kuvalohkoina, joista kukin koostuu n x m kuvapisteestä, ja kulloinkin lähetettävänä olevaa kuvalohkoa verrataan ainakin yhteen aikaisemmin lähetettyyn, samankokoiseen kuva-10 alueeseen näiden keskinäisen vastaavuuden määrittämiseksi.

Keksintö koskee myöskin oheisen patenttivaatimuksen 6 johdanto-osan mukaista menetelmää kompressoidun videokuvan vastaanottamiseksi.

Monissa tavanomaisissa kuvankompressiomenetelmissä 15 kuva lähetetään n x m kuvapisteestä koostuvina peräkkäisinä lohkoina. Elävää kuvaa koodattaessa käytetään usein kenttien välistä koodausta, jolloin lähetettävää lohkoa ennustetaan edellisen kentän vastaavalla lohkolla. Ns. liikkeenkompensointimenetelmissä voidaan tämä ennustusloh-20 ko etsiä läheisistä kentistä muualtakin kuin täysin vastaavasta paikasta.

Tunnettujen menetelmien epäkohtana on kuitenkin se, että niissä ei pystytä käyttämään hyväksi kuvan sisäistä redundanssia, toisin sanoen hyödyntämään sitä seikkaa, 25 että yleensä kuvissa esiintyy laajojakin alueita, joiden sävyarvo on likipitäen vakio, tai joilla esiintyy toistuvaa hienorakennetta.

Esillä olevan keksinnön tarkoituksena onkin poistaa edellä mainittu epäkohta ja saada aikaan aikaan sellainen 30 menetelmä digitaalisesti koodatun videosignaalin kompressoimiseksi, jossa pystytään hyödyntämään kuvan sisäistä redundanssia, ja näin ollen entisestäänkin pienentämään kuvainformaation lähettämiseksi tarvittavaa bittimäärää. Tämä päämäärä saavutetaan keksinnön mukaisella lähetyksen 35 yhteydessä käytettävällä menetelmällä, jolle on tunnus- 2 90179 omaista se, että kuvalohkoa verrataan samaan kenttään sisältyvään kuva-alueeseen, ja (i) mikäli löytyy ainakin yksi sellainen kuva-alue, joka täyttää ennalta määrätyn vastaavuusehdon, valitaan näistä kuva-alueista yksi lähe-5 tettävänä olevalle kuvalohkolle ennustuslohkoksi, ja (ii) mikäli ennalta määrätty vastaavuusehto jää täyttymättä kaikkien vertailtavina olevien kuva-alueiden osalta, otetaan ennustuslohkoksi kuvalohko, jonka kaikkien kuvapis-teiden sävyarvot ovat nollia, ja että lähetettävänä ole-10 vasta kuvalohkosta ja ennustuslohkosta lasketaan erokuva, ja vastaanottimelle lähetetään erokuva sekä ennustuslohkoa koskeva sijaintitieto, joka käsittää (ii) tapauksessa tietyn ennalta määrätyn koodisanan. Edellä kuvatulla tavalla kompressoidun videokuvan vastaanottomenetelmälle on 15 puolestaan tunnusomaista se, mitä kuvataan oheisen patenttivaatimuksen 6 tunnusmerkkiosassa. Mainittakoon, että kentällä tässä yhteydessä tarkoitetaan lomitellun videosignaalin osalta yhtä kenttää ja lomittelemattoman videosignaalin osalta yhtä kuvaa.

20 Keksinnön mukaisena perusajatuksena on etsiä lähe tettävälle kuvalohkolle saman kentän jo lähetetyltä alueelta sellainen samankokoinen kuvalohko, joka vastaa mahdollisimman tarkkaan lähetettävää kuvalohkoa, ja aina tällaisen kuvalohkon löytyessä lähettää vastaanottimelle 25 tieto lohkon sijainnista sekä erotuskuva, joka on muodostettu lähetettävänä olevan kuvalohkon ja tämän löydetyn kuvalohkon, ns. ennustuslohkon, sävyarvojen kuvapiste kuvapisteeltä laskettuna erotuksena. Kun ennustuslohko vastaa likipitäen lähetettävänä olevaa kuvalohkoa, sisäl-30 tää erotuskuva vain vähän informaatiota, ja se voidaan välittää vastaanottimelle huomattavasti pienemmällä bitti-määrällä kuin alkuperäinen lähetettävänä oleva kuvalohko. Ennustuslohkon sijainti voidaan välittää vastaanottimelle hyvin pienellä bittimäärällä, joten se ei vaikuta lopputu-35 lokseen. Mainittakoon vielä, että kun tässä yhteydessä 3 90179 puhutaan sävyarvoista, voi se tarkoittaa joko harmaa- tai värisävyarvoja.

Keksinnön mukaisella ratkaisulla saadaan näin ollen hyödynnettyä kuvan sisällä toistuvasti esiintyvä hienora-5 kenne tai sävyarvoltaan lähes vakiona pysyvät alueet. Keksintö tarjoaa siten tehokkaan kompressointimenetelmän esim. joidenkin tunnettujen kompressointialgoritmien int-rakuville.

Ennustuslohkoa voidaan hakea mistä tahansa saman 10 kentän jo lähetetyltä alueelta. Laitteisto voidaan kuitenkin toteuttaa yksinkertaisemmin, mikäli käytetään kiinteää lohkojakoa siten, että lohkot sijaitsevat vakiopaikoilla.

Keksinnön toisen edullisen suoritusmuodon mukaisesti voidaan menetelmän suorituskykyä parantaa edelleen siten, 15 että kulloinkin lähetettävänä olevaa kuvalohkoa verrataan lisäksi mainitusta kuva-alueesta muunnosoperaatiolla muunnettuun kuvalohkoon, ja että valittaessa tällainen muunnettu kuvalohko ennustuslohkoksi lähetetään vastaanot-timelle lisäksi tieto käytetystä muunnosoperaatiosta.

20 Seuraavassa keksintöä selitetään tarkemmin viitaten oheisen piirustuksen mukaiseen esimerkkiin, jossa kuvio 1 esittää lähetettävänä olevaa, n x m kuvapis-teestä koostuvaa kuvalohkoa sekä kolmea sen viereistä, jo lähetettyä kuvalohkoa, ja 25 kuvio 2 esittää lohkokaaviona kooderia, jossa kek sinnön mukaista menetelmää sovelletaan.

Keksinnön mukaisella menetelmällä lähetettävät kuvalohkot koostuvat n x m kuvapisteestä Py, joiden sijainti kuvalohkon sisällä on seuraava: 30 Pl.l P.,2 Pl.3........Pi.m P2.1 P2.2 P2.3........P2.n1 3 5 p„,, P„.2 Pn,3........p„.m 4 9 Π1 7 9

Merkitään juuri lähetettävänä oleva kuvalohkoa viitemerkillä Pl, jolloin sitä vastaavat kuvapisteet ovat Plij. Kuviossa 1 on esitetty lähetettävän lohkon Pl lisäksi kolme sen viereistä, jo lähetettyä kuvalohkoa P2, P3 ja 5 P4, jotka ovat siis jo vastaanottimen tiedossa, kun kuvaa lähetetään vasemmalta oikealle ja ylhäältä alas.

Keksinnön mukaisesti kokeillaan lähetettävänä olevan kuvalohkon Pl ennustuslohkoiksi vuoron perään lohkoja P2, P3 ja P4. Ennustuslohkoksi valitaan se lohko, joka vastaa 10 parhaiten lähetettävää kuvalohkoa Pl, edellyttäen, että kyseinen kuvalohko täyttää jäljempänä esitettävän vastaa-vuuskriteerin. Vastaavuusmääritys voidaan tehdä esim. laskemalla lähetettävänä olevan kuvalohkon ja ennustuslohkoksi ehdolla olevan kuvalohkon toisiaan vastaavien kuva-15 pisteiden sävyarvojen (harmaa- tai värisävyarvojen) absoluuttisten erotusten (erotusten itseisarvojen) summa E seuraavasti: n,m (1) E = £ abs^plilj~PNi,j'i , ehto: E < δ iTj missä indeksi N on 2, 3, tai 4.

Mikäli summa E jää pienemmäksi kuin tietty ennalta 20 määrätty asetusarvo S, katsotaan lohkojen vastaavan toisiaan. Ennustuslohkoksi valitaan se kuvalohko P2, P3 tai P4, joka tuottaa pienimmän ennalta määrätyn asetusarvon S alittavan summan E. Vastaanottimelle lähetetään tällöin tieto kyseisen ennustuslohkon sijainnista sekä lähetettä-25 vänä olevan kuvalohkon ja ennustuslohkon kuvapiste kuva-pisteeltä lasketut sävyarvojen erotukset. Vastaanotossa haetaan ennustuslohko vastaanotetun sijaintitiedon perusteella ja rekonstruoidaan vastaanotettava kuvalohko sum-maamalla kuvapiste kuvapisteeltä ennustuslohkon sävyarvot 30 ja vastaanotetut sävyarvojen erotukset.

Mikäli yksikään kuvalohkoista P2, P3 tai P4 ei kuitenkaan täytä kaavan (1) ehtoa, otetaan ennustusloh-

II

5 90179 koksi sellainen kuvalohko PO, jossa kaikkien kuvapisteiden POij sävyarvot ovat nollia. Näin on tehtävä myös kunkin kentän ensimmäisen kuvalohkon osalta, koska aikaisemmin lähetettyä kuva-aluetta ei samassa kentässä ole olemassa 5 niitä lähetettäessä. Tässä tapauksessa käsittää vastaanot- timelle lähetettävä ennustuslohkon sijaintitieto ennalta määrätyn koodisanan, joka ilmoittaa, että ennustuslohkoksi on otettu kuvalohko, jonka kaikkien kuvapisteiden sävyarvot ovat nollia, jolloin vastaanotin osaa ottaa ennustus-10 lohkoksi vastaavanlaisen lohkon.

Periaatteessa voidaan ennustuslohkoa hakea aina saman kentän siltä alueelta, joka on jo lähetetty, jolloin siis hakualue kasvaa lähetyksen edistyessä kentän sisällä. Menetelmän hidastumisen estämiseksi on kuitenkin edullista 15 rajoittaa haku tiettyyn alueeseen, esim. oheisen esimerkin mukaisesti siten, että vertailulohkot haetaan alueelta, jonka rajaavat lähetettävänä olevan kuvalohkon vieressä ylhäällä ja vasemmalla olevat kuvalohkot, kun kuvaa lähetetään vasemmalta oikealle ja ylhäältä alas.

20 Keksinnön mukaisen menetelmän perusmuodossa tulee edellä kuvatun mukaisesti lähetettävän kuvapisteen Ρέ j ennustusarvoksi ennustuslohkon vastaava kuvapiste ΡΝ^. Kuviosta l voidaan kuitenkin havaita, että kun PN on P2, on ennustettavan ja ennustavan kuvapisteen välinen vaa-25 kasuuntainen etäisyys m kuvapistettä, ja kun PN on P4, on ennustavan ja ennustettavan kuvapisteen välinen pystysuuntainen etäisyys n kuvapistettä. Käytännössä olisi kuitenkin edullista, että ennustettava ja ennustava kuvapiste olisivat mahdollisimman lähellä toisiaan, jolloin niiden 20 välinen korrelaatio olisi todennäköisimmin suurimmillaan.

Tämän perusteella olisi esimerkiksi lohkon P2 pystysuuntainen kuvapistesarake P2im hyvä ennustusarvo lohkon Pl sarakkeelle Plu . Kuvalohkosta P2 voidaan näin ollen aikaansaada toisinaan parempi ennustusarvo kääntämällä se 25 pystysuuntaisen keskiakselinsa ympäri peilikuvakseen.

6 9Π179

Vastaavasti voi kuvalohkon P4 ennustusarvo toisinaan kasvaa, kun se käännetään vaakasuuntaisen keskiakselinsa ympäri peilikuvakseen, vaikka tällöin osa kuvapisteistä etääntyykin toisistaan. Edellä mainitut käännöt voidaan 5 toteuttaa soveltamalla lohkoihin P2 ja P4 kuvapisteiden permutaatiota seuraavasti.

Merkitään kuvalohkojen P2 ja P4 permutoituja versioita vastaavasti viitemerkeillä T2 ja T4 sekä näiden kuva-pisteitä vastaavasti viitemerkeillä T2ti ja T4(j. Tällöin 10 kuvapisteille pätee (2) T2j j = P2j m+lj (3) Τ4μ = P4n+liJ.

Keksinnön mukaisen menetelmän edullisessa suoritusmuodossa tutkitaankin edellä esitetyn mukaisesti ensin kuvalohkojen 15 P2, P3 ja P4 soveltuvuus ennustuslohkoiksi. Tämän jälkeen suoritetaan kuvalohkoille P2 ja P4 edellä kuvattu permu-tointioperaatio ja tutkitaan permutoitujen lohkojen T2 ja T4 soveltuvuus ennustuslohkoiksi. Ennustuslohkoksi valitaan paras näistä viidestä vaihtoehdosta. Valittaessa 20 muunnettu kuvalohko T2 tai T4 ennustuslohkoksi lähetetään vastaanottimelle lisäksi tieto käytetystä muunnosoperaatiosta. Vastaanotossa suoritetaan tällöin sijaintitiedon perusteella haetulle kuvalohkoile vastaava muunnosoperaatio, minkä jälkeen näin saatu kuvalohko summataan kuva-25 piste kuvapisteeltä vastaanotettuihin sävyarvojen erotuksiin.

Mikäli yksikään vaihtoehdoista ei kuitenkaan täytä kaavan (1) ehtoa, otetaan ennustuslohkoksi jälleen sellainen kuvalohko PO, jossa kaikkien kuvapisteiden Ρ0(ϋ sävyar-30 vot ovat nollia, ja vastaanottimelle lähetetään erotusku-van lisäksi sijaintitieto, joka käsittää kyseisestä kuva-lohkosta ilmoittavan ennalta määrätyn koodisanan.

Sekä menetelmän perusmuodon että edellä kuvatun edullisen suoritusmuodon suorituskykyä voidaan edelleen 35 parantaa siten, että ennustuslohkoksi valitun kuvalohkon

II

7 90179 kuvapisteiden sävyarvoja skaalataan siten, että ne vastaavat entistä paremmin lähetettävänä olevan kuvalohkon kuva-pisteiden sävyarvoja. Skaalauksen jälkeen on siis kaavan (1) mukainen summa E entistä pienempi. Tieto käytetystä 5 skaalausoperaatiosta lähetetään vastaanottimelle, ja vastaanotossa suoritetaan tällöin vastaanotetun sijaintitiedon perusteella haetulle kuvalohkolle vastaava skaa-lausoperaatio. Tämän jälkeen summataan näin saatu kuvaloh-ko jälleen kuvapiste kuvapisteeltä vastaanotettuihin sävy-10 arvojen erotuksiin.

Kuviossa 2 on esitetty lohkokaaviona kooderi, jossa edellä kuvattua menetelmää sovelletaan. Kooderi käsittää ensinnäkin analogia-digitaalimuuntimen 2, jossa sisääntu-leva videosignaali muunnetaan digitaaliseen muotoon. Digi-15 taalisessa muodossa oleva signaali talletetaan kentittäin digitaali-analogiamuuntimen perään kytkettyyn kenttämuis- tiin 3. Lisäksi kooderi käsittää prosessorin 5, muistin 8, summauspiirit 4 ja 7 sekä muistin 8 ulostuloon sovitetun kytkimen 9. Kenttämuistin 3 ulostulo ja kytkimen 9 valit-20 sema muistin 8 ulostulo on kytketty summauspiirin 4 si-säänmenoihin, ja summauspiirin 4 ulostulo on puolestaan kytketty prosessorin 5 sisäänmenoon. Prosessorin ulostulo on kytketty sekä mahdollisten lisäkoodausasteiden (ei esitetty kuviossa) kautta linjalle että summauspiirin 7 25 ensimmäiseen sisäänmenoon. Summauspiirin 7 toiseen sisään menoon on kytketty kytkimen 9 valitsema muistin 8 ulostu lo. Summauspiirin 7 ulostulo on puolestaan kytketty muistin 8 sisäänmenoon.

Videosignaali 1 johdetaan analogia-digitaalimuunti-30 melle 2 ja siitä edelleen kenttämuistiin 3. Summauspiiris-sä 4 lasketaan lähetettävänä olevan kuvalohkon kuvapisteiden ja ennustuslohkoksi ehdolla olevan kuvalohkon kuvapisteiden sävyarvojen erotusten itseisarvojen summa edellä esitetyn kaavan (1) mukaisesti. Saatu summa johdetaan 35 prosessorille 5. Mikäli tämä summa on pienempi kuin asetettu vertailuarvo S, hyväksyy prosessori ehdolla olevan 8 90179 kuvalohkon mahdollisten ennustuslohkojen joukkoon. Näin käydään läpi kaikki ne kuvalohkot, joiden joukosta ennustus lohkoa haetaan. Asetetun ehdon täyttävistä lohkoista valitaan ennustuslohkoksi edellä kuvattuun tapaan se, 5 jolla kaavan (1) mukainen summa on pienin. Mikäli hyväksyttävää kuvalohkoa ei löydy, olettaa prosessori, että ennustuslohkon kaikkien kuvapisteiden sävyarvo on nolla. Prosessori 5 ohjaa muistin 8 ulostuloon sovitettua kytkintä 9, jolla valitaan saman kentän jo lähetetyn kuva-10 alueen sisältä ennustuslohkoksi ehdolle tulevat kuvalohkot. Kytkin voi olla myös ohjelmallisesti toteutettu. Vaihtoehtoisesti prosessori 5 voi käsitellä kaikki ennustuslohkoksi ehdolla olevat lohkot rinnakkaisesti. Saman kentän jo lähetettyä kuva-aluetta säilytetään muistissa 8, 15 jonka sisältöä täydennetään jatkuvasti lähetyksen edistyessä siten, että prosessorilta 5 tulevat lähetettävänä olevan kuvalohkon ja ennustuslohkoksi valitun kuvalohkon kuvapisteiden sävyarvojen erotukset, jotka summataan sum-mauspiirissä 7 kyseeseen tulevan ennustuslohkon kuvapis-20 teiden sävyarvoihin, ja näin saadut lähetettävän kuvalohkon kuvapisteiden todelliset sävyarvot talletetaan muistiin 8. Prosessorilta 5 saatava data 6 sisältää myös tiedon siitä, mistä ennustuslohko on löydettävissä. Data 6 johdetaan mahdollisten lisäkoodausasteiden kautta linjal-25 le.

Vastaanotossa käytettävän dekooderin rakenne on vastaavanlainen.

Vaikka keksintöä on edellä selostettu viitaten oheisen piirustuksen mukaiseen esimerkkiin, on selvää, 30 ettei keksintö ole rajoittunut siihen, vaan sitä voidaan muunnella monin tavoin edellä ja oheisissa patenttivaatimuksissa esitetyn keksinnöllisen ajatuksen puitteissa. Esim. kuvalohkojen keskinäisen vastaavuuden päättelemisessä voidaan käyttää erilaisia tapoja. Absoluuttisten ero-35 tusten summan sijasta voidaan laskea esim. neliöityjen erotusten summa.

Il

Claims (7)

9 9Π179

1. Menetelmä digitaalisesti koodatun videokuvan kompressoimiseksi lähetyksen yhteydessä, jossa menetelmäs-5 sä kuvainformaatio koodataan peräkkäisinä kuvalohkoina (PN), joista kukin koostuu n x m kuvapisteestä, ja kulloinkin lähetettävänä olevaa kuvalohkoa (Pl) verrataan ainakin yhteen aikaisemmin lähetettyyn, samankokoiseen kuva-alueeseen näiden keskinäisen vastaavuuden määrittämi- 10 seksi, tunnettu siitä, että kuvalohkoa (Pl) verrataan samaan kenttään sisältyvään kuva-alueeseen, ja - (i) mikäli löytyy ainakin yksi sellainen kuva- alue, joka täyttää ennalta määrätyn vastaavuusehdon, valitaan näistä kuva-alueista yksi lähetettävänä olevalle 15 kuvalohkolle ennustuslohkoksi, ja (ii) mikäli ennalta määrätty vastaavuusehto jää täyttymättä kaikkien vertailtavina olevien kuva-alueiden osalta, otetaan ennustuslohkoksi kuvalohko, jonka kaikkien kuvapisteiden sävyarvot ovat nollia, ja että 20. lähetettävänä olevasta kuvalohkosta ja ennustus- lohkosta lasketaan erokuva, ja vastaanottimelle lähetetään erokuva sekä ennustuslohkoa koskeva sijaintitieto, joka käsittää (ii) tapauksessa tietyn ennalta määrätyn koodisanan.

2. Patenttivaatimuksen 1 mukainen menetelmä, tun nettu siitä, että kuva-alueet valitaan saman kentän jo lähetettyjen kuvalohkojen (P2-P4) joukosta.

3. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että kuva-alueet valitaan liukuvasti 30 saman kentän jo lähetetystä alueesta.

4. Patenttivaatimuksen 2 tai 3 mukainen menetelmä, tunnettu siitä, että kuva-alueet valitaan alueelta, jonka rajaavat lähetettävänä olevan kuvalohkon (Pl) vieressä ylhäällä ja vasemmalla olevat kuvalohkot (P2-P4), 35 kun kuvaa lähetetään vasemmalta oikealle ja ylhäältä alas.

5. Patenttivaatimuksen 1 mukainen menetelmä, t u n - 10 9 Π1 7 9 n e t t u siitä, että kulloinkin lähetettävänä olevaa kuvalohkoa verrataan lisäksi mainitusta kuva-alueesta (P2; P4) muunnosoperaatiolla muunnettuun kuvalohkoon (T2; T4) , ja että valittaessa tällainen muunnettu kuvalohko (T2; T4) 5 ennustuslohkoksi lähetetään vastaanottimelle lisäksi tieto käytetystä muunnosoperaatiosta.

6. Menetelmä patenttivaatimuksen 1 mukaisella tavalla kompressoidun videokuvan vastaanottamiseksi, jossa menetelmässä kuvainformaatio vastaanotetaan peräkkäisinä 10 kuvalohkoina (PN), joista kukin koostuu n x m kuvapistees-tä, ja vastaanotettavaa kuvaa rekonstruoidaan vastaanottimen muistiin (8) vastaanoton edistyessä, tunnettu siitä, että vastaanotin etsii tästä muistista (8) kulloisenkin ennustuslohkon vastaanotetun sijaintitiedon pe-15 rusteella, ja mikäli sijaintitieto käsittää tietyn ennalta määrätyn koodisanan, ottaa vastaanotin ennustuslohkoksi lohkon, jonka kaikkien kuvapisteiden sävyarvot ovat nollia, ja että vastaanotin rekonstruoi vastaanotettavan kuvalohkon summaamalla kuvapiste kuvapisteeltä ennustus-20 lohkon ja vastaanotetun erokuvan sävyarvot yhteen.

7. Patenttivaatimuksen 6 mukainen menetelmä, tunnettu siitä, että siinä vastaanotetaan lisäksi tieto muunnosoperaatiosta, jonka avulla ennustuslohko (T2; T4) on muodostettu alkuperäisestä kuvalohkosta (P2; P4) lähe- 25 tyksen yhteydessä, ja että sijaintitiedon perusteella haetulle ennustuslohkolle suoritetaan vastaava muunnosoperaatio ennen mainittua summausta. il 90179