FI92272B - Kuvansiirtojärjestelmän tiivistyskoodausmenetelmä - Google Patents

Description

ς o ·'· Γΐ ο j L- / £.

KUVANSIIRTOJÄRJESTELMÄN TIIVISTYSKOODAUSMENETELMÄ

Keksinnön kohteena on patenttivaatimuksen 1 johdanto-osassa määritelty kuvansiirtojärjestelmän 5 tiivistyskoodausmenetelmä erityisesti tiivistyskoodauksen suorittamiseksi digitaalisessa kuvansiirtojärjestelmässä .

Ennestään tunnetaan vektorikvantisointi-menetelmä (vector quantization, VQ) kuvan tiivistyskoo-10 daamiseksi. Vektorikvantisointimenetelmää on käsitelty laajasti viitejulkaisussa /1/. Vektorikvantisointi-menetelmässä lähetettävä kuva jaetaan lohkoihin ja jokaiselle lohkolle etsitään vektorikirjastosta sitä lohkoa parhaiten vastaava esitysvektori. Tämän esitys-15 vektorin vektori-indeksi eli paikka vektorikirjastossa lähetetään siirtotielle. Vastaanottajapäässä esitysvek-torin vektori-indeksin perusteella poimitaan vastaavanlaisesta vektorikirjastosta asianomainen vektori. Lähetetty kuva rekonstruoidaan lohko lohkolta näiden esi-20 tysvektoreiden avulla. Vektorikirjasto muodostetaan etukäteen harjoituskuvien avulla käyttäen sopivaa vektorikir jaston muodostusalgoritmia. Harjoituskuvat on vastaavalla tavalla pilkottu käytettyyn lohkokokoon vektorikirjastoa muodostettaessa.

25 Vektorikvantisointimenetelmän haittana on ra joitettu lohkokoko. Menetelmän tehokkuus perustuu siihen tosiasiaan, että kaikki tilastolliset riippuvuudet lohkon sisällä otetaan huomioon. Lohkorajojen ylittävät riippuvuudet eivät tule huomioonotetuksi. Tavanomaises-30 sa vektorikvantisointimenetelmässä ison mittakaavan riippuvuuksia voidaan hyödyntää suuren kuvainformaation tiivistymisasteen saavuttamiseksi vain käyttämällä suurta lohkokokoa. Lohkokoon suurentaminen vuorostaan johtaa vektorikirjaston eksponentiaaliseen kasvuun, 35 mikäli kuvan laatu pidetään vakiona. Samalla kasvaa myös tehtävien vertailujen lukumäärä parhaan esitysvek-torin löytämiseksi vektorikirjastosta. Näin ollen vek- 2 Q 9 r 7 0 y £ <- / δ.

torikvantisointimenetelmä muodostuu helposti epäkäytännölliseksi ja laskenta-aikaa vaativaksi, kun käytetään suuria lohkokokoja. Tavallisesti lohkon koko on rajoitettu korkeintaan 4x4 pikseliin, jolloin suuri 5 osa lohkojen välisistä tilastollisista riippuvuuksista jää tällä menetelmällä hyödyntämättä.

Lohkojen koko-ongelma vektorikvantisoinnissa on kaksitahoinen. Toisaalta vektorikirjaston suuri koko itsessään aiheuttaa ongelmia tallennuskapasiteetin 10 suhteen. Toisaalta tietojenkäsittelyaika lohkoa vastaavan esitysvektorin löytämiseksi kasvaa helposti liian pitkäksi. Useita vektorikvantisointimenetelmien muunnoksia on kehitetty näiden ongelmien ratkaisemiseksi.

Eräässä modifioidussa vektorikvantisointimene-15 telmässä, ns. puuhakuvektorikvantisointimenetelmässä (tree search VQ) käytetään binääristä hakumenettelyä parhaan esitysvektorin löytämiseksi ja näin pyritään pienentämään esitysvektorin hakuaikaa. Kuvan laadun kannalta tällä menetelmällä ei päästä aivan niin hyviin 20 tuloksiin kuin tavanomaisella vektorikvantisointimene- telmällä.

Eräässä toisessa modifioidussa vektorikvan-tisointimenetelmässä ns. kaskadivektorikvantisointi-menetelmässä käydään käsiksi suoraan tavanomaisen vek-25 torikvantisointimenetelmän pääongelmaan eli lohkoko- • koon. Tässä menetelmässä käytetään suhteellisen suurta lohkokokoa suuren mittakaavan korrelaatioiden hyödyntämiseksi. Vektorikirjastot ovat kuitenkin kohtuullisen kokoisia ja näin ne ovat helposti käsiteltäviä. Tästä 30 johtuvaa huonoa kuvan tarkkuutta pyritään kompensoimaan siten, että menetelmässä käytetään perättäisiä koodaus-vaiheita. Kussakin myöhemmässä vaiheessa aikaisemman vaiheen koodivirhe kvantisoidaan. Epäkohtana on, että perättäisten esitysvektorien välillä mahdollisesti ovat 35 korrelaatiot menetetään.

Eräässä kolmannessa modifioidussa vektorikvan-tisointimenetelmässä, joka on edellä esitetystä kaska- 3 Q r-70 J /L. ^ ! £_ divektorikvantisointimenetelmästä kehitetty muunnos, lohkokokoa muutetaan ensimmäisestä koodausvaiheesta toiseen siirryttäessä. Koodivirhe, joka sisältää kuvan yksityiskohtia, koodataan käyttäen hyväksi osalohkoja.

5 Tällä menetelmällä vektorikirjaston niiden esitysvekto-rien lukumäärää, jotka tarvitaan pienten yksityiskohtien esittämiseen, voidaan merkittävästi pienentää, kun käsitellään pieniä lohkoja.

Eräässä neljännessä modifioidussa vektorikvan-10 tisointimenetelmässä ns. luokitellussa vektorikvan-tisointimenetelmässä (classified VQ), lohkot luokitellaan ennen koodausta. Luokittelu perustuu kuvan paikallisiin piirteisiin. Tämä parantaa erityisesti reunavii-vojen esittämistä, minkä on havaittu toteutuvan suh-15 teellisen huonosti tavanomaisessa vektorikvantisointi-menetelmässä. Kullekin lohkoluokalle on olemassa erillinen vektorikirjasto. Suhteellisen pieni vektorikir-jasto riittää, koska lohkot ovat luonteeltaan enemmän tai vähemmän samankaltaisia kussakin luokassa. Lohkojen 20 välisiä korrelaatioita voidaan jonkin verran hyödyntää, jos luokitteluprosessissa ei rajoituta lohkon alueelle.

Eräässä viidennessä modifioidussa vektorikvan-tisointimenetelmässä, ns. äärellisten tilojen vektori-kvantisointimenetemässä (finite state VQ) lohkojen 25 välisiä korrelaatioita voidaan hyödyntää edellä mainittuun luokitteluun perustuen. Tällöin lohkon luokka määritellään lohkokokoa isomman kuva-alueen sisällön avulla. Kuva-alueeseen kuuluu joukko toistensa lähellä olevia lohkoja, jotka on jo koodattu ja lähetetty.

30 Epäkohtana on, että luokitteluvirheet saattavat heikentää kuvassa esiintyvien reunaviivojen koodaustulosta.

Eräässä kuudennessa modifioidussa vektorikvan-tisointimenetelmässä ns. osoitevektorikvantisointi-menetelmässä, (address VQ) käytetään hyväksi lohkoryh-35 mien vektori-indeksien yhteisjakautumaa. Erityiset esitysvektorit, jotka on talletettu ns. osoitevektori-kirjastoon, on varattu vektori-indeksien todennäköisim- 4 Q O ·':· 7 o S t- t- / £- mille yhdistelmille. Kaikilla muilla kombinaatioilla vektori-indeksit lähetetään erikseen. Osoitevektorikir-jastoa päivitettäessä käytetään hyväksi rinnakkaisten lohkojen vektori-indeksien eri yhdistelmien havaittuja 5 esiintymistodennäköisyyksiä. Osoitevektorikirjasto muo dostetaan vääristymättömänä jälkikoodaustapahtumana tavanomaisen vektorikvantisointikoodauksen päälle ja tulokseksi saadaan samanlainen kuvanlaatu normaalia vektorikvantisointia alhaisemmilla bittinopeuksilla.

10 Keksinnön tarkoituksena on tuoda julki uusi kuvansiirtojärjestelmän tiivistyskoodausmenetelmä, jolla tavanomaista vektorikvantisointimenetelmää hait-taava rajoitetun lohkon ongelma voidaan ainakin osittain välttää. Keksinnön tarkoituksena on edelleen saada 15 aikaan uusi tiivistyskoodausmenetelmä, jonka avulla pyritään välttämään modifioituihin vektorikvantisointi-menetelmiin liittyviä ongelmia.

Keksinnön mukaiselle menetelmälle on tunnusomaista se, mitä on esitetty patenttivaatimuksessa 20 1.

Keksinnön mukaisessa kuvansiirtojärjestelmän tiivistyskoodausmenetelmässä, erityisesti tiivistyskoodauksen suorittamiseksi digitaalisessa kuvansiirtojärjestelmässä, käytetään hyväksi vektorikvantisointi-25 menetelmää, jossa kuva jaetaan lohkoihin lähetyspäässä * ja jokaiselle lohkolle etsitään vektorikirjastosta sitä lohkoa parhaiten vastaava esitysvektori, jonka vektori-indeksi eli paikka vektorikirjastossa lähetetään vas-taanottopäähän, jossa indeksin perusteella poimitaan 30 identtisestä vektorikirjastosta asianomainen esitysvek tori ja kuva rekonstruoidaan lohko lohkolta esitysvek-torien avulla, joka vektorikirjasto muodostetaan etukäteen harjoituskuvien avulla, jotka kuvat on vastaavalla tavalla jaettu käytetyn lohkokoon mukaisiin lohkoihin.

35 Keksinnön mukaisesti menetelmässä: - lähetyspäässä koodattava lohko jaetaan neljännesloh-koihin eli osalohkoihin; 5 w V ' / o S έ-ί- t £.

- kullekin osalohkolle suoritetaan vektorikvantisointi, jossa käytetään luokiteltua vektorikirjastoa, jonka luokka määräytyy alkuperäisen lohkon vektori-indeksin ja osalohkon paikkaindeksin perusteella; 5 - osalohkon vektori-indeksi tämän luokitellun vektori- kirjaston suhteen lähetetään vastaanottopäähän; - vastaanottopäässä käytetään luokiteltua vektorikir-jastoa, joka valitaan siirretyn alkuperäisen lohkon vektori-indeksin ja osalohkon paikkaindeksin perus- 10 teella; - vastaanottopäässä valitusta luokitellusta vektorikir-jastosta, joka on identtinen lähetyspäässä luokitellun vektorikirjaston kanssa, asianomainen esitysvek-tori poimitaan lähetetyn osalohkon vektori-indeksin 15 perusteella, jolloin osalohkolle saadaan rekonstruk tio; ja jossa menetelmässä kutakin luokiteltua vektorikirjastoa muodostettaessa harjoituskuva-aineistona käytetään asianomaiseen luokkaan kuuluvaa osaa alkuperäisestä 20 harjoituskuva-aineistosta eli niitä neljänneslohkon kokoisia harjoituskuvajoukon osalohkoja, jotka saavat kirjaston luokkaa vastaavan luokitteluindeksin, kun edellä esitettyä menetelmää sovelletaan harjoituskuva-joukkoon itseensä.

25 Keksinnön mukaisessa menetelmässä vektorikvan- • tisointia sovelletaan peräkkäin alkaen sopivasti vali tusta lohkokoosta ja edeten sen neljänneslohkoihin. Jälkimmäisessä vaiheessa suoritettu vektorikvantisointi hyödyntää suuremmassa lohkokoossa jo koodattua infor-30 maatiota ns. luokittelun avulla. Luokan määräävänä indeksinä käytetään ensimmäisen kvantisoinnin tuloksena saatua vektori-indeksiä sekä neljänneslohkon paikkain-deksiä.

Keksinnön eräässä sovellutuksessa neljännes-35 lohko eli osalohko jaetaan edelleen neljännesosalohkoi-hin ja nämä edelleen samalla periaatteella yhä pienempiin lohko-osiin, jossa kukin neljännesosalohko ja 6 o o π o S / £.

lohko-osa koodataan luokitellulla vektorikirjastolla, jossa luokittelijoina ovat kyseisen neljännesosalohkon tai lohko-osan niiden kaikkien emolohkojen vektori-indeksit, joihin koodattava neljännesosalohko tai loh-5 ko-osa kuuluu ja kyseisen neljännesosalohkon tai lohko-osan sekä mainittujen emolohkojen paikkaindeksit ja jossa luokitellut vektorikirjastot muodostetaan etukäteen edellä esitettyyn tapaan.

Edellä esitetyssä menetelmäsovellutuksessa 10 vektorikvantisointia sovelletaan edeten sopivasti valitusta lohkosta, so. lohkokoosta, sen neljänneslohkoi-hin, näiden neljänneslohkoihin jne. haluttuun syvyyteen asti. Kullakin lohkotasolla suoritetaan vektorikvanti-sointi, jossa hyödynnetään suuremmassa lohkokoossa jo 15 koodattua informaatiota luokittelun avulla, jossa luokan määräävinä indekseinä käytetään aikaisempien kvan-tisointien tuloksina saatuja vektori-indeksejä sekä vastaavia paikkaindeksejä. Koodausta jatketaan haluttuun syvyyteen asti niin pitkälle kuin käytettävissä 20 oleva siirtokanavan bittinopeus sallii tai kun kuvan laatu muutoin on riittävä. Keksinnön mukaisessa hierar-kisessa luokitellussa vektorikvantisointimenetelmässä kuva siis tarkentuu vaiheittain suhteellisen pienen lisäinformaation avulla.

25 Menetelmän eräässä sovellutuksessa ennen kuta- * kin keksinnölle ominaista kuvalohkon neljänneslohkoja- koa suoritetaan kuvalohkon rekonstruointi siihen asti koodatun informaation perusteella ja muodostetaan kuva-lohkon ja rekonstruoidun kuvalohkon välinen erotus, 30 joka erolohko siis sisältää viimeksi suoritetun koo-dausvaiheen koodausvirheet, ja sovelletaan keksinnön mukaista menetelmää kuvalohkon sijasta näin muodostettuun erolohkoon. Erolohko jaetaan neljänneslohkoihin, jotka vektorikvantisoidaan hyödyntämällä suuremmassa 35 lohkokoossa jo koodattua informaatiota luokittelun avulla. Luokitellut vektorikirjastot muodostetaan keksinnön mukaisen menetelmän tavoin käyttämällä harjoi-

II

q o ·' 7 o J /-ί- i ά.

tusaineistona niitä erolohkon osalohkoja, jotka saavat vastaavat luokitteluindeksit kuin koodattava erolohkon osalohko, kun menetelmää sovelletaan harjoituskuvajoukkoon itseensä.

5 Edellä esitetyn sovellutuksen etuna on, että erosignaali on kompaktimpi eli erolohkon sisältämät arvot vaihtelevat rajoitetummalla alueella kuin varsinaiset kuvasignaalin arvot, mikä tehostaa koodausta. On kuitenkin todettava, että suuremmassa lohkokoossa koo-10 dattu informaatio kuvaa huonommin erolohkon ominaisuuksia, minkä vuoksi keksinnön mukaiselle menetelmälle ominaisen luokittelun hyöty ja koodauksen tehokkuus pienenevät. Erosignaalia koodaavan sovellutuksen toteutus on myös hieman monimutkaisempi.

15 Menetelmän eräässä sovellutuksessa ensimmäi sellä lohkotasolla koodausta tehostetaan poistamalla ennen koodauksen suorittamista kuvan kunkin lohkon sisältämien kuvapisteiden harmaasävyarvojen keskiarvo ja lähettämällä keskiarvo erikseen lähetyspäästä vas-20 taanottopäähän.

Menetelmän eräässä sovellutuksessa kuvalle suoritetaan lähetyspäässä alipäästösuodatus ja näin suodatettu kuva lähetetään erikseen vastaanottopäähän, ja vain kuvan suurtaajuuskomponenttiin eli alkuperäisen 25 kuvan ja alipäästösuodatetun kuvan erokuvaan sovelletaan jotain edellä esitettyä menetelmää tai sen sovellutusta. Matalataajuuskomponentti sisältää kuvan tärkeimmän osan ja sen siirtämiseksi tarvitaan vähän informaatiota ja vähän kanavakapasiteettia. Näin kuvan 30 lohkoisuus vähenee erityisesti "sileillä" alueilla, so. alueilla, jotka sisältävät vähän muutoksia.

Menetelmän eräässä sovellutuksessa osalohkojen ja mahdollisesti niitä pienempien lohko-osien koodaamisessa käytettyjen vektorikirjastojen kokoa vaihdellaan 35 tapauskohtaisesti koodatun lohkon kuvasisällön perusteella siten, että vähän yksityiskohtia sisältävien lohkojen koodauksessa käytetään pienempiä vektorikir- 8 Ο O 7 o s / 2.

jastoja kuin paljon yksityiskohtia sisältävien lohkojen koodauksessa, jolloin tieto vektorikirjaston koosta lähetetään lisäinformaationa.

Menetelmän eräässä sovellutuksessa osalohkojen 5 ja mahdollisesti niitä pienempien lohko-osien koodaamisessa käytettyjen vektorikirjastojen kokoa vaihdellaan koodatun lohkon kuvasisällön perusteella siten, että vähän yksityiskohtia sisältävien lohkojen koodauksessa käytetään pienempiä vektorikirjastoja kuin paljon yksilö tyiskohtia sisältävien lohkojen koodauksessa, ja vekto-rikirjaston koko määritetään kiinteästi luokitteluin-deksin perusteella. Tällöin ei lähetetä lisäinformaatiota, vaan valinta tapahtuu automaattisesti.

Keksinnön eduista toteamme seuraavaa. Keksin-15 nön mukaisessa menetelmässä hyödynnetään kuvassa esiintyviä suuren mittakaavan korrelaatioita. Tämä perustuu sopivasti valittuun suureen aloituslohkokokoon. Menetelmä on lisäksi tarkkuudeltaan muunneltavissa halutulla tavalla, koska kuva koodataan useassa vaiheessa 20 alkaen suhteellisen suuresta lohkosta, joka perättäi-sesti jaetaan yhä pienempiin lohko-osiin. Mitä useampia lohko-osia koodataan sitä tarkemmaksi kuva tällä alueella saadaan. Edelleen keksinnön etuna on, että se on erittäin tehokas ja tulokseksi saadaan subjektiivisesti 25 arvioituna laadultaan hyvä kuva. Edelleen keksinnön etuna on, että menetelmää on suhteellisen helppo soveltaa ja sillä päästään alhaisiin siirtonopeuksiin.

Seuraavassa keksintöä ja sen muita etuja selostetaan oheiseen piirustukseen viittaamalla, jossa 30 kuva 1 esittää kaaviomaisesti vektorinkoodausmenetel-mää; j a kuvat 2a, 2b ja 2c esittävät kaaviomaisesti kuvan lohkon jakamista lohko-osiin keksinnön mukaisessa tiivis-tyskoodausmenetelmässä; 35 kuva 3 esittää lohkokaaviona erästä keksinnön mukaisen tiivistyskoodausmenetelmän mukaista kooderia; kuva 4 esittää vastaavasti dekooderia; ja

II

9 G O n n o S έ- i- / Δ.

kuva 5 esittää toista keksinnön mukaisen tiivistyskoo-dausmenetelmän mukaista kooderia.

Vektorikvantisoinnin periaatetta on havainnollistettu kuvan 1 lohkokaaviolla. Kameralta, kuten vi-5 deokameralta, saatu kuva 1 tallennetaan kuvamuistiin 2. Kuva 1 on muodostettu n x m kuva-alkiosta eli pikselis-tä (n, m = kokonaisluku). Sopivan käsittely-yksikön 3 avulla kuvamuistiin 2 tallennettu kuva 1 jaetaan lohkoihin 4 eli vektoreihin. Tyypillinen lohkon 4 koko on 10 4x4 pikseliä. Kukin pikseli sisältää harmaasävytiedon ennalta määrätyllä harmaasävyasteikolla. Käsittely-yksikössä 3 kullekin kuvan lohkolle 4 etsitään sitä parhaiten vastaava esitysvektori 7a vektorikirjasto-muistiin 5 tallennetusta vektorikirjastosta 6. Vektori-15 kirjasto 6 on laadittu etukäteen harjoituskuvien avulla käyttäen sopivaa vektorikirjaston muodostusalgoritmia esim. ns. LBG-algoritmiä /2/. Esitysvektorin 7a järjestysluku a vektorikirjastossa 6 eli vektori-indeksi lähetetään siirtokanavan 8 kautta lähetysyksiköstä A 20 vastaanottoyksikköön B.

Kuva rekonstruoidaan vastaanottoyksikön B kuvamuistiin 9 hakemalla kuvankäsittely-yksikön 10 avulla vektori-indeksin a mukainen esitysvektori 7a vektorikirjaston muistiin 11 tallennetusta vektorikir-25 jastosta 12. Kun kaikki kuvaan 1' kuuluvat lohkot 4' on saatu koottua esitysvektoreina kuvamuistiin 9, se voidaan esittää monitorilla.

Keksinnön mukaisessa kuvansiirtojärjestelmän tiivistyskoodausmenetelmässä käytetään hyväksi edellä 30 esitettyä vektorikvantisointimenetelmää. Tätä on havainnollistettu kuvan 3 lohkokaaviolla. Lohkon kooksi valitaan suurempi lohkokoko kuin tavanomaisessa vekto-rikvantisoinnissa. Tyypillisesti lohkon 13 (vrt. kuva 2a) koko on esim. 8x8 pikseliä. Lohko koodataan en-35 simmäisessä vaiheessa ensimmäisessä osakooderissa 16 sellaisen ensimmäisen vektorikirjaston 17 avulla, jossa on suhteellisen pieni esitysvektorikanta. Ensimmäisiä

G 9 ·' 7 O

S i L· 10 esitysvektoreita 18 on esim. 64 kappaletta. Esitysvek-torin 18 koko vastaa lohkon 13 kokoa ja on esim. 8x8 pikseliä. Tämä merkitsee sitä, että kuva voidaan hahmottaa tässä koodausvaiheessa ainoastaan karkeasti eli 5 ainoastaan kuvan pientaajuisten komponenttien sisältämät peruspiirteet voidaan tunnistaa.

Lohkot 13 jaetaan seuraavassa vaiheessa nel-jänneslohkoihin 14 eli osalohkoihin 14A’, 14B', 14C ja 14D', kuten kuvassa 2b on havainnollisesti esitetty.

10 Kunkin osalohkon 14 koko on tällöin esim. 4x4 pikseliä. Kukin osalohko 14 koodataan toisessa osakooderissa 19 toisen vektorikirjaston 20, joka muodostuu joukosta luokiteltuja vektorikirjastoja, avulla käyttäen luokittelijana alkuperäisen lohkon 13 vektori-indeksiä i ja 15 osalohkon 14 paikkaindeksiä A', B', C, D' eli sijaintia alkuperäisen lohkon 13 sisällä. Osalohkon 14 koodaamiseen käytetään siis luokiteltujen vektorikirjasto-jen 20 joukosta sitä, joka määräytyy alkuperäisen lohkon 13 kunkin neljänneksen 14 paikkaindeksin ja kunkin 20 alkuperäisen lohkon 13 vektori-indeksin i perusteella. Alkuperäisen lohkon 13 avulla löydetty ensimmäinen esitysvektori 18 määrittelee kuvan karkeat piirteet sen kussakin lohkossa ja toiset esitysvektorit 21 toisista vektorikirjastoista 20 tarkentavat kuvaa osalohkojen 14 25 osalta. Toisen esitysvektorin 21 koko vastaa osalohkon * 14 kokoa ja on esim. 4x4 pikseliä. Suhteellisen vähän lisäinformaatiota tarvitaan näin ollen kuvan yksityiskohtien koodaamiseen, sillä luokitellussa vektorikir-jastossa 20 riittää suhteellisen pieni lukumäärä esi-30 tysvektoreita.

Keksinnön mukaista menetelmää voidaan soveltaa edelleen ottamalla seuraavassa vaiheessa edellä esitetyssä koodausprosessissa saadut osalohkot 14A', 14B', 14C ja 14D' uudeksi alkulohkoksi ja toistamalla esi-35 tetty menettely kunkin osalohkon 14 neljänneslohkoille 15A, 15B, 15C ja 15D (kuva 2c). Kukin näistä uusista osalohkoista 15 sisältää tällöin esim. 2x2 pikseliä.

li 11 92172

Pienet lohko-osat 15 koodataan kolmannessa osakooderis-sa 22 vektorikvantisointimenetelmää käyttäen siten, että kolmannesta vektorikirjastosta 23, joka muodostuu joukosta luokiteltuja vektorikirjastoja, etsitään 5 sopiva kolmas esitysvektori 24. Alkuperäisen (esim. 8 x 8 pikselin) lohkon 13 ja sen (esim. 4x4 pikselin) osalohkon 14, johon uudet lohko-osat 15A, 15B, 15C ja 15D kuuluvat, vektori-indeksit i, j yhdessä lohko-osan 15 ja osalohkon 14 paikkaindeksien kanssa määräävät 10 mitä kyseisistä kirjastoista 23 käytetään esitysvekto-rin 23 löytämiseksi. Nämä luokitteluindeksit sisältävät kaiken sen informaation, joka on tähän vaiheeseen mennessä saatu eristetyksi lohkon kuvasisällöstä. Kukin kolmas vektorikirjasto 23 sisältää suhteellisen pienen 15 lukumäärän esitysvektoreita, joiden lukumäärä on yleensä rajoitetumpi kuin edellisessä koodaustasossa käytettyjen vektorikirjastojen 17, 20 koko. Näin saadaan toteutetuksi hierarkinen koodausmenettely, jossa kuvan alkuperäiset suhteellisen suuret lohkot voidaan esittää 20 vaiheittain kasvavalla tarkkuudella.

Lähetyspäässä koodattu ja edelleen siirtotielle lähetetty kuva kootaan vastaanottopäässä yksinkertaisella käänteisellä dekoodausmenetelmällä, joka on esitetty lohkokaaviona kuvassa 4. Vastaanottopään yh-25 distetty vektorikirjasto 24 sisältää identtiset lähe-tyspään vektorikirjastoihin 17, 20, 22 nähden identtiset vektorikirjastot. Kuvan varsinaiseen kokoamiseen käytetään alimman tason vektorikirjastojen 23 esitysvektoreita 23. Kuva kootaan lohko kerrallaan rekonst-30 ruointiyksikössä 25 ja siirretään eteenpäin kuvan kokoamiseksi lohkoista kuvaksi sinänsä tunnetulla tavalla. Kunkin esitysvektorin 23 määrää täysin sen oma vektori-indeksi k luokitteluvektori-indeksin j, i ilmaisemassa vektorikirjastossa. On huomattava, että ainoastaan 35 hierarkiset vektori-indeksit i, j täytyy lähettää; neljännesten tunnukset eli paikkaindeksit määräytyvät automaattisesti kooderin ja dekooderin välisestä synk- 12

Q O r' 7 O

7 L / £.

ronoinnista. Vektori-indeksi, joka lähetetään tietyllä tasolla, on yhteinen sen neljälle osalohkolle ja kaikille niitä seuraaville lohko-osille.

Kuvissa 3 ja 4 esitetään katkoviivoin merki-5 tyissä lohkoissa koodauksen ja dekoodauksen tehostamista keskiarvoistamisen avulla. Lähetyspäässä (kuva 3) ensimmäisellä lohkotasolla esim. 8x8 pikselin alkulohkojen keskiarvo iti lasketaan keskiarvoistusyksikössä 26 ja se vähennetään kustakin lähetettävästä lohkosta 10 erotusyksikössä 27. Keskiarvolla tarkoitetaan kunkin lohkon sisältämien kuvapisteiden harmaasävyjen keskiarvoa. Keskiarvo Hi lähetetään lukuarvona siirtotielle ja edelleen vastaanottopäähän. Lohkojen erotus eli jään-nöslohkot koodataan ja vastaavasti dekoodataan keksin-15 nön mukaisella menetelmällä. Vastaanottopäässä (kuva 4) keskiarvon mukainen lohko rekonstruoidaan keskiarvoloh-kon rekonstruointiyksikössä 30 ja se summataan sum-mausyksikössä 29 dekoodattuna jäännöslohkoon.

Eräs keksinnön mukainen tiivistyskoodaus-20 menetelmän sovellutus on esitetty kuvassa 5. Tässä sovellutuksessa ennen kutakin keksinnölle ominaista kuvalohkon neljänneslohkojakoa (vert. kuvat 2a, 2b, 2c) suoritetaan kuvalohkon rekonstruointi osakooderissa 16, 19 siihen asti koodatun informaation perusteella. Kuva-25 lohkon ja rekonstruoidun kuvalohkon välinen erotus eli erotuslohko muodostetaan erotusyksikössä 28, 29. Ero-lohko siis sisältää viimeksi suoritetun koodausvaiheen koodausvirheet. Erolohkoon sovelletaan keksinnön mukaista menetelmää edellä esitetyllä tavalla kuvalohkon 30 sijasta. Kuvassa 5 kooderin eri yksiköistä on käytetty samoja viitenumerolta kuin aiemmin kuvan 3 yhteydessä. Dekoodaaminen toteutetaan vastaanottopäässä periaatteessa käänteisenä toimenpiteenä koodausprosessiin nähden.

35 Keskiarvoistamista voidaan soveltaa myös edel lä esitettyyn keksinnön mukaiseen menetelmään, kuten : kuvasta 5 käy ilmi. Keskiarvoistusyksikkö 26 ja ero-

II

o O '' -7 o J Li- i 13 tusyksikkö 27 on sovitettu koodausjärjestelyyn ennen varsinaista edellä esitetyn menetelmän mukaista koodaus järjestelyä . Dekoodaus toteutetaan periaatteessa samalla tavalla kuin kuvan 4 sovellutuksessa.

5 Tavanomaisessa vektorikvantisointimenetelmässä vektorikirjasto muodostetaan käyttämällä tilastollisesti edustavien harjoituskuvien laajaa joukkoa. Yleisesti tunnettua LBG-algoritmia voidaan käyttää vektorikir-jastoa muodostettaessa. Keksinnön mukaisessa tiivistys-10 koodausmenetelmässä vektorikirjastot 17, 20, 23 muodostetaan hierarkisesti etenemällä siten, että kutakin luokiteltua kirjastoa muodostettaessa harjoituskuva-aineistona käytetään kyseiseen luokkaan kuuluvaa osaa alkuperäisestä harjoituskuva-aineistosta.

15 Ensimmäinen vektorikirjasto 17 muodostetaan ylimmälle tasolle tavanomaisella tavalla käyttäen alkuperäiseen lohkokokoon (esim. 8x8 pikseliä) jaettujen harjoituskuvien lohkojen joukkoa. Kukin vektorikirjas-toista 20 muodostetaan seuraavalla tasolla käyttämällä 20 alkuperäisten harjoituskuvien lohkoja, jotka koodataan ensimmäistä vektorikirjastoa käyttämällä ja ryhmitellään eri joukkoihin tulokseksi saatujen vektori-indeksien mukaisesti. Lohkot kussakin joukossa jaetaan tämän jälkeen neljään neljännekseen (eli osalohkoihin kuten 4 25 x 4 pikseliä) muodostamaan neljä erillistä osajoukkoa A’, B’, C, D*. Kullakin osajoukon A’-lohkon lohkolla on sama luokitteluvektori-indeksi ja paikkaindeksi. Näin saatuja osajoukkoja käytetään harjoitusaineistona kyseisille vektorikirjastoille 20.

30 Edellä esitettyä vektorikirjastojen muodostus- menettelyä voidaan jatkaa samalla tavalla jakamalla jo muodostetut harjoituskuvien osajoukot edelleen pienempiin osajoukkoihin luokittelemalla ne viimeksi saatujen vektorikirjastojen avulla ja jakamalla neljänneslohkoi-35 hin. Kutakin uutta osajoukkoa käytetään uuden vektori-kirjaston harjoitusaineistona seuraavaksi alemmalla tasolla.

0 0 ' 70 S / L· 14

Keksinnön mukaista tiivistyskoodausmenetelmää tarkastellaan seuraavassa analyyttisesti. Ensiksi määritellään, että alimman tason lohkoa kutsutaan peruslohkoksi ja sen kooksi oletetaan N x N pikseliä. Lohko-5 jen hierarkiatasoja merkitään indeksillä h. Tämä indeksi h voi olla välillä 1 (alin taso) ja L (ylin taso). Tason h (h = 1,..., L) lohko kuuluu lohko-osana seuraa-vaksi ylemmän tason h + 1 lohkoon. Kyseessä olevaa neljänneslohkoa merkitään tunnuksella ah, joka voi saada 10 minkä tahansa neljästä arvosta A’, B1, C ja D' (vert. kuva 2) .

Koodausprosessia harjoitetaan hierarkisesti. Tasolla h aikaisempien kvantisointi-indeksien ja paik-kaindeksien koko ketju on: 15 (1) ch = (iL; <*£,-!/ -ίχ,-χ/* · · ·; ja se muodostaa yhdistetyn luokitteluindeksin. Lohko-taso h vektorikvantisoidaan käyttäen luokan ch mukaista vektorikirjastoa. Tulokseksi saatu indeksi ih yhdessä luokitteluindeksin ch kanssa määrittää yhdistetyn vekto-20 ri-indeksin: (2) kh - (iL; βχ,.χ/ Il-i' · * ah> i-h) ' joka täysin määrää tämän tason koodaustuloksen. Tämä osalohkon yhdistetty vektori-indeksi ja seuraavaksi alemman tason neljänneksen paikkaindeksi toimivat jäl-25 leen luokittelijana c tälle alemman tason neljännekselle jne.

Oletetaan, että luokitellun vektorikirjaston koko tasolla h on I (so. i = 1,..., I ). Tällöin tarvi-taan b = log, (ϊ ) bittiä indeksin i_ arvon välittämi-30 seen lähetyspäästä siirtokanavan kautta vastaanotto-päähän. Kuten edellä todettiin neljänneslohko-osien paikkaindeksejä ei siirretä, koska ne tunnetaan lähe-

II

15 g o π o 7 L· / Δ.

tyspään koodausyksikön ja vastaanottopään dekoodausyk-sikön synkronoinnin perusteella. Lohkon vektori-indeksin i arvo tasolla h on yhteinen sen alalohkoille ja kaikille sitä seuraaville lohko-osille. Näin ollen koko 5 tiedonsiirtoprosessin bittinopeus alimmalle tasolle asti ilmaistuna bittien lukumääränä peruslohkoa kohti (N x N pikseliä) on: (3) r = bx + 4^2 + · · + —bL = Σ —ίττ-^Λ 1 4 2 4L l jU 4h-1 Λ

Koska vektori-indeksien ih kaikki arvot eivät ole yhtä 10 todennäköisiä, todellista informaation siirtonopeutta voidaan edelleen pienentää entropiakoodauksella. Entropia voidaan laskea olettamalla vektori-indeksin ih ilmaisemiseen tarvittavan koodisanan pituudeksi luokassa cw: n 15 (4) bh(kh) = -log2P(ih\ch) , jossa P(ih|ch) antaa (ehdollisen) todennäköisyyden vektori-indeksille L tässä luokassa. On huomattava, että Π kullakin tasolla lisäinformaatio, joka tarvitaan siirtämään lohkon vektori-indeksi, riippuu sekä indeksistä 20 itsestään että lohkon luokasta so. tämän lohkon koko yhdistetystä vektori-indeksistä kh.

Oletetaan, että kx on erään alimman tason lohkon yhdistetty vektori-indeksi. Tämän lohkon koko-naisinformaation määrä on tällöin: 25 (5) *.<*>) =*!<*!> * \b2ik2) * ... * j-LbL(kL) = £ -jij jossa kh nyt merkitsee indeksiä k rajoitettuna tasolle h asti (vrt. kaava 2). Keskimääräinen kokonaisbit-tinopeus (entropia) on silloin (6) 16 00070 S L· L- i L·

Re = ]Tmi)l?e(*i) .

ki

Alimman tason yhdistettyjen vektori-indeksien kx todennäköisyysjakautuma P(kx) voidaan estimoida indeksien esiintymistodennäköisyyksistä harjoituskuvajoukossa 5 tällä menetelmällä koodattuna.

Keksinnön mukainen tiivistyskoodausmenetelmä voidaan ymmärtää erityisenä luokitteluprosessina alkuperäisen kuvalohkon (esim. 8x8 pikseliä) sisällä, johon prosessiin on yhdistetty varsinainen koodausvaihe 10 eli alimman tason lohko-osien (esim. 4x4 tai 2x2 pikselin lohko-osat) kvantisointi. Keksinnön mukaisessa tiivistyskoodausmenetelmässä käytetään luontevasti hyväksi aikaisemmin saatuja kvantisointituloksia. Tarvetta ei ole etsiä mitään erityisiä kriteerejä eri 15 luokkien valitsemiseksi.

Keksinnön mukaisella tiivistyskoodausmenetel-mällä ja puuhakuun perustuvalla vektorikvantisointi-menetelmällä (tree search VQ) on samankaltaisia piirteitä. Puuhakuvektorikvantisointimenetelmässä peräk-20 käisten koodausten tulokset (puun oksat) määräävät seuraavassa vaiheessa käytettävän vektorikirjaston. Olennainen ero keksinnön mukaisen menetelmän ja mainitun puuhakumenetelmän välillä on, että puuhakumenetel-mässä lohkojen koko on kiinteä ja pysyy samana koko 25 koodausprosessin ajan, kun taas keksinnön mukaisessa menetelmässä kussakin vaiheessa siirrytään yhä pienempiin lohko-osiin koodauksen edetessä.

Puuhakuvektorikvantisointimenetelmässä pyritään etupäässä pitämään koodausaika kohtuullisena, 30 mutta siinä tarvitaan hyvin laajaa vektorikirjastoa, kun käytetään suurta lohkokokoa ja pyritään hyvään lopputulokseen eli korkealaatuiseen kuvaan. Keksinnön mukaisen menetelmän etuna on nopeus, joka saavutetaan n 17 Q 9r: n o y £. w / z.

hierarkiatasoihin perustuvalla koodauksella. Edelleen etuna on, että vektorikirjastojen esitysvektorien lukumäärät voidaan pitää kohtuullisena, mikä johtuu kuvan yksityiskohtien koodaamisesta hierarkiatasoittain pie-5 nenevillä lohkokoilla. Toisaalta voidaan todeta, että keksinnön mukaisessa tiivistyskoodausmenetelmässä käytetään hyväksi hyvän lopputuloksen saamiseksi myös kuvassa esiintyviä suuren mittakaavan korrelaatioita aloittamalla koodaus suuresta lohkokoosta.

10 Edellä keksintöä on selostettu lähinnä vain sen yhteen edulliseen sovellutusmuotoon viittaamalla, mutta on selvää, että keksintöä voidaan monin tavoin muunnella oheisten patenttivaatimusten puitteissa.

15

Viitejulkaisuja: /1/ H. Abut, ed., "Vector Quantization", IEEE Press, 20 1990.

/2/ Y. Linde, A. Buzo, R.M. Gray, "An Algorithm for

Vector Quantization for Image Coding", IEEE Trans. Comm., voi. COM-28, pp. 2301-2304, 1991.

Claims (7)

18 g o r π n ✓ L. / ^

1. Kuvansiirtojärjestelmän tiivistyskoodaus-menetelmä erityisesti tiivistyskoodauksen suorittami-5 seksi digitaalisessa kuvansiirtojärjestelmässä, jossa menetelmässä käytetään hyväksi vektorikvantisointimene-telmää, jossa kuva jaetaan lähetyspäässä lohkoihin ja jokaiselle lohkolle etsitään vektorikirjastosta sitä lohkoa parhaiten vastaava esitysvektori, jonka vektori- 10 indeksi eli paikka vektorikirjastossa lähetetään vas-taanottopäähän, jossa indeksin perusteella poimitaan identtisestä vektorikirjastosta asianomainen esitysvektori ja kuva rekonstruoidaan lohko lohkolta esitysvek-torien avulla, joka vektorikirjasto muodostetaan etukä- 15 teen harjoituskuvien avulla, jotka kuvat on vastaavalla tavalla jaettu käytetyn lohkokoon mukaisiin lohkoihin, tunnettu siitä, että menetelmässä: - lähetyspäässä koodattava lohko jaetaan neljännesloh-koihin eli osalohkoihin (14A', 14B', 14C ja 14D'); 20. kullekin osalohkolle suoritetaan vektorikvantisointi, jossa käytetään luokiteltua vektorikirjastoa (20), jonka luokka määräytyy alkuperäisen lohkon vektori-indeksin (i) ja osalohkon paikkaindeksin (A', B', C, D') perusteella; 25. osalohkon vektori-indeksi (j) tämän luokitellun vek torikir jaston (20) suhteen lähetetään vastaanottopää-hän; - vastaanottopäässä käytetään luokiteltua vektorikir-jastoa, joka valitaan siirretyn alkuperäisen lohkon 30 vektori-indeksin (i) ja osalohkon paikkaindeksin perusteella; - vastaanottopäässä valitusta luokitellusta vektorikir-jastosta (24), joka on identtinen lähetyspäässä luokitellun vektorikirjaston kanssa, asianomainen esi- 35 tysvektori poimitaan lähetetyn osalohkon vektori- indeksin perusteella, jolloin osalohkolle saadaan rekonstruktio; ja n G O n o -/ Δ. <_ / ^ 19 jossa menetelmässä kutakin luokiteltua vektorikirjastoa muodostettaessa harjoituskuva-aineistona käytetään asianomaiseen luokkaan kuuluvaa osaa alkuperäisestä harjoituskuva-aineistosta eli niitä neljänneslohkon ko-5 koisia harjoituskuvajoukon osalohkoja, jotka saavat kirjaston luokkaa vastaavan luokitteluindeksin, kun edellä esitettyä menetelmää sovelletaan harjoituskuva-joukkoon itseensä.

2. Patenttivaatimuksen 1 mukainen menetelmä, 10 tunnettu siitä, että osalohkot jaetaan edelleen neljännesosalohkoihin ja nämä edelleen samalla periaatteella yhä pienempiin lohko-osiin, jossa kukin neljän-nesosalohko ja lohko-osa koodataan luokitellulla vektorikir jastolla, jossa luokittelijoina ovat kyseisen 15 neljännesosalohkon tai lohko-osan niiden kaikkien emo-lohkojen vektori-indeksit, joihin koodattava neljän-nesosalohko tai lohko-osa kuuluu, ja kyseisen neljän-nesosalohkon tai lohko-osan sekä mainittujen emolohko-jen paikkaindeksit, ja jossa luokitellut vektorikirjas-20 tot muodostetaan etukäteen edellä esitettyyn tapaan.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että ennen kutakin keksinnölle ominaista kuvalohkon neljänneslohkojakoa suoritetaan kuvalohkon rekonstruointi siihen asti koo- 25 datun informaation perusteella ja muodostetaan kuvalohkon ja rekonstruoidun kuvalohkon välinen erotus, joka erolohko siis sisältää viimeksi suoritetun koodausvai-heen koodausvirheet, ja sovelletaan keksinnön mukaista menetelmää kuvalohkon sijasta näin muodostettuun ero-30 lohkoon.

4. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että ensimmäisellä lohkotasolla koodausta tehostetaan poistamalla ennen koodauksen suorittamista kuvan kunkin lohkon sisältämi- 35 en kuvapisteiden harmaasävyarvojen keskiarvo ja lähettämällä keskiarvo erikseen lähetyspäästä vastaanotto-päähän. 20 92272

5. Patenttivaatimuksen 1, 2 tai 3 mukainen menetelmä, tunnettu siitä, että kuvalle suoritetaan lähetyspäässä alipäästösuodatus ja näin suodatettu kuva lähetetään erikseen vastaanottopäähän, ja 5 että vain kuvan suurtaajuuskomponenttiin eli alkuperäisen kuvan ja alipäästösuodatetun kuvan erokuvaan sovelletaan patenttivaatimusten 1, 2 tai 3 mukaista menetelmää.

6. Jonkin edellä esitetyistä patenttivaatimuk-10 sista 1-5 mukainen menetelmä, tunnettu siitä, että osalohkojen ja mahdollisesti niitä pienempien lohko-osien koodaamisessa käytettyjen vektorikirjasto-jen kokoa vaihdellaan tapauskohtaisesti kuvan sisällön perusteella siten, että vähän yksityiskohtia sisältävi-15 en lohkojen koodauksessa käytetään pienempiä kirjastoja kuin paljon yksityiskohtia sisältävien lohkojen koodauksessa, ja että käytetyn vektorikirjaston koko lähetetään lisäinformaationa.

7. Jonkin edellä esitetyistä patenttivaatimuk-20 sista 1-5 mukainen menetelmä, tunnettu siitä, että osalohkojen ja mahdollisesti niitä pienempien lohko-osien koodaamisessa käytettyjen vektorikirjasto-jen kokoa vaihdellaan koodatun lohkon kuvasisällön perusteella siten, että vähän yksityiskohtia sisältävi-25 en lohkojen koodauksessa käytetään pienempiä vektori-kirjastoja kuin paljon yksityiskohtia sisältävien lohkojen koodauksessa, jolloin vektorikirjaston koko määritellään kiinteästi luokitteluindeksin perusteella. 21 92272