FI113930B - Menetelmä ja järjestely digitaalikuvien kompressoimiseksi - Google Patents

Description

1 113930

Menetelmä ja järjestely digitaalikuvien kompressoimiseksi

Keksinnön ala Tämä keksintö kohdistuu kuvien, erityisesti värikuvien kompres-5 sointitekniikkaan. Tämä keksintö kohdistuu myös videoiden tai minkä tahansa kuvainformaation kompressoimiseen. Keksintö kohdistuu erityisesti kuvien väri-informaation kompressoimiseen.

Keksinnön tausta 10 Digitaalinen värikuva muodostuu MxN pikselistä, joista kutakin on edelleen esitetty 24 bitillä joissakin standardeissa väriesityksissä, kuten RGB (katso kuvio 1). Kaiken tämän informaation siirtäminen tai tallentaminen vaatii MxNx24 bittiä. Mikäli kuva on kehys digitaalivideossa, jossa on 25 kehystä sekunnissa, vaatii siirto kaistan leveyden /Wx/\/x24x25 bittiä sekunnissa (bps).

15 Jopa pieni, kooltaan 160x120 pikseliä käsittävä kehys vaatii 11,5 Mbps ja on useimpien kiinteiden ja erityisesti kaikkien langattomien internet-yhteyksien kaistanleveyden ulottumattomissa. Kaikki videosekvenssit sisältävät kuitenkin paljon redundanssia ja niitä voidaan sen vuoksi kompressoida.

Kaikki videon ja kuvan kompressiotekniikat käyttävät toisaalta 20 olemassa olevia kehyksen sisäisiä ja kehysten välisiä korrelaatioita ja toisaalta tietoa ihmisen näköjärjestelmän rajoituksista. Korrelaatiot kuten liikkumat-tomat kohteet ja alueet, joissa on vakioväri, voidaan kompressoida häviöttä, koska näkymättömien yksityiskohtien huomiotta jättäminen on määritelmän ‘ mukaan häviötöntä. Lisäkompressio vaatii kompromisseja uudelleen tuotettu- : 25 jen kuvien yksityiskohtien tarkkuudessa ja väreissä.

; Tyypillisesti kuvan sisäiset korrelaatiot lasketaan jakamalla kuvat ; ["·. lohkoihin ja/tai käyttäen jotakin funktiomuunnosta kuten diskreettiä ko sinimuunnosta (DCT) tai diskreettiä aaltomuunnosta (DWT). Kuvalohkot voi-: *. . daan myös kompressoida käyttäen vektorikvantisointia (VQ) tai mitä tahansa , , 30 muuta tunnettua keinoa.

Väriesityksen taitava valinta värikuvissa ja videoissa voi alentaa visuaalisesti relevantin informaation puoleen. Tämä saavutetaan etsimällä ':: väriesitys, jossa todellinen väri-informaatio erotetaan värien kirkkaudesta, toi- , ·: ·. sin sanoen luminanssista. Esimerkkinä tästä on standardimuunnos RGB vä- * » ♦ .···, 35 riesityksestä YCrCb väriesitykseen, jossa Y edustaa luminanssia ja Cb ja Cr määrittävät yhdessä värin ts. krominanssin. Konversio RGB:stä YcrCb:hen 2 113930 tehdään käyttäen seuraavia yhtälöitä: Cr = 0,877*(R-Y) ja Cb = 0,493*(B-Y). Kuvio 2 esittää erästä YCrCb värikarttaa. Kompressio saavutetaan harhauttamalla silmää: ihmisen näköjärjestelmä on vähemmän herkkä värien yksityiskohdille kuin luminanssin yksityiskohdille ja väri-informaatio voidaan il-5 maista karkeammalla skaalalla kuin luminanssi. Jos väriresoluutio alennetaan puoleen molemmissa suunnissa (Cr ja Cb), alentaa se datan määrän MxNx24 bitistä MxNx8 + (M/2)x(M2)x8 + (Μ/2)χ(Λ//2)χ8 = MxNx 12 bittiin. Useimmat tunnetut kuvakompressiotekniikat käsittelevät komponenttia Y, Cr ja Cb erikseen.

10 Kompressoitujen videoiden hyvän visuaalisen laadun ylläpito on vain yksi mitä tahansa käytännön videokompressiotekniikkaa koskevista monista vaatimuksista. Kaupallisia tarkoituksia varten enkoodausprosessin pitäisi olla riittävän nopea, jotta helpotettaisiin suuren videosisältömäärän en-koodausta. Paitsi kehysten mahdollista alkupuskurointia tietokoneen muistiin 15 tapahtuu videon katselu tyypillisesti reaaliajassa vaatien videon reaaliaikaista dekoodausta ja toistoa. Kyseeseen tulevat alustat henkilökohtaisesta tietokoneesta PC henkilökohtaisiin digitaalisiin assistentteihin PDA ja jopa kolmannen sukupolven matkaviestimiin asettavat koodekkien muistinkäytölle ja tarvittavalle prosessointiteholle lisärajoituksia.

20 Nopea dekoodaus on vielä tärkeämpää nk. virtausvideon (strea- ... ming video) kohdalla, jota siirretään vastaanottimeen reaaliajassa samalla * Y kuin sitä katsellaan. Rajoitettu datasiirtokapasiteetti asettaa minimikompres- I · · ·;;; siosuhteen täysimittaisen videon streamaukselle. Tämä on sen vuoksi, että ’···* lähetettävän videon bittinopeuden täytyy pysyä kaiken aikaa käytettävissä 25 olevan kaistanleveyden sisäpuolella.

Useimmat videokompressiotekniikat käsittävät kaksi komponent- tia: videoiden kompressoinnissa käytettävän enkooderin ja dekooderin tai soittimen, joka imuroidaan ja asennetaan videoiden tulevien katselijoiden tie- ; v; tokoneisiin. Vaikkakin tämä imurointi täytyy tehdä jokaista soitinversiota var- 30 ten vain kerran, on kasvava mielenkiinto soitinvapaisiin virtausvideoratkaisui- ; hin, joka on kaikkien internetkäyttäjien ulottuvilla. Sellaisessa ratkaisussa siir- » · ’··* retään vastaanottavaan päähän pieni soitinsovellus yhdessä videovirran » kanssa. Tämän ylimääräisen informaation aiheuttaman odotusajan minimoi-.:·. miseksi pitäisi sovelluksen, toisin sanoen dekooderin, olla äärimmäisen yk- ,··. 35 sinkertainen.

3 113930 DCT-koodekki samoin kuin muut funktiomuunnoskoodekit vaativat kohtuuttoman raskaan dekoodausosan ollakseen sopivia monille PDA-lait-teille ja matkaviestimille ja yleensä soitinvapaille virtausvideoratkaisuille.

VQ-koodekki on suhteellisen kevyt ratkaisu, jolla on myös kevyt 5 dekoodauspuoli. VQ-vektoreiden koodikirjat täytyy kuitenkin opettaa ja VQ:n teho riippuu kompressiosuhteesta, kun halutaan säilyttää tietty kuvien laatu. Tavallisesti kompressiosuhde (tietyllä laatutasolla) riippuu koodikirjojen koosta: mitä suurempi on koodikirja sitä suurempi on suhde. Toisin sanoen suuren koodikirjan koon etu on parempi kuvanlaatu millä tahansa kiinteällä 10 kompressiosuhteella. Suuret koodikirjat vaativat jokseenkin suuren muistiavaruuden ja pitkittyneestä vektorin etsinnästä johtuvan pitkän enkoodaus-ajan, sekä pidemmän siirtoajan. Missä tahansa erityissovelluksessa näitä haittoja täytyy punnita suuremmilla koodikirjoilla aikaansaatua kuvanlaadun ja kompressiosuhteen hyötyihin nähden.

15 Kuten voidaan havaita, vaativat nykyiset kompressioratkaisut pa rannuksia erityisesti virtausvideon ja vastaanottoratkaisuiden kevyiden alustojen suhteen. Tämä saavutetaan patenttivaatimuksissa kuvatuin tavoin.

Keksinnön yhteenveto 20 Tämä keksintö muodostaa digitaalisten värikuvien ja videon ke vyen dekoodattavan kompressiotekniikan. Keksintö perustuu siihen ajatuk-v,‘ seen, että värikartassa määritellään aktiivinen värialue. Aktiivinen alue käsit- · tää kompressoitavan kuvan kaikki värit. Aktiivista aluetta varten muodoste- taan edelleen koordinaattijärjestelmä. Aktiivisen alueen värit voidaan kvanti-25 soida esimerkiksi käyttäen hilaa, jossa jokainen solmu edustaa solmun kvan-i tisoitavassa alueessa olevia värejä. Koska aktiivinen alue on pienempi kuin i][ : koko värikartta-alue, tarvitaan vähemmän bittejä indeksoimaan aktiivisella alueella olevat aktiiviset värit. Bittien säästö kasvattaa värien kompressiota ;*. . kuvaa kompressoitaessa. Kuvan väriarvot (krominanssi) kohdennetaan käyt-

• I

,··*, 30 täen aktiivisen värialueen indeksejä.

Keksinnön edullisessa suoritusmuodossa vektorikvantisointipro-sessi (VQ) sovitetaan toimimaan mieluusti aktiivisella värialueella. Kromi-nanssikoodikirja(t) opetetaan käyttäen kuvalohkoja aktiivisessa värikarttafor-. ; ·, maatissa. VQ-prosessi voidaan toteuttaa jokaiselle krominanssikomponentille , · · ·. 35 erikseen tai yhdistettynä niihin molempiin.

I I t 4 113930

Keksintö tyydyttää väri-informaation kompression parantamistarpeen millä tahansa kompressiosuhteella säilyttäen samalla hyvän värilaatu-aistimuksen, ja jossa dekoodauspuolella tarvitaan vain vähäistä prosessointi-tehoa.

5

Kuvioluettelo

Seuraavassa keksintöä selostetaan yksityiskohtaisemmin oheisten kuvioiden 1-12 avulla, joista 10 Kuvio 1 on esimerkki RGB-värikartasta,

Kuvio 2 on esimerkki YcrCb-värikartasta,

Kuvio 3 on esimerkki värien koodauksesta VQ:n mukaisesti,

Kuvio 4 on esimerkki värien koodauksesta VQ-hilan mukaisesti,

Kuvio 5 kuvaa kuvion 4 esimerkin kvantisoituja väriarvoja hilakvantisoinnin 15 jälkeen,

Kuvio 6 esittää kuvion 4 esimerkin hila-VQ-kvantisoituja pikseleitä,

Kuvio 7 on esimerkki keksinnön ideasta värikartta-alueen rajoittamiseksi alueelle, joka sisältää kaikki kuvassa olevat värit,

Kuvio 8 on esimerkki aktiivisella värialueella tehdystä hilakvantisoinnista, 20 Kuvio 9 on esimerkki mahdollisuuksista tehdä uusia aktiivisia alueita käyttäen alkuperäistä aktiivista aluetta,

Kuvio 10 on esimerkki akselista, jota käytetään pohjana aktiivisen alueen peilaukseen,

Kuvio11 on esimerkki vuokaaviosta, joka kuvaa keksinnön menetelmän 25 pääpiirteitä, ja ‘ ; Kuvio 12 on esimerkki keksinnönmukaisesta järjestelystä.

• *

Keksinnön yksityiskohtainen selostus

Kuvio 3 esittää värikoodausesimerkkiä VQ-mukaisesti YcrCb-väri-30 kartassa. Pisteet P1-P16 esittävät kuvan yhden lohkon (4*4 pikseliä) todelli-siä väriarvoja. Ristit C esittävät vektorikvantisoituja väriarvoja, toisin sanoen tn : 16 arvon koodivektoria. Koodivektori on lukuisten vastaavien lohkojen opetet- "' ‘: tu esitys, toisin sanoen koodivektori kvantisoi useita vastaavia lohkoja.

.···, Kuvio 4 esittää värien koodausesimerkkiä hilan VQ mukaisesti.

35 Ennen kuin todelliset krominanssiarvot vektorikvantisoidaan jaetaan värikart-ta hilaksi. Hilan jokainen solmu CL on kuvattu ristillä. Yksi solmu esittää kro- 5 113930 minanssiarvoja, jotka ovat lähinnä solmua. Tällä tavoin värit kvantisoidaan ennen vektorikvantisointia. Kuvio 5 esittää kuvion 4 esimerkin kvantisoituja väriarvoja CL1 hilakvantisoinnin jälkeen. Hilakvantisoidut arvot ovat alkuarvoja vektorikvantisoinnille. Kuvio 6 esittää kuvion 4 esimerkin VQ-kvantisoituja 5 pikseleitä, toisin sanoen hila-VQ-kvantisoituja pikseleitä P. Koska lohkokoko on 4*4 pikseliä, on koodivektorien koko 16 krominanssiarvoa, mutta se voi sisältää samat värit useammin kuin kerran. Siten neliöiden P lukumäärä vastaa neliöiden lukumäärää, joilla on samat krominanssiarvot koodivektorissa.

Kuten on mainittu aiemmin, käsittelevät useimmat tunnetut kuva-10 kompressiotekniikat kolmea värikomponenttia erikseen. (Värikomponentit voi vat tietysti perustua muihin komponentteihin kuin kolmeen värikomponent-tiin.) Se ei ole optimaalista, sillä kaikki kohteet kuvassa aiheuttavat jokaisessa kolmessa värikomponentissa vastaavat korrelaatiot.

Useimmiten tämä tosiasia joko jätetään tarkoituksella huomiotta tai 15 sitten värit ilmaistaan värikartan määrittein, jossa kartassa käytetään rajoitettua lukumäärää värejä (määritelty RGB-tripletteinä) ja niihin viitataan indeksi-joukon kautta. Täydessä kolmiulotteisessa väriavaruudessa käytetään usein värikarttakaaviota, mutta se voidaan myös rajoittaa esimerkiksi krominanssi-tasoon ja luminanssi ilmaistaan erillisenä, kuten on esitetty kuvioissa 2-6.

20 Mikäli värikomponentit kompressoidaan toisistaan erillään, nämä kaksi redundanssia eivät käy päinsä ja kompressio on todennäköisesti osa-optimaalinen.

Toisaalta ja yleisesti, mikäli vektorisuureen arvot sellaiset, kuten pikselin väri, rajoitetaan pieneen tilavuuteen avaruudessa, voidaan elementit ': ‘': 25 ilmaista pienemmällä bittimäärällä. Jos tämä tilavuus ei ole kiinteä kaikille viit- tauksille, tarvitaan jonkin verran ylimääräistä informaatiota määrittelemään tilavuuden rajat. Kompressiovaatimukset voivat edelleen edellyttää tämän tilavuuden kvantisointia. Yksinkertaisin tapa tämän tekemiseksi on jakaa tila-: .· . vuus tasaisesti jokaisessa koordinaattisuunnassa. Hienostuneemmat tavat ,··. 30 käsittävät akseleiden rotaatiot ja epätasaisen hilan tilavuuden jakamiseen.

Kaikkia näitä menetelmä, jotka yleisesti tunnetaan nimellä hila-VQ, (katso :: kuviot 4-6) voidaan käyttää.

Edellä mainituista seikoista johtuen täytyy keksintöä toteutettaessa ottaa huomioon todellisten kuvien ja aktiivisen värialueen värikomponenttien » · » ,···, 35 väliset korrelaatio-ongelmat (väriavaruuden asettama rajoitus väreille, jotka ‘'' todella ovat kuvassa).

6 113930

Mikäli korrelaatiot otetaan huomioon ensimmäisenä, on yleisin lähestymistapa käyttää värikarttaa. Jokainen kuva konvertoidaan ensiksi in-deksijoukoksi kuvassa olevien värien mukaan ja indeksit kompressoidaan sitten. Yksityiskohtainen tapa värien indeksoimiseksi on monivivahteinen on-5 gelma siinä mielessä, että enkoodausvaiheessa indekseihin tulevat virheet saisivat aiheuttaa vain pieniä virheitä summaväreissä. Toisin sanoen, värit täytyy indeksoida siten, että kaikkien läheisten värien indeksit olisivat lähellä toisiaan.

DCT-pohjaisissa tekniikoissa, kuten JPEG-standardissa, adaptoi-10 daan kaikki muut taajuudet paitsi alin taajuus tai dc-komponentti automaatti sesti aktiiviseen väriavaruuteen siten, että ne saavat vakioarvot, jotka kiinnittyvät "aktiiviväreihin”. Tyypillisesti dc-komponentit ovat eroenkoodattuja, niin että, naapurilohkoja kohden lähetetään ainoastaan niiden erotukset edellisen lohkojen vastaaviin arvoihin nähden. Sen vuoksi ei ole todellista tarvetta 15 määritellä krominanssiavaruus jokaiselle kehykselle. Mitä tulee värikompo-nenttien väliseen korrelaatioon, ovat eri värikomponenttien DCT-vakioiden väliset suhteet todennäköisesti hankalasti parametrisoitavia ja vaatisivat paljon lisäinformaatiota lähetettäväksi vakioiden ohessa.

Pääedut VQ-perusteisissa tekniikoissa ovat kompakti tapa ilmaista 20 useita pikseliarvoja tai DCT-vakioita käyttäen vain yhtä indeksiä ja kevyttä dekoodausta taulukkohakua käyttäen. Sen vuoksi tarve lähettää mitä tahan- v ' sa lisäinformaatiota, kuten värien laajuus, heikentää suoraan VQ:n tehok- • * · ···: kuutta.

t«· VQ-enkoodattaessa värikuvia/videota voidaan käyttää jokaista vä-25 rikomponenttia kohti koodikirjaa tai, muistin säästämiseksi ja kaistanleveys-vaatimuksien vuoksi, voidaan joillekin komponenteille käyttää yhteistä koodi-kirjaa. Mikäli VQ-koodikirjat on kiinnitetty ja opetettu käyttäen yleistä kuva- »»» aineistoa, ne kattavat luminanssi- ja krominanssiarvojen koko alueen. Tämä on tehotonta, sillä eivät kaikki värikomponenttien kombinaatiot ole tasaisesti • · ]..!t 30 RGB-avaruudessa, joka näytetään tietokoneen näytöllä saatikka että ne olisi- • · ':' vat todellisuudessa läsnä tietyssä kuvassa/videokehyksessä.

Jotta voitaisiin laskea korrelaatiot vain kahden krominanssikom- :“i ponentin välillä, on ne yhdistettävä edustamaan värijä /, (Cb,, Cr,) ja koodikirja .···, täytyy opettaa esittämään sellaisten värien lohkoja. Tällä yksinkertaisella • » · 35 kaaviolla on kaksi välitöntä haittaa: suuri joukko koodivektoreita voi olla tie- * » **’ tyssä kuvassa/videokehyksessä olevien värien ulkopuolella ja todellisten ku- 7 113930 valohkojen (ja myös kehysten) värit omaavat jonkin verran kulmaredundans-sia, mikäli käytetään napakoordinaatteja.

Keksintöä voidaan pitää digitaalisessa värikuvissa ja videossa olevan väri-informaation kevyenä dekoodattavana kompressiotekniikkana. Se 5 ottaa huomioon sekä kuvainformaation että kuvan olemassa olevan väri-informaation korrelaation. Kuvio 7 esittää esimerkkiä keksinnön ajatuksesta rajoittaa värikartta-alue alueeseen, joka sisältää kaikki kuvassa olevat värit P7. Useimmat kuvat sisältävät ainoastaan osan kaikista mahdollisista väreistä. Kuviossa 7 värikartta on YCrCb map, jolloin väri-informaatio on ilmaistu 10 yhdessä tasossa, joten yksi akseli esittää Cr-komponentin arvoja ja toinen akseli esittää Cb-värikomponentin arvoja. Yksinkertaisuuden vuoksi ei akselia Y ole esitetty kuviossa 7. On huomattava, että muita koordinaattijärjestel-miä voidaan käyttää yhtä hyvin, joskin YcrCb-karttaa pidetään edullisena.

Helpon tapa määritellä alue, jossa kuvan värit ovat, toisin sanoen 15 aktiivinen värialue, on määritellä suorakaide. Kuvasta etsitään pienin ja suurin Cb- ja Cr-arvo. Nämä arvot määrittelevät suorakaiteen, joka sisältää kehyksen kaikki värit sekä myös jokaisen krominanssikomponentin C1, C2 ulottuvuuden. Vaikka suorakaide on helppo muodostaa ja monissa tapauksissa mukava käyttää, on mahdollista pienentää sitä erityisesti nurkista kuten on 20 esitetty kuviossa 7. Suorakaiteen pienentäminen voidaan tehdä esimerkiksi käyttäen apuakselia 71. Apuakseli on tietyssä kulmassa värikartan muihin • I · ’·* ' akseleihin nähden ja se muodostaa pohjan värikartan apuindekseille. Apuin- ··♦: deksijaon pitäisi edullisesti olla sama kuin on alkuperäisillä akseleilla. Kuvan suurin ja pienin Cb- ja Cr-arvo apuakselilla rajoittavat suorakaiteen suoralle, 25 jolla on vastaavat arvot apuakselilla. On mahdollista käyttää mitä tahansa lu-kumäärää apuakseleita, mutta edullisinta on käyttää yhtä tai kahta akselia ja mahdollisesti kiinteillä kulmilla, jolloin muodostuu kuusiokulmio tai kahdek- i I » sankulmio. Edullinen kulma toiseen alkuperäiseen akseliin nähden on 45 as-; tetta. Useimmissa todellisissa kuvissa suorakaiteen pienentäminen alentaa ’ . ’ 30 monikulmion sisällä olevaa kvantisoitavaa aluetta 10-70%.

Vaikka keksinnön mukainen väriavaruuden supistaminen käytetty-nä yhdessä perus VQ-tekniikan kanssa säästää värien tunnistamiseen tarvit-tavia bittejä ja on käyttökelpoinen sellaisenaan, on edullista kvantisoida aktii-/;·, vinen värialue. Edullinen kvantisointitapa on käyttää hilakvantisointia, toisin 35 sanoen aktiivinen alue jaetaan hilaksi. Kuvio 8 esittää esimerkkiä hilakvan-tisoinnista aktiivisella värialueella. Kuvan todellisen pikseliarvon P7 kvantisoi- 3 113930 tu pikseliarvo on hilan lähimmän solmun krominanssiarvo. Hilakvantisoidut krominanssiarvot muodostavat indeksivektorin tai matriisin, joka sitten vekto-rikvantisoidaan. Hilan indeksit kohdentavat kuvan krominanssiarvot värikartan aktiiviselle värialueelle ja enkoodavat samoin värit.

5 Aktiivinen kuva-alue voidaan jakaa tasaiseen hilaan käyttäen joka suunnassa joko samaa tai eri määrää kvantisointiaskeleita. Jotta mahdollistettaisiin yksinkertainen etsintäalgoritmi värien kohdentamiseksi värikartassa, yhden krominanssikomponenteista alue kvantisoidaan värikartan yhdellä akselilla tasaisesti. On edullista käyttää tasaista kvantisointia siihen krominans-10 sikomponenttiin, jolla on pienin ulottuma. Tämä proseduuri on helposti palautettavissa etsintäprosessiin: etsitään pienimmän ulottuman komponentti, sanokaamme Cb; jaetaan Cb-ulottuvuus n tasaväliin; ja etsitään todellista Cb-arvoa lähinnä oleva arvo kuvassa. Toisen krominanssikomponentin ulottuvuus, joka on nyt Cr, jaetaan m arvoon erikseen kutakin Cb arvoa kohti toi-15 sella akselilla. Vain tälle tietylle Cb-arvolle käytettävissä oleva todellinen alue jaetaan, jotta hyödynnettäisiin täysin väriavaruuden rajoitukset.

Edellä kunkin krominanssikomponentin numeerinen alue on redusoitu rajoittuneeseen värikarttaan. Tällä on se välitön vaikutus, että tarvitaan bittejä kutakin komponenttia varten. Edelleen värikarttaa tehtäessä suoritettu 20 kvantisointi alentaa kunkin komponentin käytettävissä olevien arvojen lukumäärää. Ihmissilmä on vähemmän herkkä krominanssiarvojen kvantisoinnille ‘ kuin luminanssiarvojen kvantisoinnille; kvantisointi voi olla riippuva halutusta • · *; kompressiosuhteesta.

Värikartta-alueeseen liittyvä informaatio voidaan esimerkiksi il-25 maista neli- tai kahdeksanbittisin numeroin riippuen rajaviivojen valitusta lu-:\ί kumäärästä. Ne lähetetään vastaanottavaan päähän niin usein kuin on tar- peellista, toisin sanoen ne voidaan lähettää erikseen jokaista kehystä kohti I · · tai kehyksen vakio-osana tai ne voidaan lähettää kerran yhtä videon pidem-pää sekvenssiä kohti. Vastaanottavassa päässä dekooderi toistaa tarvittavat » » *..! 30 askeleet värikarttahilan muodostamiseksi.

Koska jokainen kuva on periaatteessa riippumaton muista kuvista, täytyy yhden kuvan aktiivinen värialue määritellä yksilöllisesti jokaista kuvaa *:'! kohti. Kuitenkin melkein kaikki kuvat korreloivat toisiinsa. Tämän vuoksi on mahdollista muodostaa toinen aktiivinen alue käyttäen tietylle kuvalle tehtyä :.,t 35 alkuperäistä aktiivista aluetta. Tämä merkitsee usein sitä, että olemassa ole- van aktiivisen alueen rajat sovitetaan uuteen kuvaan. Kuvio 9 esittää mahdol- 9 113930 lisuutta tehdä uusia alueita. Jos alkuperäinen alue ORG on värikartan yhdessä neljänneksessä, on mahdollista peilata se krominanssitason yhden akselin suhteen tai origon siten, että muodostuu uudet aktiiviset alueet A, B ja C, kunkin niistä ollessa tietyssä värikartan neljänneksessä. Kuten havaitaan, 5 ovat peilaukset edullisesti mahdollisia, mikäli origon paikka pysyy muuttumattomana. Aktiivinen alue voidaan luonnollisesti peilata vaikka se olisi kahden tai useamman neljänneksen alueella, mutta tällöin syntyy tavallisesti päällekkäinen alue. Aktiiviset värialueet peittävät tavallisesti origon läheisen alueen, mutta yksinkertaisuuden vuoksi kuvio 9 esittää harvinaisemman tapauksen.

10 Heijastusakselina käytetty akseli voi olla mikä tahansa värikartan suora kuten on esitetty kuviossa 10, jossa alue E1 on peilattu viivan L10 suhteen muodostaen uuden alueen E2.

Sama vaikutus voidaan saada aikaan peilaamalla tietyn kehyksen värikartta krominanssiakselin suhteen siten, että origo (Cb,Cr)=(0,0) ilmaan-15 tuu värikartan alempaan vasemmanpuoleiseen neljännekseen.

Yleisesti ottaen värikarttaa voidaan pyörittää krominanssitason origon ympäri, mutta origon peilauskaavio vasemmanpuolimaisessa neljänneksessä on yksinkertainen tapa tehdä tämä ilman tarpeetonta laskentaa.

Sellainen yksinkertainen peilauskaavio kohdentaa kehysten Cb-Cr 20 jakautumat riittävän hyvin yhdeksi jakaumaksi helpottaen yhteisten koodi-kirjojen käyttöä kaikille kehyksille. Tämä tarkoittaa sitä, että, kun tehdään ak-:: : tiivisen värialueen peilaus peilautuu myös alueen värijakauma.

., :' Keksinnön eräässä edullisessa suoritusmuodossa VQ-proseduuria : : käytetään enkoodaamiseen. Sen vuoksi on edullista sovittaa käytetyt koodi- ·:* · 25 vektorit (krominanssikoodikirjat) jokaisen kuvan aktiiviseen värialueeseen.

Krominanssikoodikirjat opetetaan käyttäen aktiivisen värikartan formaatissa

• I

,·*·. olevia opetuskuvalohkoja tai vaihtoehtoisesti opetetaan kombinoitu koodikirja (sisältäen esimerkiksi Cr- ja Cb-arvot) aktiivisessa värikarttaformaatissa.

, Värikarttaa käytetään parhaiten, jos esimerkiksi värien koodaami- 30 seen käytetyt VQ-koodivektorit voidaan skaalata aktiiviseen krominanssialu-’*;* eeseen. Kuitenkin, koska aktiivinen värikartta vaihtelee kehyksestä kehyk- seen, muuttuvat skaalat ja statistiikka. Skaalaukset voidaan jossain määrin .; * · · ottaa huomioon opetusvaiheessa, mutta se tosiasia, että värit voivat keskittyä värikartan eri alueelle on ongelmallista. Jos kuvien välillä on korrelaatiota, t I | 35 voidaan käyttää edellä mainittua peilauskaaviota.

10 113930

Opetusmateriaalille koodikirjojen muodostamiseksi on ensin tehtävä edellä esitetty värikarttakonversioprosessi. Tuloksena olevia lohkoja tai vektoreita voidaan käyttää eri tavoin: erillisten koodikirjojen opettamiseksi Cb ja Cr varten; yhden yhteisen koodikirjan opettamiseksi molemmille kompo-5 nenteille tai yhdistetyn koodikirjan opettamiseksi, jonka sisältö käsittää molemmat krominanssikomponentit. Värikarttaa ei tarvitse muuttaa joka kehystä kohti ja se voidaan määritellä ja pitää vakiona kaikkien video-otosten tai näytösten ajan, joissa näytetään väreiltään samantyyppisiä kuvia.

Tämä värikartan keksitty käyttö on tunteeton värikartan reunojen 10 kvantisoinnille. Sen vuoksi värikartta voidaan pitää vakiona niin kauan kuin reunat ovat lähellä samaa kvantisointitasoa ja muuttaa sitten. Tämän vuoksi ei kaikkia reunaparametreja tarvitse lähettää joka kehyksessä ja samalla säilytetään kehys kehykseltä värikartan muuttelun joustavuus.

Kuvio 11 on esimerkki vuokaaviosta, joka kuva keksinnön mukai-15 sen menetelmän pääominaisuuksia. Ensiksi määritellään aktiivinen värialue, jossa on kuvan kaikki värit, vaihe 111. Muodostetaan aktiivisen värialueen koordinaattijärjestelmä, vaihe 112, ja kuvan värit kohdistetaan koordinaattjär-jestelmän indekseihin, vaihe 113. Määrittelyvaihe voi lisäksi sisältää alivai-heet: määritellään pienin ja suurin värikarttaindeksi värikartan akselilla näiden 20 indeksien kuuluessa kuvan tiettyihin väreihin; määritetään pienin ja suurin värikarttaindeksi värikartan toisella akselilla näiden indeksien kuuluessa ku-v : van tiettyihin väreihin; ja muodostetaan värikarttaan suorakaiteen muotoinen ..!; ‘ alue käyttäen näitä molemmilla akseleilla olevia indeksejä suorakaiteen ra- • it‘ joittamiseen.

·:·; 25 Edelleen voidaan käyttää ainakin yhtä apuakselia pienimmän ja ·’* suurimman värikartan apuakselilla olevan apuindeksin määrittämiseen, apu- . ' ·, akselin ollessa tietyssä kulmassa värikartan muihin akseleihin nähden. Nämä apuakselin indeksit kuuluvat kuvan tiettyihin väreihin. Apuakselin tai akselei-.. . den määritettyjä indeksejä voidaan käyttää aktiivisen suorakaiteen pienentä- 30 miseen siten, että käytetään viivoja, jotka ovat kohtisuorassa apuakseleihin * > ' ·; · ’ nähden ja joista toisella on pienin indeksiarvo apuakselilla ja toisella on suu- : rin indeksiarvo apuakselilla. Nämä viivat rajoittavat aktiivisen värialueen viivo- ·:·· jen muodostaman suorakaiteen sisään. Kuten mainittiin, voidaan aktiivisen värialueen rajoitus tehdä toistuvasti (käyttäen apuakseleita tai viivoja) niin

t t I

35 monta kertaa kuin tarvitaan aktiivisen värialueen pienentämiseen.

11 113930

Vaihe koordinaattijärjestelmän muodostamiseksi voi käsittää ali-vaiheen, jossa muodostetaan aktiiviselle välialueelle hila aktiivisella välialueella olevien värien kvantisoinniksi. Hila voi olla tasajakoinen kautta koko aktiivisen värialueen. Hilan muodostamisvaihe voi edelleen käsittää vaiheet ak-5 tiivisen värialueen jakamiseksi tasaisesti värikartan sen akselin mukaan, jolla on pienin aktiivisten väri-indeksien ulottuma ja aktiivisen värialueen jakamiseksi toisella värikartta-akselilla edullisesti kutakin jaon resultoivaa indeksiä kohti. Tällä tavalla tullaan saavuttamaan paras lukumäärä kvantisointiarvoja.

Keksinnön mukainen menetelmä voi myös käsittää vaiheen 114 10 koodikirjojen opettamiseksi ennakolta formaatissa, joka edustaa aktiivista vä-rialuetta. Ennakkovaihe tarkoittaa sitä, että ennen kyseessä olevan todellisen kuvan kompressiota koodivektorit opetetaan aktiiviselle värialueelle käyttäen kuvaopetusta tai kuvien opetusta. On huomattava, että nämä opetuskuvat täytyy prosessoida samalla tavalla kuin todellinen kuva.

15 Keksinnön mukaisessa järjestelyssä voidaan aktiivinen värialue li säksi peilata värikartan jonkin viivan suhteen uuden aktiivisen värialueen muodostamiseksi.

Tässä keksinnössä ehdotettua värikompressiomenetelmää voidaan käyttää yhdessä minkä tahansa luminanssi-informaation kompressio-20 tekniikan kanssa.

... Kuvio 12 on esimerkki keksinnönmukaisesta järjestelystä. Järjes- ' tely värikuvan kompressoimiseksi käsittää: välineet 121 aktiivisen värialueen määrittämiseksi, jossa ovat edustettuna kuvan kaikki värit, välineet 122 koor-dinaattijärjestelmän muodostamiseksi aktiivista värialuetta varten, sekä väli- *": 25 neet 123 kuvan värien kohdentamiseksi koordinaattijärjestelmän indekseihin.

Välineet aktiivisen värialueen määrittämiseksi voivat edelleen si- • » sältää: välineet pienimmän ja suurimman värikarttaindeksin määrittämiseksi • · · värikartan akselilla, näiden indeksien kuuluessa kuvan tiettyihin väreihin; ja välineet suorakaiteen muotoisen alueen muodostamiseksi värikarttaan käyt- • » |..!t 30 täen näitä indeksejä molemmilla akseleilla suorakaiteen rajoittamiseksi. Väli- t ^ T neet aktiivisen värialueen määrittämiseksi voivat edelleen käsittää: välineet ainakin yhden apuakselin määrittämiseksi, joka on tietyssä kulmassa muu- *: * *: hun akseliin nähden ja joka on toiminnallisesti kytketty pienimmän ja suurim- man värikarttaindeksin määrittämisvälineeseen; ja välineet aktiivisen värialu- ,\. 35 een pienentämiseksi käyttäen minkä tahansa sanotuista akseleista indeksejä rajoittamaan aktiivista värialuetta.

12 113930 Välineet koordinaattijärjestelmän muodostamiseksi sisältävät edullisesti edelleen välineet hilan muodostamiseksi, jolla määritetään aktiivinen värialue aktiivisen värialueen värien kvantisoimiseksi.

Keksinnön mukainen järjestely voi edelleen käsittää välineet 124 5 koodikirjojen opettamiseksi käyttäen opetusmateriaalia, jota prosessoitu aktiivisen värialueen määrittämisvälineissä, koordinaattisysteemin määrittämis-välineissä ja kohdentamisvälineissä. Opetusvälineet käsittelevät edullisesti vektorikvantisointikoodikirjoja. Vielä lisäksi keksinnön mukaisessa järjestelyssä välineet aktiivisen värialueen määrittämiseksi voivat lisäksi käsittää väli-10 neet aktiivisen värialueen peilaamiseksi värikartan tietyn viivan suhteen uuden aktiivisen värialueen muodostamiseksi. Ja edelleen valinnaisesti pei-lausvälineet voivat kyetä skaalaamaan, pyörittämään ja/tai kiertämään määriteltyä aktiivista värialuetta.

Käytännössä keksinnön mukainen järjestely on mahdollista sulaut-15 taa osaksi täydellistä videokompressio/dekompressio-ohjelmistoa. Ohjelmisto sisältää käyttöliittymän, medialukijat video- ja audioinformaation lukemiseksi, algoritmit aktiivisen värialueen määrittämiseksi ja jakamiseksi hilaan, kuten on ehdotettu tässä keksinnössä, jotakin perusenkoodausta, jokin ratkaisu vi-deovirranlähettämiseksi ja pienen dekoodausohjelmistopaketin, joka lähete-20 tään videovirran alussa (tai vaihtoehtoisesti käyttäen koodikirjoja ja soitinta, jotka ovat jo tallennettuina vastaanottavassa päätelaitteessa) ja on kykenevä

• I I

‘ muodostamaan uudelleen värikartan jokaiselle kehykselle, mikäli tarpeen käyttäen informaatiota, joka lähetetty virrasta ja käyttämään värikarttaa vä-;, , ·* rien näyttämiseksi.

*: : 25 Kuten voidaan havaita, voidaan keksintöä muuntaa käyttökelpoi- seksi moniin erilaisiin ratkaisuihin. On siten ilmeistä, ettei keksintö ole rajoit-tunut edellä mainittuihin esimerkkeihin, vaan sitä voidaan käyttää yhtä hyvin muissakin ratkaisuissa keksinnön ajatuksen suojapiirissä pysyen.

: 30 * * <

Claims (20)

1. Menetelmä värikuvan kompressoimiseksi, jolloin kuvan värit määritetään käyttäen värikarttaa, tunnettu siitä, että menetelmä sisältää vaiheet: 5. määritetään aktiivinen värialue, jossa on kuvan kaikki värit, - muodostetaan aktiiviselle värialueelle koordinaattijärjestelmä, ja - kohdistetaan kuvan värit koordinaattijärjestelmän indekseihin.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että määrittelyvaihe sisältää vaiheet: 10. määritellään värikartan akselilla suurin ja pienin värikarttain- deksi näiden indeksien kuuluessa kuvan tietyille väreille, - määritetään värikartan toisella akselilla pienin ja suurin värikart-taindeksi näiden indeksien kuuluessa kuvan tietyille väreille, ja - muodostetaan värikarttaan suorakaiteen muotoinen alue käyt- 15 täen sanottuja molempien akseleiden indeksejä suorakaiteen reunojen asettamiseen.

3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että menetelmä edelleen käsittää vaiheet: - määritetään värikartan apuakselille pienin ja suurin värikartan 20 apuindeksi, apuakselin ollessa tietyssä kulmassa värikartan toiseen akseliin nähden ja muodostaen kolmannen akselin, '·’ ' apuakselin indeksin kuuluessa kuvan tietyille väreille, - käyttäen viivoja, jotka ovat kohtisuoraan apuakseliin nähden, .·* toisen viivoista ollessa pienin indeksiarvo apuakselilla ja toisen " ·’ 25 viivoista ollessa suurin indeksiarvo apuakselilla, pienennetään :\i aktiivista suorakaidetta rajoittumaan viivojen väliseen aktiivi- :"'; seen värialueeseen.

4. Patenttivaatimuksen 3 mukainen menetelmä, tunnettu sii- : ·. tä, että menetelmä käsittää edelleen vaiheet: 30 a) määritetään värikartan uudella apuakselilla pienin ja suurin väri- kartan apuindeksi, uuden apuakselin ollessa tietyssä kulmassa vä-:,,.; rikartan toiseen akseliin nähden ja uuden apuakselin indeksin kuu- •: luessa kuvan tietyille väreille, ja , b) pienennetään aktiivista värialuetta käyttäen kohtisuoraan uutta 35 apuakselia olevia viivoja, joista toisella on sanottu pienin indeksi- 14 113930 arvo uudella apuakselilla ja toisella on sanottu suurin indeksiarvo uudella apuakselilla.

5. Patenttivaatimuksen 3 tai 4 mukainen menetelmä, tunnet-t u siitä, että sanottu kulma tai kulmat ovat 45 astetta.

6. Patenttivaatimuksen 4 mukainen menetelmä, tunnettu sii tä, että toistetaan vaiheet a) ja b) niin monta kertaa kuin tarvitaan aktiivisen värialueen pienentämiseksi.

7. Minkä tahansa patenttivaatimuksista 1-4 mukainen menetelmä, tunnettu siitä, että vaihe koordinaattijärjestelmän muodostamiseksi kä- 10 sittää vaiheen, jossa muodostetaan aktiiviselle värialueelle hila aktiivisella värialueella olevien värien kvantisoimiseksi.

8. Patenttivaatimuksen 7 mukainen menetelmä, tunnettu siitä, että hila on tasavälinen koko aktiivisella värialueella.

9. Patenttivaatimuksen 7 mukainen menetelmä, tunnettu sii- 15 tä, että hilan muodostusvaihe käsittää edelleen vaiheet: a) jaetaan aktiivinen värialue tasaisesti sillä värikartta-akselilla, jolla on pienin aktiivisten väri-indeksien alue, ja b) jaetaan aktiivinen värialue toisella värikartta-akselilla erikseen kutakin jaon 9a) tuottamaa tulosindeksiä kohti.

10. Minkä tahansa patenttivaatimuksista 1-9 mukainen menetel- mä, tunnettu siitä, että menetelmä käsittää lisäksi ennakkovaiheen koodikirjojen opettamiseksi formaatissa, joka edustaa aktiivista värialuetta.

« * ···: 11. Patenttivaatimuksen 10 mukainen menetelmä, tunnettu «* * · : siitä, että koodikirjat ovat vektorikvantisointikoodikirjoja. : 25

12. Minkä tahansa patenttivaatimuksista 4-11 mukainen mene- V j telmä, tunnettu siitä, että aktiivinen värialue peilataan värikartan toisen :’": akselin suhteen uuden aktiivisen värialueen muodostamiseksi.

13. Minkä tahansa patenttivaatimuksista 4-11 mukainen mene- :v, telmä, tunnettu siitä, että aktiivinen värialue peilataan värikartan tietyn ]··’, 30 viivan suhteen uuden aktiivisen värialueen muodostamiseksi. T

14. Järjestely värikuvan kompressoimiseksi, jolloin kuvan värien määrittämiseen käytetään värikarttaa, tunnettu siitä, että järjestely kä-sittää: - välineet aktiivisen värialueen määrittämiseksi, jossa on kuvan • * * 35 kaikki värit, I t » r » 113930 - välineet koordinaattijärjestelmän muodostamiseksi aktiivista värialuetta varten, ja - välineet kuvan värien kohdentamiseksi koordinaattijärjestelmän indekseihin.

13 1 13930

15. Patenttivaatimuksen 14 mukainen järjestely, tunnettu sii tä, että välineet aktiivisen värialueen määrittämiseksi käsittävät edelleen: - välineet pienimmän ja suurimman värikarttaindeksin määrittämiseksi värikartan akselilla, indeksien kuuluessa kuvan tietyille väreille, ja 10. välineet suorakaiteen muotoisen alueen muodostamiseksi väri- karttaan käyttäen sanottuja indeksejä molemmilla akseleilla suorakaiteen rajojen asettamiseksi.

16. Patenttivaatimuksen 15 mukainen järjestely, tunnettu siitä, että välineet aktiivisen värialueen määrittämiseksi käsittävät edelleen: 15. välineet ainakin yhden tietyssä kulmassa toiseen akseliin näh den olevan apuakselin määrittämiseksi, jotka välineet ovat toiminnallisesti kytketty välineisiin pienimmän ja suurimman värikarttaindeksin määrittämiseksi, ja - välineet aktiivisen värialueen pienentämiseksi käyttäen minkä 20 tahansa akselin indeksejä rajoittamaan aktiivista värialuetta.

17. Patenttivaatimuksen 14, 15 tai 16 mukainen järjestely, t u n - « · » '·' * n e 11 u siitä, että välineet koordinaattijärjestelmän muodostamiseksi käsittä- vät edelleen välineet aktiiviselle värialueelle määritellyn hilan muodostami- ,. ·' seksi aktiivisen värialueen värien kvantisoimiseksi. "' i 25

18. Minkä tahansa patenttivaatimuksista 14 - 17 mukainen järjes- :*·.· tely, tunnettu siitä, että järjestely edelleen käsittää välineet koodikirjojen * * opettamiseksi käyttäen opetusmateriaalia, jota prosessoidaan aktiivisen väri-alueen määrittelyvälineissä, koordinaattijärjestelmän muodostusvälineissä ja : v. kohdennusvälineissä.

19. Patenttivaatimuksen 18 mukainen järjestely, tunnettu sii- • ’;' * tä, että opetusvälineet käsittelevät vektorikvantisointikoodikirjoja. • Ii(:

20. Minkä tahansa patenttivaatimuksista 14 - 19 mukainen järjes- i tely, tunnettu siitä, että välineet aktiivisen värialueen määrittämiseksi sisältävät välineet määritetyn aktiivisen värialueen peilaamiseksi värikartan • I · »ti 35 tietyn linjan suhteen muodostaen uuden aktiivisen värialueen. 1R 113930