FI124520B - Menetelmä ja järjestely digitaalisten multimediasignaalien synkronoimiseksi - Google Patents

Description

MENETELMÄ JA JÄRJESTELY DIGITAALISTEN MULTIMEDIASIGNAALIEN SYNKRONOIMISEKSI

Keksinnön kohteena on patenttivaatimuksen 1 johdanto-osassa 5 esitetty menetelmä ja patenttivaatimuksen 7 johdanto-osassa esitetty järjestely digitaalisten multimediasignaalien synk-ronoimiseksi.

Keksinnön pääkäyttökohteena on digitaalisen multimediaesityksen 10 synkronointi eli tahdistaminen. Keksinnön mukaiseen menetelmään ja järjestelyyn eli lyhyemmin keksinnön mukaiseen ratkaisuun kuuluu tällöin esimerkiksi se, miten erillisten multimediasignaalien tahdistustieto voidaan tallentaa, ylläpitää ja säilyttää multimediaesityksen luomishetkestä alkaen esityshetkeen 15 asti. Keksinnön mukaista ratkaisua voidaan soveltaa kaikilla osa-alueilla, joissa tarvitaan digitaalista ääntä, kuvaa tai muuta multimediadataa. Tällaisia osa-alueita ovat esimerkiksi Internetin videopalvelut, videoneuvottelu, digitaalitelevisio, elokuvat, audiovisuaaliset viestit, ym. Keksintöä voidaan hel-20 posti käyttää rinnakkain esimerkiksi jo olemassa olevien standardien ja menetelmien kanssa, joita ovat esimerkiksi MPEG-2, MPEG-4, DVB, HDTV, DVD, VCD, jne.

^ Digitaalinen multimediaesitys koostuu kahdesta tai useammasta o ° 25 erillisestä multimediasignaalista. Multimediasignaalit voivat i g sisältää eri tyyppistä multimediadataa, kuten esimerkiksi vi- i deokuvaa, musiikkia, puheääntä, yksittäisiä kuvia, kuvaustietoa g esityksen näkymästä, synteettisiä objekteja (esim. tietokone- Q.

grafiikka), oheislaitteiden, kuten esimerkiksi valojen ja tuu-o J 30 lettimien ohjausdataa, ja niin edelleen. Laadukas multimedia- σ> o esitys vaatii, että erilliset multimediasignaalit pystytään c\j tahdistamaan täsmällisesti keskenään ja multimediasignaalit on pystyttävä esittämään oikeaan aikaan siten, että erilliset 2 multimediasignaalit koetaan kuuluvaksi samaan esitykseen. Tällöin tahdistetun signaalin sisältämän tiedon esittämisessä ei saa syntyä ihmisaistein havaittavia eikä häiritseviä viiveitä ja/tai katkoksia muihin tahdistettuihin signaaleihin nähden.

5

Tahdistukseen käytetty tieto on pystyttävä liittämään mukaan esitykseen esitystä luotaessa. Tahdistukseen tarvittava tieto on pystyttävä tallentamaan ja tiedon on säilyttävä multimediaesityksen tallennuksessa, kuten esimerkiksi Blu-ray-, DVD- ja 10 VCD-tallenteissa. Lisäksi tiedon on säilyttävä multimediaesityksen lähettämisen aikana eri tiedonvälityskanavia, esimerkiksi radiosignaaleita (esim. DVB-T) tai Internet-tekniikoita (esim. RTP, IP) hyödyntäen. Tahdistukseen käytetty tieto on pystyttävä myös tulkitsemaan vastaanottopäässä (esim. DVB-T 15 digisovitin) ja sitä on pystyttävä hyödyntämään esityksessä (esim. televisio) . Voidaan puhua niin sanotusta päästä päähän tahdistuksesta (end-to-end synchronization).

Digitaaliset multimediasignaalit pakataan eli tiivistetään 20 kullekin signaalille parhaiten soveltuvalla enkoodausmenetel- mällä esityksen tallentamista tai siirtoa varten. Koska enkoo- dausmenetelmät ovat toisistaan riippumattomia ja erillisiä, on signaalien välille kyettävä luomaan riippuvuussuhteita, esimer- ^ kiksi aikariippuvuus synkronointiin. Keksinnön avulla signaa- o ^ 25 lien vastinosien välille pystytään luomaan monella tavalla i ^ hyödynnettäviä riippuvuussuhteita. Tässä signaalin vastinosilla i ^ tarkoitetaan tiettyä aikaikkunaa vastaavia itsenäisiä osia eri signaaleista. Signaalin itsenäisellä osalla puolestaan tarkoi-

CL

_ tetaan tässä sitä, että se voidaan jatkokäsitellä, esimerkiksi oo o 30 pakata ja purkaa ilman tietoa signaalin muista osista. Aika-σ> g riippuvuussuhteiden lisäksi voidaan luoda monia muita hyödylli-

C\J

siä riippuvuussuhteita joiden avulla järjestelmän toimintaa voidaan parantaa. Riippuvuussuhteet luodaan keksinnön mukaises 3 ti signaalien sisään eikä oheisinformaatioksi, kuten tunnetussa tekniikassa on tapana tehdä.

Nykyisin käytössä olevat menetelmät hyödyntävät niin sanottua 5 aikaleima-tekniikkaa. Esimerkiksi MPEG-2 koodaussysteemissä äänen tai videokuvan esitysajankohta liitetään enkoodaussystee-min eli tallennuksen tai lähetyksen yhteydessä tiivistettyyn bittivirtaan. Enkoodaussysteemissä audio- tai videoenkooderin jälkeen ulostulo paketoidaan PES paketeiksi, joihin liitetään 10 otsikkokenttiin aikaleimat dekoodausta tai esittämistä varten. Aikaleimatut paketit limitetään eli multipleksataan bittivirraksi. Dekoodaussysteemin eli vastaanoton tai esityksen yhteydessä kyseisten aikaleimojen avulla pyritään saamaan äänen ja videokuvan esitysajat tahdistettua eli synkronoitua keskenään. 15 Dekoodaussysteemissä jaetaan eli demultipleksataan limitetyt paketit oikeille dekoodausoperaatioille. Ennen dekoodausta aikaleimat luetaan pakettien otsikkokentistä dekoodaussysteemin käyttöön.

20 Siis ääni ja videokuva enkoodataan ja dekoodataan toisistaan erillään, mutta niiden välillä käytetään yleensä MPEG standardin (ISO/IEC 13818-1) tarjoamaa tapaa "liimata" ääni ja videokuva toisiinsa aikaleimojen avulla. Synkronoinnin on oltava ^ täsmällistä, jotta videon ja äänen voidaan koeta olevan samaa o ^ 25 esitystä.

i

O

^ Ratkaisu toimii yleensä varsin hyvin mikäli vastaanottopään dekoodaussysteemi saa vastaanotettua dataa riittävän tasaiseen

CL

tahtiin. Ongelmia aiheuttavat muun muassa viiveet ja huojunta o J 30 (jitter - viiveen vaihtelu) vastaanottopäässä. Ongelmat saatta en § vat aiheutua viiveiden vaihtelun lisäksi myös virheistä tiedon-

C\J

siirtotiellä tai tallennusmedioissa. Uudet multimediapalvelut (esim. sisällön muokkaus tai skaalaus), multimedianesityksen 4 suoratoisto (streamaus), esityksen ominaisuuksien skaalaus tai koodauksen muuttaminen toiseen (transcoding) aiheuttavat lisää ongelmia. Ongelmat myös lisääntyvät, kun yritetään käyttää epäluotettavia tiedonsiirtokanavia, esimerkiksi Internet-yh-5 teyttä.

Tunnetussa tekniikassa saattaa myös laitteistotasolla olla ongelmia muun muassa käytetyn kellon tarkkuudessa tai virheitä käytetyssä ohjelmistossa. Tämän tyyppisiä ajastusvirheitä on 10 havaittu Suomessakin liittyen digitaalisten televisiolähetysten tekstityksiin. Tässä tapauksessa voidaan melko varmasti olettaa, että televisioyhtiöiden lähetykset ovat virheettömiä ja standardin mukaisia eli tahdistusongelmat eivät yleensä aiheudu lähetyksestä. Virheet johtuvat usein vastaanottimesta. Sen 15 toteutuksessa on saatettu vähän "oikaista" yksityiskohdissa ja oletettu, että kaikki toimii moitteetta. Jos kyseessä on pelkkä ohjelmointivirhe, vika saadaan korjattua yleensä ohjelmistopäivityksellä.

20 Lähitulevaisuudessa tulee multimediasovelluksia, jotka voivat sisältää nykyistä huomattavasti enemmän multimediasignaaleja.

Esimerkiksi seuraavan sukupolven televisiot, joihin liittyviä sovelluksia ja tekniikoita maailmalla tutkitaan tälläkin het- kellä. Käsiteltävien signaalien määrän kasvaminen lisää myös o ° 25 vaatimuksia laitteiston suorituskyvylle ja muistinkulutukselle.

i § Videokuvan tarkkuus kasvaa, tulee stereovideolähetyksiä, mo- i ^ ninäkymälähetyksiä, monikanavaääniä, täysin uuden tyyppisiä multimediasignaaleja, jne. Tällaisessa tapauksessa yhden lait- Q.

m teiston tarjoamat resurssit voivat loppua kesken, joten on pys- o J 30 tyttävä jakamaan signaalien prosessointia usealle eri laitteis ta § tolle. Tarvitaan menetelmä, jolla kaikkien signaalien tahdista en minen onnistuu myös eri laitteistojen välillä jotain kommuni- 5 kointikanavaa pitkin. Voidaan puhua hajautetuista enkoodaus-tai dekoodaussysteemeistä.

Ennestään tunnetaan myös kaksi kiinalaista patenttijulkaisua 5 nro CN1655616 ja nro CN1599464, joissa tahdistusongelmaa on yritetty ratkaista siten, että audio- ja videosignaalit yhdistetään toisiinsa niin sanotuksi hybridisignaaliksi, joka enkoo-dataan yhtä ja samaa enkooderia käyttäen. Näissä menetelmissä on kuitenkin useita puutteita, joista eräitä on esitetty tar-10 kemmin seuraavassa.

Molemmissa CN-patenteissa heikkoutena on tietynlainen ajatusvirhe. Äänisignaali ja videosignaali ovat ominaisuuksiltaan täysin erilaisia. Molemmissa menetelmissä äänisignaali yrite-15 tään yhdistää videosignaaliin ja käyttää videosignaalille suunniteltua enkoodausmenetelmää yhdistetyn hybridisignaalin pakkaamiseksi. Äänisignaalin liittäminen videosignaaliin on videosignaalia ajatellen kohinan (lähes satunnaisvirheen) lisäämistä videokuvaan. Videoenkooderi puolestaan on suunniteltu pakkaa-20 maan parhaiten videokuvaa, jossa on paljon samankaltaisuuksia. Se yrittää vähentää redundanssia spatiaali- ja temporaalitasos-sa.

Yhtenä ongelmana on, että enkoodausprosessi ei tuota CN-patent- G) o 25 tien esittämissä ratkaisuissa enää hyvää pakkaussuhdetta. To- dennäköisesti näillä menetelmillä yhdistetyn hybridisignaalin o

Tt enkoodaaminen eli pakkaaminen tuottaa paljon suuremman bitti- x virran kuin se, että molemmille signaaleille käytettäisiin cc

CL

erikseen sopivaa enkoodausmenetelmää. oo ° 30 m o Ensimmäisessä kiinalaisessa patentissa nro CN1655616 esitetty o ^ menetelmä on virheellinen. Mikäli esitettyä menetelmää käyte tään ilman korjausta, niin sekä audio- että videodata korrup- 6 toituu. Äänessä ja kuvassa havaitaan virheitä. Menetelmän pystyisi kohtalaisen helposti korjaamaan ja täten virheet vältettäisiin, mutta signaalien laatu suhteessa pakkaustehokkuuteen kärsii joka tapauksessa huomattavasti.

5

Toisessa kiinalaisessa patentissa nro CN1599464 esitetty menetelmä näyttää myös pahasti virheelliseltä. Näyttäisi siltä, että tässä menetelmässä joko audiodata tuhoutuu häviöllisessä kvantisointioperaatiossa tai vaihtoehtoisesti videokuvan laatu 10 kärsii huomattavasti.

CN-patenteissa esitetyt lähestymistavat voisi saada pienin muutoksin ja korjauksin toimimaan kohtalaisesti, jos audiodataa on vähän. Kuitenkin, jos audiodataa on paljon, niin joko videon 15 laatu tai pakkaustehokkuus kärsii huomattavasti ja paljon parempi lopputulos saavutettaisiin enkoodaamalla molemmat signaalit erikseen.

Tämän keksinnön tarkoituksena on poistaa edellä mainitut epä-20 kohdat sekä aikaansaada yksinkertainen ja varmatoiminen menetelmä ja järjestely digitaalisten multimediasignaalien tahdistamiseksi. Keksinnön mukaiselle menetelmälle on tunnusomaista se, mitä on esitetty patenttivaatimuksen 1 tunnusmerkkiosassa Φ ja vastaavasti keksinnön mukaiselle järjestelylle on tunnus ti) ° 25 omaista se, mitä on esitetty patenttivaatimuksen 7 tunnusmerk- i ^ kiosassa. Muille keksinnön sovellutusmuodoille on tunnusomaista i se, mitä on esitetty muissa patenttivaatimuksissa.

i cc

CL

Keksinnön mukaisen ratkaisun etuja on esitetty seuraavassa.

S 30 O) o Keksintö mahdollistaa erilaisten riippuvuussuhteiden luomisen

(M

toisistaan erillisten multimediasignaalien välille. Esimerkkinä mainittakoon aikariippuvuus, jota voidaan käyttää multime- 7 diasignaalien tahdistettua esittämistä varten. Keksintö mahdollistaa muun muassa tarkemman, joustavamman ja vikasietoisemman tavan toteuttaa multimediaesitykseen kuuluvien multimediasig-naalien keskinäinen tahdistaminen esitystä varten. Menetelmä 5 mahdollistaa myös monia muita sovellukselle hyödyllisiä lisäominaisuuksia. Toisaalta keksintöä voidaan hyödyntää monella muullakin tavalla. Sen avulla on mahdollista liittää yhteen tai useampaan signaaliin sovellukselle arvokasta lisäinformaatiota. Lisäinformaation avulla eri sovelluksiin voidaan suunnitella 10 helposti toiminnallisuutta ja/tai ominaisuuksia, joiden toteuttaminen ilman keksintöä olisi todella vaivalloista. Esimerkkinä näistä sovelluksista voidaan mainita kuormantasaus, multimediaesityksen pikakelaus, multimediasignaalien priorisointi, jne.

15 Etuna on myös se, että keksintöä voidaan käyttää itsenäisesti sellaisenaan tai jo olemassa olevien standardien menetelmien kanssa rinnakkain. Jälkimmäisessä tapauksessa keksintö tarjoaa muun muassa lisää joustavuutta ja vikasietoisuutta sovellukselle. Se voi parantaa tai varmentaa sovelluksen tarjoamia palve-20 luja tai helpottaa lisätoiminnallisuuksien toteuttamista. Keksintöä voidaan käyttää kaikissa muissakin sovelluksissa jotka hyödyntävät multimediadataa. Sovellus voi olla jo olemassa, tulossa tai vielä kehitteillä.

o o ^ 25 Keksintö mahdollistaa tarkemman ja varmemman toteutustavan i g multimediaesityksen tahdistamiseen eli synkronointiin. Menetel-

J

^ män tarjoama lisäinformaatio on erityisen hyödyllinen tilan- teissä, joissa standardit menetelmät pettävät esimerkiksi mul- Q_ φ timediaesityksen siirrossa tapahtuvien virheiden tai viiveiden o 30 seurauksena tai vaihtoehtoisesti ohjelmisto- tai laitteistovir- σ> § heiden takia.

C\J

8

Keksintö tarjoaa myös tunnettua tekniikkaa tarkemman, joustavamman, varmemman ja vikasietoisemman tavan toteuttaa tahdistus multimediaesityksen eri osien (esim. audion ja videon) välille, sekä ratkaisee ongelmia, joita uudet multimediasovellukset 5 saattavat aiheuttaa aikaleima-tekniikkaa hyödyntävälle audion ja videon synkronoinnille. Keksintö mahdollistaa myös monia hyödyllisiä lisäpalveluita. Se ei sulje pois standardien synkronointimenetelmien hyödyntämistä ja sitä voidaan käyttää myös niiden kanssa rinnakkain, kuten aikaisemmin on jo mainittu.

10

Todella tärkeä etu keksinnölle on sen yhteensopivuus standardien ja jo olemassa olevien menetelmien kanssa. Keksinnön ei tarvitse yrittää korvata vanhoja menetelmiä vaan sovelluksen suunnittelijat ja kehittäjät voivat ottaa sen halutessaan käyt- 15 töön. Mikäli keksinnön kanssa käytetään standardia koodausmenetelmää, joudutaan standardiin menetelmään tekemään yleensä pieni muutos, jotta riippuvuussuhteet saadaan luotua eri signaalien välille.

20 Yhteensopivuus saadaan aikaan, kun keksinnön mukainen upotus- operaatio toteutetaan siten, ettei signaalin jatkokäsittely enkoodausprosessissa muutu. Tällöin enkoodausprosessi tuottaa edelleen standardin mukaisen bittivirran, joka voidaan dekooda-

Qj ta kaikilla standardin mukaisilla dekoodausprosesseilla. Näin o ^ 25 ollen jo olemassa olevat dekoodausprosessit eivät tarvitse i ^ muutoksia. Dekoodausprosessiin on toki tehtävä pieni muutos i ^ niissä tapauksissa, joissa halutaan hyödyntää keksinnön tarjoaja maa toiminnallisuutta.

Q.

00 o 30 Keksintöä voidaan käyttää myös täysin itsenäisesti, ilman jo σ> g olemassa olevia synkronointimenetelmiä. Tässä tapauksessa upo-

CM

tus- ja tunnistusmenetelmät voidaan toteuttaa paljon vapaammin, 9 koska yhteensopivuutta standardien menetelmien kanssa ei vaadita.

Keksinnön mukaisesti käytetyn synkronointiosoittimen vaatima 5 tietomäärä on todella pieni, joten se on helppo upottaa useisiin erilaisiin signaaleihin siten, ettei signaalin laatu oleellisesti heikkene. Mitä tiheämmin synkronointiosoittimia upotetaan sitä varmemmin virhetilanteista pystytään toipumaan ja sitä tarkemmin signaalit voidaan tahdistaa keskenään. Pienen 10 tietomäärän ansiosta multimediaesitykseen voidaan signaalien välisen tahdistuksen lisäksi luoda muitakin lisäarvoa antavia riippuvuussuhteita, esimerkiksi priorisointi.

Virhetilanteissa tahdistustietoa voidaan yrittää etsiä riippu-15 vuussuhteiden avulla myös toisista signaaleista. Perinteisissä menetelmissä esitysaikatieto saadaan aikaleimoista. Tässä uudessa menetelmässä esitysaikatieto voidaan saada esimerkiksi synkronointiosoittimien hyötykuormasta, signaalien ominaisuuksista (esim. käytetty näytteistys), toisista signaaleista, 20 olemassa olevista aikaleimoista tai olemassa olevista otsikkokentistä, ja niin edelleen.

Keksinnön etu tulevaisuuden kannalta on myös sen skaalautuvuus jjj erilaisten sovellusten tarpeisiin. Sitä voidaan hyödyntää sekä 0 ^ 25 pienissä laitteissa, kuten videokamerat ja mobiililaitteet että i § suurissa järjestelmissä, kuten esimerkiksi hajautetut koodaus- i ^ systeemit.

cc

CL

jjq Keksinnön edut standardien menetelmien kanssa käytettynä: o J 30 · toisen tason synkronointi (lisää tarkkuutta ja vikasietoi- cn § suutta)

CU

• lisätoiminnallisuutta/lisäominaisuuksia helppo toteuttaa 1 kommunikointimahdollisuus synkronointiyksiköiden välillä 10

Edut itsenäisesti käytettynä: • ei tarvita standardien menetelmien paketointeja eli voidaan pienentää signaalien paketoinnin otsikkokenttien aiheuttamaa 5 ylikuormaa. Otsikkokenttiä ei välttämättä tarvita, jos tah-distustieto kulkee signaalin sisällä.

• mitä vähemmän tarvitaan datan kapselointia otsikkokenttien sisään koodausprosessin eri vaiheissa sitä vähemmän tarvitsee käyttää bittejä esityksen tallennukseen tai siirtoon.

10 · mobiilisovelluksissa ja matalan bittivirran sovelluksissa tietyt standardit voivat kuormittaa otsikkokentillään varsin paljon kokonaisbittivirtaa • joustava tahdistaminen ja skaalautuvuus pienistä sovelluksista järeisiin ammattilaissovelluksiin.

15

Seuraavassa keksintöä selostetaan yksityiskohtaisemmin yhden sovellutusesimerkin avulla viittaamalla oheisiin piirustuksiin, joissa 20 kuvio 1 esittää yksinkertaistettuna kaaviokuvana eräs tä tunnetun tekniikan mukaista menetelmää mul-timediasignaalien enkoodaamiseksi, kuvio 2 esittää yksinkertaistettuna kaaviokuvana eräs- jjj tä tunnetun tekniikan mukaista menetelmää mul- o g 25 timediasignaalien dekoodaamiseksi, i g kuvio 3 esittää yksinkertaistettuna kaaviokuvana eräs- i ^ tä menetelmää multimediasignaalien enkoodaami- ^ seksi, jossa menetelmässä sovelletaan keksin- 0.

„ nön mukaista ratkaisua, oo o "5 30 kuvio 4 esittää yksinkertaistettuna kaaviokuvana eräs-

lo J

CD

g tä menetelmää multimediasignaalien dekoodaami- c\j seksi, jossa menetelmässä sovelletaan keksinnön mukaista ratkaisua, 11 kuvio 5 esittää yksinkertaistettuna kaaviokuvana kek sinnön mukaista upotusyksikköä ja enkoodaus-vaiheen synkronointiyksikköä, kuvio 6 esittää yksinkertaistettuna kaaviokuvana kek- 5 sinnön mukaista tunnistusyksikköä ja dekooda usvaiheen synkronointiyksikköä, kuvio 7 esittää yksinkertaistettuna kaaviokuvana eräs tä enkooderia, jossa käytetään keksinnön mukaista ratkaisua ja 10 kuvio 8 esittää erästä synkronointitiedon upotusmene telmää .

Kuten aikaisemmin on mainittu, keksinnön pääkäyttökohteena voidaan ajatella olevan digitaalisen multimediaesityksen synk-15 ronointi eli tahdistaminen. Tarkoituksena on tällöin, että erillisten multimediasignaalien tahdistustieto voidaan tallentaa, ylläpitää ja säilyttää multimediaesityksen luomishetkestä alkaen esityshetkeen asti.

20 Kuviossa 1 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien enkoodaamiseksi. Kuviossa on esitetty videosignaalin 1 ja audiosignaalin 2 enkoodaaminen. Videosignaali 1 enkoodataan eli ^ pakataan aluksi erikseen videoenkooderilla 3 ja audiosignaali 2 o ^ 25 audioenkooderilla 4. Tämän jälkeen enkoodattu videosignaali 1 i g pilkotaan ja paketoidaan videopaketeiksi la (Video PES) ja i ^ enkoodattu audiosignaali audiopaketeiksi 2a (Audio PES). Pakein toinnin yhteydessä jokaisen paketin la ja 2a yhteyteen liite- □_ _ tään otsikkodataa, joka sisältää mm. aikatiedon, jonka avulla 00 J o J 30 signaalit voidaan synkronoida niitä purettaessa. Lopuksi molem- σ> o mat paketit yhdistetään yhdeksi bittivirraksi multiplekserin 5a c\j tai 5b avulla. Bittivirtaa yhdistettäessä siitä tehdään tyypiltään joko ohjelmavirta 6a (Program Stream eli PS) tai siirto- 12 virta 6b (Transport Stream eli TS) riippuen siitä miten sitä on tarkoitus käyttää. Esimerkiksi DVD-levylle tallennettava data on tyypiltään PS ja digi-tv-lähetys TS.

5 Kuviossa 2 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien dekoodaamiseksi. Aluksi purettavasta datavirrasta (PS tai TS) erotellaan eri videopaketit la ja audiopaketit 2a demultiplek-serin 7 avulla. Tämän jälkeen videopaketit la dekoodataan vi-10 deodekooderin 9 avulla ja audiopaketit audiodekooderin 10 avulla. Pakettien otsikkodatassa olevien aikatietojen sekä aikaoh-jaimen 8 avulla signaalit saadaan synkronoitua, jolloin ulostu-levat videokuva 11 sekä ääni 12 toistuvat keskenään oikea-aikaisesti.

15

Kuviossa 3 on esitetty yksinkertaistettuna kaaviokuvana menetelmä multimediasignaalien enkoodaamiseksi, jossa menetelmässä käytetään keksinnön mukaista ratkaisua signaalien tahdistamiseksi. Menetelmä on muuten samanlainen kuin tunnettu MPEG-2-en-20 koodaus, joka kuvattiin kuviossa 1, lukuun ottamatta synk-ronointitietojen lisäämistä itse multimediasignaaleihin. Tässä menetelmässä käytetään synkronointiyksikköä 25, joka saa video-enkooderilta 23 ja audioenkooderilta 24 tarvittavat tiedot, o, joiden avulla se määrittää synkronointitiedot ja palauttaa ne o ^ 25 enkoodereille. Videoenkoodereissa 23 on kuvasignaalin upotusyk- i ^ sikkö 26a ja audioenkooderissa 24 on äänisignaalin upotusyksik- i ^ kö 26b. Upotusyksiköt 26a ja 26b upottavat synkronointitiedot multimediasignaaleina oleviin datasignaaleihin 21 ja 22. Synk-

CL

ronointitietojen upottaminen signaaleihin on kuvattu tarkemmin o J 30 jäljempänä. Upotuksen jälkeen signaalit pilkotaan paketeiksi σ> § 21a ja 22a ja paketit yhdistetään bittivirraksi 28a tai 28b C\1 multiplekserin 27a tai 27b avulla.

13

Kuviossa 4 on esitetty yksinkertaistettuna kaaviokuvana tunnetun MPEG-2 standardin mukainen menetelmä multimediasignaalien dekoodaamiseksi, jossa menetelmässä käytetään keksinnön mukaista ratkaisua signaalien tahdistamiseksi. Aluksi purettavasta 5 datavirrasta (PS tai TS) erotellaan eri videopaketit 21a ja audiopaketit 22a demultiplekserin 29 avulla. Tämän jälkeen videopaketit 21a dekoodataan videodekooderin 31 avulla ja audiopaketit 22a audiodekooderin 32 avulla. Dekoodereissa on tunnistusyksiköt 33a ja 33b, jotka purkavat paketteihin upote-10 tut synkronointitiedot ja lähettävät ne synkronointiyksikölle 34. Synkronointiyksikön 34 sekä aikaohjaimen 30 avulla signaalit saadaan synkronoitua, jolloin ulostulevat videokuva 35 sekä ääni 36 toistuvat keskenään oikea-aikaisesti.

15 Kuviossa 5 on esitetty yksinkertaistettuna kaaviokuvana keksin-nönmukainen upotusyksikkö 26a, 26b sekä enkoodausvaiheen synk- ronointiyksikkö 25. Videosignaalin upotusyksikössä 26a ja audiosignaalin upotusyksikössä 26b on upotusvälineet 37, joiden avulla upotusyksikössä 26a, 26b käsiteltävää multimediasignaa- 20 Iin palaa 21b muutetaan siten, että synkronointiyksiköltä 25 saatava synkronointiosoitin 38 saadaan upotetuksi signaalin palaan 21b. Signaalin palaan 21b tehdyt muutokset siis kuvaavat synkronointiosoittimen 38 sisältämää informaatiota. Upotusväli- jjj neet 3 7 ovat eri signaalityypeille erilaiset. Tietylle signaa- o ^ 25 lityypille on oltava kyseiselle signaalityypille sopivat upo- i ^ tusvälineet. Upotusyksikkö 26a, 26b kommunikoi siis synkronoin- ^ tiyksikön 25 kanssa pyytäen siltä esimerkiksi uutta synkronointi tiosoitinta 38 upotettavaksi tai lupaa jatkaa enkoodaustoimen- Q.

piteitä ilman uutta synkronointiosoitinta 38. Synkronoin-o J 30 tiosoittimia 38 ei välttämättä laiteta joka kohtaan, vaan aino- σ> § astaan synkronointiyksikön 25 ehdottamiin kohtiin. Upotusyksi- c\j kön 26a, 26b käsittelyn jälkeen muokattu signaalin pala 21c lähetetään eteenpäin.

14

Synkronointiyksikkö 25 siis tahdistaa eri enkoodausprosessit toimimaan samanaikaisesti. Se saa synkronointiin tarvittavan aikatiedon 40 joko ulkopuolisesta lähteestä tai järjestelmään 5 sisältyvän kellon ajasta. Synkronointiyksikköön 25 sisältyy synkronointivälineet 39, joiden avulla itse synkronointi tapahtuu. Synkronointivälineet 39 käyttävät yleisesti tunnettuja menetelmiä erityyppisten signaalien synkronointiin. Synkronointivälineet 39 voivat esimerkiksi viivästyttää tiettyjen enkoo-10 derien etenemistä siihen asti, kunnes hitaammat enkooderit ovat päässeet samaan vaiheeseen. Ne voivat myös antaa enemmän las-kenta-aikaa hitaammille enkoodereille, esimerkiksi videoenkoo-dereille. Synkronointiyksikkö 25 voi sisältää lisäksi kommunikointivälineet 41, joiden avulla se voi olla yhteydessä muihin 15 synkronointiyksiköihin, jos järjestelyssä sellaisia käytetään. Kommunikointi on tarpeellista silloin, kun synkronointiyksiköi-tä 25 on käytössä enemmän kuin yksi.

Kuviossa 6 on esitetty yksinkertaistettuna kaaviokuvana keksin- 20 nonmukainen tunnistusyksikkö 33a, 33b sekä dekoodausvaiheen synkronointiyksikkö 34. Videotunnistusyksikössä 33a ja audio- tunnistusyksikössä 33b on tunnistusvälineet 42, joiden avulla signaalin palaan upotettu informaatio eli synkronointiosoitin ^ voidaan tunnistaa ja lukea käsiteltävänä olevasta signaalin o ^ 25 palasta 21d. Synkronointiosoittimen informaatio välitetään i g synkronointiyksikölle 34, jossa on synkronointivälineet 43 eri i signaalien synkronoimiseksi. Tunnistusyksikkö 33a, 33b ja synkin ronointiyksikkö 34 kommunikoivat keskenään siten, että tunnis- Q.

tusyksikkö lähettää synkronointiyksikölle synkronointiosoitti- o . . , , 30 mia 38 ja ellei synkronomtiosoitmta ole kyseisellä hetkellä O) , o annettavana, tunnistusyksikkö 33a, 33b voi pyytää synkronoin ee tiyksiköltä 34 lupaa jatkaa dekoodaustoimenpiteitä. Synkronointiyksikkö 34 antaa luvan jatkaa dekoodausta ja voi myös pyytää 15 tietyissä tapauksissa, että dekoodausprosessi, johon tunnis-tusyksikkö on liitetty lopettaa toimintansa. Tällainen pyyntö voi olla tarpeen esimerkiksi sovelluksissa, joissa ei ole käytössä riittävästi laskentatehoa jokaisen signaalin dekoodaami-5 seen, jolloin voidaan dekoodata vain osa signaaleista.

Synkronointiyksikkö 34 voi sisältää lisäksi kommunikointivälineet 44, joiden avulla se voi olla yhteydessä muihin synk-ronointiyksiköihin, jos järjestelyssä sellaisia käytetään. 10 Lisäksi synkronointiyksikkö 34 voi välittää esitysaikatietoa 45 ulkopuolisten operaatioiden käyttöön, jos sellaiselle on tarvetta .

Kuviossa 7 on esitetty yksinkertaistettuna kaaviokuvana yksi 15 osa kuvamateriaalia pakkaamaan soveltuvan enkooderin toiminnoista, jossa enkooderissa käytetään keksinnön mukaista menetelmää. Kuvadatan kuvapisteet eli pikselit on yleensä esitetty RGB-väriavaruudessa. Usein suoritetaan aluksi väriavaruuden muunnos RGB-avaruudesta YCbCr-avaruuteen, jonka jälkeen teh- 20 dään krominanssikomponettien Cb ja Cr alinäytteistys. Tämän jälkeen käsiteltävä kuvamateriaali paloitellaan segmentointi-vaiheessa 46 tietyn kokoisiin lohkoihin. Jokainen värikompo-nentti Y, Cb ja Cr käsitellään erikseen KxL pisteen lohkoina, ^ jossa K on lohkon korkeus ja L lohkon leveys. Yleisimmin käy- o ^ 25 tetty lohkokoko on nykyään 8x8 kuvapistettä. Jokainen signaalin i g pala muodostuu yhdestä tai useammasta lohkosta. Segmentoinnin i ^ jälkeen jokaiselle KxL kuvapisteen lohkolle tehdään diskreetti g kosinimuunnos 47, jonka avulla käsiteltävästä lohkosta saadaan jokaiselle kuvapisteelle lasketut muunnoskertoimet.

S 30 σ> § Tämän jälkeen tehdään muunnoskertoimien kvantisointi 48, jol- c\j loin suurin osa muunnoksen tuottamista kertoimista nollaantuu. Seuraavaksi suoritetaan synkronointitiedon ja mahdollisen muun 16 hyötykuormatiedon upotus upotusyksikön 26a ja synkronointiyksi-kön 25 avulla. Lopuksi tehdään zigzag-skannaus 49, minkä jälkeen vielä muodostetaan 2-ulotteinen juoksunpituuskoodi sekä entropiakoodausvaiheessa 50 kirjoitetaan esimerkiksi 2-ulottei-5 set koodiparit Huffman-koodeina tai vastaavina bittivirtaan. Upotusvaihe on sijoitettu kvantisointivaiheen 48 jälkeen sen takia, koska kvantisoinnissa on paljon häviötä. Jos upotus tehtäisiin sitä ennen, kvantisointi voisi muuttaa dataa niin, että dekoodausvaiheessa synkronointidataa ei enää tunnistettai-10 si. Jos upotus halutaan tehdä ennen kvantisointia, on huomioitava, että upotettu informaatio säilyy kvantisoinnin yli. Tämä voidaan toteuttaa muuttamalla hieman upotusmenetelmää. Sen sijaan upotusvaihe voidaan tehdä hyvin myös zigzag-skannauksen 49 jälkeen, jolloin häviöongelmaa ei ole. Synk-15 ronointiosoittimen 38 upotus on kuitenkin tehtävä viimeistään ennen dekoodausvaihetta.

Kuviossa 8 on esitetty yksi menetelmä, ns. Changing Parity-me-netelmä synkronointitiedon upottamiseksi multimediasignaaliin 20 eli tarkemmin multimediasignaalin palaan. Tässä menetelmässä on ideana muuttaa tarvittaessa laskettuja, nollasta poikkeavia muunnoskertoimia kohti nolla-arvoa joko parittomiksi tai parillisiksi luvuiksi riippuen upotettavasta informaatiosta, eli ^ esimerkiksi tässä tapauksessa synkronointiosoittimesta.

o o 2 5

CM

g Esimerkin mukainen upotusmenetelmä lisää binääri-informaatiota i ^ yhden bitin muunnoskerrointa kohti. Muunnoskertoimista tärkein g on ensimmäinen, eli ns. DC-termi, koska se kuvaa koko KxL loh-

CL

m kon painotettua keskiarvoa. Tästä syystä sitä ei haluta käyttää o 30 upotuksessa ja siksi menetelmässä käytetään ns. sovittua toi-σ> g mintaväliä [M, N], joka alkaa sovitusta M:nnestä kertoimesta

CM

eli alkiosta eteenpäin ja jossa on sovittu määrä kertoimia N:nteen kertoimeen saakka. Tarve muuttaa muunnoskertoimia upo- 17 tuksen yhteydessä riippuu upotettavasta informaatiosta. Sovelluskohtaisesti tehdään sopimus siitä, mitä toimintaväliä [M, N] käytetään ja paljonko bittejä upotettava synkronointiosoitin sisältää. Synkronointiosoitin voi sisältää mm. tunnistetiedon 5 ja hyötykuormatiedon. Samoin tehdään sopimus myös synkronoin-tiosoittimen bittiesitykselle, esimerkiksi tässä esimerkissä on sovittu, että synkronointiosoittimen bitti "1" vastaa paritonta lukua ja bitti "0" vastaa parillista lukua.

10 Kuvion 8 ensimmäisellä kerroinrivillä on esitetty koodattuna yksi kuvalohko kvantisointivaiheen 48 jälkeen. Kun kuvalohkona on KxL kuvapistettä, on siitä laskettuja koodattuja muunnosker-toimia, eli alkioita kaikkiaan K*L kappaletta. Esimerkiksi 8x8 kokoisessa lohkossa on 64 muunnoskerrointa. Kuviossa 8 on esi-15 tetty muunnoskertoimista ensimmäinen ja viimeinen sekä muutamia kertoimia näiden väliltä. Toisella kerroinrivillä on esitetty toimintaväli [M, N], jolle upotus tehdään. Vastaavasti alimmalla kerroinrivillä on esitetty muunnoskertoimet upotuksen jälkeen .

20

Esimerkissä upotetaan seuraavat neljä bittiä: 1, 1, 0 ja 0 toimintaväline [M, N] alkaen kertoimesta M, jonka arvo on -6. Koska ensimmäinen upotettava bitti on "1", joka siis vastaa ^ paritonta lukua, on kerroin -6 muutettava parittomaksi ja nol- o g 25 lan suuntaan, siis kertoimeksi -5. Toinenkin upotettava bitti i g on "1", jolloin seuraavaa kerrointa eli kerrointa 3 ei tarvitse i ^ muuttaa, koska se on valmiiksi pariton. Kolmas kerroin on 0,

g joten sitä ei oteta huomioon. Neljäs kerroin kertoimesta M

CL

alkaen on -5, mutta seuraava upotettava bitti on "0", joka o J 30 vastaa sopimuksen mukaan parillista lukua, joten kerroin -5 on O) g muutettava nollaan päin luvuksi -4. Seuraava kerroin on taas 0,

(M

jota ei oteta huomioon ja viimeistä upotettavaa bittiä vastaava kerroin on 2, joka on jo valmiiksi parillinen, jolloin sitä ei 18 tarvitse muuttaa. Näin toimintavälillä [M, N] nollasta poikkeavat kertoimet muuttuivat seuraavasti:

Ennen upotusta: ...-6 3 0 -5 0 2 ... 1 -1 5 Upotuksen jälkeen: ...-5 30-402 ... 1-1 Tämä upotusmenetelmä siis muuttaa kertoimien arvoja synkronoin-tiosoittimen bittiesityksen mukaan tarvittaessa joko parittomiksi tai parillisiksi arvoiksi. Muutos täytyy tehdä vain sil-10 loin, kun synkronointiosoittimen bittiesitys ei vastaa pariteettia. Muutos tehdään lisäksi kohti nolla-arvoa, koska pienemmän lukuarvon kirjoittaminen bittivirtaan vie yleensä vähemmän bittejä. Kertoimet 1 ja -1 ovat poikkeuksia, sillä niitä ei voi muuttaa nolla-arvoiksi, koska tällöin tunnistusmenetelmä ei 15 osaisi niitä tunnistaa. Tästä syystä kertoimet 1 ja -1 muutetaan tarvittaessa arvoiksi 2 ja -2.

Tunnistusvaiheessa dekoodauksen yhteydessä tarkastellaan yksinkertaisesti kertoimesta M alkaen neljää nollasta eroavaa ker-20 rointa ja niiden arvoista päätellään ennalta sovitun mukaisesti upotetut neljä bittiä. Toimintavälillä [M, N] on upotuksen jälkeen seuraavat kertoimet: ^ Upotuksen jälkeen: ...-5 30-402 ... 1-1 o o 2 5

(M

g Niistä saadaan: -5, pariton => 1 i ^ 3, pariton => 1 -4, parillinen => 0

CL

2, parillinen => 0 S 30 O) g eli sama kuin upotettu koodi: 1100.

C\1 19

Yhteisenä asiana edellä selostetulle on se, että keksinnön pääideana on upottaa vähintään kahteen tai useampaan multime-diasignaalin palaan 21b niin sanottuja synkronointiosoittimia 38, jotka sisältävät ainakin tietyn tunnistetiedon ja tarpeen 5 mukaan myös hyötykuorman. Yleensä toisiaan vastaavat signaalin palat eli vastinosat ovat eri multimediasignaaleissa ainakin signaalien välisessä synkronoinnissa. Tällöin vastinosat ovat esimerkiksi videosignaalissa 21 ja audiosignaalissa 22. Multimediaesityksen pikakelaussovelluksessa vastinosia voi olla myös 10 ainoastaan yhdessä signaalissa, eli esimerkiksi pelkästään videosignaalissa 21.

Synkronointiosoittimen 38 tunnistetiedon avulla merkitään vas-tinosien välinen riippuvuussuhde eli eri vastinosat liitetään 15 toisiinsa upottamalla niihin sama tunnistetieto. Dekoodaussys-teemi pystyy tunnistamaan ja lukemaan upotetut tunnistetiedot. Tunnistetiedon perusteella dekoodaussysteemi pystyy päättelemään mitkä palat eri signaaleissa sisältävät saman tunnistetiedon ja siten vastaavat toisiaan. Käytössä olevat riippuvuussuh-20 teet, tunnistetiedot ja hyötykuormat ovat sovelluskohtaisia sopimuksia jotka on tehtävä enkoodaus- ja dekoodaussysteemiä suunniteltaessa.

^ Alan ammattimiehelle on selvää, ettei keksintö rajoitu edellä o g 25 esitettyyn esimerkkiin, vaan voi vaihdella jäljempänä esitettä- i ^ vien patenttivaatimusten puitteissa. Niinpä esimerkiksi upotus- i ^ menetelmänä voidaan käyttää mitä tahansa muutakin menetelmää kuin esimerkissä kerrottu menetelmä.

Q.

00 o [jf 30 Alan ammattimiehelle on myös selvää, että upotus voidaan tehdä σ> g muussakin kohdassa enkoodausta kuin suoraan kvantisoinnin jäl-

C\J

keen. Se voidaan tehdä myös ennen kvantisointia tai yksi tai useampi vaihe kvantisoinnin jälkeen. Tärkeintä on, että käyte- 20 tään aina tietylle signaalille ja koodausprosessille soveltuvaa upotusmenetelmää eli menetelmää joka pystyy takaamaan sen, että upotettu tieto pystytään tunnistamaan ja lukemaan vastaanotto-tai esityspäässä. Käytettävä upotusmenetelmä voidaan suunnitel-5 la ja toteuttaa mihin tahansa kohtaan multimediaesityksen luo-mishetkestä sen esityshetkeen asti.

σ> o o

CM

o

X

DC

CL

00 o

LO

O)

O

o

CM

Claims (13)

1. Menetelmä digitaalisten multimediasignaalien synkronoimisek- si, jossa menetelmässä multimediasignaalit (21, 22) ainakin 5 enkoodataan joukoksi multimediasignaalin paloja (21b), dekoodataan ja synkronoidaan, tunnettu siitä, että kahteen tai useampaan multimediasignaalin palaan (21b) upotetaan synkronointiin tarvittavaa informaatiota, eli synkronointiosoitin (38) ennen dekoodausvaihetta. 10

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että synkronointiosoitin (38) sisältää ainakin tunnistetiedon, jonka avulla merkitään halutut multimediasignaalin palat (21b) riippuvuussuhteeseen toisiinsa nähden upottamalla niihin sama 15 tunnistetieto.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että samansisältöinen synkronointiosoitin (38) upotetaan vähintään kahdessa eri multimediasignaalissa (21, 22) olevaan 20 multimediasignaalin yhteen tai useampaan palaan (21b).

4. Jonkin edellä olevan patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että synkronointiosoittimen (38) upotuksen 0 yhteydessä multimediasignaalin paloihin (21b) upotetaan hyötyni 25 kuormatieto. i O

5. Jonkin edellä olevan patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että synkronointiosoitin (38) upotetaan multi- CL mediasignaalin palaan (21b) enkoodausvaiheessa kvantisointivai-o J 30 heen (48) tai vastaavan vaiheen jälkeen. σ> o o c\j

6. Jonkin edellä olevan patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että kuhunkin multimediasignaalin palaan (21b) upotetun synkronointiosoittimen (38) informaatio tunnistetaan viimeistään dekoodauksen yhteydessä tunnistusyksikön (33a, 33b) avulla. 5

7. Järjestely digitaalisten multimediasignaalien synkronoimi-seksi, johon järjestelyyn kuuluu ainakin yksi enkooderi (23, 24), jossa multimediasignaalit ainakin enkoodataan joukoksi multimediasignaalin paloja (21b), ja ainakin yksi dekooderi (31, 32), jossa multimediasignaalit dekoodataan, tunnettu sii-10 tä, että järjestelyyn on kytketty ennen dekooderia (31, 32) ainakin yhteen multimediasignaaliin (21, 22) vaikuttava synk- ronointiyksikkö (25) multimediasignaalin palaan (21b) upotettavalle informaatiolle eli synkronointiosoittimelle (38) soveltuvan upotusyksikön (26a, 26b) välityksellä. 15

8. Patenttivaatimuksen 7 mukainen järjestely, tunnettu siitä, että synkronointiyksikkö (25) on kytketty enkooderiin (23, 24) upotusyksikön (26a, 26b) välityksellä, joita upotusyksiköitä (26a, 26b) on ainakin yksi kutakin käsiteltävää multimediasig- 20 naalia (21, 22) varten.

9. Patenttivaatimuksen 7 tai 8 mukainen järjestely, tunnettu siitä, että upotusyksikössä (26a, 26b) on ainakin upotusväli- 0 neet (37) synkronointiyksiköltä (25) saatavan synkronoin- ^ 25 tiosoittimen (38) upottamiseksi multimediasignaalin palaan S (21b). l''·. C\J

10. Patenttivaatimuksen 7, 8 tai 9 mukainen järjestely, tunnet- CL tu siitä, että synkronointiosoitin (38) sisältää ainakin tun-o J 30 nistetiedon, jonka avulla halutut multimediasignaalin palat O) g (21b) joko yhdessä tai useammassa multimediasignaalissa (21, C\] 22. on järjestetty merkittäväksi riippuvuussuhteeseen toisiinsa nähden upottamalla niihin sama tunnistetieto.

11. Jonkin edellä olevan patenttivaatimuksen 7-10 mukainen järjestely, tunnettu siitä, että synkronointiosoitin (38) sisältää hyötykuormatiedon, joka on järjestetty upotettavaksi 5 multimediasignaalin paloihin (21b) tunnistetiedon upotuksen yhteydessä.

12. Jonkin edellä olevan patenttivaatimuksen 7-11 mukainen järjestely, tunnettu siitä, että upotusyksikkö (26a, 26b) on 10 kytketty enkooderiin (23, 24) kvantisointivaiheen (48) tai vastaavan vaiheen jälkeen.

13. Jonkin edellä olevan patenttivaatimuksen 7-12 mukainen järjestely, tunnettu siitä, että dekooderin (31, 32) yhteyteen 15 on kytketty tunnistusvälineillä (42) varustettu tunnistusyksik-kö (33a, 33b) ainakin yhtä käsiteltävää multimediasignaalia varten, joka tunnistusyksikkö (33a, 33b) on järjestetty tunnistamaan kuhunkin multimediasignaalin palaan (21b) upotetun synk-ronointiosoittimen (38) informaatio dekoodauksen yhteydessä. o δ CM o l·'·. CM X CC CL CO o m σ> o o CM