FI105634B - Menetelmä videokuvien siirtämiseksi, tiedonsiirtojärjestelmä ja multimediapäätelaite - Google Patents

Description

1 105634

Menetelmä videokuvien siirtämiseksi, tiedonsiirtojärjestelmä ja multi-mediapäätelaite

Nyt esillä oleva keksintö kohdistuu oheisen patenttivaatimuksen 1 joh-5 danto-osan mukaiseen menetelmään videokuvien siirtämiseksi, oheisen patenttivaatimuksen 9 johdanto-osan mukaiseen tiedonsiirtojärjestelmään ja oheisen patenttivaatimuksen 10 johdantö-osan mukaiseen multimediapäätelaitteeseen.

10 Multimediasovelluksissa siirretään mm. videokuvainformaatiota, audioinformaatiota ja datainformaatiota lähettävän ja vastaanottavan multi-mediapäätelaitteen välillä. Datan siirrossa käytetään esimerkiksi Inter-net-tietoverkkoa tai muuta tiedonvälitysjärjestelmää, kuten yleistä kyt-kentäistä televerkkoa (GSTN, General Switched Telephone Network). 15 Lähettävänä multimediapäätelaitteena on esimerkiksi multimediapalveluita tarjoavan yrityksen tietokone, jota yleisesti nimitetään myös palvelimeksi. Lähettävän ja vastaanottavan multimediapäätelaitteen välinen tiedonsiirtoyhteys muodostetaan Internet-tietoverkossa reitittimen kautta. Informaation siirto voi olla myös kaksisuuntaista, jolloin sama 20 multimediapäätelaite toimii sekä lähettävänä että vastaanottavana päätelaitteena. Eräs tällainen multimediasovellusten siirtoa esittävä järjestelmä on esitetty oheisessa kuvassa 1. Kansainvälisen telealan standardointijärjestön ITU (International Telecommunication Union) standardiesityksessä H.324 (7.4.1998) on esitetty erään tällaisen mul-25 timediapäätelaitteen määrityksiä.

» ·

Informaatiolähteenä voi olla edullisesti videosovellus, audiosovellus, datasovellus tai näiden yhdistelmä, joista tässä selityksessä käytetään yhteistä nimitystä multimediasovellus. Multimediasovelluksessa multi-30 mediapäätelaitteen käyttäjä valitsee haluamansa tietolähteen sijainnin, jolloin järjestelmässä muodostetaan tiedonsiirtoyhteys valitun tiedon • hakupaikan ja käyttäjän multimediapäätelaitteen välille. Tiedon siirtämi sessä käytetään tyypillisesti tietokehyksiä, joissa informaatio välitetään digitaalisessa muodossa. Eri tyyppisistä tietolähteistä muodostetaan 35 edullisesti kustakin omat tietokehykset tai yhteen tietokehykseen voidaan joissakin tilanteissa liittää kahden tai useamman eri tietolähteen tietoa. Tietokehykset välitetään tiedonsiirtojärjestelmässä käyttäjän • · · « 2 105634 multimediapäätelaitteeseen. Käytännön sovelluksissa nämä tietokehyk-set ovat ajallisesti lomiteltuina, jolloin varsinainen tiedonsiirtovirta muodostuu eri sovellusten tietokehyksistä ajallisesti erotettuina. Kehitteillä on myös järjestelmiä, joissa eri tyyppisille sovelluksille varataan oma 5 looginen tiedonsiirtokanava, jotka käyttävät esim. eri taajuuksia, tai CDMA-pohjaisissa järjestelmissä eri koodiavaimia. Käytännössä tällaisten tiedonsiirtojärjestelmien tiedonsiirtokapasiteetti on rajallinen johtuen mm. siitä, että tiedonsiirtokanava on fyysisesti kaistarajoitettu ja samanaikaisesti voi olla useita tiedonsiirtoyhteyksiä, jolloin minkään tie-10 donsiirtoyhteyden käyttöön ei voida antaa koko tiedonsiirtojärjestelmän kapasiteettia. Pelkissä audiosovelluksissa tämä ei yleensä muodosta merkittävää haittatekijää, koska siirrettävän informaation määrä on suhteellisen pieni. Sen sijaan videoinformaation välityksessä tämä rajoitettu kaista asettaa suuret vaatimukset tiedonsiirtojärjestelmälle.

15

Multimediasovellusten käyttöä on kehitetty myös ns. alhaisen bittino-peuden tiedonsiirtojärjestelmissä, jolloin tiedonsiirtonopeudet ovat luokkaa 64 kbit/s tai pienempiä.

20 Videosovelluksena voi olla TV-kuva, videonauhoittimella muodostettu kuva, tietokoneanimaatio, jne. Yksi videokuva koostuu vaakariveiksi ja pystysarakkeiksi järjestetyistä kuvaelementeistä (pikseleistä, pixel), joiden lukumäärä yhdessä kuvassa on tyypillisesti kymmeniä tuhansia. Lisäksi kunkin kuvaelementin osalta muodostettu informaatio sisältää 25 mm. kuvaelementin kirkkaustiedon (luminanssi) tyypillisesti kahdeksan bitin resoluutiolla ja värisovelluksissa myös värikkyystiedon, esimerkiksi krominanssisignaalin. Tämä krominanssisignaali koostuu vielä kahdesta komponentista Cb ja Cr, jotka välitetään kahdeksan bitin resoluutiolla. Näiden luminanssi- ja krominanssiarvojen perusteella vastaanot-30 topäässä on muodostettavissa alkuperäistä kuvaelementtiä vastaava informaatio multimediapäätelaitteen näyttöelimelle. Kunkin kuvaele-mentin osalta siirrettävän informaation määrä on mainitussa esimerkkitapauksessa 24 bittiä kompressoimattomana.. Kokonaisinformaa-tiomäärä yhden kuvan osalta on tällöin useita megabittejä. Liikkuvaa 35 kuvaa siirrettäessä lähetetään useita kuvia sekunnissa, esimerkiksi TV-kuvassa välitetään 25 kuvaa sekunnissa. Ilman informaation määrän supistamista siirrettävän informaation määrä olisi siis useita kymmeniä • · > 3 105634 megabittejä sekunnissa. Kuitenkin esimerkiksi Internet-tietoverkossa saattaa tiedonsiirtonopeus olla luokkaa 64 kilobittiä sekunnissa, mikä tekee mahdottomaksi reaaliaikaisen kuvansiirron tämän verkon välityksellä.

5 • Siirrettävän informaatiomäärän pienentämiseksi on kehitetty erilaisia kompressiomenetelmiä, kuten MPEG (Motion Picture Experts Group). Videokuvan välityksessä kompressointi voidaan suorittaa joko kehysten välisenä kompressointina (Interframe Compression), kehyksen sisällä 10 suoritettavana kompressointina (Intraframe Compression) tai näiden yhdistelmänä. Kehysten välisessä kompressoinnissa pyritään eliminoimaan perättäisissä kuvakehyksissä olevaa redundanttista tietoa. Yleensä kuvat sisältävät paljon tällaista muuttumatonta tietoa, esimerkiksi liikkumaton tausta tai hitaasti muuttuvaa tietoa, esimerkiksi koh-15 teen liikkuessa hitaasti. Kehysten välisessä kompressoinnissa voidaan hyödyntää myös liikekompensointia, jolloin pyritään havaitsemaan sellaisia suurempia osia kuvasta, jotka liikkuvat, jolloin tämän kokonaisuuden liikevektori välitetään sen sijaan, että lähetettäisiin koko kokonaisuutta kuvaavat pikselit. Tällöin selvitetään kyseisen kohteen liike-20 suunta ja nopeus, joiden perusteella tämä liikevektori muodostetaan. Kompressointi edellyttää lähettävältä ja vastaanottavalta multimedia-päätelaitteelta niin suurta laskentanopeutta, että kompressointi ja de-kompressointi voidaan suorittaa reaaliaikaisesti.

25 Useissa kuvantiivistystekniikoissa suoritetaan digitaaliseen muotoon muunnetulle kuvasignaalille diskreettikosinimuunnos (DCT, Discrete ·

Cosine Transform) ennen kuvasignaalin lähettämistä siirtotielle tai tallentamista tallennusvälineisiin. DCT-muunnoksella voidaan laskea jaksollisen signaalin taajuusspektri eli siirtyä aikatasosta taajuustasoon. 30 Sana diskreetti tarkoittaa tässä yhteydessä sitä, että muunnoksessa käsitellään jatkuvien funktioiden sijasta erillisiä pisteitä (kuva-alkioita).

- Kuvasignaalissa peräkkäisillä kuva-alkioilla on tyypillisesti suuri keski- näinen korrelaatio. DCT-muunnoksen eräänä ominaisuutena on, että DCT-muunnoksen tuloksena muodostuvat kertoimet ovat käytännöin-35 sesti katsoen korreloimattomia, joten DCT-muunnos suorittaa tehokkaasti kuvasignaalin muuntamisen aikatasosta taajuustasoon.

• · 4 105634

Kun diskreettiä kosinimuunnosta käytetään yksittäisen kuvan tiivistämiseen, tarvitaan 2-ulotteista muunnosta. Ajan sijasta muuttujina ovat kuvan leveys- ja korkeuskoordinaatit X ja Y. Taajuus ei ole myöskään tavanomaiseen tapaan jaksojen määrä sekunnissa, vaan se kuvaa esim.

5 luminanssin muutosnopeutta paikkakoordinaattien X, Y suunnassa. Tätä kutsutaan spatiaaliseksi taajuudeksi.

Runsaasti hienojakoisia yksityiskohtia sisältävässä kuvassa esiintyy suuria spatiaalisia taajuuksia. Esimerkiksi kuvassa olevat samansuun-10 täiset viivat vastaavat sitä suurempaa taajuutta, mitä tiheämmässä ne ovat. Diagonaalisuuntaisia, tiettyä rajaa suurempia taajuuksia voidaan kuvan käsittelyssä kvantisoida enemmän ilman, että kuvan laatu havaittavasti kärsii.

15 MPEG-2 -kompressoinnissa DCT-muunnos tehdään lohkoittain siten, että lohkokoko on 8 x 8 kuvapistettä. Muunnettava luminanssitaso on täydessä resoluutiossa. Molemmat krominanssisignaalit alinäytteiste-tään, esim. 16x16 kuvapisteen kokoinen alue alinäytteistetään 8x8 kuvapisteen kokoiseksi alueeksi. Erot lohkojen koossa johtuvat lähinnä 20 siitä, että silmä havaitsee huonommin värikkyyden kuin kirkkauden muutokset, jolloin 2x2 kuvapisteen kokoinen alue koodataan samalla värikkyysarvolla.

MPEG-2 standardissa on määritetty kolme kuvatyyppiä: l-kuva (Intra), 25 P-kuva (Predicted), ja B-kuva (Bidirectional), l-kuva muodostetaan pel-kästään kuvassa itsessään olevan informaation perusteella, jolloin vastaanottopäässä tästä l-kuvasta voidaan muodostaa koko kuva. P-kuva muodostetaan lähimmän aikaisemman l-kuvan tai P-kuvan perusteella, jolloin vastaanottovaiheessa käytetään vastaavasti edeltävää Ι-ΒΟ kuvaa tai P-kuvaa yhdessä vastaanotetun P-kuvan kanssa. P-kuvien muodostuksessa käytetään mm. liikekompensointia informaatiomäärän ’j pienentämiseksi. B-kuvat muodostetaan edeltävän l-kuvan ja seuraa- van P- tai l-kuvan perusteella. Vastaavasti vastaanottovaiheessa B-kuva saadaan muodostettua vasta siinä vaiheessa, kun vastaavat l-kuva 35 ja P-kuva on vastaanotettu. Lähetysvaiheessa vielä vaihdetaan näiden P- ja B-kuvien järjestystä, jolloin vastaanotetaan ensin B-kuvan jälkeinen P-kuva, mikä nopeuttaa kuvan rekonstruointia vastaanottimessa.

* 5 105634 B-kuvien kompressoinnissa päästään suurimpaan tehokkuuteen näistä kolmesta eri kuvatyypistä. Oheisessa kuvassa 2 on esitetty eräs tie-donsiirtovirta, jossa näitä kolmen tyyppistä kuvakehystä lähetetään. Mainittakoon, että näiden l-kuvien, P-kuvien ja B-kuvien määrää voi-5 daan kulloisessakin sovelluksessa vaihdella. Tässä on kuitenkin huo-' mioitava se, että vastaanottopäässä on vastaanotettava ainakin yksi I- kuva, ennen kuin kunnollinen kuva saadaan rekonstruoitua vas-taanottolaitteen näyttöelimelle.

10 Myös audiosignaalin välityksessä käytetään tietokehysmuotoista tiedonsiirtoa multimediasovelluksissa. Tällöin sekä audiotietokehyksiin että videotietokehyksiin lisätään edullisesti tunnisteet, joiden perusteella nämä tiedonsiirtovirrat kytketään vastaanottopäässä yhteen. Lisäksi nämä tiedonsiirtovirrat on kyettävä synkronoimaan sen varmistamisek-15 si, että kuva ja ääni toistetaan oleellisesti oikea-aikaisesti.

Interaktiivisessa sovelluksessa multimediapäätelaitteen käyttäjä voi päätelaitteeltaan käsin ohjata informaation välitystä. Esimerkiksi tilanteissa, joissa käyttäjä haluaa selata nopeammin kuvainformaatiota 20 eteenpäin tai taaksepäin halutun kohdan etsimiseksi, käyttäjä antaa vastaavan pikakelauskomennon, joka välitetään multimediainformaatio-ta välittävälle palvelimelle. Tällöin palvelin lähettää kehyksiä nopeammassa tahdissa, jotka multimediapääte vastaanottaa. Tämä pikakelaus-toiminto vaatii kuitenkin palvelimelta nopeaa prosessointikykyä ja 25 suurta muistikapasiteettia. Lisäksi tiedonsiirtokanavan tiedonsiirtonopeus on oltava riittävän suuri tarvittavan informaatiomäärän siirtämiseksi. Kaikissa järjestelmissä tällaista pikakelausmahdollisuutta ei voida toteuttaa nykyisin tunnetun tekniikan mukaisia laitteistoja ja tiedonsiirto-kanavia käyttäen. Tällöin käyttäjän on seurattava multimediasovellusta 30 normaalinopeudella ja odotettava halutun kohdan löytymistä. Tämä saattaa viedä runsaasti aikaa ja toisaalta tarpeettomasti kuormittaa tie- * } donsiirtojärjestelmää ja nostaa käyttökustannuksia.

* Nyt esillä olevan keksinnön eräänä tarkoituksena on aikaansaada me-35 netelmä ja järjestelmä, jossa pikakelaus on mahdollista myös alhaisen ·· * 6 105634 bittinopeuden tiedonsiirtokanavia käyttäen. Nyt esillä olevalle keksinnölle on pääasiassa tunnusomaista se, mitä on esitetty oheisen patenttivaatimuksen 1 tunnusmerkkiosassa. Nyt esillä olevan keksinnön mukaiselle tiedonsiirtojärjestelmälle on pääasiassa tunnusomaista se, mitä 5 on esitetty oheisen patenttivaatimuksen 9 tunnusmerkkiosassa ja nyt esillä olevan keksinnön mukaiselle multimediapäätelaitteelle on pääasiassa tunnusomaista se, mitä on esitetty oheisen patenttivaatimuksen 10 tunnusmerkkiosassa. Keksintö perustuu siihen ajatukseen, että pikakelauksen aikana lähetetään ainoastaan intrakehyksiä. Näiden intrake-10 hysten määrää ja aikaväliä voidaan säätää tarpeen mukaan. Tarvittaessa voidaan vielä vähentää näiden intrakuvien informaatiosisältöä esimerkiksi kompressoimalla, resoluutiota pienentämällä tai lähettämällä ne mustavalkoisina. Myös audioinformaation välitys voidaan keskeyttää pikakelauksen ajaksi, jolloin vielä voidaan vähentää pikakelaukses-15 sa välitettävän informaation määrää.

Nyt esillä olevalla keksinnöllä saavutetaan merkittäviä etuja tunnetun tekniikan mukaisiin ratkaisuihin verrattuna. Keksinnön mukaisella menetelmällä on mahdollista toteuttaa pikakelaus myös alhaisen bittino-20 peuden järjestelmissä aiheuttamatta lisäkuormitusta tiedonsiirtojärjestelmään. Keksinnön mukaisesti toteutettu pikakelaus ei myöskään edellytä multimediapalvelimelta lisää käsittelykykyä tai muistikapasiteettia. Keksinnön mukaisessa tiedonsiirtojärjestelmässä voidaan myös järjestelmän kuormitusta pienentää, koska pikakelauksen aikana välitet-25 tävän informaation määrä on pienempi ja oikea kohta saadaan välitet-... tyä nopeammin kuin tunnetun tekniikan mukaisissa järjestelmissä on mahdollista. Tällöin myös tiedonsiirto- ja käyttökustannukset pienenevät.

30 Keksintöä selostetaan seuraavassa tarkemmin viitaten samalla oheisiin piirustuksiin, joissa \ • · · · » t kuva 1 esittää erästä tiedonsiirtojärjestelmän rakennetta, 35 kuva 2 esittää erään MPEG-standardin mukaisen tiedonsiirtovirran käyttämistä kuvakehysten välittämiseen, 9 «« 7 105634 kuva 3 esittää keksinnön erään edullisen suoritusmuodon mukaista multimediapäätelaitetta pelkistettynä lohkokaaviona, ja kuva 4 esittää pelkistettynä lohkokaaviona keksinnön erään edulli-5 sen suoritusmuodon mukaisen multimediapäätelaitteen toi mintaa lähetysvaiheessa.

Kuvassa 1 esitetty eräs tiedonsiirtojärjestelmä käsittää käyttäjän multimediapäätelaitteen 1, palvelun tarjoajan multimediapäätelaitteen 1tie-10 donsiirtoverkon NW, kuten televerkon. On selvää, että käytännön sovelluksissa on useita käyttäjän multimediapäätelaitteita 1 ja palvelun tarjoajan päätelaitteita 1', mutta keksinnön ymmärtämisen kannalta riittää, että keksintöä selostetaan näiden kahden multimediapäätelaitteen 1,1' avulla. Käyttäjän multimediapäätelaitteen 1 ja palvelun tarjoajan 15 multimediapäätelaitteen V välille muodostetaan sopivimmin kaksisuuntainen tiedonsiirtoyhteys. Tällöin käyttäjä voi välittää mm. tiedonhaku-osoitteita ja ohjauskomentoja tiedonsiirtoverkkoon NW ja palvelun tarjoajan multimediapäätelaitteeseen 1'. Vastaavasti palvelun tarjoajan multimediapäätelaitteesta 1' voidaan lähettää mm. multimediasovellus-20 ten informaatiota käyttäjän multimediapäätelaitteeseen 1.

Kuvan 3 lohkokaaviossa on esitetty pelkistetysti eräs multimediapääte-laite 1,1', jossa keksintöä voidaan edullisesti soveltaa. Kyseinen päätelaite soveltuu sekä lähetykseen että vastaanottoon, mutta keksintöä 25 voidaan soveltaa myös yksisuuntaisten päätelaitteiden yhteydessä. Multimediapäätelaitteessa 1, 1' ei myöskään välttämättä tarvita kaikkia kuvan 3 lohkokaaviossa esitettyjä toiminnallisia piirteitä, vaan keksinnön puitteissa voidaan soveltaa myös yksinkertaisempia multimedia-päätelaitteita 1,1', esimerkiksi ilman datasovelluksia 2 ja audiovälineitä 30 3. Mainittujen datasovellusten 2 ja audiovälineiden 3 lisäksi multime- diapäätelaite 1,1' käsittää videovälineet 4, kuten videomonitorin, vi- ’ deokameran tai vastaavan. Audiovälineet 3 käsittävät edullisesti mikro- • · fonin ja kaiuttimen/kuulokkeen, kuten on sinänsä tunnettua. Audiovälineet 3 käsittävät tarvittaessa myös audiovahvistimia. Datasovellukset 2 35 ovat esim. datatiedostoja, tietojenkäsittelylaitteen sovellusohjelmia ja vastaavia, jolloin datasovelluslohko 2 voi käsittää myös tietojenkäsittelylaitteen (PC, Personal Computer).

8 105634

Multimediapäätelaitteen 1,1' toimintojen ohjaamiseksi se käsittää ohjausyksikön 5, joka koostuu esimerkiksi mikro-ohjaimesta (MCU, Micro Controlling Unit), mikroprosessorista (MPU, Micro Processing Unit) tai 5 vastaavasta. Lisäksi ohjausyksikössä 5 on muistivälineet MEM mm. sovellusohjelmien ja tiedon tallennukseen ja väyläliitäntävälineet I/O signaalien välittämiseksi ohjausyksikön 5 ja muiden toiminnallisten lohkojen välillä. Multimediapäätelaite 1,1' käsittää vielä multimedialohkon 6, jossa on tarvittavat välineet multimediainformaation koodaami-10 seksi/dekoodaamiseksi ja tiedonsiirron suorittamiseksi multimedia-päätelaitteen 1,1' ja tiedonsiirtoverkon välillä.

Videokoodaus/dekoodauslohko 7 suorittaa lähettävässä laitteessa tie-tokehysten muodostamisen lähetettävästä videosignaalista, esimerkiksi 15 videokameran muodostamasta kuvasta. Mm. kansainvälisen telealan standardointijärjestön standardit H.261 ja H.263 määrittelevät eräitä vi-deokoodausmenetelmiä. Vastaanottavassa laitteessa suoritetaan käänteinen toimenpide, eli videotietokehyksistä muodostetaan analoginen videosignaali, joka välitetään esimerkiksi monitorille tai muulle 20 näyttöelimelle.

Audiokoodaus/dekoodauslohko 8 suorittaa vastaavasti audiosignaalin muuntamisen tietokehysmuotoon lähettävässä päätelaitteessa sekä vastaanottavassa päätelaitteessa muodostaa analogisen audiosignaa-25 Iin vastaanotetuista audiotietokehyksistä. Vastaanottolaitteessa suorite- taan vielä audio- ja videosignaalin synkronointi viivästyttämällä audio signaalia viivästyslohkossa 9. Kansainvälisen telealan standardointijärjestön standardi G.723 määrittelee erään audiokoodausmenetelmän.

30 Datalohko 10 suorittaa protokollamuunnokset lähetettävän datan muuntamiseksi tiedonsiirtojärjestelmään soveltuviksi tietokehyksiksi sekä tietokehysten vastaanottamisessa muuntaa ne alkuperäistä protokollaa vastaavaksi dataksi.

35 Multimedialohkossa 6 on vielä multimediaohjauslohko 11, jolla suoritetaan edellä mainittujen videokoodaus/dekoodauslohkon 7, audiokoo-daus/dekoodauslohkon 8 ja datalohkon 10 ohjausta sekä tiedonsiirron 9 105634 ohjausta tiedonsiirtoverkon ja multimediapäätelaitteen 1,1' välillä. Mul-timediaohjauslohko 11 ohjaa mm. valintalohkoa 12, jonka avulla lähe-tysvaiheessa valitaan tiedonsiirtojärjestelmään kulloinkin siirrettävä tie-tokehys ja vastaanottovaiheessa vastaanotettu tietokehys siirretään oi-5 keaan käsittelylohkoon 7,8,10 sen perusteella, minkä tyyppistä informaatiota tietokehys sisältää. Valintalohkosta 12 lähetettävät tietokehyk-set johdetaan modeemille 13, jossa suoritetaan signaalin muunnos tiedonsiirtokanavaan sopivaan muotoon.

10 Tiedonsiirtokanavana käytetään esimerkiksi yleistä kytkentäistä televerkkoa 15, jonka osana voi olla langaton televerkko, esimerkiksi matkaviestinverkko PLMN (Public Land Mobile Network). Vastaanottavassa multimediapäätelaitteessa 1, T modeemi muuntaa tiedonsiirtokanavan kautta tulevat signaalit tarvittaessa digitaaliseen muotoon, jolloin digi-15 taalisessa muodossa olevat signaalit johdetaan valintalohkon 12 kautta vastaavalle käsittelylohkolle 7,8,10. Modeemi 13 käsittää vielä modeemin ohjauslohkon 14, jonka avulla ohjausyksikkö 5 kontrolloi modeemin toimintaa ja tiedonsiirtoa. Mainittakoon vielä se, että esim. GSM-yhteyksissä signaalit ovat koko ajan digitaalisia, jolloin modeemia 20 13 ei välttämättä tarvita.

Kuvan 4 lohkokaaviossa esitetään keksinnön erään edullisen suoritusmuodon mukaisen multimediapäätelaitteen T toimintaa lähetysvaihees-sa audio- ja videosignaalien lähettämisen osalta. Videokoodain 7 (kuva 25 3) on muodostanut videolähteen videosignaalista videokehyksiä, joita : tallennetaan ensimmäiseen videokehyspuskuriin 16. Ensimmäinen vi- deokehyspuskuri 16 on muodostettu edullisesti multimediapäätelaitteen muistivälineisiin MEM sopivimmin ns. FIFO-tyyppiseksi (First-ln-First-Out), eli tietokehykset lähetetään siinä järjestyksessä eteenpäin kuin ne 30 puskuriin on kirjoitettu. Multimediapäätelaitteeseen T on muodostettu myös toinen videokehyspuskuri 17, johon tallennetaan esimerkiksi kopioimalla videokehyspuskurista 16 intra-kehyksiä. Toisena vaihtoehtona on se, että toiseen videokehyspuskuriin 17 tallennetaan vastineita en-- simmäisen videopuskurin 17 videokehyksistä, jotka on muodostettu 35 esimerkiksi pienentämällä resoluutiota. Näitä videokehyksiä varten on vielä muodostettava viittaus ensimmäisen videokehyspuskurin 16 vastaavaan videokehykseen.

10 105634

Normaalin videokuvan toiston yhteydessä käytetään videokehyslähtee-nä ensimmäistä videokehyspuskuria 16. Tällöin ohjausyksikkö 5 valitsee videopuskurin valitsimella 19 tämän ensimmäisen videokehyspus-5 kurin 16 lähtölinjan OUTI kytkettäväksi edelleen valintalohkoon 12. Vastaanottavassa käyttäjän multimediapäätelaitteessa 1 vastaanotetut tietokehykset käsitellään ja valintalohko 12 siirtää kunkin vastaanotetun tietokehyksen sen tyyppiä vastaavaan dekoodauslohkoon. Videokehykset siirretään videokoodaus/dekoodauslohkoon 7, audiokehykset siirre-10 tään audiokoodaus/dekoodauslohkoon 8, ja datakehykset siirretään datakoodaus/dekoodauslohkoon 10. Nämä koodaus/dekoodauslohkot 7, 8, 10 voivat käsittää myös puskurimuistia vastaanotettujen kehysten väliaikaista tallennusta varten. On selvää, että vaikka kukin koo-daus/dekoodauslohko on esitetty yhtenä lohkona, pelkästään lähetyk-15 seen tarkoitetussa multimediapäätelaitteessa nämä koodaus/dekoodauslohkot käsittävät vain vastaavat koodaimet ja pelkästään vastaanottoon tarkoitetussa multimediapäätelaitteessa nämä koodaus/dekoodauslohkot käsittävät vain vastaavat dekoodaimet.

20 Siinä vaiheessa, kun käyttäjä haluaa nopeampaa kelausta joko eteen-tai taaksepäin, käyttäjän multimediapäätelaitteelta 1 lähetetään pikake-lauskomento edullisesti loogisen ohjauskanavan välityksellä palvelun tarjoajan multimediapäätelaitteelle T. Komento vastaanotetaan ja tulkitaan tässä palvelun tarjoajan multimediapäätelaitteessa T. Komennon 25 perusteella ohjausyksikkö 5 valitsee tässä keksinnön ensimmäisessä .· edullisessa suoritusmuodossa toisen videokehyspuskurin 17 lähtölinjan OUT2 kytkettäväksi edelleen valintalohkoon 12, jolloin tiedonsiirtokanavaan aloitetaan siirtää tämän toisen tietokehyspuskurin 17 sisältämiä videokehyksiä. Mikäli toiseen videokehyspuskuriin 17 ei ole tallennettu 30 varsinaisia videokehyksiä, vaan vastineita ensimmäiseen videokehyspuskuriin 16 tallennetuista kehyksistä, pikakelauksessa muodostettava videoinformaatio ei täysin vastaa alkuperäistä videoinformaatiota, mutta kuitenkin siinä määrin, että haluttu kohta on pikakelauksessa havaittavissa. Pikakelauksen aikana tietokehysten lähetysnopeus pidetään va-35 kiona, tai sitä voidaan jopa hieman hidastaa, jolloin vastaanottovaiheessa muodostetaan näistä intrakehyksistä kuva vastaanottotahdissa, mikä käyttäjälle näkyy pikakelauksena eteen- tai taaksepäin.

V

11 105634

Audiotietokehyksille on myös muodostettu audiopuskuri 20, josta au-diokehyksiä lähetetään valintalohkolle 12 ja edelleen tiedonsiirtokanavaan ohjausyksikön 5 ohjaamana. Järjestelmässä on vielä audiokytkin 5 21, jolla audiotietokehysten lähetys voidaan keskeyttää pikakelauksen ajaksi, mikä vielä pienentää pikakelauksessa välitettävän informaation määrää.

Kuvan 4 lohkokaavion multimediapäätelaitteessa 1' on vielä kolmas vi-10 deokehyspuskuri 18 käytettäväksi keksinnön erään toisen edullisen suoritusmuodon yhteydessä. Tässä suoritusmuodossa toisen videoke-hyspuskurin 17 sisältämien videokehysten informaation määrää pienennetään ja tallennetaan tähän kolmanteen videokehyspuskuriin 18. Informaation määrää voidaan pienentää esimerkiksi muuttamalla väri-15 kuva mustavalkoiseksi, jolloin riittää pelkästään luminanssi-informaation siirto. Toisena mahdollisuutena on kuvan resoluution pienentäminen, mitä silmällä el pikakelauksessa edes välttämättä havaita. Kuvaa voidaan vielä kompressoida jollakin tunnetun tekniikan mukaisella intra-kuviin soveltuvalla kompressointimenetelmällä. Tässä keksinnön toisen 20 suoritusmuodon mukaisessa ratkaisussa pikakelauksen aikaansaamiseksi valitaan videopuskurin valitsimella 19 tämän kolmannen videoke-hyspuskurin lähtölinja OUT3 kytkettäväksi valintalohkoon 12, jolloin tiedonsiirtokanavaan siirrettävän informaation määrä on vielä pienempi kuin keksinnön ensimmäisen edullisen suoritusmuodon mukaisessa 25 järjestelmässä. Siinä vaiheessa kun pikakelauksesta palataan f. normaalitoistoon, on ensimmäiseksi haettava intra-kehys, jotta toisto voisi käynnistyä. Tämä intrakehys haetaan tässä keksinnön edullisessa suoritusmuodossa toisesta videokehyspuskurista 17, jossa on myös viittaus vastaavaan kohtaan ensimmäisessä videokehyspuskurissa 16. 30 Tällöin seuraavat videokehykset haetaan normaalitoiston mukaisesti ensimmäisestä videokehyspuskurista 16.

-9 »·

Vaikka edellä keksintöä on selostettu lähinnä H.324-standardin mukais-• ten multimediapäätelaitteiden ja H.263-standardin videokoodauksen ' Li, 12 105634 yhteydessä, keksintöä voidaan soveltaa videokuvien pikakelauksen aikaansaamiseksi myös muissa päätelaitteissa ja muita videokoodaus-menetelmiä käyttäen. Eräänä tällaisena videokoodausmenetelmänä mainittakoon tässä yhteydessä MPEG-4 -standardi.

5

Multimediapäätelaitteen 1,1’ yhteydessä voidaan käyttää myös langatonta viestintä MS, jolloin tiedonsiirto voidaan suorittaa ainakin osittain langattomasii. Myös ainakin osa multimediapäätelaitteen 1 toiminnoista voidaan toteuttaa tällaisen langattoman viestimen MS toiminnallisia 10 lohkoja käyttäen. Eräänä esimerkkinä langattomasta viestimestä mainittakoon Nokia 9000 Communicator, joka käsittää mm. muistivälineet, näyttölaitteen, modeemitoiminnot ja ohjausyksikön, jolloin keksinnön erään edullisen suoritusmuodon mukainen multimediapäätelaite 1 on toteutettavissa suurelta osin langattoman viestimen sovellusohjelmis-15 toon tehtävillä muutoksilla.

Nyt esillä olevaa keksintöä ei ole rajoitettu ainoastaan edellä esitettyihin suoritusmuotoihin, vaan sitä voidaan muunnella oheisten patenttivaatimusten puitteissa. 1 « w Ψ

Claims (10)

13 105634

1. Menetelmä videokuvien siirtämiseksi multimediapäätelaitteiden (1, 1') välillä tiedonsiirtojärjestelmässä, jossa videokuvien siirtämisessä 5 käytetään ensimmäisiä videokehyksiä (I), joissa lähetetään yhdestä videokuvasta koodattua informaatiota, ja toisia videokehyksiä (P, B), joissa lähetetään kahden tai useamman videokuvan perusteella koodattu informaatio, joista on vastaanottajan multimediapäätelaitteessa (1) muodostettavissa videokuva käyttämällä ainakin yhtä ensimmäistä 10 (I) ja ainakin yhtä toista videokehystä (P, B), tunnettu siitä, että mene telmässä suoritetaan videokuvien pikakelaus eteenpäin tai taaksepäin lähettämällä pääasiassa vain ensimmäisiä videokehyksiä (I).

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että 15 pikakelauksessa lähetettävien ensimmäisten videokehysten (I) informaatiomäärää pienennetään ennen lähettämistä.

3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että informaatiomäärää pienennetään pienentämällä kuvan resoluutiota. 20

4. Patenttivaatimuksen 2 tai 3 mukainen menetelmä, tunnettu siitä, että informaatiomäärää pienennetään kompressoimalla.

5. Patenttivaatimuksen 2, 3 tai 4 mukainen menetelmä, jossa videoku-25 vat sisältävät luminanssi- ja krominanssi-informaatiota, tunnettu siitä, • että informaatiomäärää pienennetään lähettämällä vain luminanssi-in-formaatio.

6. Jonkin patenttivaatimuksen 1—5 mukainen menetelmä, tunnettu 30 siitä, että videokuvien koodauksessa käytetään H.263-standardin mukaista koodausta. • 1

7. Jonkin patenttivaatimuksen 1—5 mukainen menetelmä, tunnettu * siitä, että informaatiomäärää pienennetään tallentamalla vastineita 35 mainituista ensimmäisistä (I) ja toisista videokehyksistä (P, B), jotka vastineet muodostetaan pienentämällä mainittujen ensimmäisten (I) ja toisten videokehysten (P, B) informaatiomäärää, jolloin videokuvien 14 105634 pikakelauksessa lähetetään mainittuja ensimmäisten (I) ja toisten videokehysten (P, B) vastineita.

8. Jonkin patenttivaatimuksen 1—7 mukainen menetelmä, jossa 5 audioinformaatiota siirretään audiotietokehyksissä, tunnettu siitä, että audiotietokehysten lähetys keskeytetään videokuvien pikakelauksen ajaksi.

9. Tiedonsiirtojärjestelmä, jossa on välineet (NW) videokuvien siirtämi-10 seksi multimediapäätelaitteiden (1, 1') välillä, välineet ensimmäisten (I) ja toisten (P, B) videokehysten muodostamiseksi videokuvista, joissa ensimmäisissä videokehyksissä (I) on järjestetty lähetettäväksi yhdestä videokuvasta koodattua informaatiota, ja toisissa videokehyksissä (P, B) on järjestetty lähetettäväksi kahden tai useamman videokuvan pe-15 rusteella koodattua informaatiota, tunnettu siitä, että järjestelmä käsittää lisäksi välineet videokuvien pikakelauksen suorittamiseksi eteenpäin ja taaksepäin, jolloin pikakelauksessa on järjestetty lähetettäväksi pääasiassa vain ensimmäisiä videokehyksiä (I).

10. Multimediapäätelaite (1,1'), joka käsittää välineet (5,13) komento jen vastaanottamiseksi, ja välineet (13) ensimmäisten (I) ja toisten (P, B) videokehysten muodostamiseksi videokuvista, joissa ensimmäisissä videokehyksissä (I) on järjestetty lähetettäväksi yhdestä videokuvasta koodattua informaatiota, ja toisissa videokehyksissä (P, B) on järjestetty 25 lähetettäväksi kahden tai useamman videokuvan perusteella koodattua •m informaatiota, tunnettu siitä, että multimediapäätelaite (1, T) käsittää lisäksi välineet videokuvien pikakelauksen suorittamiseksi eteenpäin ja taaksepäin, jolloin pikakelauksessa on järjestetty lähetettäväksi pääasiassa vain ensimmäisiä videokehyksiä (I). m 15 105634