FI116016B - Puskurointijärjestely - Google Patents

Puskurointijärjestely Download PDF

Info

Publication number
FI116016B
FI116016B FI20022261A FI20022261A FI116016B FI 116016 B FI116016 B FI 116016B FI 20022261 A FI20022261 A FI 20022261A FI 20022261 A FI20022261 A FI 20022261A FI 116016 B FI116016 B FI 116016B
Authority
FI
Finland
Prior art keywords
flow
receiving terminal
buffer
breaks
presentation
Prior art date
Application number
FI20022261A
Other languages
English (en)
Swedish (sv)
Other versions
FI20022261A0 (fi
FI20022261A (fi
Inventor
Teemu Pohjola
Kari Penttilae
Original Assignee
Oplayo Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oplayo Oy filed Critical Oplayo Oy
Priority to FI20022261A priority Critical patent/FI116016B/fi
Publication of FI20022261A0 publication Critical patent/FI20022261A0/fi
Priority to EP03104850A priority patent/EP1441532A3/en
Priority to US10/740,555 priority patent/US20040184526A1/en
Publication of FI20022261A publication Critical patent/FI20022261A/fi
Application granted granted Critical
Publication of FI116016B publication Critical patent/FI116016B/fi

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805Controlling the feeding rate to the network, e.g. by controlling the video pump
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

116016
Puskurointijärjestely
Keksinnön ala Tämä keksintö kohdistuu vastaanottavassa päätelaitteessa tehtä-5 viin virran puskurointijärjestelyihin. Virta lähetetään lähettävästä päätelaitteesta tiedonsiirtoverkon kautta vastaanottavaan päätelaitteeseen.
Keksinnön tausta
Videot ja multimediaesitykset lähettävän päätelaitteen ja vastaan-10 ottavan päätelaitteen välillä on usein saatettu virtamuotoon. Virtamuotoon tekeminen merkitsee sitä, että videon tai multimediaesityksen data lähetetään samaan aikaan, kun sitä näytetään vastaanottavassa päätelaitteessa, toisin sanoen samaan aikaan kuin esityksen yhtä osaa näytetään siirretään toista osaa. Virtatekniikka on erityisen käyttökelpoinen lähetettäessä jatkuvaa 15 dataa kuten videota.
Kuvio 1 esittää esimerkkiä, jossa tiedonsiirtoverkon (GPRS-ver-kon) siirtokapasiteetti videolle tai muulle kuvainformaatiolle on 20 kbit/s. Kuviossa videovirta käsittää useita otoksia 1-4. Olkoon video päivän uutiset. Ensimmäinen otos 1 esittää uutisankkuria, joka kertoo uutisista, toinen otos 2 20 esittää uutiskuvaa tapahtumapaikalta, kolmas otos 3 esittää jälleen uutisankkuria, ja neljäs otos 4 esittää toista uutiskuvaa. Otokset saatetaan virtamuo-* ' toon esitysjärjestyksessä.
Kuten havaitaan, on siirtokapasiteetti vakio uutisvideon keston ajan. Vastaanottavassa päätelaitteessa kulkee tuleva virta puskurin kautta, 25 jota käytetään varmistamaan, ettei virran (toisin sanoen uutisvideon tässä :*·..· esityksessä) esitys katkea, mikäli siirtotiellä tapahtuisi keskeytyksiä.
.·**. Uutisvideon jokainen kehys käsittää yhtä suuren lukumäärän pik- seleitä, mutta jotkut kehykset ovat helpompia koodata siirtomuotoon kuin toi-set. Niinpä esimerkiksi uutisankkuriotokset 1, 3 vaativat vähemmän bittejä # 30 kehystä kohti enkoodatussa muodossa kuin otokset 2, 4. Koska siirtokapasi-teetti on vakio ja virta sisältää jatkuvaa dataa, virtamuotoon saattaminen teh-dään esitysjärjestyksessä. Nämä seikat huomioon ottaen on ilmeistä, että uu-·:··: tisankkuriotosten 1, 3 laatu on korkeampi kuin tapahtumaotosten 2, 4 laatu.
Uutisvideon laadun vaihtelut näyttävät vastaanottavan päätelaitteen näytöllä ’;[/ 35 hyvin häiritseviltä.
2 116016
On tunnettua muodostaa lähetyspäässä sisältöspesifinen adaptiivinen videovirta jäsentämällä lähetettävä video sisällön mukaan osiin ja indeksoimalla osat. Eri osat voidaan koodata eri tarkkuuksilla niiden sisällöstä riippunen. Tällainen menetelmä on esitetty kansainvälisessä patenttihake-5 muksessa WO 02/07164. Menetelmässä videosta tunnistetaan ennalta määriteltyjen ehtojen mukaisesti erilaisia segmenttejä. Ehdot voivat olla tiettyjen tapahtumien kuten pesäpallopelin lyöntien tunnistaminen, tiettyjen visuaalisten näkymien ja audio-ominaisuuksien tunnistaminen jne. Tunnistetut segmentit jäsennetään semanttisiksi perusyksiköiksi, jotka sitten koodataan eri 10 tavalla. Niinpä pesäpallopelin tapauksessa lyönnit voidaan koodata suurella tarkkuudella, joka vaatii suurta siirtokaistaa, kun taas muut pelitapahtumat pienemmällä tarkkuudella ja siten pientä siirtokaistaa käyttäen. Vastaanotti-messa joudutaan suuren siirtokaistan vaativia segmenttejä puskuroimaan ennen niiden esitystä.
15 Tämän menetelmän haittana on, että eri tarkkuudella koodattujen segmenttien dekoodaus ja näyttäminen vastaanottavan päätelaitteen näytöllä tuntuu katsojasta häiritsevältä, koska katsoja kokee laadun vaihtelevan suuresti. Haittana on lisäksi se, että menetelmä ei mitenkään käytä hyväkseen vastaanottavan päätelaitteen kykyä ottaa tavanomaista dekoodausta ja pus-20 kurointia enemmän osaa videovirran käsittelyyn. Päätelaite on siis passiivinen osapuoli.
Häiriöttömään videon esitykseen päätelaitteessa on pyritty paten-tin US-5608697 mukaisella koodausmenetelmällä. Koodattujen videolohkojen väliin laitetaan parametri, joka kertoo viiveajan, joka tarvitaan lohkon dekoo-25 daamiseksi päätelaitteessa lohkon vastaanottamisen jälkeen. Vastaanotin käyttää tätä tietoa puskurin ylivuodon tai alivuodon ehkäisemiseen ja siten .···, häiriöttömän esityksen tuottamiseen. Menetelmä ei kuitenkaan estä sitä, että katsoja tuntee otosten, jotka sisältävät eri määrän bittejä kehystä kohti, väli-. sen laadun vaihtelee häiritsevästi.
• « I
;;; 30 Julkaisusta WO 99/49664 on tunnettua koodata video käyttäjälle sopivaan bittinopeuteen. Kuvasekvenssi jaetaan segmentteihin ja kukin seg-mentti koodataan muuttuvan bittinopeuden enkooderia käyttäen sellaiseen ·;··· enkoodauslaatuun, joka vastaa käyttäjälle sopivaa bittinopeutta, toisin sa noen sopii käytettävissä olevaan siirtokaistaan. Koodauksessa pyritään myös
( t I
'·[/ 35 minimoimaan koodattujen kuvien laatuvaihtelu. Tässä menetelmässä käyttä- '*··’ jän päätelaite on passiivinen osapuoli eikä menetelmä siten käytä hyväkseen 3 116016 päätelaitteen kykyä ottaa tavanomaista dekoodausta ja puskurointia enemmän osaa videovirran käsittelyyn
Keksinnön tavoitteena on eliminoida laatuvaihtelut vastaanottavassa päätelaitteessa näytettävän esityksen otosten välillä ja sitä myöten pa-5 rantaa koko esityksen laatua. Tämä tavoite saavutetaan patenttivaatimuksissa kuvatulla tavalla.
Keksinnön yhteenveto
Keksinnön taustalla on periaate, että videon tai multimediaesityk-10 sen otosten väliin lisätään ylimääräisistä kehyksistä muodostuvia katkoja. Ylimääräiset kehykset lisätään vastaanottavassa päätelaitteessa ja ne voivat olla esimerkiksi mustia kehyksiä tai ne voivat esittää yksinkertaista kuviota. Se aika, jolloin joukko ylimääräisiä kehyksiä siirretään ja näytetään, käytetään seuraavan otoksen datan puskuroimiseen, joka otos vaatii enemmän 15 virtauskapasiteettia kuin saman virtauksen muut otokset. Tällä tavalla voidaan erillisten otosten laatutasoa pitää samassa tasossa.
Jotta vastaanottava päätelaite voisi muodostaa katkoja ja siirtää niihin ylimääräisiä kehyksiä, sen täytyy tietää otosten alkukohdat ja koot sekä siirtokapasiteetti. Jokaisen katkon kesto riippuu edeltävän otoksen koosta ja 20 seuraavan otoksen koosta sekä siirtokapasiteetista, niin että riittävä määrä dataa voidaan puskuroida seuraavaa otosta varten ennen sen esittämistä. Näin ollen virran täytyy sisältää koko informaation käsittäviä otosindikaatto- * I » 'y·' reita ja otosindikaattorit täytyy saattaa virtamuotoon ennen kuin niihin liittyvät otokset saatetaan virtamuotoon, jotta vastaanottava päätelaite on valmis • · ·*.’· 25 muodostamaan katkoja ennen kuin otokset näytetään. Katkot lisäävät koko- : ‘ *.: naisesitysaikaa, mutta samalla parantavat esityksen laatua.
> · * · ·
Kuvioluettelo
Seuraavassa keksintöä kuvataan yksityiskohtaisemmin kuvioiden 30 1-10 avulla, joissa « * · kuvio 1 on esimerkki tunnetusta ratkaisusta, ” * * i kuvio 2A kuvaa esityksen vakiokapasiteettisen siirron periaatetta, , · · ·. kuvio 2B esittää vakiolaatuisen esityksen periaatetta, » · 35 kuvio 3 on esimerkki esityksen automaattisesta puskuroinnista, kuvio 4 on esimerkki automaattisen puskuroinnin ongelmasta, 4 116016 kuvio 5 on esimerkki keksinnön mukaisesta ratkaisusta, kuvio 6 on esimerkki mittauksesta, jolla tunnistetaan peräkkäiset video-otokset, kuvio 7 on esimerkki video-otosten indikaattoreista, 5 kuvio 8 on esimerkki virrasta ja miltä se näyttää, kun siihen on lisätty katkoja, kuvio 9 on esimerkki keksinnön mukaisen menetelmän suoritusmuodosta vuokaaviona, kuvio 10 on esimerkki keksinnön mukaisesta järjestelystä.
10
Keksinnön yksityiskohtainen kuvaus
Kuvio 2A esittää vakiotiedonsiirtokapasiteettisen esityksen periaatetta. Esityksen (video, multimedia, jne.) kuvainformaation siirtokapasiteetti on 20 kbit/s (toisin sanoen GPRS-verkon siirtokapasiteetti). Esityksen otokset 15 lähetetään, toisin sanoen saatetaan virtausmuotoon, kun käytetään virtaus-tekniikka, samassa järjestyksessä kuin ne näytetään vastaanottavassa päätelaitteessa. On tehokasta käyttää koko tiedonsiirtokapasiteetti, jolloin esitys enkoodataan 20 kbit/s siirtoa varten. Jotkut otokset ovat kuitenkin helpompi enkoodata kuin muut. Toisin sanoen helposti enkoodattavat otokset tuottavat 20 paremman laatutason, sillä 20 kbit/s tarjoaa niille enemmän kapasiteettia. Esimerkiksi on helppo otokset, jotka esittävät uutisankkuria vakiotaustaa vasten tai yksinkertaista maisemaa kuvaavat otokset, joissa ei ole liikkuvia koh-teitä. Muut otokset sirkusesitykset, jotka sisältävät liikkuvia kohteita ja/tai run-säästi yksityiskohtia, ovat paljon hankalammat enkoodata. Hankalille otoksille 25 ei riitä 20 kbit/s saman laatutasoon pääsemiseksi kuin helpoille otoksille. Laa-tutason vaihtelut helppojen otosten 21, 23 ja vaikeiden otosten 22, 24 ovat ; * * *: häiritseviä katsottaessa esitystä vastaanottavan päätelaitteen näytöltä.
Kuviossa 2B kuvataan vakiolaatuisten esityksen periaatetta. Esi-tyksen laatutaso on kiinteä, jolloin katsottaessa esitystä näytöllä se näyttää 30 suhteellisen hyvältä (riippuen kiinteästä laatutasosta), koska otosten 21 - 24 ·;·* ei ole laatueroja. Oletetaan, että vakiolaatuisuus vaatii tiedonsiirtokapasitee- /.; tin, joka on 12 kbit/s helpoille otoksille 21, 23 ja tiedonsiirtokapasiteetin, joka ·:*·: on 30 kbit/s vaikeille otoksille. Kuten kuviosta 2B voidaan havaita, ei ole mi- tään ongelmia lähettää helppoja otoksia tiedonsiirtokapasiteetin ollessa 20 35 kbit/s, muta hankalia otoksia on mahdotonta lähettää niille varattujen lähetys-*···' jaksojen aikana.
5 116016
Kuvio 3 esittää esimerkkiä vastaanottavassa päätelaitteessa suoritettavasta automaattisesta puskuroinnista, jolla vältetään vaikeiden otosten lähettämisen ongelma. Oletetaan, että tiedonsiirtokapasiteetti on 20 kbit/s ja kaikki otokset 31 - 34 tarvitsevat 10 sekuntia esitykseensä. Enkoodattujen 5 helppojen otosten 31, 33 koko on 150 kbittiä ja enkoodattujen vaikeiden otosten 32, 34 koko on 250 kbittiä.
Näin ollen, kun lähetetään helppo otos käyttäen koko tiedonsiirtokapasiteettia, tarvitaan siirtoon 7,5 sekuntia (150kbit / 20 kbit/s= 7,5 sekuntia). Näin ollen jää 2,5 sekuntia ennen kuin seuraavan vaikean otoksen esitys 10 alkaa ja tämä 2,5 sekuntia voidaan käyttää 50:n kbitin lähettämiseen vaikeasta otoksesta (20 kbit/s * 2,5 s = 50 kbit/s). Vaikeasta kehyksestä lähetetään sen oikean 10 sekunnin siirtojakson aikana 200 kbittiä, jolloin automaattinen puskurointi mahdollistaa vaikeiden otosten 32, 34 lähettämisen ennen niiden esittämistä.
15 Tavanomainen tilanne on kuitenkin, ettei automaattista puskurointia käyttäen kyetä puskuroimaan riittävästi dataa ennen esitysaikaa. Kuvio 4 on esimerkki tästä automaattisen puskuroinnin ongelmasta. Esityksen (katso kuvio 2B) otokset 21 - 24 on kuvattu esitysaikajanassa eikä todellisessa lähe-tysaikajanassa (vertaa kuvio 3), jotta havainnollistettaisiin toinen tapa käyttää 20 siirtokapasiteettia. Siirtokapasiteetti on 20 kbit/s ja esityksen laatutaso on kiinteä. Tällä tasolla helpot otokset 21, 23 vaativat 12 kbit/s ja vaikeat otokset ‘ ' 22, 24 vaativat 30 kbit/s. Olettakaamme, että kaikki otokset vaativat 10 se- kuntia. Koska siirtokapasiteetti on 20 kbit/s, on mahdollista siirtää 80 kbittiä vaikeista 42, 44 ennen niiden ’’oikeaa” siirto- ja esitysaikaa. Kuitenkin, kapa-25 siteetti, joka vaaditaan ennakkosiirtoon, on 100 kbittiä 41, 43. Vaikeista otok-sista ei voida lähettää ennakkoon 20 kbittiä 41X, 43X. Kun tällainen tilanne .·**. syntyy, tyhjenee vastaanottavan päätelaitteen puskuri ja esityksen näyttämi nen keskeytyy. Näin ollen otosten tasojen vaihtelu voi olla kohtalokasta kat->:. selukokemuksen kannalta. On selvää, ettei automaattinen puskurointi riitä 30 saman laatutason saavuttamiseksi kaikille otoksille.
’*:* Keksintö tarjoaa tähän ongelmaan ratkaisun. Kuvio 5 esittää kek- * · :/·· sinnön mukaisen ratkaisun esimerkkiä. Vastaanottava päätelaite lisää näyt- ;**: töön menossa olevaan virtaan katkoja 51, 52 vaikeiden otosten 22, 24 eteen.
Katkojen aikana on mahdollista puskuroida riittävästi vaikeita otoksia ennen 35 niiden esittämistä. Niinpä, verrattuna kuvaan 4, vaikeiden otosten osat 41X, 6 116016 43X, joita automaattinen puskurointi ei kykene puskuroimaan 42, 44, puskuroidaan vastaanottavassa päätelaitteessa katkojen aikana.
Katkot ovat esimerkiksi musta tausta tai yksinkertainen kuvio, jota näytetään ennen seuraavaa otosta. Vastaanottava päätelaite muuttaa näin 5 ollen virtamuodossa olevan esityksen rakennetta. Koska rakennetta muutetaan, näyttää näytetty virta toiselta kuin alkuperäinen virta, mutta muutos on hyväksyttävä, koska se mahdollistaa saman laatutason esityksen kaikille otoksille. Keksinnön vuoksi parantuu esityksen kokonaislaatutaso.
Jotta näytettävään esitykseen voitaisiin lisätä katkoja, on peräk-10 käiset otokset tunnistettava jollain tavalla. Vastaanottavan päätelaitteen vastaanottaessa virtaa se monitoroi datavirrasta esitysten indikaattoreita. Indikaattori voi esimerkiksi perustua peräkkäisten kehysten väliseen erotekijään. Peräkkäisten kehysten välinen ero mitataan ja mittauksen mukaan muodostetaan erotekijä. Kun esitys loppuu ja uusi esitys alkaa, on edellisen otoksen 15 viimeisen kehyksen ja seuraavan otoksen ensimmäisen kehyksen välinen ero suuri ja samoin on erotekijä.
Kuvio 6 on esimerkki mittauksesta, jolla tunnistetaan peräkkäiset video-otokset. Kuten havaitaan, eroavat erotekijän huippuarvot 61, 62, 63 merkittävästi tavanomaisesta tasosta 64, 65, 66, 67 ja toimivat otosten ha-20 vaitsemisen indikaattorina. Tavanomaiset tasot kuvaavat saman otoksen kahden kehyksen välistä erotekijää.
’ ' Otosten indikaattoreiden pitäisi myös sisältää tietoa otoksen koos- ta. Indikaattorit muodostetaan esitystä muodostettaessa ja ne sijoitetaan vir-tatiedostoon (aineisto, josta muodostetaan virta) ennen relevantteja esityksiä. : \i 25 Kuvio 7 esittää video-otosten indikaattoreita 71, 72. Esitys lähetetään (saate- :*·.· taan virtamuotoon) tavanomaisessa järjestyksessä ja käytetään automaattis- ;··*. ta puskurointia. Jotta vastaanottava päätelaitetta informoitaisiin mahdollisesti tarpeen olevan katkon lisäämiseksi, lähetetään ennen otosta indikaattori. Vastaanottava päätelaite käyttää indikaattoria (uusi otos alkaa ja otoksen ko-" I! 30 ko) ja tietoa käytetystä tiedonsiirtokapasiteetista katkon tarpeen ja katkon pi- tuuden määrittämiseksi. Määrittäminen ottaa edullisesti huomioon automaat-tipuskuroinnin. On huomattava, ettei kuvioon 7 ole merkitty helppojen otosten ·:··: indikaattoreita. On kuitenkin hyödyllistä indikoida kaikki otokset, sillä tällä ta- . j. valla virta on yleiskäyttöinen eri siirtoehdoille.
35 Kuvio 8 esittää, miltä virta näyttää, kun katkot on lisätty. Otokset ‘ * · · ‘ 21 - 24 on kuvattu enkoodatussa koossaan samoin kuin katkot 51, 52. Koska 7 116016 katkot käsittävät yksinkertaisen taustakuvion, ei niiden enkoodaus vaadi paljoakaan kapasiteettia. On hyödyllinen ominaisuus, etteivät katkot kuluta paljoakaan vastaanottavan päätelaitteen kapasiteettia. Katkot on mahdollista lisätä virtaa muodostettaessa (toisin sanoen esitystä editoitaessa), mutta tä-5 mä vaihtoehto on sangen jäykkä. Jokainen virta täytyy suunnitella tietylle tiedonsiirtokapasiteetille ja näin ollen katkot, jotka sopivat tietylle kapasiteetille eivät ole riittäviä toiselle kapasiteetille. Otokset ja niiden koot täytyy määritellä kuten on kuvattu edellä, joten katkojen lisääminen virtaan ennen niiden tallentamista lähettävään päätelaitteeseen ei ole taloudellista tiedonsiirtokapasi-10 teetin käyttämisen ja yleiskäyttöisyyden kannalta. Kuitenkin joissakin ratkaisuissa voi olla soveliasta lisätä katkot vastaanottavassa päätelaitteessa ennen esitystä, mikäli tiedonsiirtokapasiteetti on tiedossa ja tallennettu virta sisältää otosten indikaattorit.
Edellä on sanottu, että katkot käsittävät yksinkertaisen taustaku-15 van. Kuva voi myös olla edellisen otoksen viimeinen kehys tai seuraavan otoksen ensimmäinen kehys. On myös mahdollista, etteivät katkot sisällä mitään. Tässä tapauksessa näytössä ei näytetä mitään katkojen aikana ja katkoja voidaan hyödyntää vaikeiden otosten puskuroimiseen samalla tavalla, kuten jonkin yksinkertaisen kuvan esittävät katkot. Otosten tasovaihteluiden 20 aiheuttamaa ei-toivottua vaikutusta voidaan käsitellä jollakin sofistikoidulla tavalla.
* Kuvio 9 esittää vuokaaviona keksinnön mukaisen menetelmän suoritusmuotoa. On huomattava, että keksinnön kuvaamiseksi selvemmin ·/·· tämä esimerkki käsittää useampia askeleita kuin olennaiset askeleet. Aluksi 25 vastaanottava päätelaite vastaanottaa virran 91 dataa. Virtaa puskuroidaan normaalisti puskuriin ja voidaan käyttää automaattista puskurointia 92. Pus-.··. kuri vastaanottaa virtaa normaalisti, muttei anna dataa ulos ennen sen oikea ta esitysaikaa. Ennen kuin virran esittäminen alkaa, vastaanottava päätelaite ,;, huomaa 93 virrassa otosten indikaattorit. Havainto voidaan tehdä ennen pus- 30 kurointia tai sen jälkeen. Katkot lisätään 94 indikaattoreiden mukaisesti näy-·;·’ tettäväksi menevän virran otosten väliin. On huomattava, ettei jokaiselle otokselle tarvita katkoja. Katkojen pituuden määrittämiseksi käytetään myös ·:··: tietoa siirtokapasiteetista. Viivästyttämällä esitysaikaa luovat katkot lisää ai- kaa puskuroida vaikeita otoksia. Katkosten aikana virtaa puskuroidaan nor-35 maalisti 95, ja katkot näytetään ennen seuraavan otoksen 96 esityksen al-kua.
116016
Kuvio 10 on esimerkki keksinnön mukaisesta järjestelystä. Vasta-sanottava päätelaite, kuten matkaviestin 10, vastaanottaa halutun esityksen sisältävää virtaa. Vastaanottava päätelaite käsittää puskurin 13, jolloin osa jatkuvasti vastaanotettavasta datavirrasta puskuroidaan siirrossa tapahtunei-5 den katkosten eliminoimiseksi. Soitin 12 voi esittää virtamuotoisen esityksen näytöllä 11 sellaisena kuin se on, mutta keksinnön mukaisesti lisätään näytettävään datavirtaan katkoja, mikäli tarpeen. Havaintovälineet 14 havaitsevat virrassa otosindikaattorit 19. Muodostusvälineet 15 muodostavat katkot. Katkojen koot samoin kuin sisältö määritetään. On huomattava, ettei katkojen 10 aikana ole välttämätöntä esittää mitään, jolloin näyttö on tyhjä jonkin kuvion sijasta. Lisäysvälineet 16 lisäävät näytölle menevään dataan määritetyt katkot. Soitin (sovellus vastaanotetun aineiston esittämiseksi vastaanottavassa päätelaitteessa) käsittää edullisesti havaintovälineet, muodostusvälineet ja lisäysvälineet. Toisessa suoritusmuodossa muodostusvälineet voivat sisältää 15 lisäysvälineet.
Virrat (tässä yhteydessä tiedostot) 18 lähettävässä päätelaitteessa 17 sisältävät esitysten otosten indikaattorit 19. Indikaattoreita hyväksikäyttäen voivat muodostus- ja lisäysvälineet tehdä tehtävänsä. Joissakin tapauksissa saattaa olla kohtuullista, että katkot lisätään vastaanottavassa pääte-20 laitteessa, jolloin muodostusvälineet 20 ja lisäysvälineet 121 ja havaintovälineet 122 ovat vastanottavassa päätelaitteessa. Tässä suoritusmuodossa ote-: : taan huomioon katkojen sisällön koot.
Koska keksinnön mukainen suoritusmuoto voidaan toteuttaa käyt-| täen tietokoneella luettavissa olevaan tallennusmediaan tallennettua tietoko- 25 neohjelmatuotetta, keksintö kohdistuu myös tietokoneohjelmatuotteeseen. :*·.· Ohjelmatuote on sovitettu muodostamaan ainakin vaatimuksen 1 mukaiset .···. vaiheet toimiessaan tietokoneessa. On huomattava, että vastaanottava pää telaite (ja lähettävä päätelaite) käsittävät pienen tietokoneen (pieni prosesso-riyksikkö ja muisti) 30 Keksinnön mukainen järjestely voidaan tehdä monin tavoin. Esi- ·;“ merkiksi havaintovälineet voivat monitoroida virtaa ennen puskuria tai sen jälkeen. Havaintovälineet, muodostusvälineet ja lisäysvälineet voivat myös ·:·: olla erillisiä elementtejä tai kytkettynä yhteen elementtiin ja ne voivat olla soit- timen ulkopuolella. Lähettävä päätelaite voi olla palvelin, toinen matkaviestin 35 tai mikä tahansa laite, joka kykenee lähettämään virtoja. On myös huomatta- 9 116016 va, että eri prosessien välillä on lyhyitä viiveitä, kuten puskurointia ja esittämistä, vaikka edeltävät esimerkit kuvaakaan niitä.
Keksintö ei rajoitu tässä tekstissä kuvattuihin esimerkkeihin vaan sitä voidaan käyttää myös muissa ratkaisuissa keksinnön ajatuksen puitteis-5 sa.

Claims (19)

1. Menetelmä virran puskuroimiseksi vastaanottavassa päätelaitteessa, joka virta lähetetään lähettävästä päätelaitteesta vastaanottavaan päätelaitteeseen, vastaanottavan päätelaitteen käsittäessä puskurin virran 5 puskuroimiseksi ja virran sisältäessä vastaanottavassa päätelaitteessa näytettävän esityksen dataa, tunnettu siitä että menetelmä käsittää vaiheet: havaitaan virrassa olevat esityksen otosten indikaattorit (71, 72), jotka indikoivat otosten (32, 34) alut, indikaattoreita hyväksikäyttäen lisätään esityksen otosten (31, 32; 10 33, 34) väliin katkoja, puskuroidaan tavanomaiseen tapaan virtaa puskuriin myös katkojen ajan.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että lisäysvaiheessa käytetään kunkin katkon keston määrittämiseen kussa- 15 kin indikaattorissa olevaa tietoa relevantin otoksen koosta ja tietoa lähettävän päätelaitteen ja vastaanottavan päätelaitteen välisestä siirtokapasiteetista.
3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että sanotut vaiheet suoritetaan vastaanottavassa päätelaitteessa ja havainnointivaihe suoritetaan ennen virran puskurointia.
4. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että sanotut vaiheet suoritetaan vastaanottavassa päätelaitteessa ja havainnointivaihe suoritetaan virran puskuroinnin jälkeen.
5. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu :.··· siitä, että havainnointivaihe ja lisäysvaihe suoritetaan lähettävässä päätelait- 25 teessä.
6. Patenttivaatimuksen 2, 3, 4 tai 5 mukainen menetelmä, tun- : ·1 \ n e tt u siitä, että indikaattorit sijaitsevat virrassa ennen niihin liittyvä otoksia.
7. Minkä tahansa patenttivaatimuksen 1-6 mukainen menetelmä, tunnettu siitä, että katkojen aikana esitetään yhtenäinen tausta, yksinker- ”!! 30 täinen kuvio tai yksinkertainen kuva.
8. Minkä tahansa patenttivaatimuksen 1 - 7 mukainen menetelmä, tunnettu siitä, että virtaa puskuroitaessa käytetään automaattista pusku- ·:·*: rointia.
,·|·, 9. Järjestely virran puskuroimiseksi vastaanottavassa päätelait- 35 teessä, joka virta lähetetään lähettävästä päätelaitteesta vastaanottavaan ·’ päätelaitteeseen, vastaanottavan päätelaitteen käsittäessä puskurin virran 11 116016 puskuroimiseksi ja virran sisältäessä vastaanottavassa päätelaitteessa näytettävän esityksen dataa, tunnettu siitä, että järjestely käsittää: virrassa olevat esityksen otosten indikaattorit, jotka indikoivat otosten alut, 5 havaintovälineet indikaattoreiden havaitsemiseksi, muodostusvälineet katkojen muodostamiseksi esityksen otosten väliin indikaattoreita hyväksikäyttäen, jolloin virtaa puskuroidaan puskuriin tavanomaiseen tapaan myös katkojen aikana.
10. Patenttivaatimuksen 9 mukainen järjestely, tunnettu siitä, että muodostusvälineet sisältävät lisäysvälineet katkojen lisäämiseksi esityksen otosten väliin indikaattoreita hyväksikäyttäen.
10 116016
11. Patenttivaatimuksen 10 mukainen järjestely, tunnettu siitä, että mikäli vastaanottavasta päätelaitteesta puuttuu havaintovälineet ja muo- 15 dostusvälineet, ne ovat lähettävässä päätelaitteessa, jolloin lähetettävä virta sisältää katkot.
12. Patenttivaatimuksen 10 mukainen järjestely, tunnettu siitä, että muodostusvälineet ovat soittimessa.
13. Patenttivaatimuksen 10, 11 tai 12 mukainen järjestely, tun-20 nettu siitä, että katkoja muodostettaessa käytetään kunkin katkon keston määrittämiseksi kutakin indikaattoria, joka sisältää tiedon kyseisen otoksen koosta ja tietoa lähettävän päätelaitteen ja vastaanottavan päätelaitteen väli-:,i,: sestä siirtokapasiteetista.
14. Patenttivaatimuksen 9, 10 tai 12 mukainen järjestely, tunnet-25 tu siitä, että havaintovälineet monitoroivat virtaa ennen sen puskurointia. : ’ ·. j
15. Patenttivaatimuksen 9, 10 tai 12 mukainen järjestely, tunnet- . · · *. t u sitä, että havaintovälineet monitoroivat virtaa sen puskuroinnin jälkeen.
16. Minkä tahansa patenttivaatimuksen 9-15 mukainen järjestely, tunnettu siitä, että indikaattorit sijaitsevat virrassa ennen relevantteja otok-*;;; 30 siä.
’ ·; · * 17. Minkä tahansa patenttivaatimuksen 9-16 mukainen järjestely, : /.: t u n n e 11 u siitä, että katkojen aikana näytetään yhtenäistä taustaa, yksinker- •: · · i täistä kuviota tai yksinkertaista kuvaa.
18. Minkä tahansa patenttivaatimuksen 9-17 mukainen järjestely, 35 tunnettu siitä, että virtaa puskuroitaessa käytetään automaattista pusku-rointia. 12 116016
19. Tietokoneohjelmatuote, joka on tallennettu tietokoneella luettavissa olevaan tallennusmediaan, tuotteen ollessa sovitettu suorittamaan patenttivaatimuksen 1 mukaiset vaiheet ajettaessa ohjelmaa tietokoneessa. *« * • * 13 116016
FI20022261A 2002-12-20 2002-12-20 Puskurointijärjestely FI116016B (fi)

Priority Applications (3)

Application Number Priority Date Filing Date Title
FI20022261A FI116016B (fi) 2002-12-20 2002-12-20 Puskurointijärjestely
EP03104850A EP1441532A3 (en) 2002-12-20 2003-12-19 Buffering arrangement
US10/740,555 US20040184526A1 (en) 2002-12-20 2003-12-22 Buffering arrangement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20022261 2002-12-20
FI20022261A FI116016B (fi) 2002-12-20 2002-12-20 Puskurointijärjestely

Publications (3)

Publication Number Publication Date
FI20022261A0 FI20022261A0 (fi) 2002-12-20
FI20022261A FI20022261A (fi) 2004-06-21
FI116016B true FI116016B (fi) 2005-08-31

Family

ID=8565134

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20022261A FI116016B (fi) 2002-12-20 2002-12-20 Puskurointijärjestely

Country Status (3)

Country Link
US (1) US20040184526A1 (fi)
EP (1) EP1441532A3 (fi)
FI (1) FI116016B (fi)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US7864840B2 (en) 2005-04-15 2011-01-04 Inlet Technologies, Inc. Scene-by-scene digital video processing
WO2009073826A1 (en) * 2007-12-05 2009-06-11 Onlive, Inc. System and method for storing program code and data within an application hosting center
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US20100010979A1 (en) * 2008-07-11 2010-01-14 International Business Machines Corporation Reduced Volume Precision Data Quality Information Cleansing Feedback Process
US8347344B2 (en) * 2008-12-18 2013-01-01 Vmware, Inc. Measuring remote video playback performance with embedded encoded pixels
US9214004B2 (en) 2008-12-18 2015-12-15 Vmware, Inc. Watermarking and scalability techniques for a virtual desktop planning tool
US9674562B1 (en) 2008-12-18 2017-06-06 Vmware, Inc. Quality evaluation of multimedia delivery in cloud environments
US8788079B2 (en) 2010-11-09 2014-07-22 Vmware, Inc. Monitoring audio fidelity and audio-video synchronization
EP2360923A1 (en) * 2010-02-24 2011-08-24 Thomson Licensing Method for selectively requesting adaptive streaming content and a device implementing the method
US8301794B2 (en) * 2010-04-16 2012-10-30 Microsoft Corporation Media content improved playback quality
US8910228B2 (en) 2010-11-09 2014-12-09 Vmware, Inc. Measurement of remote display performance with image-embedded markers
US9336117B2 (en) 2010-11-09 2016-05-10 Vmware, Inc. Remote display performance measurement triggered by application display upgrade
CN103477648B (zh) * 2011-03-31 2018-08-14 索尼移动通信株式会社 在呈现多媒体内容的同时呈现消息传送内容的系统和方法
US9047863B2 (en) * 2012-01-12 2015-06-02 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for criticality threshold control
US9571827B2 (en) 2012-06-08 2017-02-14 Apple Inc. Techniques for adaptive video streaming
US20140074712A1 (en) * 2012-09-10 2014-03-13 Sound Halo Pty. Ltd. Media distribution system and process
US9201755B2 (en) 2013-02-14 2015-12-01 Vmware, Inc. Real-time, interactive measurement techniques for desktop virtualization
US9992499B2 (en) 2013-02-27 2018-06-05 Apple Inc. Adaptive streaming techniques
JP2017050816A (ja) * 2015-09-04 2017-03-09 パナソニックIpマネジメント株式会社 照明装置、及び、照明システム
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US11265597B2 (en) 2018-10-23 2022-03-01 Rovi Guides, Inc. Methods and systems for predictive buffering of related content segments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9012538D0 (en) * 1990-06-05 1990-07-25 Philips Nv Coding of video signals
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
EP2190207A1 (en) * 1994-10-21 2010-05-26 AT&T Corporation Method of video buffer verification
JP2742394B2 (ja) * 1994-12-02 1998-04-22 株式会社ナムコ ゲームプログラムおよびデータの読込み方法、ならびにこれを用いたゲーム装置
US6100931A (en) * 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
EP1074148B1 (en) * 1998-03-20 2003-05-28 STMicroelectronics Asia Pacific Pte Ltd. Moving pictures encoding with constant overall bit rate
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US6160847A (en) * 1998-06-26 2000-12-12 Lsi Logic Corporation Detection mechanism for video channel underflow in MPEG-2 video decoding
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
US6330286B1 (en) * 1999-06-09 2001-12-11 Sarnoff Corporation Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content

Also Published As

Publication number Publication date
EP1441532A2 (en) 2004-07-28
FI20022261A0 (fi) 2002-12-20
FI20022261A (fi) 2004-06-21
EP1441532A3 (en) 2004-08-11
US20040184526A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
FI116016B (fi) Puskurointijärjestely
US10097878B2 (en) Video playback method and control terminal thereof
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
RU2652099C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
JP6562992B2 (ja) デジタルビデオストリーミングにおけるトリック再生
KR100929073B1 (ko) 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법
US8291104B2 (en) Scalable video coding (SVC) file format
US8503541B2 (en) Method and apparatus for determining timing information from a bit stream
US11997302B2 (en) Encoding device, decoding device, streaming system, and streaming method
US7558296B2 (en) Multiplexer and demultiplexer
CN101478683B (zh) 同步音频帧与视频帧
US20070217505A1 (en) Adaptive Decoding Of Video Data
CN110505522A (zh) 视频数据的处理方法、装置、及电子设备
CN113287319B (zh) 优化编码操作的方法和装置
CN112672163B (zh) 用于分段流动性的代码转换器调节
KR101472032B1 (ko) Http 스트리밍에서 표현 스위칭시 처리 방법
US8904426B2 (en) Preconditioning ad content for digital program insertion
KR20020026250A (ko) 비디오 신호 인코딩 및 버퍼 관리
JP2005123907A (ja) データ再構成装置
EP1868391A1 (en) Method of and apparatus for reproducing compressed video streams
US20120269259A1 (en) System and Method for Encoding VBR MPEG Transport Streams in a Bounded Constant Bit Rate IP Network
CN105763848B (zh) 鱼眼摄像机后端接入方法及系统
CN114339316A (zh) 一种基于视频直播的视频流编码处理方法
KR100710393B1 (ko) 압축 스트림의 복호방법
JP4114868B2 (ja) 多重化装置および多重化方法

Legal Events

Date Code Title Description
FG Patent granted

Ref document number: 116016

Country of ref document: FI