HU228605B1 - Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal - Google Patents

Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal Download PDF

Info

Publication number
HU228605B1
HU228605B1 HU0400560A HUP0400560A HU228605B1 HU 228605 B1 HU228605 B1 HU 228605B1 HU 0400560 A HU0400560 A HU 0400560A HU P0400560 A HUP0400560 A HU P0400560A HU 228605 B1 HU228605 B1 HU 228605B1
Authority
HU
Hungary
Prior art keywords
frame
bit stream
frames
video
information
Prior art date
Application number
HU0400560A
Other languages
English (en)
Inventor
Marta Karczewicz
Ragip Kurceren
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/827,796 external-priority patent/US20020122491A1/en
Priority claimed from US09/883,887 external-priority patent/US6765963B2/en
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of HUP0400560A2 publication Critical patent/HUP0400560A2/hu
Publication of HU228605B1 publication Critical patent/HU228605B1/hu

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Description

Eljárás videó információ továbbítására, enkóder és űekóder videó információ kódolására és dekódolására, és kódolt videó információt képviselő jel
A találmány tárgya egyrészt egy eljárás videó információ továbbítására, amelynek során legalább egy első bitfolyamot és egy második blífolyatnot képezünk a videó intormáéi óból, ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, és a második bitfolyam legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolásához legalább részben eltérő kódolási paramétereket
10' alkalmazónk, majd az első bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első bitfolyamról a második bitfolyamra átkapcsoljuk. A találmány tárgya másrészt egy eljárás videó információ továbbítására, amelynek során a videó információból legalább egy bitfolyamot képezünk, ahol a bitfolyam legalább egy képkockát tartalmazó első képkocka füzért, és legalább egy időben előre megbecsült videó képkockát tartalmazó .második kép15 kocka füzért tartalmaz, és az első képkocka füzér képkockáinak valamint a második képkocka füzér képkockáinak a kódolása során legalább részben eltérő kódolási paramétereket alkalmazunk, majd a bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első képkocka füzetről átkapcsoljuk a második képkocka füzérre, A találmány tárgya ’narmadrészt egy eljárás videó információ továbbítására, amelynek során a videó információból legalább egy bitfolyaméi képezünk, ahol a bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért és legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és az első képkocka füzér képkockáinak és a második képkocka füzér képkockának a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmazunk, majd a bitfolyam legalább egy képkockáját továbbít25 jak, és az átvitelt az első képkocka füzérről átkapcsoljak a második képkocka tüzérre. A találmány tárgya negyedrészt, olyan enkőder, amelynek videó információból legalább egy első bitfolyamét és egy második bitfolyamot képező eszköze van, ahol az első bitfolyam legalább egy videó képkockát tartalmazó- első képkocka füzért, tartalmaz, és a második bitfolyam legalább egy időben előre megjósolt videó képkockát tartalmazó második képkocka füzért tartalmaz, továbbá az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmazó eszköze, továbbá a bitfolyam legalább egy képkockáját továbbító eszköze, valamint az átvitelt az első bitfolyamról a második bitfolyamra átkapcsoló eszköze van. A találmány tárgya ötödrészt egy deköder videó Információ dekódolására, legalább egy első bitfolyam-2böl és egy második bitfolyamból származó képkockákat tartalmazó jelből, ahol az első bitfolyam és a második bitfolyam a videód Információból van képezve, és az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, a második bitfolyam legalább egy időben előre megjósolt képkockát tartalmazó második képkocka füzért tartalmaz, és az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltéfo kódolási paramétereket alkalmaz, A találmány tárgya hatodrészt kódolt videó Információt képviselő jel, amely a videó információból képzett első bitfolyam és második bitfolyam legalább egyikéből származó képkockákat tartalmaz, ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka
1(1 füzért tartalmaz, és a második bitfolyam legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért, tartalmaz, és amely az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmaz. A találmány tárgya hetedrészt egy dekőder legalább egy videó blokkot és legalább egy Időben előre megbecsült videó blokkot tartalmazó jelből videó információ dekódolására, ahol az időben előre megbecsült videó blokk a legalább egy videó blokkból van előre megbecsülve, és a dekődernek előzőleg dekódolt blokkokra vonatkozó referencia információt eltároló memóriája, valamint a memóriában eltárolt referencia információ felhasználásával egy időben előre megjósolt blokkot kialakító prediktív fokozata van,
Mivel egy általános videó szekvenciában az egymással szomszédos képkockák között igen nagy az egybehangzás, nagyobb tömörítést érhetünk el, ha iníra képkockák helyett (1 képkockák) kétirányú, bidirekcionális képkockákat (B képkockákat) vagy időben előre megbecsült képkockákat (P képkockákat) használunk, Másrészt, ha a kódolt videó áramban időben előre becsié, azaz prediktív kódolást alkalmazunk, a B képkockákat és/vagy a P képkockákat nem tudjuk dekódolni anélkül, hogy az összes olyan megelőző és/vagv következő referencia képkockát hibátlanul dekódolnánk, amelyeket a B képkockák és/vagy a P képkockák kódolásához felhasználtak. Olyan helyzetekben, amikor az enkőderben használt referencia képkocka vagy képkockák és a vonatkozó referencia képkocka vagy képkockák a dekőderben nem azonosak egymással, vagy a jelátvitel során bekövetkezett hibák követ30 kéziében, vagy az adó oldalon bekövetkezett valamilyen véletlen esemény miatt, azokat a soron kővetkező képkockákat, amelyek egy ilyen referencia képkockát használnak fel az időbeli előre becsléshez, nem tudjuk rekonstruálni a dekódoló oldalon, hogy olyan dekódolt képkockát kapjunk, amely teljesen azonosa kódoló oldalon kódolt eredeti képkocka-3val. Ez az eltérés nem korlátozódik egyetlen képkockára, hanem az időben tovább terjed a mozgáskompenzált kódolás alkalmazásának a következtében.
Az 1A-IC, ábrákon napjaink jellemzőnek mondható videó kódoló és dekódoló rendszereiben alkalmazott kódolt illetve tömörített videó képkocka típusokat mutatunk be. Még a kő5 dolást megelőzően a videó szekvencia képeit több bi tes szám mátrixokkal jelöljük, melyek közül az egyik a képpontok luminanciájára, azaz fényerejére· vonatkozik, míg a másik kettő két krominancia, azaz szíhösszefevö· közül, képvisel egyet. Az IÁ. ábrán azt tüntettük fel, miképpen lehet egy intra, azaz 1200 képkockát úgy kódolni, hogy csupán magában a '200 képkockában jelen levő kép információt használjuk, fel. Az 1B. ábrán egy időben előre beid csőit, azaz P 210 képkocka felépítését mutatjuk be. A P 2.10 képkocka létrehozásához 205a nyíllal jelzett módon mozgáskompenzált időbeli becslést használunk.. Az IC. ábrán egy kéürányő, azaz B 220 képkocka felépítését, pontosabban kialakulását vázoltuk.. A B 220 képkockákat általában I 200- képkockák' vagy P képkockák közé iktatják be. A 2. ábrán, amely még mindig az isméit megoldásokra vonatkozik, a megjelenítés sorrendjében tüntet15 tönk fel egy képcsoportot, annak érdekében, hogy bemutassuk, miképpen kell a 8 220 képkockákat beiktatni az I 200 képkockák és a P 210 képkockák közé, valamint hogy megmutassuk azt az irányt, amely irányban a mozgáskompenzálási információ áramlik. Az IB., IC. és 2, ábrákon 205a nyilak jelzik a P 210 képkockák helyreállításához szükséges előre mozgáskompenzálási időbeli előre becslési információt, míg a 215a és 215b nyilak azt a mozgáskompenzáiási információt jelölik, amelyet előrementes irányban használunk a B 220 képkockák helyreállításához { 215a nyíl) és hátramentes irányban használunk a B 220 képkockák helyreállításához (215b nyíl). Más szavakkal, a 205a és a 215a nyilak .az Információ áramlás irányát jelzik abban az esetben, amikor az időben előre megjósolt képkockákat olyan képkockákból jósoljuk meg, amelyek a megjelenítés sorrendjében már korábban szerepeltek, mint az éppen helyreállítandó képkocka, míg a 215b nyíl az információ áramlást mutatja abban az esetben, amikor az időben előre megbecsült képkockákat olyan képkockákból becsüljük meg, amelyek a megjelenés sorrendjében, időben később következnek, mint az éppen helyreállítandó képkocka..
A mozgáskompenzált időbeli: előre becslés során az egy videó szekvenciában egymásra következő képkockák közötti hasonlóságot használjuk fel a kódolás hatékonyságának a növelésére. Ez alatt azt értjük, hogy úgynevezett mozgásvektorokat használunk annak a módnak a leírására, amely szerint egyes képpontok vagy képpont csoportok a videó szekvencia egymást követő képkockái közöd mozognak. A mozgásvektorok eltolási (ofszet) ér* « ♦ * * * a
».♦ φ
-4tékeket. és hibaadatokat szolgáltatnak, amelyek egy korábbi vagy későbbi videó adat képkockára hivatkoznak, mely képkocka olyan dekódolt képpont értékeket tartalmaz, amelyeket a hibaadatokkal együtt felhasználhatunk a videó adatok egy meghatározott képkockájának a tömörítésére vagy kódolására, vagy kibontására vagy dekódolására.
A P képkockák dekódolásához vagy kibontásához, rendelkezésünkre kell álljon a megelőző I vagy P referencia képkocka, továbbá egy 8 képkocka dekódolásához pedig rendelkezésünkre kell álljon a rákövetkező I vagy P referencia képkocka. Például, ha egy kódolt vagy tömörített adatfolyam a kővetkező képkocka szekvenciáj-ö vagy megjelenítési sorrendű:
lj 838 ^4858087858.78 k>Pi 1.. .Ρηθδ»..2.Ρη··|.1«» akkor az ehhez tartozó dekódolás! sorrend az alábbi lesz:
A dekódolás sorrendje azért különbözik a megjelenítési sorrendtől, mert a B képkockák: dekódolásukhoz későbbi X vagy P képkockákat igényelnek. A 2. ábrán a fenti képkocka szekvencia kezdetét ábrázoltuk,, és segítségével igyekezünk megértetni a képkockák eddi15 giekben leírt, függőségi, viszonyát. Á. P képkockák dekódolásához szükség van arra, hogy rendelkezésre álló egy megelőző 1 vagy 8 referencia képkocka. Például 84 képkocka dekódolásához szükségünk van I; képkockára. Hasonlóképpen a B$ képkocka dekódolásához szükségünk van arra, hogy a P4 képkocka rendelkezésűnkre álljon, hogy a Bő képkockát dekódolni illetve kicsomagolni tudjuk. A 8 képkockák, mint például a 83 képkocka dekó28 doiásához szükségünk van egy múltbeli és/vagy egy jövőbeli I vagy 8 referencia .képkockára, mint amilyen a P4 képkocka és az h képkocka. A 8 képkockák még a kódolás során az I vagy P képkockák közé iktatott képkockák.
A 3, és 4. ábrán: kódolásra és dekódolásra alkalmas ismert, rendszer felépítését vázoltuk. 30Í1 enkóderhen a i(x,y) kódolású, aktuális képkockának nevezett 301 .képkockát KxL kép2,5 pontból álló négyszögletes tartományokra osztjuk fel. A (x,y) koordináták a képpontok helyzetét adják meg a 3ÖI képkockán belül. Minden egyes blokkot vagy íntra kódolással kódolunk (vagyis kizárólag a blokkon belüli képadatok térbeli korrelációját használjuk fel), vagy inter módon kódoljuk (azaz miad térbeli, mind időbeli becslést alkalmazunk). A következő leírás azt az eljárást mutatja be, amelynek segítségével inter kódolású blokkokat tudunk kialakítana Minden egye inter kódolású blokkot 360 mozgáskompenzált időbeli előre becsló fokozatban időben előre becsiünk a 358 képkocka memóriában levő, megelőzően (vagy rákövetkezőén) kódolt és továbbított R(x,y) képkockák egyikéből, amelyet re* * *» ·> ♦ *
ferencia képkockának neveztek. Az. időbeli elem becsléshez használt mozgásinformációt a 370 mozgásbeeslő és kódoló fokozatból kapjak, a referencia képkocka és az aktuális 305 képkocka felhasználásával. A mozgás-információt olyan kétdimenziós (Ax, Ay) mozgásvektorral jelöljük, amelynél Ax jelenti a vízszintes, Ay pedig a függőleges elmozdulást. A
3ÖÖ mozgáskompenzált időbeli előre becslö fokozatban a mozgásvekforokat a referencia képkockával együtt használjuk fél egy időbeli előre becslési P(x,y) képkocka létrehozásához:
P(x,y) - R(x+ Ax, y+ Ay),
Ezt követően kiszámítjuk az E(x,y) időbeli előre becslési hibát, vagyis az aktuális 305 kép10 kocka és az- időbeli előre becslési. P(x,y) képkocka közötti eltérést a 307 kivonó- fokozatban az alábbi összefüggés szerint:
E(x,y> ~ í(x,y)-F{x,y).
A 310 transzformáló fokozatban minden egyes KxL blokkhoz, tartozó előre becslési hibát bj(x,y) transzformációs alapfüggvények súlyozott összegeként jelenítünk meg:
E(x,y}~ 52. Σ foo<U)f>j (x,y)·
A bázisiüggvényekhez tartozó cerí(ij) súlyokat transzformációs együtthatóknak hívjak. Ezeket -az együtthatókat ezt követően, a 321) kvantáló fokozatban kvantáljnk, hogy az alábbi összefüggést kapjuk:
ahol kn-jj) a kvantált transzformáció együtthatók. A Q() kvantálási művelet információ veszteséget vezet be, de a .kvantált együtthatókat kevesebb számú bittel tudjuk megjeleníteni, A tömörítés mértékét (az információveszteséget) a QF kvantálási paraméter értékének a beállításával tudjuk szabályozni.
Mielőtt a mozgásvektorokat és a kvantált transzformációs együtthatókat a 380 multiplexer'25 be vezetnénk, változó hosszúságú kódok használatával tovább kódoljuk. Ezzel csökkenteni tudjuk azt a bitszámot, amely a mozgásvektorok és a kvantált transzformációs együtthatók leírásához szükséges, A kódolt mozgásvektorokat, kvantált transzformációs együtthatókat, valamint az egyes kódolt képkockák megjelenítéséhez szükséges többi járulékos Információt a 380 multiplexerben muítiplexeljük,. és az ennek eredményeként kapott bitfolyamét
315 kimeneten át továbbítjuk a dekődetbe. A kvantált transzformációs együtthatókat egy ♦ * «« * ·* *
- 6 330 inverz kvantáló fokozathoz is eljuttatjuk, hogy inverz kvantált transzformációs· együtthatókat kapjunk, valamint 340 inverz transzformáló fokozathoz is eljuttatjuk, hogy megkapjuk az aktuális képkockára vonatkozó E;..(x,y) előre becslési hiba információt, Áz Ec(x,y) előre becslési hiba információt 345 összegző fokozatban hozzáadjuk az előre becsült P(x«.y) képkockához, hogy olyan videó képkockát kapjunk, amelyet ezt követően már eltárolhatunk a 350 képkocka memóriában.
Áz alábbiakba® a 4. ábra segítségével a videó képkockák dekódolását mutatjuk be A 400 dekóder a 300 enkődertől annak 315 kimenetén át megkapja a multiplexeit videó 415 bitfolyamot,. és a 410 demultiplexer demultiplexeli ezt a 415 bitfolyamod hogy megkapja a. dekódolandó videó képkockákat alkotó részeket Ezek a részek legalább a kódolt kvantált Időbeli előre becslési hiba transzformációsegyütthatókat és a kódolt mozgásvektorokat tartalmazzák, amelyeket, ezt követően dekódolunk (ez az ábrán nem látszik), hogy megkapjuk a kvantált időbeli előre becslési hiba transzformációs együtthatókat és a mozgásvektorokat, A kvantált transzformációs együtthatókat a 42.Ö inverz kvantáló fokozatban inverz módon kvantáljuk, hogy megkapjuk a «Wi,j) inverz kvantált. transzformációs együtthatókat az. alábbi összefüggésnek megfelelően:
(i ; (X,„(i ,j i.QP).
A 430 inverz transzformáló fokozatban az inverz módon kvantált transzformációs együtthatókat inverz transzformációnak vetjük alá, hogy megkapjuk az E-(x,y) előre becslési hibát:
Byx,y> cw(i,j)f(x,y).
áz éppen kódéit képkocka képpontjait ügy állítjuk helyre, hogy megkeressük a 440 képkocka memóriából kapott IR(x,y) referencia képkockában lévő előre becslési képpontokat, és a kapott mozgásvektorokat a referencia képkockával együtt felhasználjuk a 450 mozgáskompenzált időben előre becslő fokozatban, hogy egy P(x,y) élőm becsült képkockát kapjunk. Az előre becsült Pfx,y) képkockát és az Ec(x,y) előre becslési hiba információt 435 összegző fokozatban összegezzük az alábbi összefüggés szerint;
E(x,y)~Rfo+ Ax, y+Áy)+Ecfx,y).
Ezeket az lc(x,y) értékeket tovább szűrhetjük, hogy megkapjuk a dekódolt videó 445 képkockát. A L(x,y) értékeket szintén eltároljuk a 440 képkocka memóriában. A helyreállított
-Ίl(z?y) értekeket a 4. ábrán nem látható ismert szűrő fokozattal szűrhetjük a 435 összegző fokozat után.
A videó streaming-nek nevezett művelet igen fontos alkalmazássá vált a telepített, nem mobil internet területén. Ennek alapján azt is megjósolhatjuk., hogy a videó streaming ha5 sonlóan fontos, szerepet kap már a közeli jövőben a harmadik .generációs vezeték nélküli hálózatokban. A streaming alkalmazásokban az adó, jeltovábbító szerver egy adatátviteli hálózaton kérésztől kezdi el adni az előre kódolt videó bitfolyamot a vevő felé egy, a vevőtől érkezett kérelem alapján, A. vevő a videó adatáramot annak vételével egyidejűleg játszsza le. A jelenlegi hálózatok természete következtében a felhasználó számára rendelkezésre álló tényleges sávszélesség a hálózati feltételek változása következtében szintén változhat. Ezeknek a változásoknak a kivédésére az adó szerver módosíthatja a tömörített videó bitsebességét. Valós idejű kódolással és két pont közötti adattovábbítással jellemzett hagyományos szolgáltatás esetében ezt a forrás kódolási paramétereinek menet közbeni módosításával érhetjük el, ilyen módosítható paraméter lehet például a kvantálási paraméter vagy a képkocka sebesség. A módosítás előnyösen az adaíátvüeh hálózattól származó visszacsatoláson alapél Jellemző síreaming helyzetekben azonban, ha egy már korábban kódolt videó bitfolyamot kell a vevőhöz továbbítani, a fenti megoldás érfelemszeren nem használható.
Előre kódolt videó szekvenciák esteeben a sávszélesség skálázhatóságára vonatkozó egyik megoldás érteimében többszörös, egymástól független adatáramokat kell előállítanunk, amelyek bitsebessége és minősége egymástól eltér. A adást végző szerver ilyen esetben dinamikusan átkapcsolgat a különböző adatáramok között, hogy a rendelkezésre álló sávszélesség változásaihoz igazodni tudjon. Ezt az elvei az alábbi példával világítjuk meg. Tételezzük fel, hogy többszörös bitfolyamot áliítenk elő, egymástól függetlenül különböző kó25 dőlési paraméterekkel, romi amilyen a kvantálási paraméter, ugyanannak a. videó szekvenciának az alapján. Jelölje (P^s, Pj..~, Ρί(η-ο) és P2> Ρζ,β+ΰ az 1 illetve 2 bitfolyamok dekódolt képkocka szekvenciáját, Mivel a kódolási paraméterek különbözőek a két bitfolyam vonatkozásában, az ugyanabban az időpillanatban az ezek alapján helyreállított képkockák, például a P!;„o és P2!„.i képkockák nem lesznek egymással azonosak. Tételezel} zük fel, hogy a szerver kiindulásképpen az 1. bitfolyamból származó kódolt képkockákat küld n időpontig, melyet követően a 2 bitfolyamból származó kódolt képkockákat kezd továbbküldeni, és a dekőder fogadja ezeket a Pl,».;, P2>a, P3^b képkockákat.
Ebben az esetben, a képkockát nem. tudjuk hibátlanul dekódolni, mert a hozzá tartozó ~· „i.
-SΡ^,π-ϊ referencia képkockát még nem kaptuk meg. Másrészt, a képkocka helyett kapott Pj^.i képkocka sem azonos a Εχ«ο képkockával, Ezért az egyes bitfolyamok között tetszőleges pontokon végrehajtott átkapcsolás szemmel látható képhibákhoz vezet a különböző szekvenciákban a mozgáskompenzált előre becsléshez használt referencia képkockák közötti eltérés következtében. Ezek a szemmel látható képhibák nem csupán a két bitfolyam közötti átkapcsolás időpontjához tartozó képkockában látszanak, hanem időben továbbterjednek a videó szekvencia maradék részében zajló folytatódó mozgáskompenzált kódolás révén.
A jelenlegi videó kódolási szabványokban a kifogástalan (eltérés nélküli) átkapcsolás a bitfolyamok között kizárólag olyan pontokon lehetséges, ahol az aktuális és rákövetkező képkockák vagy képkocka szakaszok nem használnak semmilyen információt az aktuális kapcsolási pont elöttröl, azaz nem hasznúinak fel 1 képkockákat. Ezen túlmenően, ha rögzített (például I s) időközönként I képkockákat iktatunk be, úgy videó magnetofon funkciókat Is kapunk, mint amilyen a véletlen hozzáférés, vagy a gyors előre vagy a gyors vissza” funkció (azaz -megnövelt sebességű lejátszás) a slreaming, vagyis áramló videó tartalom vonatkozásában, Ennek segítségével a felhasználó kihagyhat cgy-egy részt a videó szekvenciából és a lejátszást bármely I képkocka helyről újra kezdheti:. Hasonlóképpen gyorsított lejátszást érhetünk el azáltal, ha kizárólag I képkockákat továbbítunk. Az ilyen és ehhez hasonló alkalmazásokban az I képkockák fokozott használatának az a hátránya, hogy mivel az I képkockák, semmilyen időbeli redundanciát nem használnak ki, sokkal nagyobb méretnek, több bitből állnak, mint az. ugyanilyen .minőségű P képkockák.
A találmánnyal célunk olyan megoldás kidolgozása, amelynek segítségével videó képeket megfelelő minőségben és módon vagyunk képesek továbbítani különböző, jobban mondva változó átviteli körülmények között. Találmányunk azon a felismerésen alapul, hogy az egyes videó adatfolyamok közöld megfelelő (hibamentes) átkapcsolást egy új típusú tömörített videó képkocka kialakítással, valamint ennek az új típusú videó képkockának olyan helyeken a videó bitfolyamba történő beillesztésével biztosíthatjuk, ahol engedélyezett egy bitfolyamról egy másik bitfolyamra való átkapcsolás. Leírásunkban az új típusú tömörített videó képkockát általánosságban S képkockaként jelöljük, Az S képkockák tulajdonképpen SP képkockaként minősíthetők, amelyek a dekóderben keletkeznek, mozgásvektor információ felhasználásával már korábban dekódolt képkockákból származó mozgáskomnenzált időbeli előre becslés alkalmazásával, valamint Sí képkockaként osztályozhatók, amelyek ugyancsak a deködemél jönnek léim, a dekódolás alatt álló képkockán belül már de....
a. .j.
-9kódolt szomszédos képkockákból származótárbeli (intra) dóré becslés alkalmazásával. Általánosságban egy találmány szerinti :S képkocka blokkonként! alapon képezhető ki, és mind intet kódolású, azaz SP blokkokat, mind pedig intra. kódolású, azaz Sí blokkokat tartalmazhat,
A kitűzött feladatot tehát egyrészt egy eljárással oldottuk meg videó információ továbbítására, amelynek során legalább egy első hírfolyamot és egy második bitfolyamot képeztek a videó információból. ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, és a második bitfolyam legalább egy időben előre megbecsüli videó képkockái tartalmazó második képkocka füzért tartalmaz, és az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolásához legalább részben eltérő kódolási paramétereket alkalmazunk, majd az első bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első bitfolyamról a második bitfolyamra átkapcsoljuk. Bzt az eljárást a találmány értelmében úgy fejlesztettük tovább, hogy az átvitelnek az első bitfolyamról a második bitfolyamra történő átkapcsolása során a második bitfolyam legalább egy elsődleges kapcsolási képkockát tartalmaz, és egv másodlagos kapcsolási képkockát továbbítunk, amelyet a második bitfolyam kódolási paramétereinek a felhasználásával kódoltunk, és az elsődleges kapcsolási képkocka helyett legalább egy, az első bitfolyamból származó referencia képkockát és a másodlagos kapcsolási képkockát használjuk olyan referencia képkockaként, amelyet a második képkocka füzér legalább egy időbeli előre be20 esőit videó képkockájának a helyreállítja során kell használni.
A találmány szerinti eljárás egy előnyös foganatosítás! módja értelmében az első bitfolyam legalább egy elsődleges kapcsolási képkockát foglal magában.
A javasolt eljárás egy további előnyös foganatositási módja értelmében az első bitfolyam egy intra képkockát és egy másodlagos kapcsolási képkockát tartalmaz , a videó informá25 eiő egyik helyéről a videó információ egy másik helyére történő átváltás végrehajtására.
Előnyös továbbá a javasolt eljárás elvarr foganatosítás; módja, amelynek során az első bitfolyam kizárólag intra képkockákat és elsődleges kapcsolási képkockákat tartalmaz , a videó információ gyors élőm lejátszásának a megvalósítására.
Ugyancsak előnyös a javasolt eljárás olyan foganatosítás! módja, amelynek során az elsőd30 leges kapcsolási képkocka vagy másodlagos kapcsolási képkocka olyan időbeli élőm becslő videó képkocka, amelyben az időbeli előre becslési információ kizárólag: intra előre becslési információt tartalmaz.
-10A találmány szerinti eljárás egy további előnyös foganatosítást módja értelmében az elsődleges kapcsolási képkockát úgy képezzük, hogy transzformációs együtthatókat (c.^) számítunk ki és kvantálunk, hogy létrehozzuk a transzformációs együtthatók (cpKSá) kvantált. értékeit továbbá az időbeli előre becslési hibához kvantált együtthatókat. (lr) definiá5 fűnk, továbbá helyreállított. kvantált transzformációs együtthatókat (Is,x) definiálunk úgy, hogy az együtthatókból {cree) kvantálással helyreállított kvantált transzformációs együtthatókat (Lej nyerünk., és hogy a helyreállított kvantált transzformációs együtthatók ík-ec) kielégítik az alábbi feltételek egyikét:
ahol d; az előre becslési hiba dekvantált értékek
Áz előző foganatosítást módhoz kapcsolódóan előnyős, ha ugyanazokat a kvantálási -paramétereket használjuk mind a transzformációs együtthatók (IP,e;í) kvantálásánál, mind pedig az előre becslési hiba kvantálásánál. Ugyanehhez a módhoz csatlakozva előnyös az is, ha a transzformációs együtthatók (c^ó kvantálásához eltérő kvantálási paramétereket használunk, mint az előre becslési hiba kvantálásához.
A kitűzött feladatot másrészt, egy -eljárással oldottuk meg videó információ továbbítására, amelynek során a videó információból legalább egy bitfolyamot képezünk, ahol a bitfolyam legalább egy képkockát tartalmazó első képkocka füzért, és legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és az első képkocka füzér képkockáinak valamint a második képkocka füzér képkockáinak a kódolása során legalább részben eltérő kódolási paramétereket alkalmazunk, maid a bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első képkocka füzérről átkapcsoljuk a második képkocka füzérre. A találmány értelmében a továbbításnak .az első képkocka fü25 zétről a második képkocka tüzérre történő átkapcsolása során a második képkocka füzér legalább egy elsődleges kapcsolási képkockát tartalmaz, majd egy másodlagos kapcsolási képkockát továbbítunk, ahol. a másodlagos kapcsolási képkockát a másodi k képkocka füzér kódolási paramétereinek és az első képkocka füzérből .származó .legalább egy referenciaképkocka kódolási paramétereinek a felhasználásával kódoltok, és a másodlagos kapcsolási képkockát használjuk fel az elsődleges kapcsolási képkocka helyén olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy előre becslési videó képkockájának a helyreállításánál használunk tót és a másodlagos kapcsolási képkockát
-IIhasználjuk az átviteli hibák kijavítására, ahol a másodlagos kapcsolási képkocka egy időbeli előre becsült videó képkocka, amelyben az időbeli előre becslési információ az időbeli előre becslési videó képkocka megelőző képkockájánál korábbi videó képkockákból származó becslést információt tartalmaz.
A kitűzött feladatot harmadrészt egy eljárással oldottuk meg videó információ továbbítására, amelynek során a videó információból legalább egy bitfolyamot képezünk, ahol a bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért és legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és az első képkocka füzér képkockáinak és a második képkocka füzér képkockának a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmazunk, majd a bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első képkocka füzérről átkapcsoljuk a második képkocka füzérre. Ezt az eljárást a találmány értelmében úgy fejlesztettük tovább, hogy a továbbításnak az első képkocka füzérről a második képkocka füzérre történő átkapcsolása során a második képkocka füzér legalább egy elsődleges kapcsolási képkockát tartalmaz, majd egy másodlagos kapcsolási képkockát továbbítunk, ahol a másodlagos kapcsolási képkockát a második képkocka füzért és az első képkocka füzér legalább egy referencia képkockájának a kódolási paramétereinek a felhasználásával kódoltak, és a másodlagos kapcsolási képkockát használjak az elsődleges kapcsolási képkocka helyett olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy előre becslési videó képkockájának a helyreállítása során alkalmazunk, ás hogy a másodlagos kapcsolási képkockát használjuk az átviteli hibák javítására, ahol a másodlagos kapcsolási képkocka olyan előre becslési videó képkocka, amelyben a becslési információs kizárólag rntra kódolású becslési információt tartalmaz.
Ennek a javasolt eljárásnak az egyik előnyös foganatosítás! módja értelmében, mind a legalább egy elsődleges kapcsolási képkocka, mind pedig a másodlagos kapcsolási képkocka a legalább egy időben előre megbecsült videó képkockának ugyanazt a helyreállítási eredményét biztosítja.
A találmány szerinti eljárás egy további előnyös foganatosítás! módja értelmében mind a legalább egy elsődleges kapcsolási képkocka, mind pedig a másodlagos kapcsolási képkocka azonos helyreállított értékeket tartalmaz.
A kitűzött feladatot negyedrészt, egy enkőderre! oldottuk meg, amelynek videó információból legalább egy első biífolyaroot és egy második bitfolyamot képező eszköze van·, ahol az ·*♦?:
**
a.
- 12 első bitfolyam legalább egy videó képkockát tartalmazó első képkocka fűzért tartalmaz, és a második bitfolyam legalább egy időben előre megjósolt videó képkockát tartalmazó második képkocka füzért tartalmaz, továbbá az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmazó eszköze, továbbá a bitfolyam legalább egy képkockáját továbbító eszköze, valamint az átvitelt az első bitfolyamról a második bitfolyamra átkapcsoló eszköze van. Találmányunk értelmében az első bitfolyamról a második bitfolyamra az átvitelt átkapcsoló eszközök egy másodlagos kapcsolási képkockát a második bitfolyam és az első bitfolyamból származó referencia képkockák kódolási paramétereit basználö, ezzel az átvitelnek az első bitfolyamról a második bitfolyamra történő átkapcsolását lehetővé tevő kódoló eszköze van.
A találmány szerinti enkőder egy előnyös kiviteli alakja értelmében a referencia képkockák felhasználásával előre becslési információt előállító eszköze, továbbá az előre becslési információt kvantálő és dekvantálő eszköze van.
Utóbbi esetben előnyös a találmány értelmében, fea a referencia képkockák felhasználásával előre becslési információt előállító eszköze valamint az előre becslési információt transzformáló eszköze van.
A kitűzőit feladatot ötödrészt egy dekőderrel oldottuk meg videó információ dekódolására, legalább egy első bitfolyamból és egy második bitfolyamból származó képkockákat tartalmazó jelből, ahol az első bitfolyam és a második bitfolyam a videó infönnáclőből van képezve, és az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka fezért tartalmaz, a második bitfolyam legalább egy időben előre megjósolt képkockát tartalmazó második képkocka füzért tartalmaz, és az első bitfolyam, képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmaz, A találmány szerinti dekódemek egy másodlagos kapcsolási képkockát dekódoló eszköze van, ahol a másodlagos kapcsolási képkockát a második bitfolyam és az első bitfolyamból származó legalább egy referencia képkocka kódolási paramétereinek a felhasználásával kódoljuk, és a jelhez hozzáadjuk az elsődleges kapcsolási képkocka helyett olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy időbeli előre becsié videó képkockájának a helyreállítása során használunk, továbbá a másodlagos kapcsolási képkockát dekódoló; eszköznek a második bitfolyam és az első bitfolyam referencia képkockáinak dekódolás! paramétereit használó eszköze van.
***χ
13A találmány szerinti dekóder egy előnyös kiviteli alakja értelmében az elsődleges kapcsolási képkocka kizárólag térbeli korreláció· használatával, latra előre becsléssel kódolt területeket, továbbá mozgáskompenzálás felhasználásával, inter előre becsléssel kódolt területeket tartalmaz, és a dekódemek mozgáskompeiizálási információt a helyreállításnál fel5 használó eszköze, térbeli korreláció információi a helyreállításnál felhasználó eszköze, valamint az egyes területek helyreállítását vagy a nwzgáskompenzálási információt használó eszközök révén, vagy a térbeli korreláció információt felhasználó- eszközök révén, a vonatkozó terület kódolásánál használt előre becslési eljárástól függően végrehajtó kapcsoló eszköze van.
lő A kitűzött feladatot hatodrészt kódolt videó információt képviselő jellel oldottak meg, amely a videó információból képzett első bitfolyam és második bitfolyam legalább egyikéből származó képkockákat tartalmaz, ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, és a második bitfolyam legalább egy Időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és amely az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmaz. Ezt a találmány értelmében úgy fejlesztettük tovább, hogy az első bitfolyamról a második bitfolyamra történő átvitel átkapcsolás során a második bitfolyam legalább egy elsődleges kapcsolási képkockát tartalmaz, és a jel olyan másodlagos kapcsolási képkockát tartalmaz, amelyet a máso20 dik bitfolyam és az első bitfolyamból származó legalább egy referencia képkocka kódolási: paramétereinek a felhasználásával kódoltak, és a másodlagos kapcsolási képkockát használják az elsődleges kapcsolási képkocka helyén olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy előre becslési videó képkockájának a helyreállítása során használnak.
A kitűzött feladatot hetedrészt egy deköderrel oldottuk meg legalább egy videó blokkot és legalább egy időben előre megbecsült videó blokkot tartalmazó jelből videó információ dekódolására, ahol az időben előre megbecsült videó blokk a legalább egy videó blokkból van előre megbecsülve, és a dekodemek előzőleg dekódolt blokkokra vonatkozó referencia információt eltároló memóriája, valamint a memóriában eltárolt referencia információ fei3(1 használásával egy időben előre megjósolt blokkot kialakító prediktív fokozata van, A továbbfejlesztés érelmében a dekodemek az előre becsült blokkot transzformáló és így egy transzformált előre beesőit blokkot létrehozó transzformáló eszköze, továbbá a transzformált előre becsült blokkot az aktuális blokkot képviselő információval összegző és ezzel az «« .ί.
4, .5.
- 1.4aktuális blokk dekódolása során felhasználandó· összegzett információt előállító összegző eszköze van.
A találmány szerinti deköder egy előnyös kiviteli alakja értelmében inverz kvantálőt és inverz transzformáló eszközt tartalmaz, az aktuális blokknak az összegzést követő inverz kvantálására és inverz transzformálására.
Ugyancsak előnyős a találmány szerinti dekőder olyan kiviteli alakja, amely a transzformáit előre becsült blokkolsz összegzés elölt kvaníáló kvaníáló eszközzel van ellátva.
Egy további előnyös kiviteli alak érteimében az aktuális blokkot képviselő információt egy videó blokk legalább transzformálása és kvantálása révén kaptuk, ahol a transzformálás és kvantálás megegyezik az előre becsült blokknál alkalmazott transzformálással és kvantálással.
Ugyancsak, előnyös a javasolt deköder olyan kiviteli alakja, amelynél az aktuális blokkot képviselő információt egy videó blokk legalább transzformálása és kvantálása révén kaptuk, ahol a deködernek az aktuális blokkot képviselő információt még az összegzést meg15 előzőén inverz módon kvantálő in verz kvaníáló szerve van,
A találmány szerinti deköder egy további előnyös kiviteli alakja értelmében az aktuális blokkot képviselő információt egy videó blokk legalább transzformálása és kvantálása tévén nyertük, ahol a dekődemek az aktuális blokkot képviselő informáéi óösszegzést megelőző skálázását végző normától6 blokkja van.
Előnyös a találmány szerinti dekőder olyan kiviteli alakja, amely egy kvantálőt, egy inverz kvantálőt és egy inverz transzformáló szervet tartalmaz az aktuális blokk összegzést követő kvantálására, inverz kvantálására és inverz transzformálására.
Előnyös végül a javasolt dekőder olyan kiviteli alakja, amely a transzformálás során használandó transzformáló bázísfüggvényeket tartalmaz.
Találmányunk révén igen jelentős előnyöket értünk el a jelenleg ismert és alkalmazott eljárásokkal és berendezésekkel, rendszerekkel összehasonlítva. Találmányunk lehetővé teszi az átkapcsolást ügy, hogy az egyes bitfolyamok közötti átkapcsolások nemcsak az 1 képkockák helyén hajthatók végre, hanem az üj SP képkockák helyén is. Egy SP képkocka kódolási hatékonysága sokkal jobb, mint egy tipikus 1 képkocka kódolási hatékonysága, mivel kisebb sávszélesség kell az SP képkockákat tartalmazó bitfolyamok olyan helyekre továbbításához, ahol, a jelenlegi műszaki ismeretek szerint, eddig kizárólag I képkockákat ***·>·. ♦♦ * * Φ Φ « * y
*.,»* ·«·· ~ 15 ~ alkalmaztak volna,, miközben továbbra Is kellő adaptációs, lehetőséget biztosít az, adatátviteli feltételek módosítása vonatkozásában. Az egy adatfolyamról egy másik adatfolyamra történő átkapcsolás olyan helyeket is megvalósítható., ahol a találmány szerinti SP képkocka található a kódolt bitfolyamban. A dekóder által a bitfolyamból helyreállított képek minősége nem romlik azáltal, hogy a továbbítás során átkapcsolás vagy átkapcsolások történtek az egyes bitfolyamok között. Találmányunk további előnye, hogy a bitfolyamon véletlen hozzáférés, gyors előre és gyors hátra műveletek is végrehajthatók, a videó magnetofonoknál. ismert módon. A találmány szerinti rendszer hibajavító képessége és rugalmassága az általunk ismert és bemutatott, technika állásához tartozó megoldásokhoz képest lényegesen nőtt.
Találmányunk bemutatott és még be nem mutatott jellemzőit, vonatkozásait és előnyeit a továbbiakban a csatolt rajz segítségével mutatjuk be részletesebben, amelyen a találmány szerinti eljárás illetve az azt megvalósító egységek példaként! kiviteli alakjait tüntettük fel. Természetesen a rajzok kizárólag a találmány lényegének a bemutatását segítik elő, és nem a találmány oltalmi vagy felhasználhatósági körének a korlátozására szolgálnak, A rajzon az
1A-1C.,, 2. ábra k videó képkockák technika állása szerinti kódolását i lletve tömörítését mutatják be, a
3, ábrán egy szintén a technika állasához tartozó, általános mozgáskompenzált prediktív videó kódoló rendszer enköderének tömbvázlata látható, a
4. ábrán egy szinten a, technika állásához tartozó· általános, mozgáskompen- zált prediktív videó kódoló rendszer dekőderéoek tömbvázíata látható, az
5. ábra két különböző bitfolyam között a találmány szerinti S képkockák alkalmazásával történő átkapcsolás vázlata, a
6. ábrán a találmány szerinti dekóder egy lehetséges kivitel! alakjának felépítése látható tömbvázlat szinten, a
7. ábra S képkockák alkalmazásával véletlen hozzáférés műveletét mutatja,
a
S. ábra
9. ábrán
10, ábrán
1.1, ábra
12, ábra
13. ábra
14, ábrán
15. ábra
16. ábrán
....
«
X «
Μ* *4
- lőS képkockák alkalmazásával gyors előre művelet végrehajtásár mutatja,, a a találmány szerinti dekőder egy további lehetséges kiviteli alakjának tömbvázlata látható, a a találmány szerinti dekőder egy még további lehetséges kiviteli alakjának tömfovázlata. látható, a a találmány szerinti enköder egy előnyös kiviteli alakjának tömbvázlata, a a találmány szerinti enköder egy további lehetséges előnyös kivitek alakjának tömbvázlata, a egy további lehetséges enköder felépítést mutat tömbvázlat szinten, hiba helyreállításidúbatűrősi művelet SP képkockákkal történő megvalósításának lehetőségét vázoltok, a a találmány szerinti dekőder egy további lehetséges kiviteli alakjának tömbvázlata, és a a találmány szerinti dekőder egy további lehetséges kiviteli alakját mutatjuk be tömb váz lat szinten.
Leírásunk további részében a találmányt olyan rendszerben mutatjuk be, amelyben egy vi20 deojelből többszörös bitfolyamokat képezünk. A videojel bármilyen digitális videojel lehet, amely több képet, ezek között képsorozatot tartalmaz, A digitális videojelet egy enkóderrel kódoljuk, hogy létrehozzuk a több bjtfolyamot. Minden egyes hírfolyamot ugyanabból a videojelből állííjnfc elő, legalább részben eltérő kódolási paraméterek felhasználásával, Például a bitsebességet módosíthatjuk különböző kódolási paraméterek ki25 választásával, és ezen a módon különböző bitsebességű bitfolyamokat hozhatunk létre, A kódolási paraméterek közé tartozhat például a másodpercenkénti képkockák száma, a kvantálási paraméterek, a térbeli felbontás, vagy más, a kép nagyságát befolyásoló tényező, melyek közül a szakterületen jártas szakember jó néhányat ismer. Az enköder legalább egy intra képkockát Illeszt minden egyes bitfolyamhoz, jellemző módon minden egyes bit30 folyamnak legalább az első képkockája egy intra kódolású képkocka. Ez lehetővé teszi a dekőder számára, hogy megkezdje a videojel helyreállítását. Az I kódolású képkockák, P •·*ί ♦ X * ♦ ·$<
*.* ♦
17kódolású képkockák és B kódolású. képkockák kódolásához használt, enkóder bánnely, a technika állását képező ismert enkóder lehet, amely alkalmas videojel kódolására, vagy akár egynél több ismeri felépítésű és működésű enkódert is használhatunk ágy, hogy minden egyes enkoderben eltérő kódolási paramétereket állítunk be, hogy létrehozzuk a kívánt több bitfolyamot. Azonban ahhoz, hogy egy videojelet úgy kódolj ónk, hogy az a találmány szerinti SP kódolásé képkockákat és/vagy Sí kódolású képkockákat is tartalmazzon, az enkoderben új funkcionáljtást is kell biztosítanunk, amit leírásunk további részében részletesebben is bemutatónk.
Az enkóder a bitfolyamokba mozgás kompenzált prediktív kódolás felhasználásával kódolt
1.0 képkockákat (P képkockákat és opcionálisan B képkockákat) is beilleszt. Az enkóder ezen túlmenően új típusú képkockát is beilleszt a bitfolyamba, mely képkocka típust leírásunkban S képkockának nevezzük, és az S képkockákat az enkóder az egyes bitfolyamba azokon a helyeken illeszti bele, ahol engedélyezni kívánjak a találmánynak megfelelően az egyes bitfolyamok közötti átkapcsolást. Az S képkockákat olyan helyeken használhatjuk, ahol a technika állásához tartozó megoldásokban intra kódolású képkocka található, vagy az S képkockákat a videó szekvenciában lévő intra kódolású képkockák mellett is használhatjuk.
Az egymástól eltérő tulajdonságokkal rendelkező bitfolyamokat későbbi felhasználás céljára előnyösen valamilyen ismert tároló közegen tároljuk. Természetesen az is lehetséges, hogy a továbbítás, átvitel lényegében közvetlenül a kódolást követően menjen végbe, mely esetben nincs szükség arra, hogy teljes videó szekvenciákat tároljunk el, hanem csak a szükséges referencia, képkocka toldalékokat kell eltárolnunk. A kódolt videó adatáram továbbítását, átvitelét például egy olyan szerverrel hajthatjuk végre, amely megfelelő eszközökkel rendelkezik, az eltárolt bitfolyamok visszakeresésére és elküldésére, és/vagy a bit25 folyamok közvetlenül az enkődertől történő fogadására. A továbbítást végző szervernek ezen kívül a bitfolyamot a rajzon nem látható, de szakember számára ismert adatátviteli vagy jelátviteli hálózathoz továbbító eszközei is vannak.
Most következően a találmány szerinti eljárás egy előnyös foganatosttási módját mutatjuk be. Az 5. ábrán: egy első 510 bitfolyam része, valamint egy második 520 bitfolyam része látható, amelyeket 500 enkóder állít elő, Áz ábrán csupán néhány P képkocka látható az egyes 510, 520 bitfolyamokban. Ha megfigyeljük, akkor az első 510 bitfolyamban 511, 512, 514 és 51.5 képkockák a P kódolású képkockák, míg a második 520 bitfolyamban az 521, 522, 524 és 525 képkockák az ennek megfelelő P kódolású képkockák. Mind az első *”ϊ
.18 510 bitfolyam, mind pedig a második 520 bitfolyam' tartalmaz egy-egy S kódolású 513, 523 képkockát a megfelelő helyen (ezeket S? és S-2 hivatkozási jelekkel is elláttuk}. Abból indulunk ki, hogy a két 510, 520 bitfolyam ugyanannak a szekvenciának a részét képezi, csak különböző, jobban mondva eltérő bitsebességgel lettek kódolva, például eltérő má5 sodpercenkénti képkocka számmal, eltérő térbeli felbontással vagy eltérő kvantálási paraméterekkel. Feltételezzük továbbá, hogy az első 510 bitfolyamot a továbbítást végző szerver egy jelátviteli hálózaton keresztül továbbítja 600,1200, 1300 deköderhez (lásd a 6., 12. illetve 13. ábrát), és hogy & továbbítást végző szerver a jelátviteli hálózaton keresztül kap kérelmet az éppen átvitt videó adatáram bitsebességének a megváltoztatására,
Mint korábban említettük, az S képkockákat a kódolási művelet során azokon a helyeken iktatjuk be a videó szekvenciában a bitfolyamba, ahol lehetőség van arra, hogy az egyes bitfolyamok között átkapcsoljunk. Mint az 5. ábrán látható, a találmány egy előnyös megvalósításában egy további S 550 képkockát (amit S52 jelöléssel is elláttunk) társítunk az S3 és Sj S képkockákkal. Ezt az S 550 képkockát az S képkocka másodlagos megjelenítésé 15 nek (vagy röviden, egyszerűen másodlagos S képkockának) nevezzük, és csak akkor továbbítjuk, amikor átkapcsolunk az egyes bitfolyamok között. Ezt a másodlagos S52 S képkockát a videó szekvenciában lévő n-edik képkocka speciális kódolása révén állítjuk elő, amihez a második .520 bitfolyamban lévő megfelelő 523 (§?) S képkocka kódolási paramétereit, valamint az első 510 bitfolyamban lévő n-edik képkocka referencia képkockái alap20 ián előállított mozgáskompenzált becslést használjuk fel. Megjegyezzük, hogy az 5. ábrán bemutatott helyzetben az S2 S képkocka referencia képkockaként a második 520 bitfolyam korábban helyreállított képkockáit használja, a másodlagos Sn S képkocka pedig az első 510 bitfolyam korábban helyreállított képkockáit használja fel referencia képkockaként. Az S-2 és S;2 S képkockák helyreállított képpont értőkei azonban megegyeznek egymással. Az
S:-j2 S képkockát csak akkor továbbítjuk, amikor éppen végrehajtjuk az első 510 bitfolyamról a második 520 bitfolyamra az átkapcsolást. Ezért nincs arra szükség, hogy ezt a másodlagos S képkockát illetve képkockákat a kódolási művelet során folyamatosan előállítsuk, hanem csak akkor van. rájuk szükség, amikor egy-egy átkapcsolást hajtunk végre. Másrészt az is előnyös, ha néhány korábban előállított másodlagos S képkockával rendelkezünk ab30 han az időben, amikor a különböző bitfolyamokat létrehozzuk, hogy ezáltal is csökkentsük az átvitel során a szükséges számítási teljesítmény igényt,
Ha a továbbítást végző szerver elért a videó szekvenciának az S 513 képkockaként (S;) kódok képkockáját az első 51.Ö bitfolyamban, úgy megkezdődhetnek a szükséges műveletek, **«%· **· 4» * ♦ * « V * « ? * ί ···* #*«.» .«*
- 19hogy a videó jslátam továbbítását mára második 520 bitfolyam kódok képkockáinak küldésével folytassuk. Ebben a pontban a továbbítást végző szerver már továbbította a P 511 és 512 képkockákat az, első 510 bitfolyamból,, és a 600, 1200, 1300 dekóder már vette és dekódolta ezeket a P 511, 512 képkockákat. így ezek a képkockák már eltárolásra kerültek a ó00, 1200, 1300 dekóder 640, 1250, 1360 képkocka memóriájában.. A 640, 1250. 1360 képkocka memória elegendő nagyságé ahhoz, hogy el tudja tárolni az összes képkockát, amely egy P képkocka vagy egy B képkocka helyreállításához szükséges, vagyis az aktuális helyreállítandó képkocka által igényelt összes referencia képkockára vonatkozó szükséges információt.
A továbbítást végző szerver a videó adatáram továbbításának a folytatásához a második 520 bitfolyam kódolt képkockáit használja fék, A továbbítást, végző szerver példán! a képkocka Információ típusának a megvizsgálása révén megállapíthatja, hogy a soron következő továbbítandó képkocka egy S képkocka, így lehetőség van az egyes 510, 520 bitfolyamok között! átkapcsolásra. Természetesen az átkapcsolás csak akkor valósul meg, ha egy erre vonatkozó, ilyen irányú kérelem érkezett, vagy valamilyen más okból szükségessé válik az átkapcsolás. A továbbítást végző szerver a második 520 bitfolyam megfelelő S 523 képkockáját veszi és felhasználja, hogy kialakítsa a másodlagos S 550 képkockát (Ss?l és ezt az Sí? másodlagos S 550 képkockát küldi el a 600, 1200, 1300 dekóderhez; A továbbítást végző szerver nem küldi el a második 520 bitfolyam S? S képkockáját, hanem helyette a másodlagos 3;12 S képkockát küldi el. A másodlagos S képkockát Ily módon úgy állítjuk elő, hogy a másodlagos Sí? S képkocka dekódolása révén a 600 dekóder egy, azzal azonos képet tud helyreállítani, mint amilyent abban az esetben állítanánk elő, ha a második 520 bitfolyam megfelelő 521, 522 képkockáit és S 523 képkockáját használnánk. A másodlagos S képkocka továbbítását követően a továbbítást végző szerver folytatja a kódolt képkockák továbbítását, a második 520 bitfolyam, vagyis az 524, 525 képkockák megfelelően felhasználhatók, és így tovább.
Áz S 51.3, 523, 550 képkocka olyan blokkokat tartalmazhat, amelyeket kizárólag a képpontok közötti térbeli korreláció alapján kódoltunk (ezek az inda kódolású blokkok), valamint olyan blokkokat, amelyeket mind térbeli, mind pedig Időbeli korreláció alapján kódoltunk (ezek az inter kódolású blokkok),. Minden egyes In tér kódolású blokk esetén az erre a P.(x,y> blokkra vonatkozó előre becslést, a 609, 1200, 1300 dekóderben hozzuk létre, a kapott mozgásvektorok és egy referencia képkocka felhasználásával A P(x,y) blokkhoz szükséges Cpsed transzformációs együtthatót, amely a Fyx.v) bázisfüggvénynek felel meg.
- 20 kiszámítjuk ős kvantáljuk, A transzformációs együttható kvantált értékeit Ipre;j jelöléssel, a kvantált transzformációs együtthatók dekvantált értékeit pedig dpn5á jelöléssel láttuk el. A becslési hibához szükséges kvantált együtthatókat az enkődertől kapjuk. Ezeknek az együtthatóknak a dekvantált értékeit árjelöléssel láttuk el. Az ínter kódolású blokkban lévő minden egyes S{x,y) érték értéket az F^(x.,y) bázisfuggvények súlyozott összegeként dekódoljuk, ahol a díec sűlyértékeket dekvantált helyreállítási kép együtthatóknak hívjuk. A 0,.«.. súlyértékek értékeinek akkoráknak kell lenni, hogy megkapjuk azt a c«.c együtthatókat, amelyek segítségével megkaphatjuk kvantálással majd dekvantálással a drec sűlyértékeket. Ezen túlmenően a dfet; súlyértékeknek az alábbi összefüggések egyikét teljesíteniük kell;
dkss—dp^'t'djsf, vagy
Az S(x,y) értékeket ezt kővetően normáibatjuk és szűrhetjük.
Ezt követően leírásunkban a bitfolyamba helyezett S képkockát, például S 513 képkocka (Só és S 523 képkocka (S?) kódolását ismertetjük példaképpen.
Általánosságban a találmány szerinti S képkockát, mint amilyen az 5. ábrán az 513, 523 képkocka, blokkról blokkra haladó alapon állítjuk elő. Mint korábban már bemutattuk, minden egyes blokkot vagy oly módon kódolhatunk, hogy kihasználjuk a kódolás alatt állő kép képpontjai közötti térbeli korreláció előnyét (intra vagy SÍ blokkok), vagy oly módon, hogy kihasználjuk egy videó szekvencia egymást követő képkockáiban lévő képpont blokkok közötti időbeli korreláció előnyét (ezek az inter vagy SP blokkok).
A találmány szerinti S képkocka kódolást a ll. ábra segítségével mutatjuk be, amely a találmány szerinti 1100 enkőder egy első lehetséges kiviteli alakjának vázlata.
Egy S képkocka formátumba kódolandó videó képkockát először blokkokra osztunk tel, majd ezt kővetően minden egyes blokkot vagy SP biokként, vagy Sí blokként, vagy egy rntra blokként kódolunk, ahol az intra blokkok a szakterületen általánosan ismertek. 1190 átkapcsoló! megfelelően működtetve tudunk átkapcsolni az Sí és az SP kódolási módok között, vagyis az 1190 átkapcsoló a találmány megértetésének leírásánál használt fogalom, nem pedig feltétlenül valamilyen fizikai eszköz. Áz SP kódolási módban az 1190 áfkapcsolót úgy állítjuk he, hogy az aktuális blokkra vonatkozóan mozgás kompenzált élőm becslést kapjunk az 1170 mozgáskompenzált időben előre becslö fokozatban. A mozgáskompenzált előre becsléssel kapott blokk P(x,y) előre becslést képez az éppen kódolt képkocka soron
következő blokkja tekintetében, hasonlóan ahhoz a mádhoz, amelyet az ismert megoldásoknál a mozgáskompenzált előre becsléses eljárásnál használunk. Ez pontosabban annyit jelent, hogy az 1170 mozgáskompenzált' időben előre becslő fokozat hozza létre az éppen kódolt képkocka aktuális blokkjára vonatkozó P(x,v) előre becslést, egy olyan mozgásvek5 tor meghatározása révén, amely az aktuális blokk képpontjai és az 1146 képpont memóriában eltárolt helyreállítod referencia képkocka képpont értekei közötti viszonyt írja le.
Az Sí kódolási üzemmódban az 1190 átkapcsoló! úgy állítjuk be, hogy az éppen kódolt képkocka aktuális blokkjára vonatkozó előre becslést az .1180 intra előre becslő fokozatból kapjuk meg. Az 1.180 iníra előre becslö fokozat alkotja meg az éppen kódolt képkocka akW tuálls blokkjára vonatkozó P(x,y) előre becslést, ahol a kódolás hasonlóan zajlik ahhoz, amelyet az ismert megoldásoknál iníra előre becslés esetén alkalmaznak. Ez pontosabban annyit jelent, hogy az 1180 iníra előre beeslő fokozat képezi az éppen kódolt képkocka aktuális blokkjára vonatkozó F(x,y) előre becslést, ahol a képkockát az éppen kódolt képkockán belül lévő már kódolt szomszédos képpontok alapján előállított térbeli előre becslés felhasználásával kódoljuk.
Mind az SP, mind pedig az SÍ kódolás esetében a P(x,y) élőm becslés képpont értékek blokkjaként jelenik meg. Egy elórementes transzformációt, például diszkrét koszinusz transzformációt végezve az előre becsült P{x,y) képpont érték blokkon az 1.160 transzformáló fokozatban, majd az ennek eredményeként kapott cpreií transzformációs együtthatókat ezt követően kvantáljuk az 1150 kvantálö fokozatban, hogy előállítsuk az kvantált transzformációs együtthatókat. Az eredeti képadatokon ennek megfelelő műveleteket hajtunk végre.. Ez annyit jelent, hogy az: éppen kódolt eredeti kép képpont értékeinek aktuális blokkját .11.10 transzformáló fokozatban transzformáljuk, mégpedig valamilyen eicrementes transzfonnáeiőt, például diszkrét koszinusz transzformációt bájtunk végre az eredeti kép képpont értékein, hogy létrehozzuk a -c^ transzformációs együtthatókat. Ezeket a c<w transzformációs együtthatókat az 1.12Ö kvantálö fokozatban, kvantáljuk, és ezzel előállítjuk az feag kvantált transzformációs együtthatókat. .11.30 kivonó fokozatban fogadjuk az 1150 kvantálö: fokozat és az 1120 kvantálö fokozat lépések eredményeként kapott foíO, és kvantált transzformációs együtthatót, és ezek segítségével az alábbi összefogod gés szerint előállítunk egy Iör kvantált előre becslési hiba együttható készletet:
Az leyr kvantált előre becslési hiba együtthatókat az IBS multiplexerbe tápláljuk. Ha az aktuális blokk SP formátumban kódolt, akkor az 1135 nwltiplexeraek az. SP kódolású blokkhoz szükséges mozgásvektorokat is továbbítjuk., Ha az aktuális blokk Sí formátumú blokk, akkor az 1135 multiplexerhez továbbijuk az 1180 útira előre beeslő fokozatban az Sí kó~ dolású blokk előre becslésének kialakításához használt tótra előre becslési módra vonatkozó információt. Az Iw,· kvantált előre becslési hiba együtthatók esetében előnyösen változó hosszúságú kódolást alkalmazunk, valamint az 1135 multiplexerben a mozgásvektor vagy tótra becslési mód információhoz olyan bitfolyamot alakítunk ki, amelynél az Információ különböző formáit és az így kialakított biífolyamot multiplexeivé továbbítjuk a megfelelő
1200, 1300 dekoderhez (lásd a 12, és 13, ábrát),
A találmány szerinti S képkocka 11.00 enkőder helyi, lokális dekódolás! funkciókat is magában foglal. A kvantált előre becslési transzformációs együtthatókat, amelyeket az .11.50 kvantálő fokozatban állítottunk elő, az 3.3.40 összegző fokozatba tápláljuk, amely a kvantálást hiba együtthatókat is megkapja. Az 114(1 összegző fokozatban összegezzük a kvantált előre becslési transzformációs Ipr«j együtthatókat és a kvantált előre becslést hiba ’fov együtthatókat. és az alábbi összefüggésnek megfelelően egy helyreállított kvantált transzformácios Irec együttható készletet állítunk elő:.
A helyreállított kvantált transzformációs Lei? együtthatókat az 1142 inverz kvantálő foko20 zathoz továbbítjuk, amelyben a helyreállított kvantált transzformációs Ifec együtthatókat inverz módon kvantájuk, és ezáltal létrehozzuk az inverz módon kvantált helyreállított transzformációs df«; együtthatókat. Az inverz módon kvantált helyreállított transzformációs d!W együtthatókat az 1144 inverz transzformáló fokozatba továbbijuk, amelyben például egy inverz diszkrét koszinusz transzformációt hajtunk végre (IDCT), vagy bármilyen más inverz transzformációt az 11.60 transzformáló fokozatban végrehajtott transzformációhoz igazodóan. Ennek eredményeképpen a kérdéses kép blokk részére kialakítunk egy helyreállított képpont ériek blokkot, amelyet azután eltárolunk az 1.3.46· képkocka memóriában. Ahogy a képkocka soron következő blokkjait 5 képkocka formátumba kódoljuk, az előzőleg leírt kódolási és helyi dekódolást műveleteket hajtjuk végre, és az aktuális képkocka dekódolt változatát progresszív módon összeállítjuk a képkocka memóriában, ahol hozzáférhető és felhasználható az ugyanannak a képkockának a soron következő blokkjaira vonatkozó tótra előre becslés során, vagy a videó szekvencia rákövetkező képkockáinak inter módú (azaz mozgáskompenzálí) előre becsléséhez.
A továbbiakban a 12. ábra segítségével a találmány szerinti S képkocka deköder egy első lehetséges kiviteli alakját mutatjuk be.
Az S képkocka enkóderref korábban a 1.1.. ábra kapcsán leírt módon előállított bitfolyamot 12Ö9 dekóderrel vesszük, és összetevőire demtdtiplexeljük az 121IÖ demulti pl ezerrel. A deköder az S képkocka dekódolt változatát blokkonként! alapon állítja helyre, Mint korábban említettük, egy S képkocka tartalmazhat intra kódolású blokkokat, SP kódolásé blokkokat és Sí kódolású blokkokat, SP fomtátumö kép blokkok esetén a kapott bitfolyamban lévő információ Változó hosszúságú kódolt mozgásegyúttbatő információt és Változó hosszúságú kódolt kvantált előre becsült hiba IW1. együtthatókat foglal magában. Az Sí for10 malomban kódolt kép blokkok esetében a kapott bitfolyamban lévő információ arra az intra élőm becslési módra vonatkozó Változó hosszúságú kódolt információt is magában foglal, amelyet arra használunk, hogy az Sí kódolási blokkhoz a Változó hosszúságú kódolt kvantált előre becslési hiba kír együtthatókkal együtt létrehozzak az intra jellegű előre becslést,
Amikor egy SP kódolású blokkot dekódolunk, az. 1210 dernultiplexenel előbb megfelelő változó hosszúságú dekódolást hajtunk végre a kapott bitfolyamon, hogy kinyerjük belőle a mozgásvektor információt és a kvantált előre becslési hiba együtthatókat. Ezt követően a mozgásvektor információt különválasztjuk a kvantált előre becslési hiba fo. együtthatóktól. Az elkülönített mozgásvektor információt az 1260 mozgáskompenzált időben előre becsi© fokozathoz továbbítjuk, és a kvantált előre becslési hiba le!·, együtthatókat, amelyeket a bitfolyamból kaptunk, az 1220 összegző fokozat egyik bemenetére vezetjük. Az 1260 mozgáskompenzált előre 'becslő fokozatban használt mozgásvektor információt együtt használjuk az 1250 képkocka memóriában tárolt korábban helyreállított képkocka képpont értékeivel, hogy az 1100 enkőderhen használt és alkalmazod módhoz hasonló módon lét25 rehozzunk egy Píx.y) előre becslést.
Ha egy Sí kódolású blokkot dekódolunk, az 1210 denwltipiexerrel a kapott intra előre becslési módú információt változó hosszúságú dekódolásnak vetjük alá, éppúgy, mint a kvantált előre becslési hiba Igír együtthatókat. Az intra becslési mód információt ezt követően elkülönítjük a kvantált becslési hiba í együtthatóktól, és az 1270 intra előre becslö fokozatba tápláljuk, A kvantált előre becslési hiba fo;· együtthatókat az 1220 összegző fokozat egyik bemenetére vezetjük. Az intra előre becslési mód információt az 1.270 intra előre becslö fokozatban használjuk a korábban dekódolt, az 1250 képkocka memóriában tárolt aktuális képkocka éppen dekódolt képpont értékeivel együtt, hogy az éppen dekódolt ♦ » * Μ * ♦ «
-24aktuális blokkra vonatkozó P(x,y) dóra becslést létrehozzuk. Ismételten az 1200 dekóderben végrehajtott tara előre becslési művelet analóg ahhoz, amelyet az U00 dekóderben hajtottunk végre és leírásunk korábbi részében már részletesebben is bemutattunk.
Miután kialakítottunk az éppen dekódolt képkocka, aktuális blokkjára vonatkozó előre becslést, az 1280 átkapcsolóst úgy használjuk, hogy az előre becsült képpont értékeket tartalmazó Eíx,y) előre becslést továbbítjuk az 1.29Ö transzformáló fokozathoz, Áz 1280 átkapcsoló ebben az esetben is egy absztrakt fogalom inkább, semmint egy fizikai valóságában jelen lévő kapcsoló. Egy SF kódolású blokk esetén az 1280 átkapcsoló! úgy használjuk, hogy az 1260 mozgáskompenzált' előre becslő fokozatot összekössük az 1290 transzformáló fokozattak míg egy SÍ kódolású blokk esetén az 1.280 átkapcsoló! ágy használlak, hogy az 1270 latra előre becslö fokozatot kössük össze az 1290 transzformáló fokozattal.
Az 1290 transzformáló fokozatban valamilyen elorameníes transzformációt, például diszkrét koszinusz transzformációt végzünk a képpont értékek előre becsült. Píx.y) blokkján, és az ennek eredményeképpen kapott transzformációs cpnx5 együtthatókat az 1295 kvantáló fokozatba továbbítjuk, ahol azokat kvastálva kialakítjuk a kvaníáit transzformációs együtthatókat, A kvantáh transzformációs lí;íeá együtthatókat ezt követően az 122(1 összegző fokozat második bemenetére vezetjük, ahol hozzáadjuk az előre becslési hiba Ien· együtthatóhoz, hogy létrehozzunk egy helyreállított kvantáh transzformációs Lcc együttható készletet az alábbi összefüggés szerint:
Á helyreállított kvaníáit transzformációs ífec együtthatókat az 1230 inverz kvantáló fokozatba továbbítjuk, amelyben inverz módon kvantáljnk, hogy létrehozzuk az inverz kvantáit helyreállított díec együtthatókat. Áz inverz kvantáit helyreállított transzformációs dtec együtthatókat ezt követően az 1240 inverz transzformáló fokozathoz továbbítjuk, ahol például egy inverz diszkrét koszinusz transzformációt (IDCT) hajtunk végre rajtuk, vagy bármely más inverz transzformációt, igazodóan az 1.29(1 transzformáló fokozatban végrehajtott transzformációhoz. Ezen a módon a szóban forgó kép blokk túszéra létrehozunk egy helyreállított képpont érték blokkot, A helyreállított képpont értékeket a videó kimenethez, valamint az 1250 képkocka memóriához továbbítják. Ahogy az S képkocka ezt kővető blokkjain is a. korábban bemutatott dekódolást műveleteket végrehajtva dekódoljuk, az aktuális képkocka dekódolt változata fokozatosan összeáll az 1250 képkocka memóriában.
ahol az hozzáférhető és felhasználható az ugyanannak a képkockának a soron következő blokkjainak az intra típusú előre becslésében, vagy pedig a videó szekvenciában soron következő képkockák inter típusú (mozgáskompenzált) előre becslésében.
Mintán a találmány szerinti S képkocka enkőder és dekóder egy első lehetséges és előnyös kiviteli alakjának felépítését és működését áttekintettük, már könnyen megérthetjük, miképpen teszi lehetővé a találmány szerinti 8 képkockák a bitfolyamok közötti átkapcsolást anélkül, hogy ennek során átkapcsol ási hibák jelentkeznének, mint amilyenek az ismeri, videó kódoló és dekódoló rendszereknél szabad szemmel felismerhetőek. Ha még egyszer megnézzük az 5. ábrán vázolt bitfolyam átkapcsolást példát, látható, hogy az első 510 bit10 folyamról a. második 520 bitfolyamra, történő átkapcsolás az Sí 513 képkockák és az S? 523 képkockák helyén megy végbe. Mint korábban: említettük, amikor átkapcsolunk az egyes 510, 520 bitfolyamok között, egy Síként jelölt másodlagos S 550 képkockát kódolunk és továbbítunk. Az 'S-n másodlagos S 550 képkockát a második 520 bitfolyam kódolási paramétereinek télhasználásával, valamint az első 510 bitfolyamból származó referencia, kép15 kockák felhasználásával kódoljuk oly módon, hogy ha a másodlagos Sf2 550 képkockát dekódoljuk, annak helyreállított képpont értékei azonosak lesznek azokkal, amelyeket a második 5.2:0 bitfolyamban lévő S2 523 képkocka átvitelével kaptunk volna,
Γεκ. és Γ'ρ^ a becslési hiba és a becslési képkocka kvantált együtthatóit jelöli, melyeket a fent leírt módon az S:2 képkocka SP típusú kódolásával nyertünk, és I2ree pedig az S2 kép20 kocka, kvantált helyreállított kép együtthatóit jelöli. Az Ssj másodlagos S 550 képkocka kódolása során ugyanazt a műveletet végezzük, .mint az S2 $ 523 képkocka kódolása során az alábbi eltérésekkel:
1, A másodlagos S o S képkocka egyes blokkjainak előre becslése során használt referencia képkocka vagy képkockák a helyreállított képkockák, amelyeket az első 51.0 bitfolyam, de25: kódolása révén nyertünk, a: videó szekvenciában lévő aktuális n-edik képkockáig;
2. A kvantált becslési hiba együtthatókat a további összefüggéssel számítjuk ki:
ahol P“prs<: jelöli a kvantált becslési transzformációs együtthatókat. Az. kvantált becslési hiba együtthatókat és a mozgásvektorokat ezt követően az 1200 deköderhez továbbít30
- 26 Ha -az 1200 dekőderben ágy dekódoljuk az Su másodlagos S képkockát, hogy ehhez az első 510 bitfolyamból származó helyreállítóit képkockákat használjak fel referencia képkockaként még az átkapcsolás előtt, akkor a másodlagos $ képkocka ϊ12^ együtthatóit létrehozzuk és hozzáadjuk & kapott kvantált előre becslési hiba lí2ei-r együtthatókhoz, mint azt fent leírtuk, azaz:
Ebből az összefüggésből látható, hogy Iu«.e és í2^ értéke megegyezik. Ezért, jóllehet az S-í2 másodlagos képkocka és a második 520 bitfolyam Sj képkockája különböző referencia képkockákkal rendelkezik, amikor S$2 képkockát dekódoljuk,, olyan képet kapunk, amely10 nek helyreállított képpont értékel azonosak lesznek azokkal a képpont értékekkel, amelyeket a S'2 képkocka dekódolásának az eredményeképpen kapnánk.
Az S képkockáknak a találmány szerinti kódolására és dekódolására vonatkozó fenti leírásunk alapján látható, hogy lényeges különbség tapasztalható a technika állásához tartozó F képkocka és ϊ képkocka kódolási és dekódolást módszerekhez képest, pontosabban az lát1.5 ható, hogy ha egy kép blokkot S-P vagy SÍ formátumban kódolunk vagy dekódolunk, a szóban forgó blokkhoz tartozó P(x.y) előre becslést a transzformációs együttható dométtbe transzformáljuk, valamilyen transzformáció, mint a diszkrét koszinusz transzformáció alkalmazásával. Az így létrehozott transzformációs együtthatókat ezt kővetően kvantáljuk, és a kvantált együttható doménben határozunk meg valamilyen előre becslési hibát. Ez erőfel20 jesen eltér a találmány szerinti megoldásokban használt prediktív kódolástól, amelyben a becslési hibát a térbeli, azaz képpont érték doménben határozták meg,
A következőkben részletesebben is bemutatjuk az 12ÖÍ5 dekőder működését az 510 és 520 bitfolyamok átkapcsolása idején:. A videó szekvenciában azon a helyen, ahol az első 510 bitfolyamról át kell kapcsolnunk a második 520 bitfolyamra, az 1200 dekőder már meg25 kapta és dekódolta az első 510 bitfolyam megelőző P 511 és 512 képkockáját A dekódolt F 511 és 512 képkockákat az 1250 képkocka memóriában tároltuk eh így referencia képkockaként rendelkezésünkre állnak. Ha az első 510 bitfolyamról átkapcsolunk a második 520 bitfolyamra, az 1100 enkoderrei (lásd all. ábrát) létrehozunk és kódolunk egy ${2 másodlagos 550 képkockát, és az S;3 másodlagos S 550 képkockát képviselő kódolt videó információt elküldjük az 1200 dekodethez.
Mint korábban bemutattuk, a kódolást blokkonként! alapon hajtjuk végre. Ez annyit jelent, hogy az :S,J3 másodlagos S képkockát mint egy ken blokk együttest kódoljuk, és általánosSágban minden egyes kép blokkot vagy egy SP kódolású bbkként vagy egy Sí kódolásé biokként, vagy egy intra kódolású blokként kódoljuk. A másodlagos S32 S képkockák SP kódolású blokkjai vonatkozásában .az 1100 enkőderíől az 1200 dekőderhez továbbított, tö; Λ mörítet videó információ kvantált előre becslési hiba transzformációs l'OT együtthatóként és mozgásvektor információként jelenik meg. Az Sn másodlagos S képkocka Sí kódolású blokkjai vonatkozásában a tömörített videó információ kvantált előre becslési hiba transzformációs I12w együtthatókat valamint az 1 KK) enkőderben az SÍ kódolású blokk előre becslésének a kialakításánál használt intra előre becslési módra vonatkozó információt foglal magában,, Mint korábban bemutattuk, a tömörített videó információt megfelelő módon változó hosszúságú kódolásnak vethetjük alá az elküldést megelőzően annak érdekében, hogy tovább csökkentsük a megjelenítéséhez szükséges bitek számát.
Az 1.20Ö dekóderrel vesszük az egy adott kép blokkhoz tartozó tömörített videó információt, majd azt legelőször megfelelő változó- hosszúságú dekódolásnak vetjük alá és az 1210 demultiplexerrei összetevőire bontjuk. A kapott bitfolyamból kivont kvantált előre becslési hiba l;52w együtthatókat egy 1220 összegző fokozat egyik bemenetére vezetjük, és· minden egyes kép blokkra vonatkozóan a kép blokk, kódolási módjának megfelelően (azaz SP vagy Sí kódolású) létrehozunk egy előre becsült képpont érték P(x,y) blokkot. Egy SP kódolású blokk esetében az előre becsült képpont P(x,y) érték blokkot az 1260 mozgáskompenzált előre becslő fokozatban alakítjuk, ki, az, 1.25Ö képkocka, memóriában rendelkezésre álló első
510 bitfolyamból származó referencia képkocka (például 511 vagy 512 P képkocka) felhasználásával, valamint a másodlagos Sn S képkocka kódolt videó információjából az 1210 demuhiplexerrel kivont mozgásvektor információ alapján. Egy SÍ kódolású blokk esetén az 1270 intra előre 'becslő fokozatban a másodlagos S képkockának az ugyancsak az 12,50 képkocka memóriában tárolt, korábban kódolt képpontjainak a telhasználásá25 val kialakítunk egy előre becsült képpont P(x,y) érték blokkot. Az intra előre becslést annak az intra előre becslési, mód információnak az alapján hajtjuk végre, amelyet az 1210 demuí ti ötezerrel az S}2 másodlagos S képkockára vonatkozó kapott videó információból vontunk ki.
Miután kialakítottuk a másodlagos S képkocka aktuális blokkjára vonatkozóan egy előre becslést, ezt az előre becsűit képpont P(x,y) értéket az 1290 transzformáló fokozathoz továbbítjuk. Az 1.290 transzformáló fokozatban az előre becsült képpont P(x,y) értékek vonatkozásában előremeníes transzformálást (például diszkrét koszinusz transzformációt) hajtunk végre, hogy ezáltal létrehozzunk egy transzformációs c?rsj együttható készletet.
- 28 Ezeket a transzformációs együtthatókat az 1295 kvantálő fokozathoz továbbítjuk.
amelyben kvantáljuk, és így létrehozzuk a kvantáli transzformációs Inpred együtthatókat. A kvantáli transzformációs ϊί2^ együtthatókat pedig az 1220 összegző fokozat második bemenetére vezetjük. Az 1220 összegző fokozatban: a kvantált transzformációs í5^ együtthatókat kombináljuk a kvantáli előre becslést hiba transzformációs Γ2^ együtthatókkal, hogy így létrehozzuk a helyreállított kvantáli Ii2rsc együtthatókat az alábbi összefüggés szerint:
A helyreállított kvantáli transzformációs bfoc együtthatókat ezután továbbítjuk axl238 inverz kvantálő fokozatba, ahol inverz kvantálást hajfonk létre, és ezzel létrehozzuk az inverz kvantáli helyreállított transzformáció együtthatókat. Az inverz kvantáli helyreállított transzformációs d!2K;c együtthatókat ezt követően az inverz 1240 transzformáló fokozatba továbbítjuk, ahol inverz transzformálás! műveletet hajtunk végre (például egy inverz diszkrét koszinusz transzformációt). Ennek eredményeképpen az Sj? másodlagos S képkocka aktuális blokkjára vonatkozóan létrehozunk egy helyreállított képpont érték blokkot. A helyreállított képpont L(x,y) értékeket a videó kimenethez valamint. 1258 képkocka memóriához továbbítjuk. Az Sí? másodlagos S képkocka rákövetkező blokkjainak a kódolása, az 1 KM) enkóóertol az 1200 deköderhez történő továbbítása, majd azt követő dekódolása során az 1.250 képkocka memóriában progresszív módon építjük tél a másodlagos S képkocka dekódolt változatát. Innen a már dekódolt másodlagos S képkocka blokkokat előhívhatjuk és felhasználhatjuk az míra előre becslési 1270 fokozatban, hogy előre becsűit képpont Píx,y) értekeket képezzünk az S<2 másodlagos S képkocka rákövetkező blokkjai számára. Ennél a pontnál emlékeztetni szeretnéak arra, hogy az Smásodlagos S képkocka minden egyes kép blokkjához tartozó kvantált élőm becslési hiba transzformációs együtthatókat az 1100 enkóderben állítjuk elő az alábbi összefüggés szerint:
pZ „tZ 02 1 «&—·»· rcc-i prerf, ahol í2fec a kvantáli helyreállított transzformációs együttható érték, amelyet a második 520 bitfolyamban az S? S képkocka kódolásával majd azt követő dekódolásával állítódunk elő.. Ez azt jelenti, hogy az Sn másodlagos $ képkockára vonatkozó tömörített videó Információ dekódolása révén előállított helyreállított transzformáció íI2fec együtthatók azonosak azokkal az együtthatókkal, amelyeket akkor kapnánk,, ha a második 520 bitfolyamból * * X »ί»
-29szárraazó Sj :S képkockát továbbítanánk és dekódolnánk. Mint korábban magyaráztok, ez azért van így, mert:
,Í2 {12
Ϊ rsc-d pí-carl e!?~í pfcítf-I f.se-í pjeá~I ,-ec így tehát Γ b^íbec, így tehát látható, hogy az S-n másodlagos S képkocka találmány szerinti eljárással történő létrehozásával, majd az enkődertől a dekőderhez történd továbbításával, majd azt követő dekódolásával egy zavarmentes átkapcsolást tudunk biztosítani egy első és egy második bitfolyam között.
Vizsgáljak meg azt az: esetet, hogy a másodlagos S képkocka egy Sí képkocka, míg a bitfo10 lyamban lévő S képkocka egy SP képkocka. Ebben az esetben a mozgáskompenzált előre becslést használó képkockát olyan képkocka képviseli, amely csapán térbeli előre becslést használ, Ez a speciális eset kihatással brr a véletlen hozzáférésre és a hibarugalmasságra/hibetörésre, amelyeket leírásunk végén foglalónk össze.
Megjegyezzük, hogy a találmány szerinti .1.1.00 enkóderben és 1200 dekőderben a transzlő iórmáciős cP,eij együtthatóknál alkalmazott kvantálás, amelyet az 1.100 enkóderben az 1160 transzformáló fokozatban, az 1200 dekőderben: pedig az 1290 transzformáló fokozatban állítunk elő, hogy kvantált transzformációs Ipf(5ii együtthatókat kapjunk, mint amelyeket a kvantált előre becslési hiba transzformációs együtthatók létrehozásához használtunk, Ez pontosabban annyit jelent, hogy a találmány eső megvalósítása esetén, amikor egy előre becsült képpont P(x,y) érték blokkot állítunk elő egy éppen kódolás vagy dekódolás alatt álló S képkocka kép blokkjához, a transzformációs együttható kvantálására használt QP kvantálási paraméter, amely az előre becsült képpont P(x,y) érték blokkhoz tartozik, ugyanaz kell legyen, mint azok a kvantálási paraméterek, amelyeket a kvantált előre becslési hiba transzformációs fo;· együtthatók létrehozásához használtunk. Ez azért előnyös, mert a helyreállított transzformációs lr££: együtthatók létrehozása céljából végrehajtott őszszegzést a kvantált transzformációs együttható doménhen hajtjuk végre, vagyis mivel
Az I?K;ÍÍ és létrehozásánál az azonos kvantálási paraméterek használatának az elmulasztása hibákhoz fog vezetni a helyreállított kvantált transzformációs fo- együtthatókban.
A 15. ábrán a találmány egy további lehetséges kiviteli alakja szerinti S képkocka 1500 enkóder blokkvázlata látható, amely nagyobb rugalmasságot biztosit a számunkra a kvan***Χ ίβ Φί „ * ·* * > ♦
-30íálásí paraméterek megválasztása terén, hogy előállítsuk a kvantált transzformációs és len. együtthatókat. Mint az a 1.5. és II, ábra összevetéséből kitűnik, a találmány egy második lehetséges kiviteli alakja szerinti S képkocka 1500 enköder valamint a találmány egy első lehetséges kiviteli alakja szerinti S képkocka 1100 enköder közötti fő eltérés az 1525 és 1550 kvantáló fokozatok elhelyezésében: található, A találmány második lehetséges kiviteli alakja szerinti $ képkocka 1500 enköder működését a 15. ábra segítségével részletesebben is bemutatjuk.
A találmány előre becslési második kiviteli alakja szerinti 1500 enköder esetében egy S képkocka formátumba kódolandó: videó képkockát előbb blokkokra osztunk fel, majd mln10 de» egyes blokkot vagy SP biokként, vagy Sí biokként, kódolunk. Az 1585 átkapesolót úgy működtetjük, hogy segítségével a megfelelő módon át tudjunk kapcsolni az SP kódolási mód és az Sí kódolási mód között. Az, SP kódolási módban az 1585 átkapesolót ágy állítjuk be, hogy az éppen kódolás alatt álló képkocka aktuális blokkjára vonatkozóan az 1.575 mozgáskompenzált előre beeslo fokozattal egy mozgáskompenzált előre becslést kapunk.
Az 1575 mozgáskompenzálí előre becslő fokozat az éppen kódolás alatt álló képkocka aktuális blokkjára vonatkozóan egy előre becsült képpont P(x,y) érték blokkot képez, úgy, hogy meghatározza azt a mozgás vektort, amely leírja azt az összefüggést az aktuális blokk képpontjai és az 1570 képkocka memóriában tárolt helyreállított referencia képkocka képpont értékei között,
Az SÍ kódolási mód esetén az 1585 átkapesolót úgy állítjuk be, hogy az éppen kódolás alatt álló képkocka aktuális blokkjára vonatkozó előre becslést kapjunk az 1580 intra előre becslő fokozatból. Az 1580 intra előre beeslő fokozat egy, a találmány első kiviteli alakjával kapcsolatban leírtakkal analóg módon működik, és előre becsült képpont P(x,y) értek blokkot hoz létre az éppen kódolás alatt álló képkocka aktuális blokkjára vonatkozóan, az éppen kódolás alatt álló képkocka már kódolt szomszédos képpontjaiból előállított térbeli előre becslés felhasználásával.
Mind az SP kódolási mód, mind az Sí kódolási mód esetén egy elörementes transzformációi, például diszkrét koszinusz transzformációt (DCT) hajtunk végre az 1590 transzformáló fokozatban a képpont P(x,y) értékek előre becsüli blokkja vonatkozásában. Az ennek.
eredményeképpen kapott transzformációs c^j együtthatókat az 1520 kivonó fokozathoz és az 1535 összegző fokozathoz továbbítjuk. Az eredeti kép adatokat, amelyek az éppen kódolás alatt álló két blokk aktuális képpont énékeit is tartalmazzák, az: 1510 transzformáló fokozathoz továbbítjuk, amelyben szintén egy elörementes transzformációt (például diszk-
- 31 rét koszinusz transzformációt, DC'T) hajtunk végre rajtuk. Az ennek eredményeképpen kapott transzformációs e(Jrtg együtthatókat szintén az 1520 kivonó fokozathoz továbbítjuk, amelyben előállítjuk a eM,y. együtthatók és a %ί;,< együtthatók közötti különbséget, hogy ezzel előre becslést hiba transzformációs cer? együtthatókat állítsunk elő, az alábbi osszefüg5 gésnek megfelelően:
Cíjfí—Cíjfig-Cpg,;.
Az előre becslési hiba transzformációs cm együtthatókat az 1525 kvantálő fokozatba továbbítjuk, ahol PQP kvantálási paraméterek segítségével kvantáljuk, és kialakítjuk azokat a kvantált előre becslési hiba transzformációs lerí együtthatókat, amelyeket ezt követően az (} 1540 multiplexerbe továbbítunk.
Ha az aktuális blokkot SP formátumban kódoljuk, az 1540 multiplexer megkapja az SP kódolású blokkra vonatkozó mozgáskompenzált P(x,y) élőm becslés kialakításánál használt mozgás vektorokra vonatkozó Információt. Ha az aktuális blokkot Sí formátumban kódoljuk, az SÍ kódolású blokkra vonatkozó P(x,y) előre becslés kialakításához hasznúit intra becslési módra vonatkozó információt is eljuttatjuk az 1540 multiplexerhez, Az 1540 multiplexer előnyösen megfelelő változó hosszúságú kódolást hajt végre a kvantált becslési hiba transzformációs együtthatókon valamint a mozgásvektoron vagy az intra előre becslési mód információn, és előállít egy olyan bitfolyamot, amelyet a különböző információkkal együtt multiplexeivé küldhetünk el megfelelő dekőderhez,
A kvantált előre becslési hiba transzformációs Ie,.f együtthatókat az 1525 kvantálő fokozatból az '1530 inverz kvantálő fokozatba továbbítjuk, ahol a kvantált előre becslési hiba transzformációs fo- együtthatókat inverz kvantálásnak vetjük alá, amihez PQP kvantálási paramétereket alkalmazunk, hogy létrehozzuk az inverz kvantált előre becslési hiba transzformációs dere együtthatókat. Az inverz kvantált előre becslési hiba transzformációs d^ együtthatókat ezt követően az 1540 multiplexerbe továbbítjuk, amelyben azután összegezzük őket az aktuális blokk részére az előre becsült képpont P(x,y) értékekből létrehozott transzformációs együtthatókkal. Bővebben, az 1540 multiplexerben a transzformációs együtthatókat és az inverz kvantált előre becslési hiba transzformációs de!.r együtthatókat összeadjuk, hogy ezzel létrehozzuk a helyreállított transzformációs c^· együtthatókat az alábbi összefüggés szerint:
* * ♦ * « <*«>* ««
-32 A helyreállított transzformációs crec együtthatókat ezt követően az 1550 kvantáió fokozatba továbbítjuk, ahol SPQP kvantálási paraméterek felhasználásával kvantáljuk, és ahol előállítjuk a kvantált helyreállított transzformációs foc együtthatókat. Itt szeretnénk megjegyezni, hogy a helyreállított transzformációs Ííec együtthatók kvantálásához használt SPQP kvantálási paraméterek nem egyeznek meg feltétlenül az előre becslési hiba transzformációs ew együtthatók kvantálásához használt PQP kvantálási paraméterekkel, .amelyeket az 1525 kvantáió fokozatban használunk. Részletesebben, a helyreállított transzformációs csec együtthatók vonatkozásában finomabb kvantálást hajthatunk végre, míg az előre becslési hiba csír együtthatók vonatkozásában egy durvább kvantálást végezhetünk. Ez végső soron kisebb helyreállítási hibában (torzításban) csapódik le, amikor a dekőderhen egy dekódolt képet állítunk elő.
Ezt követően a kvantált helyreállított transzformációs ÍKC együtthatókat az 1560 inverz kvantáió fokozatba továbbítjuk, ahol inverz kvantálásnak vetjük alá, és ehhez SPQS kvantálási paramétereket használunk, hogy létrehozzuk az invem kvantált helyreállított transzformációs éUx· együtthatókat. Áz inverz kvantált helyreállított transzformációs dree együtthatókat ezt követően az 1565 inverz transzformáló: fokozathoz továbbítjuk, ahol egy inverz transzformálási műveletet hajtunk végre rajtuk, például egy inverz diszkrét, koszinusz transzformációt ÍIDCT). Ennek a műveletnek az eredményeként a szóban forgó kép blokk vonatkozásában egy helyreállított képpont Mx,y) érték blokkot állítunk elő. A helyreállított képpont Mx,y) ették blokkot ezt követően az 1570 képkocka memóriában tároljuk el. Ahogy az ezt követő képkocka blokkok a korábban bemutatott kódolás és a helyi dekódolás szerint kerülnek S képkocka formátumba kódolásra, az aktuális képkocka dekódolt változatát progresszív módon összeállítjuk az 1570 képkocka memóriában, ahonnan hozzáférhető és felhasználható, az ugyanannak a képkockának a. rákövetkező blokkjainak az intra élőm becslése során, vagy pedig a videó szekvenciában a rákövetkező képkockák imer módú (mozgáskompcnzált) becslésében.
A találmány második lehetséges kivitek alakja szerinti S képkocka 1300 dekoder működését a 13. ábra segítségével mulatjuk be részletesebben. Az S képkocka 1500 ettkóder által előállított bitfolyamot vesszük az 1300 dekóderrel és alkotórészeire bontjuk szét. Az 1300 dekóderrel az $ képkocka dekódolt változatát blokkonként! alapon állítjuk helyre. Mint korábban már említettük., egy S képkocka általánosságban mind SP kódolású kép blokkokat, mind Si kódolásé képhlokkokat tartalmaz. Az SP kódolású kép blokkok vonatkozásában a kapott bitfolyamban levő információ változó hosszúsággal kódolt mozgásvektor infonná-
- 33 eiót és változó hosszúságú kóddal kódolt kvantált előre becslési hiba transzformációs 1«γ együtthatókat tartalmaz. Az Sí formátumban kódolt kép blokkok esetében a kapott bitfolyamban lévő információ változó hosszúságú kódolással kódolt, az Sí kódolású blokk intía előre becslésének létrehozásához használt íntra előre becslés módra vonatkozó információi tartalmaz, valamint változó hosszúságú kőd kódolású kvantált előre becslési hiba transzformációs íefr hiba együtthatókat
Amikor egy S'P kódolású kép blokkot dekódolunk, úgy az 131.0 demultiplexerreí előbb megfelelő változó hosszúságú dekódolást alkalmazunk a kapott bitfolyamon, hogy visszanyerjük a mozgás-vektor információt és a kvantált előre becslési hiba íwr együtthatókat. Ezt .10 kővetően a mozgásvektor információt elkülönítjük a kvantált előre becslési hiba fo, együtthatóktól. A mozgásvektor információt az 1.378 mozgáskompenzált előre becs lő fokozathoz továbbítjuk, és a kvantált előre becslési hiba íew együtthatókat, amelyeket ugyancsak a kapott bitfolyamból nyertünk ki, 1320 inverz kvantálő fokozathoz továbbítjuk. A kapott bitfolyamból kinyert mozgásvektor· információt használjuk fel az 1370 mozgáskompenzált előre becsló fokozatban, az I3óÜ képkocka memóriában tárolt, korábban helyreállított képkocka képpont értékeivel együtt, hogy az éppen dekódolás alatt álló blokkra vonatkozóan egy P(x,y) előre becslést képezzünk, hasonlóan ahhoz a módszerhez, amelyet az 1588 enkóderrel kapcsolatosan alkalmaztunk.
Amikor egy Sí kódolású kép blokkot dekódolunk, az 1310 demultiplexerreí megfelelő vál20 tozó hosszúságú dekódolást végzünk a kapott intra előre becslési módú információn és a kvantált előre becslés hiba transzformációs fo;· együtthatókon. Az intra előre becslés üzemmód információt ezt követően elkülönítjük a kvantált előre becslési hiba transzformációs for együtthatóktól és az 1380 íntra előre becslo fokozathoz továbbítjuk. A kvantált előre becslési fiiba transzformációs LST együtthatókat pedig az 1320 inverz kvantálő fokozat25 hoz továbbítjuk. A kapott bitfolyamból kinyert íntra előre becslést módú információt használjuk fel az 1380 Íntra előre becslő fokozatban, az 1.360 képkocka memóriában tárolt aktuális képkocka korábban dekódolt képpont értékeivel együttesen arra, hogy az éppen dekódolás alatt álló aktuális blokkra megfelelő F(x,y) előre becslést hozzunk létre. Az 1200 dekóderben végrehajtott íntra előre becslési művelet ugyancsak hasonló, pontosabban ana38 lóg azzal, amelyet a korábban bemutatott 15(X) enkóderre 1 kapcsolatosan használtunk.
Mind az SP, mind az Sí kódolása kép blokkok vonatkozásában a kvantált előre becslési hiba transzformációs fo-r együtthatókat, amelyeket a kapott bitfolyamból nyertünk ki, inverz kvantálásnak vetjük alá az 1320 inverz kvantálő fokozatban, amelyhez PQP kvantálási pa~ raméteteket alkalmazunk, és ezzel létrehozzuk az inverz kvantált előre becslési hiba transzformációs öU együtt hatokat, Az inverz, kvantált előre becslési hiba transzformációs dm együtthatókat az 1.325 összegző fokozat egyik bemenetére továbbítjuk, Miután az éppen dekódolás alatt álló képkocka aktuális blokkjához tartozó P(x,y) előre becslést létrehoztuk, vagy az 1370 mozgáskompenzált előre becslö fokozatban végrehajtott mozgáskompenzált előre becsléssel, vagy pedig az 1380 intra előre becslő fokozatban végrehajtott létra előre becsléssel, az 1385 átkapcsolöt úgy állítjuk, be, hogy az előre becsült képpont P(x,y> értékeket az 1390 transzformáló fokozathoz: továbbíthassuk. Az 1390 transzformáló fokozatban egy előrernentes transzformációt, például egy diszkrét koszinusz transzformációt (DCT) hajtunk végre a képpont Ptx.y) érték előre becsült blokkon, és. ezzel létrehozzuk a transzformációs cpmj együtthatókat. A transzformációs cpíSd együtthatókat ezt kővetően az 1325 összegző fokozat másik bemenetére vezetjük, és- az 1325 összegző fokozatban kombináljuk az 1320 inverz kvantáló fokozatból kapott inverz kvantált előre becslési hiba transzformációs forr együtthatókkal, hogy ezzel létrehozzuk a helyreállított transzformációs Cs-et együtthatókat. Még pontosabban, a helyreállított transzformáció c^ együtthatókat úgy határozzuk meg, hogy összeadjuk a transzformációs cpföö együtthatókat és az inverz kvantált előre becslési hiba transzformációs d;:„ együtthatókat, az alábbi összefüggésnek megfelelően;
A helyreállított transzformációs cr5X- együtthatókat ezt követően az 1330 kvantáló fokozathoz továbbítjuk,- ahol a erec együtthatókat kvantáljuk, és az SPQP kvantálási paraméterek felhasználásával létrehozzuk a kvantált helyreállított transzformációs í!e<, együtthatókat. A kvantált helyreállított transzformációs l,w. együtthatókat ezt követően az '1340 inverz kvantáló fokozathoz továbbítjuk, ahol az együtthatókat inverz kvantálásnak vetjük alá, amelyhez az SPQP kvantálási paramétereket használjuk, és ezen a módon előállítjuk az inverz kvantált helyreállított transzformációs dtecegyüttbaiőkst. Az inverz kvantált helyreállított transzformációs együtthatókat ezután az '1350 inverz transzformáló fokozathoz továbbítjuk, amelyben valamilyen inverz transzformálási műveletnek’, például egy inverz diszkrét koszinusz transzformációnak (IDCT) vetjük alá. Az 1.350 inverz transzformáló fokozatban elvégzett inverz transzformáció eredményeképpen a szóban forgó két blokk részére létrehozunk egy helyreállított kép íf(x,y) képpont blokkot. A helyreállított képpont kíx,y) blokkot a deköder videó kimenetére továbbítjuk, egyidejűleg az 1.3Ó0 képkocka memóriába küldjük, ahol a képpontokat tároljuk. Ahogy az S képkocka soron következő
- 35 blokkján végrehajtjuk a fent leírt dekódoló műveletet, az 1360 képkocka memóriában progresszív módon összeáll a szóban forgó képkocka dekódolt változata. Az 1360 képkocka memóriában ez a dekódolt, változat hozzáférhető, és felhasználhatjuk ugyanannak a képkockának a soron következő blokkjainak az intra jellegű előre becsléséhez, vagy a videó szekvenciában soron következő képkockák inter jellegű (mozgáskompenzált) előre becsléséhez.
A ló. ábrán a találmány egy harmadik lehetséges kiviteli alakja szerinti 1600 enkódért mutatunk be. Ennél a kiviteli alaknál a transzformációs cpTeá együtthatókat kvantáljuk, majd inverz kvantáljuk, ugyanazokat az SPQP kvantálási paramétereket alkalmazva mind az enkóder részben (ez az 1625 kvantálő fokozat és 1630 inverz kvantálő fokozat), mind pedig a dekóder részben (ez az 1692 kvantálő fokozat és 1694 inverz kvantálő fokozat). Ezért az enkóder nem hoz be újabb járulékos kvantálási hibát a becslési hurokba, és a becslési hurokban ezáltal a hiba kialakulásának a lehetőségét hatékonyan el tudjuk kerülni. Az 161.0 transzformáló fokozat, 16.20 kivonó fokozat, 1625 kvantáló fokozat, 1630 inverz kvantálő fokozat, 1635 összegző fokozat, 1640 multiplexer, 1650 kvantálő fokozat, 1660 inverz kvantálő fokozat, 1665 inverz transzformáló fokozat, 1670 képkocka memória, 1675 mozgáskompeozált előre becslő fokozat, 1680 intra előre becslő fokozat, 1685 átkapcsoló, 1690 transzformáló fokozat hasonló funkciót látnak el, mint a 15. ábrán látható és annak kapcsán ismertetett fokozatok,
A 6. ábrán bemutatjuk a találmány egy előnyös kiviteli alakját jelentő 600 dekódert. A 600 dekőder legtöbb alkotó eleme és része megegyezik a 12. ábrán bemutatott és már ismertetett 1200 dekőder elemével és részletével, A 600 dekőder műveleti blokkjai úgy vannak kiképezve, hogy alkalmasak a képkockák előre becslési blokkjainak a dekódolására, de a 6, ábrán nem tüntettünk fel semmilyen átkapcsoló eszközt. Az enkóder 616 kimenetére kapcsolódó 610 demultiplexer, 61.5 Összegző fokozat, 620 inverz kvantálő fokozat, 630 inverz transzformáló fokozat, 640 képkocka memória, 650 mozgáskompenzált időben előre becslő fokozat, 660 transzformáló fokozat és 670 kvantálő fokozat felépítése, funkciója hasonló a 12. ábrán bemutatott, és annak kapcsán ismertetett fokozatokéhoz.
A 9, ábrán a találmány egy további előnyös kivitek alakjának megfelelő 600 dekódert vázoltunk. A 9. ábrán látható 600 dekőder csupán néhány részletben módosult a 6. ábrán bemutatott 600 dekóderhez képest. A 9. ábrán látható 600 dekőder és a 6, ábrán látható 600 dekőder közötti különbség abban áll, hogy a 610 demulíiplexer és a 615 összegző fokozat egyik bemenete közé egy 680 normakzálő fokozatot iktattunk be. A többi fokozat hasonló
- 36 «ί
X 4 felépítésű és funkciójú, mint a 1.2, ábrás feltüntetett és az ábra ismertetésénél bemutatott fokozat.
A 10. ábrán a találmány egy további előnyös kiviteli alakjaként megvalósított 600 dekóder felépítése illetve működése figyelhető meg. A 10. ábrán bemutatott őOÖ dekóder legtöbb eleme és része azonos a .13, ábrán bemutatott 1300 dekóder élemével, részegységével. A óÖO dekóder egyes fokozatai úgy vannak kiképezve, hogy a őCX) dekóder alkalmas legyen a képkockák előre becslési blokkjainak a dekódolására, de a 1.0.. ábrán a szükséges átkapcsoló eszközöket nem tüntettük fel. A 13, ábrán bemutatott 1300 dekóder valamint a 10. ábrán bemutatott 600 dekóder közötti eltérés annyi, hogy egy 680 normalízálö fokozatot használó lünk az 1230 inverz kvantáló fokozat helyett, A 600 dekóder többi fokozata funkciójában.
felépítésében hasonló a 13. ábrán bemutatott 1.300 dekóder -megfelelő fokozataihoz.
Egy videó képkocka kódolását blokkonként! alapon hajthatjuk végre úgy, hogy ugyanabban a kódolt videó képkockában különbözően kódolt területek lehetnek, Például a képkocka egyes részei inter kódolásiak lehetnek, míg a képkocka más részei intra kódolásűak Ιοί 5 hetnek. A fenti eljárásokat a képkocka minden egyes részére megfelelő módon alkalmazni kell, a szóban forgó rész kódolási tulajdonságának megfelelően.
Az adatátviteli vagy jelátviteli hálózaton tói a bitfolyam átviteli tulajdonságok megváltoztatására vonatkozó kérelem az adatátviteli rendszer más részeitől is eredhet. Például a vevő kérheti az adást végző szervert, hogy valamilyen okból módosítsa a paramétereket. Ezt a kérelmet az adást végző szerverhez például az adatátviteléi hálózaton keresztül jutathatja eh
Jóllehet a H.26L szabványt neveztük meg mint az alkalmazható szabványok egy jellemző példáját, találmányunk különböző kivifeli alakjai, valamint azok bármely változata és módosítása a találmány oltalmi körébe esősek tekintendő.
A bitfolyam átkapcsolás nem az egyetlen alkalmazás, amelyre a találmány szerinti megoldás felhasználható. Ha. a. bitfolyamok közül az egyik kisebb időbeli felbontású, például I képkocka/s sebességű, úgy ezt a hírfolyamot felhasználhatjuk úgynevezett gyors előre funkció megvalósítására. Ez azt jelenti, hogy egy kisebb időbeli felbontású bitfolyam dekódolása, majd a bitfolyam névleges képkocka sebességű felhasználása az imént említett
30' funkciót biztosítaná. A 8. ábrán két bitfolyamul tüntettünk fel, melyek közül a második kizárólag olyan egymásból előre becsült S képkockákat tartalmaz, melyek esetében az Időintervallumok nagyobbak, mint az -első bitfolyam képkocka ismétlési Időintervalluma. Ezen
Λ. »L
-37túlmenően a gyors előre a bitfolyam bármely helyén indítható és leállítható. Leírásunk soron következő részében találmányunk néhány más lehetséges alkalmazását is bemutatjuk, csupán lehetséges példaként, de semmiképpen sem korlátozó módon.
Toldás és véletlen hozzáférés
Leírásunk korábbi részében bemutatott bitfolyam átkapcsolást példa során abból indultunk ki, hogy a bitfolyamok ugyanahhoz a képsorozathoz tartoznak- Ez azonban nem feltétlenül igaz minden olyan esetben, amikor bitfolyam átkapcsolásra van vagy lenne szükség. Például ugyanazt az eseményt különböző Irányból figyelő és felvevő kameráktól érkező bitfolyamok közötti átkapcsolás, vagy egy épület kőről telepített megfigyelő kameráktól érkező bitfolyamok közötti átkapcsolás; televízió műsorszórásban helyi programok vagy országos programok közötti átkapcsolások, vagy reklámok műsorba illesztése, videó konferencia, és így tovább. A kódolt bitfolyamok egymáshoz illesztési műveletére általánosan használt kifelezés a toldás, angolul spbeing.
Ha olyan bitfolyamok között megy végbe átkapcsolás, amelyek különböző képszekvenci15 ákhoz tartoznak, ez kizárólag az egyes bitfolyamok közötti átkapcsolásra használt S képkockák kódolását érinti, vagyis az 5. ábrán az S-? másodlagos. S 550 képkockát. Részletesebben, egy videó szekvenciában lévő képkockák mozgáskompenzált előre becslése során egy különböző, pontosabban másik, képszekvenciából származó referencia képkockák használata nem olyan hatékony, mintha mindkét 720, 740 bitfolyam ugyanahhoz a képszekvenciához tartozna. Ebben az esetben legvalószínűbb, hogy a másodlagos S 730 képkockák térbeli előre becslése sokkal hatékonyabb lenne. Ezt a helyzetet ábrázoljak a 7. ábrán, amelyen az átkapcsoló képkocka egy olyan Sí 750 képkocka, amely kizárólag térbeli előre becslést használ, amely azonosait állítja helyre a 740 bitfolyam hozzá tartozó S2 SP kódolású 7IÖ képkockáját. Ezt az eljárást mint egy
2.5 véletlen hozzáférési mechanizmust használhatjuk egy 720 bitfolyamba, és további megvalósításai lehetnék a hibatűrés és hibaelhárítás területén, mint arra a továbbiakban híSWlfeántás
Különböző referencia képkockákból előre becsült, például a közvetlenül megelőző helyreállított képkockából és egy még korábban szerepelt helyreállított képkockából előre becsült
S képkockák alakjában jelentkező egyetlen, képkocka többszörös megjelenítését felhasználhatjuk arra, hogy megnöveljük egy kódolt videó szekvencia hibatűrő képességét és/vagy javítsuk a bitfolyamban fellépő hibák kijavításának a lehetőségét. Ezt a 14. ábrán vázoltuk.
’*»* 4η
Egy olyan helyzetben, ahol egy előre kódok bitfolyam áramoltatása során csomagvesztés lép fel, és egy képkocka vagy egy korét elvesz, a vevő tájékoztatást küld az elveszett képkocka vagy keret küldőjének, és a küldő válaszképpen a következő S képkocka alternatív képviselői közül egyik elküldésével válaszol az értesítésre. Az alternatív megjelenítés, például a 14. ábra Sn képkockája olyan referencia képkockákat használ, amelyeket a vevő egyszer már megfelelő módon fogadni tudott- Egy keret alapú csomaggá alakításhoz és küldéshez a küldő megbecsülheti továbbá azokat a kereteket, amelyeket érinthetett egy ilyen keret vagy képkocka veszteség, és a következő S képkockában csupán azokat a kereteket frissítheti fel, azok alternatív megjelenítéseivel.
Hasonlóképpen továbbá a toldással kapcsolatos korábbi ismertetésünknek megfelelően az S képkocka másodlagos megjelenítését bármely referencia képkocka nélkül létrehozhatjuk, például a 14. ábrán látható SE képkocka nélkül. Ebben az esetben a küldő a másodlagos Sí képkockát, azaz Sfe képkockát küldené el az S? képkocka helyett, hogy megállítsa a hiba tovaterjedését. Ez a megoldás egyenesen átvihető a keret alapú kódolásra illetve csomag készítésre is. Pontosabban, a küldő szerver elküldi a kereteket a következő S képkockában, amelyek befolyásolnák a csomagveszíeséget az SÍ képkockából.
Egy videó képkocka kódolását hlokkonkénü alapon végezhetjük el úgy, hogy ugyanabban a kódolt videó képkockában különbözőképpen kódolt területek lehetnek. Pékiául a képkocka egyes részei inter kódolásnak tehetnek, míg a képkocka egyéb részei intra kódolásnak lehetnek. És mint azt már korábban tárgyaltuk, az intra blokk ködolás, mivel az nem használ semmilyen időbeli korrelációt, képes megállítani bármilyen hiba tovaterjedését, amely a továbbítás fogyatékosságai következtében állt elő.
Veszteséges átviteli hálózatokban egy intra makroblokk frissítési stratégia jelentős hibatűrő képességet i lletve hibajavító képességet biztosíthat. Egy interaktív ügyfél-szerver elrendezésben a szerver oldali enkóder dönt arról, hogy a képkockákat vagy makrohl okkokat vagy az ügyféltől kapott valamilyen specifikus visszacsatoláson alapulva kódolja, például az ügyfél megadja az elveszett vagy sérült képkocka. / keret / makroblokk pontos helyet, vagy pedig az egyeztetés alapján kiszámított várt hálózati feltételek, alapján, vagy a mért hálózati feltételek alapján. Ez az intra makroblokk frissítési stratégia típus javítja a kapott videó minőséget, azáltal, hogy hibatűrő és hibajavító képességet vezet be. Az optimális intra makroblokk frissítési sebesség, vagyis az. a frekvencia, amellyel a makroblokkokat intra « » « X Φ χ.
- 39 kódoljuk, az adatszállftási csatorna feltételeitől, paramétereitől, így például a csomagveszteségtöl és/vagy a bithiba aranyiéi függ. Azonban ha mar kódolt bitfolyamokat küldünk, amely sireaming alkalmazásoknál jellemzőnek mondható, a fenti stratégia nem alkalmazható közvetlenül. Ehhez a szekvenciát a legrosszabb esetének minősített hálózati körűimé5 nyék figyelembevételével kell kódolni, vagy valamilyen járulékos hibatürö/hibajavítö mechanizmusra van szükség.
leírásunk korábbi részében az S képkockáknak a hibajavításban és az alkalmazások összetoldásában játszott szerepére vonatkozó ismertetésből kitűnik, hogy az S képkockák vagy az azokban lévő keretek könnyen megjeleníthetők olyan Sí képkockaként vagy keretként, amely semmilyen referencia képkockát nem: használ, míg az S képkocka azonos helyreállításához vezet. Ezt a képességet a fent bemutatott adaptív intra frissítési mechanizmusban: is ki tudjuk használni. Először, valamilyen előre meghatározott makroblokk arányban ködolt képszekvenciát állítunk elő. Ezt követően az adás során az S makroolokkok közül néhányat a makroblokkok másodlagos jelentéseként, vagyis Sí makroblokkokkém küldünk eh Az S makroblokkoknak a. száma, amelyeket SÍ makroblokkokként kell elküldennnk, hasonló módon számíthat ki, mint a leírásunkban korábban bemutatott valós idejű kódolási illetve továbbítási esetben látható volt.
Videó redundancia kódolás
Az S képkockáknak más szerepük van azokban az alkalmazásokban, amelyekben nem az 1 képkockák helyettesítőiként szolgálnak. A videó redundancia kódolást (Videó Redundancy Codíng, VRC) erre jó példaként jelölhetjük meg, A videó redundancia kódolási eljárás elve az, hogy a képszekveneiát két vagy három szálra kell oly módon felbontani, hogy a szekvenciában lévő összes képet a szálak egyikéhez rendeljük hozzá ciklikus időszeleteléses módon. Minden egyes szálat a többitől függetlenül kódolunk. Szabályos időközönként mindegyik szál egy úgynevezett szinkron képkockába konvergál. Ebből a szinkron képkockából egy új szálsorozatot indítunk. Ha a szálak valamelyike megsérül., például mert egy csomag elvesz, a maradók szálak jellemző módon sértetlenek maradnak, és felhasználhatjuk őket arra, hogy segítségükkel megbecsüljük a következő szinkron képkockát. Arra is lehetőség van, hogy a sérült szál dekódolását folytassuk, ami a képminőség enyhe csök30 kenéséhez vezethet, vagy akár arra is, hogy leállítsuk a sérül szál dekódolását, ami viszont egy csökkenést okoz a képsebességben, A szinkron képkockákat mindig a sértetlen szálak valamelyikéből becsüljük meg. Ez annyit jelent, hogy a továbbított 1 képkockák számát, alacsony értéken tarthatjuk, mivel nincs szükség teljes üjraszinkronizálásra, A szinkron * ♦♦ ♦ ♦ ♦·«.
- 40 képkockához eggyel többet (F képkockái) küldünk, melyek közül mindegyik egy különböző szálból származó referencia képkockát használ. A P képkockák használatából következően ezek a megjelenítések nem azonosak egymással. Ezért hiba keletkezik, ha a megjelenítések közül néhányat nem tudunk dekódolni, és ezek dlendarabját használ jók a követke5 zó szálak dekódolása során. Az $ képkockák szinkron képkockaként! használata ezt a problémát megszünteti.

Claims (5)

  1. .1.9, Deköder legalább egy videó blokkot és legalább egy időben előre megbecsült, videó blokkot tartalmazó jelből videó információ dekódolására, ahol az. időben előre megbecsült
    5 videó blokk a legalább egy videó blokkból előre megbecsült videó blokk, és a dekóderoek (600, 1200, 1300) előzőleg dekódolt blokkokra vonatkozó referencia információt eltároló képkocka memóriája (640, 1250, 1360), valamint a képkocka memóriában (640, 1250, 1360) eltárolt referencia információ felhasználásával egy időben előre megjósolt blokkot kialakító .mozgáskompenzált időben előre becslő fokozata (650, 1260, 1270, 1370, 1380)
    10 van, özzöI jdfomezve, hogy a dekódernek (600, 1200, 1300} az előre becsült blokkot transzformáló és így egy transzformált előre becsült blokkot létrehozó transzformáló fokozata (660, 1290, 1390), továbbá a transzformáit előre beesőit blokkot az. aktuális blokkot képviselő információval összegző és ezzel az: aktuális blokk dekódolása során felhasználandó összegzett információi előállító összegző fokozata (615,1220,1325} van,
    15 20. A 19. igénypont szerinti deköder, «zzrd jeifemezw, hogy az aktuális blokknak az őszszegzést követő inverz kvantálására és inverz transzformálására inverz kvantáló fokozatot (620,1220,1340) és inverz transzformáló fokozatot (630, 1240,1350) tartalmaz,
    21. Á 19. vagy 20, igénypont szerinti deköder, azzalyúöcmezvc, hogy a transzformált előre becsült blokkot az összegzés előtt kvantáló kvantáló fokozattal (670, 1295} van ellátva.
    20 22. A 21. igénypont szerinti deköder, azzaíjef&mezFC, hogy az aktuális blokkot képviselő információt egy videó blokk legalább transzformálása és kvantálása révén kaptuk, ahol a transzformálás és kvantálás megegyezik az előre becsült blokknál alkalmazott transzformálással és kvantálással,
    23. A 19. vagy 20. igénypont szerinti deköder, uzza?/jfeífemezve, hogy az aktuális blokkot
    25 képviselő információt egy videó blokk legalább transzformálása és kvantálása révén kaptuk, ahol a dekódernek az aktuális blokkot képviselő információt még az összegzést megelőzően inverz módon kvantáló inverz kvantáló fokozata (1320) van.
    24. A 19. vagy 20. igénypont szerinti deköder, itzzöf jc/fomezve, hogy az aktuális blokkot képviselő információt egy videó blokk legalább transzformálása és kvantálása révén nyer30 tűk, ahol a dekódernek az aktuális blokkot képviselő információ összegzést, megelőző skálázását végző norma! izálő fokozata (6801 van.
    jXX
    - 46 25. A .23. igénypont szerinti dekőder, azzal jdfcmezve, hogy az aktuális blokk -összegzést követő kvantálására. Inverz kvantálására és inverz transzformálására kvantáló fokozatot (1330), egy inverz kvantáló fokozatot (1340) és egy Inverz transzformáló fokozatot (1350) tartalmaz.
    1. Eljárás videó információ továbbítására, amelynek során legalább egy első bltfolyamot (51.0) és egy második bitfoíyamot (520) képezünk a videó információból, ahol az első bít15 folyam (510) legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, és a második bitfolyam (520) legalább egy időben előre megbecsült videó képkockát (524) tartalmazó második képkocka füzért tartalmaz, és az első bitfolyam (51.0) képkockáinak és a második bitfolyam (520) képkockáinak a kódolásához legalább részben eltérő kódolási paramétereket alkalmazunk, majd az első bitfolyam (510) legalább egy képkockáját továbbít20 juk, és az átvitelt az első bitfolyamról (510) a második bitfolyamra. (520) átkapcsoljuk, ősze/' jeffemexvn, hogy az átvitelnek az első bitfolyamról (5.1.0) a második, bitfolyamra (520) történő átkapcsolása során a második bitfolyam. (520) legalább egy elsődleges kapcsolási képkockát (523) tartalmaz, és egy másodlagos kapcsolási képkockát (550) továbbítunk, amelyet a. második bitfolyam (520) kódolási paramétereinek a felhasználásával kódoltunk,
    25 és az elsődleges kapcsolási képkocka. (523) helyett legalább egy, az első bitfolyamból (510) származó referencia képkockát és a másodlagos kapcsolási képkockát (550) használjuk olyan referencia képkockaként, amelyet a második képkocka füzér legalább egy időbeli előre becsült videó képkockájának (524) a helyreállítása során kell használni.
  2. 2. Az 1, igénypont szerinti eljárás, mxö/jü/femezve, hogy az első bitfolyam (510) legalább
    30 egy elsődleges kapcsolási képkockát (513) foglal magában.
    XX * * * « ♦ X » «Ο β A * X» Χ,χ * * * * X ♦ ♦ ♦ « φ φ ♦ »♦ ν* * Φχφ
    -41
  3. 3. Az L vagy 2. igénypont szerinti eljárás, ezzel jellemezve, hogy az első bitfolyam (51.0} egy intra képkockát és egy másodlagos kapcsolási képkockát (513) tartalmaz, a videó információ egyik helyéről a videó információ egv másik helyére történő átváltás végrehajtására.
    5
  4. 4. Az 1, vagy 2. igénypont szerinti eljárás, «22«/jellemezve, hogy az. első bitfolyam (510) kizárólag intra képkockákat és elsődleges kapcsolási képkockákat (513) tartalmaz a videó információ gyors előre lejátszásának a megvalósítására.
    5. A 2-4. igénypontok bármelyike szerinti eljárás, jéöemezwa hogy az elsődleges kapcsolási, képkocka (523) vagy másodlagos kapcsolási képkocka (550) olyan időbeli előre
    10 becslő videó képkocka, amelyben az. időbeli előre becslési információ kizárólag intra előre becslési információt tartalmaz.
    é. Az 1-5, i génypontok bármelyike szerinti eljárás, azzal jellemezve, hogy az elsődleges kapcsolási képkockát (513) ágy képezzük, hogy transzformációs együtthatökaí (cpreÍj) számítunk ki és kvaníáltmk, hogy létrehozzuk a transzformációs együtthatok (ο^) kvantált
    15 értékeit (1^), továbbá az időbeli előre becslési hibához kvantált együtthatókat (fod definiálunk, továbbá helyreállított dekvantált transzformációs együtthatókat (ífec) definiálunk égy, hogy az együtthatókból (creű} kvantálással helyreállított kvantált transzformációs együtthatókat (1^) nyerőnk, és hogy a helyreállított kvantált transzformációs együtthatók (foci kielégítik az alábbi feltételek egyikét:
    A) Í«:s~lpr8<rhlr> ^^gy Aec~^pr8d^dr>
    ahol d,· az előre becslési hiba dekvantált értékei.
    7. A 6, igénypont szerinti eljárás, yc&mezre, hogy ugyanazokat a kvantálási paramétereket használjuk mind a transzformációs együtthatók (lpr«j) kvantálásánál, mind pedig az előre becslési hiba kvantálásánál.
    25
    8. A ő. igénypont szerinti eljárás, azzal jellemezve, hogy a transzformációs együtthatók (Cf.ee) kvantálásához eltérő kvantálási paramétereket használunk, mint az előre becslési hiba kvantálásához.
    9. Eljárás videó információ továbbítására, amelynek során a videó információból legalább egy bitfolyamot képezünk, ahol a bitfolyam legalább egy képkockát tartalmazó első kép30 kocka füzén, és legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és az első képkocka füzér képkockáinak valamint a második
    - 42 képkocka füzér képkockáinak a kódolása során legalább részben eltérő kódolási paraméterekéi alkalmazunk, majd a bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első képkocka füzérről átkapcsoljuk a második képkocka füzérre, azsafje/iemesw, hogy az első képkocka füzérről a második képkocka füzérre történő átkapcsolása során a második
    5 képkocka tüzér legalább egy elsődleges kapcsolási képkockát (523) tartalmaz, majd egy másodlagos kapcsolási képkockát (550) továbbítunk, ahol a másodlagos kapcsolási képkockát (550) a második képkocka füzér kódolási paramétereinek és az első képkocka füzérből származó legalább egy referencia képkocka kódolási paramétereinek a felhasználásával kódoltuk, és a másodlagos kapcsolási képkockát (550) használjuk tel az elsődleges
    10 kapcsolási képkocka (523) helyén olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy előre becslési videó képkockájának a helyreállításánál használunk fel, és a másodlagos kapcsolási képkockát (550) használjuk az átviteli hibák kijavítására, ahol a másodlagos kapcsolási képkocka (550) egy időbeli előre becsült videó képkocka, amelyben az időbeli előre becslési információ az Időbeli előre becslési videó
    15 képkocka megelőző képkockájánál korábbi videó képkockákból származó becslési információt tartalmaz,
    10. Eljárás videó információ továbbítására, amelynek során a videó Információból legalább egy bltfolyamot képezünk, ahol a bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért és legalább egy időben előre megbecsült videó képkockát tartalmazó
    20 második képkocka füzért tartalmaz, és az első képkocka füzér képkockáinak és a második képkocka füzér képkockának a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmazunk, majd a bitfolyam legalább egy képkockáját továbbítjuk, és az átvitelt az első képkocka füzérről átkapcsoljuk a második képkocka füzérre, özzíí/ jclfemezve, hogy a továbbításnak az első képkocka, füzérről, a második, képkocka füzérre történő
    25 átkapcsolása során a második képkocka füzér legalább egy elsődleges kapcsolási képkockái (523) tartalmaz, majd egy másodlagos kapcsolási képkockát (550) továbbítunk, ahol a. másodlagos kapcsolási képkockát (550) a második képkocka füzért és az első képkocka füzér legalább egy referencia képkockájának a kódolási paramétereinek a felhasználásával kódoltuk, és a másodlagos kapcsolási képkockát. (55Ö) használjuk az elsődleges kapcsolási
    30 képkocka (523) helyed olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy előre becslési videó képkockájának (524) a helyreállítása során alkalmazunk, és hogy a másodlagos kapcsolási képkockát (550) használjuk az átviteli hibák javítására, ahol a másodlagos kapcsolási képkocka (550) olyan előre becslési videó képkoc' *» «4 ♦ X * \ Μ « * * «*«<
    - 43 ~ ka, amelyben a becslési információs kizárólag i.ntra kódolású becslési információi tartalmaz.
    11. Az 1-1.0 igénypontok bármelyike szerinti eljárás, «szel/d&mezw, hogy mind a legalább egy elsődleges kapcsolási képkocka (523), mind pedig a másodlagos kapcsolási kép5 kocka (550) a legalább egy időben előre megbecsült videó képkockának (524) ugyanazt a helyreállítási eredményét biztosítja.
    12. Az 1-1.0 igénypontok bármelyike szerinti eljárás, azzal jellemezve, hogy mind a legalább egy elsődleges kapcsolási képkocka (523), mind pedig a másodlagos kapcsolási képkocka (550) azonos helyreállított értékeket tartalmaz.
    10
    13. Enkóder, amelynek videó információból legalább egy első bitfolyamot és egy második bitfolyamét képező eszköze van, ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, és a második bitfolyam legalább egy időben előre megjósolt videó képkockát tartalmazó második képkocka füzért tartalmaz, továbbá az első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól
    15 legalább részben eltérő kódolási paramétereket alkalmazó eszköze, továbbá a bitfolyam legalább egy képkockáját továbbító eszköze, valamint az átvitelt az első bitfolyamról a második bitfolyamra átkapcsoló eszköze van, azzal jellemezve, hogy az első bitfolyamról a második bitfolyamra az átvitelt átkapcsoló eszközök egy másodlagos kapcsolási képkockát (550) a második bitfolyam (520) és az első bitfolyamból (510) származó referencia kép20 kockák kódolási paramétereit használó, ezzel az átvitelnek az első bitfolyamról (510) a második bitfolyamra (520) történő átkapcsolását lehetővé tevő kódoló eszköze van.
    14. A 13. igénypont szerinti enkóder, «aeí jellemezve, hogy a referencia képkockák félhasználásával előre becslési információt előállító eszköze (1670, 1675), továbbá az előre becslési információt kvaníáló és dekvaníálö eszköze (1692,16-94) van.
    25 .1.5, A 13. igénypont, szerinti enkóder, azz&l jellemezve, hogy a referencia képkockák felhasználásával előre becslési információt előállító eszköze (1670, 1675), valamint az előre becslési információt transzformáló eszköze (1690) van.
    16. Dekőder videó információ dekódolására, legalább egy első bitfolyamból és egy második bitfolyamból származó képkockákat tartalmazó jelből, ahol az első bitfolyam és a má30 sodik bitfolyam a videó információból van képezve, és az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért tartalmaz, a második bitfolyam legalább egy Időben előre megjósolt képkockát tartalmazó második képkocka, füzén tartalmaz, és az < * X*
    - 44 első bitfolyam képkockáinak és a második bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paramétereket alkalmaz, hogy a dekódernek egy másodlagos kapcsolási, képkockát. (550) dekódoló eszköze van, ahol a másodlagos kapcsolási képkockát (550) a második bitfolyam. (520) és az első bitfolyamból
    5 származó legalább egy referencia képkocka kódolási paramétereinek a felhasználásával kódoljuk, és a jelhez 'hozzáadjuk az elsődleges kapcsolási képkocka (523) helyett olyan referencia képkockaként, amelyet a második videó képkocka füzér legalább egy időbeli előre becslö videó képkockájának (524) a helyreállítása során használunk, továbbá a másodlagos kapcsolási képkockát 1550) dekódoló eszköznek a második bitfolyam (520) és az első bit10 folyam. (510) referencia képkockáinak dekódolást paramétered használó eszköze van.
    17. A 16. igénypont szerinti dekóder, az&tfjellemezve, hogy az elsődleges- kapcsolási képkocka (5.13) kizárólag térbeli korreláció használatával, intra előre becsléssel kódolt, területeket. továbbá mozgáskompenzálás felhasználásával, intet előre becsléssel kódolt területeket tartalmaz, és a dekódernek mozgáskompenzálási Információt a helyreállításnál félhasz15 náló eszköze, térbeli korreláció információi a helyreállításnál felhasználó eszköze, valamint az egyes területek helyreállítását vagy a mozgáskompenzálási információt használó eszközök révén, vagy a térbeli korreláció Információt felhasználó eszközök tévén, a vonatkozó terület kódolásánál használt előre becslési eljárástól függően végrehajtó kapcsoló eszköze van.
    20 18. Kódolt videó információt képviselő jel, amely a videó információból képzett első bitfolyam és második bitfolyam legalább egyikéből származó képkockákat tartalmaz, ahol az első bitfolyam legalább egy videó képkockát tartalmazó első képkocka füzért, tartalmaz, és a második bitfolyam legalább egy időben előre megbecsült videó képkockát tartalmazó második képkocka füzért tartalmaz, és amely az első bitfolyam képkockáinak és a második
    25 bitfolyam képkockáinak a kódolása során egymástól legalább részben eltérő kódolási paraméterekét alkalmaz, azzad jeffomezve, hogy az első bitfolyamról (5.10) a második bitfolyamra (520) történő átvitel átkapcsolás során a második bitfolyam (520) legalább egy elsődleges kapcsolási képkockái (513) tartalmaz, és a jel olyan másodlagos kapcsolási képkockát (51.3, 523) tartalmaz, amelyet a második bitfolyam (520) és az első bitfolyamból
    30 (510) származó legalább egy referencia képkocka kódolási paramétereinek a felhasználásával kódoltak, és a másodlagos kapcsolási képkockát (550) használják az elsődleges kapcsolási képkocka. (523) helyén olyan referencia képkockaként. amelyet a második videó
    - 45 képkocka füzér legalább· egy előre becslési videó képkockájának (524) a helyreállítása során használnak.
  5. 5 2á A 19-25. igénypontok bármelyike szerinti: dekőder, uzosdhogy a transzformálás során használandó transzformáló bázisíőggvényefcet tartalmaz.
HU0400560A 2001-01-03 2002-01-03 Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal HU228605B1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25952901P 2001-01-03 2001-01-03
US09/827,796 US20020122491A1 (en) 2001-01-03 2001-04-06 Video decoder architecture and method for using same
US09/883,887 US6765963B2 (en) 2001-01-03 2001-06-18 Video decoder architecture and method for using same
US09/925,769 US6920175B2 (en) 2001-01-03 2001-08-09 Video coding architecture and methods for using same
PCT/FI2002/000004 WO2002054776A1 (en) 2001-01-03 2002-01-03 Switching between bit-streams in video transmission

Publications (2)

Publication Number Publication Date
HUP0400560A2 HUP0400560A2 (en) 2004-06-28
HU228605B1 true HU228605B1 (en) 2013-04-29

Family

ID=27500649

Family Applications (1)

Application Number Title Priority Date Filing Date
HU0400560A HU228605B1 (en) 2001-01-03 2002-01-03 Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal

Country Status (11)

Country Link
US (1) US6920175B2 (hu)
EP (1) EP1356684B1 (hu)
JP (2) JP4109113B2 (hu)
CN (1) CN1225125C (hu)
BR (1) BRPI0206191B1 (hu)
CA (1) CA2431866C (hu)
EE (1) EE04829B1 (hu)
HK (1) HK1062868A1 (hu)
HU (1) HU228605B1 (hu)
MX (1) MXPA03005985A (hu)
WO (1) WO2002054776A1 (hu)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
CA2428325C (en) 2000-11-29 2011-08-30 Matthew David Walker Transmitting and receiving real-time data
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US7693220B2 (en) 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
KR100959573B1 (ko) 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20030151753A1 (en) * 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
US6996173B2 (en) * 2002-01-25 2006-02-07 Microsoft Corporation Seamless switching of scalable video bitstreams
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US6846738B2 (en) * 2002-03-13 2005-01-25 Micron Technology, Inc. High permeability composite films to reduce noise in high speed interconnects
EP1359722A1 (en) 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
US20060133514A1 (en) * 2002-03-27 2006-06-22 Walker Matthew D Video coding and transmission
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
KR100834748B1 (ko) 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
WO2005091632A1 (en) * 2004-02-23 2005-09-29 Nokia Corporation Transmission of video information
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
WO2005086487A1 (en) * 2004-03-04 2005-09-15 Samsung Electronics Co., Ltd. Video encoding and decoding methods and systems for video streaming service
EP1585061A1 (en) * 2004-04-07 2005-10-12 Deutsche Thomson-Brandt Gmbh Block adaptive predictive coding
WO2005125213A1 (en) * 2004-06-15 2005-12-29 Ntt Docomo, Inc. Apparatus and method for generating a transmit frame
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7522667B2 (en) * 2005-02-24 2009-04-21 Freescale Semiconductor, Inc. Method and apparatus for dynamic determination of frames required to build a complete picture in an MPEG video stream
CN100444637C (zh) * 2005-04-14 2008-12-17 中兴通讯股份有限公司 一种在网络中传输视频流的方法
EP1936996A3 (en) * 2005-04-28 2011-07-27 Apple Inc. Video processing in a multi-participant video conference
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7515710B2 (en) 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
FR2899053B1 (fr) * 2006-03-21 2008-05-16 Canon Kk Procedes et dispositifs de codage et de decodage d'images animees, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede
US8340179B2 (en) 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
EP2052549A4 (en) 2006-08-17 2011-12-07 Ericsson Telefon Ab L M TROUBLESHOOTING FOR RICH MEDIA
US7388521B2 (en) * 2006-10-02 2008-06-17 Microsoft Corporation Request bits estimation for a Wyner-Ziv codec
TWI324020B (en) * 2006-10-05 2010-04-21 Ind Tech Res Inst Encoder and image encoding method
WO2008086313A1 (en) 2007-01-05 2008-07-17 Divx, Inc. Video distribution system including progressive playback
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN101861583B (zh) 2007-11-16 2014-06-04 索尼克Ip股份有限公司 用于多媒体文件的分级及简化索引结构
TW200943175A (en) 2008-01-17 2009-10-16 Nec Corp Synchronization control method and information processing device
EP2091227A1 (en) 2008-02-15 2009-08-19 Thomson Licensing Method for adjusting the settings of a reproduction color device
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
EP2507995A4 (en) 2009-12-04 2014-07-09 Sonic Ip Inc SYSTEMS AND METHODS FOR TRANSPORTING ELEMENTARY BIT TRAIN CRYPTOGRAPHIC MATERIAL
CN101783957B (zh) 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8787570B2 (en) 2011-08-31 2014-07-22 Sonic Ip, Inc. Systems and methods for automatically genenrating top level index files
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US20130083845A1 (en) 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
EP2595382B1 (en) 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
CN103905825B (zh) * 2012-12-27 2018-02-13 中国电信股份有限公司 视频图像的运动补偿方法和装置
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
US9462306B2 (en) * 2013-07-16 2016-10-04 The Hong Kong University Of Science And Technology Stream-switching in a content distribution system
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
WO2015131325A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015131326A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
WO2016072745A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 정규화를 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP4020983A1 (en) 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10225298B2 (en) 2015-01-06 2019-03-05 Divx, Llc Systems and methods for encoding and sharing content between devices
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
US10271062B2 (en) * 2016-03-18 2019-04-23 Google Llc Motion vector prediction through scaling
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
CN110446072B (zh) * 2019-08-14 2021-11-23 咪咕视讯科技有限公司 视频流切换方法、电子设备和存储介质
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE154485T1 (de) * 1990-03-15 1997-06-15 Thomson Multimedia Sa Digitale bildverarbeitung mit filterung der blockkanten
JP3576660B2 (ja) * 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
KR20000029596A (ko) * 1997-05-27 2000-05-25 요트.게.아. 롤페즈 비디오시퀀스의스위칭방법,대응스위칭소자및디코딩시스템
JP3671286B2 (ja) * 1997-06-20 2005-07-13 松下電器産業株式会社 画像処理方法,画像処理装置,及びデータ記憶媒体
CN1311958A (zh) * 1998-06-11 2001-09-05 皇家菲利浦电子有限公司 数字视频记录器用的特技播放信号的产生
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
JP2000165816A (ja) * 1998-11-30 2000-06-16 Sony Corp 信号復号方法及び装置
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
JP3521066B2 (ja) * 1999-06-11 2004-04-19 日本電気株式会社 ビデオオンデマンドシステム及びそのためのカット切替後フレーム間符号化ピクチャ削除方法
FR2795272B1 (fr) * 1999-06-18 2001-07-20 Thomson Multimedia Sa Procede de commutation de flux mpeg
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same

Also Published As

Publication number Publication date
CN1484921A (zh) 2004-03-24
JP5128865B2 (ja) 2013-01-23
JP4109113B2 (ja) 2008-07-02
JP2004517569A (ja) 2004-06-10
EP1356684A1 (en) 2003-10-29
CA2431866C (en) 2009-12-22
US6920175B2 (en) 2005-07-19
HUP0400560A2 (en) 2004-06-28
JP2007312411A (ja) 2007-11-29
MXPA03005985A (es) 2003-09-10
EP1356684B1 (en) 2016-08-03
EE04829B1 (et) 2007-04-16
CN1225125C (zh) 2005-10-26
EE200300315A (et) 2003-10-15
US20020118755A1 (en) 2002-08-29
WO2002054776A1 (en) 2002-07-11
BR0206191A (pt) 2003-10-07
BRPI0206191B1 (pt) 2016-06-21
CA2431866A1 (en) 2002-07-11
HK1062868A1 (en) 2004-11-26

Similar Documents

Publication Publication Date Title
HU228605B1 (en) Method of forwarding video information, encoder and decoder for coding and decoding video information, and coded cideo information signal
USRE43021E1 (en) Picture signal transmitting method and apparatus
EP0618734B1 (en) Picture signal processing
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US7706447B2 (en) Switching between bit-streams in video transmission
US8149917B2 (en) Transition creation for encoded video in the transform domain
KR960020556A (ko) 디지탈신호를 부분적으로 재압축하기 위한 방법 및 장치
EP1209911A2 (en) Encoded moving picture data conversion device and conversion method
JP2004507178A (ja) ビデオ信号符号化方法
HU230597B1 (hu) Eljárás, kóder és dekóder videójel kódolására, dekódolására, továbbá kódolt videójel, valamint számítógép program termék
GB2318472A (en) Generating inter-frame encoded video signals
CA2250284C (en) A perceptual compression and robust bit-rate control system
EP1538567A2 (en) Method and apparatus for scalable video encoding and decoding
JPS63267080A (ja) 映像信号伝送方式
Zhang et al. Efficient error recovery for multiple description video coding
US5737446A (en) Method for estimating high frequency components in digitally compressed images and encoder and decoder for carrying out same
JP3756897B2 (ja) 動画像符号化装置及び動画像符号化方法
KR100626419B1 (ko) 비디오 전송에서 비트 스트림들간의 교환
JPH09191458A (ja) 動画像圧縮符号化方法及びその装置
JPH10304382A (ja) フレーム間予測符号化システム
AU707033B2 (en) Picture signal transmitting method and apparatus
Xiong et al. An error resilience scheme on an end-to-end distortion analysis for video transmission over Internet
JP2000224588A (ja) 画像再符号化方法および画像再符号化装置
JP2006129509A (ja) 動画像符号化装置及び動画像符号化方法
Hobson et al. Real time TV image compression using motion-compensated frame prediction and interpolation

Legal Events

Date Code Title Description
GB9A Succession in title

Owner name: NOKIA TECHNOLOGIES OY, FI

Free format text: FORMER OWNER(S): NOKIA CORPORATION, FI