CZ290297A3 - Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů - Google Patents
Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů Download PDFInfo
- Publication number
- CZ290297A3 CZ290297A3 CZ972902A CZ290297A CZ290297A3 CZ 290297 A3 CZ290297 A3 CZ 290297A3 CZ 972902 A CZ972902 A CZ 972902A CZ 290297 A CZ290297 A CZ 290297A CZ 290297 A3 CZ290297 A3 CZ 290297A3
- Authority
- CZ
- Czechia
- Prior art keywords
- quasi
- points
- motion vectors
- sub
- point
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 261
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 192
- 230000015654 memory Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 238000006073 displacement reaction Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 230000002457 bidirectional effect Effects 0.000 description 3
- 101100099842 Arabidopsis thaliana TMN4 gene Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004922 lacquer Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Oblast vynálezu
Vynález se týká postupu a přístroje pro kódování videosignálu, a zejména postupu a přístroje pro kódováni digitálního videosignálu, užitím zdokonaleného odhadu pohybu na základě definičních bodů, čímž lze účinně snížit rychlost přenosu digitálního videosignálu s dobrou kvalitou obrazu.
Dosavadní stav techniky
Jak je známo, lze přenosem digitalizovaných videosignálů získat daleko kvalitnější videoobrazy než přenosem analogových signálů. Když je obrazový signál, obsahující sled obrazových snímků, vyjádřen v digitálním tvaru, je při přenosu generováno velké množství dat, zejména v případě televizního signálu s velkým stupněm rozlišení. Protože však v případě běžného přenosového kanálu je dostupná Šířka frekvenčního pásma omezena, je zde k přenosu dostatečného množství digitálních dat nutné komprimovat nebo snížit objem přenášených dat. Mezi různými technikami videokomprese je za nejúčinnějSi považována technika tzv. hybridního kódování, která spojuje postup dočasné a prostorové komprese s technikou statistického kódováni.
Větéina postupů hybridního kódováni pracuje s pohybově kompenzovanou DPCM (diferenciální pulzně kódovou dvourozměrným DCT (diskrétním kosinovým kvantováním koeficientů DCT a VLC (kódováním modulací), přenosem), variabilních délek). Pohybově kompenzovaná DPCM je postup odhadováni pohybu předmětu mezi aktuálním snímkem a předchozím snímkem di příštím snímkem, tzv. referenčním snímkem, a předpověď výskytu aktuálního snímku na základě průběhu pohybu předmětu za účelem vytvořeni diferenciálního signálu, představujícího rozdíl aktuálním snímkem a jeho predikcí. Tento postup je popsán např. v textech: Stafían Ericsson, Fixed and Adaptive Predictors for Hybrid Predictive/Transíorm Coding (Fixní a adaptivní prediktory pro hybridní predikční a transformační kódováni), uveřejněno v IEEE Transactions on Communications, COM-33, d.12, prosinec 1985, a Ninomiya a Ohtsuka, Motion-Compensated Interírame Coding Scheme for Television Pictures ( Schéma pohybově kompenzovaného intersnímkového kódováni pro televizní obrazy), uveřejněno v IEEE Transactions on Communications, COM- 30, d. 1, leden 1982.
Dvourozměrný DCT, který snižuje prostorové redundance mezi obrazovými daty nebo jich využívá, převádí blok digitálních obrazových dat, např. blok 8x8 pixelů (tj. obrazových bodů) na soubor dat transformačního koeíicientu. Tento postup je popsán v textu Chen a Pratt, Scene Adaptive Coder (Kodér přizpůsobeni scéně), IEEE Transactions on Communications, COM-32, d. 3, březen 1984. Zpracováním těchto dat transfarmádního koeficientu pomocí kvantovade, šikmě přídného skenování a VLC lze údinně komprimovat množství dat určených k přenosu.
Konkrétně u pohybově kompenzované DPCM se data aktuálního snímku předpovídají z odpovídajících dat referenčního snímku na základě odhadu pohybu mezi současným a referenčním snímkem. Takto odhadnutý pohyb lze popsat pomocí dvourozměrných vektorů pohybu představujících posun pixelů mezi referenčním a aktuálním snímkem.
Existuji dva základní přístupy k odhadu přemístění pixelů v předmětu: první je odhad způsobem blok po bloku a druhý je odhad pixel po pixelů.
Při odhadu blok po bloku se blok v aktuálním snímku porovnává s bloky v referenčním snímku, dokud se nenajde nejbližší shoda. Takto lze pro aktuální snímek, který je ·· ···· vysílán, odhadnout vektor snímkového posunu (který stanovuje, jak se blok pixelů přesunul mezi snímky) pro celý blok.
Tento postup přiřazování podobných bloků je možno využít při predikci snímků P a B obsažených ve videosekvencích, jak je popsáno v ITU Telecommunication Standardization Sector Study Group 15, Working Party 15/1 Expert s Group on Věry Low Bit Rate Visual Telephony (Pracovní schůzka expertní skupiny na téma vizuální teleíonie s nízké přenosovou rychlostí), Video Codec Test Model TMN4 Revl (Zkušební model videokodéru-dekodéru TMN4 Revl), 25. říjen 1994. Písmeno P neboli predikovaný snímek označuje snímek, který je předpovídán, tj. predikován, z předcházejícího a následujícího snímku (referenčního snímku). Zvláště při kódování tzv. snímku B se ke stanovení vektorů posunu v předním směru a v zadním směru používá postupu obousměrného odhadu pohybu, přičemž vektor posunu vpřed se získá odhadem pohybu předmětu mezi snímkem B a jemu předcházejícím vnitřním (I) snímkem nebo predikovaným (P) snímkem (referenčním snímkem). Vektor posunu vzad se stanovuje na základě snímku B a příštího snímku I nebo P (referenčního snímku).
Při odhadu pohybu blok po bloku se však v průběhu pohybové kompenzace mohou na rozhraní bloku projevit blokovací efekty, a jestliže se všechny pixely v bloku nepohybují stejně, může být odhad chybný. Tak se snižuje celková kvalita obrazu.
Užitím postupu odhadu pixel po pixelu se určuje posun pro každý pixel. Tento postup umožňuje přesnější odhad hodnoty pixelu a dokáže snadno zpracovat změny měřítka (např. při aplikaci zoomu, pohybu kolmého k rovině obrazu). Jelikož se však při postupu pixel po pixelu stanovuje vektor pohybu v každém pixelu, je v podstatě nemožné přenést do přijímače všechny vektory pohybu.
Jednou z technik, určených k eliminaci problému nadbytečného přenosu dat vznikajícího při práci pixel po pixelu, je postup odhadu pohybu na základě definičních • · · · bodů.
Při technice odhadu pohybu na základě definičních bodů se pro soubor· zvolených pixelů, tzv. definičních bodů, přenáSejí vektory pohybu do přijímače, přičemž každý definiční bod je definován reprezentuje i své sousední definičních bodů v přijímači lze zjistit nebo odhadnout vektory pohybu i pro body, které nejsou definiční.
V kodéru, který pracuje s odhadem pohybu na základě definičních bodů, popsaném v přihláSce v probíhajícím jako pixel, který zároveň pixely, takže z těchto veřejném patentovém řízení
U. S. Ser. No. 08/367520 pod prostorové přemístění v předchozím snímku názvem Method and ftpparatus íor Encoding a Video Signál Using Pixel-by-Pixel Motion Estimation (Postup a přístroj pro kódování videosignálu užitím odhadu pixel po pixelu), se ze vSech pixelů předchozího snímku nejdříve vybírají definiční body. Pro zvolené definiční body se pak stanoví vektory pohybu, přičemž každý z vektorů pohybu vyjadřuje mezi jedním definičním bodem a odpovídajícím bodem, tzn.
nejpodobnějSím pixelem, v aktuálním snímku. Konkrétně je odpovídající bod pro každý definiční bod hledán v oblasti určené k vyhledávání v aktuálním snímku užitím známého algoritmu přiřazování podobných bloků. Blok definičního bodu je přitom definován jako blok obklopující zvolený definiční bod a oblast vyhledávání je definována jako region v předem stanovené oblasti, obklopující polohu odpovídajícího definičního bodu.
V tomto případě by bylo nejvíce žádoucí či nejvýhodnějSÍ nalézt v celé oblasti vyhledávání jen ten nejvíce se hodící blok definičního bodu odpovídající zvolenému definičnímu bodu. Někdy věak může být v průběhu přiřazování podobných definičních bodů nalezeno větěí množství ekvivalentních bloků odpovídajících definičnímu bodu. Proto je obtížné správně detekovat vektor pohybu pro definiční bod s takovou korelaci mezi blokem definičního bodu a odpovídající oblastí hledání. Není-li oblast vyhledávání navíc stanovena v souladu s prostorovým • · · přemístěním mezi definičním bodem v referenčním snímku a odpovídajícím vhodným bodem. tzn. nejpodobnějším bodem v aktuálním snímku, mohou pak vzniknou chybné odhady, které máji za následek snížení kvality obrazu.
Podstata vynálezu
Cílem vynálezu je tedy poskytnout postup účinného odhadu vektorů pohybu pro definiční body, a tak účinně snížit přenosovou rychlost digitálního videosignálu s dobrou kvalitou obrazu.
Dalěim cílem vynálezu je poskytnout přístroj pro použití v kódovacím systému videosignálu pro účinný odhad vektorů pohybu užitím odhadu pohybu na základě definičních bodů, a tak účinně snížit přenosovou rychlost digitálního videosignálu s dobrou kvalitou obrazu.
DalSím cílem vynálezu je poskytnout systém kódování videosignálu s využitím odhadu pohybu na základě definičních bodů a odhadu pohybu na blokovém základě, a tak účinně zlepěit celkovou kvalitu obrazu.
Jedním aspektem vynálezu je postup detekce souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů užitím odhadu pohybu na základě definičních bodů, přičemž referenční snímek zahrnuje obnovený referenční snímek a původní referenční snímek. Postup ee skládá z následujících kroků: (a) Výběr souboru definičních bodů z pixelů obsažených v obnoveném referenčním snímku, kde soubor definičních bodů tvoří polygonální mřížku s několika překrývajícími se polygony.
(b) Stanovení souboru kvazideíiničních bodů na základě souboru definičních bodů v aktuálním snímku.
(c) Přidělení souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z počátečních vektorů pohybu je nastaven na hodnotu (0,0).
(d) Zvolení jednoho z kvazideíiničních bodů za dílčí • · · · • · · · · · • · · ··· · · ···
kvazidefiniční bod, kde dílCi kvazidefiniční bod má počet N sousedních kvazideíiničnich bodů, které tvoři aktuální dllCí polygon vymezený Carovými segmenty, spojujícími dílčí kvazidefiniční bod a uvedený počet N sousedních kvazidefiničních bodů, přičemž N je celé kladné Číslo.
(e) Postupné připojení počátečního vektoru pohybu dílčího kvazidefiničního bodu k počtu M budoucích vektorů pohybu za účelem vytvoření počtu M aktualizovaných počátečních vektorů pohybu, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních dílčích definičních bodů j sou neměnné.
(f) Stanoveni předvídané pozice na původním referenčními snímku pro každý pixel obsažený v aktuálním dílčím polygonu na základě každého z počtu M aktualizovaných počátečních vektorů pohybu pro dílčí kvazideíiniční bod a uvedený počet N počátečních vektorů pohybu sousedních kvazidefiničních bodů.
(g) Určeni předvídané hodnoty pixeiu pro každý uvedený pixel na předvídané pozici z původního referenčního snímku k vytvořeni počtu M předvídaných aktuálních dílčích polygonů.
(h) Výpočet rozdílu mezi aktuálním polygonem a každým z předvídaných aktuálních dílčích polygonů k vytvořeni počtu M poměrů Špičkové hodnoty signálu k Sumu (PSNB).
(i) Výběr jednoho z aktualizovaných vektorů pohybu jako zvoleného aktuálního vektoru pohybu, který zahrnuje predikovaný aktuální dílčí polygon, mající maximální PSNB, za účelem aktualizace počátečního vektoru pohybu dílčího kvazideíiničního bodu zvoleným počátečním vektorem pohybu.
(j) Opakováni kroků (d) až (i), dokud nejsou aktualizovány vSechny počáteční vektory pohybu.
(k) Opakování kroku (j), dokud není proveden předem stanovený počet opakováni.
(n) Zavedení souboru počátečních vektorů jako souboru vektorů pohybu, aby se tak stanovil soubor vektorů pohybu.
• · · · · ·
DalSí aspekt vynálezu popisuje přistroj pro použití v systému videokódování, sloužící k detekci souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů s využitím odhadu pohybu na základě definičních bodů, přičemž referenčním snímkem je obnovený referenční snímek a původní referenční snímek. Přístroj sestává z následujících částí:
První selekční prostředky pro výběr souboru pixelů · z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonální mřížku, obsahující přesahující polygony, prostředky pro stanovení souboru kvazidefiničních bodů v aktuálním snímku, odpovídajících souboru definičních bodů, paměťové prostředky pro uložení souboru počátečních vektorů pohybu pro soubor kvazidefiničních bodů, přičemž každý z původních vektorů pohybu je nastaven na hodnotu (0,0), druhé selekční prostředky pro zvolení počtu L dílčích kvazidefiničních bodů ze souboru kvazidefiničních bodů, kde každý z dílčích kvazidefiničních bodů má počet N sousedních kvazidefiničních bodů, které tvoří aktuální dílčí polygon bez překrývání vymezený čárovými segmenty, spojujícími dílčí kvazidefinični bod a uvedený počet N sousedních kvazidefiničních bodů, přičemž uvedené N a L je celé kladné číslo, dalSí prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazidefiničního bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dilčí kvazidefiniční bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazidefiniční bod jsou neměnné, prostředky ke stanovení předvídané pozice na původním
• ·· · • · · · • · ·· · referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídajících sousedních kvazideíiničních bodů, prostředky pro získání předvídané hodnoty pixelu z původního referenčního snímku na základě předvídané pozice, a Lak vytvořit počet M předvídaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů, pros t ředky z nepřesahujících pro výpočet rozdílu mezi každým aktuálních dílčích polygonů a odpovídajícím počtem M předvídaných aktuálních dílčích polygonů k vytvoření počtu M poměrů Špičkové hodnoty signálu k Sumu (PSNR) pro každý nepřesahující aktuální dílčí polygon, třetí selekční prostředky pro výběr jednoho z aktualizovaných počátečních vektorů pro každý dílčí kvazidefiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvoření počtu L zvolených aktualizovaných počátečních vektorů pohybu, prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazideíinični bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu, prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu poté, co jsou vSechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakováni.
DalSí aspekt vynálezu popisuje přístroj pro kódování digitálního videosignálu, sloužící k redukci přenosové rychlosti digitálního videosignálu, přičemž uvedený digitální videosignál obsahuje množství snímků včetně aktuálního snímku a referenčního snímku. Přístroj obsahuje:
první paměťové prostředky pro uložení obnoveného referenčního snímku digitálního videosignálu.
druhé paměťové prostředky pro uložení původního referenčního snímku digitálního videosignálu, první prostředky pohybové kompenzace pro detekci vektorů pohybu mezi aktuálním snímkem a obnoveným referenčním snímkem užitím odhadu pohybu na blokovém základě a pro generováni prvního předvídaného aktuálního snímku na základě tomto počtu vektorů pohybu a obnoveného referenčního snímku, druhé prostředky pro kompenzaci pohybu pro výběr souboru definičních bodů z obnoveného referenčního snímku k detekci souboru vektorů pohybu mezi aktuálním snímkem a původním referenčním snímkem podle souboru definičních bodů užitím definičního bodu na základě odhadu pohybu a ke generováni druhého předvídaného snímku na základě souboru vektorů pohybu a obnoveného referenčního snímku, prostředky pro výběrové poskytnutí vektorů pohybu a prvního předvídaného aktuálního snímku nebo souboru vektorů pohybu a druhého předvídaného aktuálního snímku jako zvolených vektorů pohybu a zvoleného aktuálního snímku, prostředky pro transformační kódování chybového signálu představujícího rozdíl mezi předvídaným aktuálním snímkem a skutečným aktuálním snímkem k vytvoření transformačně kódovaného chybového signálu, a prostředky pro statistické kódování transformačně kódovaných chybových signálů a zvolených vektorů pohybu k vytvoření kódovaného videosignálu, který bude přenášen.
Přehled obrázků na výkresech
Výěe uvedené cíle a vlastnosti vynálezu vyjdou najevo z následujícího popisu preferovaných provedeni uvedených v souvislosti s připojenými výkresy.
Na obr. 1 je přístroj pro kódování obrazového signálu obsahující zařízeni pro pohybovou kompenzaci na základě definičních bodů podle vynálezu.
Obr. 2A a 2B jsou schematické diagramy zobrazující sekvenci dvou snímků.
Obr. 3 znázorňuje podrobné blokové schéma zařízeni pro pohybovou kompenzaci znázorněného na obr. 1.
Na obr. 4 je uveden příklad blokového diagramu bloku vyhledávání vektoru pohybu, jež je znázorněn na obr. 3.
Obr. 5a a 5B ukazují příklad diagramu aktuálního snímku a obnoveného předchozího snímku.
Obr. 6A až 6E popisují příklady diagramů pro znázorněni operace volby definičního bodu podle vynálezu a obr. 7A a 7B znázorňují příklad diagramu popisujícího proces vyhledávání vektoru pohybu podle vynálezu.
Příklady provedeni vynálezu
Na kódování obsahuje obr. 1 je znázorněno blokové schéma systému obrazu podle vynálezu. Systém kódování obrazu obvod pro přeorganizování snímků 101. odčítačku
102. kodér obrazového signálu 105, dekodér obrazového signálu 113. sčítačku 115. první paměťové zařízení 120. druhé paměťové zařízení 130. kodér entropie 107 a zařízeni pro kompenzaci pohybu 150.
Vstupní digitální videosignál obsahuje dvě sekvence snímků (neboli obrazů), jak je znázorněno na obr. 2A a 2B: první snímková sekvence je vybavena jedním vnitřním (I) snímkem, II, třemi obousměrně predikovanými snímky, Bl, B2, B3, a třemi předlkovanými snímky, Pl, P2, P3. Druhá snímková sekvence má jeden vnitřní (I) snímek, II, tři predikované snímky v předním směru, Fl, F2, F3, a tři predikované snímky Pl, P2, P3. Systém kódování obrazu proto zahrnuje dva režimy kódování sekvence: první režim kódováni sekvence a druhý režim kódování sekvence. V prvním režimu kódováni sekvence je vedeni L17 spojeno s vedením 11 prvním spínačem 103 a sekvence prvního snímku, která obsahuje II, Bl, Pl, B2, P2, B3, P3 je vysílána přes první spínač 103 do obvodu pro přeorganizování snímků 101, který je sestrojen tak, aby ji změnil na nově seřazený digitální videosignál, tzn. II, Pl, Bl, P2, B2, P3, B3, za účelem vytvoření obousměrně predikovaných snímkových signálů pro snímky B. Přeřazený digitální videosignál pak vstoupí po vedeni LLS., LI2, LI do druhého spínače 104a, prvního paměťového zařízení 120 a zařízeni pro pohybovou kompenzaci 150. V druhém režimu kódováni sekvence je vedení LI7 spojeno s vedením L10 prvním spínačem 103 a sekvence druhého snímku II, Fl, Pl, F2, P2, F3, P3 je spojena přes první spínač 103 po vedení LI2, LI, LI8 s prvním paměťovým zařízením 120, zařízením pro pohybovou kompenzaci 150 a druhým spínačem 104a. První spínač 103 je aktivován řídicím signálem sekvenčního režimu CS1 z běžného systémového řadiče, např. mikroprocesoru (není na obr.) Jak lze poznat z výěe uvedeného, u prvního režimu kódování sekvence nastává zpoždění, proto může být druhý režim kódování sekvence výhodně využit jako režim charakteristický malým zpožděním v aplikacích, jako je např. videotelefon a přístroje pro telekoníerence.
Jak je znázorněno na obr. 1, obsahuje systém kódování obrazu druhý spínač 104a a třetí spínač 104a, které se používají pro výběr ze dvou režimů kódování snímků: intra snímkového režimu kódování a inter snímkového režimu kódováni. Druhý a třetí snímač 104a a 104b, jak je v oboru dobře známo, jsou současně aktivovány řídicím signálem snímkového režimu CS2 ze systémového řadiče.
Při intra snímkovém režimu kódování je vnitřní (intra) snímek II spojen přímo jako signál aktuálního snímku vedením LI4 s kodérem obrazového signálu 105, přičemž signál aktuálního snímku je např. užitím diskrétního kosinového přenosu (DCT) nebo kterýmkoli ze známých postupů kvantování zakódován do souboru kvantovaných přenosových koeficientů. Vnitřní snímek II je také uložen jako původní referenční snímek ve snímkové paměti 121 prvního paměťového zařízení 120, přičemž první paměťové zařízeni obsahuje tři snímkové paměti, 121, 122 a 123. které jsou spojeny vedením L2, L3 a L4 se zařízením ·· ···· pro pohybovou kompenzaci 150. Kvantované přenosové koeficienty jsou pak vyslány do kodéru entropie 107 a dekodéru obrazového signálu 113 V kodéru entropie 107 jsou kvantované přenosové koeficienty z kodéru obrazového signálu 105 společně zakódovány např. užitím postupů kódování proměnné délky a dodány do vysílače (není na obr.) za účelem přenosu.
Dekodér obrazového signálu 113 převádí kvantované přenosové koeficienty z dekodéru obrazového signálu 105 zpět na obnovený intrasnímkový signál s využitím inverzního kvantování a inverzního diskrétního kosinového přenosu. Obnovený intra snímkový signál z dekodéru obrazového signálu 113 je pak uložen jako obnovený referenční snímek ve snímkové paměti 131 druhého paměťového zařízení 130. přičemž druhé paměťové zařízení 130 obsahuje tři snímkové paměti 131. 132. 133. které jsou spojeny vedením L 2, L3, L 4 se zařízením pro pohybovou kompenzaci 150.
V režimu vnitřního kódování se vnitřní snímek (např. predikovaný snímek Pl, obousměrné predikovaný snímek nebo snímek predikovaný v předním směru) vyšle jako aktuální signál do odčítačky 102 a zařízení pro pohybovou kompenzaci 150 a je uložen do ve snímkové paměti 131 prvního paměťového zařízení 120. přičemž mezi tak zvané vnitřní snímky patří obousměrně predikované predikované snímky Pl, P2, P3 a v předním směru Fl, F2, F3. Původní referenční snímek dříve uložený ve snímkové paměti 121 je pak spojen vedením L2. se zařízením pro pohybovou kompenzaci 150 a posunut nebo uložen ve snímkové paměti 122. Zařízení pro pohybovou kompenzaci 150 obsahuje kanál pro pohybovou kompenzaci pohybu na blokovém základě a kanál pro pohybovou kompenzaci na základě definičních bodů, jak je zde popisována.
Když je aktuálním snímkem predikovaný snímek Pl, signál aktuálního snímku na vedení Ll a signál obnoveného referenčního snímku na vedení L 1 ze snímkové paměti 131 druhého paměťového zařízení 130 kanálu pro pohybovou kompenzaci snímky Bl, B2, B3, predikované snímky se zpracovávají užitím na blokovém základě za
- 13 ·· ····
zpracovávají užitím základě definičních účelem predikce aktuálního snímku ve smyslu generováni signálu predikovaného aktuálního snímku na vedení L30 a souboru vektorů pohybu na vedení L20. Když je aktuálním snímkem snímek predikovaný v předním směru FI (nebo obousměrně predikovaný snímek Bl), je signál aktuálního snímku na vedeni LI. signál původního referenčního snímku na jednom z vedení 1*2, L3 a 14 z prvního paměťového zařízení 120 a obnovený signál referenčního snímku na vedení L 2. L3 a L 4 z druhé snímkové paměti 130 se kanálu pro pohybovou kompenzaci na bodů za účelem predikce aktuálního snímku pro generování signálu predikovaného aktuálního snímku na vedení L3Q a souboru vektorů pohybu na vedení L20. Zařízení pro pohybovou kompenzaci 150 bude popsáno podrobně v souvislosti s obr. 3.
Signál predikovaného aktuálního snímku na vedení L30 je odečten od signálu aktuálního snímku na vedeni LI5 v odčítačce 102 a zbývající data, tzn. chybový signál označující diferenciální hodnotu pixelů, jsou odvedena do kodéru obrazového signálu 105, přičemž chybový signál je zakódován do souboru kvantovaných transformačních koeficientů např. užitím DCT a kteréhokoli ze známých postupů kvantováni. Tzn. chyby, získané odečtením predikovaného aktuálního snímku z aktuálního snímku jsou kódovány pomocí DCT. V tom případě je velikost kroku kvantování nastavena na velkou hodnotu, aby se tak kompenzovalo jen vážné narušení oblasti způsobené nesprávným odhadem vektorů pohybu.
Pak jsou kvantované transformační koeficienty přeneseny do kodéru entropie 107 a dekodéru obrazového signálu 113. V kodéru entropie 107 jsou kvantované přenosové koeficienty z kodéru obrazového signálu 105 a vektory pohybu, přenesené vedením L20 ze zařízení pro pohybovou kompenzaci 150. kódovány společně např. užitím postupu kódování na základě různosti délky, a dodány do vysílače (není na obr.) za účelem přenosu.
Dekodér
113 obrazového signálu převádí užitím • · · · · · inverzního kvantování a inverzní diskrétní kosinové transformace kvantované transformační koeficienty z dekodéru obrazového signálu 105 zpět na obnovený chybový signál.
Obnovený chybový signál z dekodéru obrazového signálu 113 a signál predikovaného aktuálního snímku na vedení LI6 ze zařízení pro pohybovou kompenzaci 150 jsou přes přepínač 104b sloučeny ve sčítačce 1±£, aby tak umožnily uložení signálu obnoveného referenčního snímku na vedení L .1 v druhé snímkové paměti 130. stejně jako u předcházejícího snímku. Zařízení pro snímkovou paměť 130 obsahuje např. tři sériově zapojené snímkové paměti 131, 132 a 133, jak je znázorněno na obr. 1. To znamená, že signál obnoveného snímku ze sčítačky 115 je nejprve uložen např. ve snímkové paměti 131. pak je po vedení L^2 dodán do zařízení pro pohybovou kompenzaci, a vstoupí-li dalěí signál obnoveného snímku ze sčítačky 115 do první snímkové paměti 131, je také snímek po snímku přesunut do druhé snímkové paměti 132. Tento postup se opakuje tak dlouho, dokud se provádí operace kódováni obrazu.
Na obr. 2A a 2B jsou příklady zobrazení první a druhé snímkové sekvence, jež jsou popsány výěe. Jak je znázorněno, když je aktuálním snímkem predikovaný snímek Pl, získá se užitím obnoveného vnitřlního snímku II jako referenčního snímku vyvolaného z druhé snímkové paměti 130 soubor vektorů pohybu SMV1. Podobným způsobem se pro aktuální snímky P2 a P3 získají užitím referenčních snímků Pl a P2 soubory vektorů pohybu SMV2 a SMV3.
Když je aktuálním snímkem obousměrně predikovaný snímek Bl, získá se z definičních bodů užitím obnoveného referenčního snímku II vyvolaného z druhé snímkové paměti 130 a původního referenčního snímku II vyvolaného z první paměti 120 soubor vektorů pohybu v předním směru FMV1. Obdobným způsobem se získá užitím původního referenčního snímku Pl a obnoveného referenčního snímku Pl pro aktuální snímek soubor vektorů pohybu směrem vzad BMV1. Pak si systém kódováni obrazu vybere mezi souborem vektorů pohybu
v předním směru FMV1 a souborem vektorů směrem vzad BMV1 a vyěle odpovídající vektory pohybu.
Když je aktuálním snímkem snímek predikovaný v předním směru Fl, získá se z definičních bodů užitím původního referenčního snímku II vyvolaného z prvního paměťového zařízení 120 a obnoveného referenčního snímku Fl vyvolaného z druhé paméti 130 soubor vektorů pohybu v předním směru FMV2.
Jak vyplývá z výěe uvedeného, jsou snímky obsažené v první a druhé sekvencí snímků pro účely odhadu a kompenzace pohybu uspořádány v prvním a druhém snímkovém zařízení 120 a 130 tak, jak je znázorněno v tabulkách I a II. Zde označuje O snímek užívaný pro odhad pohybu v předním směru a označuje snímek pro odhad pohybu směrem vzad.
Tabulka 1
| První | snímková | sekvence | |||||
| Ll | 11 | Pl | Bl | P2 | B2 | P3 | B3 |
| L2 | X | o> | Bl | B2 | |||
| L3 | X | X | © | ©> | Bl | © | B2 |
| L4 | X | X | X | 11 | <s> | Bl | © |
Tabulka 2
| První | snímková | sekvence | |||||
| Ll | 11 | Pl | Bl | P2 | B2 | P3 | B3 |
| L2 | X | © | Fl | © | F2 | © | F_3 |
| L3 | X | X | © | Fl | © | F2 | <£2) |
| L4 | X | X | X | 11 | Fl | Pl | F2 |
Jak lze vysledovat z výěe uvedeného, jsou predikované snímky Pl, P2, P3 obnovovány pomocí predikovaného kódování typu DCT, tzv. TMN4, s využitím odhadu pohybu na blokovém základě, a intervenující snímky, tzn. obousměrně predikované snímky B1, B2, B3, nebo snímky predikované směrem vpřed Fl, F2, F3, jsou obnovovány užitím pohybové
- 16 ·· ···· kompenzace na základě definičních bodů diskrétní kosinové transformace (MC-DCT) podle vynálezu.
Na obr. 3 jsou detaily zařízení pro pohybovou kompenzaci 150 z obr. 1. Jak je znázorněno na obr. 3, obsahuje zařízení pro pohybovou kompenzaci 150 vstupní voliče 154. 155 a 156. obvod pro pohybovou kompenzaci na blokovém základě 151. první obvod pro pohybovou kompenzaci na základě definičních bodů 152. druhý obvod pro pohybovou kompenzaci na základě definičních bodů 153 a výstupní voliče 157 a 158.
Obvod pro pohybovou kompenzaci na blokovém základě 151. pracující dle běžného algoritmu přiřazování podobných bloků, slouží k detekci souboru vektorů pohybu pro každý z predikovaných snímků Pl, P2, P3 a ke generováni predikovaného aktuálního snímku pro odpovídající predikovaný snímek. Když je proto predikovaný snímek Pl podle popisu v tabulce I a II použit v obvodu pro pohybovou kompenzaci na blokovém základě 151 jako aktuální snímek, slouží volič 154 ke spojeni obnoveného vnitřního snímku II vedením L 2 jako referenčního snímku s obvodem pro pohybovou kompenzaci na blokovém základě 151. V obvodu pro pohybovou kompenzaci na blokovém základě 151 se odhaduje soubor vektorů pohybu a tvoří se zde predikovaný signál aktuálního snímku. Soubor vektorů pohybu a signál predikovaného aktuálního snímku jsou pak spojeny vedením L20 a L30 přes výstupní voliče 157 a 158.
První obvod pro pohybovou kompenzaci na základě definičních bodů 152, pracující s afinní transformaci, slouží, jak je zde popsán, k detekci souboru vektorů pohybu s odhadem v předním směru pro každý z obousměrně predikovaných snímků Bl, B2, B3 nebo snímků predikovaných v předním směru Fl, F2, F3 a ke generování predikovaného aktuálního snímku pro odpovídající obousměrně predikovaný snímek nebo snímek v předním směru. Když je proto obousměrně predikovaný snímek Bl na vedení LI použit jako aktuální snímek v obvodu pro pohybovou kompenzaci na základě definičních bodů 152. slouží volič 155 podle ·· ···· ··· ·· tabulky I ke spojení původního vnitřního snímku II na vedení L2 jako původního referenčního snímku s obvodem pro pohybovou kompenzaci na základě deíiničních bodů 152. Volič 156 slouží ke spojení obnoveného vnitřního snímku II na vedení L 2 jako obnoveného referenčního snímku s obvodem pro pohybovou kompenzaci na základě definičních bodů 1S2. za účelem generování predikovaného snímku. Pak je soubor vektorů pohybu s odhadem předního směru a signál aktuálního predikovaného snímku spojen vedením L20 a L30 s výstupními voliči 157 a 158. přičemž výstupní voliče 157 a 158 jsou ovládány řídicím signálem CS5 a CS6 ze systémového řadiče (není na obr.)
Druhý obvod pro pohybovou kompenzaci na základě definičních bodů 153. pracující s afinní transformací, slouží k detekci souboru vektorů pohybu s odhadem v zadním směru pro každý z obousměrně predikovaných snímků Bl, B2, B3 nebo predikovaných snímků v předním směru Fl, F2, F3 a ke generování predikovaného aktuálního snímku pro odpovídající obousměrný predikovaný snímek. Když je proto obousměrný predikovaný snímek Bl použit v druhém obvodu pro pohybovou kompenzaci na základě definičních bodů 153 jako aktuální snímek, je původní predikovaný snímek PÍ spojen vedením L2 jako původní referenční snímek s obvodem pro pohybovou kompenzaci na základě definičních bodů 153 a obnovený predikovaný snímek PÍ je vedením L2 spojen jako obnovený referenční snímek s druhým obvodem pro pohybovou kompenzaci na základě definičních bodů 153. V druhém obvodu pro pohybovou kompenzaci na základě definičních bodů 153 se soubor vektorů pohybu s odhadem směrem vzad ziská užitím původního referenčního snímku a signál aktuálního snímku je vytvořen užitím obnoveného referenčního snímku. Pak je eoubor vektorů pohybu s odhadem směrem vzad spojen vedením L20 a L30 se signálem aktuálního predikovaného snímku přes výstupní volič 1£Z a 158.
Na obr. 4 jsou znázorněny detaily obvodu pro obnoveného a predikovaného kompenzaci na základě definičních bodů z obr. 3. Obnovený
signál referenčního snímku na vedení L 2 z druhé snímkové paměti 130 vstupuje do selekčního bloku podle definičních bodů 210 pro generováni souboru definičních bodů a bloku pro pohybovou kompenzaci. Soubor definičních bodů je pak spojen s blokem vyhledávání vektoru pohybu 230 a blokem pohybové kompenzace 240 Blok vyhledávání vektoru pohybu 230 přijímá původní referenční snímek a aktuální snímek a slouží ke generování souboru vektorů pohybu pro soubor definičních bodů. Soubor vektorů pohybu je spojen s blokem pohybové kompenzace 240. který slouží ke generování predikovaného aktuálního snímku na základě souboru vektorů pohybu a souboru definičních bodů.
V selekčním bloku na základě definičních bodů 210 je vybírán soubor definičních bodů z většího množství pixelů obsažených v obnoveném referenčním snímku, přičemž každý z definičních bodů je vymezen podle polohy pixeiu. Příklad aktuálního snímku a obnoveného referenčního snímku je na obr. 5A a 5B.
Na obr. 6A až 6E jsou příklady diagramů popisujících proces volby definičního bodu podle vynálezu. Jak je zobrazeno na obr. 6A, jsou okraje v obnoveném referenčním snímku p(x,y) z obr. 5B detekovány užitím známého Sobelova detektoru okrajů, viz např. A. K. Jain, Fundamentais oí Digital Image Processing (Základy digitálního zpracování obrazu), 1989, vydalo Prentice-Hall International. Výstup Jv^(x,y)| ze Sobelova operátoru se porovnává s předem stanovenou prahovou hodnotou Te. Jako předem definovaný práh Te se podle vynálezu přednostně stanoví hodnota 6. Je-li výstupní hodnota jvp(x,y)J ze Sobelova operátoru menší než předem stanovená prahová hodnota Te, je výstupní
Λ | hodnota )vp(x,y)| nastavena na 0. Jinak může výstupní hodnota (vp(x,y)| zůstat nezměněna. Proto je signál okraje eg(x,y) znázorněný na obr. 6A definován následovně:
j inak vp(x,y)J
9
V preferovaném provedení vynálezu se definiční body stanovují užitím techniky mřížky, kde se používá Šestiúhelníková mřížka s množstvím překrývajících Šestiúhelníků, jak je ukázáno na obr. 6B. Podle obr. 6C je Šestiúhelník 610 vymezen čárovými segmenty spojujícími sedm bodů mřížky 611 až 617. Bod mřížky 617 obsažený v Šestiúhelníku 610 obsahuje větSi množství sousedních bodů mřížky 611 až 616 než trojúhelník, čímž umožňuje účinnější uspořádání definičních bodů. Šestiúhelník 610 obsahuje Šest nepřesahujících trojúhelníků 621 až 626 a body mřížky 611 až 617 tvoří vrcholy trojúhelníků 621 až 626. Rozkladová schopnost Šestiúhelníku 610 je vymezena čarami HH a HV, které jsou podle vynálezu přednostně nastaveny na 13 a 10.
V obr. 6D je pro každý z bodů mřížky, např. G1 až G4, nastaven nepřesahující rozsah vyhledávání, např. STÍ až SR4. Krajní bod, např. E7 umístěný v rozsahu vyhledávání SRÍ, se stane definičním bodem pro mřížkový bod, např. G1, je-li součtová hodnota osmi pixelů, obklopujících krajní bod, např. E7, maximální. Definiční bod Di tak může být vyjádřen rovnici:
4
Di =1(x,y)Imax EG(x + k, y + fč.2 L 1 -J kde EG(x,y) je hodnota krajního bodu v oblasti vyhledávání SRi a i je kladné celé číslo.
Soubor definičních bodů je vymezen č. 2, kde soubor definičních bodů zahrnuje bod mřížky přesahující do krajního bodu, přičemž krajní bod je umístěn v nepřesahující oblasti vyhledávání SRi a má maximální součtovou hodnotu svých okolních pixelů a uvedený bod mřížky nemá ve svém nepřesahujícím rozsahu vyhledávání obsažen žádný krajní bod.
Existuje-li větší počet krajních bodů se stejnou maximální součtovou hodnotou, pak je za definiční bod zvolen krajní bod nejblíže bodu mřížky.
Když je stanoven soubor definičních bodů, je • · ·
Šestiúhelníková mřížka znázorněná na obr. 6B zdeformována jako šestiúhelníková mřížka definičního bodu z obr. 6E. Po stanovení šestiúhelníkové mřížky definičního bodu je soubor definičních bodů spojen s blokem vyhledávání vektoru pohybu 230 znázorněným na obr. 4, který slouží k detekci souboru vektorů pohybu. Podle vynálezu se pro vyhledávání vektorů pohybu používá konvergence s afinní transformací.
Na obr. 7A a 7B je příklad znázorňující proces vyhledávání vektoru pohybu podle vynálezu. V aktuálním snímku je užitím souboru definičních bodů definován soubor kvazideíiničních bodů, přičemž každý z definičních bodů v obnoveném referenčním snímku má obraz v odpovídajícím kvazideíiničním bodu v aktuálním snímku. Pro každý z kvazideíiničních bodů, např. Dl až D30 je počáteční vektor pohybu nastaven na hodnotu (0,0).
Když je pak přiřazen či zaveden kvazideíinični bod, např. D7, jako dílčí kvazideíinični bod ke zpracování odhadu jeho vektoru pohybu, používá se v procesu konvergence aktuální dílčí polygon 700 Aktuální dílčí polygon 700 je vymezen čárovými segmenty spojujícími kvazideíinični bod D7 s jeho sousedními kvazideíiničními body, např. Dl až D6, které obklopují dílčí kvazideíinični bod D7. Aktuální polygon 700 obsahuje šest nepřesahujících trojúhelníků 701 až 706. přičemž dílčí kvazideíinični bod je umístěn na běžném vrcholu trojúhelníků.
Předem určený počet budoucích vektorů pohybu je pak postupně připojen k počátečnímu vektoru pohybu kvazideíiničního bodu D7, přičemž předem stanovený počet budoucích vektorů pohybu je zvolen horizontálně i vertikálně přednostně v intervalu 0 až +-7 a budoucí vektor pohybu D7Y1 není povolen, protože trojúhelník 701 je obrácený. Budoucí vektor pohybu D7X1 je připojen k počátečnímu vektoru dílčího kvazideíiničniho bodu D7 beze změny počátečních vektorů pohybu jeho šesti sousedních definičních bodů Dl až D6, aby tak vznikl aktualizovaný vektor pohybu D7D 7. Aktualizovaný vektor počátečního pohybu D7D 7 proto představuje posunutí mezi dílčím
kvazidefiničním bodem D7 a budoucím kvazidefiničním bodem D7.
Na původním referenčním snímku je užitím aktualizovaných počátečních vektorů pohybu a počátečních vektorů sousedních kvazidefiničních bodů stanovena předvídaná poloha každého pixelu obsaženého v aktuálním dílčím polygonu 700. Pak je každá z poloh pixelů obsažených v aktuálním dílčím polygonu 700 interpolována s hodnotou na původním referenčním snímku, odpovídající poloze, aby tak byl vytvořen predikovaný aktuální dílčí polygon. Podle preferovaného provedení vynálezu se tento postup provádí na základě známé afinní transformace v každém z trojúhelníků, např. 701, který má ve svých vrcholech tři definiční body, např. Dl, D2, D7. Afinní transformace je definována následovně:
pixelu předlkované
| - ' | — | -- | - · | ||||
| X | a | b | X | e | |||
| = | • | + | |||||
| y | c | d | y | f | |||
| t > | J | . j | - M |
kde (x,y) je označení souřadnic x a y pixelu v predikovaném aktuálním dílčím polygonu, (x ,y ) označuje souřadnice predikované polohy na původním referenčním snímku a písmena a až f jsou koeficienty afinní transformace.
Šest koeficientů zobrazeni, a, b, c, d, e, f, je jednoznačně určeno užitím vektorů pohybu tří kvazidefiničních bodů, např. Dl, D2, D7. Jakmile jsou známy koeficienty afinní transformace, může být každý ze zbývajících pixelů v trojúhelníku 701 zobrazen do polohy v původním referenčním snímku. Protože získaná predikovaná poloha (x , y ) původního referenčního snímku není ve větáině případů množina celých čísel, používá se k výpočtu interpolováné úrovně Šedi v predikované poloze (x , y ) známý postup bilineární transformace. Postup afinního zobrazení je nezávisle aplikován na trojúhelníky 701 až 706 Získá se tak predikovaný aktuální dílčí polygon pro budoucí vektor pohybu.
• · ·
Predikovaný aktuální dílčí Šestiúhelník je pak porovnán s aktuálním Šestiúhelníkem 700 a proběhne kontrola, zda se zvýSil poměr Špičkové hodnoty signálu k úrovni Sumu (PSNR) predikovaného aktuálního dílčího Šestiúhelníku a aktuálního Šestiúhelníku. Je-li tomu tak, je počáteční vektor pohybu (0,0) dílčího kvazideíiničního bodu D7 aktualizován podle aktualizovaného počátečního
Aktualizováné kvazideíiniční vektoru pohybu D7D 7.
Aby byly zachovány budoucí vektory pohybu, postup se opakuje. VýSe uvedený postup se provádí též ve vSech kvazideíiničních bodech obsažených v uvedeném aktuálním snímku v jednom opakování.
Nyní k obr. 7B. Po provedení jednoho opakováni, je kvazideíiniční bod D7 nastaven na dílčí kvazideíiniční bod.
počáteční vektory pohybu pro sousední body Dl až
D6
D4D 4, D5D 5 a D6D 6 a obdobně jsou D1D 2, D2D 2, D3D 3, jsou k počátečnímu vektoru dílčího kvazideíiničního bodu D7D 7 připojovány předem určené budoucí vektory pohybu v přísluSném pořadí. Např. budoucí vektor pohybu D 7X2 je připojen k počátečnímu vektoru D7D 7 beze změny počátečních vektorů pohybu jeho
Šesti sousedních definičních bodů D1D 2, D2D 2, D3D 3,
D4D 4, D5D 5 a D6D 6. Proto se dalSim počátečním vektorem pohybu stává D7X2. Jak je uvedeno výSe, zvolí se předem stanovený počet budoucích vektorů pohybu nejlépe horizontálně a vertikálně v rozsahu 0 až +—7 a budoucí vektor pohybu D7Y2 není povolen, protože trojúhelník 701 je obrácený.
Predikovaná poloha pro každý z pixelů obsažených v aktuálním dílčím polygonu 700 je stanovena na původním referenčním snímku užitím aktualizovaného vektoru pohybu snímku odpovídající predikované poloze z predikovaného aktuálního dílčího polygonu 700 (vyjádřeného na obr. 7B
D7X2 a počátečních vektorů sousedních kvazideíiničních bodů
D1D 2, D2D 2, D3D'3, D4D^4, D5D'5 a D6D'6. Pak je každá z poloh pixelů obsažených v aktuálním dílčím polygonu 700 interpolována s hodnotou pixelu na původním referenčním • · ·
- 23 přeruSovanou čarou) . R1
Predikovaný aktuální dílčí Šestiúhelník 700 je pak porovnáván s aktuálním Šestiúhelníkem a je provedena kontrola, zda se zvětSil PSNR predikovaného aktuálního dílčího Šestiúhelníku a aktuálního Šestiúhelníku. Je-li tomu tak, je počáteční vektor pohybu dílčího D7D7 aktualizován počátečním kvaz i de í i ni čni ho bodu vektorem pohybu D7X2.
Pro zbývající budoucí vektory pohybu se postup opakuje. VýSe uvedený postup se také provádí ve vSech kvazidefiničních bodech obsažených v aktuálním snímku při druhém opakováni.
Tento postup se provádí také vzhledem ke vSem kvazideíiničním bodům několikrát, dokud není dosaženo konvergence. Postup je přednostně opakován je pětkrát, protože ke konvergenci vektorů pohybu obvykle dochází před pátým opakováním.
Jak je možno vysledovat z výSe uvedeného, je posunutí každého z definičních bodů v procesu konvergence dáno vzhledem k přísluSnému vektoru pohybu a Šest trojúhelníků v každém Šestiúhelníku je aíinně transformováno nezávisle na přemístění deíiničních bodů jejich vrcholů. ZlepSí-li se po provedeni posunuti PSNR, je vektor pohybu dílčího definičního bodu postupně aktualizován. Proto je postup konvergence velmi účinný při provádění shodného přiřazení za účelem stanovení predikovaného obrazu co možná nejbližSiho k původnímu obrazu při použití zoomu, rotace či změny měřítka.
Podle preferovaného provedení vynálezu lze tento postup vzhledem k hardware provádět ve třech krocích. Kvazideíiniční body označené jako Dl, D3 a D5, znázorněné na obr. 7A, které tvoří nepřesahující aktuální polygony, jsou nejprve zpracovávány současně užitím každého ze Šesti sousedních deíiničních bodů (D2, D7, D6, D10, Dli, D17), (D2, D4, D7, D12, D13, D19), (D4, D6, D7, D8, D9, D15). Stejný postup se dále opakuje pro body D2, D4 a D6. Jako poslední krok se nakonec zpracují zbývající body D7, D8 používá pro proces toho, že se místo a D9.
Vraťme se k obr. 4.. Získané vektory pohybu pro všechny kvazideíiniční body se pak spojí jako soubor vektorů pohybu pro všechny definiční body do bloku pohybové kompenzace 240. který slouží ke generováni predikovaného aktuálního snímku s využitím obnoveného referenčního snímku. To znamená, že signál predikovaného aktuálního snímku se získá na základě aíinní transformace s využitím obnoveného předchozího snímku a získaných vektorů pohybu. Jak vyplývá z výše uvedeného, jde o stejné zobrazení v aíinní transformaci, jaké se vyhledávání vektorů pohybu, kromě původního referenčního snímku používá obnovený referenční snímek, protože systém dekodéru (není na obr.) má jen obnovené referenční snímky. Na druhé straně však, protože systém kódování pracující s touto pohybovou kompenzací na základě definičních bodů vytváří dobrý obraz jen s vektory pohybu, není možno přenášet rozdílový či chybový signál mezi aktuálním snímkem a predikovaným aktuálním snímkem.
Jak vyplývá z výše uvedeného, automaticky se předpokládá, že systém kódování z vynálezu, pracující s kompenzací pohybu na základě definičních bodů, dokáže vytvořit spolehlivý soubor vektorů pohybu, čímž se zlepší účinnost kódování.
Algoritmus kompenzace pohybu na základě definičních bodů vychází z charakteristických vlastností obrazu, přičemž se ke kompenzaci rotace a aplikace zoomu na předmět používá aíinní transformace. Ve většině případů mají pohybově kompenzované obrazy vyšší PSNE s dobrou subjektivní kvalitou. Selže-li v případě pohybu s velkým měřítkem predikce pohybu, může být chybový obraz kódován a přenášen užitím DCT s velkým kvantováním. Dobré subjektivní kvality se dosáhne užitím systému kódování z vynálezu konkrétně při rychlosti 24 kbit/s. Dále platí, že jelikož se polohy definičních bodů mění snímek po snímku, používá systém kódování podle vynálezu jako referenční snímek obnovený předchozí snímek, který existuje ·· · · · · jak v kodéru, tak v dekodéru, takže není třeba přenášet informace o poloze definičních bodů. Tato kompenzace pohybu pixelů používaná v prezentovaném systému kódování vytváří navíc lepší subjektivní kvalitu než pohybová kompenzace na blokovém základě, protože dokáže kompenzovat aplikaci zoomu, rotaci a měřítko předmětů užitím aíinní transformace pouze s vektory pohybu.
Zatímco vynález byl znázorněn a popsán s odkazem na specifická provedení, bude odborníkům v oboru zřejmé, že lze provést mnoho změn a modifikací nepřekračujících duševní obsah a rozsah vynálezu, jak je definováno v připojených patentových nárocích.
Claims (7)
- PATENTOVÉNÁROKY7>ť / · · ·· ···· * · » · · · *Postup detekce souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů užitím odhadu pohybu na základě definičního bodu, kde referenční snímek zahrnuje obnovený referenční snímek a původní referenční snímek, přičemž postup se vyznačuje tím, že zahrnuje následující kroky:(a) Výběr souboru definičních bodů z pixelů obsažených v obnoveném referenčním snímku, kde soubor definičních bodů tvoří polygonální mřížku s několika překrývajícími se polygony, (b) stanovení souboru kvazidefiničních bodů na základě souboru definičních bodů v aktuálním snímku, (c) přidělení souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z počátečních vektorů pohybu je nastaven na hodnotu (0,0), (d) zvolení jednoho z kvazideíiničních bodů za dílčí kvazideíiniční bod, kde dílčí kvazideíiniční bod má počet N sousedních kvazideíiničních bodů, které tvoří aktuální dílčí polygon vymezený čárovými segmenty, spojujícími dílčí kvazideíiniční bod a uvedený počet N sousedních kvazideíiničních bodů, přičemž N je celé kladné číslo, (e) postupné připojení počátečního vektoru pohybu bodu k počtu M budoucích účelem vytvoření počtu dílčího kvazideíiničního vektorů pohybu zaM aktualizovaných počátečních vektorů pohybu, přičemžM je celé kladné vektorů pohybu číslo a uvedený počet M budoucích pokrývá předem vymezenou oblast v aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních dílčích definičních bodů jsou neměnné, (f) stanovení predikované pozice na původním (obrazový bod ) referenčními snímku pro každý pixel obsažený v aktuálním dílčím polygonu na základě každého z počtu M aktualizovaných počátečních vektorů pohybu pro dílčí kvazidefiniční bod a uvedený početN počátečních vektorů pohybu sousedních kvazideíiničních bodů, (g) určeni predikované hodnoty pixelu pro každý uvedený pixel na predikované pozici z původního referenčního snímku k vytvoření počtu M predikovaných aktuálních dílčích polygonů.(h) výpočet rozdílu mezi aktuálním polygonem a každým z predikovaných aktuálních dílčích polygonů k vytvořeni počtu M poměrů špičkové hodnoty signálu k šumu (PSNB), (i) výběr jednoho z aktualizovaných vektorů pohybu jako zvoleného aktuálního vektoru pohybu, který zahrnuje predikovaný aktuální dílčí polygon, mající maximální PSNB, za účelem aktualizace počátečního vektoru pohybu dílčího kvazideíiničního bodu zvoleným počátečním vektorem pohybu, (j) opakování kroků (d) až (i), dokud nejsou aktualizovány všechny počáteční vektory pohybu, (k) opakování kroku (j), dokud není proveden předem stanovený počet opakování, (n) zavedení souboru počátečních vektorů jako souboru vektorů pohybu, aby se tak stanovil soubor vektorů pohybu.
- 2. Postup podle nároku 1, vyznačující se tím, že krok (a) sestává z následujících kroků:(al) Detekce okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je definován následovně:je-li /vp(x ,y)j<T« eg(x,y)Jvp(x,y)j , jinak- 2β kde p(x,y) představuje referenční snímek, |vp(x,y)J označuje výstup ze Sobelova operátoru a Te je předem stanovená prahová hodnota, (a2) zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje mnoho bodů mřížky za účelem vytvoření množství překrývajících polygonů, (a3) přidělení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, (a4) stanovení souboru definičních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.
- 3.5 7>i/ z aktualizovaných počátečních vektorů pro každý dílčí kvazideíiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvořeni počtu L zvolených aktualizovaných počátečních vektorů pohybu, prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazideíiniční bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu.prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu potě, co jsou všechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakování.18. Přístroj podle nároku 17, vyznačující se tím, že první selekční prostředky zahrnují:prostředky pro detekci okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je de í i nován nás1edovně:je-li jvp(x,y)|<Te , x ' eg(x,y) = SL |vp(x,y)j , jinak kde p(x,y) představuje referenční snímek, jvp(x,y)j označuje výstup ze známého Sobelova operátoru a Te je předem stanovená prahová hodnota, prostředky pro zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje množství bodů mřížky, za účelem vytvoření množství překrývajících polygonů, prostředky pro stanovení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, prostředky pro stanovení souboru definičních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je7>ι/ -F'/··. .··.···:. · · · · ·.......... · · · · · «· ······ ·· · umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.19. Přístroj podle nároku 18, vyznačujíc! se tím, že polygon je Šestiúhelník, N je 6, dílčí aktuální Šestiúhelník obsahuje Šest trojúhelníků vymezených čárovými segmenty, spojujícími dílčí kvazidefiniční bod a jeho sousední kvazidefiniční body a mezi prostředky pro stanoveni predikované polohy patří známá afinní transformace.20. Přístroj podle nároku 19, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.21. Přístroj podle nároku 20, vyznačující se ťlm, že předem stanovená oblast je v rozsahu horizontálně a vertikálně 0 až +- 7.WO 96/298287P/ Zýoz -‘/ρPCI7KR95/00050WO 96/298283. Postup podle nároku 1, vyznačující se tím, že soubor definičních bodů obsahuje krajní bod nejbližSÍ polygonální mřížce, když se v rozsahu vyhledávání objeví více než jeden krajní bod, mající stejnou maximální součtovou hodnotu,
- 4. Postup podle nároku 3, vyznačující se tím, že polygon je Šestiúhelník a N je 6.
- 5. Postup podle nároku 1, vyznačující se tím, že dílčí aktuální Šestiúhelník obsahuje Šest trojúhelníků vymezených Carovými segmenty, spojujícími dílčí kvazidefiniční bod a jeho sousední kvazidefiniční body a kroky (f) a (g) se provádějí užitím známé aíinní transformace.
- 6. Postup podle nároku 5, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.Postup podle nároku 6, vyznačujíc! se tím, že předem stanovená oblast, je v rozsahu horizontálně a vertikálně 0 až +- 7.8. Postup podle nároku 7, vyznačující se tím, že definiční bod Di je vymezen následovně:ΛDi = -j (x, y) J max TLST EG (x + k, y + i)l L * lTSj—7 u b-4 Y-j kde EG(x,y) je hodnota krajního bodu v oblasti vyhledávání a i je kladné celé číslo.9. Přístroj pro použití v systému videokódování, sloužící k detekci souboru vektorů pohybu mezi aktuálním snímkem a referenčním snímkem videosignálů s užitím odhadu pohybu na základě definičních bodů a referenčním snímkem je obnovený referenční snímek a původní referenční snímek, přičemž přístroj se vyznačuje tím, že sestává z následujících částí:(a) První selekční prostředky pro výběr souboru pixelů z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonálni mřížku, obsahující přesahující polygony.(b) Prostředky pro stanovení souboru kvazidefiničních bodů v aktuálním snímku, definičních bodů.(c) Paměťové prostředky počátečních vektorů pohybu pro soubor kvazideíiničnich bodů, přičemž každý z původních vektorů pohybu je nastaven na hodnotu (0,0).(d) Druhé selekční prostředky pro zvolení počtuL dílčích kvazideíiničnich bodů kvazideíiničnich bodů, kde každý bodů má které odpovídajících souboru pro uložení souboru kvazideí iničnich kvaz i de finičních bodů.počet tvoří ze zsouboru dílčíchN sousedních aktuální dílčí polygon bez překrývání vymezený čárovými segmenty,7A spojujícími dílčí kvazidefiniční bod a uvedený počet, N sousedních kvazideíiničních bodů, přičemž uvedené N a L je celé kladné číslo.(e) Další prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazideíiničního bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dílčí kvazideíiniční bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazideíiniční bod jsou neměnné.(í) Prostředky ke stanovení predikované pozice na původním referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídajících sousedních kvazideíiničních bodů.(g) Prostředky pro získání predikované hodnoty pixelů z původního referenčního snímku na základě predikované pozice, a tak vytvořit počet M predikovaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů.(h) Prostředky pro výpočet rozdílu mezi každým z nepřesahujících aktuálních dílčích polygonů a odpovídajícím počtem M predikovaných aktuálních dílčích polygonů k vytvoření počtu M poměrů špičkové hodnoty signálu k šumu CPSNP.) pro každý nepřesahující aktuální dílčí polygon.(i) Třetí selekční prostředky pro výběr jednoho z aktualizovaných počátečních vektorů pro každý dílčí kvazidefiniční bod za zvolený aktualizovaný počáteční vektor pohybu, který zahrnuje predikovaný dílčí aktuální polygon, mající maximální PSNR, za účelem vytvoření počtu L zvolených aktualizovaných počátečních vektorů pohybu.? -y c’2 - λ (j) Prostředky pro aktualizaci počátečního vektoru pohybu pro každý dílčí kvazidefiniční bod, uložený v paměťových prostředcích s odpovídajícím zvoleným počátečním vektorem pohybu.(k) Prostředky pro vyvolání souboru vektorů počátečního pohybu z paměťových prostředků jako souboru vektorů pohybu poté, co jsou všechny počáteční vektory pohybu aktualizovány po předem stanoveném počtu opakování.10. Přístroj podle nároku 9, vyznačující se tím, že první selekční prostředky zahrnují:prostředky pro detekci okraje obrazu obnoveného referenčního snímku, přičemž okraj obrazu eg (x,y) je definován následovně:i z' i ,O, je-li vp(x,y)UTe eg (x, y ) = j tt J vp(x,y)j , jinak kde ^(x,y) představuje referenční snímek, (vp(x,y)| označuje výstup ze známého Sobelova operátoru a Te je předem stanovená prahová hodnota, prostředky pro zavedení polygonální mřížky na okraji obrazu, kde polygonální mřížka obsahuje množství bodů mřížky, za účelem vytvořeni množství překrývajících polygonů, prostředky pro zavedení nepřesahujícího rozsahu vyhledávání pro každý bod mřížky, prostředky pro stanovení souboru deíiničních bodů, přičemž soubor definičních bodů obsahuje bod mřížky přesahující přes krajní bod a uvedený krajní bod je umístěn v nepřesahujícím rozsahu vyhledávání a má maximální součtovou hodnotu svých okolních pixelů, uvedený bod mřížky nemá žádný krajní bod, který by byl obsažen v jeho nepřesahujícím rozsahu vyhledávání.11. Postup podle nároku 10, vyznačující se tím, že soubordefiničních bodů obsahuje krajní bod nejbližěí polygonální mřížce, když se v rozsahu vyhledávání objeví více než jeden krajní bod, mající stejnou maximální součtovou hodnotu.12. Přístroj podle nároku 11, vyznačující se tím, že polygon je Šestiúhelník a N je 6.13. Postup podle nároku 12, vyznačující se tím, že dílčí aktuální Šestiúhelník obsahuje Šest trojúhelníků vymezených čárovými segmenty, spojujícími dílčí kvazideíiniční bod a jeho sousední kvazidefiniční body a mezi prostředky pro stanovení predikované polohy patří známá afinní transformace.14. Přístroj podle nároku 13, vyznačující se tím, že počet okolních pixelů je 8, předem stanovený počet opakování je 5 a předem stanovená prahová hodnota je 6.15. Postup podle nároku 14, vyznačující se tím, že předem stanovená oblast je v rozsahu horizontálně a vertikálně 0 až +- 7.16. Přístroj pro kódování digitálního videosignálu, sloužící k redukci přenosové rychlosti digitálního videosignálu, přičemž uvedený digitální videosignál obsahuje množství snímků včetně aktuálního snímku a referenčního snímku, přičemž přístroj se vyznačuje tím, že obsahuje:první paměťové prostředky pro uložení obnoveného referenčního snímku digitálního videosignálu, druhé paměťové prostředky pro uložení původního referenčního snímku digitálního videosignálu, první prostředky pohybové kompenzace pro detekci vektorů pohybu mezi aktuálním snímkem a obnoveným referenčním snímkem užitím odhadu pohybu na blokovém základě a pro generování prvního predikovaného • · « I • ·· ·· ···· » · · » · · ··· · • · ·· · aktuálního snímku na základě tomto počtu vektorů pohybu a obnoveného referenčního snímku, druhé prostředky pro kompenzaci pohybu pro výběr souboru definičních bodů z obnoveného referenčního snímku k detekci souboru vektorů pohybu mezi aktuálním snímkem a původním referenčním snímkem podle souboru definičních bodů užitím definičního bodu na základě odhadu pohybu a ke generování druhého predikovaného snímku na základě souboru vektorů pohybu a obnoveného referenčního snímku, prostředky pro výběrové poskytnutí vektorů pohybu a prvního predikovaného aktuálního snímku nebo souboru vektorů pohybu a druhého predikovaného aktuálního snímku jako zvolených vektorů pohybu a zvoleného aktuálního snímku, prostředky pro transformační kódování chybového signálu představujícího rozdíl mezi predikovaným aktuálním snímkem a skutečným aktuálním snímkem k vytvoření transformačně kódovaného chybového signálu.prostředky pro statistické kódování transformačně kódovaných chybových signálů a zvolených vektorů pohybu k vytvořeni kódovaného videosignálu, který bude přenášen.17. Přístroj podle nároku 16, vyznačující se tím, že druhé zařízeni pro pohybovou kompenzaci obsahuje:První selekční prostředky pro výběr souboru pixelů z obnoveného referenčního snímku jako souboru definičních bodů, kde soubor definičních bodů tvoří polygonální mřížku, obsahující přesahující polygony, prostředky pro stanoveni souboru kvazideíiničních bodů v aktuálním snímku, odpovídajících souboru definičních bodů, paměťové prostředky pro uloženi souboru počátečních vektorů pohybu pro soubor kvazideíiničních bodů, přičemž každý z původních vektorů pohybu je nastaven na-γν zyc'2 -v2 hodnotu (0,0), druhé selekční prostředky pro zvolení počtu L dílčích kvazideíiničních bodů ze souboru kvazideíiničních bodů, kde každý z dílčích kvazideíiničnich bodů má počet N sousedních kvazideíiničních bodů, které tvoří aktuální dílčí polygon bez překrývání vymezený čárovými segmenty, spojujícími dílčí kvazideíinični bod a uvedený počet N sousedních kvazideíiničnich bodů, přičemž uvedené N a L je celé kladné číslo, další prostředky pro připojení počátečního vektoru pohybu každého dílčího kvazideíiničniho bodu k počtu M budoucích vektorů pohybu ke generování počtu M aktualizovaných počátečních vektorů pohybu pro každý dílčí kvazideíinični bod, přičemž M je celé kladné číslo a uvedený počet M budoucích vektorů pohybu pokrývá předem vymezenou oblast v každém nepřesahujícím aktuálním dílčím polygonu a počáteční vektory pohybu uvedených sousedních definičních bodů pro každý dílčí kvazideíinični bod jsou neměnné, prostředky ke stanovení predikované pozice na původním referenčními snímku pro každý pixel obsažený v každém nepřesahujícím aktuálním dílčím polygonu na základě každého z aktualizovaných počátečních vektorů pohybu a počátečních vektorů pohybu odpovídájících sousedních kvazideíiničních bodů, prostředky pro získání predikované hodnoty pixelu z původního referenčního snímku na základě predikované pozice, a tak vytvořit počet M predikovaných aktuálních dílčích polygonů pro každý z nepřesahujících aktuálních dílčích polygonů, prostředky pro výpočet rozdílu mezi každým z nepřesahujících aktuálních dílčích polygonů a odpovídajícím počtem M predikovaných aktuálních dílčích polygonů k vytvoření počtu M poměrů špičkové hodnoty signálu k šumu (PSNR) pro každý nepřesahující aktuální dílčí polygon.třetí selekční prostředky pro výběr jednoho
- 7^ 2<?&ΖPCT/KR95/00050 2/g
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950005715A KR0181034B1 (ko) | 1995-03-18 | 1995-03-18 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CZ290297A3 true CZ290297A3 (cs) | 1998-02-18 |
Family
ID=19410078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ972902A CZ290297A3 (cs) | 1995-03-18 | 1995-05-06 | Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů |
Country Status (16)
| Country | Link |
|---|---|
| US (1) | US5978030A (cs) |
| EP (1) | EP0815690B1 (cs) |
| JP (1) | JP4187264B2 (cs) |
| KR (1) | KR0181034B1 (cs) |
| CN (1) | CN1144471C (cs) |
| AT (1) | ATE207279T1 (cs) |
| AU (1) | AU711311B2 (cs) |
| BR (1) | BR9510541A (cs) |
| CA (1) | CA2215386C (cs) |
| CZ (1) | CZ290297A3 (cs) |
| DE (1) | DE69523340T2 (cs) |
| FI (1) | FI973715A (cs) |
| NO (1) | NO974209L (cs) |
| PL (1) | PL177586B1 (cs) |
| TW (1) | TW257924B (cs) |
| WO (1) | WO1996029828A1 (cs) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100209793B1 (ko) | 1995-10-28 | 1999-07-15 | 전주범 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 |
| JPH1098729A (ja) | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
| AU1941797A (en) * | 1997-03-17 | 1998-10-12 | Mitsubishi Denki Kabushiki Kaisha | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
| KR100265721B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법 |
| KR100265720B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형선격자모델을이용한동영상의움직임보상방법 |
| JP3966392B2 (ja) * | 1997-09-30 | 2007-08-29 | シャープ株式会社 | 画像合成通信装置 |
| DE69811631T2 (de) * | 1997-10-29 | 2003-10-30 | Koninkl Philips Electronics Nv | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| KR100255758B1 (ko) * | 1997-11-21 | 2000-05-01 | 전주범 | 삼각 그리드로 표현된 지형상을 이동하는 물체의 위치가 존재하는 삼각형 탐색방법 |
| US6546052B1 (en) * | 1998-05-29 | 2003-04-08 | Canon Kabushiki Kaisha | Image processing apparatus and method, and computer-readable memory |
| JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| KR100673282B1 (ko) * | 1999-11-29 | 2007-01-24 | 소니 가부시끼 가이샤 | 비디오/오디오 신호 처리 방법 및 비디오/오디오 신호처리 장치 |
| JP3681342B2 (ja) * | 2000-05-24 | 2005-08-10 | 三星電子株式会社 | 映像コーディング方法 |
| KR100359115B1 (ko) | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
| US6738520B1 (en) * | 2000-06-19 | 2004-05-18 | Intel Corporation | Method of compressing an image |
| US7046728B1 (en) | 2000-06-30 | 2006-05-16 | Intel Corporation | Method of video coding the movement of a human face from a sequence of images |
| WO2002003708A2 (en) * | 2000-06-30 | 2002-01-10 | Intel Corporation | Method of coding shoulder movement in a video sequence |
| WO2002003707A2 (en) * | 2000-06-30 | 2002-01-10 | Intel Corporation | Model-based video image coding |
| JP2002230543A (ja) * | 2000-11-28 | 2002-08-16 | Monolith Co Ltd | 画像補間方法および装置 |
| JP2002230575A (ja) * | 2000-11-30 | 2002-08-16 | Monolith Co Ltd | 映像効果方法および装置 |
| FR2820255A1 (fr) * | 2001-01-26 | 2002-08-02 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants |
| FR2820256B1 (fr) * | 2001-01-26 | 2004-11-19 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes |
| US20030189980A1 (en) * | 2001-07-02 | 2003-10-09 | Moonlight Cordless Ltd. | Method and apparatus for motion estimation between video frames |
| FR2833797B1 (fr) * | 2001-12-19 | 2004-02-13 | Thomson Licensing Sa | Procede d'estimation du mouvement dominant dans une sequence d'images |
| PT2903278T (pt) * | 2002-08-08 | 2017-09-22 | Godo Kaisha Ip Bridge 1 | Método de descodificação de imagens em movimento |
| KR100508975B1 (ko) * | 2003-05-20 | 2005-08-17 | 주식회사 팬택 | 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법 |
| US8467452B2 (en) * | 2004-01-08 | 2013-06-18 | Entropic Communications, Inc. | Distributing candidate vectors based on local motion complexity |
| JP4982694B2 (ja) * | 2004-01-16 | 2012-07-25 | トライデント マイクロシステムズ インコーポレイテッド | ビデオ情報を圧縮／伸張する方法 |
| US7483572B2 (en) * | 2004-08-25 | 2009-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Recovering a non-linear warping function from images |
| US7847823B2 (en) * | 2005-01-14 | 2010-12-07 | Morpho, Inc. | Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device |
| JP4620607B2 (ja) | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
| KR101119970B1 (ko) * | 2007-02-05 | 2012-02-22 | 삼성전자주식회사 | 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치 |
| KR100851981B1 (ko) * | 2007-02-14 | 2008-08-12 | 삼성전자주식회사 | 비디오 영상에서 실 객체 판별 방법 및 장치 |
| KR101366242B1 (ko) * | 2007-03-29 | 2014-02-20 | 삼성전자주식회사 | 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 |
| KR101366244B1 (ko) * | 2007-04-24 | 2014-02-21 | 삼성전자주식회사 | 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치 |
| US8665958B2 (en) * | 2008-01-29 | 2014-03-04 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
| US8385404B2 (en) * | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
| KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| JP2010124397A (ja) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | 高解像度化装置 |
| US9060176B2 (en) * | 2009-10-01 | 2015-06-16 | Ntt Docomo, Inc. | Motion vector prediction in video coding |
| CN103039075B (zh) * | 2010-05-21 | 2015-11-25 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法 |
| JP5661359B2 (ja) | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
| US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| KR101314632B1 (ko) * | 2013-03-14 | 2013-10-04 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| KR102121558B1 (ko) * | 2013-03-15 | 2020-06-10 | 삼성전자주식회사 | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 |
| KR101316710B1 (ko) * | 2013-05-09 | 2013-10-10 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| KR101483174B1 (ko) * | 2013-07-25 | 2015-01-20 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| CN104378644B (zh) * | 2013-08-16 | 2020-12-04 | 上海天荷电子信息有限公司 | 定宽度变长度像素样值串匹配增强的图像压缩方法和装置 |
| CN104363451B (zh) | 2014-10-27 | 2019-01-25 | 华为技术有限公司 | 图像预测方法及相关装置 |
| CN106658019B (zh) * | 2015-10-31 | 2019-11-12 | 华为技术有限公司 | 参考帧编解码的方法与装置 |
| WO2017142448A1 (en) * | 2016-02-17 | 2017-08-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices for encoding and decoding video pictures |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5241608A (en) * | 1988-11-25 | 1993-08-31 | Eastman Kodak Company | Method for estimating velocity vector fields from a time-varying image sequence |
| US5347309A (en) * | 1991-04-25 | 1994-09-13 | Matsushita Electric Industrial Co., Ltd. | Image coding method and apparatus |
| US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
| JP3115651B2 (ja) * | 1991-08-29 | 2000-12-11 | シャープ株式会社 | 画像符号化装置 |
| US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
| JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
-
1995
- 1995-03-18 KR KR1019950005715A patent/KR0181034B1/ko not_active IP Right Cessation
- 1995-03-18 TW TW84102640A patent/TW257924B/zh not_active IP Right Cessation
- 1995-05-05 US US08/435,688 patent/US5978030A/en not_active Expired - Lifetime
- 1995-05-06 AT AT95918202T patent/ATE207279T1/de active
- 1995-05-06 BR BR9510541A patent/BR9510541A/pt unknown
- 1995-05-06 CN CNB951977822A patent/CN1144471C/zh not_active Expired - Lifetime
- 1995-05-06 CZ CZ972902A patent/CZ290297A3/cs unknown
- 1995-05-06 JP JP52829596A patent/JP4187264B2/ja not_active Expired - Lifetime
- 1995-05-06 EP EP95918202A patent/EP0815690B1/en not_active Expired - Lifetime
- 1995-05-06 PL PL95322302A patent/PL177586B1/pl unknown
- 1995-05-06 WO PCT/KR1995/000050 patent/WO1996029828A1/en not_active Application Discontinuation
- 1995-05-06 CA CA 2215386 patent/CA2215386C/en not_active Expired - Lifetime
- 1995-05-06 DE DE1995623340 patent/DE69523340T2/de not_active Expired - Lifetime
- 1995-05-06 AU AU24206/95A patent/AU711311B2/en not_active Ceased
-
1997
- 1997-09-12 NO NO974209A patent/NO974209L/no unknown
- 1997-09-17 FI FI973715A patent/FI973715A/fi unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CA2215386A1 (en) | 1996-09-26 |
| FI973715A (fi) | 1997-11-17 |
| JPH11506576A (ja) | 1999-06-08 |
| FI973715A0 (fi) | 1997-09-17 |
| WO1996029828A1 (en) | 1996-09-26 |
| TW257924B (en) | 1995-09-21 |
| NO974209D0 (no) | 1997-09-12 |
| DE69523340D1 (de) | 2001-11-22 |
| AU711311B2 (en) | 1999-10-07 |
| CN1144471C (zh) | 2004-03-31 |
| ATE207279T1 (de) | 2001-11-15 |
| DE69523340T2 (de) | 2002-05-02 |
| KR0181034B1 (ko) | 1999-05-01 |
| PL177586B1 (pl) | 1999-12-31 |
| PL322302A1 (en) | 1998-01-19 |
| BR9510541A (pt) | 1998-06-09 |
| JP4187264B2 (ja) | 2008-11-26 |
| AU2420695A (en) | 1996-10-08 |
| MX9707106A (es) | 1997-11-29 |
| EP0815690A1 (en) | 1998-01-07 |
| EP0815690B1 (en) | 2001-10-17 |
| US5978030A (en) | 1999-11-02 |
| CN1178057A (zh) | 1998-04-01 |
| CA2215386C (en) | 2005-06-21 |
| NO974209L (no) | 1997-10-31 |
| KR960036766A (ko) | 1996-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CZ290297A3 (cs) | Postup a přístroj pro kódování videosignálu užitím odhadu pohybu na základě definičních bodů | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| US5612743A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| KR0171146B1 (ko) | 특징점을 이용한 움직임 벡터 검출 장치 | |
| KR0181027B1 (ko) | 화소 단위 움직임 추정을 이용하는 영상처리 시스템 | |
| US4727422A (en) | Method and apparatus for efficiently communicating image sequence having improved motion compensation | |
| EP0637894B1 (en) | Apparatus and method for detecting motion vectors to half-pixel accuracy | |
| EP0734176B1 (en) | Motion compensation apparatus for use in a video encoding system | |
| US5862261A (en) | Current frame prediction method and apparatus for use in an image signal encoding system | |
| JPH08205165A (ja) | 映像処理システム | |
| EP0731612A1 (en) | Apparatus for encoding a video signal using a search grids for motion estiamtion and compensation | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP2002523987A (ja) | ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| KR100252340B1 (ko) | 현재 프레임 예측방법 및 그 장치 | |
| CN1108061C (zh) | 利用搜索网格对视频信号编码的装置 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| MXPA97007106A (en) | Method and apparatus for coding a video signal using a calculation of motion based on unpunto caracterist |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD00 | Pending as of 2000-06-30 in czech republic |