CZ2001173A3 - Kódování přizpůsobitelných obrazů založených na oblastech - Google Patents

Kódování přizpůsobitelných obrazů založených na oblastech Download PDF

Info

Publication number
CZ2001173A3
CZ2001173A3 CZ2001173A CZ2001173A CZ2001173A3 CZ 2001173 A3 CZ2001173 A3 CZ 2001173A3 CZ 2001173 A CZ2001173 A CZ 2001173A CZ 2001173 A CZ2001173 A CZ 2001173A CZ 2001173 A3 CZ2001173 A3 CZ 2001173A3
Authority
CZ
Czechia
Prior art keywords
data
resolution
interest
area
areas
Prior art date
Application number
CZ2001173A
Other languages
English (en)
Inventor
Meng Wang
Yue Dong Yang
Li Qu
Brent Simon
Original Assignee
Digital Accelerator Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Accelerator Corporation filed Critical Digital Accelerator Corporation
Publication of CZ2001173A3 publication Critical patent/CZ2001173A3/cs

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

Kódování přizpůsobitelných obrazů založených na oblastech
Oblast techniky
Tento vynález se obecně týká kódování obrazů a přesněji komprese a dekomprese přizpůsobitelných a na obsahu založených, náhodně přístupných digitálních nepohyblivých obrazů.
Dosavadní stav techniky
Rychlý růst použití internetu digitálních multimedií vytvoří 1 stálou a rostoucí poptávku na nové nástroje kódování obrazů, které zmenší obyčejně velké a těžkopádné prvotní soubory obrazových dat do komprimované formy.
Kompaktnost výsledného bitového proudu však není jediným požadavkem požadovaným od vývojových pracovníků při navrhován í nového kódovat:.· í ho nástroje.
Koneční uživatelé a jejich aplikace v 1astnosti takové, jako je při způsob i te1nos t, cbytová robustnost a přístupnost založená na obsahu.
Fotograf ie a f ilmy jsou dvojrozměrná znázornění trojrozměrných předmětů viděných záznamu dvojrozměrných verzí jsou spojité nebo analogové reprodukce. Digitální obrazy jsou nespojitou aprox i mac í techto ana1ogových obrazů, vytvořených ze série sousedících teček nebo obrazových prvků (pixelů) různé barvy a intenzity. Na počítačovém nebo televizním monitoru je digitální obraz ukázán jako obrazové prvky promítnuté na skleněném stínítku a pozorované provozovatelem. Počet obrazových prvků vyhrazených k zobrazení určitého obrazu se nazývá jeho rozlišování, tj. čím více obrazových prvků se použije k zobrazení daného předmětu, tím větší je jeho rozlišování.
· · 9 9 9 9 9
999 9 9 999 9 9
9 9 9 9 9 9 9 9
9 9 9 9 9 9
9999 999 99 999 99
Monotónní obraz - černobílé obrazy jsou uvažovány ve stupnici šedé - s průměrným rozlišováním by mohl obsahovat 640 obrazových prvků na jeden horizontální řádek. Typický obraz by obsahoval 480 horizontálních řad nebo řádků, z nichž každý obsahuje 640 obrazových prvků na jeden řádek. V jediném obrazu 640 x 480 obrazových prvků je proto zobrazeno celkem 307200 obrazových prvků. Jestliže každý obrazový prvek monotónního obrazu vyžaduje ke svému popisu jeden datový byte (tj. černý nebo bílý), požaduje se celkem 307200 bytů k popisu jen jednoho Černobílého obrazu. Moderní obrazy ve stupnici šedé používají různé úrovně intenzity k zobrazení zčernání a tak používají osm bitů nebo 256 úrovní šedé. Výsledné soubory obrazů jsou proto odpovídajícím způsobem větší.
Pro barevné obrazy je harva každého obrazového prvku v obrazu typicky určena třem i proměnným i: červenou (R), zelenou (G) a modrou (B).
Počítač může zobrazit různé barvy spektra míšením těchto tří proměnných v různém poměru. Čím větší rozmanitost je dostupná ke znázornění každí· ze tří barev, tím více barev se může zobrazit. K znázornění např. 256 odstínů červené je zapotřebí osmibitové číslo. Rozsah hodnot takové barvy je? tak 0-255. Celkový počet bitů potřebných ke znázorněn í obrazového prvku je proto 24 bitů vždy 8 bitů pro červenou, zelenou a modrou, což je běžně známý formát
RGB888. Daný obraz
RGB tak má tři roviny
Červenou, zelenou a modrou a rozsah barev pro každý obrazový prvek v obrazu je 0
16,78 milionfl nebo R
256 x 256 x 256- Standardní barevný obraz 640 x
480 obrazových prvků proto vyžaduje přibližně 7,4 megabitfl dat k tomu, aby byl uložen nebo znázorněn v počítačovém systému. K tomuto číslu se došlo násobením horizontálního a vertikálního rozlišování číslem požadovaných bitů ke znázornění plného • · * rozsahu barev, tj.
640 x 480 x 24 = 7 372 800 bitů.
Standardní běžně dostupný hardware při zvětšování rychlosti a poskytovaných možnostech stále nalézá soubory této velikosti jako pomalé a nezvládnutelné. To je pravda zvláště v případě konverzačních aplikací a při použití Internetu.
Konverzační aplikace vyžadují velmi rychlé zpracování multimediálních dat v mnoha směrech. Soubory obrazů se svým daným neodstranítělně velkým objemem jsou rychlostně omezujícím činitelem při vývoji realistických, konverzačních počítačových aplikací. V případě Internetu jsou koneční uživatelé a aplikace dále omezeni pomalým chodem modemů a jiných přenosových medií. Např. množství informací, které je běžně schopné přenosu telefonní linkou v Intervalu jedné sekundy je vlivem vlastních vodičů a přepínacích funkcí používaných typickou telefonní společností omezeno na 33600 bitů za sekundu. Proto přenos jediné plně barevné RGB888 stránky 640x480 obrazových prvků se 7372800 bitů dat by pří této modulační rychlosti trval přibližně tři a půl minuty.
Mnoho způsobů komprese obrazových dat existuje a jsou osobám znalým oboru dobře známé. Některé z těchto způsobů jsou buzt .ztrátové komprese·; tj. po dekódování a dekompresi tyto způsoby obnoví původní data bez jakékoli ztráty nebo vyloučení dat. Protože však jejich poměrné redukční poměry jsou malé, nemohou tyto bezeztrátové techniky splňovat všechny současné požadavky na technologie komprese obrazů. Existují jiné kompresní způsoby které jsou nereverzibilni a jsou známé jako ztrátové. Tyto nereverzibi1 ní způsoby mohou nabídnout, podstatnou kompresi, ale vedou ke ztrátám dat. V obrazových souborech se skutečně dosahuje vysokých kompresních poměrů vyloučením určitých aspektů obrazu, obyčejně takových, na které má lidské oko omezenou nebo nulovou citlivost. Po kódování se provede obrácený postup na • « ·· · • « > · • · · • · φ • ·· · ·
zmenšené skupině dat k dekompresi a obnovení rozumné věrné kopie původního obrazu. Techniky ztrátové komprese mohou být také kombinovány s bezeztrátovými způsoby pro proměnou směs datové komprese a věrnosti obrazu.
Kompaktnost komprimovaného bitového proudu se obyčejně měří velikostí proudu ve srovnání s velikostí odpovídajících nekomprimovaných obrazových dat. Kvantitativní měřítko kompaktnosti je kompresní poměr nebo alternativně bitový podíl. kde= kompresní poměr = (souhrn bytů původních prvotních obrazových dat)/(souhrn bytů požadovaných pro komprimovaný obraz) bitový podíl = (souhrn bytů požadovaných k dekompresi) /(počet, obrazových prvků původního obrazu).
□bočně čím je větší kompresní poměr (nebo menší bitový podíl), tím je větší kompaktnost komprimovaného bitového proudu. Kompaktnost je vždy primární záležitostí u všech technik komprese dat.
Jedním z nejpopulárnějších formátů pro komprimované obrazové soubory je formát GIF. GIF je zkratka pro grafický obrazový formát (Graphic Image Formát) a byl vyvinut Gorapuserve k poskytnutí prostředku k průchodu obrazu od jednoho volajícího účastníka k jinému účastníku i přes různé hardwarové počítačové platformy. Je to poměrně starý formát a byl vyvinut k ovládání palety 256 barev - 8 bitové oproti 24 bitové barvě. Když byl vyvinut, byl téměř stavem oboru pro většinu osobních počítačů.
--- · ’· · · ·· • ··· · · *·· ( · .
• ···» · « · .
• · · · ·»· ·*·♦ ♦·· ·· ··· «·
Grafický obrazový formát. (GIF) používá 8 bitovou barevnou vyhledávací tabulku (někdy se nazývá CLUT - Color Look ϋρ Table) k identifikaci barevných hodnot. Jestliže původní obraz. fotografie ve stupnici šedé, je 8 bitový, potom grafický obrazový formát (GIF) vytvoří komprimovaný bezeztróítový soubor obrazu. Obraz ve stupnici šedé má 256 úrovní šedé. Provozní komprese se provede pomocí mechanizmu úsekového kódování (RLE - Run Length Encoding) ke kompresi informace. zatímco soubor grafického obrazového formátu (GIF) se ušetří.
Jestliže by původní soubor* byl 24 bitový barevný gra f i oký obraz, potom by byl nejdříve? mapován do 8 bitové barevné vyhledávačí tabulky (CLUT) a potom komprimován použitím úsekového kódování (RLE). Ztráta by byla při zpětném mapování původních 24 bitových (16,7 milionů) barev na omezenou 8 bitovou (256 barev) barevnou vyhledávací tabulku (CLUT). Proudové kódování (RLE) by reprodukovalo nekomprimovaný obraz, který byl identický, na zpětně mapovaný 8 bitový obraz, který ale není stejný jako původní 24 bitový obraz- Proudové kódování (RLE) není účinnou cestou komprese obrazu když je mnoho změn v barevností po přímce obrazových prvků. Je velmi účinné, když rady obrazových prvků jsou stejné barvy nebo když se použije velmi omezeného počtu barev.
Jiný ve skutečnosti standardní formát nepohyblivých obrazů jo formát vyvinutý organizací JPEG. JPEG je zkratka pro organizaci Joint Photographic Experts Group (Spojená skupina fotografických expertů). Formřlt JPEG používá ztrátového kompresního způsobu k vytvoření konečného souboru. Soubory formátu JPEG mohou být komprimovány více než jejich příbuzné soubory grafického obrazového formátu (GIF) a mohou zachovat větší hloubku barev než 8 bitová tabulka použitá v grafickém obrazovém formátu (GIF). Většina softwaru komprese formátu
JPEG poskytuje uživateli • · · 4 4 · 4 ·44 • ··· 4 ··· · ·4 * · · 4 φ · 4 4 ·t * · · 4 4 · *« • 444 444 «« φφφ Φ» φφφ volbu mezi kvalitou obrazu a velikostí komprese. Při kompresních poměrech 10:l vypadá většina obrazů velmi podobně jako originál a zachovává se vynikající nové vydání plných barev. Při kompresi 100^1 obrazy směřují k tomu, že obsahují blokové obrazové uměle vzniklé struktury, které podstatně zhoršují kvalitu. Na rozdíl od grafického obrazového formátu (GIF), formát JPEG nepoužívá samotného úsekového kódování (RLE) ke kompresi obrazu. používá progresivní skupinu nástrojů k dosažení konečného souboru.
Formát JPEG nejdříve změní ohraz původního barevného do orm a1 i zo vanoh o barevného prostoru (ztrátový proces) založeného na zářivosti a barevnosti obrazu.
Záři vos t odpovídá jasu informace, zatímco barevnost odpovídá odstí nu i n Γ ormace. Zkoušen í ukázalo že i dské oko je na změny barev nebo odstínu.
Data jsi ni znovu uspořádána v b 1 oc í c h 8 x 8 obrazových prvků použi Lím d i skrétn í kosinové transformace (l)ET - Discrete
Cos ί ne T r a n s f orm) a
Loto také vytváří nějakou ztrátu obrazu.
převzorku jt obraz v těchto diskrétních plochách a potom použije standardnějšího úsekového kódování (RLE) (a také jiných kódovacích schémat) k vytvoření konečného souboru. Cím větší je poměr kódování.
tím větší jo ztráta obrazu a uměle vzniklé struktury 8x8 o hrázových piv k Π s i? s t a r i o u z ř e t e lnějšírai .
Jeden z požadavků vyvíjených technologií je takový, že má charakteristiku/vlastnost
Při způsobítel nost měří rozsah, přizpůsobítelnosti.
ve kterém je komprimovaný bitový proud schopný být částečně dekódován či použit na term i ná1ovém konci přenosu.
Při plnění této potřeby pos tupného zpracovávání sc při způsob i te1 nos t stala standardním požadavkem pro novou generaci technologie vyjádřené • · · · · ·· • ··· · φφφφ «* ♦ · · ♦ · · Φ Φ v • · · ·φφφ
Φ·· ··· ·· »11Φ· ·· *
φφφ digitálního kódování obrazů.
Přizpůsobí tel nosti v přesnosti obrazových prvků a prostorové rozlišování typicky jsou mimo jiné dva základní požadavky pro kompresi nepohyblivých obrazů.
Současný vývoj techniky komprese obrazů k dosažení přizpůsobítelnosti při zachování věrnosti obrazů připojil mu1ti roz1 išovac í rozk1ady za 1ožene matematické funkce poprvé širocí?
na vlnkách. Vlnky jsou uvažované v akademických aplikacích číž po druhé světové válce. Název vlnka je odvozen ze skutečnosti, že základní funkci? - nebo mateřská vlnka
- obecně integruje k nulo, tak se vlní“ kolem o?sy x. Jiné charakteristiky, jako skutečnost, že vlnky jsou ortonormální nebo symetrické, zajišťují rychlý a snadný výpočet přímé a zpět.iii? vínkové transformace, což je zvlášt užitečné při dekódováníJiná důležitá výhoda transformace založené na vlnkách tkví
Lom, že mnoho tříd signálů nebo obrazů muže být znázorněno
1ukam i cestou.
Např. obrazy nospojitostmi a obrazy s ostrými hroty obyčejně zaberou i:
dosažení stejné přesnosti podstatně méně funkcí založených na vlnkách než funkce za ložené na sinu nebo kosinu. To znamena, na vlnkách má možnost dosáhnout vět.š ích k um p r es n í c 11 pom ě r ů obrazů.
Obrazy, které jsou obnoveny koef i ci entů v 1nek vypadají pře stejnou přesnost lépe než obrazy získané
Fourierovou (sinusovou nebo kosinovou) transformací- Zdá se, že toto ukazuje, že vínkový program vytváří obrazy, které jsou ve větším souladu se
Vlnka transformuje obraz na hrubou verzi s malým roz1 i šování m oř i gi ná1u a na radu rozšíření, která k obrazu přidává j í jemnější a jemně jš í podrobnost. i .
Tato vlastnost.
multirozlišování se dobře hodí
• * · · «4
• · ·· a ··· 9
• · Φ ♦ 9
• · «
··· ·♦
pro aplikace zapojeni v síti, kde se požaduje přizpůsobítelnost a kultivované zhoršení.
Např- heterogenní sít může obsahovat části s velni velkou šířkou pásna a také 28,8 modemových spojení a všechno co je mezi tím. Bylo by pěkné poslat stejný videosignál do všech Částí sítě, vynechat jemnější podrobnosti a poslat obraz s malým rozlišováním do Částí sítě s malou Šířkou pásma.
Vlnky se také dobře hodí pro tuto aplikaci balením hrubého obrazu s malým rozlišováním do paketů nejvyšší priority, které by dosáhly celé sítě. Rozšíření patří do paketů nižší priority, které mohou být vynechány v Částech sítě s menší šířkou pásma.
Multirozlišovací vlastnost kódovaného obrazu také podporuje kultivované zhoršení v zašuměném komunikačním kanálu, takovém jako je rozhlasová sít nebo síť ve špatném stavu. Takety vysoké priority obsahující základní obraz s nízkým rozlišováním by byly znovu přeneseny. zatímco rozšíření by bylo odloženo, jestliže se objeví chyba.
Novým rozměrem v oboru komprese obrazů je dále kódování založené na obsahu a přístupnost.. Schopnost specifikovat a o v 1 á ii a t s p ui..· i. f i c k é vysvětlenými technikami, takovými jako je formát JPEG. Ani náhodná přístupnost založená na obsahu není požadovanou f unkčnost í jakýchkoli nových technik založených na vlnkách.
konečného uživatele.
které požadující tuto vlastnost zahrnu j í databázový dotaz.
konverzaci internetu se serverem k1 i enta, vytvoření a editaci obsahu obrazu.
dálkovou lékařskou diagnostiku a konverzační zábavu, aby se jmenovalo několik z nich.
Na obsahu založený dotaz na multimediální databáze požaduje podporu mechanizmem, který lokalizuje ty obrazové materiály, • φφφ • · » φ · φφ * · ··« φ «· • · · · · φ Φ ·φ • · · · · φφ φφ φφφ ·· φφφ ve kterých je přítomen zajímavý předmět. Na obsahu založený hypertextový odkaz na Internet nebo na místa místního disku vytvoří požadované předměty uvnitř serveru obrazů jako vstupní body pro Informační navigaci. Na obsahu založená editace umožňuje tvůrci obsahu ovládat vlastnosti obrazových materiálů předmětově orientovaným nebo oblastně orientovaným způsobem. Konverzace založená na obsahu dovoluje předplatiteli digitálního obsahu nebo vzdálenému výzkumníkovi výběrově řídit přenos obrazových informací založený na jejich oblastech zájmu. Zkrátka tato přístupnost založená na obsahu dovoluje, aby byly použity sémanticky smysluplné vizuální obrazy jako základ ke znázornění, vysvětlení, ovládání a vyhledání obrazových dat.
Podstata vynálezu
Cílem tohoto vynálezu je puskytnout na oblastech založené kódování při kompresi obrazů. V souladu s aspektem tohoto vynálezu je poskytnut na oblastech založený způsob ke kódování a dekódování digitálních nepohyblivých obrazů k vytvoření přizpůsobitelného, podle obsahu přístupného komprimovaného bitového proudu, obsahující kroky; rozklad a seřazení prvotních obrazových dat do hierarchie multi j’ozl išovac ích snbobrazů; určení oblastí zájmu; definici masky oblasti k identifikaci oblastí zájmu; kódování masek oblastí pro oblasti zájmu; určení masek oblastí pro následující úrovně rozlišování; a snímání a postupné třídění dat oblastí na základě velikosti koeficientů multiiozlišování.
V souladu s dalším aspektem tohoto vynálezu je poskytnuto zařízení ke kódování a dekódování založené na oblastech digitálních nepohyblivých obrazů, které vytváří přizpůsobitelný, podle obsahu přístupný komprimovaný bitový • 9 ··· • 9 ·· • « · 9 • · · * 9 · · 9 v 9 • · « · 9999
99····· · «·« «· »«· proud obsahující1 prostředek k rozkladu a seřazení prvotních obrazových dat do hierarchie multirozlišovacích subobrazfl; prostředek k určení oblastí zájmu; prostředek k definici masky oblasti k identifikaci oblastí zájmu; prostředek ke kódování masek oblastí pro oblasti zájmu; prostředek k určení masek oblastí pro následující úrovně rozlišování; a prostředek ke snímání a postupnému třídění dat oblastí na základě velikosti koeficlent.fi multirozlIšováníV souladu s ještě dalším aspektem tohoto vynálezu je poskytnut systém založený na oblastech ke kódování a dekódování digitálních nepohyblivých obrazů, který vytváří přizpůsobitelný, podle obsahu přístupný komprimovaný bitový proud a obsahuje kroky: rozklad a seřazení prvotních obrazových dat do hierarchie multirozlišovacích subobrazfi; určení oblastí zájmu; definici masky oblasti k identifikaci oblastí zájmu; kódování masek oblastí pro oblast.i zájmu určující masky oblastí pro nás 1 odπ iící úrovně rozlišovaní; a snímání a postupné třídění dat. oblast í na základě vel ikosti koef icientů riult.irozl išování Přehled obrázků na výkresech
Tento vynález bude lepe pochopen, když bude uvažován ve spojení s následujícími obrázky a popisem, ve kterých jsou použily podobné termíny, aby ukázaly podobné vlastnosti.
Na obr. 1 je podrobné mnohocestné znázornění blokového schématu tohoto komprí inovací ho systému a architektury.
Na obr. 2 je znázornění hierarchie mu1tirozlišovacího rozkladu obrazu
Lena. získané transformací založené na v 1ukách.
• ♦·· t
• · ·«·····
Na obr.
je schematické znázornění geometrického přístupu vynálezu ke kódování oblastí zájmu.
Na obr. 4 je grafické znázornění koncepce rozteče řádků jedna, jak je použita ke kódování oblastí zájmu.
Na obr.
jsou znázorněny tri typy schémat, formátování oblastí, jak jsou použity pru nepohyblivý obraz Lena
Na obr. 6 je znázorněno kódování ob 1 čistí důležitosti použitím d i skrétní kosi nové transformace CDCT), jak je použita pro nepohyblivý obraz Lena
Mři obr. 7 je vývojový diagram způsobu formátování hierarchie oblastí.
Na obr. 8 je vývojový diagram provozu algoritmu A51 a sestupného vzorkování masek oblastí pro následující úrovně rozlišování.
Na obr. 9 jsou různé způsnby snímání kódovaných dat oblastí.
Nu obr. 10 je vývojový diagram preferovaného způsobu snímánf dat oblastí použitím způsobu zmenšování oblastí.
Na obr. 11 je podrobný vývojový diagram pořadí. ve kterém
Jsou data balena v nultiplexoru na kompresní straně systému.
Na obr- 12 je blokové schéma vnitřní architektury miiltiplexoru kompresního systému.
Na obr. 13 je blokové schéma vnitrní architektury demultiplexorn na dekompresní straně systému.
v • ··· • · · φ *
Na obr- 14 je podrobné mnohocestné blokové schéma φφφ ·· φ φφφφ ·· • · · φ «· ♦ · φ ·· • φ φφφΦ·
ΦΦ ·· dekompresního systému a architektury.
Příklady provedeni vynálezu
Obr. 1 uvádí celkovou architekturu zpflsobu a zařízení ke kompresi obrazových dat. V preferovaném provedení vynálezu vstupují prvotní obrazová data do zařízení jako obraz bitové mapy, procházejí zařízením tohoto vynálezu a vystupují jako komprimovaný li i tový proud.
Prvním krokem při kompresním kódovacím procesu je transformace nebo rozklad prvotních dat do hierarchie mu 1lirozlíšovacího rozkladu nebo MDII Cum 1 tiresolutlon decomposition hierarchy). Preferované provedení tohoto vy i ia 1 ez ii pouzí vá k tohoto rozkladu diskrétní vlnko v é t r. i n s forma co.
uvědom í.
že jsou k dispozici že mohou být v tomto vynálezu stejně použity. Dále tento rozklad založený na rozlišování ihti 11 c í být nutně proveden k dosaženi podle obsahu přístupné komprese prvotních obi'azovýrh dat.. Tento vynález je založen na in >du 1 árn í architekturo schopné zpracovávat data v mnoha i ů z 11 ý <: li f orn čí te c li.
Po multirozlišovacím rozkladu je dalším krokem preferovaného provedení f orná to ván í oblastí a kódování dat- hierarchie mul tirozl Íšovacího rozkladu CMPII) . Čtenář si všimne, že tento krok se mříže použít riči prvotní obrazová data nebo na data, která byla transformována do hierarchie multirozlišování použitím rozličných technik. Tento krok systému se rozkládá na dvě složky, formátování nebo určení hierarchie oblastí a následující kódování těchto tvarů oblastí. Tato datči tvoří datové kanály mnoha oblastí, * *** * · ·« « · • ···* · · · » ;
• · · · · · * · ···· ··· ·· «·· ·· ··· které vstoupí do dalšího kroku v systému tohoto vynálezu.
Potom co data byla kódována na základě oblastních priorit, data musí být ještě jednou tříděna, aby se zachovala přizpůsobí telnost pro konečného uživatele. Postupné třídění oblastních·· dat je jedinečný a nový způsob systému, aby účinně a stlačitelně organizoval data k zachování věrnosti obrazu, jeho přizpůsobí tel nosti a přístupnosti založené na obsahu.
Potom co Je krok třídění systémem dokončen, provede se potom entropické kódovaní dal·. Entropické kódování je bezeztrátový zpflsob komprese dat, v oboru dobro známý. Je za loženo na způsobech statistické předpovědi a dále přispívá ke kompaktní povaze konečného proudu dat.
Nakunei.· je obsažen mul tiplexovací modul nebo modul MUX
Cnul t. i plexor) k ovládání toku různých typů dal· vyplývajících z předchozích kroků procesu . Mul t i pl exnr· tolnjl.1.1 vynálezu umožnil je uživateli nastavit bitový rozpočet dat procházejících k dekompresemi cestou postupného řízení přenosu.
Požadavek na tuto vlastnost muže být dán omezenými zdro j i, které jsou k dispozici k přenosu dat. nebo těmi zdro j i, které jsou k dispozici konečnému uživateli ke zpracování Γυ nul t ip 1 exováii í může být výsledný, komprimovaný bitový proud přenesen prostřednictvím různých medií k dekódovací části vynálezu.
Na obr. 2 je grafické znázornění prvního kroku kódování prvotních obrazových dat tohoto vynálezu. Jak bylo zmíněno dříve, jo k dispozici několik různých způsobů pro rozklad nebo transformaci prvotních obrazových dat, takže mohou být organizovány různé úrovně rozlisování. Čtenář cl vzpomene, že se tím má dosáhnout hierarchie požadované pro ♦
ΦΦΦ
ΦΦΦ • Φ Φ ·· ·Φ« přizpůsobí telnost a/nebo kultivovaně zhoršený přenos. Různé • * ΦΦ
Φ Φ
Φ «
• 99 druhy transformace běžně dostupné zahrnují vlnky, transformace KL. transformace vínkových balíčků, zvedací schémata, oknové Fourierovy transformace a diskrétní kosinové transformace. V preferovaném provedení tohoto vynálezu je použitá určitá vlnka založena na zvedacím schématu. Osoba znalá oboru sl však uvědomí, že architektura tohoto vynálezu podporuje jiné vlnky nebo snad jiné transformace navržené pro určité účely konečného uživatele.
Na obr. 2 vidíme typické výsledky transformace skupiny dat Ix.y založené na mu 11irozlišování použitím vlnky preferovaného provedení. Zkušební obraz Lena byl transformován do hierarchie dat založené na úrovních rozlišování, uvedené ve třech prostorových orientacích. To je hierarchie mul tirozl iŠovacího rozkladu nebo skupina dat MOJI- Tento vynález provádí standardní cestou buď tři nebo put. luzných úrovní rozkladu. Na obr. 2 dálo vidíme, že na každé úrovni rozkladli jsou znázorněny tři prostorové orientace pomocí HL, lili a Líh kdo 111. představuje snímání lmrní propustí v horizontální rovině se snímáním dolní propustí ve vertikální rovině, I1H představuje snímání horní propustí v obou rovinách a LIJ snímání dolní propustí v horizontální rovině a horní propustí ve vertikální rovině.
1.1. nebo snímání dolní propustí v obuli rovinách by bylo bezvýznamnou informací na jakékoli určité úrovni rozlišování, ale muže být vysvětleno následující úrovní rozlišování v hierarchii.
Když byla data tímto způsobem rozložena a organizována, dalším krokem v procesu je kódování dat k umožnění výše popsané přístupnosti pudle obsahu. Vynález k dosažení tohoto cíle nejdříve definuje oblast zájmu, za druhé formátuje masku, aby ji popsal a potom kóduje tuto Informaci tak, že • · ·*
• ·«« « · ··« • ♦ · · · · • · · · · ···· ··· ·· ··· se stane části komprimovaného datového proudu.
Důležitá koncepce vyvinutá k provedení tohoto kroku tohoto systému je představa geometrického postupného kódování- Při snaze dosáhnout kódování založeného na oblastech při zachování přizpůsobí tel nésti je nutné spojit řád V (velikost koeficientů rozlišování - data hierarchie multirozlišovacího rozkladu (MDII)) s daty mnoha oblastí (tj. se vztahem R) . To vede ke geometrickému přístupu ke kódování vyloženému na obr. 3. V dřívějším stavu oboru kombinatorický přístup (vlevo) používá vzorkovací hodnoty (nula v rovině transformačního koeficientu) k předpovědi možného výskytu skupiny nul na vyšší úrovni rozlišování. V t.om je základ toho, že si? při znázornění dosáhne kompaktnosti. Současně bude oceněno, že jakákoli chyba, která se objeví při přenosu při nízkých úrovních rozlišování bude mít. ve zvětšující se míře vážný vliv na každé úrovni předpovědi.
Při geum,'trickém přístupu (vpravo) přizpůsobenému tomuto vynálezu se dosáhne znázorňovaní kompaktnosti použitím geometrického tvaru k pokrytí velké skupiny vzorků (nul) a potom kódováním tohot-o tvaru. Při tomto přístupu jsou oblasti zájmu v hierarchii mul tirozl išovacTho rozkladu (MDH) znázorněny ve formě geometrických objekt.fl, jako oblasti nebo křivky a kompaktní kódy jsou potom formátovány k popisu těchto geometrických objektů. Kompaktní kódování geometrických objektů vede k použití křivky C s roztečí řádků jedna na obr. 4. Výhody získané použitím tohoto způsobu formátování a kódování obsahují jemný popis oblastí, kompaktní znázornění těchto oblastí a robustnost k typu přenosových chyb popsaných výše.
Tak při dané podmnožině koeficientů (Čij? v hierarchii nul Lirozlišovacího rozkladu (MDH) obsahuje rozložení φ φ φφ • φφφ • · · φ · φ • · φ · ♦ φ φ · * · ···· ··· φφ φφφ ·β φφφ absolutních hodnot koeficientů tři části (obr. 4), bez ohledu na pořadí jejich snímání- Krivkři C s roztečí řádků jedna se skládá z prvního nenulového bitu binárního znázornění všech koeficientů, když se hledá od nejvýznamnějšího bitu. Zóna zjemnění se skládá z binárních bitů všech koeficientů následujících rozteč řádků jedna. Zóna nul se skládá ze všech nul předcházejících rozteč řádků jedna ze všech koeficientu. Tak je-li počet všech koeficientů ιι*Ν bitů a plocha zóny zjemnění je |x| bitů a plocha zóny nul je |θ] bitů, potom |x|+|Π| = Cn-1)*N bitů, protože délka křivky C je N.
Λby se dosáhlo bezeztrátového kódování těchto dat musí být přesně zaznamenány informace pro křivku C a pro zónu zjemnění. Provoz kodéru vyjádřený kompaktností by potom byl určen jeho schopností kódovat nulovou zónu nebo rovnocenně kódovat křivku C. Aby se dosáhlo přizpůsobí telnost.1 vyjádřeno řádem V, očekává se. že křivka C se ve své výšce nezvětšuje. Toho se dosáhne procesem postupného částečného tř f děii í, k t.erý j o popsán n íže.
K návratu k počátku procesu, kterým se vytvoří data mnoha oblastí, preferované provedení tohoto vynálezu uvažuje tři způsoby určení oblasti zájmu. Na obr. 5 vidíme, že tento systém pod porn j e:
1. Oblasti definované uživatelem. V tomto schématu je oblast určena buď konverzačním procesem Ct.j. když uživatel specifikuje oblast zájmu vstupním zařízením podobným myši) nebo jiným aplikačním programem. Maska“ je potom formátována na základě Léto oblasti definované uživatelem. Tento způsob formátování oblastí je znázorněn na obr. 5 Ca).
Přihrádky. V schématu přihrádek Jsou přiděleny bloky • f ·· ·+····♦
• · « ♦ · ·· ·*· ·· standardního rozměřil obrazových prvků a tvoří oblastí. Např. ve formátu JPEG mohou být uvažovány bloky 8x8 jako oblasti specifikované prostřednictvím přihrádek- Přihrádky mohou být. také vhodným způsobem formátování oblastí, když se jedná o velmi velké obrazy, jako jsou obrazy generované při počítačem podporovaném návrhu a výrobě. Způsob přihrádek při formátování oblastí je znázorněn na obr- 5 (b).
3. Automatizované formátování oblastí. Tento automatizovaný proces je znázorněn na obr. 5 (c). Úkolem automatizovaného formátování hierarchie oblastí je segmentovat data hierarchie mul tirozl išovacího r ozkladu (MDII) nebo původních obrazových dat do hierarchie gcomcti-ických oblastí. V tomto vynálezu je vyvinuto transformační doménové segmentaci! í schéma. V preícrovanén provedení tohoto procesu jsou data hierarchie mul tirozlišovacího rozkladu CřWH) segmentována do prostorových nespojitých oblastí měřením jejich absolutní cl; hodnot noho měřením dfilcž i testi oblast.!, kile důležitost oblasti je skupinové měřítko celkové důležitosti všech kncfieicnt.fi v ob I as I.. i zájmu. V tomto vynálezu uvažujeme dva typy dfileži test.i oblasti: průměrnou důležitost a váženou důležitost. Průměrná důležitost. oblasti jo střední hodnota kocficient.fi důležitosti všech koeficicuit.fi v té oblast.i a vážená důležitost oblast.i jo vážený průměr koeficientů t.lfi lož i host, i všech hoví j r i ontfi ob] čist i.
Automatizované formátování oblastí tohoto vynálezu sr provede použitím jednoho ze dvou segmentačních algoritmů První z nich je plné logaritmické schéma, ve kterém prahoví.' hodnoty 2n~1, 2n ?,..., 2° se použijí sekvenčně k řazení dat hierarchie mul tirozlišovacího rozkladu (MDH), když je známo, Se maximální koeficient. hierarchie mul ti rozl i šovac ího rozkladu (MDH) je (|Cij|) < 2n.
w·- ’ · · · ··· φ **» * · ··· » ·· • · Φ Φ 9 · · · ·*
- φ · · 4 · ·Φ φφφφ ··· ·♦ ·♦· *····
Druhý segmentační algoritmus je založen na částečném logaritmickém schématu. V tomto schématu se jako prahových hodnot použije jen určitých mocnin 2, určených expertním uživatelem.
Po určení prahů dat hierarchie mul t-irozl išovacího rozkladu
CMDID jakýmkoli ze schémat je každé prostorové umístění v rovině hierarchie multirozlišovacího rozkladu CMDID označeno un i kát-n ím návěst ím,
je vztaženo k odpovída j ící prahové hodnotěTak pouzí je-li se ví· schématu n prahových hodnot., celá rovina hierarchii?
mul t.irozl išovacího rozkladu CMDID je označena zřetelnými návěs Lín i n+1.
Tato množina návěští tvoří masky oblastí.
Na obr. 5 Cc) vidíme výsledek automat i zavane segmentací· obrazu
Lena.
hierarchie nu]Li rozlišovacíhi >
rozkladu CMDID generované během kroku mn 1 i. i rozl išovacího rozkladu Lak spadají do Iři
V preferovaném vynálezu jsou to rozsahy
- 15, 16 - 31 a 32 - 64.
Připomenutím tuho, že struktura dat, hierarchii· mu 11irozlišovacího rozkladu CMDID obsahu je více úrovní rozlišování a více prostorových orientací, segmentace dat hierarchie mni t iroz 1 išovacíbo rozkladu CMDID by se podlípředstavy dalo dosáhnout použitím společné masky určené pro všechny úrovně rozlišování a pro všechny orientace: použitím různých masek pro různé urientace při zachování společné masky pro všechny úrovně rozlišování v každé orientaci; použitím různých masek pro různé úrovně rozlišování a zachování společné masky pro všechny orientace v jakékoli dané úrovni rozlišování; nebo použitím různých nasek pro rfiztiá rozlišování a orientace.
• ··· · * ·»· • ♦ · · · * o · · · · ···· ··· ·· ··* tohoto vynálezu byl různým i oř i entácem i dané úrovni vztažená
HL a L.H obvykle orientacích, na té se ze
V preferovaném provedení přístup, protože mezi podobnost. V jakékoli i nforroace < i nfontace oblastem s velkým kontrastem? a Lili. Protože množiny HII» vlastnosti při různých samotná úplný pop i s ukraJ ů určení okrajové 'události' událost vyskytne v jakékoli zkoušku společné důležitosti pouzí je? nás l edu j fc í oficrace.
H1 = inax ÍHH1. JIL1 , L.H1 } .
• ♦ · ♦ · ·«· vybrán první existuje vlastní rozlišování je okrajová k aktivním oblastem noho obsažena v množinách HH1. Π1.1 zachycuj í pásmové neposkytuje žádná z nich úrovni rozlišování. Vlastní musí vyskytnout když se tří orientaci. Proto se pru na hladí né 1 roz1 i šová ní
Je třeba říci, že důležitost oblasti je určena maximální hodnotou vyskytující se v jakékoli ze tří orientací v tun n ís tě.
Alter nativou k této operaci je 111 ~ axllll! , + lelltl, + cxLH1 , kdo a+b+c = 1 Jiné důvody k použiti společných masek pro různá rozlišování a orientacf zahrnují vlastní podobnost na různých úrovních rozlišování a výpočtovou účinnost ’ΰ»..·ιι jedné masky. To znamená, že výpočet společné masky jo obecně výpočtově lacinější než výpočet více nasek.
Úkolen k ó dová ní tv a ru o b1 a s t i jo nalezení přesného či kompaktního kódu pro masky oblastí formátování oblastí. Jak kompaktnost, vytvořené v kroku tak přesnost kódu
t.varu mají přímý dopad na účinnost.
celého kódovacího systému. V architektuře tohoto vy riá 1 ezu je podporováno více.· schémat kódovčíní tvarů, ale v preferovaném provedení se používá následujícího kanálu oblastí založeného na dlskréLní
- - vwv * · W • »·· * · ··* · · · t · · · · ··«· · • ··» »··· ···· ··· ·« «·· ·· ··· kosinové transformaci (DCT9.
V tomto schématu je maska oblasti kódována jejími charakteristikami Fourierovy transformace. Použitím filtrování dolní propustí ve frekvenční oblasti mflže být celkový tvar mnoha masek oblastí kódován s velkou přesnosti' a s malým počtem koeficientů diskrétní kosinové transformaci· CDCT). Obr. 6 znázorňuje grafický příklad masek oblastí kódovaných diskrétní kosinovou transformací (DCT9 použitý na obraz Lena. Použitím diskrétní kosinové transformace (DCT9 k popisu masky se může dosáhnout podstatné komprese.
V případě dat hierarchie multirozlišovacího rozkladu (MDH9 se použije jen jedna diskrétní kosinová transformace CDCT9 ku jcrierován í společné masky na nejvyšší úrovni rozlisování.
Jiné masky na nižší úrcivn i rez 1 i šován í se provedou sestupným vzorkováním.
Obr. 7 znázorňuje tok formátování oblastí přes kódován í oblastí založené na seznamech dat. Tento proces s názvem algoritmus Λ50 je způsob formování hierarchie oblastí od spoda nahoru a obsahují:· následující kroky;
(19 Vypočítej III = maxf LH1. HI.l , Hlín , tj.
pro k = 1 až Ν’ Hlík] = maxCLHlíkl JlLHkl .HHlíkl 9 ;
(29 Použij sehématu formátování oblastí na společnou masku
H1 důležitosti k získání masky Ml rozdělení.
(39 Použij filtru dolní propusti na diskrétní kosinovou transformací (DCT9 transformovanou masku Ml. aby se dusta 1 a maska Mi
• ♦♦♦ * « · · • · ··· (4) Použij sestupného vzorku Mi’ k získání masek M2, M3,..., Ml na nižších úrovních rozlišování (viz algoritmus A51 níže).
(5) Použij masek <Mi',M2,...,Ml> na odpovídající vrstvy koeficientů k segmentování hierarchie multirozlíšovacfho rozkladu (MDI1) do oblastí.
Po výše uvedeném kroku (3) je algoritmem A51 proveden proces, kterým je maska (Mi) na nejvyšší úrovni rozlišování přeměněna k použití na nižších úrovních rozlišování, jak jito znázorněno na obr. 8.
Algoritmus Λ51: Sestupné vzorkování masek
Uvažujeme 0i> Π2 > Oa. Uvažujme, že oblasti v Ml nají návěští v hodnotách 0.
Pro (I - 2,3.....b)
Pru (všechna x a y z Mi)
Mi(x.y) = maxCMi-1(2x,2y),Mi-1(2x,2y+l ) .
Mi-1C2x+1,2y),Mi-1(2x+2.2y+2))
I když existují jiné způsoby, kterými se získají masky pro nižší úrovně rozlišování. sestupný vzorkovací algoritmu;·; (A51) uvedený výše přesně zachovává tvar oblastí na různých úrovních rozlišování. Dále je výše uvedený algoritmus poče tne úč i nný.
Znovu podle obr. 1 data nyní prošla jak mu 1 tiroz1íšovacín rozkladem, t.ak formátováním oblastí, tak kódováním. V tomto kroku byla data reorganizována na základě jejich grafického obsahu, ale i když proces segmentace oblastí zachovává tvar oblastí na různých úrovních rozlišování pro všechny w w V · · * · * · ·*· · · ··· · · · • ·«·* ···* * . ··· · · · · «:..... ....... ··· orientace, nezachovává rozsah hodnot. koeficientů v odpovídajících oblastech na různých úrovních a orientacích. Jinými slovy vztah R je podstatný na různých úrovních rozlišování a pro všechny orientace, ale řád (7 nebyl obecně přesně zachován. Úkolem postupného třídění jo znovu vytvořit řád V pro všechny kanály oblastí.
Prvním krokem při postupném třídění dat je sejmutí oblastí generovaných formátováním oblastí a kódováním. Když jsou tato data koeí iciontů sejmuta, je vytvořen odpovídající seznam hierarchie mul t irozl išovacího rozkladu CMDIJ) tak, jak se 11a ně narazí při snímacím procesu. Osobě znalé oboru bude zřejmé, že v závislostí na povaze dat, která mají být snímána n přeměněna do lineárního seznamu, se mohou získat účinnosti určením optimálního způsobu snímání dat oblast. í.
Obecně řečeno uvažují so dva typy poradí snímání; lineární snímání a snímání založené na principu zmenšování oblastíPreferované provedení tohoto vynálezu používá sof tvarového přepínání k určení toho, kterou ze dvou snímacích strategií převzít.- Toto přepínání charakterizuje povahu dat. a potom reál izu jt? vhodnou stratég i i .
První způsob sn fnátií dat, generovaných při formování oblastí a kódování jo jednuduchá lineární analýza a výpis každého koeficientu. V této strategii jsou koeficienty snímány počínaje· z nej levějšího místa horního řádku dat oblastí a pokračuje se řádek za řádkem dolů do nejpravějšího místa dolního řádku. Tat.o strategie použitá pro určitou oblast je znázorněna na obr. 9(a). Zatímco lineární snímací strategie se realizuje snadno, větší problém tohoto způsobu je v tom, že· může rozbít sestupné nebo vzestupné pořadí podstatné pro data a tak ohrožuje kompaktnost konečného výsledného bitového proudu. Toto je pravda v případě krajin s horskými hřebeny nebo podobně konturovanými tvary. Avšak pro oblasti s jemnými vzorky a mírnými změnami hodnot může být lineární snímání relativně účinně.
Druhý způsob snímání koeficientů založených na ob]čistech jo způsob založený na principu zmenšování oblastí. Způsob jo znázorněn na obr. 9Cb) a je matematicky vysvětlen v algoritmu A62 níže.
Algoritmus fl62.
Input; label L, nask Lm][n], inDufíinJIn] ;
Outpnt: out.Ehif [NJ .
Krok 1. K = 0; JO = min <J:mask [I]LT] = L) ; JI = max <j:mask [T][J] = ID;
Krok 2. While (JO JI3 do
í
Krok 2.1.
For (J=JO;J<=J1; J++X
WhIle (CFind 10 = left [T-.nask IJHI1 - Ln=true) do í
Find TI = right (Umask [J][I]=ID>;
Append inEJuf [JÍL 10] to outBuf [K++] ;
Mask [J][I0]=NIL;
IfCIlOIO) <
Append inBuf[J][Il] to outBut ΓΚ++];
Mask [J][I1]=NTL;
)
Krok 2.2.
(Update JO and JI.)
B
B • · · * ··* * · ·
B · • ···
* v w v *
···
♦ ·
B 9 ··· 9 ♦ «
JO = min {J: mask [Ji[II = L) ;
JI = nax (J: íiask [JHI] = L) ;
Obr. 10 dále znázorňuje proces zmenšování oblastí. V mnoha případech, takových jako je krajina s horskými hřebeny, může způsob snímání při zmenšování oblastí efektivně a účinně zachovat řád velikosti v datech.
Pri použití jakéhokoli snímacího pořadí použitého k vytvoření lineárního seznamu L pro oblast R je nutné třídění, aby se vytvořil rád V. V tomto vynálezu se provede až k úrovni křivky s roztečí řádků jedna.
Proto když je dán seznam L ~ fCl.C2,Cm}, tj. generovaný seznam koeficientů rozkladů, realizuji'.· se následující a 1gori tmus pos topného kódován í :
Algoritmus fl62C . Pas topné t.ř í děn f
Krok 1 . Pro každou položku Ci v I. dej na výstup n-tý
nsb(Ci ) *.
Krok 2. Pro tyto položky s msb=l dej na výstup hodnoty
nás 1eduj ícího msb a odstraň je z I.
Krok 3. Budiž n = n-1 a jdi na krok 1.
Tento algoritmus třídí částečně nikoli plně seznán L až do mocnin 2
Ji? t.o pos topný proces do té míry, že seznam výstupních dut může být zanedbán v libovolném daném bodě, ale dekodér př i j ímá nojcennčjší informace. Konečně nerozšiřuje seznán Is pro úplné bezeztrátovú třídění L je celková délka tříděného výstupu stejná jako I..
Algoritmus A620 naráží na neúčinnosti když onoho položek má významně malé hodnoty. Pří této události se spotřebuje
9*9
9 999 9 9 • 9 9 9 9· • · 9 9·
99999 pozoruhodné množství bitového rozpočtu na záznam nul predcházejících zaváděcí j každého binárního znázornění položky. Následující algoritmus zlepšuje· toto provedení určením a použitím prahové hodnoty b k oddělení těchto koeficientů malé hodnoty od koeficientů s větší hodnotou.
Algoritmus Λ621. Dvojité dělicí postupné třídění
Krok 1. Pro předem určené 0 <= b <= n, zkontroluj pro každé
Ci V L zda |Ci| < 2b , výstup je do LI pro takové položky s většími než prahovými hodnotami a do 1.2 pro takové položky s menšími hodnotani:
Krok 2. Pro takové položky v LI použij algoritmu A620 počínaje s n;
Krok 3. Pro takové položky v 1,2 použij algoritmu A620 počínaje s b.
Existují dva základní požadavky na postupné třídění.
(1) Když výstupní bitový proud třídícího procesu j.· dekódován, mel by vytvořit data v sestupném řádu V.
<2) Když bitový proud je zanedbán v libovolném bodě tak, ž>· sr.· rekonstruuje jen část dat, mělo by být. množství informací v rekonstruovaných datech maz i na 1 izováno.
Entropické kódování
Znovu podle obr. 1 je možné vidět, že dalším krokee v systému je entropické kódování dat. Entropické kódování ji · bezeztrátový způsob komprese dat dobře známý v oboru- Je založené na vlastní povaze binárního kódu a opakování podobných řetězců dat. Je založeno na způsobu předpovědi V tomto vynálezu byly použity dva různé způsoby entropického kódování v důsledku statistické povahy dvou typů dat vyplývajících z postupného tříděni tohoto vynálezu. Data * ··· · · ··· · · í • ···« ♦ · · · · • »·· ···· ······· ·* ··· ·* ··· typu B jsou triková, která tvoří křivku s roztečí řádků jedna, kdežto data typu A jsou pro všechna data v zóně zjemnění pod křivkou s roztečí řádků jedna, jak je to možně vidět na obrázku.
Mul tiplexování
Funkce vhodné k multiplexování v systému kodéru £i k demnltiplexování v systému dekodéru poskytují kodéru a dekodéru konverzační prostředky k pružnému řízení bitového podílu a kvality komprimovaných obrazů.
Konverzační vlastnost se v řízení bitového rozpočtu odráží skutečností, že jak kodér tak dekodér mají řízení k určení bitového rozpočtu a procesu přidělení. Základní bitový rozpočet CBBB - baso bit.-budget) je specifikován a použít mul tipl ι.'χοιόπ k určení celkového počtu bitů komprimovaného li i t.ovélm proudu. V procesu denní Li plexování může být dekódovací bitový rozpočet. (DBB - decoding blt-budget) použit k dalšímu výběrově zredukovanému bitovému proudu před dekódováním.
Funkce niiltiplexnru jsou znázorněny na obr. 12 a obsahují
Cl) daný základní bitový rozpočet CBBD) ke kódování celého obrazu, určující bitový rozpočet pro každou úroveň rozlišování a kanál oblasti.
(2) proložení dat z různých kanálů do jediného bitového proudu. Γ’ο zanedbání jsou tříděná, zanedbaná data z různých oblastí, orientací a úrovní rozlišení sbalena dohromady k vytvoření konečného bitového proudu. Standardní pořadí ki? sbalení dat znázorněné na obr. 11 jc:
2G
a.
Data v různých úrovních rozlišování jsou
·«· • · ··· • ·
• * ···♦ • • • ·· • ♦ * • ♦ ·· * · • ··· • · • · ·· Φ ···
sbalena od nejmenŠ ího rozlisován í k největšímu rozlišování, tj. v pořadí úroveň
-> úroveň 4 -> úroveň 3 -> úroveň 2 ->
úroveň 1.
b. Uvnitř každé úrovně rozlišování není specifikováno žádné preferované pořadí ke třem prostorovým orientacím. Standardně jsou -> HU.
dané úrovni snímány od k nejnižšímn návěst í.
data smmana v poradí 1IL -> 1.11 c. Uvnitř určité orientace v rozlišování jsou oblasti neívyššího návěští oblasti
Po vytvoření bitového proudu uvažuje preferované provedení tohoto vynálezu dekódovací proces, který je schopný znovu vytvořit obraz. V závislosti na bitovém rozpočtu a krocích udělaných během vytvoření komprimovaného bitového proudu může být.
původu í
Ob IΌ Z obnoven v úplné věrnosti k prvotním obrazovým datům nebo informace.
K doplnění multiplcxoru na kódovací střílně tohoto vynálezu je na dekódovací straně tohoto vynálezu domu 11iplexovací součást a je znázorněna na obr. 13
Př i danou v 1 astnos t í pref erovaného provedení tohoto vynálezu je schopnost uživatele určit na dekódovací straně systém!
jeho vlastní bitový rozpočet a třeba zanedbat data u libovolně určené hodnoty. Tento dekódovací bitový rozpočet. se určí před krokem tlenu 1 Li plexování a jo znázorněn na obr. 10.
Obr. 14 znázorňuje zbytek dekódovací strany tohoto systému.
Dekódovací proces z největší části jednoduše sleduje kroky obrácené ke krokům, které se vyskytly na kódovací straně systému.
Funkce dému 1 tiplexoru Cobr. 14) jsoucí) rozbalení komprimovaného bitového proudu do oddělených datových seznamů a
C2) použití dekódovacího bitového rozpočtu CDDF!) k zanedbání seznamů dat. Aby se poskytly aplikace s plným spektrem přizpůsobí telnosti vyjádřené' prostorovou oblastí, prostorovým rozlišováním, přesností obrazových prvků a prostorovou orientací. je navržena skupina řídicích schémat bi l evého rozpoč tu Při realizaci tohoto vynálezu mohou být udělány různi' alternativy, modifikace a přizpůsobení bez odchýlení se ml rozsahu tohoto vynálezu, který je definován v nárocích.

Claims (26)

  1. PATENTOVÉ NÁROKY
    1. Způsob založený na oblastech ke kódování a dekódování digitálních nepohyblivých obrazů k vytvoření přizpůsobitelného, podle obsahu přístupného komprimovaného bitového proudu, obsahující kroky;
    rozklad a seřazení prvotních obrazových dat do hierarchie multirozlIšovacích subobrazň;
    určení oblastí zájmu;
    definování masky oblasti k identifikaci oblastí zájmu;
    kódování nasek oblastí pro ob 1 čisti zájmu;
    u r č e n í m a sek oblá s t í p r o n á s 1 ed lijící i'i rov ně rozli šování;
    cl snímání a postupné třídění dat oblastí na základe velikosti kec Γ i cient Π π u11i rozlisování.
  2. 2. Způsob definovaný v nároku 1 vyznačující se tím. ž· hierarchie' multirozlíšovacích subohrazů jo složena na základě vínkové transformace.
  3. 3. Způsob definovaný v nároku 1 vyznačující se tím, že hierarchie· multirozl išovacích subobrazů je složena na základě Fourierovy transformace.
  4. 4. Způsob definovaný v nároku 1 vyznačující se tím, že hierarchie nu 11irozlišovacích subobrazů je složena použitím prvotních obrazových dat.
  5. 5. Způsob definovaný v nároku 1 vyznačující se tím. že « « w w w »·* oblasti zájmu jsou určeny automatizovaným procesem.
  6. 6. Způsob definovaný v nároku 1 vyznačující se tím, že oblasti zájmu jsou určeny definicí uživatele.
  7. 7. Způsob definovaný v nároku 1 vyznačující se tím, že masky oblastí jsou kódovány na základě Fourierovy transformace.
  8. 8. Způsob definovaný v nároku 1 vyznačující se tím, že masky oblastí jsou kódovány na základě vínkově transformace.
  9. 9. Způsob definovaný v nároku 1 vyznačující se tím, že dat.a založená na oblastech se snímají lineárním způsobí·;', k vytvoření seznamu koeficientů multirozlišování.
  10. 10. Způsob definovaný v nároku 1 vyznačující se tím, že daL.i založená na oblastech se snímají použitím protokolu zmenšování oblastí k vytvoření seznamu koeficient. n u1Li roz1 i šován í.
  11. 11. Způsob definovaný v nároku 1 vyznačující se tím, že seznam koeficientů multirozlIšování je tříděn pomocí postupného částečného třídicího režimu.
  12. 12. Způsob definovaný v nároku 1 vyznačující sc tím. že seznam koeficientů multirozlišování jo tříděn použitím postupného třídicího režimu použitím dat rozdělených n;i základě předem určeného dělení.
  13. 13. Způsob definovaný v nároku 1 vyznačující sc tím, že dálo obsahuje krok softwarového přepínání určujícího optimální způsob en trop i ckélio kódován f.
  14. 14. Způsob definovaný v nároku 1 vyznačující se tím, že dále • ΦΦΦ φ φ ΦΦΦ ♦ · · • φ φ φ φ φφφφ φ • φ · φ ·φφφ ·»*·>·Φ φφ Φ·· ·· ··· obsahuje krok multiplcxovacího protokolu, který shromažďuje komprimovaná data z, různých oblastí a kanálů rozlišování do integrovaného bitového proudu umožňujícího jak kodéru tak dekodéru aby výběrově a konverzačně řídl 1 bitový rozpočet, a kvalitu komprimovaných obrazů.
  15. 15- Zařízení ke kódování a dekódování založenému na oblastech digitálních ncpohyblivých obrazů, které vytváří přizpůsobitelný, podle obsahu přístupný komprimovaný bitový proud, obsahu jící:
    prostředek k rozkladu a seřazení prvotních obrazových dat do h ierarch í e nu 111 rozl išovac ír.h subobrazů ;
    prostředek k určení oblastí zájmu;
    prostředek k definování masky oblasti k identifikaci oblastí zá jmi;
    prostředek ke kódování masek oblastí pro oblasti zájmu;
    prostředek k určení masek oblastí pro následující úrovn rozlišování; íi prostředek ke snímání a postupnému třídění dat oblastí na základě velikosti koeficientů riultlrozl išování.
  16. 16. Zařízení definované v nároku 15 vyznačující se tím, žo hierarchie mul tirozlišovacích subobrazň je složena použité.: v 1nkové transΓornace.
  17. 17. Zařízení definované v nároku 15 vyznačující se tím, že hierarchie mul ti rozl išovac ích siibobrazů je složena použitím Fuuri erovy transformace.
  18. 18. Zařízeni definované v nároku 15 vyznačující se tím, že
    • · · • ··· • · · • • • • ··· • • • 9 ♦ * 9 • • · ·κ· • 99 • ··♦ • 99 • »99
    hierarchie multirozlíšovacích subobrazů je složena použitím prvotních obrazových dat.
  19. 19. Zařízení definované v nároku 15 vyznačil jící se tím. že oblasti zájmu jsou určeny automatizovaným procesem.
  20. 20. Zařízení definované v nároku 15 vyznačující se tfm. že oblasti zájmu jsou určeny uživatelen.
    21. Zařízení definované v nároku 15 vyznačující použitím se tím. že Fouriérovy masky ob 1 čistí jsou transf ormace. kódovány 22. Zařízen í definované v nároku 15 vyznačil j ící se tím. Zi?
    masky oblastí jsou kódovány použitím vínkové transformace.
  21. 23. Zařízení definované v nároku 15 vyznačující se tím, že data založená na oblastech se snímá jí lineárním způsobem k vytvoření seznamu kocf i c i eut.ií mul Li rozl išování .
  22. 24. Zařízení definované v nároku 15 vyznačující se tím, že data založená na oblastech se snímají použitím protokolu zmenšování oblasti k vytvoření seznamu koeficientů mu 11i rozli šování.
  23. 25. Zařízení definované v nároku 15 vyznačující se tím. že seznam koeficientů mul tirozlišování je tříděn použitím postupného částočného tříd i cího režimu.
    2G. Zařízení definované v nároku 15 vyznačující se tím. že seznam koeficientů multirozlišování je tříděn použitím postupného třídicího režimu použitím dat rozdělených na
    4 444 · · 444 · ♦ ·
    4 · · ♦ 4 4444 4
    4 444 #444 • 944 444 ·· 444 44 ·44 základě předem určeného dělení.
  24. 27. Zařízení definované v nároku 15 vyznačující se tím, že používá softwarový přepínač k určování optimálního prostředku entropického kódování.
  25. 28. Zařízení definované v nároku 15 vyznačující se tím, že dále obsahuje mul tiplexovací prostředek, který shromažďuje komprimovaná data z různých oblastí a kanálů rozlišování do integrovaného bitového proudu umožňujícího jak kodéru, tak dekodéru, aby výběrově a konverzačně řídil bitový rozpočet a kvalitu komprinovaných obrazů.
  26. 29. Systém založený na oblastech ke kódování a dekódování digitálních nepohyblivých obrazů. který vytváří přizpůsobitelný, podle obsahu přístupný komprimovaný bitový pmud a obsahuje krokyrozklad a seřazení prvotních obrazových dat. do hierarchie nultíroz1 i Šovac í ch subobrazů;
    ni čuní ob 1 astí zá jmu: definování masky oblasti k identifikaci oblastí zájmu;
    kódování nasek oblastí pro oblasti zájmu;
    určení masek oblastí pro nás ledu jící úrovně rozlišování;
    snímání a postupné třídění dat oblastí na základě velikosti koef i c i entň nu 11 i roz1 i šování-
CZ2001173A 1998-07-15 1999-07-15 Kódování přizpůsobitelných obrazů založených na oblastech CZ2001173A3 (cs)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US9312498P 1998-07-15 1998-07-15

Publications (1)

Publication Number Publication Date
CZ2001173A3 true CZ2001173A3 (cs) 2001-08-15

Family

ID=22237324

Family Applications (1)

Application Number Title Priority Date Filing Date
CZ2001173A CZ2001173A3 (cs) 1998-07-15 1999-07-15 Kódování přizpůsobitelných obrazů založených na oblastech

Country Status (10)

Country Link
EP (1) EP1095519B1 (cs)
JP (1) JP4215269B2 (cs)
CN (1) CN100341331C (cs)
AT (1) ATE364966T1 (cs)
AU (1) AU769818B2 (cs)
CA (1) CA2337430C (cs)
CZ (1) CZ2001173A3 (cs)
DE (1) DE69936304T2 (cs)
RU (1) RU2001104340A (cs)
WO (1) WO2000004721A1 (cs)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804403B1 (en) 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
WO2000010131A1 (en) 1998-08-10 2000-02-24 Digital Accelerator Corporation Embedded quadtree wavelets in image compression
CA2261833A1 (en) * 1999-02-15 2000-08-15 Xue Dong Yang Method and system of region-based image coding with dynamic streaming of code blocks
US6580759B1 (en) * 2000-11-16 2003-06-17 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video system
FR2822331B1 (fr) * 2001-03-19 2003-07-04 Canon Kk Codage et decodage de signal numerique, avec segmentation hierarchique
US6882755B2 (en) * 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3941668B2 (ja) * 2002-11-11 2007-07-04 松下電器産業株式会社 細胞の観察方法
KR102385188B1 (ko) 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
US11678085B2 (en) * 2020-11-16 2023-06-13 Sony Semiconductor Solutions Corporation Data compression method, data compression device, solid-state imaging device, data decompression device and electronic system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940011607B1 (ko) * 1990-07-10 1994-12-22 후지쓰 가부시끼가이샤 화상데이타 부호화 장치 및 방법
US5748903A (en) * 1995-07-21 1998-05-05 Intel Corporation Encoding images using decode rate control
AUPO329396A0 (en) * 1996-10-28 1996-11-21 Commonwealth Scientific And Industrial Research Organisation Image transmission

Also Published As

Publication number Publication date
WO2000004721A1 (en) 2000-01-27
CA2337430A1 (en) 2000-01-27
CN1316161A (zh) 2001-10-03
ATE364966T1 (de) 2007-07-15
DE69936304D1 (de) 2007-07-26
AU769818B2 (en) 2004-02-05
EP1095519A1 (en) 2001-05-02
DE69936304T2 (de) 2008-02-14
EP1095519B1 (en) 2007-06-13
JP4215269B2 (ja) 2009-01-28
JP2002521880A (ja) 2002-07-16
CA2337430C (en) 2005-05-24
AU4597699A (en) 2000-02-07
RU2001104340A (ru) 2003-01-27
CN100341331C (zh) 2007-10-03

Similar Documents

Publication Publication Date Title
CN102523367B (zh) 基于多调色板的实时图像压缩和还原方法
US5661822A (en) Data compression and decompression
US6804403B1 (en) Region-based scalable image coding
CN103458242B (zh) 基于颜色分类与聚类的图像压缩方法
Nageswara et al. Image compression using discrete cosine transform
WO2005027506A1 (en) Methods of compressing still pictures for mobile devices
US11412217B2 (en) Compression of a collection of images using pattern separation and re-organization
JP2003521178A (ja) 品質ベースのイメージ圧縮
US6779040B1 (en) Method and system for serving data files compressed in accordance with tunable parameters
CN102308582B (zh) 用于对图像进行分割编码的方法
Chawla et al. Image compression techniques: a review
CZ2001173A3 (cs) Kódování přizpůsobitelných obrazů založených na oblastech
US6898311B2 (en) Digital image transmission with compression and decompression
EP1324618A2 (en) Encoding method and arrangement
US20120170663A1 (en) Video processing
US7016548B2 (en) Mobile image transmission and reception for compressing and decompressing without transmitting coding and quantization tables and compatibility with JPEG
US5838831A (en) Compression of image data with retaining cost data for each compressed image block
Banerjee et al. An efficient dynamic image compression algorithm based on block optimization, byte compression and run-length encoding along Y-axis
CN1396769A (zh) 运动图像信息的压缩方法及其系统
Gormish Compression of palettized images by color
Keerthi et al. Investigations On Image Compression Methodologies Using Hybrid Algorithms
Ageenko et al. Storage system for document imaging applications
Mu et al. Embedded image coding using zerotrees of wavelet coefficients for visible human dataset
Thippanna et al. a re-examine of gen on an assortment of images, compression techniques and its algorithms.
Liu et al. Digital Image and Video Compression Techniques