CZ20002998A3 - Dekodér pro digitální audiovizuální vysílací systém a způsob zpracování digitálního obrazu - Google Patents

Abstract

Dekodér (13) pro digitální audiovizuální vysílací systém zahrnuje obecný procesor (20) pro dekomprimování komprimovaných dat digitálního obrazu a grafický procesor (36) pro přípravu dekomprimovaných dat pro zobrazení. Obecný procesor (20) je upraven pro dekomprimování a uložení obrazového souboru v jeho v podstatě původním formátu a následně pro konverzi obrazového souboru na alespoň druhý formát pro uložení a zobrazení, přičemž verze prvního a druhého formátu obrazového souboru jsou uloženy v paměti dekodéru současné.

Description

Dekodér pro digitální audiovizuální vysílací systém a způsob zpracování digitálního obrazu

Oblast techniky

Předkládaný vynález se týká dekodéru pro digitální audiovizuální vysílací systém, přičemž tento dekodér zahrnuje zpracovatelský prostředek pro dekomprimování a zobrazování komprimovaných dat digitálního obrazu a paměťový prostředek.

Dosavadní stav techniky

Přenosové vysílání digitálních dat je velmi dobře známé v oblasti placených TV systémů, ve kterých je šifrovaná nebo kódovaná audiovizuální informace vysílána, obvykle prostřednictvím satelitního nebo satelitního/kabelového spojení, k množství účastníků, z nichž každý má v držení dekodér schopný dekódování vysílaného programu pro následné sledování. Rovněž jsou známé pozemní digitální přenosové systémy. Systémy z poslední doby rovněž používají přenosové spoje pro vysílání dalších dat, navíc k nebo stejně jako audiovizuální data, jako jsou počítačové programy nebo interaktivní aplikace.

Při nej základnější úrovni fungování takovýchto systémů jsou digitální audio a video data, týkající se televizního programu, vysílána v komprimovaném formátu, například podle kompresního standardu MPEG-2. Dekodér přijímá a dekomprimuje tato data, aby generovat televizní program.

Kromě jednoduchých dat televizního programu se stále více stává běžným, že po dekodéru je vyžadováno, aby zpracovával další komprimovaná obrazová nebo grafická data. Například v případě, že dekodér obsahuje funkce webového • · • v

V · ·· ·· « * ««· ·* • » ♦ » • · · · ·* ·· prohlížeče, může být po procesoru v dekodéru vyžadováno, aby přijímal a dekomprimoval stahovaná data digitálního obrazu, například nehybné video obrazy, grafické ikony, pohybující se počítačově vytvářené obrazy a podobně. Tyto obrazové informace mohou být zobrazovány přes normální obrazy televizního programu.

Taková data nehybných nebo pohybujících se obrazů mohou být obvykle přijímána v jednom z libovolného počtu komprimovaných formátů, které jsou v současnosti používány ve spojení s webovskými prohlížeči na bázi PC. Například může být obraz formátován a komprimován podle obecně známých standardů GIF nebo PNG, kde obraz je popsán barevnou vyhledávací tabulkou, definující tabulku barev, a matici hodnot obrazových prvků (pixelů) odkazujících na tuto 15 tabulku, přičemž maticová data jsou komprimována podle známe kompresní procedury pro vytvoření GIF/PNG obrazu.

Alternativně může být obraz formátován a komprimován jako nehybný MPEG nebo JPEG obraz, ve kterém je každý obrazový prvek (pixel) přímo sdružen s hodnotou červené/zelené/modré barvy.

Grafický procesor, používaný dekodérem pro vytvoření obrazů pro zobrazení, je obvykle upraven pro zpracování takových obrazů, jakmile již byly dekomprimovány a konvertovány obecným procesorem na obrazové soubory v jednom nebo ve více předem stanovených formátů zobrazování pixelů.

Například může být grafický procesor upraven pro zobrazování obrazových souborů podřízených ve formátech CLUT4 nebo CLUT8, ve kterých je princip vyhledávací tabulky spojen s nebo je přímo v RGB formátu, ve kterém má každý pixel (obrazový 30 prvek) RGB hodnotu.

• 0

0 ·

0 *

0 0

0·

0* 00 00

Formáty zobrazování pixelů obrazových souborů reflektují sestavení pixelů v původním obrazu s liší se od, přestože jsou s nimi úzce spojeny, kompresních formátů uváděných výše. GIF/PGN obrazy dekomprimuje pro vytvoření zobrazovacího obrazového souboru s vyhledávací tabulkou a JPEG/MPEG obrazové soubory dekomprimuje na zobrazovací soubory bez takovéto tabulky.

V PC prostředí výkon procesoru a dostupný paměťový prostor znamená, že může být současně přijímáno, dekomprimováno a zobrazováno množství obrazových souborů komprimovaných podle různých formátů, přičemž grafický procesor uvnitř PC je upraven pro snadné zpracování mnoha formátů. Naproti v prostředí dekodéru jsou dostupná paměť a výkon procesoru podstatně omezenější, přičemž grafický procesor rovněž musí zpracovat alespoň MPEG data sdružená s televizním vysíláním. V takovém případě nemusí být možné konvertovat a zobrazovat obrazové soubory v množství formátů.

Například v případě původního obrazu formátovaného v RGB formátu a komprimovaného podle algoritmu JPEG může hlavní procesor dekodéru jednoduše dekomprimovat a ukládat tento obrazový soubor (a samozřejmě všechny následně přijaté obrazové soubory} v pevném CLUT formátu. Tímto způsobem grafický procesor bude muset pouze zpracovávat jeden typ obrazového souboru. Zatímco tento postup umožňuje dekodéru efektivně zpracovávat množství formátovaných dat, může zde docházet ke zbytečné ztrátě kvality obrazu. Například pokud žádný další obrazový soubor není zpracováván grafickým procesorem, nemusí být nutné zavádět pevný formát konvertovaného obrazového souboru.

• *

9 »9 99 ·

• 9* 99 ·· «9

Cílem předkládaného vynálezu je překonat tyto nevýhody dosavadního stavu techniky.

Podstata vynálezu

Podle předkládaného vynálezu je vytvořen dekodér pro digitální audiovizuální vysílací systém, přičemž tento dekodér zahrnuje procesor pro dekomprimování a zobrazování komprimovaných dat digitálního obrazu a paměť, a přičemž podstata vynálezu spočívá v tom, že procesor je upraven pro dekomprimování a uložení obrazového souboru v jeho v podstatě původním formátu a následně pro konverzi obrazového souboru na alespoň druhý formát pro uložení a zobrazení, přičemž verze prvního a druhého formátu obrazového souboru jsou uloženy v paměti současně.

Dekomprimování a uložení původní verze formátu komprimovaného obrazu umožní dekodéru potom vytvořit alternativní formát obrazových souborů, určených pro vyslání do procesoru pro zobrazení podle aktuální kapacity a provozu grafického procesoru.

Například v případě, že původní obraz je ve formátu reálných barev nebo RGB a zatížení a provoz grafického obrazu umožňuje zobrazovat v tomto formátu, může být obraz dekomprimován a zobrazován v podstatě tak jak je, to znamená jako obrazový soubor bez vyhledávací tabulky, Nicméně převedení do desítkové soustavy množství bitů ,sdružených s každým obrazovým prvkem (pixelem), může být provedeno pro změnu rozlišení v podstatě při současném udržení stejného formátu. Stejně tak v případě obrazu komprimovaného s vyhledávací tabulkou (GIF/PNG) bude stejná vyhledávací • * • · * · ·· ·· « · ··· ·· tabulka uložena a buče na ní odkazováno při zobrazování obrazu.

Pokud zobrazení nemůže být provedeno s použitím původního formátu, může procesor konvertovat obrazový soubor 5 na odlišný formát pro zobrazení, přičemž původní soubor je přesto zachován pro budoucí použití. Tímto způsobem předkládaný vynález umožňuje provedení nejvyšší kvality zobrazení v kterémkoliv okamžiku při daných paměťových a zpracovatelských omezeních dekodéru v tomto okamžiku.

V jednom provedení je procesor upraven pro konverzi obrazového souboru do množství formátů uložených současně s původní verzí v paměti dekodéru.

Výhodně je procesor upraven pro čtení a zobrazování množství verzí formátů obrazového souboru uloženého v tomto okamžiku. Například může být procesor upraven pro zobrazení stejného obrazu dvakrát ve dvou různých oknech obrazovky a podle dvou různých formátů použitých v těchto oknech.

Přesněji může být procesor upraven pro definování 20 množství oblastí v grafické vrstvě, odpovídající oblasti zobrazení, přičemž každá oblast je definována částečně prostřednictvím polohové souřadnice a prostřednictvím verze formátu obrazových souborů, které mohou být zpracovány procesorem a zobrazeny v této oblasti.

Toto rozdělení plochy obrazovky do formátových oblastí je speciální charakteristikou pro prostředí dekodéru.

Například jedna oblast uvnitř grafické vrstvy může odpovídat oblasti, ve které obrazové soubory mohou být zobrazovány v určitém CLUT formátu, zatímco jiná oblast může být sdružena s 30 obrazovými soubory v RGB formátu.

• ·

000 ·· • 0 ·

00

00

V takovém provedení je procesor výhodně upraven pro konverzi původního obrazového souboru určeného k zobrazení v oblasti do verze odpovídající verzi formátu, která je právě používaná v této oblasti. Například když má být zobrazen obraz s původním formátem RGB ve stejné oblasti, ve které je již zobrazován obraz s formátem CLUT, bude procesor konvertovat obraz na vhodný formát CLUT pro zobrazení.

V jednom provedení je procesor upraven pro zpracování obrazů v grafické vrstvě umístěné přes audiovizuální digitální data v reálném čase a odpovídající jedné nebo více vrstvám zobrazovaným na obrazovce pod grafickou vrstvou. Obrazy v grafické vrstvě mohou být stejně tak zobrazovány prostřednictvím procesoru, umístěné přes jiné typy dat obrazových souborů, zobrazených ve vrstvách pod grafickou

LS vrstvou.

V jednom provedení je procesor upraven pro dekomprimováni obrazových dat vysílaných v kompresním standardu, který využívá vyhledávací tabulku, například v GIF nebo PNG standardu. Navíc nebo alternativně je procesor upraven pro dekomprimování obrazových dat vyslaných ve standardu, který využívá hodnoty červené/zelené/modré barvy, sdružené s každým obrazovým prvkem (pixelem), například v MPEG nebo JPEG standardu.

Jak bylo diskutováno výše, výhoda dvou-krokového procesu dekomprese a konverze, použitého podle předkládaného vynálezu, spočívá ve schopnosti zpracovat obrazový soubor v původním formátu jakýmkoliv počtem způsobů. Za některých okolností ale může být žádoucí použít pevný formát pro všechna obrazová data.

• 0 · ·» »0

Μ *· • t «00 0*

V jednom výhodném provedení je tudíž procesor dále upraven pro přímé dekomprimování obrazových dat bez ohledu na jejich kompresní formát na obrazový soubor o předem stanoveném formátu.

Přesněji může být procesor dále upraven pro přímé dekomprimování obrazových dat do formátu, který využívá barevnou vyhledávací tabulku, například formátu CLUT4 nebo CLUT8. Navíc nebo alternativně může být procesor dále upraven pro přímé dekomprimování obrazových dat do formátu, který využívá hodnoty červené/zelené/modré barvy, sdružené s každým obrazovým prvkem (píxelem), například formátu RGB16.

Všechny funkce dekomprimování a zobrazování dat mohou být integrovány v jednom procesoru. Alternativně procesor může zahrnovat alespoň obecný procesor a grafický procesor 15 pro pracování dekomprese respektive zobrazení.

Podobně paměť, použitá pro uložení verzí prvního a druhého formátu, nemusí nezbytně odpovídat jedné paměťové jednotce, jako je paměť RAM nebo FLASH, ale může odpovídat jedné nebo více paměťovým oblastem přiděleným pro tento účel řídící aplikací a rozděleným mezi jedno nebo více fyzických paměťových zařízení.

Předkládaný vynález byl diskutován ve spojení s dekodérem. Předkládaný vynález je ale stejně tak rozšířen na způsob zpracování digitálního obrazu uvnitř takového dekodéru, přičemž tento způsob v obecných a výhodných aspektech odpovídá výše diskutovanému vynálezu.

V kontextu přihlášky předkládaného vynálezu označuje termín digitální audiovizuální vysílací systém všechny vysilači systémy pro vysílaní nebo přenos primárné • · ·· *· • · · • · ·· ·· *φ audiovizuálních nebo multimediálních digitálních dat.

Přestože předkládaný vynález je použitelný zejména pro přenosové digitální televizní systémy, může být tento předkládaný vynález stejně tak použit při filtrování dat vysílaných pevnou telekomunikační sítí pro multimediální internetovské aplikace a podobně.

Podobně termín dekodér je použit pro označení integrovaného příímače/dekodéru pro příjem a dekódování kódovaného vysílání, prvků přijímače a dekodéru takového θ systému, které jsou uvažovány samostatně, a rovněž přijímače schopného příjmu ne-kódovaných přenosů. Tento termín rovnocenně pokrývá dekodéry obsahující přídavné funkce, jako jsou webovské prohlížeče, společně s dekodéry integrovanými s jinými zařízeními, například integrovaná zařízení

VHS/dekodér, digitální televize nebo podobně.

Termín MPEG označuje standardy datového přenosu, vyvinuté Mezinárodní Standardizační Organizací v pracovní skupině Expertní skupina pro film a zejména, ale ne výhradně, standard MPEG-2 vyvinutý pro digitální televizní aplikace a definovaný v dokumentech ISO 13818-1, ISO 13818-2,

ISO 13818-3 a ISO 13818-4. V kontextu s touto přihláškou předkládaného vynálezu tento termín zahrnuje všechny varianty, modifikace nebo rozvinutí MPEG formátů použitelných pro oblast digitálního datového přenosu.

V následujícím popisu bude pouze prostřednictvím příkladů podrobněji popsáno výhodné provedení předkládaného vynálezu ve spojení s odkazy na připojené výkresy.

* · · ·· ·· • « ··· ··

Přehled obrázků na výkresech

Obr.l znázorňuje přehled digitálního televizního systému;

Obr.2 znázorňuje prvky přijímače/dekodéru podle obr. 1;

Obr.3 znázorňuje ve formě vrstvy obrazová data zpracovávaná grafickým procesorem podle obr.

2;

Obr.4 znázorňuje detail grafické vrstvy podle obr.

3; a

Obr. 5 znázorňuje kroky dekomprimování a konverze, prováděné v množství případů na komprimovaných obrazových datech.

Příklady provedení vynálezu

Celkový přehled digitálního televizního systému i podle předkládaného vynálezu je znázorněn na obr. 1. Předkládaný vynález zahrnuje většinou běžný digitální televizní systém 2, který využívá známý MPEG-2 kompresní systém pro vysílání komprimovaných digitálních signálů.

Přesněji MPEG-2 komprimátor 2 ve vysílacím centru přijímá tok digitálního signálu (obvykle tok video signálů). Komprimátor

3. je spojen s multiplexorem a kodérem 4. prostřednictvím 25 spojení 5..

Multiplexor 4. přijímá množství dalších vstupních signálů, sestavuje jeden nebo více vysílacích toků a vysílá komprimované digitální signály do vysílače 6. vysílacího centra přes spojení 2, které samozřejmě může být představováno velkým množstvím různých forem včetně • 0 • ♦ · · 0 0 0 0 0 0 00 0·· 00 «0 ·0 telekomunikačních linek. Vysílač 6 vysílá elektromagnetické signály přes vzestupné spojení 8. směrem k satelitnímu odpovídací 9, kde jsou tyto signály elektronicky zpracovány a vysílány přes teoretické sestupné spojení 10 do pozemního přijímače 12, běžně ve formě parabolické antény vlastněné nebo pronajímané koncovým uživatelem. Signály přijímané přijímačem 12 jsou vysílány do integrovaného přijímače/dekodéru 13 vlastněného nebo pronajímaného koncovým uživatelem a spojeného s televizním zařízením 14 koncového uživatele. Přijímač/dekodér 13 dekóduje komprimovaný MPEG-2 signál na televizní signál pro televizní zařízení 14.

Jiné transportní kanály pro vysílání dat jsou samozřejmě možné, jako je pozemní přenos, kabelové vysílání, kombinované satelitní/kabelové spojení, telefonní sítě a ¹⁵ podobně.

Ve vícekanálovém systému, multiplexor 4. zpracovává audio a video informace přijímané z množství paralelních zdrojů a interaguje s vysílačem 6. pro přenos informace po odpovídajícím počtu kanálů. Vedle audiovizuální informace, mohou být zprávy nebo aplikace nebo jakýkoliv jiný druh digitálních dat zaváděny do některých nebo do všech těchto kanálů, proloženě s vysílanou digitální audio a video informací.

Systém 15 podmíněného přístupu je spojen s multiplexorem £ a přijímačem/dekodérem 13 a je umístěn částečně ve vysílacím centru a částečně v dekodéru. Tento systém umožňuje koncovému uživateli přístup k digitálním televizním vysíláním (přenosům) od jednoho nebo více dodavatelů (poskytovatelů) vysílání. Inteligentní karta, schopná dekódování zpráv týkajících se komerčních nabídek (to • 9 9 ·· 99 • · 999 99 • 9 9 9 9 • 9 99 jest jeden nebo několik televizních programů, které jsou prodávány dodavatelem vysílání), může být vložena do přij ímače/dekodéru 13. S použitím dekodéru 13 a inteligentní karty může koncový uživatel nakupovat komerčně nabízené vysílané události buď v módu předplacení nebo v módu platby za shlédnutí.

Jak bylo zmiňováno výše, programy vysílané systémem jsou kódovány v multiplexoru 4., přičemž podmínky a kódovací klíče, aplikované na daný přenos, jsou určovány systémem 15 podmíněného přístupu. Vysílání kódovaných dat tímto způsobem je velmi dobře známé v oblasti placených TV systémů. Obvykle jsou kódovaná data vysílána společně s řídícím slovem pro dekódování těchto dat, přičemž řídící slovo je samo kódováno prostřednictvím tak zvaného exploatačního klíče a vysíláno v 15 kódované formě.

Kódovaná (šifrovaná) data a kódované (šifrované) řídící slovo jsou potom přijímána dekodérem 13, který má přístup k ekvivalentu exploatačního klíče, který je uložen na inteligentní kartě vložené do dekodéru, pro dekódování

0 kódovaného řídícího slova a potom pro dekódování vysílaných dat. Předplacený účastník bude přijímat, například, v přenášené měsíční ECM (opravňovací řídící zpráva) exploatační klíc potřebný pro dekódování řídícího slova a tak pro umožnění sledování vysílání.

Interaktivní systém 16, rovněž spojený s multiplexorem 1 a přijímačem/dekodérem 13 a opět umístěn částečně ve vysílacím centru a částečně v dekodéru, umožňuje koncovému uživateli interagovat s různými aplikacemi přes modemový zpětný kanál 17.. Modemový zpětný kanál 17 může být rovněž využit pro komunikace použité v systému 15 podmíněného

0 0 0 0 0 0 0 0 0 0 00 · 0«0 00 00 00 přístupu. Interaktivní systém 16 může být použit, například, pro umožnění divákovi komunikovat bezprostředně s vysílacím centrem pro požadavek o autorizaci sledování určité události, stažení aplikace a podobně.

Ve spojení s odkazy na obr. 2 budou nyní popsány prvky přijimače/dekodéru 13, nebo nastavovací řídící skříně (STB), upravitelného pro použití v předkládaném vynálezu. Prvky znázorněné na tomto obrázku budou popsány ve spojení s funkčními bloky.

Dekodér 13 zahrnuje centrální procesor 20 obsahující přidružené paměťové prvky a upravený pro příjem vstupních dat ze sériového rozhraní 21, paralelního rozhraní 22, modemu 23 (spojeného s modemovým zpětným kanálem 17 podle obr. 1), a přepínacích kontaktů 24 na předním panelu dekodéru.

Dekodér je navíc upraven pro příjem vstupů z infra-červeného dálkového ovladače 25 přes řídící jednotku 26 a rovněž má dvě zařízení 27, 28 pro čtení inteligentních karet, která jsou upravena pro čtení bankovních respektive účastnických inteligentních karet 29, 30. zařízení 28 pro čtení účastnické inteligentní karty zabírá s vloženou účastnickou inteligentní kartou 30 a s jednotkou 29 podmíněného přístupu pro přivedení potřebného řídícího slova do demultiplexoru/dekodéru 30 pro umožnění dekódování kódovaných přenášených signálů. Dekodér rovněž obsahuje běžný ladič (tuner) 31 a demodulátor 32 pro příjem a demodulaci satelitního vysílání před filtrováním a demultiplexováním prostřednictvím jednotky demultiplexoru/dekodéru 30.

Zpracování dat uvnitř dekodéru je obecně realizováno prostřednictvím centrálního procesoru 20. Softwarová • · * φφφφ φφφ φφ ·Φ φφ • · · φ φφ ·· architektura tohoto centrálního procesoru může odpovídat softwarové architektuře použité ve známém dekodéru a nebude zde podrobněji vůbec popisována. Tato architektura může být založena, například, na virtuálním počítači interagujícín přes vrstvu rozhraní s operačním systémem nižší úrovně, který je realizován v hardwarových součástkách dekodéru. Pokud se týká hardwarové architektury, bude dekodér vybaven procesorem, paměťovými prvky, jako je ROM, RAM, FLASH paměť, a podobně, jako u známých dekodérů.

V případě přijímaných audio a video signálů, a jak bude podrobněji popsáno níže, budou MPEG pakety, obsahující tyto signály, demultiplexovány a filtrovány tak, aby předávaly audio a video data v reálném čase a ve formě paketového základního toku (PES) audio a video dat do jednoúčelových audio a video procesorů nebo dekodérů 33 respektive 34. Konvertovaný výstup z audio procesoru 33 přechází do před-zesiiovače 35 a potom přes audio výstup přijímače/dekodéru. Konvertovaný výstup z video procesoru 34 přechází přes grafický procesor 36 a PAL/SECAM kodér 37 do video výstupu přijímače/dekodéru. Video procesor může být běžného typu, jako je ST 3520A od firmy SGS Thomson.

Grafický procesor 36 navíc přijímá grafická data pro zobrazení (jako jsou vytvářené obrazy a podobně) z centrálního procesoru 20 a kombinuje tyto informace s informacemi přijímanými z video procesoru 34 pro vytváření zobrazení na obrazovce, které kombinuje pohybující se obrazy společně s překrývajícím textem nebo dalšími obrazy.

Příkladem grafického procesoru, upraveného pro provádění tohoto typu činnosti, je CM 9310 od firmy C-CUBE.

• · · · 4 4 4 9 ·· ··· ·· >t ··

V případě přijímaných teletextových a/nebo titulkovacích dat konverze PES dat v reálném čase pro vytváření vhodných obrazů může být rovněž zpracovávána jednoúčelovými procesory. V nejběžnějších systémech je toto ale zpracováváno obecným procesorem 20.

Ve skutečnosti mnoho funkcí, sdružených s prvky, jako je grafický procesor 36, videodekodér (video procesor) 34, centrální procesor 20 a podobně, může být kombinováno nebo rozděleno množstvím způsobů, například pro integrování centrálního a grafického procesoru do jednoho zpracovatelského prostředku (jednoho procesoru) a podobně.

Ve spojení s odkazy na obr. 3 bude nyní podrobněji popsána funkce grafického procesoru 36. Jak bylo diskutováno výše, grafický procesor přijímá a zpracovává video data v reálném čase z video dekodéru 34 společně s grafickými daty z obecného centrálního procesoru 20, aby vytvářel překrývající se zobrazení na obrazovce.

Jak je znázorněno na obr. 3, je grafický procesor 36 upraven pro zpracování vstupních dat rozdělených do čtyř zvláštních vrstev: vrstvy 40 pozadí, vrstvy 41 MPEG, grafické vrstvy 42 a vrstvy 43 kurzoru. Jak by mělo být zcela zřejmé, vrstva 40 pozadí odpovídá nejnižší vrstvě zobrazení na obrazovce, přičemž ostatní vrstvy jsou postupně pokládány s různými stupni průhlednosti nebo opacity přes tuto vrstvu.

V případě, kdy dekodér je konfigurován pro zobrazení přenášeného video signálu, odpovídají vrstvy 40, 41 pozadí a MPEG toku dat přijímaných z videodekodéru 34, přičemž vrstva 40 pozadí odpovídá MPEG nehybným obrazům přijímaným z dekodéru 34 a vrstva 41 MPEG odpovídá pohybujícím se video • * * • · »*

MPEG signálům přijímaným z dekodéru. Rozdělení video signálu na pevnou a měnící se část je známou vlastností MPEG komprese.

Jiné konfigurace dekodéru jsou samozřejmě možné, například když vrstvy 40, 41 pozadí a MPEG jsou kompletovaný obrazovými daty v jakémkoliv počtu formátů přijímaných z procesoru 20. Například v případě, kdy dekodér pracuje v konfiguraci webovského prohlížeče, může procesor 20 dodávat data nehybných a/nebo pohybujících se obrazů pro kompletování o

vrstev 40, 41 pozadí a MPEG. Vrstva 40 pozadí může stejně tak odpovídat, například, pozadí barev a vrstva 41 MPEG jednomu nebo více oknům zobrazovaným přes pozadí a obsahujícím, například, informace, pohybující se ikony nebo podobně.

Data nehybných a pohybujících se obrazů z vrstev 40, pozadí a MPEG jsou míchána dohromady prostřednictvím grafického procesoru 36, jak je reprezentováno prvkem 44, přičemž je vytvořen kombinovaný výstup. Směšování informace vrstvy 41 MPEG přes vrstvu 40 pozadí grafickým procesorem může být prováděno s využitím tak zvaného alfa směšovacího faktoru pro umožnění většího nebo menšího stupně průhlednosti obrazových prvků (pixelů) v obrazu vrstvy MPEG. V případě pohybujícího se video obrazu přijímaného z vídeodekodéru 34 je použit stejný směšovací faktor pro všechny pixely uvnitř video sekvence. V případě obrazových dat z centrálního 25 procesoru 20 může být hodnota směšovacího faktoru pro vrstvu 41 MPEG jiná pro různé části obrazovky.

Grafická vrstva 42 je použita pro texty, tvary, ikony a podobně, které budou zobrazovány na obrazovce přes obrazy přicházející z vrstev 40., 41 pozadí a MPEG, například pro umožnění zobrazení pohybující se ikony nebo podobně, • * · 9 • 9 99 • 9 9 l

99 * a Μ* «· vytvářené procesorem 20, přes video sekvenci v reálném čase, přicházející z videodekodéru 34. Protože toto provedení předkládaného vynálezu se týká primárně ošetření dat v této vrstvě, budou vlastnosti a charakteristiky dat v této vrstvy poněkud podrobněji popsány v popisu níže ve spojení s odkazy na obr. 4.

Podobným způsobem jako je prováděno směšování pro vrstvy 40., 41 pozadí a MPEG provádí prvek 45 směšování grafické vrstvy 42 s kombinovaným výstupem vrstev 40. 41 pozadí a MPEG. Jak bude popsáno, mohou být různým oblastem uvnitř grafické vrstvy 42 přiřazeny různé směšovací faktory a tím odpovídající odlišná úroveň průhlednosti v závislosti na vlastnostech dat uvnitř každé oblasti.

Finální vrstva 43 kurzoru reprezentuje opakní obraz kurzoru, vytvářený hardwarem za řízení centrálním procesorem 20 a položený přes všechny předcházející vrstvy. Jak je znázorněno prostřednictvím směšovacího prvku 46, je tato vrstva kombinována se sloučeným výstupem z kombinace všech předcházejících vrstev pro vytvoření konečného kombinovaného výstupu 47 vysílaného do kodéru 37 pro následné zobrazení. Na rozdíl od předcházejících vrstev kurzor prezentuje kontinuálně opakní vzhled a je uložen přes kombinované vrstvy bez jakéhokoliv směšování.

Jak je patrné z obr. 4, je grafická vrstva 43 rozdělena při činnosti na jednu nebo více obdélníkových oblastí 50, přičemž každá oblast je definována svojí šířkou, svojí výškou, svojí zobrazovací souřadnicí 51 a barevným systémem použitým uvnitř této oblasti. Jakýkoliv obrazový prvek (pixel) ve vrstvě, který nepřísluší označené oblasti 52, je udržován jako transparentní. Zobrazovací souřadnice 51 « 9 9 * •9 99 • 9

999 99 • 9 9

99 je definována jako souřadnice horního levého rohu oblasti, jak je znázorněno na obrázku. Velikost obrazového prvku (pixelu) ve všech oblastech není nikdy větší než rozlišení celé obrazovky, to jest 720 X 576 pro PAL, 720 X 480 pro

NTSC.

Pokud se týká barevného systému, který má být použit v oblasti, je informace poskytovaná do grafického procesoru 36 pro konstruování vrstvy kódována ve formě zobrazovací mapy pixelů, kde každý pixel je identifikován prostřednictvím θ souřadnice a odkazu na barvy. V praxi může být grafickým procesorem zpracováno množství zobrazovacích formátů, jako například:

CLUT4: 4 bity/pixel adresující barevnou vyhledávací tabulku (CLUT) se 16 vstupy

CLUT8: 8 bitů/pixel adresující barevnou vyhledávací tabulku (CLUT) se 256 vstupy

RGB16: 16 bitů/pixel specifikující směs červené/zelené/modré barvy pro každý pixel θ V případě formátu RGB16 je barva, která má být zobrazena, jednoduše definována odkazem na převahu každé ze základních barev červené/zelené/modré použitých systémem pro vytvoření barvy.

V případě formátu typu CLUT, každý pixel obsahuje odkaz na přidělenou hodnotu barvy ve vyhledávací tabulce.

Tato barva je dále definována prostřednictvím 24 bitové hodnoty červené/zelené/modré, případně použité systémem pro vytvoření barvy, 6 bitový alfa směšovací faktor může být rovněž sdružen s každou barevnou hodnotou (viz popis níže).

A • A A · «ΑΑ AA·*

AA A* AAA 0A ·· ··

Jak je uvedeno v popisu výše, velikost vyhledávací tabulky a počet dostupných barev se mohou měnit, například pro definování obrazu s odkazy na 16 nebo 256 barev. Stejně tak se mezi jednotlivými tabulkami mohou měnit barvy definované uvnitř vyhledávací tabulky, například jedna tabulka může definovat více barev v určité části spektra než v jiné části. Před zobrazením oblasti je do grafického procesoru stažena vyhledávací tabulka.

Grafický procesor 36 může změnit velikost v reálném čase každé oblasti a posunout horizontálně a vertikálně oblast na obrazovce za podmínky, že se nevyskytují přesahy mezi oblastmi. Navíc, jak je zmiňováno výše, každá oblast může být smíchána nezávisle s vrstvami níže s využitím určitého alfa směšovacího faktoru. V případě každého t 15 formátů existují následující možnosti:

CLUT4: Celkový 6 bitový alfa směšovací faktor aplikovaný pro celou oblast nebo každý barevný vstup v tabulce má 6 bitový alfa směšovací faktor. Jedna barevná hodnota může být transparentní.

CLUT8: Celkový 6 bitový alfa směšovací faktor aplikovaný pro celou oblast nebo každý barevný vstup v tabulce má 6 bitový alfa směšovací faktor. Jedna barevná hodnota může být transparentní.

RGB16: Celkový 6 bitový alfa směšovací faktor aplikovaný pro celou oblast.

Formáty pro zobrazování pixelů (obrazových prvků), diskutované výše, se liší od komprimovaných multimediálních formátů, běžné používaných pro vysílání obrazů případně 30 zobrazovaných v grafické vrstvě. Například obraz, který ma • ♦ « · fl· flfl • flfl · · · · ··· flfl flfl flfl být zobrazen v jedné z grafických oblastí, může být komprimován jako MPEG nehybný obraz, obraz ve formátu JPEG, obraz ve formátu GIF nebo obraz ve formátu PNG. V následujícím popisu termín obraz bude vždy použit pro označení obrazových dat v komprimovaném formátu.

MPEG formát byl již popisován v úvodu ve spojení se standardy vyvinutými ISO. JPEG a GIF standardy jsou stejně tak obecně známé multimediální formáty, často nalézané v obrazech posílaných přes internet, zatímco PNG formát je, v okamžiku vytváření tohoto textu, poměrně nedávno vyvinutý standard zavedený jako konkurent pro patentovaný GIF standard. Jak bude diskutováno níže, obrazy přijímané ve standardech MPEG, JPEG, GIF nebo PNG jsou dekomprimovány prostřednictvím rutiny (standardního programu) v procesoru 20 do jednoho ze zobrazovacích formátů CLUT nebo RGB, diskutovaných výše.

Mělo by samozřejmě být zcela zřejmé, že zatímco popis uvádí v tomto případě specifické zobrazovací formáty a vysílací (nebo komprimované) formáty, předkládaný vynález není žádným způsobem omezen na použití těchto určitých formátů.

V případě formátů typu GIF a PNG jsou tyto komprimované formáty založeny na původních obrazových souborech, které obsahují vyhledávací tabulku. Přímé dekomprimování GIF nebo PNG komprimovaného obrazu bude mít za výsledek obraz v CLUT zobrazovacím formátu. Jak bylo ale diskutováno výše, GIF nebo PNG obraz může být rovněž dekomprimován přímo, například, na RGB zobrazovací formát. Podobně zatímco MPEG/JPEG obraz je komprimován v RGB režimu, takže může být přímo dekomprimován do 16 bitového RGB ta* i a · <

a 0* zobrazovacího formátu, mohu rovněž existovat určité okolnosti, při kterých může být žádoucí transformovat obraz do CLUT formátu.

Obr. 5 reprezentuje schematicky možné kroky dekomprimováni a konverze, které mohou být prováděny obecným procesorem 20 na přijímaných obrazech komprimovaných ve formátu typu GIF nebo PNG, podle tohoto provedení vynálezu. Tři typy dekomprimování aktivovaného v odezvě na tři typy dekomprimačních příkazů, to jest DECOM_ORIGINAL, DECOMP_TO_CLUT a DECOMP_TO_RGB, jsou znázorněny. Kroky dekomprimování jsou ilustrovány ve vztahu na obraz formátovaný ve formátu CLUT, ale podobné kroky dekomprimování mohou být rovněž prováděny ve spojení s nehybnými obrazy ve formátu JPEG a MPEG, v odezvě na stejné příkazy.

Příkaz DECOMP_ORIGINAL. Je znázorněn přijatý obraz 60 ve formátu GIF/PNG, který zahrnuje vyhledávací tabulku CLUT 61 a ID data f(ID) 62 pixelů, definující barevné hodnoty pro každý pixel (obrazový prvek) v obrazu. Nejprve v kroku 63

2Q dekomprimování je obraz ve vysílaném souboru dekomprimován a uložen v paměti v jeho v podstatě původním formátu 65, to jest ve formátu CLUT se sadou dat 66 pixelů, odkazujících na jim přidruženou CLUT tabulku 67.

Počet vstupů v CLUT tabulce (16 nebo 256) a následný stupeň barevného rozlišení závisí na původním formátu tabulky. Podobně přesná RGB bitová hodnota, sdružená s každou barvou, je definována příslušnou CLUT tabulkou, která je uchována v nezměněné podobě.

V předkládaném systému je výsledný dekomprimovaný obraz uložen v paměti. V následném kroku 64 konverze může být • φ φ φφφ φφ • « φ φ φ φ φ φ φφ ·· obraz dále konvertován do druhého zobrazovacího formátu 68, jako je alternativní CLUT formát, rovněž uloženého v paměti systému.

Například obraz, zahrnující 256 vstupovou CLUT tabulku, může být konvertován do obrazu s CLUT tabulkou mající 16 vstupů. Alternativně, jedna charakteristická CLUT tabulka může být transformována do odlišné CLUT tabulky s různými RGB hodnotami sdruženými s některými nebo se všemi ze vstupů. Současně s transformací CLUT tabulky budou transformovány ID hodnoty pixelů (obrazových prvků). Potřebné algoritmy pro provádění těchto transformací budou osobám v oboru znalým zcela zřejmé.

Výhody této dvojité dekomprese/konverze ves rovnání s jinými kroky dekomprimování, popisovanými v popisu níže, budou zřejmé ve spojení se zónováním grafické vrstvy, jak je znázorněno na obr. 4. V PC prostředí velikost paměti a zpracovatelské možnosti PC znamenají, že může být otevřeno mnoho obrazových oken, z nichž každé má určitou CLUT tabulku. V tomto případě obraz může vždy být přímo dekomprimován a zobrazován ve svém původním formátu.

Naproti tomu v prostředí dekodéru paměťová a zpracovatelská omezení vedou na uspořádání oblastí podle výše uvedeného popisu, přičemž každá oblast 50 je sdružena s určitým zobrazovacím formátem. V jednom příkladu jedna oblast může být sdružena s formátem CLUT4 s předem stanovenou vyhledávací tabulkou se 16 vstupy, která je udržována jedním nebo více obrazy již zobrazenými v této oblasti, zatímco další oblast může být sdružena s formátem CLUT8 s jinou předem stanovenou vyhledávací tabulkou s 256 vstupy.

··«

00* 0 » · 00·· •0 ··· 00 00 00

V případě definování v novém obrazovém souboru ikony, která má být zobrazena v obou těchto oblastech, bude obrazový soubor nejprve dekomprimován podle příkazu DECOMP_ORIGINAL pro vytvoření souboru s původní CLUT tabulkou sdruženou s tímto obrazem. Tento původní soubor, uložený v paměti, může být potom redukován a konvertován na CLUT4 formát použitý v první oblastí a rovněž na CLUT8 formát (se sdruženou specifickou hodnotu CLUT tabulky) použitý v druhé oblasti. Na vyžádání navíc mohou být provedeny zpětné konverze na původní soubor.

Naproti tomu, pokud původní obrazový soubor nikdy nebyl dekomprimován, ale byl bezprostředně konvertován na standardní zobrazovací hodnotu použitou v jedné oblasti (viz níže), nemusí být možné efektivně zpětně konvertovat obraz v 15 tomto formátu na druhý formát sdružený s jinou oblasti. Například, když je CLUT8 obraz současně dekomprimován a konvertován do standardního CLUT4 formátu, dojde zde ke ztrátě informace sdružené s tímto obrazem, což způsobí, že jakákoliv zpětná konverze na CLUT8 formát je nespolehlivá.

Přesto nicméně za určitých okolností může být žádoucí fixovat koncový formát všech zobrazovacích souborů před konverzí. V tomto případě mohou být obecnému centrálnímu procesoru dodány následující příkazy.

Příkaz DECOMP_TO_CLUT. S tímto příkazem je obraz bez ohledu na formát původního obrazu (CLUT4, CLUT8, RGB) dekomprimován v kroku 69 dekomprimování a konvertován do CLUT zobrazovacího formátu 70. Rozlišení CLUT stejně tak jako RGB hodnot každého z jejich vstupů je uloženo v okamžiku

3q dekomprese.

Příkaz DECOMP_TO_RGB. S tímto příkazem je obraz bez ohledu na formát původního obrazu (CLUT4, CLUT8, RGB) dekomprimován v kroku 71 dekomprimování a konvertován do RGB zobrazovacího formátu 70. Rozlišení RGB formátu je fixováno v okamžiku dekomprese.

V případě obrazu původně ve formátu reálných barev nebo MPEG/JPEG, vrátí příkaz DECOMP_ORIGINAL dekomprimovaný obraz ve formátu RGB. Ačkoliv formát dekomprimovaného souboru odpovídá původnímu (to jest žádná vyhledávací tabulka), mírná změna v rozlišení může vyžadovat konverzi z formátu reálných barev do formátu RGB16, kterou je třeba provést v okamžiku kódování. Příkaz DECOMP_TO_CLUT působící na soubor ve formátu MPEG/JPEG bude dekomprimovat a konvertovat obraz na obraz ve formátu CLUT, přičemž rozlišení CLUT a rovněž hodnot každého z jejích vstupů je fixováno v okamžiku dekomprese. Příkaz DECOMP_TO_RGB bude mít v tomto případě stejný efekt na obraz jako příkaz DECOMP_ORIGINAL, to jest dekomprimuje a konvertuje obraz z formátu reálných barev do formátu RGB16.

jak by mělo být zřejmé, jsou algoritmy dekomprese a konverze pro provedení shora popisovaných činností známé. Aplikace takových algoritmů pro vytvoření každého z uložených souborů, jak je uvedeno výše, není známá ve spojení s technologií dekodéru. Zejména dekomprimování obrazového souboru na soubor s původním formátem, který je uložen a může být konvertován podle požadavků, není v tomto oboru známé.

Podobně ačkoliv popis uvádí použití hlavního nebo obecného centrálního procesoru pro provedení potřebných kroků dekomprese a konverze kromě jeho dalších úloh, tyto kroky mohou být rovněž prováděny jednoúčelovým procesorem.

Claims (15)

1. PATENTOVÉ NÁROKY

   1. Dekodér pro digitální audiovizuální vysílací systém, přičemž tento dekodér zahrnuje procesor pro dekomprimování a zobrazování komprimovaných dat digitálního obrazu a paměť, vyznačující se tím, že procesor je upraven pro dekomprimování a uložení obrazového souboru v jeho v podstatě původním formátu a následně pro konverzí obrazového souboru na alespoň druhý formát pro uložení a zobrazení, přičemž verze prvního a druhého formátu obrazového souboru jsou uloženy v paměti současně.
2. 2. Dekodér podle nároku 1, vyznačující se tím, že procesor je upraven pro konverzi obrazového souboru do množství formátů, uložených současně s původní verzí v paměti dekodéru.
3. 3. Dekodér podle nároku 1 nebo 2, vyznačující se tím, že procesor je upraven pro čtení a zobrazení množství verzí jluliuouu obrazového souboru, uloženého v tomto okamžiku.
4. 4. Dekodér podle kteréhokoliv z předcházejících nároků, vyznačující se tím, že procesor je upraven pro definování množství oblastí v grafické vrstvě, odpovídající oblasti zobrazení, přičemž každá oblast je definována částečně polohovou souřadnicí a verzí formátu obrazových souborů, ._ které jsou zpracovávány grafickým procesorem a zobrazovány v 25 této oblastí.
5. 5. Dekodér podle nároku 4, vyznačující se tím, že procesor je upraven pro konverzi původního obrazového souboru, který má být zobrazen v oblasti, do verze odpovídající verzi

   30 formátu, který je právě používán v této oblasti.

   • · • · · • · · · • * φ ·· φφ ·· *·· φ · φ φφφ φφφφ • ΦΦΦΦ Φ· ··
6. 6. Dekodér podle nároku 4 nebo 5, vyznačující se tím, že procesor je upraven pro zpracování obrazů v grafické vrstvě uložené přes audiovizuální digitální data v reálném čase a odpovídající jedné nebo více vrstvám zobrazeným na obrazovce

   5 pod grafickou vrstvou.
7. 7. Dekodér podle kteréhokoliv z předcházejících nároků, vyznačující se tím, že procesor je upraven pro dekomprimování obrazových dat vysílaných v kompresním standardu, který využívá vyhledávací tabulku.

   ¹⁰
8. 8. Dekodér podle kteréhokoliv z předcházejících nároků, vyznačující se tím, že procesor je upraven pro dekomprimování obrazových dat vysílaných ve standardu, který využívá barevnou hodnotu červené/zelené/modré, sdruženou s každým ]_5 obrazovým prvkem. ‘
9. 9. Dekodér podle kteréhokoliv z předcházejících nároků, vyznačující se tím, že procesor je dále upraven pro přímé dekomprimován^ dat bez ohledu na jejich kompresní formát do obrazového souboru o předem stanoveném formátu.
10. 10. Dekodér podle nároku 9, vyznačující se tím, že procesor je dále upraven pro přímé dekomprimování obrazových dat do formátu, který využívá vyhledávací tabulku.
11. 11. Dekodér podle nároku 9 nebo 10, vyznačující se tím, že 25 procesor je dále upraven pro přímé dekomprimování obrazových dat do formátu, který využívá barevnou hodnotu červené/zelené/modré, sdruženou s každým obrazovým prvkem.
12. 12. Dekodér podle kteréhokoliv z předcházejících nároků, vyznačující se tím, že procesor zahrnuje obecný procesor pro • · ·· · · ·· · * 0 * · · · · 4 · ··« ·· ·· ··· ·· 49 ·» dekomprimování digitálních obrazových dat a grafický procesor pro přípravu dekomprimovaných dat pro zobrazení.
13. 13. Způsob zpracování digitálního obrazu v dekodéru pro digitální audiovizuální vysílací systém, přičemž tento 5 dekodér zahrnuje procesor pro dekomprimování digitálních obrazových dat a grafický procesor pro přípravu dekomprimovaných dat pro zobrazení, vyznačující se tím, že procesor dekomprimuje a ukládá obrazový soubor v jeho v podstatě původním formátu a následně konvertuje obrazový soubor na alespoň druhý formát pro uložení a zobrazeni, přičemž verze prvního a druhého formátu obrazového souboru se uloží v paměti dekodéru současně.
14. 14. Dekodér pro digitální audiovizuální vysílací systém v 25 podstatě podle zde uvedeného popisu.
15. 15. Způsob zpracování digitálního obrazu v dekodéru pro digitální audiovizuální vysílací systém v podstatě podle zde uvedeného popisu.