CZ303039B6 - Zpusob a zarízení pro digitální korekci obrazu - Google Patents

Abstract

Zpusob digitální korekce obrazu, pri které se na obraz nejprve aplikuje vertikální korekce, která ukládá hodnoty korigované interpolací do bufferu, následne se obdobne aplikuje horizontální korekce, po jejímž interpolacním zásahu se dosáhne korigovaného obrazu, pricemž pri horizontálním i vertikálním prevzorkování se pro každý pixel vybere z pripravených variant vertikálního resp. horizontálního FIR filtru ta varianta, která nejlépe odpovídá subpixelové cásti geometrické odchylky tohoto pixelu, a tato varianta se na daný pixel aplikuje. Zarízení k provádení tohoto zpusobu je tvoreno prvním bufferem (I) propojeným obousmerne s blokem (3) vertikálního prevzorkování napojeným na jednotku (4) vertikální interpolace odchylek, na jehož výstupu se nachází vyrovnávací buffer (II) propojený obousmerne s blokem (5) horizontálního prevzorkování napojeným na jednotku (6) horizontální interpolace odchylek. Bloky (3, 5) prevzorkování jsou napojeny na rídicí jednotku (2), pricemž soucástí bloku (3, 5) jsou Lanczosovy filtry.

Description

Způsob a zařízení pro digitální korekci obrazu

Oblast techniky

Vynález se týká systémů pro číslicové zpracování digitalizovaných obrazů se zaměřením na odstranění geometrických vad prostřednictvím specializovaných funkčních jednotek.

Dosavadní stav techniky

Obrazy snímané obrazovými senzory vybavenými optickými objektivy jsou většinou zatíženy geometrickými vadami zpravidla nepřímo úměrně kvalitě a ceně objektivu. Jedná se většinou o geometrické vady, např. kulovou nebo válcovou, které postihují spojitě celé pole obrazu. Digitální obraz je tvořen maticí pixelů (vzorků), z nichž každý nabývá určitou číselnou hodnotu. Tato matice reprezentuje spojitou funkci v osách x a y. Cílem korekce je dosáhnout toho, aby pixely v matici korigovaného obrazu nabyly hodnot odpovídajících stavu snímaného objektu. K tomu je třeba vypočítat nové hodnoty jednotlivých pixelů v matici obrazu.

Dosud známá řešení jsou koncipována tak, že obraz je převzorkován algoritmy využívajícími tzv. FIR filtry. Jedná se např. o algoritmy výběru nej bližšího sousedního pixelů, bi lineární interpolací, případně polynomiální interpolací. Kvalita převzorkování je silně závislá na použitém FIR filtru a jeho velikosti, kdy větší filtr vede zpravidla k lepším výsledkům. Větší filtr však také výrazně zvyšuje výpočetní náročnost převzorkování a cenu implementujícího zařízení, proto se obvykle používají filtry malých rozměrů. Negativním důsledkem však bývá zpravidla omezení frekvenční charakteristiky obrazového signálu v oblasti vyšších frekvencí.

Ze spisu US 7 783 128 je znám způsob a zařízení ke korekci zkresleni obrazu způsobeného pohybem nebo nedokonalostí čočky. Na obraz se nejprve aplikuje vertikální korekce, která ukládá hodnoty korigované interpolaci do bujferu. Následně se obdobně aplikuje horizontální korekce, po jejímž interpolaČním zásahu se dosáhne korigovaného obrazu.

Vynález si klade za úkol navrhnout způsob kvalitní digitální korekce geometrických vad obrazu poměrně jednoduchými prostředky a zařízení k provádění tohoto způsobu s cílem zachování frekvenční charakteristiky a informační hodnoty obrazu ve větší míře, než to umožňuje řešení podle uvedeného spisu.

Podstata vynálezu

Uvedený úkol řeší způsob digitální korekce geometrických vad obrazu prostřednictvím specializovaných funkčních jednotek, pri kterém se na každý pixel výchozího obrazu postupně aplikuje vertikální a horizontální převzorkování, a to tím, že se do prvního bufferu postupně přenášejí řádky obrazu tak, že v něm vytvářejí pásmo o zvolené výšce postupující po jednom řádku směrem vzhůru, na pixel ve středu tohoto pásma, postupně sloupec po sloupci, se aplikuje vertikální korekce FIR filtrem, hodnota vypočtená pro pixel vertikálním FIR filtrem se přesune do vyrovnávacího bufferu, v němž se postupně na každý pixel v řádku pixelů aplikuje horizontální korekce FIR filtrem a výsledná hodnota vypočtená horizontálním FIR filtrem se použije ke složení převzorkováného obrazu, přičemž při horizontálním i vertikálním převzorkování se pro každý pixel vybere z připravených variant vertikálního resp. horizontálního FIR filtru ta varianta, která odpovídá subpixelové části geometrické odchylky tohoto pixelů, a tato varianta se na daný pixel aplikuje.

Aplikované FIR filtry s výhodou realizují Lanczosův algoritmus filtrace pro dosažení vysoké kvality obrazu optimálním zachováním frekvenční charakteristiky s tím. Že pro uvažovanou aplikaci

- 1 CZ 303039 Β6 je 2D Lanczosuv jiltr reparahilni.čehož se s výhodou využije pro konstrukci vertikálních a horizontálních FIR filtru.

Zařízení k provádění uvedeného způsobu je tvořen prvním bufferem propojeným obousměrně s blokem vertikálního převzorkování napojeným na jednotku vertikální interpolace odchylek, na jehož výstupu se nachází vyrovnávací buffer propojený obousměrně s blokem horizontální interpolace odchylek, přičemž bloky převzorkování jsou napojeny na řídicí jednotku, přitom součástí bloků převzorkování jsou Lanczosovy filtry.

Přehled obrázků na výkresech

Vynález bude dále objasněn pomocí výkresu, na němž obr. 1 názorně ukazuje postup převzorkování a obr. 2 je schéma zapojení příkladného zařízení k provádění převzorkování obrazu.

Příklady provedení vynálezu

Východiskem je snímaný objekt, který se promítne na stínítko fotoaparátu nebo mikroskopu vytvoří na něm obraz. Stínítko je tvořeno maticí 4096 x 4096 pixelů, z nichž každý představuje vymezenou plošku schopnou samostatné komunikace, tj. přijímání a předávání hodnoty (value).

V popisovaném příkladu je touto hodnotou (value) zaznamenaný osvit, tj. odstín šedé mezi hodnotami 0 - Černá a 255 - bílá. Na každý pixel matice se promítne jedna konkrétní malá ploška objektu o určité reflektanci (odrazívosti), jíž pak odpovídá hodnota (value) na tomto pixelu.

V ideálním případě by rozložení bodů/plošek na matici v osách x, y přesně odpovídalo rozložení obrazů těchto bodů/plošek na dvojrozměrném objektu v osách x, y krát měřítko. Vzhledem k nedokonalosti objektivu, konkrétně v popisovaném případě v důsledku kulové vady čočky objektivu, však dochází při promítnutí objektu na matici ke zkreslení obrazu. Většina bodů/plošek objektu se promítne do jiné než ideální polohy, je vůči ideální poloze posunuta do různých směrů. Plošky objektu, které by se v ideálním případě měly promítnout na určité pixely matice, se promítnou do subpixelových poloh. Nicméně takto vytvořený, byť zkreslený obraz na matici představuje spojitou funkci - v každém pixelu matice je definována hodnota (value) od 0 do 255 a obraz/funkci si lze představit jako trojrozměrný topografický model na ploše x krát y.

Vstupním údajem pro přepočet hodnoty každého pixelu je údaj o posunutí/odchylce obrazu, ke které došlo v důsledku geometrické vady objektivu v místě tohoto pixelu, tedy x-ová a y-ová souřadnice této odchylky. Odchylka se zjistila tak, že se původním obrazem proložila čtvercová síť o straně čtverce 64 pixelů. Odchylky pixelů v uzlových bodech sítě jsou známy jako parametry použité optické soustavy a vyplývají z hodnot uváděných výrobcem. Uvnitř čtverce se pak hodnota odchylky aproximativně přiřadí každému pixelu lineární interpolaci. Pro každý pixel je tedy k dispozici x-ová a y-ová hodnota odchylky.

Prvním krokem převzorkování je uložení pixelů vstupního obrazu do první paměti, dále první buffer I řádek po řádku, pixel po pixelu. Neukládá se však celý obraz najednou, ale kvůli úspoře paměti jen horizontální pruh o výšce 31 pixelů. Jak vyplyne z dalšího, vychází tato výška proto, že byla zvolena velikost filtru 7 pixelů a dále 12 pixelů jako maximální odchylka nahoru a dolů. Horizontální pruh vstupního obrazu uložený v prvním bufferu 1 se v průběhu vzorkování posouvá v obraze směrem dolů - na začátku jsou v bufferu uloženy řádky 1 až 31 vstupního obrazu, po zpracování tohoto pásma se do bufferu 1 uloží a zpracovávají se řádky 2 až 32 atd. Posun řádků v prvním bufferu I naopak probíhá směrem vzhůru.

K dispozici je sada 16 variant FIR filtru pro vertikální převzorkování, tedy sloupcových a 16 variant pro horizontální převzorkování, tedy řádkových. FIR filtr (z anglického „Finite Impulse

Response“ Fílter - filtr s konečnou impulzní odezvou) je obecně matice koeficientů s určitými vhodnými, předem známými vlastnostmi, která při aplikaci na vstupní obraz, tedy na vzorkovaný

pixel a jeho okolí, provede přepočet jeho hodnoty pro výstupní obraz. Výstupní obraz má pak také určité, předem očekávané vlastnosti. V tomto případě byly použity sloupcové Lanczosovy filtry o rozměru 7 x 1 pixelů pro vertikální převzorkování a řádkové Lanczosovy filtry o rozměru 1 x 7 pixelů pro horizontální převzorkování. Lanczosův filtr je použit proto, že zachovává frekvenční charakteristiku převzorkovaného obrazu i v oblasti vysokých frekvencí. Principiálně je však možné použít libovolný FIR filtr.

Při převzorkování není použit tentýž FIR filtr pro všechny pixely, nýbrž jeho různé varianty v závislosti na spočtené odchylce jednotlivých pixelů. Odchylka pixelů je reálné číslo, které udává, o kolik by musel být pixel posunut, aby se na něj promítla správná ploška snímaného objektu -- viz výše. Desetinná část odchylky tedy udává subpixelovou polohu plošky. Subpixelová poloha je aproximována pomocí 16 variant polohy, kde varianta 1 je určena pro případ, že ploška se promítá celá přesně na určitý pixel (ne nutně správný), varianta 9 je pro případ, že ploška se promítá rovnoměrně na dva sousední pixely a varianta 16 pro případ, že ploška se promítá téměř celá na sousední pixel. Každé variantě polohy tedy odpovídá jedna varianta FIR filtru. Těchto 16 variant FIR filtrů je předpočítáno a uloženo v pomocné paměti.

V předchozím textu bylo uvedeno, které vstupní hodnoty a jaké nástroje jsou k dispozici. Nyní tedy ke zpracování řádků v horizontálních pásmech — horizontálnímu převzorkování:

Při zvolené šířce pásma a velikosti filtru lze plnohodnotně zpracovat řádky obrazu počínaje 16. a konče 4080. Zpracování každého řádku probíhá pixel po pixelů. Pro každý jednotlivý pixel je nejprve vypočtena lineární interpolací jeho vertikální odchylka. Podle aproximované varianty subpixelové části odchylky se vybere vhodná varianta sloupcového FIR filtru a ta je na vzorkovaný pixel aplikována. Pro názornost lze tento proces popsat tak, že je na tento pixel „přiložen“ sloupcový FIR filtr o velikosti 7 pixelů a je posunut nahoru nebo dolů o tolik pixelů resp. zlomků pixelů, kolik udává vypočtená odchylka pixelů. Jakmile je filtr umístěn na správné pozici, proběhne jeho aplikace (filtrace) - tzn. hodnoty pixelů „ležících“ pod filtrem jsou znásobeny odpovídajícími koeficienty filtru a všechny takto získané hodnoty jsou sečteny do jediné hodnoty, což je hodnota výsledného pixelů vzniklého vertikálním převzorkováním. Jedná se tedy o vážený součet pixelů původního obrazu. Tyto vertikálně převzorkované pixely jsou průběžně ukládány do vyrovnávací paměti - dále buffer IL Tento buffer může být o mnoho menší než buffer I, ve skutečnosti musí být schopen ukládat pouze několik pixelů aktuálně zpracovávaného řádku obrazu, neboť následné zpracování - horizontální převzorkování probíhá souběžně s vertikálním převzorkováním.

Horizontální převzorkování probíhá obdobně jako vertikální převzorkování, řádek po řádku, pixelů po pixelů. Nejprve je pro daný pixel vypočtena lineární interpolací horizontální odchylka, jejíž desetinná část je aproximována jednou z 16 variant. Na základě toho je vybrána odpovídající varianta 7 pixelového řádkového FIR filtru, který je „přiložen“ na aktuálně zpracovávaný pixel. Poté je filtr posunut doleva nebo doprava na základě celočíselné části spočtené horizontální odchylky. Hodnota výsledného pixelů je opět určena jako vážený součet pixelů „pod“ filtrem, kde koeficienty filtru jsou váhy jednotlivých sčítanců (pixelů).

Je zřejmé, že pokud je zvolena jako maximální odchylka doleva i doprava hodnota 12 pixelů lze pri 7 pixelovém FIR filtru plnohodnotně zpracovat všechny pixely v řádku počínaje 16. a konče 4090.

Výsledné pixely jsou výstupem celého zařízení a mohou být např. ukládány v externí paměti.

Postup převzorkování je naznačen na obr. 1, kde 1, vymezuje krok vertikálního převzorkování v pásmu 31 řádků a Π. krok horizontálního převzorkování v jednom řádku. Pixely původního obrazu jsou zde znázorněny prázdnými terčíky, pixely po vertikálním převzorkování šedými terčíky a terčík po horizontálním (+ vertikálním) černým terčíkem.

-3 CZ 303039 Β6

Zapojený zařízení k provádění popsaného postupu je znázorněno na obr. 2. Z nekorigovaného obrazu i předává řídicí jednotka 2 postupně data - řádky pixel ů do prvního bufferu I. Blok vertikálního převzorkování 3, který je taktován řídicí jednotkou 2, přebírá údaje o vertikální odchylce jednotlivých bodů v bufferu I z vertikální interpolační jednotky 4, podle hodnoty odchylky zvolí odpovídající variantu vertikálního FIR filtru a aplikuje ji na odpovídající pixel v bufferu I, provede přepočet a vertikálně převzorkovaný pixel odešle do vyrovnávacího bufferu H. Zde je k provedení horizontálního převzorkování vdaném okamžiku k dispozici alespoň část řádku. Blok horizontálního převzorkování 5, který je rovněž taktován řídicí jednotkou 2 přebírá údaje o horizontální odchylce jednotlivých pixelů ve vyrovnávacím bufferu II z horizontální interpolační jednotky 6, podle hodnoty odchylky zvolí odpovídající variantu horizontálního FIR filtru a aplikuje ji na odpovídající pixel v bufferu II, provede přepočet a horizontálně převzorkovaný pixel odešle např. do externí paměti, která není znázorněna. V ní se pak složí jíž převzorkovaný obraz.

Uvedené řešení představuje nový systém korekce obrazového signálu, vhodný zejména pro případy, kdy je kladen velký nárok na geometrickou přesnost snímaných obrazů a současně není k dispozici výpočetní výkon počítače, který by byl zapotřebí tehdy, pokud by součástí korekce mělo být otáčení nebo změna měřítka ve větším rozsahu. Zařízení může být realizováno jak klasickými prostředky - jednoúčelově zapojenými obvody, tak i ve formě programovatelného hardware, kde se potřebného zapojení dosáhne konfigurací programovatelného logického obvodu, např. typu FPGA. Vzhledem k relativní jednoduchosti implementujícího zařízení a malé kapacitě pamětí si lze představit on line z pracování obrazu snímaného běžnými frekvencemi.

Claims (3)

PATENTOVÉ NÁROKY

1. Způsob digitální korekce geometrických vad obrazu prostřednictvím specializovaných funkčních jednotek, při kterém se na každý pixel výchozího obrazu postupně aplikuje vertikální a horizontální převzorkování, a to tím, že se do prvního bufferu (I) postupně přenášejí řádky obrazu tak, že v něm vytvářejí pásmo o zvolené výšce postupující po jednom řádku směrem vzhůru, na pixel ve středu tohoto pásma, postupně sloupec po sloupci, se aplikuje vertikální FIR filtr, hodnota vypočtená pro pixel vertikálním FIR filtrem se přesune do vyrovnávacího bufferu (II), v němž se postupně na každý pixel v řádku pixelů aplikuje horizontální FIR filtr a výsledná hodnota vypočtená horizontálním FIR filtrem se použije ke složení převzorkovaného obrazu, vyznačující se tím, že při horizontálním i vertikálním převzorkování se pro každý pixel vybere z připravených variant vertikálního resp. horizontálního FIR filtru ta varianta, která nejlépe odpovídá subpixelově části geometrické odchylky tohoto pixelů, a tato varianta se na daný pixel aplikuje,

2. Způsob podle nároku I nebo 2, vyznačující se tím, že aplikované FIR filtry realizují Lanczosův algoritmus filtrace.

3. Zařízení k provádění způsobu podle nároku 1 nebo 2 tvořené prvním bufferem (I) propojeným obousměrně s blokem (3) vertikálního převzorkování napojeným na jednotku (4) vertikální interpolace odchylek, na jehož výstupu se nachází vyrovnávací buffer (II) propojený obousměrně s blokem (5) horizontálního převzorkování napojeným na jednotku (6) horizontální interpolace odchylek, přičemž bloky (3,5) převzorkování jsou napojeny na řídicí jednotku (2), vyznačující se tím, že součásti bloků (3, 5) jsou Lanczosovy filtry.