FI98590C - Videokuvan interpolointimenetelmä - Google Patents

Description

98590

Videokuvan interpolointimenetelmä

Keksintö koskee videokuvan interpolointimenetelmää, jossa digitaalisina näytear-5 voina esitettyä videokuvaa muunnetaan niin sanotusti ylöspäin lisäämällä siihen uusia näytearvoja, jotka muodostetaan olemassa olevista näytearvoista jollakin interpo-lointimenetelmällä. Keksintö koskee erityisesti adaptiivista ja ensisijaisesti epälineaarista interpolointimenetelmää.

10 Videokuvan interpolointia sovelletaan erityisesti televisiotekniikassa. Nykyisten televisiostandardien mukainen videosignaali on lomitettu, mikä tarkoittaa sitä, että videokuva muodostuu kahdesta vuorottelevasta kentästä, joista toinen sisältää parittomat ja toinen parilliset juovat. Kenttätaajuus on 50 tai 60 Hz. Lomittelu ja alhainen kenttätaajuus aiheuttavat selvästi näkyviä virheitä televisiokuvaan. Virheistä tyypil-15 lisimpiä ovat juovavälkyntä ja juovaryömintä. Juovavälkyntä on 50 Hz:n kenttätaa- juudella näytetyssä kuvassa 25 Hz:n taajuudella näkyvää välkyntää, joka esiintyy vaakasuorien, vaaleiden ja terävien reunojen yhteydessä. Juovaryöminnän syntymisen edellytyksenä on, että kuvassa on hitaasti liikkuva ohut, vaalea ja terävä viiva, joka on joko lähes vaakasuora tai loivasti kaareva. Tällöin viiva katkeaa lomittelusta 20 johtuen useisiin segmentteihin, koska pyyhkäistävään kenttään kuuluva osa näkyy vaaleana ja edelliseen kenttään kuuluva osa tummempana. Segmentit näyttävät sitten "ryömivän" reunaviivan suuntaisesti. Tämä ilmiö voidaan havaita selvästi esimer-: ·. kiksi televisioitaessa urheilukilpailuja, jolloin rataviivat näyttävät juoksevan kuvassa : ,' kilpaa juoksijoiden kanssa. Kolmas tyypillinen virhe on kenttävälkyntä, joka esiin-! i \ 25 tyy silloin kun kenttä on pääosin vaalea, jolloin pyyhkäistävänä oleva kenttä erottuu • I intensiteetiltään edellisestä kentästä. Tämä näkyy siten, että koko kuva välkkyy 25 • · · 98590 2

Lineaaristen menetelmien heikkoutena on niiden taipumus hämärtää kuvan yksityiskohtia, ja lisäksi ne ovat usein melko kalliita toteuttaa. Toisaalta ne toimivat "varmasti" koko sillä taajuusalueella, jolle ne on suunniteltu, ts. ne eivät juurikaan laskosta signaalia. Epälineaaristen menetelmien huonona puolena ovat niiden tuot-5 tamat laskostumat, jotka ovat yleensä erittäin näkyviä. Niiden hyvänä puolena taas on yksinkertainen toteutus ja niiden tuottama terävä kuva. Laskostumisella tarkoitetaan tässä yhteydessä sitä, että menetelmä tuottaa signaaliin sellaisia signaalikom-ponentteja, joita siinä ei alunperin ollut.

10 Mediaanisuodatuksella, johon tässä selityksessä ensisijaisesti viitataan, tarkoitetaan sitä, että tietyllä ikkunalla valitaan lisättävän näytteen ympäriltä senhetkisen kentän tai edeltävän kentän näytteitä mediaanisuodattimen otoiksi, ja antona on näiden valittujen näytearvojen mediaani, joka tulee lisättävän näytteen arvoksi. Sen mukaan, kuinka monta näytettä mediaanisuodattimen otoiksi otetaan, puhutaan esimerkiksi 15 3-, 5-ja 7-pisteisestä suodatuksesta. Jos näytepisteet valitaan pystysuuntaisesti tai vastaavasti halkaisijan suuntaisesti, puhutaan vastaavati vertikaalisesta tai diagonaa-lisesta suodattimesta. Mitä suurempi mediaanisuodatuksessa käytetty interpolointi-ikkuna on, sitä enemmän interpolointituloksen hyvyys vaihtelee kuvan sisällä tai kuvien välillä, toisin sanoen interpolointi voi onnistua erittäin hyvin tai hyvin, mutta 20 se voi myös epäonnistua tuottaen selviä virheitä kuvaan. Jos interpolointi-ikkuna toisaalta on pieni eli interpoloinnissa on mukana vain pieni määrä läheisiä näytteitä, interpolointi tuottaa laadullisesti tasaisemman tuloksen, toisin sanoen interpolointi ei useimmiten ole erityisen hyvä mutta ei kovin huonokaan.

.. V 25 Kuten edellä jo todettiin, keksinnön kohteena on erityisesti adaptiivinen ja epäline- ; : aarinen videokuvan interpolointimenetelmä. Seuraavassa tarkastellaan tekniikan ta- • · · • · ·; sona lyhyesti kahta tunnettua adaptiivista interpolointimenetelmää. Ensimmäinen • · : niistä on Philipsin kehittämä adaptiivinen juovavälkynnän poisto, joka tunnetaan ly-V - henteellä ALFRED (Adaptive Line Flicker Reduction). Siinä käytetään kahta inter- 30 polointialgoritmia, vertikaalista lineaarista keskiarvoistusta ja samoin vertikaalista 3-t ‘ pisteistä mediaanisuodatusta. Algoritmien käyttöä ohjataan siten, että mediaanisuo-datusta, jota ensisijaisesti käytetään, ei käytetä silloin, kun voimakkaita signaali-.!, komponentteja esiintyy taajuusalueella, jolla sen käyttö voi johtaa laskostumiseen.

Menetelmän periaatteena on siten, että tarkkaillaan kriittisellä taajuusalueella olevi-; ·' 35 en signaalikomponenttien energiaa ja tämän mukaisesti vaihdetaan tarvittaessa in-: '': terpolointialgoritmia. Tämän menetelmän haittapuolena on ensinnäkin se, että pel- : kästään vertikaalisen suodatuksen käyttö aiheuttaa kuvan vinoissa reunoissa serraa- tiota eli sahalaitaisuutta. Toinen haitta on se, että kytkeminen lineaarisen ja epäline- 98590 3 aarisen suodattimen välillä ei suinkaan ole yksinkertaista ja aiheuttaa helposti kuvaan enemmän virheitä kuin pelkästään yhden suodattimen käyttö.

Toinen tunnettu adaptiivinen menetelmä on suunnasta riippuva mediaanisuodatus 5 DDMF (Direction Dependent Median Filtering). Menetelmä perustuu siihen, että ennen kuin päätetään, mitä suuntaa mediaanisuodatuksessa käytetään, mitataan näytteen lähiympäristö tarkoituksena siinä mahdollisesti esiintyvän reunan suunnan ilmaiseminen. Interpolointisuunta valitaan suoritetun mittauksen perusteella. Periaate on siis se, että ensin tutkitaan lähiympäristö ja sitten päätetään, mitä suodatusta 10 sovelletaan. Tämän menetelmän etuna ALFREDein nähden on se, että vinot reunat saadaan periaatteessa ja yleensä tuotetuksi ilman serraatiota. Vaikka menetelmän periaate on yksinkertainen, sen käyttö vaatii varsinkin korkeataajuisilla signaalikom-ponenteilla huomattavan paljon tarkastelua ja testausta sen estämiseksi, ettei kuitenkin valita väärää interpolointisuuntaa, jolloin syntyvät virheet ovat erittäin selviä.

15 Menetelmän toteutus käytännössä on siten varsin monimutkainen.

Keksinnön tarkoituksena on saada aikaan adaptiivinen interpolointimenetelmä, jolla vältetään edellä mainitut tekniikan tason adaptiivisten interpolointimenetelmien haitat, joka on periaatteeltaan yksinkertainen ja jolla saavutetaan sekä laadultaan 20 korkeatasoinen että mahdollisimman virheetön interpolointitulos. Tämän tarkoituksen saavuttamiseksi keksinnön mukaiselle videokuvan adaptiiviselle interpolointi-menetelmälle on tunnusomaista se, mitä on esitetty patenttivaatimuksessa 1.

Keksinnön parhaana pidetyssä suoritusmuodossa käytetään ensisijaisena suodatuk- i i \ 25 sena suhteellisen laajaikkunaista epälineaarista interpolointia, esimerkiksi 7-pisteistä * l mediaanisuodatusta. Tämä menetelmä antaa enimmäkseen korkealaatuisen interpo-« · « ···; lointituloksen, jossa kuitenkin esiintyy selviä virheitä erityisesti pystysuuntaisten • l · ·· · ” reunojen alueilla. Keksinnön mukaisessa menetelmässä käytetään siksi myös vaihto-v ehtoista interpolointia, tässä suoritusmuodossa erityisesti 3-pisteistä vertikaalista 30 mediaanisuodatusta, jota sovelletaan silloin, kun ensisijainen suodatus antaa huonon ' tuloksen. Ensisijaisen suodatuksen tulokseen sovelletaan yksinkertaista testiä ympä-röivien näytteiden suhteen. Jos testi osoittaa tuloksen poikkeavan liiaksi ympäris-.'. töstä, kyseinen näytearvo tuotetaan vaihtoehtoisella interpolointimenetelmällä, joka on valittu siten, että se korjaa tehokkaasti ensisijaisella menetelmällä todennäköi-; 35 sesti syntyvät virheet.

98590 4

Keksinnön mukaista menetelmää ja erityisesti sen parhaana pidettyä suoritusmuotoa kuvataan seuraavassa yksityiskohtaisemmin viitaten oheiseen kuvaan 1, joka esittää mediaanisuodatuksessa käytettyä ikkunaa.

5 Kuvassa 1 on esitetty useimmiten käytetty 3*3 pisteen ikkuna, jossa määritetään mediaanisuodatuksella senhetkisen kentän (kenttä t) ikkunan keskelle lisättävä näy-tearvo I(n,m,t), jossa n osoittaa näytteen paikkaa juovalla, m osoittaa juovan numeroa ja t osoittaa, että on kyseessä senhetkinen kenttä. Yleisimmin käytetyissä menetelmissä mediaanisuodattimen otoiksi voidaan ottaa senhetkisen kentän t ylemmän 10 juovan m-1 ja alemman juovan m+1 paikoissa n-1, n ja n+1 olevat näytearvot sekä edellisen kentän t-1 juovalla m paikassa n oleva näytearvo. 7-pisteisessä mediaani-suodatuksessa ottoina ovat kaikki nämä näytearvot, 5-pisteisessä jätetään pois ylemmän ja alemman juovan paikassa n olevat arvot ja 3-pisteisessä on mukana keskellä olevan edellisen kentän näytearvon lisäksi jossakin suunnassa yksi näytearvo 15 ylemmästä ja yksi alemmasta juovasta. Niin sanottu 9-pisteinen mediaanisuodatin saadaan 7-pisteisestä painottamalla mukaan otettavia näytteitä tai niiden keskiarvoa jollakin sopivalla tavalla.

7-ja 5-pisteinen ja vertikaalinen 3-pisteinen mediaanisuodatus esitetään matemaatti-20 sesti seuraavasti: /(« — 1,w —1,0 I(n,m-l,t) + ) /(aa,am,O = MED! 7(aa,am,/-1) i I(n-\,m + l,t) /(aa,aw + 1,0 7(aj + 1,aai + 1,0 ; ♦' 7(aa-1,aaj-1,0 7(aa + 1,aai-1,0

«M

♦ I(n,m,t)= MED5 I(n,m,t-\) [/(η-Ι,/η + Ι,/) /(w + l,/w + l,/) «»« v -25 7(ai,aai-1,/ .: I(n,m,t)= MED3 7(aa,am,/-1) ··»· y{n,m + \,t) jossa I(n,m,t) on näytteen arvo kentän t juovan m paikassa n.

30 Jos käytetään laajaikkunaista suodatinta, esimerkiksi 7-pisteistä tai 5-pisteistä, saadaan yleensä hyvä interpolointitulos, mutta näiden suodattimien taipumuksena on laskostaa signaalia korkeilla vaaka-ja diagonaalitaajuuksilla. Tuloksena on laskos- 98590 5 tumien eli virheiden esiintymistä erityisesti kuvan pystysuorien reunojen alueella. Keksinnön mukaisessa menetelmässä käytetään siitä huolimatta ensisijaisesti yleensä hyvän interpolointituloksen antavaa interpolointimenetelmää, tällä hetkellä parhaana pidetyssä suoritusmuodossa 7-pisteistä mediaanisuodatusta, mutta jokainen 5 interpoloimalla tuotettu näytearvo testataan ympäristönsä suhteen. Jos testi osoittaa näytearvon poikkeavan liiaksi ympäristöstä, käytetään vaihtoehtoista, erityisesti odotettavissa olevien virheiden korjaamiseen sopivaa interpolointimenetelmää, ensisijaisessa suoritusmuodossa 3-pisteistä vertikaalista mediaanisuodatusta.

10 Parhaana pidetyssä suoritusmuodossa saatua interpoloitua näytearvoa testataan laskemalla pystysuunnassa absoluuttinen erosignaali, joka mittaa interpoloidun näytearvon eroavuutta yläpuolella ja alapuolella olevien näytearvojen määrittämästä ympäristöstä. Keksinnön ensisijainen suoritusmuoto esitetään matemaattisesti seuraavasti: 15 I(n-\,m-\,t) I(n,m-\,t) I(n + \,m-l,t) I(n,m,t)~ MED7 I(n,m,t-\) I(n-\,m + \,t) I{n,m + \,t) 7(n + l,/w + l,/)

Jos nyt abs(I(n,m-l,t) - I(n,m,t)) - abs(I(n,m-l,t) - I(n,m+l,t)) > thr, niin 20 I(n,mJ)= MED3 I(n,m,t-\) \ \ I(n,m + l,t) • · « ; ;* muutoin I(n,m,t) = I(n,m,t), * * * •••ί jossa thr on erosignaalille asetettu kynnysarvo.

• · ( • •fr : '25 Kokeiltaessa keksinnön ensisijaisen suoritusmuodon mukaista menetelmää videosignaalilla, jossa näytteet ovat 8-bittisiä, on käytetty kynnysarvon thr arvoa 8. Tätä • f arvoa käyttäen ensisijaisen interpoloinnin jälkeen esiintyneet laskostumat saatiin poistetuksi adaptiivisella interpoloinnilla varsin tehokkaasti.

30 Edellä on kuvattu yksityiskohtaisesti keksinnön parhaana pidettyä suoritusmuotoa, mutta alan ammattilainen ymmärtää, että keksinnön mukaisessa videokuvan adaptiivisessa interpolointimenetelmässä sekä ensisijainen että toissijainen interpolointi-.'. : menetelmä että testi, jota käytetään ensisijaisella interpolointimenetelmällä saadun näytearvon testaamiseen sen ympäristön suhteen, voivat vaihdella monin tavoin.

98590 6

Keksinnön mukaisessa menetelmässä on olennaista, että ensisijaisella interpolointi-menetelmällä, joka on suositeltavimmin yleisesti korkealaatuisen interpolointitulok-sen antava menetelmä, saatua näytearvoa testataan määrittämällä, eroaako se sallittua enemmän ympärillä olevista näytearvoista, ja jos eroaa, käytetään vaihtoehtoista 5 interpolointimenetelmää, joka on suositeltavimmin ensisijäist ’la menetelmällä todennäköisesti syntyviä virheitä tehokkaasti korjaava menetelmä. Alan ammattilaiselle on myös selvää, että vaihtoehtoisia interpolointimenetelmiä voi periaatteessa olla useampiakin kuin yksi, jolloin vaihtoehtoisella menetelmällä saatua interpolointitu-losta testataan edelleen ympäristön suhteen ja testin sitä edellyttäessä käytetään 10 toista vaihtoehtoista interpolointimenetelmää tai jolloin ensisijaisella menetelmällä saadun tuloksen testauksen perusteella valitaan käytettäväksi jokin vaihtoehtoisista interpolointimenetelmistä. Keksintö voi vaihdella oheisten patenttivaatimusten määrittämissä puitteissa.

I 4 « 1 • · • M « ··»( 4

• · ,J

•Il • M • · • . · I I ···· • · · • · ·

Claims (8)

98590 7

1. Videokuvan interpolointimenetelmä näytearvon määrittämiseksi kullekin inter-poloitavalle näytteelle sitä paikallisesti tai ajallisesti lähellä olevien näytteiden arvoista, menetelmän käsittäessä ensimmäisen interpolointimenetelmän ja toisen in- 5 terpolointimenetelmän, tunnettu siitä, että se sisältää vaiheet, joissa: kullekin interpoloitavalle näytteelle määritetään näytearvo ensimmäisellä in-terpolointimenetelmällä, testataan saadun näytearvon eroavuutta valittujen läheisten näytteiden muodostamasta ympäristöstä sekä 10 korvataan saatu näytearvo toisella interpolointimenetelmällä määritetyllä näy- tearvolla, jos eroavuus ylittää asetetun raja-arvon.

2. Patenttivaatimuksen 1 mukainen videokuvan interpolointimenetelmä, tunnettu siitä, että ainakin jompikumpi ensimmäisestä ja toisesta interpolointimenetelmästä 15 on epälineaarinen menetelmä.

3. Patenttivaatimuksen 1 tai 2 mukainen videokuvan interpolointimenetelmä, tunnettu siitä, että ensimmäinen interpolointimenetelmä on epälineaarinen ja määrittää näytear-20 von useammasta kuin kolmesta paikallisesti tai ajallisesti lähellä olevasta näytteestä, toinen interpolointimenetelmä on valittu siten, että se korvaa ensimmäisellä interpolointimenetelmällä saadut näytearvot näytearvoilla, joiden eroavuus testauksessa käytetystä valittujen läheisten näytteiden muodostamasta ympäristöstä on : asetetun raja-arvon alapuolella. 25

* : 4. Patenttivaatimuksen 3 mukainen videokuvan interpolointimenetelmä, tunnettu ·’·; siitä, että • «t • · · * ensimmäinen interpolointimenetelmä on 7-pisteinen mediaanisuodatus, V testauksessa käytetyn ympäristön muodostavat interpoloitavan näytteen suh- 30 teen samanaikaiset vertikaalisesti lähin yläpuolella oleva näyte ja vertikaalisesti lä- # <1 hin alapuolella oleva näyte j a toinen interpolointimenetelmä on vertikaalinen 3-pisteinen mediaanisuodatus.

5. Jonkin edellisen patenttivaatimuksen mukainen videokuvan interpolointimene-35 telmä, tunnettu siitä, että saadun näytearvon eroavuus valittujen läheisten näytteiden muodostamasta ympäristöstä testataan määrittämällä absoluuttinen erosignaali abs(I(n,m-1 ,t) - I(n,m,t)) - abs(I(n,m-1 ,t) - I(n,m+1 ,t)) ja vertaamalla sitä asetettuun kynnysarvoon, jolloin I(n,m,t) on ensimmäisellä interpolointimenetelmällä määri- 98590 8 tetty näytearvo, I(n,m-l,t) on interpoloitavan näytteen suhteen samanaikainen vertikaalisesti lähin yläpuolella oleva näyte ja I(n,m+l,t) on interpoloitavan näytteen suhteen samanaikainen vertikaalisesti lähin alapuolella oleva näyte.

6. Patenttivaatimuksen 5 mukainen videokuvan interpolointimenetelmä, tunnettu siitä, että asetettu kynnysarvo on 8, kun näytearvo määrätään 8 bitillä.

7. Jonkin edellisen patenttivaatimuksen mukainen videokuvan interpolointimene-telmä, tunnettu siitä, että se sisältää lisäksi yhden tai useampia vaiheita, joissa: 10 testataan uudelleen saadun näytearvon eroavuutta valittujen läheisten näyttei den muodostamasta ympäristöstä sekä korvataan saatu näytearvo tämän testauksen yhteydessä käytettävällä, ensimmäisestä ja toisesta menetelmästä eroavalla interpolointimenetelmällä määritetyllä näytearvolla, jos eroavuus ylittää asetetun raja-arvon. 15

8. Videokuvan interpolointimenetelmä näytearvon määrittämiseksi kullekin inter-poloitavalle näytteelle sitä paikallisesti tai ajallisesti lähellä olevien näytteiden arvoista, menetelmän käsittäessä ensimmäisen interpolointimenetelmän ja ainakin yhden toisen interpolointimenetelmän, tunnettu siitä, että se sisältää vaiheet, joissa: 20 kullekin interpoloitavalle näytteelle määritetään näytearvo ensimmäisellä in- terpolointimenetelmällä, testataan saadun näytearvon eroavuutta valittujen läheisten näytteiden muodos-, tamasta ympäristöstä sekä korvataan saatu näytearvo eroavuuden mukaan valitulla toisella interpolointi-j · ‘. 25 menetelmällä, jos eroavuus ylittää asetetun raja-arvon. « I • · • t a » »·· • i • «« t » - I · • 1 ( I • * · · 4 - 9 * « I I • » · 98590 9