FI89850B

FI89850B - Foerfarande och filter foer avlaegsning av brus fraon en bildsekvens

Info

Publication number: FI89850B
Application number: FI916162A
Authority: FI
Inventors: Matti Haemaelaeinen
Original assignee: Salon Televisiotehdas Oy
Priority date: 1991-12-30
Filing date: 1991-12-30
Publication date: 1993-08-13
Also published as: DE69231417D1; DE69231417T2; FI916162A0; EP0550166A3; EP0550166B1; EP0550166A2; FI89850C

Description

Menetelmä ja suodatin kuvasekvenssin kohinan poistamiseksi - Förfarande och filter för avlägsning av brus frän en bild- sekvens ' I ,'> f* s J .7 '. / 5

Esillä oleva keksintö koskee menetelmää ja suodatinta kuvasekvenssin kohinan poistamiseksi, jossa tuloinformaatio suodatetaan rekursiivisella suodattimena, jonka rekursiota adaptoidaan epälineaarisesta säätäjällä, ja tallennetaan 10 suodatettu informaatio muistiin ja saadaan edellinen suodatettu informaatio muistista.

Kuvasekvenssit ovat kolmiulotteisia (3-D) signaaleja. Ulottuvuuksista kaksi käsittävät kuvapinnan ja kolmas edustaa 15 aikaa. Lisäksi kuvasekvenssit käsittävät kolme eri kuvakom-ponenttia, jotka voivat olla esim. valotiheys- ja väriero-komponentit (Y,I,Q) tai (Y,U,V) tai värikomponentit (R,G,B). Kuvassa 1 on esitetty kuvasekvenssien rakenne, joka käsittää aika-akselilla t useita (kaksiulotteisia) kuvia. Lomiteltu 20 kuva voidaan jakaa parillisten ja parittomien juovien mukaan kahteen kenttään, joiden näytteitä voidaan käsitellä komponenteittaan tai vektoriarvoisina. Kuvasekvenssit ovat luonteeltaan varsin satunnaisia ja voivat käsittää liikkuvia ja liikkumattomia alueita. Näytteiden arvot voivat muuttua 25 tietyissä rajoissa kolmessa ulottuvuudessa x,y,t ja lisäksi kolmen kuvakomponentin suhteen, kuten edellä mainittiin. Liike kuvassa on esimerkki ilmiöstä, joka aiheuttaa äkillisiä muutoksia kuvasekvenssien sisältöön. Tämän takia kuvia toistavien laitteiden, kuten televisiovastaanottimien, ku-30 vantamislaitteiden ja tulevaisuuden suunnitelmiin kuuluvien multimedialaitteiden, olisi hyvä käsittää suodattimia, jotka säilyttävät nämä muutokset.

Kohina on luonnollinen ilmiö telekommunikaatiojärjestelmissä 35 ja esiintyy monella eri tavalla radio- ja televisioverkoissa. Jo kuvaa taltioitaessa muodostuu kohinaa televisiokamerassa. Lisäksi elektroniset piirit, joilla signaalia käsitellään ja siirretään, aiheuttavat kohinaa ja yhä lisää ko- f! r; o r n 2 uSuj'j hinaa aiheuttavat nauhurit, kun signaali kiertää kohinaises-sa silmukassa jälkituotannon yhteydessä. Lähetin, lähetys-kanava ja vastaanotin vääristävät myös signaalia. Riippuu tiedon siirtovälineestä, minkälaista kohinaa signaaliin sum-5 mautuu lähetyskanavalla, ts. käytetäänkö satelliitti- vai maanpäällistä siirtoa. Muita kohinaa sisältäviä lähteitä ovat esimerkiksi kohinaa ja naarmuja sisältävistä kaitafilmeistä valmistetut ohjelmat ja kohinaa sekä lisäksi drop-outeja käsittävät videokaseteilta katsottavat ohjelmat.

10 Vastaavasti kohinaa voivat sisältää paitsi televisiovas- taanottimen kuvasekvenssit myös edellä mainittujen kuvantamis- ja multimedialaitteiden kuvasekvenssit.

Kuvasekvenssin laatua voidaan parantaa digitaalisin suoda-15 tusmenetelmin. Suodatus parantaa kuvan laatua ja samalla helpottaa kuvan sisältämän informaation hyödyntämistä jatkokäsittelyssä. Koska televisiovastaanottimen, kuvantamislait-teen ja multimedialaitteen tulisi toistaa hyvänlaatuista kuvasekvenssiä kaikilla vastaanottamillaan eri signaaleilla, 20 tulee niiden kohinanpoistosuodattimien olla robusteja. Toisin sanoen suodattimien tulee poistaa tehokkaasti vaihtele-via kohinatyyppejä säilyttäen silti hyvän kuvanlaadun. Robustit suodattimet sietävät hyvin poikkeamia kohinan oletusarvoista ilman, että suodatuksen taso laskee merkittäväs-25 ti. Kohinan poistossa voidaan käyttää lineaarista ja epälineaarista suodatusta, joilla molemmilla on omat etunsa.

Lineaaristen menetelmien haittana voidaan pitää kuvan rajapintojen ja yksityiskohtien pyöristymistä. Visuaalisesti 30 lineaarinen suodatus voidaan havaita kuvan "pehmentymisenä" eli rajapinnat eivät näy jyrkästi muuttuvina askelina, vaan hitaasti esim. yhdestä arvosta toiseen muuttuvina ramppeina. Epälineaariset menetelmät, kuten mediaanisuodatus, sen sijaan säilyttävät kuvainformaatiossa toistuvasti ilmenevät 35 askelmuutokset.

Suodattimet eroavat toisistaan merkittävästi myös kohinan-vaimennusominaisuuksiensa perusteella. Käytännössä suuri osa Ο ·; r> ς 3 televisiovastaanottimiin saapuvasta kohinasta voidaan mallintaa normaalijakaumalla, jolle lineaariset menetelmät toimivat paremmin. Lähinnä satunnaisista syistä ja lähteistä kuten esim. teollisuus- tai tietoliikennehäiriöistä aiheutu-5 neet transientit ja matala kantoaalto/kohina-suhde aiheuttavat FM-demodulaattorin vaiheesta putoamisen. Nämä sekundääriset kohinapiikit ovat hyvin lyhytkestoisia ja korkea-amp-litudisia ja niitä kutsutaan yleisesti impulsseiksi.

10 Keskiarvottava suodatin saattaa antaa huonon tuloksen yhdenkin impulssin vaikuttaessa suodattimen sisääntulossa. Tästä syystä pelkästään lineaarisia suodattimia ei pidetä robusteina, sillä ne eivät rajoita impulssien maksimaalista vaikutusta ulostuloon. Vastaavasti mediaanisuodattimen ulostulo 15 on luotettava vakiosignaalille niin kauan kuin impulssien osuus sisääntulonäytteistä on alle puolet.

Lineaarisia ajan suuntaan keskiarvottavia suodattimia voidaan periaatteessa toteuttaa kahdella eri tavalla. Signaali 20 voidaan siirtää usean viive-elimen, kuten muistin, läpi, jossa jokaisen viive on yhden kuvajakson pituinen, minkä jälkeen jokaisen asteen signaalit keskiarvotetaan. Vaihtoehtoisesti voidaan käyttää rekursiivista suodatusta, joka on yleisesti tunnettu kohinanpoistomenetelmä. Tällöin kuvasek-25 venssiä suodatetaan yksiulotteisella ajassa keskiarvottaval-la rekursiivisella suodattimena, joka on esitetty kuvassa 2. Tämä suodatin tarvitsee ainoastaan yhden kuva- tai kent-tämuistin. Jatkossa yksinkertaisuuden vuoksi käytetään muis-tielementistä nimitystä kuvamuisti, vaikkakin lomitellulle 30 kuvalle rekursiivinen suodatin voidaan toteuttaa myös kent-tämuistilla. Tällöin oletetaan, etteivät parillinen ja pariton kenttä poikkea merkittävästi toisistaan. Suodattimen lähtösignaali Y(x,y,t) on 1/K murto-osa tulosignaalista X(x,y,t) ja 1-(1/K) murto-osa edellisen kuvan lähtösignaa-35 lista Y(x,y,t-1), jossa x ja y kuvaavat näytteen sijaintia kuvassa, t sijaintia aika-akselilla ja K on rekursiokerroin, joka on riippuvainen kuvainformaatiosta. Perättäisten kuvien vastaavat pisteet ja edellinen suodatettu kuva keskiarvottu- 4 b ? Ö 5 ^ vat seuraavasti: Y(x,y,t) = (1-1/K) * Y(x,y,t-1) + 1/K * X(x,y,t). Mikäli kuvamuisti 2 korvataan kenttämuistilla 2, paikallaan olevan kuvan suodatus ei enää toimi täysin virheettömästi, etenkään kuvan yksityiskohtien rajapinnoilla.

5 Edellä esitetystä kaavasta voidaan helposti huomata, että paikallaan olevalle kuvalle, suodattimen sisääntulosignaa-lissa X(x,y,t) tapahtuvat muutokset johtuvat pelkästään kohinasta. Tässä tapauksessa on edullista valita mahdollisimman suuri rekursiokertoimen K arvo. Yleensä rekursiivisten 10 suodattimien rekursiokertoimien arvot vaihtelevat välillä 1 < K <8. Ensimmäisen asteen (lineaarista) rekursiivista suodatinta ei voida suoraan käyttää kuvasekvenssien suodatukseen, sillä liikkuvat yksityiskohdat vääristyvät melko paljon. Jotta suodatin toimisi myös liikkuvilla alueilla, tulee 15 rekursiokerrointa K voida säätää siten, että aina kun suodatetaan aluetta, jonka paikalliset tilastolliset ominaisuudet viittaavat muutokseen kuvainformaatiossa, rekursiokerroin K voidaan pakottaa lähelle arvoa 1.

20 Ongelman asettelu liikeadaptiivisessa suodatuksessa on tyypillisesti hyvin samanlainen kuin edellä. Suurimmat eroavaisuudet ilmenevät liikkeentunnistukseen käytetyissä menetelmissä. Lähtökohtana näissä menetelmissä on yleensä liikkuvien kuva-alueiden suodattamatta jättäminen. Eräs vaihtoehto 25 liiketunnistukseen perustuvan ensimmäisen asteen rekursiivisen suodattimen toteuttamiseksi on esitetty kuvassa 3, jonka rakenne ei juurikaan eroa kuvan 2 ratkaisusta, vaan suodat-timeen lisätään liikkeentunnistuspiiri 4 kuvassa 2 esitetyn K:11a jakajan 3 sijaan. Liikkeenilmaisin 4 aiheuttaa vastaa-30 van K-kertoimen, jonka arvo lähestyy arvoa 1 kun televisiokuvassa esiintyvä liike lisääntyy. Liikkeenilmaisimen 4 periaatteelliset komponentit voidaan esittää esimerkiksi kuvan 4 esittämällä tavalla, jossa peräkkäisten kuvien ero-tuskuva 5 korjataan kuvaksi, jonka arvot vastaavat poik-35 keamaa keskiarvon suhteen (rectifying 6). Tämä kuva suodatetaan alipäästötyyppisellä suodattimena 7, ja lopuksi epälineaarisuus 8, joka voi olla esim. hakutaulukko, antaa uuden rekursiokertoimen. Alipäästösuodatus 7 vaimentaa kohinaa 5 89850 tunnistussignaalissa, mutta vaimentaa samalla varsinkin pienten liikkuvien yksityiskohtien erottuvuutta loiventamalla selkeitäkin rajapintoja. On muistettava, että impulssit pääsevät esteettä lineaarisen suodattimen sisääntuloon. Näin 5 ollen on syytä käyttää epälineaarisia suodattimia impulssien suodattamiseen.

Eräässä NTSC-standardille kehitetyssä kohinanpoistopiirissä on liikkeenilmaisimeen liitetty väriapukantoaallon kampa-10 suodatus. Kuvaan 4 verrattuna kampasuodatus on toteutettu ennen erokuvan 5 korjausta ja epälineaarisuutta 8. Väriapukantoaallon aiheuttamia häiriöitä voidaan luonnollisesti vähentää myös muissa liikkeentunnistusmenetelmissä, vaikka sitä ei ole erikseen esitetty kuvassa 4. Sama pätee myös 15 keksinnön mukaiseen suodattimeen, mikäli käytettävä lähetys-standardi sitä edellyttää. Näillä kaikilla edellä mainituilla menetelmillä joudutaan vaikeuksiin yleensä silloin, kun kohinan taso nousee niin suureksi, ettei liikkeen ja kohinan aiheuttamaa vaihtelua voida erottaa. Tätä haittaa on yritet-20 ty poistaa käyttämällä liikkeenilmaisimessa lisäksi globaalia kohinakerrointa, joka kuvaa lähetyksen yleistä kohina-tasoa. Tällä tavoin liikkeenilmaisimen epälineaarisuuden muotoa voidaan muuttaa tilanteen mukaan tai voidaan muuttaa erokuvan 5 intensiteettiä halutulla kertoimella C. Kohina-25 kerroin voidaan mitata ns. tyhjiltä juovilta.

Perinteisten rekursiivisten suodatusmenetelmien suurimmat puutteet ovat, ettei kohinaa poisteta liikkuvilta kuva-alueilta, suodatin ei vaimenna tehokkaasti impulssimaista kohi-30 naa, yksinkertaisten keskiarvottavien liikeilmaisimien tuottama liiketieto on reuna-alueilla epätarkkaa ja impulsiivinen kohina voidaan keskiarvottavaa liikkeenilmaisua käytettäessä helposti tulkita laajempana liikkuvana yksityiskohtana, jolloin suodattimen kohinanvaimennuskyky romahtaa.

35

Esillä olevalla keksinnöllä on tarkoitus toteuttaa kohinan-poistomenetelmä, jolla kuvasekvenssin laatua voidaan parantaa. Menetelmä perustuu lineaarisen ja epälineaarisen suoda- 6

S9 85J

tusmenetelmän yhdistelmään, jolla voidaan saavuttaa sekä tehokas kohinanvaimennus että säilyttää jopa yhden kuvaelementin suuruiset liikkumattomat yksityiskohdat kuvasekvens-sissä (mikäli käytetään kuvamuistia). Yksityiskohdat säilyt-5 täviin mediaanisuodattimiin verrattuna saavutetaan esillä olevalla keksinnöllä huomattavasti parempi gaussimaisen kohinan vaimennus. Keksinnön mukainen kohinanpoistomenetelmä säilyttää kuvan yksityiskohdat terävinä ja poistaa tehokkaasti sekä gaussimaista että Laplace-kohinaa tai yleisemmin 10 heavy-tailed noise eli kohinaa, jonka jakauman äärialueilla on normaalijakaumaan verrattuna selvästi enemmän tehoa, sekä edellisten sekajakautumia. Menetelmä liittyy edullisesti ku-vasekvenssin erillisten kuvakomponenttien suodattamiseen (Y,U,V; R,G,B; Y,I,Q). Suodatuksessa voidaan käsitellä dataa 15 myös vektoriarvoisena signaalina, kuten esim. vektorimedi-aanisuodatuksessa.

Keksinnölle on tunnusomaista se, että informaatio suodatetaan ensin epälineaarisella suodattimena.

20

Seuraavassa keksintöä selostetaan yksityiskohtaisemmin viittaamalla oheisiin piirustuksiin, joissa kuva 1 esittää kuvasekvenssin rakennetta, 25 kuva 2 esittää ensimmäisen asteen rekursiivista suodatinta, kuva 3 esittää liiketunnistukseen perustuvaa ensimmäisen asteen rekursiivista suodatinta, kuva 4 esittää liikeilmaisimen periaatteellista lohkokaaviota, 30 kuva 5 esittää periaatteellista lohkokaaviota keksinnön mu kaisesta suodattimesta, kuva 6 esittää keksinnön mukaisen suodatuksen vaikutusta kohina jakaumaan, j a kuva 7 esittää yksityiskohtaisempaa lohkokaaviota keksinnön 35 mukaisesta suodattimesta.

Kuvia 1-4 selostettiin jo edellä tekniikan tasoa kuvattaes sa. Seuraavassa keksintöä selostetaan viittaamalla kuviin 5-7.

7 (·. ϋ '' t ' u s ^ u 5 Kuvassa 5 on esitetty periaatteellinen lohkokaavio keksinnön mukaisen menetelmän toteutuksesta suodattimena. Uutta suodattimen rakenteessa on epälineaarisen suodattimen 9 rooli. Kaikki data, jota keskiarvotetaan rekursiivisella suodattimena 10, suodatetaan ensin epälineaarisella suodattimena 10 9, joka toimii yksityiskohdat säilyttävänä robustina suodat timena. Kuvassa 6 on esitetty, kuinka epälineaarinen suodatin poistaa impulssit A ja parantaa reunojen tunnistettavuutta, koska epälineaarinen suodatin 9 säilyttää reunat ja vaimentaa kohinaa voimakkaammin tasaisilla kuva-alueilla 15 kuin reuna-alueilla, ja rekursiivinen suodatin 10 vaimentaa tehokkaammin matala-amplitudista (short and medium tailed noise) kohinajakaumaa B, sillä, kuten edellä mainittiin, liikkeentunnistus tulkitsee suuret poikkeamat liikkeenä, eikä impulsseja siitä johtuen suodateta. Kuvassa 6 lyhyellä 20 viivoituksella esitetty käyrä esittää alkuperäistä suodatta-mattoman signaalin kohinajakaumaa 12, pitkällä viivoituksella esitetty käyrä esittää epälineaarisella suodattimena, esimerkiksi mediaanisuodattimella, suodatetun signaalin kohina jakaumaa 13 ja yhtenäisellä viivalla esitetty käyrä 25 esittää keksinnön mukaisella suodattimena suodatetun signaalin kohinajakaumaa 14.

Epälineaarisena suodattimena 9 voidaan edullisesti käyttää useita järjestystietoon perustuvia suodattimia (rank-order 30 based filter), joihin kuuluvat esimerkiksi kaikki mediaani-(Median Filter, MF), painotettu mediaani- (Weighted Median, WM), monikerrosmediaani- (Multilayer Median Filter, MMF) ja maksimi/mediaanisuodattimet (Max/median) tai niitä voidaan soveltaa osana suodatinkokonaisuutta. Epälineaarisena suo-35 dattimena 9 voi luonnollisesti olla myös jokin muu epälineaarinen suodatin. Epälineaarinen suodatin voi virittää 1-, 2- tai 3-ulotteisen ikkunan joko kuvatasoon tai kuva- ja aikatasoon. Ikkunalla tarkoitetaan eräänlaista ympäristöä, ,'· r\ r\ p v 8 y · ? υ jossa on tarkasteltava näyte ja sitä lähinnä ympäröivät naa-puripisteet. Ikkunaa liikutetaan kuvasekvenssissä siten, että jokaisen kuvasekvenssin näytteen arvoa estimoidaan kyseessä olevaan pisteeseen asemoidun ikkunan sisältämien 5 näytteiden arvojen perusteella. Suodatin käyttää suodatuksessa uuden arvon laskemiseen useita pisteitä (näytteitä), jotka voidaan valita siten, että ne sijaitsevat toisiinsa nähden yhdessä suunnassa kuvatasossa tai aikatasossa; tällöin ikkuna on 1-ulotteinen. Jos näytteet sijaitsevat toi-10 siinsa nähden kahdessa suunnassa kuvatasossa tai yhdessä suunnassa kuvatasossa ja yhdessä aikatasossa, on ikkuna 2-ulotteinen. Jos suodattimen laskentaan käytettävät näytteet sijaitsevat toisiinsa nähden kahdessa suunnassa kuvatasossa ja lisäksi sijaitsevat eri aikatasoissa, on ikkuna 3-ulot-15 teinen. Rekursion tehokkuuden kannalta tällä on merkitystä lähinnä sikäli, että esim. viiden pisteen mediaanisuodatti-men, jonka määritelmä on Ymed5(x,y,t) = MED( X( x, y, t-1), X(x-l,y,t), X(x,y,t), X(x+l,y,t), X(x,y,t+1)), suodattama kohina korreloi varsin voimakkaasti ajan suhteen sisältäen tasaisia 20 (streaking) alueita. Rekursiivinen suodatin 10 vaimentaa huomattavasti heikommin korreloivaa kohinaa kuin esimerkiksi kuvatason virittävän (spatiaalisen) viiden pisteen mediaani-suodattimen tuottamaa ajan suhteen korreloimatonta kohinaa. Spatiaalinen suodatin ei lisää kohinan korrelaatiota ajan 25 suhteen. Suuremmilla epälineaarisen suodattimen ikkunoilla ja monitasorakenteella voidaan saavuttaa lievempi kohinan korrelaatio. Esimerkkinä hyvin toimivasta painotetusta medi-aanisuodattimesta on suodatin WM7, jolla ikkunan koko on 7 ja painojen summa 9 ja määritelmä Y^fx^/t) = MED(3*X(x,-30 y,t), X(x,y,t-1), X(x-l,y,t), X(x,y+l,t), X(x,y-l,t), X(x+l,y,t), X(x,y,t+1)), jossa ♦ tarkoittaa näytteen toistoa luvun osoittama määrä eli 3^X(x,y,t) = X(x,y,t), X(x,y,t), X(x,y,t). Oleellista keksinnön mukaisen suodatinkokonaisuu-den toiminnalle on, että epälineaarinen suodatin 9 säilyttää 35 kuvan yksityiskohdat, poistaa tehokkaasti kohinajakauman ääriarvot, parantaa rekursiokertoimen adaption toimivuutta, ja lisäksi, ettei kohina korreloi voimakkaasti temporaalisessa suunnassa.

9 ' ; S j

Rekursiokertoimen säätäjän 11 adaptointiin voidaan käyttää moniulotteista LMS-optimointimenetelmää (Least Mean Square, pienimmän neliösumman optimointimenetelmä), joka tunnetaan nimellä Back-propagation -menetelmä. Siinä jatkuva ja jatku-5 vast! derivoituva nk. sigmoid-funktio adaptoi rekursioker-toimen K käänteisarvoa seuraavasti: l/K(x)=l/{l+exp( -(Σω^-»„))}, jossa ja ω0 ovat optimoitavia parametrejä ja x* ovat rekursiokertoimen arvoon vaikuttavia muuttujia. Menetelmä on yleisesti tunnettu ja sigmoid-funktio voidaan korvata muil-10 lakin funktioilla, kuten paloittain lineaarisilla funktioilla. Epälineaarisen säätäjän 11 optimointiin voidaan käyttää myös muihin virhekriteereihin perustuvia optimointimenetelmiä, kuten LMA-optimointimenetelmä (Least Mean Absolute, pienimmän absoluuttisumman optimointimenetelmä). Yleisesti 15 voidaan sanoa, että sopivia optimointimenetelmiä ovat Lp-nor-mia käyttävät menetelmät, joita ovat myös LMS- ja LMA-mene-telmät. Back-propagation -menetelmä on keksinnön mukaiseen tarkoitukseen hyvin sopiva optimointimenetelmä ja sigmoid-funktion muuttujina voidaan käyttää esimerkiksi erokuvana 20 x: = |M(x,y,t) - Y(x,y,t-l)| ja edellinen rekursiokerroin (käänteisarvo) x2 = 1/K(x,y,t-1), joiden havaittiin kuvaavan sekvenssin paikallisia tilastollisia ominaisuuksia yllättä--*-_j vän hyvin. Sigmoid-funktio voidaan korvata jollakin muulla epälineaarisuudella, joka approksimoituna muistipiirille voi 25 antaa lähes vastaavan tuloksen. Sigmoid-funktion sisääntu- losignaaleina voidaan käyttää lukuisia eri vaihtoehtoja ero-kuvan lisäksi. Näin ollen keksinnön mukaiselle suodattimelle voidaan esittää yksityiskohtaisempi kuvaus kuvassa 7, jossa epälineaarinen suodatin 9 suojaa liikkeen tunnistusta kohi-30 nan vaikutukselta, rekursiivinen suodatin 10 suorittaa kes-kiarvotuksen ja rekursiokertoimen adaptointi suoritetaan sigmoid-funktiolla säätäjässä 11, jonka funktion parametrien Oj ja ω0 optimointiin voidaan käyttää Back-propagation -menetelmää, ja epälineaarisen suodattimen vaatiman muistin li-35 säksi suodattimessa tarvitaan yksi kuvamuisti edellisen kuvan tallentamiseen. Jos muuta informaatiota halutaan tallentaa, se vaatii luonnollisesti muistin.

10 8 9 8 5 ϋ Säätäjän 11 rekursiiviselle suodattimelle 10 tuottama anto ei välttämättä ole tässä aikaisemmin käytetty ja kuvissa 5 ja 7 käytetty rekursiokerroin K, sillä kuten sigmoid-funk-tiokin tuottaa K:n käänteisarvon 1/K, voidaan rekursiivisen 5 suodattimen määritelmän muutoksella käyttää jotakin toista esitystä. Kaikissa tapauksissa on olennaista se, että säätäjä 11 välittää suodattimelle 10 tiedon edellisen lähtöinfor-maation Y(x,y,t-1) ja uuden informaation X(x,y,t) keskinäisestä painotuksesta. Vastaavasti edellisessä kuvassa käyte-10 tyn rekursiokertoimen K(x,y,t-1), jota säätäjä 11 voi käyttää tai olla käyttämättä rekursiokertoimen K adaptoin-nissa, sijaan voidaan käyttää jotakin toista rekursioker-rointa K( x-i,y-j,t-k). Säätäjä 11 saa edellisen kuvan suodatuksessa käytetyn rekursiokertoimen K(x,y,t-1) tai jonkin 15 toisen rekursiokertoimen K(x-i,y-j,t-k) tai sitä vastaavan informaation rekursiiviselta suodattimelta muistin kautta (ei esitetty). Epälineaarisen säätäjän 11 parametrien adap-tointi voidaan suorittaa etukäteen tai jatkuva-aikaisesti suodatuksen aikana. Säätöön voidaan käyttää epälineaarisen 20 suodattimen lähtöinformaation M(x,y,t) ja muistista saatavan edellisen lähtöinformaation Y(x,y,t-1) muodostaman eroku-vainformaation itseisarvon |M(x,y,t) - Y(x,y,t-l)| lisäksi luonnollisesti myös kuvien erotusta M(x,y,t) - Y(x,y,t-1) tai halutulla suodattimena muokattua erokuvainformaatiota.

.25 Voidaan käyttää myös suodattamattoman informaation X(x,y,t) ja edellisen lähtöinformaation Y(x,y,t-1) muodostamaa erokuvainformaatiota X(x,y,t) - Y(x,y,t-1) tai tämän itseisarvoa |X(x,y,t) - Y(x,y,t-l)| tai jotakin muuten tuotettua signaalia, joka kuvaa erokuvainformaatiota. Säätäjän 11 toisen 30 tulon ei tarvitse olla epälineaarisen suodattimen 9 tulo X(x,y,t) tai lähtö M(x,y,t) vaan voi olla myös jokin muu epälineaarisen suodattimen 9 tuottama estimaatti tai välitulos, joka voidaan tuottaa muulla tavoin epälineaarisen suodattimen 9 sisääntulonäytteistä (ei esitetty).

35

Keksinnölle on olennaista epälineaarisen 9 ja rekursiivisen 10 suodattimen yhdistelmä, eikä se rajoitu tässä esitettyihin suoritusmuotoihin, vaan rekursiivinen suodatin 10 voi- 11 ) c> ! daan sijoittaa myös epälineaarisen suodattimen 9 sisälle, jolloin epälineaarinen suodatin 9 on myös rekursiivinen, esimerkiksi rekursiivinen mediaanisuodatin. Tällöin edellisen kuvan informaatio viedään paitsi säätäjään 11 myös epä-5 lineaariseen suodattimeen. Rekursiokerrointa adaptoiva säätäjä 11 voi myös olla osana epälineaarista suodatinta 9.

Claims

1. Menetelmä kuvasekvenssin kohinan poistamiseksi, jossa tuloinformaatio X(x,y,t) suodatetaan rekursiivisella suodattimena (10), jonka rekursiota (K(x,y,t)) adaptoidaan epä- 5 lineaarisesti säätäjällä (11), ja talletetaan suodatettu informaatio Y(x,y,t) muistiin (2) ja saadaan edellinen suodatettu informaatio Y(x,y,t-1) muistista (2), tunnet-t u siitä, että informaatio X(x,y,t) suodatetaan ensin epälineaarisella suodattimena (9). 10

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että edellinen suodatettu informaatio Y(x,y,t-1) viedään muistista (2) rekursion säätäjään (11) seuraavan tuloinformaation X(x,y,t) rekursiivista suodatusta 15 varten.

3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että edellinen suodatettu informaatio Y(x,y,t-1) viedään muistista (2) myös epälineaariseen suo- 20 dattimeen (9) seuraavan tuloinformaation X(x,y,t) rekursii vista suodatusta varten.

4. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen '25 (10) rekursion (K(x,y,t)) adaptointiin käytetään jotakin erokuvainformaatiota kuvaavaa tietoa.

5. Patenttivaatimuksen 4 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) rekur- ‘30 sion (K(x,y,t)) adaptointiin käytetään useita eri erokuvainf ormaatioita .

6. Patenttivaatimuksen 4 tai 5 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) 35 rekursion (K(x,y,t)) adaptointiin käytetään suodattamattoman informaation X(x,y,t) ja muistista (2) saatavan edellisen lähtöinformaation Y(x,y,t-1) muodostamaa erokuvainformaatiota X (x, y, t) - Y (x,y, t-1) . 13 .·; g ο ς p

7. Patenttivaatimuksen 4 tai 5 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) rekursion (K(x,y,t)) adaptointiin käytetään epälineaarisen suodattimen (9) lähtöinformaation M(x,y,t) ja muistista (2) 5 saatavan edellisen lähtöinformaation Y(x,y,t-1) muodostamaa erokuvainformaatiota M(x,y,t)-Y(x,y,t-l).

8. Patenttivaatimuksen 4 tai 5 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) 10 rekursion (K(x,y,t)) adaptointiin käytetään jonkin epälineaarisen suodattimen (9) tuottaman estimaatin ja muistista (2) saatavan edellisen lähtöinformaation Y(x,y,t-1) muodostamaa erokuvainformaatiota.

9. Jonkin patenttivaatimuksen 6-8 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) rekursion (K(x,y,t)) adaptointiin käytetään erokuvainformaa-tion itseisarvoa.

10. Jonkin patenttivaatimuksen 4-9 mukainen menetelmä, tunnettu siitä, että rekursiivisen suodattimen (10) rekursion (K(x,y,t)) adaptointiin käytetään lisäksi jotakin toista rekursioinformaatiota (K(x-i,y-j,t-k)).

11. Patenttivaatimuksen 10 mukainen menetelmä, tun nettu siitä, että suodatetaan rekursion (K(x,y,t)) adaptoinnissa käytettävää toista rekursioinformaatiota (K(x-i,y-j,t-k)) ennen kuin se viedään säätäjään (11). ;':30 12. Jonkin edellisen patenttivaatimuksen mukainen menetel mä, tunnettu siitä, että rekursiokertoimen adaptointiin käytetään Lp-normia käyttävää optimointimenetelmää.

12 39Β5ϋ

13. Jonkin patenttivaatimuksen 1-11 mukainen menetelmä, '35 tunnettu siitä, että rekursiokertoimen adaptointiin käytetään paloittain lineaarista funktiota. s 9 β 5 ϋ

14. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että kuvasekvenssi on tele-visiokuvasekvenssi.

15. Jonkin patenttivaatimuksen 1-13 mukainen menetelmä, tunnettu siitä, että kuvasekvenssi on kuvantamis -laitteen kuvasekvenssi.

16. Jonkin patenttivaatimuksen 1-13 mukainen menetelmä, 10 tunnettu siitä, että kuvasekvenssi on multimedia- laitteen kuvasekvenssi.

17. Suodatin kuvasekvenssin kohinan poistamiseksi, joka suodatin käsittää 15. rekursiivisen suodattimen (10) tuloinformaation X(x,y,t) suodattamiseen ja lähtöinformaation Y(x,y,t) antamiseksi, - rekursiiviseen suodattimeen (10) liitetyn epälineaarisen säätäjän (11) rekursiivisen suodattimen (10) rekursion (K(x,y,t)) adaptoimiseksi, ja 20. rekursiivisen suodattimen (10) lähtöön liitetyn muistin (2) suodatetun informaation Y(x,y,t) tallentamiseksi, tunnettu siitä, että siinä on epälineaarinen suodatin (9), jonka lähtö on kytketty rekursiivisen suodattimen (10) tuloon ja johon suodattamaton informaatio X(x,y,t) tuo-25 daan ensin ja josta se suodatettuna M(x,y,t) viedään rekursiiviseen suodattimeen (10).

18. Patenttivaatimuksen 17 mukainen suodatin, tunnettu siitä, että muistin (2) lähtö on kytketty säätä- 30 jän (li) yhteen tuloon siten, että edellinen suodatettu läh-töinformaatio Y(x,y,t-1) viedään muistista (2) säätäjään (11) .

19. Patenttivaatimuksen 18 mukainen suodatin, t u n -35 n e t t u siitä, että muistin (2) lähtö on kytketty myös epälineaariseen suodattimeen (9) siten, että edellinen suodatettu lähtöinformaatio Y(x,y,t-1) viedään muistista (2) myös epälineaariseen suodattimeen (9). 15 δ 9 8 5 0

20. Patenttivaatimuksen 18 tai 19 mukainen suodatin, tunnettu siitä, että epälineaarisen suodattimen (9) lähtö on kytketty säätäjän (11) yhteen tuloon siten, että epälineaarisen suodattimen (9) lähtöinformaatio M(x,y,t) 5 viedään säätäjään (11), ja säätäjän (11) lähtö on kytketty rekursiiviseen suodattimeen (10) siten, että säätäjästä (li) viedään adaptoitu rekursiokerroin (K(x,y,t)) rekursiiviseen suodattimeen (10).

21. Patenttivaatimuksen 18 tai 19 mukainen suodatin, tunnettu siitä, että sen tulo on kytketty säätäjän (11) yhteen tuloon siten, että tuloinformaatio X(x,y,t) viedään säätäjään (11), ja säätäjän (11) lähtö on kytketty rekursiiviseen suodattimeen (10) siten, että säätäjästä (il) 15 viedään adaptoitu rekursiokerroin (K(x,y,t)) rekursiiviseen suodattimeen (10).

22. Patenttivaatimuksen 18 tai 19 mukainen suodatin, tunnettu siitä, että epälineaarinen suodatin (9) on 20 kytketty säätäjän (11) yhteen tuloon siten, että epälineaarisen suodattimen (9) tuottama jokin estimaatti viedään säätäjään (11), ja säätäjän (11) lähtö on kytketty rekursiiviseen suodattimeen (10) siten, että säätäjästä (11) viedään adaptoitu rekursiokerroin (K(x,y,t)) rekursiiviseen suodat-'· 25 timeen (10) .

23. Patenttivaatimuksen 20 ja 22 mukainen suodatin, tunnettu siitä, että epälineaarinen suodatin (9) on kytketty säätäjän (11) yhteen tuloon siten, että epälineaarisen 30 suodattimen (9) tuottaman tuloksen lisäksi viedään jokin muu estimaatti säätäjään (11) .

24. Patenttivaatimuksen 18 tai 19 mukainen suodatin, tunnettu siitä, että rekursiivinen suodatin (10) on 35 kytketty säätäjään siten, että rekursiivisesta suodattimesta (10) viedään säätäjään (11) jokin toinen rekursiokerroin (K(x-i,y-j,t-k)). 16 39Ρ5υ

25. Patenttivaatimuksen 19 mukainen suodatin, tunnettu siitä, että epälineaarinen suodatin (9) on rekursiivinen epälineaarinen suodatin.

26. Patenttivaatimuksen 17 tai 25 mukainen suodatin, tunnettu siitä, että epälineaarinen suodatin (9) on järjestystietoon perustuva suodatin (rank-order based filter) .

27. Patenttivaatimuksen 17 mukainen suodatin, tun nettu siitä, että rekursion säätäjä (11) on osana epälineaarista suodatinta (9).

28. Jonkin edellisen patenttivaatimuksen mukainen suodatin, 15 tunnettu siitä, että rekursiivinen suodatin (10) on vähintään ensimmäisen asteen rekursiivinen suodatin (10).

29. Jonkin patenttivaatimuksen 17 - 28 mukainen suodatin, tunnettu siitä, että kuvasekvenssi on televisio- 20 kuvasekvenssi.

30. Jonkin patenttivaatimuksen 17 - 28 mukainen suodatin, tunnettu siitä, että kuvasekvenssi on kuvantamis-laitteen kuvasekvenssi. 25

31. Jonkin patenttivaatimuksen 17 - 28 mukainen suodatin, tunnettu siitä, että kuvasekvenssi on multimedia-laitteen kuvasekvenssi.

30 Patentkrav