FI89995C - Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator - Google Patents

Description

Menetelmä televisiokuvan juovan reuna-adaptiiviseksi inter- poloimiseksi sekä interpolaattori ! 99995

Keksintö koskee menetelmää, jolla näytteistetyn televisioku-5 van juovien väliin interpoloidaan uusi juova käyttäen reunan suunnan ilmaisevaa reunan tunnistusta.

Tunnetusti normaali vastaanotettu televisiokuva muodostuu kahdesta kentästä, jotka pyyhkäistään lomitellusti televisi-10 on näytölle eli ensin pyyhkäistään parittoman kentän juovat ja näiden väliin sitten parillisen kentän juovat. Lomiteltu pyyhkäisy yhdessä alhaisen kenttätaajuuden (50 Hz tai 60 Hz) kanssa tuottaa näkyviä haittoja, kuten juovien välinen väl-kyntä, juovan ryömintä ja suurten kuva-alueiden välkyntä.

15 Juovavälkynnän ja valkokentän välkynnän pienentämiseksi sekä kuvan parantamiseksi muutoin on kehitetty erilaisia menetelmiä vastaanotetun televisiokuvan parantamiseksi pyyhkäisy-taajuutta nostamalla signaalinkäsittelyn keinoin. Seuraavis-sa esimerkeissä käytetään 50 Hz:n kenttätaajuusjärjestelmää, 20 mutta periaate on sama 60 Hz:n järjestelmässä. Niinpä alkuperäinen 625/2:1/50 Hz -formaatissa oleva kuva voidaan muuntaa progressiivisesti näytetyksi kuvaksi, jonka formaatti on 625/1:1/50 Hz. Tällöin lomittelematon kuva on muodostettu alkuperäisistä ja interpoloiduista juovista. Kenttätaajuus, 25 joka on nyt myös kuvataajuus, pysyy edelleen samana, mutta juovataajuus on kasvatettu kaksinkertaiseksi. Kukin kuva-kenttä käsittää siis vuorotellen alkuperäisiä juovia ja in-terpoloituja juovia. Voidaan myös muodostaa kuva, jossa juovien lukumäärä on kaksinkertainen vastaanotettuun kuvaan 30 verrattuna. Interpoloidut juovat näytetään vuorotellen alkuperäisten kanssa. Tällöin kuva muodostuu kahdesta lomitellusti pyyhkäistystä 625 juovan kentästä, joten formaatti on 1250/2:1/50 Hz. Kenttätaajuus on edelleen sama kuin alkuperäinen, mutta juovataajuus on kaksikertainen. Kolmanneksi 35 voidaan muodostaa kuva, jossa joka toinen kenttä on alkuperäinen ja joka toinen on kokonaan interpoloitu. Alkuperäiset ja interpoloidut kentät näytetään 100 Hz:n taajuudella siten, että kahden perättäisen vastaanotetun kentän väliin 89995 2 interpoloidaan kaksi uutta kenttää. Tätä tapaa merkitään AB'A'B:llä ja A' sekä B' merkitsevät kokonaan interpoloituja kenttiä. Uusi kuva on siten formaatiltaan 625/2:1/100 Hz, joten sekä kenttätaajuus että juovataajuus ovat kaksinker-5 taistuneet. Muitakin tapoja vastaanotetun televisiokuvan parantamiseen on olemassa, mutta edellä esitetyille tavoille on yhteistä, että juovataajuuden nostamiseen on muodostettava vanhojen juovien avulla uusia juovia jollakin sopivalla interpolaatioalgoritmilla.

10

Uusien juovien muodostamiseen interpoloimalla sen pikselit käyttäen saman ja/tai edeltävän kentän pikseleitä on kehitetty lukuisia erilaisia menetelmiä. Yksinkertaisin on juovan toisto, jolloin uusi juova on täsmälleen sama kuin edel-15 tävä alkuperäinen juova. Tämä sopii käytettäväksi kuvan liikkuvilla alueilla, mikäli diagonaalisia tai horisontaalisia reunoja ei ole kyseisellä alueella. Jos reunoja on, aiheutuu niistä reunojen värinää sekä diagonaaliviivojen toistuminen sahalaitaisena. Toinen tapa on muodostaa uuden juo-20 van pikselit edeltävän ja seuraavan juovan vastaavan kohdan pikseleiden keskiarvona. Tämä tapa on yksikertainen mutta kaksidimensionaalisesa kuvankäsittelyssä etenkin stationaa-risissa kuva-alueissa se tuottaa reunojen epäterävyyden ohella myös niiden näkyvän sahalaitaisuuden. Kolmas tapa on 25 kentän siirto, jossa koko uusi kenttä on sama kuin edeltävä kenttä eli kentän juovat ovat edeltävän kentän juovien kopiota. Tämä tapa on käyttökelpoinen vain kuvan stationaari-silla alueilla.

30 Edellä mainitut kolme tapaa edustavat menetelmiä, joissa käytettävät algoritmit ovat kiinteitä. Viimeksi mainittua menetelmää lukuunottamatta ne tarvitsevat vain vähän muistia ja algoritmit ovat yksinkertaisia. Signaaliprosessorit mahdollistavat kuitenkin tehokkaampien mediaanioperaatiota ’5 käyttävien menetelmien käytön, jolloin interpolointialgorit-meistä voidaan tehdä itseadaptoituvia. Mediaanioperaatiossa tulot, jotka edustavat pikseleitä tai niistä muokkaamalla saatuja näytteitä, järjestetään suuruusjärjestykseen ja ope- 3 .89995 raation lähtöarvo on tuloarvojen mediaani. Jotkin tuloar-voista voivat olla painotettuja ja mediaanioperaatio voi sisältää myös lineaarisia alirakenteita. Mediaanioperaatioon voidaan ottaa pikseleitä interpoloitavan pikselin naapurus-5 tosta sekä samasta kentästä että edeltävästä kentästä. Yksinkertainen 3 pisteen interpolaattori on mediaanioperaatio, jossa tuloina ovat interpoloitavan pisteen ylä- ja alapuolella olevat tunnetut pisteet sekä interpoloitavaa pistettä vastaava piste edeltävällä juovalla. Tämä interpolaattori 10 pyrkii säilyttämään kuvan spatiaalisen ja temporaalisen sisällön, mutta koska spatiaalinen interpolointi on rajoitettu pystysuuntaiseksi, toistuvat diagonaaliset viivat sahalaitaisina. 3 pisteen interpolaattorin rajoituksia on kehitetty korvaamaan kompleksisempia suodatinrakenteita, esimerkiksi 7 15 pisteen mediaanisuodatin, jossa jotkin tuloarvot voivat olla painotettuja. Sentyyppisten suodattimien rajoitus on kuitenkin se, etteivät ne kykenene toistamaan viivoja, joiden leveys on vain yksi pikseli, jolloin seurauksena on laskostuminen kuva-alueilla, joissa on suuret taajuudet. Lisäksi 20 reunaviivojen sahalaitaistumista esiintyy ja etenkin paino-kertoimia käytettäessä esiintyy välkyntää kuva-alueilla, joilla on suuret vertikaalitaajuudet. Toisaalta 7 pisteen mediaani säilyttää hyvin askelmaiset reunat ja reunat, jotka muodostuvat kahdesta vinosti alaspäin olevasta linjasta 25 ("katto"-muoto).

Kolmannen ryhmän interpolointimenetelmiä muodostavat adap tiiviset menetelmät. Niiden perusajatus on se, että käytettävät algoritmit valitaan kuvan liikesisällön mukaan. Täl-30 löin liikkuvilla kuva-alueilla käytetään spatiaalista inter polointia ja stationaarisilla alueilla käytetään temporaalista interpolointia. Liikkuvilla kuva-alueilla pyritään lisäksi reunojen hyvään toistoon. Näiden menetelmien vaikeus on erityisesti siinä, kuinka voidaan tunnistaa liike ja sen 35 suunta luotettavasti ja kuinka voidaan tunnistaa reuna ja sen suunta.

.89995 4

On tunnettu Philipsin esittämä interpolointimenetelmä ALFRED (Adaptive Line Flicker Reduction). Se käyttää kahta eri in-terpolointialgoritmia: lineaarista (keskiarvoistaminen) ja 5 mediaanioperaatioon (3 pisteen mediaani) perustuvaa algoritmia. Syynä kahteen interpolaattoriin on se, että 3 pisteen mediaanisuodattimen vaste on nolla kun taajuus i/3*f, ja sillä on 180 asteen vaihe-ero kun taajuus on l/2*fa. Sen vuoksi on syytä välttää suodatusta mediaanisuodattimella näillä 10 taajuuksilla ja käyttää sen sijaan lineaarista interpolointia. Alfred-menetelmässä on adaptiivinen kontrollilohko, joka tutkii signaalikomponenttien spektraalista energiaa.

Jos se ylittää määrätyn rajan, ohjaa häivytyslohko asteittain interpoloinnin mediaanisuodatuksesta lineaariseen in-15 terpolaatiolohkoon ja rajan jälleen alittuessa interpolointi siirtyy taas asteittain mediaanioperaatioksi.

Kaikkien edellä esitettyjen tunnettujen menetelmien etuna on, että ne ovat kohtuullisen yksinkertaisia. Kaikille niil-20 le on myös yhteistä se, että niissä ei millään tavalla tutkita kuvassa olevien reunojen suuntaa, jolloin interpoloi-dussa uudessa kuvassa on selvästi nähtävissä suorien reunojen muuttuminen sahalaitaisiksi. Joissakin menetelmissä, etenkin 3 pisteen mediaanioperaatiossa, suora viiva saattaa 25 katketa. Sahalaitaisuus, viivan katkeaminen ja reuna-alueiden epäterävyys riippuu suuresti reuna-alueen suunnasta ja myös kuvan liikesisällöstä. Näiden haitallisten ilmiöiden vähentämiseksi on kehitettävä menetelmä, joka tutkii reunan suuntaa, ja kun se on saatu selville, valitaan interpoloin-30 tialgoritmi reunatiedon mukaan. Erään tällaisen menetelmän on esittänyt T. Doyle et ai., jossa käytetään suuntariippu-vaa mediaanisuodatinta DDMF (direction dependent median filter) . Kuvassa 1 on esitetty tämän suodattimen toimintaikku-na. Näytteet A, B ja C ovat juovan m-1 vierekkäisiä tunnet-0 tuja näytteitä ja näytteet A', B' ja C' ovat saman kentän seuraavan juovan vierekkäisiä tunnettuja näytteitä namoinH.i vertikaalipositioissa. Reunan määritys perustuu tässä korre 89995 5 laatiomittauksiin, joissa lasketaan kulloinkin kahden näytteen absoluuttinen ero Dl, D2 ja D3, joiksi määritetään:

Dl = A - C, D2 = B - B' ja D3 = C -A’. Ulottuvuutta {Dl, D2, D3} = MAX{Dl, D2, D3} - MIN{D1, D2, D3} käytetään 5 korrelaation mittana. Jos ulottuvuus on pieni, ovat eri suuntien vasteet lähellä toisiaan, mikä tarkoittaa ei selvästi tunnistettavaa reunaa. Tällöin käytetään 3 pisteen vertikaalista mediaanisuodatinta uuden pikselin interpolointiin. Jos ulottuvuus on suuri, on oletettavaa, että korre-10 laatio on voimakas reunan suunnassa ja heikko muissa suunnissa ja absoluuttisista eroista voidaan päätellä reunan suunta. Kuvassa 1 esittävät nuolijanat pikseleitä, joiden välinen ero lasketaan. Tässä menetelmässä on laitteisto-kompleksisuuden yksinkertaistamiseksi rajoituttu tutkimaan 15 reunoja, joiden suunta on 45, 90 ja 135 astetta. Menetelmän suurin heikkous on se, ettei se kykene tunnistamaan yhden pikselin levyistä viivaa tasaisella taustalla. Se interpoloi oikein vain, mikäli tällainen viiva on pystysuuntainen, kaikissa muissa tapauksissa se katkaisee viivan, koska interpo-20 lointiin otetaan mukaan taustan pikseleitä. Väärä interpolointi näkyy välkkymisenä.

Tämä keksintö kuvaa uuden kuvapisteen adaptiivisen interpo-lointimenetelmän, jolla ei ole edellä esitettyjä haittoja.

25 Menetelmää varten on keksinnön yhtenä tavoitteena kehittää olennaisesti oikea reunan tunnistus, jonka perusteella määräytyy interpolointialgoritmi.

Reunan tunnistus on ensiarvoisen tärkeää kohteen tunnistami-30 sessa. Ensinnäkin ihmissilmä katsoessaan tuntematonta kohdetta tarkastelee ensin sen ääriviivoja. Toiseksi ääriviivojen hahmottamisen jälkeen suoritetaan muotoanalyysi ja tunnistus. Kolmanneksi monet kuvat eivät sisällä konkreettisia kohteita ja näiden kuvien käsittäminen riippuu niiden raken-35 neominaisuuksista, joka on läheisessä yhteydessä reunan tunnistukseen. Niinpä voidaan sanoa, että reunan tunnistus on mahdollisesti kuva-analyysin tärkein osa. Katsoessamme kohdetta katsomme siinä olevia reunoja ja kulmia ja niiden sa- 89995 6 halaitaisuutta ja terävyyttä. Tämän vuoksi on tärkeätä tunnistaa paikallinen kuvasisältö ja interpoloida sen mukaan. Kuvassa 2 on esitetty joukko tyypillisiä reunamuotoja, kuvassa 2a on kolmentyyppisiä porrasreunoja, kuvassa 2b on 5 kaksi kattoreunamuotoa ja kuvassa 2c kolme viivareunaa (py-käläreunaa). Menetelmän pitää pystyä tunnistamaan tämäntyyppisten reunojen suunta. Keksinnön menetelmä käyttää samaa perusperiaatetta kuin edellä kuvattu DDMF-suodatin, jossa laskettiin parametreja näyteikkunan pikseleistä, jotka ovat 10 eri horisontaalipositioissa. Menetelmä on erityisesti tarkoitettu liikettä sisältävien kuva-alueiden tutkimiseen, minkä vuoksi lomitelluista alkuperäiskuvan kentistä voidaan interpoloinnissa käyttää vain toista. Toinen alkuperäiskent-tä on käyttökelvoton ja uusi muodostetaankin interpoloimal-15 la. Uuden kentän juovat voidaan näyttää progressiivisesti toisen alkuperäiskentän juovien välissä, jolloin menetelmä sopii hyvin lomittelun poistamiseen. Menetelmässä siis tutkitaan, mikä on oikea interpoloimissuunta ja valitaan sen mukaan käytettävä interpolaattori. Oikean interpoloimissuun-20 nan selvittämiseksi täytyy saada luotettava reunatieto in-terpoloitavan pikselin ympäristöstä.

Menetelmälle on tunnusomaista se, mitä on sanottu patenttivaatimuksessa 1, ja kytkennälle se, mitä on sanottu patent -25 tivaatimuksessa 7.

Menetelmässä käytetään 6*3-reunantunnistusmaskia, jota käyttäen lasketaan interpoloitavan pisteen naapurustossa reuna-estimaatit. Reunantunnistusmaskia liikutetaan vertikaali- ja 30 horisontaalisuunnissa siten, että maskin kulloisessakin ase massa lasketut reunantunnistusestimaatit muodostavat interpoloitavan pikselin ympäristössä 5*3-maskin. Estimaattimas-kista määritetään lopullinen interpoloimissuunta sen mukaan, missä suunnassa on eniten estimaattimaskin minimisuuntia. On "'S yllättäen havaittu, että valitsemalla reunantunnistusmaskin näyteikkuna keksinnön tavalla ja suorittamalla reunantunnis- tuestimaattien laskenta esitetyllä tavalla saadaan paras mahdollinen reunan tunnistus ja reunan tunnistustiedon mu- 7 89995 kaan interpoloituja juovia sisältävässä lopullisessa näytetyssä kuvassa ei tapahdu viivan katkeamista kuten tunnetuissa menetelmissä. Menetelmässä, joka on sekä liike- että reu-na-adaptiivinen, käytetään interpoloinnissa paikallista ku-5 vasisältöä ts. interpoloitavan juovan ylä- ja alapuolella olevaa juovaa. Interpolointi on temporaalista sikäli, että siinä käytetään myös edeltävän kentän juovaa hyväksi. Reunan tunnistus perustuu 6*3-ikkunassa laskettavien absoluuttisten erosignaalien summaamiseen ja niiden vastesignaalien keski-10 näiseen suuruusjärjestykseen. Reunat voidaan tunnistaa yhdeksässä suunnassa, jotka ovat 26, 34, 45, 64, 90, 116, 135, 146 ja 154 astetta. Reunantunnistuksessa käytetään hyväksi sitä tietoa, että jos ikkunan sisällä on reuna, niin kahden pikselin erotus on hyvin pieni reunan suunnassa ja vastaa-15 vasti suuri reunan yli. Toisin sanoen minimivaste saadaan suurella todennäköisyydellä reunan suunnasta. Vaikka interpoloinnissa käytetään interpoloitavan pisteen ylä- ja alapuolella olevaa juovaa, käytetään interpoloimissuunnan määrityksessä pikseleitä, jotka sijaitsevat kahdella edeltäväl-20 lä ja kahdella seuraavalla juovalla, joten reunatiedon valinnassa käytetään suurta määrää, yhteensä 40 kappaletta pikseleitä. Tämä aikaansaa todennäköisyyden oikeasta reuna-tiedosta hyvin suureksi.

25 Keksintöä selostetaan yksityiskohtaisemmin seuraavien kaaviollisten kuvien avulla, jotka esittävät: kuva 1 tunnetussa reunantunnistusmenetelmässä käytettä vää suodatinikkunaa, 30 kuva 2 eräitä perusreunan muotoja, kuva 3 reunantunnistusestimaattien laskennassa käytet tävää suodatinikkunaa, kuva 4 kolmidimensionaalista kuvausta interpoloitavista juovista ja niiden naapurustosta, 35 kuva 5 a-i suodatinikkunasta laskentaan otettavia pikseleitä, kuva 6 reunantunnistusestimaattien muodostamaa 5*3-mas- kia, 89995 8 kuva 7 periaatekuviota siitä, miten reunantunnistusmas- ki liikkuu, jotta tarvittavat reunantunnistuses-timaatit voidaan laskea, kuva 8 järjestelypiiriä reunantunnistusestimaattien 5 aikaansaamiseksi, kuva 9 interpoloitavan pisteen laskemiseksi käytettävää interpolaattorijärjestelyä, kuva 10 reunantunnistuksessa ja interpoloinnissa tarvit tavia muisteja ja 10 kuva 11 reunatiedon oikeellisuuden tarkistamisessa tar vittavia muisteja.

Kuvien 1 ja 2 sisältöä on kuvattu jo edellä tekniikan tason kuvauksen yhteydessä. Kuva 6 esittää reunantunnistusesti-15 maattien muodostamaa 5*3-maskia. Estimaatteja on merkitty eml...eml5 ja niitä on siten 15 kappaletta. Tämä maski kuvitellaan sijoitettavaksi siten, että interpoloitava piste on reunatietoestimaatin em8 kohdalla. Reunatietoestimaatit eml...eml5 lasketaan alkuperäisten juovien pikseleiden avul-20 la käyttäen kuvassa 3 kuvattua 3*6-suodatinikkunaa. Se, miten interpolointi suoritetaan reunatietomaskin estimaateista saatavan tiedon mukaan, selostetaan myöhemmin. Ensin selostetaan sitä, miten estimaatit muodostetaan käyttäen kuvan 3 mukaista ikkunaa. Tätä varten viitataan ensin kuvaan 7. Sii-25 nä on esitetty tietty kuva-alue, jossa juovan m-3 pikselit 1-10, juovan m-1 pikselit 11-20, juovan m+1 pikselit 21-30 ja juovan m+3 pikselit 31-40 esittävät tunnettuja, saman kentän peräkkäisten juovien pikseleitä. Näiden juovien väliin on interpoloitava uudet juovat m-2, m, m+2. Tarkastel-30 laan tapausta, jossa on interpoloitava pikseli pikselin 15 (juova m-1) ja pikselin 25 (juova m+1) väliin. Tätä varten lasketaan edellä mainitut reunantunnistusestimaatit el...el5. Kun lasketaan estimaattia emi, on estimaatin laskemisessa käytettävä 3*6-ikkuna asemassa, jota kuvaa ylempi 35 suorakaide. Kun el on laskettu, liikutetaan ikkunaa pikselin verran oikealle ja lasketaan estimaatti em2. Näin jatketaan kunnes estimaatin em5 laskemisen jälkeen siirretään ikkunaa takaisin vasemmalle ja alas siten, että sen sisään jää juo- 9 89595 vien m-1 ja m+1 pikseleitä. Nyt liikutetaan ikkunaa oikealle ja lasketaan estimaatit em6...emll. Vastaavalla tavalla lasketaan ikkunaa siirtämällä estimaatit emll...eml5. Toiseksi viimeisen estimaatin eml5 laskemisessa on ikkuna asemassa, 5 jota kuvaa alempi suorakaide.

Kuvassa 3 esitetty kunkin estimaatin laskennassa käytettävä ikkuna käsittää 6 vierekkäistä pikseliä rl, r2, r3, r4, r5 ja r6 juovalta m-1 ja samoin 6 vierekkäistä pikseliä rl, r8, 10 r9, rlO, rli ja rl2 saman kentän t seuraavalta juovalta m+1.

Näiden juovien pikseleiden avulla on laskettava reunaesti-maatin arvo, jota merkitään kysymysmerkillä ?. Tässä on esitetty että alkuperäiskuva on ortogonaalisesti näytteistetty, mutta näytekuvio voi olla myös jokin muu. Kuvassa 4 näkyväs-15 tä koordinaatistosta selviävät hyvin interpoloinnissa käytettävät tunnettujen pikseleiden juovat ja interpoloitava juova. Kuvat 5a-i esittävät mahdollisia reunanviivan suuntia sekä kussakin tapauksessa laskentaan mukaanotettavia pikse-lipareja. Kuvassa 5a tutkitaan, onko viiva 90 asteen kulmas-20 sa, kuvissa b, d, f ja h, onko viiva vasemmalle vino suunnissa 116, 135, 146 ja 154 astetta ja kuvissa c, e, g ja i, onko viiva oikealle vino suunnissa 26, 34, 45 ja 64 astetta. Nämä yhdeksän eri tapausta jaetaan kolmeen tutkittavaan ryhmään: keskiryhmään Rk, johon kuuluvat tutkittavat suunnat 25 64, 90 ja 116 astetta (kuviot a, b ja c), oikeaan ryhmään

Ro, johon kuuluvat tutkittavat suunnat 26, 34 ja 45 astetta (kuviot e, g ja i) ja vasempaan ryhmään Rv, johon kuuluvat tutkittavat suunnat 135, 146 ja 154 astetta (kuviot d, f ja h). Jokaista mahdollista reunan suuntaa tutkitaan laskemalla 30 neljää pikseliä käyttäen pikseleiden erotusten itseisarvojen summa. Kuvassa 5 kussakin tapauksessa erotukseen laskettavien pikseliparien paikkaa osoittavat yhtenäisen viivan nuolien kärjet. Lasketaan aluksi jokaiselle reunan suunnalle vasteet seuraavasti: 10 89995 keskiryhmä Rk: vertical = |r3 - r9| + |r4 - rlO| rightl = |r3 - r8| + |r4 - r9| leftl = |r2 - r9| + |r3 - rlO| 5 vasen ryhmä: left2 = |r2 - rlO| + |r3 - rll| (1) left3 = |rl - rlO| + |r2 - rll| left4 = |rl - rll| + |r2 - rl2| 10 olkea ryhmä: right2 = |r4 - r8| + |r5 - r9| rights = j r4 - r71 + |r5 - r81 right4 = |r5 - r71 + |r6 - r81 15

Seuraavassa selostetaan reunatietoestimaattien laskentaa viitaten sekä kuvaan 3 että kuvaan 8. Kunkin suunnan vasteet lasketaan laskentalohkoissa 1-9 ja kunkin lohkon (leftl...Ieft4, vertical, rightl...right4) sisäänmenoina on 20 kaavojen (1) osoittamat pikseliarvot. Kun kaikki 9 suunnan vasteet on laskettu, lajitellaan ne ryhmittäin suuruusjärjestykseen tai haetaan niistä maksimi- ja minimivaste tai pelkästään minimivaste. Järjestelylohkossa 81 järjestellään ryhmän Rv vasteet, lohkossa 82 järjestellään ryhmän Rk vas-25 teet ja lohkossa 83 järjestellään ryhmän Ro vasteet. Kun kunkin ryhmän minimivaste on saatu selville, sen suunta tallennetaan muistiin 84. Jokaisesta järjestelylohkosta 81, 82 ja 83 viedään siinä lajiteltu minimivastearvon suuruus ja mahdollisesti myös maksimivastearvo kolmanteen järjestely-30 lohkoon 83, joka etsii lohkoissa 81, 82 ja 83 haetuista minimiarvoista pienimmän arvon, minimien minimin, jota merkitään merkinnällä TOTminimi. TOTminimin arvo viedään muistiin 84. Käytännössä riittää, että muistiin tallennetaan vain sen ryhmän (Ro, Rk tai Rv) tunnus, josta TOTmin löytyy.

Kun kuvan 3 ikkunassa on esitettyjä kaavoja käyttäen laskettu kussakin ryhmässä ryhmän minimin arvo ja suunta sekä selvitetty, missä ryhmässä on TOTmin, tallennetaan nämä tiedot 35 8 9 9 9 5 11 estimaattina "em" muistiin 84. Niinpä ikkunan ollessa kuvan 7 osoittamassa asemassa, jossa lasketaan estimaatin emi arvoa, muodostuu estimaatin emi arvo siten neljästä tiedosta: 1) ryhmän Ro minimivasteen suunta, 5 2) ryhmän Rv minimivasteen suunta, 3) ryhmän Rk minimivasteen suunta 4) TOTmin, joka ilmaisee, minkä ryhmän minimivaste on pienin.

10 Ikkunaa liu'utetaan nyt vasemmalle yhden pikselin verran ja lasketaan edellä esitetyllä tavalla estimaatin em2 arvo. Liu'uttamalla ikkunaa neljä kertaa vasemmalle saadaan laskettua estimaatit eml-em5. Tämä jälkeen ikkuna siirretään takaisin vasemmalle lähtöasemaan ja lasketaan samalla alas-15 päin, niin että ikkunan vasemman ylänurkan pikseliksi tulee juovan m-1 pikseli 11, kuva 7. Lasketaan ikkunaa liu'uttamalla oikealle reunatietoestimaatit em6-eml0. Vastaavalla tavalla 6*3-ikkunaa liu'uttamalla lasketaan 5*3-estimaatti-ikkunan alimman rivin reunaestimaattiarvot eli-el5.

20

Nyt muistissa 84 on tallennettuna interpoloitavan pikselin naapurustosta riittävä määrä reunatietoja. Näiden reunatie-tojen eli estimaattien eml-eml5 perusteella valitaan seuraa-vaksi lopullinen interpolointisuunta. Se tapahtuu siten, 25 että estimaattiarvoista lasketaan, kuinka monta TOTminimi- arvoa on vasemmassa ryhmässä Rv, keskiryhmässä Rk ja oikeassa ryhmässä Ro. Se ryhmä, joka sisältää eniten TOTminimi-arvoja valitaan siksi ryhmäksi, jonka jossain suunnassa lopullinen interpolointi tapahtuu. Jos oletetaan, että ryhmäs-30 sä Rv on eniten TOTminimi-arvoja, suoritetaan lopullinen interpolointi tämän ryhmän minimisuunnan mukaan. On edullista asettaa tietty raja, joka ryhmän TOTminimi-arvojen lukumäärän täytyy ylittää, jotta se hyväksyttäisiin interpoloi-missuunnan osoittavaksi ryhmäksi. Sopiva arvo on esimerkiksi 35 10 kappaletta. Jos lukumäärä alittaa tämän, voidaan päätel lä, ettei kuva-alueessa ole selvää reunaa, jolloin interpolointi suoritetaan keskiryhmän Rv minimivasteen suunnan mu- 89995 12 kaan. Tämä tarkoittaa, että interpolointi on vertikaalinen tai lähes vertikaalinen.

Kuvassa 9 on esitetty erästä suoritusmuotoa interpolaatto-5 reiden kytkemiseksi. Kytkennän tuloina ovat 3*6-reunantun- nistusikkunan pikselit rl-rl2 sekä edeltävän kentän t-1 juova m, jolta saadaan 3 pisteen mediaanin yksi tulo pwn, jossa n kuvaa pikselin vertikaalipositiota ikkunassa. Tulot rl-rll kuvaavat kuvan 3 mukaisesti tunnettuja pikseleitä interpo-10 loitavan pikselin, jota on merkitty merkinnällä PW3, ylä- ja alapuolisella juovalla. 3 pisteen mediaani-interpolaattorei-ta on siis 9 kappaletta vastaten tutkittavia suuntia. 3 pisteen mediaanisuodattimien 910-918 lähdöt left4 jne. viittaa-vat tässä kuvan 5 eri mahdollisiin reunan suuntiin. Ensin 15 pikseleille lasketaan keskiarvot 2 pisteen lineaarisissa interpolaattoreissa, joita esittävät kuvan vasemmanpuolim-maiset 8 suorakaidetta 91-98. Oletetaan, että on päädytty kuvan 6 kaavion mukaisesti siihen, että reuna on suunnassa leftl (kuva 5 b) ja on interpoloitava merkillä PW3 esitetty 20 piste. Tällöin 3 pisteen mediaanisuodattimen sisääntulona on ylemmän juovan pikseleiden r2 ja r3 interpolaattorissa 92 laskettu keskiarvo, alemman juovan pikseleiden r9 ja rlO interpolaattorissa 97 laskettu keskiarvo sekä keskimmäisen juovan arvo pw3, joka on sama kuin edeltävän kentän vastaa-25 van juovan tällä kohdalla oleva (tunnettu) arvo. Nämä keskiarvon laskevat interpolaattorit 92 ja 97 toimivat lineaarisina alirakenteina 3 pisteen mediaanisuodattimelle 913. Vastaavalla tavalla toimivat kaikki muutkin keskiarvon laskevat interpolaattorit. On kuitenkin huomattava, että 3 pis-30 teen mediaanisuodattimilla 910, 912, 916 ja 918 ei ole mainittuja lineaarisia alirakenteita vaan jokainen sisäänmeno edustaa puhtaasti yhtä pikseliarvoa. Multiplekseri 81 ohjaa ulostuloksi yhden sisäänmenoistaan ja tämä ulostulo muodostaa interpoloitavan juovan yhden pikselin. Multiplekseriä 35 919 ohjavat valintalinjat, jotka saadaan päätöspiiriltä, jossa on laskettu reunatietoestimaattien eml-eml5 muistiin tallennetuista arvoista se suunta, jossa lopullinen interpo-laatio tehdään. Päätöspiiriltä, johon mainittu muisti 84 13 89995 liittyy, saadaan ohjaustieto multiplekseriin 919 valintalinjoilla. Tämä ohjaustieto ohjaa multiplekseriä kytkemään ulostulokseen ohjaustiedon määrämän sisääntulon. Ulostulo on nyt se pikseli, joka muodostaa interpoloitavan juovan yhden 5 pikselin. Juovan muut pikselit muodostetaan samalla periaatteella, samoin kuin kaikkien muidenkin juovien pikselit.

Edeltävässä esityksessä ei ole erityisemmin puututtu siihen, kuinka minimivasteiden suunta tallennetaan muistiin. Ämmät -10 timiehes tuntee lukuisan joukon eri tapoja, joilla selvitään mahdollisimman vähäisellä muistitarpeella. Eräs mahdollisuus on käyttää kolmibittisiä tunnuksia, joissa ykkösbitti ilmaisee minimisuunnan. Kun TOTminimi on myös kolmibittinen, voisi ykkösbitti ilmaista sen ryhmän, jossa minimi on, minkä 15 jälkeen on helppo tutkia tämän ryhmän tunnuksesta, missä on ykkösbitti, joka ilmaisee minimin tarkan suunnan. Monia muitakin tapoja on olemassa. Kuvassa 10 on esitetty reunan-tunnistuksessa ja interpoloinnissa tarvittavia muisteja. Tulevan juovan pikseliarvot (luminanssiarvot) johdetaan juo-20 vamuistiin 101, jolloin tästä muistista voidaan lukea 3*6-maskissa käytettävät ylemmän juovan pikselit rl-r6. Kuvassa 10 esittävät juovamuistin 101 jälkeiset lohkot viive-elimiä, joiden lähdöistä voidaan lukea yhtäaikaa kuuden peräkkäisen pikselin arvot. Koska interpoloinnissa käytetään myös edel-25 lisen kentän juovia, tarvitaan kenttämuisti 102, jonka juovat luetaan yksi kerrallaan juovamuistiin 103. Juovamuistis-ta juovan pikseleitä viedään yksikkömuisteina toimiviin viive-elimiin ja niistä saadaan luettua interpoloinnissa tarvittava edellisen kentän pikselin arvo. Juovamuisti 103 voi-30 daan ohittaa kytkimellä 104 siinä tapauksessa, että kun se kenttä, jonka juovien väliin interpoloidaan uudet juovat, on pariton, muussa tapauksessa on käytettävä juovamuistia 103. Alimman haaran muistielimistä saadaan lopuksi 6*3-maskissa tarvittavat alemman juovan pikselit r7-rl2.

Jos halutaan säästää muistia ja voidaan vähän tinkiä kuvan laatuvaatimuksista, voidaan kuvattua menetelmää käyttää myös kentän sisäisten interpolaattoreiden kanssa. Tällöin voidaan 35 .89995 14 kenttämuisti 102 ja juovamuisti 103 jättää kokonaan pois. Silloin käytettäisiin lineaarista interpolointia reunan suunnassa. Jos reuna kuuluu väliin 26-154 astetta, ei ongelmia ole ja tulos on yhtä hyvä kuin kenttien välisessä inter-5 poloinnissa esitetyllä tavalla. Tosin vaakasuorat ja lähellä vaakasuoraa olevat reunat hämärtyvät lineaarisen interpoloinnin vuoksi. Lineaarisessa interpoloinnissa käytetään kolmen pisteen mediaanin sijasta interpolaattoria, jolla lasketaan keskiarvo juovan ylä- ja alapuolisten pisteiden 10 välillä.

Kuvassa 11 on esitetty lopuksi reunatiedon oikeellisuuden tarkastamisessa tarvittavat muistit eli muistit, joihin on tallennettu lasketut reunatietoestimaatit eml-eml5. Nämä 15 estimaatit ovat 3*5-maskissa, jolloin tarvitaan peräkkäiset juovamuistit 111 ja 112, joista saadaan viive-elimien lähtöihin estimaattiarvot eml-em5, juovamuisti 113, josta saadaan maskin keskimmäisen juovan estimaattiarvot em6-eml0 viive-elimien lähtöihin. Maskin alemman juovan estimaatit 20 viedään sitä mukaa kun ne on saatu lasketuksi kuvan 11 alimman haaran yksikkömuisteihin, jotka muodostuvat peräkkäisistä viive-elementeistä.

Kuvattu menetelmä esittää tehokkaan tavan pikseleiden inter-25 poloimiseksi ottaen huomioon kuvaan mahdollisesti sisältyvän reunan ja sen suunnan. Se säilyttää eri suuntaiset reunat ehjinä eikä porrasmaisuutta esiinny, kuten tähän asti käytetyillä menetelmillä tapahtuu. On selvää, että menetelmässä käytettävän piirin käytännön toteutus voi vaihdella suures-30 ti. Käytännön toteutuksessa pyritään minimoimaan muistien käyttö ja tämä vaatimus sanelee hyvin pitkälle rakenteen. Niinpä alan ammattimies voi toteuttaa käytännön konstruktion lukuisilla eri tavoilla pysyen silti patenttivaatimusten suojapiirissä.

35

Claims (13)

15 8 9 995

1. Menetelmä uuden juovan reuna-adaptiiviseksi interpoloi-miseksi näytejonomuodossa tulevasta videosignaalista käyttäen ikkunaa, johon johdetaan näytteitä kolmelta tunnetulta 5 juovalta ja jossa interpoloitava pikseli sijaitsee keskimmäisellä juovalla, tunnettu siitä, että - käytetään 3*6-ikkunaa, - valitaan ikkunan ylemmältä ja alimmalta riviltä kaksi vierekkäistä näytettä siten, että ylemmän ja alemman rivin 10 näytteitä yhdistävät kuvitteelliset yhdensuuntaiset linjat saavat horisontaalitasoon nähden yhdeksän eri suuntaa, - lasketaan yhdensuuntaisten linjojen yhdistämien näytepari-en erotusten itseisarvojen summa-arvo jokaisessa suunnassa siten, että kun ikkunan ylemmän rivin näytteitä merkitään 15 vasemmalta oikealle symboleilla rl, r2, r3, r4, r5, ja r6 ja alimman rivin näytteitä vastaavasti symboleilla rl, r8, r9, rlO, rll ja Π2, lasketaan summa-arvot eri suunnissa seuraavasti : 20 leftl = |r2 - r9| + |r3 - rl0| left2 = |r2 - rlO| + |r3 - rll| left3 = |rl - rl0| + |r2 - rll| left4 = |rl - rll| + |r2 - rl2| vertical = |r3 - r9| + |r4 - rl0| 25 rightl = |r3 - r8| + |r4 - r9| right2 = | r4 - r8 | + | r5 - r9 | right3 = |r4 - r7| + |r5 - r8| right4 = |r5 - r7| + |r6 - r8|

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnet - t u siitä, että summa-arvot lasketaan ryhmittäin siten, että ensimmäinen ryhmä (Rv) käsittää suunnat left4, left3 left2, toinen ryhmä (Rk) käsittää suunnat leftl, vertical, rightl ja kolmas ryhmä käsittää suunnat right2, right3 ja 35 right4.

3. Patenttivaatimuksen 2 mukainen menetelmä, tunnet - t u siitä, että 16 39995 a) haetaan jokaisen ryhmän summa-arvoista minimiarvo ja tallennetaan sen suuntatieto ja ryhmätieto muistiin, b) haetaan saaduista minimiarvoista pienin arvo (TOTminimi) ja tallennetaan sen ryhmätieto muistiin, jolloin muistissa 5 olevat tiedot muodostavat reunatietoestimaatin (em), c) siirrellään ikkunaa eri asemiin sekä horisontaali- että vertikaalitasossa niin, että ikkunaan tulee näytteitä kahdelta interpoloitavaa juovaa edeltävältä ja kahdelta sen jälkeiseltä juovalta, 10 d) toistetaan joka asemassa kohdat a-c, niin että saadaan reunatietoestimaatit (em2-eml5), jotka muodostavat 3*5-alu-een interpoloitavan pikselin päälle sen sijaitessa sanotun alueen keskimmäisen rivin keskellä, e) määritetään, missä ryhmässä on eniten pienimpiä arvoja 15 (TOTminimi), ja f) suoritetaan interpolointi tämän ryhmän minimiarvon suun-tatiedon osoittamassa suunnassa käyttäen sanottua 3*6-ik-kunaa.

4. Patenttivaatimuksen 3 mukainen menetelmä, tun nettu siitä, että interpolointi voidaan suorittaa missä tahansa suunnista 26, 34, 45, 64, 90, 116, 135, 146 ja 154 astetta.

5. Patenttivaatimuksen 3 mukainen menetelmä, tunnet- t u siitä, että interpoloinnissa käytetään 3 pisteen medi-aanisuodatinta, jonka ensimmäinen tulo on ylemmän juovan kahden vierekkäisen pikselin keskiarvo, toinen tulo on alimman juovan kahden vierekkäisen pikselin keskiarvo ja kolmas 30 tulo on interpoloitavaa pikseliä vastaava edeltävän kentän pikseli (pw3).

6. Patenttivaatimuksen 3 mukainen menetelmä, tunnet-t u siitä, että interpoloitaessa suunnissa 154 astetta, 135 35 astetta, 45 astetta ja 26 astetta ensimmäinen tulo on vastaavassa suunnassa ikkunan ylempi näyte ja toinen tulo on alempi näyte. S 9 9 9 5 17

7. Kytkentäjärjestely uuden juovan reuna-adaptiiviseksi interpoloimiseksi näytejonomuodossa tulevasta videosignaalista käyttäen ikkunaa, johon johdetaan näytteitä kolmelta tunnetulta juovalta ja jossa interpoloitava pikselil sijait- 5 see keskimmäisellä juovalla, tunnettu siitä, että se toimii 3*6-ikkunassa ja siihen kuuluu: - laskentaosat (1,2,3,4,5,6,7,8,9), joihin johdetaan ikkunan ylemmän ja alemman juovan pikselit ja jotka laskevat kahden 10 vierekkäisen pikseliparin erotusten itseisarvojen summan, jonka parin pikselit sijaitsevat eri juovilla parien ollessa valittu siten, että niitä yhdistävät kuvitteelliset yhdensuuntaiset linjat ovat ikkunassa horisontaalitasoon nähden yhdeksässä eri suunnassa, 15. järjestelyosat (81, 82, 83, 84) summa-arvojen käsittelemi seksi, - muisti- ja laskentaosan (85) järjestelyosien annon tallentamiseksi, ja - interpolaattorit (910, 911, 912, 913, 914,915, 916, 917, 20 918) pikselin interpoloimiseksi.

8. Patenttivaatimuksen 7 mukainen kytkentäjärjestely, tunnettu siitä, että laskentaosat laskevat summat siten, että kun ikkunan ylemmän rivin näytteitä merkitään 25 vasemmalta oikealle symboleilla rl, r2, r3, r4, r5, ja r6 ja alimman rivin näytteitä vastaavasti symboleilla r7, r8, r9, rlO, rll ja rl2, laskevat laskentaosat summa-arvot eri suunnissa seuraavasti: 30 leftl = |r2 - r9| + |r3 - rlO| left2 = |r2 - rl0| + |r3 - rll| left3 = |rl - rl0| + |r2 - rll| left4 = |rl - rll| + |r2 - rl2| vertical = |r3 - r9| + |r4 - rlO| 35 rightl = |r3 - r8| + |r4 - r9| right2 = |r4 - r8| + |r5 - r9| right3 = |r4 - r7| + |r5 - r8| right4 = |r5 - r7j + |r6 - r8| 18 '39995

9. Patenttivaatimuksen 7 tai 8 mukainen kytkentäjärjestely, tunnettu siitä, että järjestelyosiin kuuluu ensimmäinen, toinen ja kolmas järjestelyosa (81, 82, 83), jotka kukin etsivät niihin johdetuista kolmesta summa-arvosta 5 minimiarvon ja suunnan, mistä se on saatu, ja neljäs järjestelyosa (84), jonka ulostulo on sanotuista minimiarvoista pienimmän arvon tieto (TOTmin).

10. Patenttivaatimuksen 7 mukainen kytkentäjärjestely, 10 tunnettu siitä, että interpolaattorit ovat 3 pisteen mediaanisuodattimia, joiden ensimmäinen tulo on ylemmän juovan kahden vierekkäisen pikselin keskiarvo, toinen tulo on alimman juovan kahden vierekkäisen pikselin keskiarvo ja kolmas tulo on interpoloitavaa pikseliä vastaava edeltävän 15 kentän pikseli (pw3).

11. Patenttivaatimuksen 10 mukainen kytkentäjärjestely, tunnettu siitä, että interpolaattoreiden (910, 912, 916, 918), jotka interpoloivat suunnissa 154 astetta, 135 20 astetta, 45 astetta ja 26 astetta, ensimmäinen tulo on vastaavassa suunnassa ikkunan ylempi näyte ja toinen tulo on alempi näyte.

12. Patenttivaatimuksen 10 mukainen kytkentäjärjestely, 25 tunnettu siitä, että 3 pisteen mediaanisuodattimen alirakenteena on 2 pisteen lineaarinen interpolaattori.

13. Patenttivaatimuksen 7 mukainen kytkentäjärjestely, tunnettu siitä, että siihen kuuluu lisäksi multi- 30 plekseri (919), joka muisti- ja laskentaosaan (85) tallennetun tiedon ohjaamana kytkee ulostulokseen yhden interpolaattoreiden lähdöistä. 19 3 9 995