FI88091B

FI88091B - Foerfarande och anordning foer digital interpolering av en pixel

Info

Publication number: FI88091B
Application number: FI904717A
Authority: FI
Inventors: Arto Lehtonen
Original assignee: Salora Oy
Priority date: 1990-09-25
Filing date: 1990-09-25
Publication date: 1992-12-15
Also published as: EP0477823A3; FI88091C; FI904717A0; FI904717A; EP0477823A2

Description

1 88091

Menetelmä ja laite kuva-alkion interpoloimiseksi digitaalisesti - Förfarande och anordning för digital interpolering av en pixel 5

Esillä oleva keksintö kohdistuu menetelmään kuva-alkion interpoloimiseksi digitaalisesti, jossa quincunx-alinäyt-teistetty digitaalinen videosignaali muutetaan ortogonaali-sesti näytteistetyksi signaaliksi, jolloin interpoloitavan 10 kuva-alkion ympärillä sijaitsevia kuva-alkioita edustavat signaalit viedään tarpeellisten viive-elimien kautta suodattimen sisäänmenoihin sekä yhdistetään siinä määrätyllä tavalla painotettuina. Keksintö koskee myöskin laitetta menetelmän suorittamiseksi.

15

Useissa uusissa televisiojärjestelmissä käytetään videosignaalia, jonka kaistanleveys on suurempi kuin nykyisissä televisiojärjestelmissä käytettävä kaistanleveys. Varsinaisen videoinformaation ohella samalla kaistalla lähetetään 20 muutakin tietoa, esimerkiksi tietoa lähetettävän televisiokuvan sisältämästä liikkeestä. Otettaessa uusia järjestelmiä käyttöön olisi ainakin alkuvaiheessa taloudellisesti edullista käyttää nykyisiä järjestelmiä hyväksi niin pitkälle kuin mahdollista ja tämän takia näiden uusien järjestelmien 25 videosignaali olisi voitava lähettää käyttäen nykyisiä televisiolähetyksille varattuja kanavia. Tämän vuoksi on uusien järjestelmien videosignaalin kaistanleveyttä rajoitettava jollakin tavalla, jotta se voidaan lähettää nykyisillä kanavilla.

30

Videosignaalin taajuuskaistan rajoittamiseksi kuvat voidaan alinäytteistää ennen niiden lähettämistä siirtokanavassa. Alinäytteistystä käytetään esimerkiksi HDTV-järjestelmissä, joissa terävämpi kuva, joka sisältää enemmän informaatiota 35 kuin normaali kuva, välitetään käyttäen hyväksi nykyisiä siirtokanavia.

2 88091

Eräs tällainen uusi televisiojärjestelmä on Eureka95 HDTV-järjestelmä, jossa videosignaalin lisäksi lähetetään myös liiketietoa. Lähetettävää videosignaalia kompressoidaan käyttäen apuna tätä liiketietoa. Lähettimessä suoritetaan 5 videosignaalin alinäytteenotto, jonka tuloksena lähetettävä videosignaali sopii kaistanleveydeltään nykyisin käytössä oleviin televisiokanaviin. Vastaanotettua videosignaalia on muokattava vastaanottimessa jollakin tavalla, jotta saadaan kaistanleveydeltään alkuperäinen signaali. Tähän 10 tarkoitukseen käytetään vastaanottimessa erityisiä signaali nmuokkau s piirejä, nk. interpolaattoreita, jotka toteuttavat tarvittavan muokkausoperaation. Interpolaattoripiirit muokkaavat näytteistettyä videosignaalia muodostaen täysin uusia näytteitä vastaanotettujen näytteiden väliin. Uudet 15 näytteet lasketaan kunkin televisiokuvan sisällä. Kuvassa 1 on esitetty ns. quincunx-näytteenottokuvio, joka on fragmentti kolmesta peräkkäisestä juovasta. Siinä vierekkäisten juovien näytteet (kuvapisteet) ovat siirretyt pystytasossa toisiinsa nähden. Interpoloitava kuvapiste on merkitty o:11a 20 ja tunnetut, vastaanotetusta videosignaalista saadut välittömästi naapurissa olevat kuvapisteet on merkitty x:llä. Tässä näyttenottokuviossa tunnettuja naapurinäytteitä on neljä. Kolmiulotteisessa ympäristössä tunnettuihin naapu-rinäytteisiin luetaan lisäksi edellisen ja seuraavan kentän 25 pisteitä. Interpoloitava uusi kuvapiste o lasketaan jollakin tunnetulla menetelmällä. On selvää, että interpolointi vaatii juova- ja kuvamuistia sitä enemmän, mitä enemmän näytteitä aika-avaruudessa otetaan mukaan interpolointiin.

30 Vastaanottimessa puuttuvat kuva-alkiot täytyy interpoloida lähetettyjen kuva-alkioiden avulla. Kuvan laatu riippuu suuresti mainittujen interpolaattoripiirien toiminnasta. Nykyisissä järjestelmissä, kuten Eureka95 HDTV-järjestelmässä, ovat käytetyt interpolaattoripiirit kiinteitä ja ne 35 toimivat saman, valitun menetelmän mukaisesti riippumatta siitä, mikä on käsiteltävän videosignaalin sisältö. Epätyydyttävästä suoritettu puuttuvien kuvapisteiden interpolaatio ilmenee vastaanottimen näyttämän televisiokuvan epäterävyy- 3 88091 tenä, kuvan yksityiskohtien epäyhtenäisyytenä ja katkoksina tai vääristyrninä. Hankalia ovat etenkin kohdat, jotka ovat kuvassa näytettävien erilaisten viivojen ja reunojen kohdalla .

5

Esillä olevan keksinnön tarkoituksena on aikaansaada inter-polointimenetelmä sekä interpolaattori, joilla saavutetaan entistä parempi kuvan laatu, ja joilla etenkin kyetään säilyttämään kapeat viivat ehyinä ja yksityiskohdat terävi-10 nä. Tämän saavuttamiseksi on keksinnön mukaiselle menetelmälle tunnusomaista se, mikä on esitetty patenttivaatimuksessa 1, kun taas keksinnön mukaisen interpolaattorin tunnusmerkit selviävät vastaavasti vaatimuksesta 4.

15 Keksinnön mukainen interpolaattori sisältää siis tunnetun, esimerkiksi lineaarisen suodattimen, joka ottaa sisäänmenoi-na interpoloitavan kuva-alkion ympärillä sijaitsevia lähetettyjä kuva-alkioita. Tämän suodattimen ulostuloa korjataan epälineaarisella operaatiolla, joka ottaa sisäänmenoina, 20 lineaarisen suodattimen ulostulon lisäksi, neljä interpoloi-tavan kuva-alkion ympärillä lähinnä sijaitsevaa lähetettyä kuva-alkiota.

Epälineaarinen operaatio voi esimerkiksi korjata lineaarisen 25 suodattimen ulostuloa siten, että ulostulo rajoitetaan neljästä muusta sisäänmenosta (lähetetyt kuva-alkiot) lukuarvoltaan kahden keskimmäisen väliin. Tämä epälineaarinen operaatio voidaan käytännössä toteuttaa mediaanisuodattimel-la, jolla on viisi sisäänmenoa.

30

Lisäksi ensimmäisen suodattimen ulostuloa voidaan mahdollisesti korjata siten, että se rajoitetaan lähetettyjen kuva-alkioiden pystysuuntaisen ja vaakasuuntaisen keskiarvojen väliin.

35

Epälineaarisen operaation ansiosta lineaarinen suodatin voi olla erittäin yksinkertainen. Lineaarinen suodatin suunnitellaan sellaiseksi, että se vain säilyttää kaikki 4 88091 kapeat viivat välittämättä siitä, että joissain tapauksissa reunat mahdollisesti ylikorostuvatkin. Epälineaarinen operaattori kuitenkin rajoittaa lineaarisen suodattimen ulostulon aina järkevään arvoon.

5

Keksintöä selostetaan seuraavassa lähemmin esimerkin muodossa ja viitaten oheisiin piirustuksiin, joissa kuva 1 esittää jo selostettua quincunx-näytteenottokuviota, 10 jossa on neljä naapurikuva-alkiota, kuva 2 esittää keksinnön mukaisessa menetelmässä käytettävää näytteenottokuviota, ja kuva 3 esittää keksinnön mukaisen menetelmän toteuttavaa interpolaattoria lohkokaavion muodossa.

15

Kuvan 2 mukainen näytteenottokuvio muodostuu siis interpo-loitavaa kuva-alkiota o edeltävän juovan kolmesta kuva-alkiosta Xl, X2 ja X3, kuva-alkion o oman juovan kahdesta naapurikuva-alkiosta X4 ja X5, sekä taas seuraavan juovan 20 kolmesta kuva-alkiosta X6, X7 ja X8.

Tässä esimerkissä käytetään siis kahdeksan kuva-alkion näytteenottokuviota, mutta on selvää, että huomioitavien kuva-alkioiden lukumäärä voi olla jokin muu kuin kahdeksan, 25 sopivimmin kuitenkin parillinen.

Kuvan 3 mukaisessa interpolaattorissa kaksiulotteinen suoda-tinmaski muodostetaan yksiulotteisesta videosignaalista juovaviive-elimen 10 ja näyteviive-elimen 20 avulla. Suoda-30 tinmaskin kuva-alkiot (X1-X8) ohjataan lineaarisen suodattimen 30 sisäänmenoiksi. Esimerkin lineaarisella suodattimena on vain kahdeksan sisäänmenoa, mutta suodatinmaski voi olla myös suurempi. Esitetyt suodattimen kertoimet ovat myös vain esimerkkejä.

35

Epälineaarisessa operaatiossa 40 lineaarisen suodattimen ulostuloa ensin rajoitetaan neljästä muusta sisäänmenosta (neljä interpoloitavaa kuva-alkiota lähinnä olevaa lähetet- 5 88091 tyä kuva-alkiota, eli X2, X4, X5 ja X7) lukuarvoltaan kahden keskimmäisen väliin. Tämä toteutetaan 5-pisteen mediaanilla. Tämän jälkeen ulostulo vielä rajataan alkuperäisten kuva-alkioiden pystysuuntaisen (X2 ja X7) ja vaakasuuntaisen 5 (X4 ja X5) keskiarvojen väliin. Tähän tarkoitukseen tarvi taan 3-pisteen mediaani.

Peräkkäiset mediaanit voidaan korvata myös yhdellä suuremmalla 7-pisteen mediaanilla, mutta tämä toteutus on yleensä 10 monimutkaisempi.

Tavallisesti keksinnön mukaista interpolointia sovelletaan kuville, joissa alinäytteistyskuvio on muodostettu vain spatiaalitasossa (pysty- ja vaakatasossa). Interpolointi-15 menetelmää voidaan kuitenkin soveltaa myös muunnoksissa lomitellusta kuvasta lomittelemattomaksi. Tällöin quincunx-alinäytteistys tehdään kahdessa ulottuvuudessa siten, että toinen taso on spatiaalinen (pystytaso) ja toinen temporaalinen (aikataso, peräkkäiset kuvat). Jälkimmäisessä sovellu-20 tuksessa edellä kuvatun interpolaattorin juovaviiveet 10 korvataan kenttäviiveillä ja näyteviiveet 20 juovaviiveil-lä.

Claims

1. Menetelmä kuva-alkion interpoloimiseksi digitaalisesti, jossa quincunx-alinäytteistetty digitaalinen videosignaali muutetaan ortogonaalisesti näytteistetyksi signaaliksi, 5 jolloin interpoloitavan kuva-alkion ympärillä sijaitsevia kuva-alkioita (X1-X8) edustavat signaalit viedään tarpeellisten viive-elimien (10, 20) kautta suodattimen (30) si-säänmenoihin sekä yhdistetään siinä määrätyllä tavalla painotettuina, tunnettu siitä, että mainitun suodattimen 10 (30) ulostulosignaali sekä osa (X2, X5, X4, X7) edellä mainituista interpoloitavan kuva-elementin ympärillä sijaitsevia kuva-alkioita (X1-X8) edustavista signaaleista viedään epälineaarisen suodattimen (40) sisäänmenoihin ja yhdistetään epälineaarisessa suodattimessa (40) interpoloitavaa 15 kuva-alkiota edustavan signaalin muodostamiseksi.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että epälineaarisessa suodattimessa (40) rajataan ulostulo neljän, interpoloitavaa kuva-alkiota lähinnä olevan 20 kuva-alkion ryhmästä kahden keskimmäisen väliin.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että epälineaarisessa suodattimessa (40) rajataan ulostulo neljän, interpoloitavaa kuva-alkiota lähinnä olevan 25 kuva-alkion ryhmästä kulloinkin kahden toisaalta pystysuunnassa otetun kuva-alkion (X2, X7) keskiarvon ja toisaalta vaakasuunnassa otetun kuva-alkion (X4, X5) keskiarvon väliin .

4. Digitaalinen kuva-alkion interpolaattori, jossa quin cunx-alinäytteistetty digitaalinen videosignaali muutetaan ortogonaalisesti näytteistetyksi signaaliksi ja joka sisältää suodattimen (30), jonka sisäänmenoihin on kytketty tarpeen mukaan viive-elimien (10, 20) kautta interpoloita-35 van kuva-alkion ympärillä sijaitsevia kuva-alkioita (X1-X8) edustavat signaalit, jolloin sanotut signaalit yhdistetään suodattimessa (30) määrätyllä tavalla painotettuina, tunnettu siitä, että mainitun suodattimen (30) jälkeen on kytketty 7 88091 epälineaarinen suodatin (40), jonka sisäänmenoihin on viety toisaalta ensiksi mainitun suodattimen (30) ulostulosignaali ja toisaalta osa (X2, X5, X4, X7) mainituista interpo-loitavan kuva-alkion ympärillä sijaitsevia kuva-alkioita 5 (X1-X8) edustavista signaaleista, jolloin epälineaarisen suodattimen (40) ulostulosignaali edustaa interpoloitavaa kuva-alkiota.

5. Patenttivaatimuksen 4 mukainen interpolaattori, tunnet-10 tu siitä, että epälineaarinen suodatin (40) käsittää medi-aanipiirin, joka rajaa ulostulonsa neljän interpoloitavaa kuva-alkiota lähinnä olevan kuva-alkion ryhmästä kahden keskimmäisen kuva-alkion väliin.

6. Patenttivaatimuksen 4 tai 5 mukainen interpolaattori, tunnettu siitä, että se sisältää mediaanipiirin, joka rajaa ulostulonsa neljän, interpoloitavaa kuva-alkiota lähinnä olevan kuva-alkion ryhmän kulloinkin kahden toisaalta pystysuunnassa otetun kuva-alkion (X2, X7) keskiarvon ja toi-20 saalta vaakasuunnassa otetun kuva-alkion (X4, X5) keskiarvon väliin.

6 88091

7. Jonkin patenttivaatimuksen 4-6 mukainen interpolaattori, tunnettu siitä, että ensimmäinen suodatin (30) on lineaari-25 nen suodatin.

8 88091