FI96559C - Menetelmä reunan suunnan tunnistamiseksi lomitellussa televisiokuvassa - Google Patents

Description

1 9 6 5 5c

Menetelmä reunan suunnan tunnistamiseksi lomitellussa televisiokuvassa 5

Keksintö koskee menetelmää, jossa lomitellun videosignaalin reunat tunnistetaan ja koodataan. Reunan tunnistuksessa käytetään hyväksi ikkunaa, jossa lasketaan useissa suunnissa operaattoreiden vasteita.

10 Prosessoitaessa vastaanotettua lomiteltua videosignaalia, joka on digitalisoitu näyte-jonomuotoon, on käytetty kuvankäsittelysovellus useimmiten interpolointi, terävöi-tys (peaking), kohinanpoisto tai liikkeenestimointi. Kaikissa näissä sovelluksissa tarvitaan hyvään tulokseen pääsemiseksi tietoa kuvassa olevan reunan suunnasta, ts. tarvitaan jokin reunantunnistusmenetelmä. Reunan tunnistus on ensiarvoisen tär-15 keää kohteen tunnistamisessa. Katsottaessa kohdetta sitä hahmotetaan katsomalla siinä olevia reunoja ja kulmia ja niiden sahalaitaisuutta ja terävyyttä. Tämän vuoksi on kuvan käsittelyssä tärkeätä tunnistaa paikallinen kuvasisältö ja prosessoida kuvaa sen mukaan. Sahalaitaisuus, viivan katkeaminen ja reuna-alueiden epäterävyys ja kuvan yksityiskohtien hämärtyminen, mikä on tyypillistä etenkin kiinteää algo-20 ritmia käyttäville tunnetuille menetelmille, riippuu suuresti reuna-alueen suunnasta. Reunan tunnistuksen tarkoituksena on siten tutkia, mikä on oikea interpoloimissuun-ta, terävöittämissuunta jne. Sen selvittämiseksi täytyy saada luotettava reunatieto prosessoitavan pikselin ympäristöstä. Kun suunta on selvillä, voidaan valita juuri siihen suuntaan sopiva käsittelytapa.

25

Esimerkkinä mainittakoon, että reuna-adaptiivista interpolointia voidaan käyttää konvertoimaan lomitettu normaalitarkkuuden kuva (720*576/50/2:1) joko lomitte-lemattomaksi (720*576/50/1:1), kenttätaajuudeltaan kaksinkertaiseksi (720*576/100/2:1) tai pysty-ja vaakatiheydeltään kaksinkertaiseksi 30 (1440* 1152/50/2:1). Kaikissa näissä konversioissa voidaan käyttää samaa reunan- tunnistusmenetelmää.

Suomalaisessa patentissa FI-89995 on esitetty tehokas 6*3-ikkunassa toimiva reu-nantunnistin, jolla voidaan tunnistaa reuna yhdeksässä suunnassa. Tunnistaminen 35 tapahtuu kentän sisällä. Kuvassa 1 esitetty tunnistuksessa käytettävä 6*3-ikkuna, joka käsittää 6 vierekkäistä pikseliä cl, c2, c3, c4, c5 ja c6 juovalta m-1 ja samoin 6 vierekkäistä pikseliä c7, c8, c9, clO, eli ja cl2 saman kentän t seuraavalta juovalta m+1. Näiden juovien pikseleiden avulla on laskettava väliin interpoloitavan 2 96559 juovan pikselin reunaestimaatin arvo, jota merkitään kysymysmerkillä (?). Kuvat 2a-i esittävät mahdollisia reunaviivan suuntia sekä kussakin tapauksessa laskentaan mukaan otettavia pikselipareja. Kuvassa la tutkitaan, onko reunaviiva 90 asteen kulmassa, kuvissa b, d, fja h, onko viiva vasemmalle vino suunnissa 116, 135, 146 5 ja 154 astetta ja kuvissa c, e, g ja i, onko viiva oikealle vino suunnissa 26, 34, 45 ja 64 astetta. Nämä yhdeksän eri tapausta jaetaan kolmeen tutkittavaan ryhmään: keskiryhmään Rk, johon kuuluvat tutkittavat suunnat 64, 90 ja 116 astetta (kuviot a, b ja c), oikeaan ryhmään Ro, johon kuuluvat tutkittavat suunnat 26, 34 ja 45 astetta (kuviot e, g ja i), ja vasempaan ryhmään Rv, johon kuuluvat tutkittavat suunnat 135, 10 146 ja 154 astetta (kuviot d, f ja h). Jokaista mahdollista reunan suuntaa tutkitaan laskemalla neljää pikseliä käyttäen pikseleiden erotusten itseisarvojen summa. Kuvassa 2 kussakin tapauksessa erotukseen laskettavien pikseliparien paikkaa osoittavat yhtenäisen viivan nuolien käijet. Lasketaan aluksi jokaiselle reunan suunnalle vasteet seuraavasti: 15 keskiryhmä Rk: vertical = | c3 - c91 + | c4 - clO | rightl = | c3 - c81 + | c4 - c91 leftl = | c2 - c91 + | c3 - clO | 20 vasen ryhmä: left2 = | c2 - clO| + |c3 - eli | left3 = j cl - clO| + |c2-cll| left4 = | cl - cl 11 + | c2 - c 121 25 oikea ryhmä: right2 = | c4 - c8 j + | c5 - c91 right3 = | c4 - c71 + | c5 - c81 right4 = | c5 - c71 + | c6 - c81 30 . Kun kaikki 9 suunnan vasteet on laskettu ryhmittäin, haetaan ryhmän minimivaste.

• Kun kunkin ryhmän minimivaste on saatu selville, etsitään minimiarvoista pienin arvo, minimien minimi, jota merkitään merkinnällä TOTminimi. 1 li

Kun kuvan 1 ikkunassa on esitettyjä kaavoja käyttäen laskettu kussakin ryhmässä ryhmän minimin arvoja suunta sekä selvitetty, missä ryhmässä on TOTmin, tallennetaan nämä tiedot estimaattina muistiin. Niinpä kysymysmerkillä esitetyn pikselin estimaatin arvo muodostuu siten neljästä tiedosta: 3 9655c 1) ryhmän Ro minimivasteen suunta, 2) ryhmän Rv minimivasteen suunta, 3) ryhmän Rk minimivasteen suunta, 4) TOTmin, joka ilmaisee, minkä ryhmän minimivaste on pienin.

5

Ikkunaa liuottamalla lasketaan kysymysmerkillä merkityn pikselin oikealla puolella olevan pikselin estimaatti jne., sitten seuraavan interpoloitavan juovan pikseleiden estimaatit, kunnes muistiin on tallennettuna kysymysmerkillä merkityn interpoloitavan pikselin naapurustosta riittävä määrä reunatietoja. Näiden reunatietojen eli es-10 timaattien perusteella valitaan seuraavaksi lopullinen reunatieto reunatiedon oikeellisuuden tarkistuspiirissä, joka vertaamalla reunatietoa naapuripikselien reunatie-toon ja käyttäen sopivaa konsistenssitarkastusta ratkaisee, onko reunatieto hyväksyttävissä. Tämän jälkeen voidaan kuvaa prosessoida edelleen reunatiedon osoittamassa suunnassa.

15

Edellä kuvattu reunantunnistusmenetelmä kuten muutkin vastaavat menetelmät perustuu siihen olettamukseen, että luminanssiarvojen deviaatio on pieni reunaa pitkin kun taas deviaatio reuna yli on suuri. Deviaatio mitataan luminanssiarvojen absoluuttisena erona. Reunatieto saadaan laskemalla absoluuttiset erot eri suunnissa ja 20 valitsemalla pienimmän vasteen antava suunta reunan suunnaksi. Mikäli reunan tunnistus tehdään kotimaisessa kohdassa tai lähellä kapeita viivoja, voidaan saada pieniä vasteita useissa suunnissa, jolloin oikean suunnan selvittäminen onkin hankalaa. Edellä kuvatun menetelmän puutteina on ensinnäkin, että se ei anna tietoa, onko tietty piste reunapiste vai ei, ja toiseksi se ei kykene tunnistamaan vaakasuoraa 25 reunaa. Reunan suunnan määritys vain yhtä pistettä tutkimalla ei siten anna täysin luotettavaa kuvaa reunan suunnasta.

Tämän keksinnön tavoitteena on löytää reunantunnistusmenetelmä, jolla on edellä kuvatun tunnetun menetelmän edut mutta joka mahdollistaa reunan suunnan selville 30 saamisen myös vaakasuunnassa. Tavoite saavutetaan oheisten patenttivaatimusten . mukaisesti siten, että etsitään tutkittavan pisteen lähiympäristössä dominoiva reunan suunta. Siten osoitetaan kutakin tutkittavaa asemaa kohden kentässä muutamia eh-dokassuuntia ja sen jälkeen vähennetään sopivaa kriteeriä käyttäen väärien ehdokkaiden lukumäärää, jotta oikean suunnan todennäköisyys kasvaisi. Todennäköisyyt-35 tä kasvatetaan siten, että • käytetään kussakin suunnassa rinnakkaista erolaskentaa, • prosessoidaan eri suuntia hierarkkisesti jakamalla suunnat pääsuuntiin ja osa-suuntiin, 9 6 5 5c • lasketaan interpoloinnin koearvot ja jätetään huomiotta yksi pääsuunta, joka ei sovi naapuruston suuntiin ja • valitaan naapurustossa vallitseva dominoiva suunta.

5 Keksintöä selostetaan tarkemmin oheisten kaaviollisten kuvien avulla, joissa kuva 1 on reunantunnistusmaski tunnetussa menetelmässä, kuva 2 esittää operaattoreita tunnetussa menetelmässä, kuva 3a esittää reunantunnistusmaskia keksinnön menetelmässä, kuva 3b kuvaa kuvan 3a maskin muodostamisen muistijäijestelyä, 10 kuva 4 esittää suuntaoperaattoreita, kuva 5 on eräs kytkentäjäqestely vasteiden laskemiseksi, kuva 6 on kytkentäjäijestely alustavan suuntatiedon laskemiseksi, kuva 7 kuvaa konsistenssitarkastuksessa käytettävää muistijäijestelyä, 15 kuvat 8a ja 8b esittävät kytkentää suuntainformaation käyttämiseksi in- terpoloimissuunnan määrityksessä, ja kuva 9 esittää kytkentää konsistenssin parantamiseksi.

Kuvassa 3 a on esitetty tunnistuksessa käytettävä ikkuna. Sen koko on tässä esi-20 merkissä 7*3, mutta mitä tahansa n*3-ikkunaa voidaan käyttää. Ikkunan ylärivi käsittää 7 vierekkäistä pikseliä cl, c2, c3, c4, c5, c6 ja c7 juovalta m-1 ja samoin 7 vierekkäistä pikseliä c8, c9, clO, eli, cl2, cl3 ja cl4 saman kentän t seuraavalta juovalta m+1. Näiden juovien pikseleiden avulla on laskettava reunaestimaatin arvo, jota merkitään merkinnällä X. Tätä estimaattia voidaan ajatella esim. väliin in-25 terpoloitavan juovan pikselin reunatiedoksi.

Suuntaestimaatin laskenta on kentän sisäinen (intra field) prosesssi, joten siinä käytetään pelkästään kentän t pikseleitä cl,...cl4 eli ikkunasta käytetään ylintä ja alinta riviä. Käytännössä samanaikaisesti reunatunnistuksen kanssa suoritetaan 30 myös uusien näytteiden luominen reunatiedon mukaan. Mikäli reunantunnistusta , hyödyntävä algoritmi, esim. interpolointi, on kenttien välinen (inter field), johde taan ikkunaan myös pikselit p3, p4 ja p5 edeltävästä kentäiti t-1. On huomattava, että itse reunantunnistuksessa näitä pikseleitä ei käytetä, vaan reunan tunnistus on puhtaasti kentän sisäinen.

35

Kuvassa 3b on esitetty laskentaikkunan muodostamiseen käytetty muistijäijestely. Se on tarkoitettu tapaukseen, jossa videosignaali on PAL-järjestelmän mukainen, jossa aktiivinen näyteavaruus on 720*576. Jos digitoitujen näytteiden määrä on eri I! 9 6 5 5 c kuin eedellä mainittu, on juova ja kenttämuistien koko tietysti toinen. Jäijestely muodostuu yksinkertaisesti peräkkäisistä pikselimuisteista cl, c2, c3, c4, c5, c6, c7 ja c8, c9, clO, cl 1, cl2, cl3 ja cl4, ja näiden kahden seitsemän pikselin ryhmän välissä olevasta viiveestä, joka vastaa juovan kestoa miinus ikkunan leveys eli tässä 5 tapauksessa viivästettynä 713:sta pikseliviiveen ajan. Viivettä on merkitty 713*D. Pikselimuistien lähdöistä saadaan ikkunan ylin ja alin rivi Tämän jälkeen tulee 286 juovaviiveestä muodostettu kenttämuisti (286LM). Jos ikkunassa edeltävän kentän juova on parillinen, saadaan se kenttämuistin lähdöstä viivästettynä ajalla, joka vastaan 715 pikselimuistia (715*D),), ja jos se on pariton, saadaan se kenttämuistin 10 lähdöstä viivästettynä yhdellä juovalla ja mainituissa 715 kpl pikselimuisteissa. Va linta suoritetaan ohjatulla kytkimellä kuten kuvassa on esitetty. Ikkunan keskimmäisen rivin eli edeltävän kentän näytteet saadaan pikselimuistien p5, p4 ja p3 lähdöistä. Kuvan perusteella ikkunan muodostus on ammattimiehelle aivan selvä. Vi-deosignaalinäytteet saapuuvat lohkoon C14, kulkevat kaikkien peräkkäisten muis-15 tien kautta ja poistuvat pikselimuistista p3, josta saadaan siis ajallisesti vanhin näyte. Huomautettakoon vielä tässä, että edellisen kentän näytteitä p3, p4 ja p5 tarvitaan ainoastaan, jos kuva muunnetaan normaalitarkkuuden rasterista teräväpiir-totarkkuusrasteriin tai muunnoksessa progressiiviseksi (IPC- muunnos). Jälkimmäisessä tapauksessa muunnos tehdään siten, että 3 pisteen mediaanisuodattimen kes-20 kimmäinen näyte otetaan edeltävästä kentästä. Sen vuoksi tarvitaan kenttämuisti.

Jos muunnos olisi kenttätaajuuden kahdentaminen FRU (field rate upconversion), tarvittaisiin kaksi kenttämuistia. Reunansuunnan selvityksessä riittää pelkästään pikselimuistit ja niiden välillä yksi juovamuisti. 1 2 3 4 5 6 7 8 9 10 11

Jokaista kentän tutkittavaa näyttettä X kohden lasketaan paikallinen suunta käyttäen 2 ikkunan sisällä yhdeksää suuntaoperaattoria, jotka on esitetty kuvissa 4a...4i. Kus 3 sakin kuvassa on kaksi vierekkäisestä nuolta. Kumpaakin nuolta kohden lasketaan 4 ensin nuolen kärkien kohdalla olevien ikkunan senhetkisten pikselien absoluuttiar 5 vojen erotus ja tämän jälkeen lasketaan saatujen erotusten summa. Näin tehdään 6 kaikissa yhdeksässä suunnassa. Esim. kuvassa 4a, jota merkitään merkinnällä left4 7 (154°), merkintä left4 tarkoittaa, että kyseessä on operaattori, joka on neljäs ryhmä 8 joukosta, jossa on 4 vasemmalle kallellaan olevaa operaattoriparia ja asteluku ilmai 9 see kallistuksen asteen. Tässä kuvassa absoluuttisten erojen summa eli operaattori- 10 vaste left4 on I cl-cl2 I + I c2-cl3 I. Vastaavalla tavalla lasketaan absoluuttisten 11 erotusten summa kaikissa yhdeksässä suunnassa ja summat tallennetaan muisteihin myöhempää käsittelyä varten. Operaattorit on jaettu kolmeen ryhmään: vasen ryhmä, joka käsittää operaattorit left2, left3 ja left4, keskiryhmä, joka käsittää operaattorit right 1, vertical, leftl, ja oikea ryhmä, joka käsittää operaattorit right2, 6 9 6 5 5c right3, right4. Matemaattiset ilmaukset erotusten summille kaikissa suunnissa ja ryhmiteltynä edellä sanottuihin ryhmiin ovat: keskiryhmä: 5 vertical = | c3 - clO| + | c4 - eli | rightl = | c4 - clO | + | c5 - cl 1 leftl = | c3 - cl 1 + | c4 - cl21 vasen ryhmä: 10 left2 = | c2 - cl 11 + | c3 - c 121 left3 = |c2-cl2| + |c3 -cl3| left4 = | cl - cl2| + |c2-cl3| oikea ryhmä: 15 right2 = | c5 - clO| + | c6 - eli | right3 = | c5 - c91 + | c6 - clO| right4 = | c6 - c9| + | c7 - clO| Näiden yhdeksän suunnan lisäksi lasketaan vielä vaakasuunnan operaattorin 20 "horizontal" vaste seuraavasti horizontal = | c4 - cl 11 - range(c3, c4, c5) - range(cl0, eli, cl2), jossa operaattori "range" tarkoittaa sisääntulonäytteiden maksimin ja minimin erotusta.

25 Vaakasuunnan vaste perustuu samaan olettamukseen kuin mitä on käytetty muissa • suunnissa: näytteiden arvojen deviaatio on pieni reunan suunnassa kun taas reunan yli mentäessä deviaatio on suuri. Lasketaan siten maksimi(c3, c4, c5) - minimi(c3, c4, c5) ja maksimi (clO, eli, cl2) - minimi(cl0, eli, cl2). Näiden summa vähennetään sitten kahden pystysuunnassa alekkaisen näytteen c4, cl 1 erotuksen itseisar-30 vosta, jolloin tulos on vaste "horizontal". Näin ollen mitä suurempi on ero pystysuunnassa ja mitä pienempi on ero vaakasuunnassa, sitä suurempi on horisontaa-- * livaste ja siten todennäköisyys sille, että kuvan tässä kohdassa on vaakasuuntainen reuna. Tätä tietoa voidaan käyttää hyväksi kuvan jatkoprosessoinnissa esim. pakottamaan interpolaatio horisontaalisuuntaiseksi esim. suuntien left4 tai right4 asemas-35 ta. Tämä on edullista erityisesti tekstiä sisältävissä kuvissa, joissa äärimmäisillä suunnilla (horisontaali/vrrtikaali) on taipumus huonontaa signaalia. Asettamalla horisontaalioperaattorille kyllin korkea kynnysarvo voidaan kasvattaa varmuutta siitä, että horisontaalinen reuna on todella kyseessä.

Il: 7 9655c

Horisontaalioperaattori voi tietenkin olla muunkinlainen !οΰη edellä kuvattu. Oleellista on vain se, että se perustuu pysty-ja vaakasuunnan vasteiden vertailuun.

5 Edellä mainitut vasteet yhdeksässä suunnassa ja lisäksi horisontaalivaste lasketaan kuvan 5 mukaisella kytkentäjäijestelyllä. Sen sisääntulona ovat ikkunan ylä- ja alarivin näyttteet cl,...,cl3. Lohko A sisältää laskentavälineet kahdeksantoista absoluuttisen erotuksen laskemiseksi yhtä aikaa sekä erotusten summien summaamiseksi pareittain. Kunkin laskentaosan sisään on merkitty sen suorittama laskutoimitus.

10 Lohkon A lähdöstä saadaan operaattoreiden vasteet. Lohkossa B lasketaan horison-taalioperaattorin vaste. Näytekolmikkojen ryhmät c3, c4 ja c5 sekä clO, cl 1 ja cl2 jäljestetään näytearvojen suuruusjärjestykseen lohkoissa "sorting" ja lasketaan lohkojen näytearvojen maksimin ja minimin erotukset, jotka sitten summataan ja muutetaan etumerkki. Negatiivilukusummaan lisätään lohkosta A saatava näytearvojen 15 erotus c4-cl 1, ja tulos kynnystetään luvulla kl, jolloin lopputuloksena saadaan ho-risontaalioperaattorin vaste. Kynnysarvo voidaan valita vapaasti, eräs sopiva arvo voisi olla k 1= 128.

Kun valitaan lopullinen reunansuunta myöhemmin kuvattavassa konsistenssitarkas-20 tuksessa, on osoittautunut edulliseksi tehdä tämä tarkastus adaptoituvaksi relevantin reunatiedon lukumäärään. Tämä tarkoittaa sitä, että määritettäessä lopullista reuna-tietoa otetaan huomioon vain reunatieto, joka liittyy aktiivisiin kohtiin. Aktiivisuus määritetään keskiryhmän tietojen perusteella siten, että jos ainakin yksi tämän ryhmän vaste on suurempi kuin asetettu kynnysarvo k2, esim. 16, niin silloin kuva-25 kohta kuvassa on aktiivinen ja suuntatieto otetaan huomioon konsistenssitarkastuk-sessa. Tarkistus tapahtuu yksinkertaisesti lohkossa C OR-operaattorilla, jonka tuloina ovat keskiryhmän kynnystetyt vasteet. Lähtönä saadaan aktiivisuustieto "aktiivinen/ei-aktiivinen". Jos siis yksikin tuloon syötetyistä keskiryhmän vasteista ylittää asetetun kynnysarvon k2, tulkitaan tutkittava kohta "aktiiviseksi".

30

Aktiivisuustarkastus voidaan tehdä myös muulla kuin edellä sanotulla tavalla. Voidaan esim. tutkia kahden näytteen absoluuttista eroa tai kolmen näytteen ryhmästä sen maksimin ja minimin erotusta. Siten kohta määritetään aktiiviseksi, jos: abs(c4 - cl 1) > k2, tai 35 [max(c3, c4, c5) - min(c3, c4, c5)] > k2 tai [max(cl0, cl 1, cl2) - min(cl0, eli, cl2)] > k2 k2 on valittavissa oleva kynnysarvo, esim. 16.

9 6 5 5c

Kun vasteet, aktiviteetti ja kynnystetty horisontaalivaste on laskettu, ne ovat valmiit pantavaksi muistiin. Vasteita prosessoidaan edelleen kuvan 6 mukaisesti sekä pää-että osasuunnissa siten, että vasemman ryhmän vasteet left2, left3 ja left4 muodostavat vasemman pääsuunnan, keskiryhmän Rk vasteet leftl, vertical ja rightl muo-5 dostavat keskimmäisen pääsuunnan ja oikean ryhmän vasteet right2, right3 ja right4 muodostavat oikean pääsuunnan. Kunkin pääsuunnan vasteet johdetaan omaan lohkoonsa MIN, joka hakee tulovasteistaan minimivasteen. Näin saadaan minimivas-teet ja niiden suunnat (= yksi pääsuunnan kolmesta osasuunnasta) jokaisessa pää-suunnassa. Ennen lohkoissa MIN suoritettavaa lajittelua täytyy tulovasteet jollain 10 tavalla merkitä, jotta ne olisivat erotettavissa lajittelun jälkeen. Vasteet voidaan merkitä esim. siten, että varataan kolmibittinen kenttä jokaista pääsuuntaa kohden ja käytetään bittiä "1" indikoimaan osasuuntaa.

Lohkoissa MIN suoritettujen operaatioiden jälkeen ovat käytettävissä sekä minimi-15 vaste että sitä vastaava alisuunta jokaista pääsuuntaa kohden, esim. kuvassa 6 respleft ja dir_left viittaavat minimivasteeseen ja vastaavaan osasuuntaan vasemmassa pääsuunnassa. Resp left voisi olla vaikkapa operaattorin left3 vaste (lukuarvo), jolloin dir left olisi 146°. Muissa lohkoissa merkintä on vastaava.

20 Kun minimivasteet ja niitä vastaavat osasuunnat ovat selvillä, selvitetään seuraa- vaksi, mitkä niistä ovat epäsopivia. On useita tapoja määritellä ja merkitä epäsopivat suunnat. Tässä keksinnössä käytetään kahta erillistä tarkistusrutiinia, joita nimitetään tarkistus A (Check A) ja tarkistus B (Check B). Viitataan edelleen kuvaan 6. 1 2 3 4 5 6 7 8 9 10 11

II

Tarkistuslohkossa A otetaan kaksi peräkkäistä välittömästi vertikaalisuunnasta oi 2 kealle ja vasemmalle olevaa operaattorivastetta eli vasteparit rightl ja right2 sekä 3 vasteparit leftl ja left2. Vasteparit lasketaan yhteen ja parien summia verrataan 4 toisiinsa vertailulohkossa 52, joka määrittelee todennäköiset/epätodennäköiset pää 5 suunnat. Jos (left2 + leftl) >(rightl + right2) eli oikean suunnan vasteparin summa 6 on pienempi, on reunan suunta todennäköisempi oikeassa (right) suunnassa. Loh 7 kon ulostulo on tällöin 1, jolloin epätodennäköisen vasemman pääsuunnan left 8 huomiotta jättäminen tapahtuu lisäämällä tietty suuri vakio esim. 256 vastaavaan 9 minimivasteeseen resp left, jolloin minimivaste tulee suureksi ja sen pääsy myö 10 hempään interpolointiin estyy. Esto tapahtuu niin, että vertailulohkon 52 ulostulo 1 11 viedään kertojaan ml, jonka toinen tulo on arvo 256. Kertojan lähtö on tällöin 256, joka summataan vasemman suunnan minimivasteeseen. Oikean suunnan minimi-vaste säilyy ennallaan, koska mainittu luku 1 invertoidaan käänteisluvukseen ennen kertojaa m2. Mikäli vertailulohko antaisi lähdön "0", on tapahtumien kulku kääntei- 9 6 5 5c nen. Näin ollen tarkastus Check A aina kohdistuu minimivasteeseen joko suunnassa vasen tai oikea ja tekee jommankumman käyttökelvottomaksi muuttamalla sen arvon suurimmaksi mahdolliseksi.

5 Lohkon A jälkeen on selvillä minimivasteet kaikissa kolmessa pääsuunnassa ja minimivasteeseen liittyy lisäksi sen osasuuntatieto. Vasteiden suuntatiedot ryhmistä left ja right eli suuntatiedot dirleft ja dir right tallennetaan muistiin 51 ja lisäksi tieto näiden suuntien oikeellisuustodennäköisyydestä, joka on laskettu vertailuloh-kossa 52.

10 Tämän jälkeen tehdään koeinterpolointi lohkossa B (Check B) käyttämällä oikean ja vasemman pääsuunnan minimivasteen haussa selvitettyjä osasuuntia (dir left tai dir_ right), jotka on tallennettu muistiin 51. Tämä vaihe vaatii ennalta lasketut in-terpolointiarvot ainakin vasenta ja oikeaa iyhmää kohti. Kuitenkin käytännössä on 15 suoraviivaisin tapa laskea kaikki mahdolliset arvot ja tallentaa ne muistiin 51 (9 muistipaikkaan) ja sitten valita niistä yksi käyttäen kolmena ohjaussignaalina edellä mainittuja oikean ja vasemman pääsuunnan osasuuntia dir left, dir_ right ja valita sitten kumpaa näistä kahdesta käytetään. Tämän jälkeen koeinterpoloinnin tuottamaa arvoa y verrataan nollanäytteen X yläpuolella olevaan näytteeseen c4 ja ala-20 puolella olevaan näytteeseen eli. Tämä tapahtuu laskemalla näiden näytteiden ja koearvon y erotus. Jos erotus lankeaa asetetun välin, esimerkissä välin [-32, 32] ulkopuolelle, tulkitaan jäljellä oleva äärimmäinen pääsuunta (dir left tai dir_ right) ehdottomasti vääräksi ja sen tähden se hylätään lisäämällä sen vasteeseen arvo 256. On välttämätöntä lisätä tämä arvo vain jäljellä olevaan äärimmäiseen pääsuuntaan, 25 mutta se voidaan myös lisätä molempiin äärimmäisiin vasteisiin kuten kuvassa 6 on esitetty. Edellä esitetty tarkastus tehdään osalohkossa D yksinkertaisin JA- ja TAI-operaatioin. Lohko D voidaan tietenkin toteuttaa myös muilla tavoin ja saavuttaa silti sama tulos. 1 2 3 4 5 6

Seuraavana vaiheena on löytää pääsuuntien minimivasteista pienin (dir_totmin).

2

Etsintä suoritetaan lohkossa 53 (kuva 6), jossa tuloina olevat kolmen pääsuunnan 3 minimivasteet respleft, resp_right ja resp middle asetetaan suuruusjärjestykseen ja 4 valitaan ulostuloksi niistä pienin, jota merkitään merkinnällä dir totmin. Se voi 5 daan merkitä kolmibittisellä koodisanalla.

6

Lohko E on valinnainen. Jos kulma on esim 45° ja 64° välillä, toisin sanoen kahden ryhmän välillä (middle ja right), aiheutuu siitä pientä "kytkentävirhettä" kuvaan. Tämän vuoksi voidaan lisätä lohko E, joka tuottaa "väliryhmät" right middle ja 9655° 10 leftjniddle. Nämä toimivat dominoivan suunnan haun yhteydessä vastaavasti kuin pääryhmät. Lohkossa E tehtävien JA- sekä TAI-operaati( d m avulla tutkitaan, kuuluuko dirtotmin välisuuntiin vai ei. ta. JA-operaatioissa verrataan dirtotmin arvoa dirright, dir middle ja dir left arvoihin eli seuraavat loogiset JA operaatiot: 5 (a) dir totmin JA dir right (b) dir totmin JA dir middle (c) dir totmin JA dir left Tämän jälkeen TAI operaatioissa suoritetaan (a) TAI (b), jonka tulos on rightjmiddle sekä (c) TAI (b), jonka tulos on leftmiddle. Tulos right_middle tai 10 left middle on "1", mikäli ryhmän left middle minimivaste on leftl tai left2 tai vastaavasti mikäli ryhmän rightmiddle minimivaste on right 1 tai right2. Eli jos saadaan right middle bitin arvoksi "1", se tarkoittaa, että joko right 1 tai right2 antaa minimivasteen koko joukossa. Tämän vaiheen jälkeen ei enää tarvita vasteita. Tähänastisilla toimenpiteillä on saatu selville 15 a) missä kolmesta pääryhmästä on ehdoton minimivaste (= dir totmin), b) missä suunnassa on kunkin pääryhmän minimivaste (= dir left, dir middle, dir right), sekä c) optionaalinen tieto (left middle) siitä, onko ehdoton minimivaste ryhmien leftl ja left2 suunnassa ja optionaalinen tieto (right middle) siitä, onko ehdoton minimi- 20 vaste tyhmien right 1 ja right2 suunnassa.

Kaikki nämä tiedot tallennetaan muistiin konsistenssitarkistusta varten. Muisti voi olla 16-bittinen muistiyksikkö 54. Muistiin tallennetaan myös aiemmin laskettu "activity "-tieto ja "horizontaT-vaste. 1 2 3 4 5 6 7 8 9 10 11

II

Kuva 7a näyttää konsistenssitarkastuksessa käytettävän mahdollisen muistiraken 2 teen. Konsistenssitarkastuksessa verrataan tutkittavan näytteen reunatietoja, jotka 3 on tallennettu muistiyksikköön 54, ympäröivien näytteiden vastaaviin reunatietoi- 4 hin. Tarkastuksessa käytettävä ikkuna on tässä 5*3-ikkuna, joten sen muodostaa 15 5 kappaletta edellä kuvattuja 16-bittisiä muistiyksikköjä el, e2,...,el5, joihin kuhun- 6 kin on siis tallennettu pikseliin liittyvät reunatiedot. Yksikössä olevaa informaa- 7 tiobittiä esitetään oikea/väärä-tavalla käyttäen yhtä bittiä. Tämä lähestymistapa ei 8 tosin optimoi tarvittavan muistin kokoa, mutta tekee koodauksen helposti toteutet 9 tavaksi. Kokovaatimus muistille, jota käytetään konsistenssitarkastuksessa, on noin 10 2x720x16 bittiä. Koska ikiomassa on reunatietoja kolmelta peräkkäiseltä juovalta, 11 tarvitaan lisäksi kaksi juovamuistia, jotka kumpikin käsittävät 715 pikseliviivettä. Kuvassa 7b on kuvattuna suurennettuna yhden muistiyksikön, tässä e 12, rakenne.

Se on siis 16-bittinen muisti, joka käsittää bittipaikat bl, b2,..,bl6. Muistipaikan yläpuolelle on kirjoitettu paikan merkitys, ja informaatio on merkitty 0 tai 1 bitilllä 11 9655c (väärä/tosi-periaate), Jos kuvan 6 tarkastuksessa on esimerkiksi saatu tiedot dir_left=left2, dir_middle=leftl, dir_right=right3, dir_totmin=left middle/middle, active, niin muistipaikkojen bitit ovat kuvassa esitetyt.

5 Kuvissa 8a ja 8b voidaan nähdä, kuinka alustavaa suuntainformaatiota käytetään konsistenssitarkastuksessa interpolointisuunnan määrittämiseen. Tarkastuksessa käytetään ikkunaa, jonka koko voidaan vapaasti valita. Tässä esimerkissä ikkunan koko on 5*3. Ikkunan koon valinnalla voidaan painottaa hieman sitä suuntaa, jossa reunan suunta todennäköisimmin esiintyy. Perusidea tässä on löytää 5x3-ikkunassa 10 dominoiva suunta laskemalla pääsuuntien lukumäärä, jotka pääsuunnat ovat leit, middle, right ja horizontal. Mikäli on käytetty kuvan 6 optionaalista lohkoa C, tulevat mukaan vielä välisuunnat left middle ja right middle. On huomattava, että laskut eivät tapahdu symmetrisesti kaikissa viidessätoista asemassa, vaan ainoastaan 11 suuntaa otetaan laskennassa huomioon. Esimerkiksi laskettaessa vasemman pää-15 suunnan lukumäärää, otetaan huomioon reunainformaatio el, e2, e3, e6, e7, e8, e9, elO, el3, el4jael5. Jotta reunasijainti olisi oikea, sen täytyy olla aktiivinen (ei tarvita mitään erityistä aktiviteettibittiä, mutta se voidaan koodata siten, että nollat kaikissa suunnissa merkitsevät ei-aktiivinen). Aktiivisten paikkojen kokonaislukumäärä 5x3-alueella lasketaan (act count) ja act countin puolikas spesifioi minimi-20 määrän, joka vaaditaan pääsuunnalta, jotta se olisi dominoiva suunta.

Kun pääsuunta näytteen e8 naapurustossa tiedetään, silloin pääsuunnan osasuunta tässä paikassa asetetaan interpolointisuunnaksi. Keskimmäisen pääsuunnan osa-suunta (dir middle) on interpoloinnin oletussuunta.

25

Periaatteessa interpolointisuunta on nyt tiedossa. Kuitenkin interpolointisuunnan konsistenssia voidaan edelleen kytkentävirheiden pienentämiseksi parantaa kuten on esitetty kuvassa 9. Tarkastellaan kolmea peräkkäistä positiota juovalla tarvittavan position e8 lopullisen interpolointisuunnan määrittämiseksi. Mikäli interpo-30 lointisuunta positiossa e8 on valittu joko vasemmasta tai oikeasta pääsuunnasta ja mikäli sekä e7 että e9 on valittu keskimmäisestä interpolointisuunnasta, valittu suunta e8:ssa ei ole konsistentti ja sitä täytyy muuttaa. Tässä tapauksessa käytetään aseman e7 suuntaa. 1

Edellä esitetyillä keksinnön mukaisilla toimenpiteillä on luotettavasti saatu selville reunan suunta lomitellun videosignaalin kunkin näytteen kohdalla. Tätä reunatietoa voidaan käyttää hyväksi monin eri tavoin kuvan käsittelyssä. Jos standardin 625/2:1/50 Hz:n mukainen lomiteltu videosignaali muunnetaan progressiiviseksi 12 9655° 625/1:1/50 Hz:n signaaliksi tai kenttätaajuudeltaan kaksinkertaiseksi 625/2:1/100 Hz:n signaaliksi tai 1250/2:1/50 Hz signaaliksi, joudutaan interpoloimaan uusia juovia. Juovien pikseleiden interpolointi on syytä suorittaa adaptiivisesti reunatie-don mukaan. Tällöin interpolaattoriksi sopii esim. suomalaisen patentin no: 89995 5 kuvassa 9 esitetyn kaltainen interpolaattori. Tässä interpolaattorissa käytetään näytteitä p3, p4 ja p5 edellisestä kentästä, ks. tämän hakemuksen kuva 3a. Kuvassa 10 on kaaviollisesti esitetty mainitun patenttihakemuksen tähän keksintöön sovitettu FMH-tyyppinen interpolaattori. Siinä ensin lasketaan tulonäytteiden pareille keskiarvot kahden pisteen lineaarisuodattimissa ja ne ovat tuloina kolmen pisteen medi-10 aanisuodattimille. Niitä on 9 kappaletta vastaten yhdeksää suuntaa, jolloin interpolointi tapahtuu reunatiedon määräämässä suunnassa.

Tietyssä suunnassa tapahtuvassa interpoloinnissa on vaaransa: toisaalta mikäli suunta on estimoitu oikein, on interpolointitulos hyvä, mutta toisaalta mikäli suun-15 nan estimointi on väärä, aiheuttaa interpolointi näkyviä kuvavirheitä. Nämä kuva-virheet ovat tyypillisesti sitä enemmän silmin nähtäviä, mitä enemmän estimoinnissa on suunnasta johtuvia virheitä. Simulaatiot ovat selvästi osoittaneet, että suuntainterpolointi äärimmäisissä suunnissa, kuten suunnissa left4, left3, right3 tai right4, tuottaa näkyviä kuvavirheitä. Mikäli suunnan on virheellisesti estimoitu ole-20 van yksi näistä suunnista, siitä aiheutuu, että näytteet, jotka eivät kuulu nollanäyt-teen X välittömään ympäristöön, vaikuttavat huomattavasti nollanäytteen arvoon sitä laskettaessa ja tämä tekee virheet näkyviksi kuvassa.

«.

n

Claims (10)

1. 9 6 5 5( 13
2. 1. Menetelmä reunan ja reunan suunnan ilmaisemiseksi näytejonomuodossa tulevasta lomitellusta videosignaalista, jossa menetelmässä jokaista tutkittavaa positiota (X) kohti: 5. käytetään tunnistinmaskia, jonka ylimmällä rivillä on näytteitä juovalta (m) ja alimmalla rivillä on vastaavien horisontaalipositioiden näytteitä saman kentän seu-raavalta juovalta (m+1), - lasketaan useiden operaattoreiden vasteet, jotka toimivat eri osasuunnisssa maskin keskipisteenä olevan tutkittavan position (X) suhteen, 10. järjestetään sanotut osasuuntien operaattoreiden vasteet pääsuuntien mukaisiin pääryhmiin ja etsitään kustakin pääryhmästä minimivaste (resp left, resp middle, resp right) ja sen osasuunta (dir left, dir middle, dir right), joka tallennetaan muistiin, - etsitään minimivasteiden minimi ja tallennetaan sen pääryhmän pääsuunta 15 (dirtotmin) muistiin, tunnettu siitä, että lisäksi: - tutkittavaa positiota (X) kohden määritetään sen aktiivisuus, jolloin vain aktiiviseksi luokitellut positiot otetaan huomioon konsistenssitarkastuksessa, - operaattoreihin kuuluu lisäksi horisontaalioperaattori (horizontal), joka vertailee 20 näytteiden erotusta pystysuunnassa näytteiden erotukseen vaakasuunnassa, jolloin mitä suurempi on ero pystysuunnassa ja mitä pienempi on ero vaakasuunnassa, sitä suurempi on todennäköisyys sille, että kyseessä on vaakasuuntainen reuna - suoritetaan konsistenssitarkastus, jossa haetaan dominoiva reunan pääsuunta käyttäen tutkittavan position (X) ja sen naapuripositioiden muistiin tallennettuja 25 pää- ja osasuuntatietoja ja valitaan lopulliseksi reunasuunnaksi osasuunta, joka on ‘ · tutkittavan position sanotun pääsuuntaiyhmän minimivasteen osasuunta.
3. 2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että operaattorit ovat pääryhmittäin: 30 keskiryhmä: vertical = | c3 - c 101 + | c4 - cl 11 rightl = | c4 - clO | + | c5 - cl 11 leftl = |c3 - cl 11 + |c4-cl2| 1 vasen ryhmä: left2 = | c2 - cl 11 + |c3 -cl2| left3 = | c2 - cl21 + | c3 - cl31 left4 = |cl -cl2| + |c2-cl3| 14 9 6 5 5c- oikea ryhmä: right2= |c5 -clO| + | c6 - c 111 right3 = I c5 - c9| + | c6 - clO| 5 right4 = I c6 - c9| + jc7 - clO| joissa cl, c2, c3, c4, c5, c6 ja c7 ovat ikkunan ylärivillä olevat näytteet ja vastaavasti c8, c9, clO, cl 1, cl2, cl3 ja cl4 ovat ikkunan alarivillä olevat näytteet.
4. 3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että horisontaaliope- raattori on: horizontal = | c4 - cl 11 - [ (max(c3, c4, c5) - min(c3, c4, c5)) + (max(cl0, cl 1, cl2) -min(cl0, eli, cl2)) ].
5. 4. Patenttivaatimuksen 3 mukainen menetelmä, tunnettu siitä, että horisontaaliope- raattorin ylittäessä asetetun kynnysarvon kl tulkitaan, että kyseessä on vaakasuuntainen reuna.
6. 5. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että tutkittava positio 20 määritetään aktiiviseksi, jos yksikin keskiryhmän operaattoreiden vasteista on suurempi kuin asetettu kynnysarvo k2.
7. 6. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että suoritetaan tarkistukset, joilla ainakin yksi pääsuunnista jätetään huomiotta epäsopivana. 25 * 7. Patenttivaatimuksen 2 ja 6 mukainen menetelmä, tunnettu siitä, että ensimmäi sessä tarkistuksessa (Check A) verrataan operaattoreiden left2 ja leftl vasteiden summaa operaattoreiden right2 ja rightl vasteiden summaan ja edellisen ollessa suurempi kuin jälkimmäinen hylätään vasemman pääsuunnan minimivaste ja päin-30 vastaisessa tapauksessa hylätään oikean pääsuunnan minimivaste.
8. 8. Patenttivaatimuksen 7 mukainen menetelmä, tunnettu siitä, että toisessa tarkistuksessa (Check B): - suoritetaan koeinterpolointi jäljellä olevan pääryhmän minimivasteen osasuunta-35 tiedon osoittamassa suunnassa, - verrataan koeinterpoloitua arvoa (y) tutkittavan position (X) yläpuolella ja alapuolella olevaan näytteeseen ja eron ollessa asetetun vaihteluvälin ulkopuolella hylätään myös jäljellä olevan pääsuunnan minimivaste. il. 9 6 5 5C
9. 9. Minkä tahansa edeltävän patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että konsistenssitarkastus suoritetaan valitun kokoisessa ikiomassa, jonka jokaiseen muistipositioon (em) liittyy pääryhmien minimivasteiden osasuuntatiedot, 5 (dirleft, dirmiddle, dirright), pääryhmien minimivasteiden minimitieto (dirtotmin), aktiviteettitieto (activity), horisontaalivastetieto (horizontal) ja tieto siitä, onko pääryhmien minimivasteiden minimin suunta (dir totmin) tietyssä suunnassa.
10. 10. Patenttivaatimuksen 9 mukainen menetelmä, tunnettu siitä, että ikkunassa las ketaan aktiivisten positioiden lukumäärä ja se, kuinka monta kappaletta kutakin pää-suuntaa on, ja jotta se pääsuunta, jossa lukumäärä on suurin, olisi dominoiva pää-suunta, on mainitun lukumäärän oltava riittävä, esim. ainakin puolet aktiivisten positioiden lukumäärästä. 15