FI126544B - Menetelmä ja laite häiriön vähentämiseksi kuvanauhalla - Google Patents

Description

MENETELMÄ JA LAITE HÄIRIÖN VÄHENTÄMISEKSI KUVANAUHALLA

Keksintö liittyy kuvanauhan tai videon käsittelyyn. Tarkemmin jotkin keksinnön sovellukset liittyvät videon häiriöiden vähentämiseen.

TAUSTA JA AIHEEN ALA US-patentti numero 7,447,382 kuvaa suuremman resoluution kuvan laskemista useasta pienemmän resoluution kuvasta käyttäen mallipohjaista järeää Bayesialaista estimointia. Tuloksena saatava suuremman resoluution (higher resolution, HR) nä-kymäkuva annetuista useista havainnoiduista pienemmän resoluution (lower resolution, LR) näkymäkuvista on laskettu Bayesialaisen estimoinnin kuvanentisöinnin menetelmäoppia käyttäen. Menetelmäoppi tuottaa tuloksena HR-kuvan perustuen todennäköisyyden todennäköisyysfunktioon, joka toteuttaa mallin LR-kuvien muodostumiselle häiriön esiintyessä. Tämä häiriö on mallitettu todennäköisyyksiä kuvaavalla Gaussin jakaumaa noudattamattomalla järeällä funktiolla.

KEKSINNÖN KUVAUS

Keksinnön suoritusmuotojen mukaisesti tarjotaan menetelmä, laite ja järjestelmä, jotka on määritelty itsenäisissä patenttivaatimuksissa.

LYHYT KUVAUS PIIRUSTUKSISTA

Hakemusasiakirjaan tai patenttiin kuuluu ainakin yksi värillisenä toteutettu kuva. Patenttivirasto järjestää kopiot tästä patentista tai patenttihakemusjulkaisusta värillisillä piirustuksilla pyynnöstä ja edellyttäen tarpeellisten maksujen suorittamista.

Keksinnön monenlaiset ominaisuudet ilmenevät seuraavista edullisten sovellusten kuvauksista, kuten ilmenee mukaan liitetyistä kuvista, joissa viittausmerkinnät yleisesti viittaavat samoihin osiin läpi piirustusten. Piirustuksia ei välttämättä voi muuttaa toiseen mittasuhteeseen, painotus on enemmänkin keksinnön periaatteiden havainnollistamisessa.

Kuvio 1 on keksinnön joidenkin sovellusten mukainen vuokaavio.

Kuvio 2 on toinen keksinnön joidenkin sovellusten mukainen vuokaavio.

Kuvio 3 on toinen keksinnön joidenkin sovellusten mukainen vuokaavio.

Kuvio 4 on keksinnön joidenkin sovellusten mukainen lohkokaavio kuvanauhan prosessointilaitteesta.

Kuvio 5 on keksinnön joidenkin sovellusten mukainen lohkokaavio toisesta kuva-nauhan prosessointilaitteesta.

Kuvio 6 on keksinnön joidenkin sovellusten mukainen lohkokaavio häiriönpoisto-moduulista.

Kuvio 7 on keksinnön joidenkin sovellusten mukainen lohkokaavio toisesta häiri-önpoistomoduulista.

Kuvio 8 on keksinnön joidenkin sovellusten mukainen lohkokaavio prosessoripoh-jaisesta elektronisesta järjestelmästä.

Kuvio 9 on keksinnön joidenkin sovellusten mukainen lohkokaavio optisen vuon estimointimoduulille.

Kuvio 10 on keksinnön joidenkin sovellusten mukainen lohkokaavio toisesta häiri-önpoistomoduulista.

Kuvio 11 on lähteenä käytetty digitaalinen kuva.

Kuvio 12 on keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

Kuvio 13 on toinen keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

Kuvio 14 on toinen lähteenä käytetty digitaalinen kuva.

Kuvio 15 on toinen keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

Kuvio 16 on toinen keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

Kuvio 17 on toinen lähteenä käytetty digitaalinen kuva.

Kuvio 18 on toinen keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

Kuvio 19 on toinen keksinnön joidenkin sovellusten mukaisesti tuotettu digitaalinen kuva.

KUVAUS

Seuraavassa kuvauksessa, tarkoituksena selittäminen eikä rajoittaminen, on annettu tiedoksi erityisiä yksityiskohtia, kuten tiettyjä rakenteita, arkkitehtuureja, liittymiä ja tekniikoita jne. tarjoamaan läpikotaisen ymmärryksen keksinnön moninaisista puolista. Käsillä olevasta julkitulosta hyötyville alan asiantuntijoille on kuitenkin ilmeistä, että keksinnön moninaisia puolia voidaan harjoittaa muissa näistä erityisistä yksityiskohdista poikkeavissa esimerkeissä. Tietyissä tapauksissa kuvaukset hyvin tunnetuista laitteista, piireistä ja menetelmistä on jätetty tästä pois, ettei käsillä olevan keksinnön kuvaus kävisi vaikeaselkoiseksi tarpeettomien yksityiskohtien vuoksi.

Viitaten kuvioon 1, keksinnön joidenkin sovellusten mukaiseen videosekvenssin käsittelymenetelmään voi kuulua vastaanotto syötevideosekvenssille, jolla on syötevi-deosekvenssin resoluutio (esim. lohkossa 10), ja joka järjestää syötevideosekvenssin kuvat (esim. lohkossa 11), vähentää järjestettyjen kuvien häiriöitä (esim. lohkossa 12) ja tuottaa lähtövideosekvenssin vähennetyn häiriön kuvista, missä lähtövideose-kvenssillä on sama resoluutio kuin syötevideosekvenssillä (esim. lohko 13). Esimerkiksi ennen syötevideosekvenssien kuvien järjestämistä voidaan tarvita syötevide- osekvenssin optisen vuon estimointia (esim. lohkossa 14). Syötevideosekvenssiin voi kuulua esimerkiksi lähdekehysja vähintään yksi etukehys ja vähintään yksi takake-hys lähdekehystä kohti (esim. lohkossa 15).

Viitaten kuvioon 2, joissakin keksinnön sovelluksissa häiriön vähentämiseen järjestetyissä kuvissa voi kuulua iteratiivisen eteen- ja taaksepäin uudelleenkuvauksen toteutus järjestetyille kuville konjugaattigradienttiminimointia vastaten (esim. lohko 20) . Joissakin keksinnön sovelluksissa häiriön vähentämiseen järjestetyissä kuvissa voi kuulua iteratiivisen viivaminimoinnin (line minimization) toteutus (esim. lohkossa 21) .

Viitaten kuvioon 3, joissakin keksinnön sovelluksissa häiriön vähentämiseen järjestetyissä kuvissa voi kuulua järjestettyjen kuvien kuvanvääristyksen toteutus. Joissakin keksinnön sovelluksissa häiriön vähentämiseen järjestetyissä kuvissa voi kuulua kaksisuuntaisen suodatuksen toteutus ajan ja paikan suhteen järjestetyille ja vääristetyille kuville.

Viitaten kuvioon 4, keksinnön joidenkin sovellusten mukaiseen kuvanauhan käsittelylaitteeseen 40 voi kuulua ensimmäinen moduuli 41 syötevideosekvenssin resoluu-tioisen syötevideon vastaanottamiseksi, ensimmäiseen moduuliin 41 kytkeytynyt toinen moduuli 42 järjestämään syötevideosekvenssin kuvat, toiseen moduuliin 42 kytkeytynyt kolmas moduuli 43 vähentämään syötevideosekvenssin häiriöitä järjestettyjen kuvien perusteella ja kolmanteen moduuliin 43 kytkeytynyt neljäs moduuli 44 tuottamaan lähtövideosekvenssin vähennetyn häiriön syötevideosekvenssin perusteella, missä lähtövideosekvenssillä ei ole syötevideosekvenssin resoluutiota suurempaa resoluutiota.

Viitaten kuvioon 5, kuvien järjestämismoduuliin 52 (esim. kuvion 4 toinen moduuli 42) voi edelleen kuulua moduuli 55 estimoimaan syötevideosekvenssin optisen vuon. Syötevideosekvenssiin voi kuulua esimerkiksi lähdekehys R, ja vähintään yksi etukehys F ja vähintään yksi takakehys B lähdekehystä R kohti.

Viitaten kuvioon 6, häiriönpoistomoduuliin 63 (esim. kuvion 4 kolmas moduuli 43) voi kuulua moduuli 65 toteuttamaan iteratiivista eteen- ja taaksepäin uudelleenku- vauksen järjestetyille kuville konjugaattigradienttiminimointia vastaten. Häiriönpois-tomoduuliin 63 voi edelleen kuulua moduuli 66 toteuttaman iteratiivisen viiva-minimoinnin.

Viitaten kuvioon 7, vaihtoehtoiseen häiriönpoistomoduuliin 73 (esim. kuvion 4 kolmas moduuli 43) voi kuulua moduuli 75 toteuttamaan järjestettyjen kuvien kuvan-vääristyksen. Vaihtoehtoiseen häiriönpoistomoduuliin 73 voi edelleen kuulua moduuli 76 toteuttamaan kaksisuuntaisen suodatuksen toteutus ajan ja paikan suhteen järjestetyille ja vääristetyille kuville.

Viitaten kuvioon 8, prosessoriperustaiseen elektroniseen järjestelmään 80 voi kuulua prosessori 81 ja prosessoriin 81 kytkeytynyt muisti 82. Muistilla 82 voi olla esimerkiksi ohjeet, jotka, milloin prosessori ne suorittaa, vastaanottavat syötevideose-kvenssin resoluutioisen syötevideosekvenssin, järjestävät kuvat syötevideosekvens-sistä, vähentää syötevideosekvenssin häiriöitä järjestettyjen kuvien perusteella ja tuottaa lähtövideosekvenssin vähennettyjen häiriöiden syötevideosekvenssin perusteella, missä lähtövideosekvenssillä ei ole syötevideosekvenssin resoluutiota suurempaa resoluutiota. Muistilla 82 voi olla esimerkiksi jatko-ohjeet, jotka, milloin prosessori ne suorittaa, estimoivat syötevideosekvenssin optisen vuon. Syötevideose-kvenssiin voi kuulua esimerkiksi lähdekehys ja vähintään yksi etukehys ja vähintään yksi takakehys lähdekehystä kohti.

Muistilla 82 voi olla esimerkiksi jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat iteratiivisen eteen-ja taaksepäin uudelleenkuvauksen järjestetyille kuville konjugaattigradienttiminimointia vastaten. Muistilla 82 voi olla jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat iteratiivisen viivaminimoinnin. Vaihtoehtoisesti muistilla 82 voi olla jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat järjestettyjen kuvien kuvanvääristyksen ja toteuttavat kaksisuuntaisen suodatuksen ajan ja paikan suhteen järjestetyille ja vääristetyille kuville.

Prosessori 81 ja muisti 82 voidaan esimerkiksi sijoittaa koteloon 83. Kotelo voi vastata esimerkiksi mitä tahansa pöytätietokonetta, sylitietokonetta, lisälaitetta ja kädessä pidettävää laitetta useiden muiden mahdollisuuksien joukosta prosessoripe-rustaiseksi järjestelmäksi 80. Järjestelmään 80 voi esimerkiksi edelleen kuulua prosessoriin 81 ja muistiin 82 kytkeytynyt näyttölaite 84. Lähtövideosekvenssi voidaan esittää näyttölaitteella 84. Järjestelmään 80 voi esimerkiksi edelleen kuulua syötelai-te 85 käyttäjä syötteen järjestämiseksi prosessorille 81 ja 82. Syötelaite 85 voi olla esimerkiksi kaukosäädinlaite.

Keksinnön jotkin sovellukset voivat edullisesti vähentää kuvanauhan ja/tai kuvase-kvenssin häiriöitä. Rajoittumatta toimintojen teoriaan, jotkin keksinnön sovellukset voivat toteuttaa optiseen vuohon perustuvaa järeää ylikehys- (multi-frame) häiriön-vähennystä kuvanauhalla. Keksinnön joitakin sovelluksia voidaan esimerkiksi soveltaa monenlaisista eri lähteistä peräisin oleviin kuvanauhoihin ja/tai kuvasekvenssei-hin, laatu- ja hankintamenetelmiin, sisältäen edullisilla laitteilla (kuten kaikkialla läsnä olevat kännykkä ka m erät, vvebbikamerat jne.) hankitut kuluttajatason videot, epäoptimaalisissa olosuhteissa (heikko valaistus) hankitut ammattilaistason videot, monenlaisista lähteistä (röntgen, ultraääni jne.) saadut lääketieteelliset kuvase-kvenssit, monien muiden videosekvenssi lähteiden joukossa.

Rajoittumatta toiminnon teoriaan, jotkin keksinnön sovellukset voivat hyödyntää suurta määrää päällekkäisyyksiä, joita yleensä esiintyy kuvanauhoilla ja kuvase-kvensseillä. Esimerkiksi staattisen kuvan ja kameran häiriöisen videosekvenssin tapauksessa kunkin pikselin häiriöisen voimakkuuden kehysten useita näytteitä voidaan käyttää tilastollisen estimaatin saamiseen kyseisen pikselin vallitsevasta vakio-voimakkuudesta (esim. ottamalla keskiarvo kaikista saatavilla olevista näytteistä).

Useissa videosekvensseissä kuvat eivät kuitenkaan yleensä ole staattisia johtuen kameran tai kohteen liikkeestä. Keksinnön jotkin sovellukset voivat edullisesti estimoida videosekvenssin optista vuota. Optinen vuo voi esimerkiksi vastata näkyvää sekvenssin voimakkuustasojen liikettä yhdestä kuvasta seuraavaan, mitkä johtuvat kameran tai kuvan kohteen liikkeestä. Optinen vuo voidaan esimerkiksi estimoida joukosta kehyksiä lähdekehyksen (esim. nominal central frame) ympäriltä ottamalla esimerkiksi kaksi kehystä edeltä ja kaksi kehystä takaa, kaikkiaan viisi kehystä, ja järjestämällä kunkin kehyksen lähdekehykseen.

Kuvan asemointi voidaan esimerkiksi estimoida käyttämällä erilaisia liikemalleja vaihdellen alatason parametrien liikemalleista (esim. puhdas translaatio, rotaatio, yhdistyminen tai projektio jne.), joiden soveltuvuus yleisesti videoon on rajoittunut, aina monimutkaisiin parametrittomiin malleihin (esim. optinen vuo), joissa sijainti- vektori on estimoitu jokaiselle pikselille, missä keskitason ratkaisut ovat myös mahdollisia (yksi alatason parametrin malli sekä itsenäinen optinen vuo huomioimaan tämän mallin ulkopuolisena pidettävät pisteet). Esimerkiksi US-patenttijulkaisu numero 2008-0112630, jonka otsikko on "DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION" kuvaa, miten laite voi vastaanottaa syötekuvasekvenssin ja arvioida vierekkäisten kuvien välisen vallitsevan liikkeen kuvasekvenssissä. Laite voi käyttää järeää estimaattoria havainnoimaan ja poistamaan itsenäisesti liikkuvia vastaavat ulkopuoliset kohteet.

Keksinnön jotkin sovellukset voivat hyödyntää gradienttipohjaista, moniresoluutiois-ta optisen vuon estimointia, johon kuuluu teoreettinen alipikselitarkkuus. Muut monimutkaiset liike-estimoinnin menetelmät ovat kuitenkin mahdollisesti sovellettavissa. Kehysmitan muunnoksille sovelletut liike-estimointimenetelmät voivat esimerkiksi olla sovellettavissa.

Viitaten kuvioon 9, keksinnön joihinkin sovelluksiin voi kuulua optisen vuon estimointi, joka käyttää gradienttipohjaista karkeasta-hienoon-estimointia. Esimerkiksi kun moniresoluutiopyramidi (multi-resolution pyramid) on kerran löydetty, optinen vuo voidaan estimoida kullakin resoluutiotasolla käyttämällä lisäsyötteenä edellisen tason estimoitua vuota, jos sellainen on saatavissa. Optinen vuo on estimoitu kullakin tasolla iteratiivisesti kuvaamalla syötekuvat ensin uudelleen vallitsevan optisen vuon estimaatin mukaan ja laskemalla sitten toisen asteen gradientti ja ratkaisemalla kunkin pikselin vuovektori pikselin itsensä ympäristön gradienttivakioita käyttäen.

Keksinnön joidenkin sovellusten mukaisesti järeää kehyksen häiriönpoistoa voidaan soveltaa videosekvenssin järjestettyihin kuviin. Esimerkiksi kun järjestys on kerran estimoitu, eri kehyksistä tulevat samaa näkymäsijaintia vastaavat häiriöiset voimakkuudet voidaan yhdistää häiriöttömän keski- eli lähdekehyksen version löytämiseksi. Keksinnön joidenkin sovellusten mukaisesti vaativuuden tasoa voidaan soveltaa kehyksen häiriöiden vähentämiseen. Keksinnön joissakin sovelluksissa vaativaan kehyksen häiriöttömäksi tekemiseen voi liittyä esimerkiksi verrattain korkeat laskenta-kulut, jolloin menetelmä tuottaa hyvin tehokkaan häiriönpoiston (esim. Bayesialai-nen menetelmä). Keksinnön joissakin sovelluksissa vaativaan kehyksen häiriöttömäksi tekemiseen voi liittyä esimerkiksi verrattain matalat laskentakulut, jolloin me netelmä tuottaa vähemmän tehokkaan häiriönpoiston (esim. perustuen etukäteis-vääristykseen).

Yksi tärkeä vaativien menetelmien (kuten tässä esitellyt) parametri on tunnettu mit-takaavaparametrina, joka liittyy valintaan, mitkä virheen itseisarvot käsitellään häiriöinä ja mitkä sen ulkopuoliseksi. Tämä tärkeä parametri estimoidaan automaattisesti syötekuvasta käyttäen vaativaa kuvahäiriön estimaattia (perustuen vaaka-ja pystysuuntaisten pikselien absoluuttisten erojen mediaaniin, MAD). Tämä sallii esiteltyjen menetelmien toimimisen täysin automaattisessa moodissa ilman käyttäjävuoro-vaikutusta ja riippumatta syötekuvasekvenssin häiriötasosta.

Viitaten kuvioon 10, esimerkkinä oleva Bayesialainen menetelmä voi perustua suoraan kuvanmuodostusmallin käyttöön häiriöttömästä kuvasta vastaavaan mitattuun kehykseen, johon kuuluu kuvien ja niihin liittyvän häiriön järjestämiseen tarvittu vääristäminen. Siihen voi myös kuulua etukäteismalli häiriöttömälle kuvalle, joka on tiivis todennäköisyyskuvaus siitä, mitä odotamme näkevämme luonnollisessa kuvassa. Menetelmä voi esimerkiksi käyttää epälineaarista konjuganttigradienttia Bayesia-laisen mallin antaman kulufunktion minimoimiseksi. Kun tämänhetkisen häiriöttömän kuvan g estimaatti on annettu, kaksi päivitystä lasketaan kuvanmuodostusmallia (tähän kuuluen eteenpäin uudelleenkuvaus, virheen laskenta, epälineaarisen funktion sovellus ja taaksepäin uudelleenkuvaus) ja etukäteismallia käyttäen. Kun päivitykset on kerran laskettu, optimaalinen painokerroin a on estimoitu viivaminimointia käyttäen ja päivitykset kerrotaan tällä painolla ja lisätään häiriöttömän kuvan g estimaattiin uuden tämänhetkisen g:n estimaatin antamiseksi. Menettelyä voidaan sitten iteroida kunnes se suppenee.

Verrattuna edellä mainitussa US-patentissa numero 7,447,382 kuvattuun super-resoluutio (super-resolution) kuvankäsittelyyn, keksinnön joihinkin sovelluksiin voi edullisesti liittyä verrattain matalat laskentakulut samalla kun se kuitenkin tuottaa hyvän häiriönpoiston toteutuksen. Käsillä olevan keksinnön jotkin sovellukset eivät esimerkiksi kasvata kuvan resoluutiota ja siksi kuvankäsittelymalli voi jättää ala-/ylä-näytteistyksen pois. Keksinnön jotkin sovellukset voivat olla iteratiivisia ja hyödyntävät suoran ja käänteisen kuvankäsittelymallin sovelluksia (yleisesti ottaen eteen-ja taaksepäin uudelleenkuvausta) useita kertoja, kuten myös tekevät viivaminimointia kullakin iteraatiolla, mikä johtaa korkeisiin laskentakuluihin. Tämän iteratiivisen mal- lipohjaisen menetelmän tulokset ovat useimmiten edullisesti erittäin korkeatasoisia ja tuottavat suuren häiriönvähennyksen eikä tuloskuvaan ilmesty käytännössä lisä-hämärtymiä. Keksinnön joissakin sovelluksissa voidaan hyödyntää täydentäviä hä-m ä rty m än poi stom a h dol I i su u ksia.

Keksinnön joihinkin sovelluksiin liittyen pienempien laskentakulujen menetelmä voi perustua kuvien etukäteisvääristykseen ja sen jälkeiseen tulosten yhdistämiseen. Kun järjestely on kerran estimoitu, on mahdollista esimerkiksi yhdistellä saman näkymän sijainnin eri kehyksistä tulevia häiriöisiä voimakkuuksia tilastollisesti ja näin löytää häiriötön versio keski kehyksestä. Vääristys voidaan esimerkiksi toteuttaa kullekin keskikehyksen ympäristön kuvajoukon kuvalle estimoitua optista vuota käyttäen. Vääristys voidaan toteuttaa backward-interpoloinnilla (esim. bi-lineaari-interpo-loinnilla).

Kun ympäröivät kuvat on järjestetty keski kehykseen ja vääristetty, tuloksena on kokoelma kehyksiä, joiden pikselit on järjestetty, järjestäen kullekin kehykselle vähintään yhden häiriöisen näytteen perustana olevasta häiriöttömästä voimakkuudesta. Kullekin pikselin paikalle on esimerkiksi lukuisia häiriöisiä voimakkuusnäytteitä, jotka saavat arvoja l:stä (se yksi, joka vastaa keskikehystä) kuvien määrään riippuen kyseisen pikselin esiintymisestä eri kuvissa. Keksinnön joihinkin sovelluksiin liittyen kaikki saatavilla olevat näytteet voidaan sitten yhdistää menettelemällä samoin kuin kaksisuuntaisessa suodatuksessa.

Kunkin pikselin sijainnin painotettu keskiarvo voidaan esimerkiksi määritellä määrittelemällä kunkin näytteen painot näytteen ja keksikehyksen voimakkuuksien eron funktiona (esim. normaalijakaumaa käyttäen). Keksinnön jotkin sovellukset voivat edullisesti suosia keskikehyksen voimakkuusarvon lähellä olevia voimakkuuksia, mikä voi välttää vääristä järjestyksistä tulevat väärät voimakkuudet. Tämän menetelmän laskentakulut ovat edullisesti verrattain pienet, koska se ei vaadi iteraatioita ja toiminto toteutetaan paikallisesti pikseli pikseliltä.

Keksinnön jotkin sovellukset voivat edullisesti jäljestää verrattain yksinkertaisen (esim. Bayesialaiseen menetelmään verrattuna) monikehyksisen häiriönpoistomene-telmän videolle ilman resoluution kasvua ja verrattain pienillä laskentakuluilla. Kun kehyksetön kertaalleen yhdisteltyjä järjestetty, keksinnön joihinkin sovelluksiin voi liittyä hyvin vähän ylimääräisiä kaistanleveyksiä tai toimintoja. Keksinnön jotkin sovellukset voivat edullisesti hyödyntää toisten moduulien (esim. kehysmäärän muunnokseen käytetyn) jo estimoimia liikkeitä toteuttamaan kuvien järjestelyn, jonka tuloksena saadaan laskennallisia sääntöjä (esim. mahdollisen piialueen tai piirilevyti-lan säästöt laitteistototeutuksissa).

Keksinnön joihinkin sovelluksiin voi kuulua järeä häiriönvähennys, joka käyttää kaksisuuntaista suodatusta. Kun kuvat on kerran järjestetty, voimakkuusarvot voidaan yhdistää pikseli pikseliltä häiriöisten mittausten taustalla olevan häiriöttömän voimakkuuden arvon estimoimiseksi käyttämällä sopivaa tilastollista menetelmää. Suoraviivainen menetelmä mittausten yhdistämiseen voi esimerkiksi olla yksinkertaisen tilastollisen estimaattorin, kuten keskiarvon tai mediaanin, ottaminen. Nämä estimaattorit eivät kuitenkaan voi olla riittävän vahvoja järjestelyn virheille. Järjestelyssä voi esiintyä karkeita virheitä, vaikka käytettäisiin edistyneitä liikkeenestimointi-tekniikoita. Keksinnön jotkin sovellukset voivat edullisesti yhdistää häiriöiset mittaukset kaksisuuntaisen suodatuksen perusteella, mikä voi parantaa tuloksia silloinkin, kun järjestelytrheitä esiintyy.

Kaksisuuntainen suodatus voi olla hyödyllinen avaruudelliseen häiriönpoistoon, joka perustuu ympäröivän alueen pikseleiden voimakkuuksien painotetun keskiarvon löytämiseen kussakin pikselissä (esim. samoin kuin lineaarinen suodatus), missä annettujen pikseleiden paino on kyseisen pikselin voimakkuuden ja keski kehyksessä esiintyvän voimakkuuden eron funktio (esim. normaalijakautuneesti, mikä antaa enemmän painoa keskipikselin lähellä oleville voimakkuuksille).

Keksinnön jotkin sovellukset voivat yhdistää eri kehyksistä tulevat voimakkuudet, mikä johtaa seuraavaan ratkaisuun annetulle kuvalle (yksittäisten pikselien sijainnit on jätetty pois yhtälöstä selvyyden vuoksi):

(1) missä N on yhdistettävien kehysten määrä, c on keski- (lähde-) kehystä vastaava indeksi ja kuvat J*on jo vääristetty keskikehyksen estimoidun järjestyksen mukaisesti.

Keksinnön jotkin sovellukset voivat yhdistää sekä ajallisen että avaruudellisen tiedon siten, että yhden annetun pikselin arvon saamiseksi tieto voi olla yhdistetty usean ennalta järjestetyn kehyksen samasta sijainnista yhdessä annettua keskikehyksen pikseliä ympäröivässä ikkunassa olevien viereisten pikseleiden kanssa.

Rajoittumatta toiminnon teoriaan kaksisuuntainen suodatus voidaan tulkita iteratiivisen uudelleenpainotetun pienimmän neliön estimaattorin menetelmän yhdeksi ite-raatioksi, missä ratkaisu on alustettu keskipikselin voimakkuudella. Keksinnön jotkin sovellukset voivat edullisesti olla epäiteratiivisia, raskaita syrjäisille, ja voivat tuottaa häiriöttömän pikseliarvon, joka on lähellä keskipikselin alkuperäistä arvoa. Tämä voi olla erityisen edullista, kun karkeat järjestelytrheet voisivat muuten vinouttaa voimakkuuden estimaatin hyvin kaukana alkuperäisistä arvoista olevaan arvoon, vaikka käytetään tehokkaita estimaattoreita, kun tehokkaan estimaattorin hajaantumispiste on saavutettu ja se tuottaa virhetietoa.

Iteratiivisessa RWLS:ssä tämä toiminto voidaan iteroida kunnes suppeneminen on saavutettu. Keksinnön joihinkin sovelluksiin liittyen kaksisuuntainen suodatus yhtälössä 1 tuottaa tuloksen, joka on RVVLS-menetelmän järkevä estimaatti. Yksi tietty häiriöinen mittaus voidaan esimerkiksi määritellä keskusarvoksi käytettäväksi alustu-sestimaattina g:Ile, ja näin tulos voidaan laskea vain yhdellä iteraatiolla. Keksinnön joissakin sovelluksissa kaksisuuntainen suodatus voidaan tämän vuoksi tulkita läpi-käymällä yksi iteraatio iteratiivisesta RWLS:stä tietyin aloituspistein.

Tavallisessa kaksisuuntaisessa suodatuksessa yleisin valinta painofunktiolle on normaalijakautunut painofunktio, joka vastaa pohjalla olevaa järeää funktiota, joka tunnetaan Welschin funktiona järeän tilastotieteen kirjallisuudessa. Muut valinnat vaativaksi funktioksi voivat olla sopivia vaihtoehtoja kaksisuuntaiselle suodattimelle. Cauchyn funktio voi esimerkiksi olla sopiva videon häiriönpoistoon, kun se tuottaa korkealaatuisia tuloksia super-resoluutiosovelluksissa. Huberin funktio voi myös tuottaa hyviä tuloksia. Päinvastaisesti Tukeyn funktio, jolla on samankaltainen muoto kuin Welschin funtiolla, voi olla sopiva, mutta ei yhtä hyvä.

Viitaten kuvioihin 11-19, tämän häiriönpoistomenetelmän tulokset on esitetty useissa testikuvissa. Kuvio 11 on rajaus (esim. alialue) ammattilaislaatuisesta HD-sekvenssistä, jossa on kohtuullinen määrä häiriöitä. Kuvio 12 on vastaava digitaalinen kuva Bayesialaisen häiriönpoiston jälkeen keksinnön joihinkin sovelluksiin liittyen. Kuvio 13 on vastaava digitaalinen kuva ajallisen kaksisuuntaisen häiriönpoiston jälkeen keksinnön joihinkin sovelluksiin liittyen. Kuvio 14 on digitaalinen kuva kotivideosta, joka on saatu pienellä valaistuksella ja suurella määrällä häiriöitä. Kuvio 15 on vastaava digitaalinen kuva Bayesialaisen häiriönpoiston jälkeen keksinnön joihinkin sovelluksiin liittyen. Kuvio 16 on vastaava digitaalinen kuva ajallisen kaksisuuntaisen häiriönpoiston jälkeen keksinnön joihinkin sovelluksiin liittyen. Kuviot 17-19 vastaavat kuvioita 14-16 laajennettuna esittämään yksityiskohtaa.

Kuvioiden 13,16 ja 19 tulokset saatiin käyttämällä vain 5 kehyksen ajallista yhdistelyä (yhtälö 1) ja normaalijakautunutta painofunktiota, missä normaalijakauman keskihajonta on estimoitu 2,5-kertaiseksi kuvahäiriön vaativasta estimaatista (perustuen vaaka- ja pystysuuntaisten pikselien absoluuttisten erojen mediaaniin, MAD). Alustavassa evaluoinnissa tällä menetelmällä saadut tulokset näyttävät olevan hei-kompilaatuisia (hieman häiriöisempiä ja hämärämpiä), kuin suurempien laskentaku-lujen iteratiivisella Bayesialaisella saadut. Molempien menetelmien on kuitenkin edullisesti havaittu tuottavan kuvia, joissa on silminnähden vähemmän häiriöitä kuin alkuperäisessä. Korkeampien laskentakulujen Bayesialaisen entisöinnin on havaittu säilyttävän paremmin terävyyden kuin kaksisuuntaisen suodatuksen sovellus.

Keksinnön jotkin sovellukset yhdistävät edullisesti liike-estimoinnin ja vaativat tilastolliset menetelmät (kuten kaksisuuntainen suodatus tai Bayesialainen entisöinti vaativine funktioineen) korkealaatuisen häiriönpoiston saavuttamiseksi, mikä on olennaisesti virhetiedotonta eikä lisää olennaisesti avaruudellista hämäryyttä. Menetelmä voidaan edelleen tehdä täysin automaattiseksi, ja se voidaan toteuttaa eritasoisten häiriöiden sekvensseissä, häiriöttömästä erittäin häiriöiseen, lisäämättä huomattavia virhetietoja tai vähentämättä häiriöttömien sekvenssien kuvanlaatua.

Keksinnön jotkin sovellukset voi esimerkiksi olla käytännöllistä sisällyttää videonkä-sittelyliukuhihnoilla näyttöihin ja/tai lisälaitteisiin, mikä voi hyötyä häiriönpoistomo- duulista oletettavasti häiriöisen materiaalin puhdistamisessa. Keksinnön jotkin sovellukset voidaan esimerkiksi toteuttaa täsmätoiminnon laitteena. Keksinnön jotkin sovellukset voidaan esimerkiksi toteuttaa ohjelmistoratkaisuna, joka ajetaan erityis-käyttöisessä tai yleiskäyttöisessä prosessorissa. Vaikka asia on tässä kuvattu yhteydessä moduuleihin, alan asiantuntijoille on ilmeistä, että tällaiset moduulit eivät välttämättä ole erillisiä osia kiinteine komponentteineen. Tällaiset moduulit voidaan paremminkin toteuttaa moninaisina laitteisto- ja/tai ohjelmistoyhdistelminä, jotka jakautuvat kaikkialle prosessoripohjaisen järjestelmän arkkitehtuurissa.

Alan asiantuntijoille on ilmeistä, että kuvioiden 1-3 vuokaavio ja kuvioiden 4-10 lohkokaaviot voidaan toteuttaa minä tahansa monista laitteistojen, ohjelmistojen ja/tai laiteohjelmistojen järjestelyistä. Kaaviot voidaan esimerkiksi toteuttaa täysin erityis-käyttöisillä laitteistopiireillä. Kaaviot voidaan vaihtoehtoisesti toteuttaa täysin yleiskäyttöisellä prosessorilla ajettavana ohjelmistona. Vaihtoehtoisesti kaaviot voidaan valikoiden jakaa eri ty i skäyttöi si 11 e laitteistoille ja yleiskäyttöisellä prosessorilla ajettaville ohjelmistoille.

Claims (21)

1. Videosekvenssin käsittelymenetelmä, jossa: syötevideosekvenssin resoluutioinen syötevideosekvenssi vastaanotetaan; syötevideosekvenssin kuvat järjestetään; järjestettyjen kuvien häiriöitä vähennetään; ja vähennetyn häiriön kuvista tuotetaan lähtövideosekvenssi, jolla on sama resoluutio kuin syötevideosekvenssillä tunnettu siitä, että syötevideosekvenssistä kuvahäiriön estimaattia käyttäen vaaka- ja pystysuuntaisten pikselien absoluuttisten erojen mediaaniin perustuen estimoitua mittakaavaparamet-ria käytetään häiriöiden vähentämiseen.

2. Patenttivaatimuksen 1 mukainen menetelmä tunnettu siitä, että syötevideosekvenssin kuvien järjestämiseen kuuluu edelleen syötevideosekvenssin optisen vuon estimointi ennen syötevideosekvenssin kuvien järjestämistä.

3. Patenttivaatimuksen 2 mukainen menetelmä tunnettu siitä, että syötevideose-kvenssiin kuuluu lähdekehys ja vähintään yksi etukehys ja vähintään yksi takakehys lähdekehystä kohti.

4. Patenttivaatimuksen 1 mukainen menetelmä tunnettu siitä, että järjestettyjen kuvien häiriön vähentämiseen kuuluu konjugaattigradienttiminimointia vastaavan iteratiivisen eteenpäin ja taaksepäin uudelleenkuvauksen toteutus järjestetyille kuville.

5. Patenttivaatimuksen 4 mukainen menetelmä tunnettu siitä, että järjestettyjen kuvien häiriön vähentämiseen kuuluu iteratiivisen viivaminimoinnin (line minimization) toteutus.

6. Patenttivaatimuksen 1 mukainen menetelmä tunnettu siitä, että järjestettyjen kuvien häiriön vähentämiseen kuuluu kunkin järjestetyn kuvan kuvanvääristyksen toteutus lähdekehykseen, missä järjestettyjen kuvien voimakkuusarvot yhdistetään lähdekehyksen häiriöttömän version löytämiseksi.

7. Patenttivaatimuksen 6 mukainen menetelmä tunnettu siitä, että järjestettyjen kuivien häiriön vähentämiseen kuuluu kaksisuuntainen suodatus ajassa ja tilassa järjestetyille vääristetyille kuville voimakkuusarvojen yhdistämiseksi.

8. Videonkäsittelylaite, joka käsittää ensimmäisen moduulin syötevideosekvenssin resoluutioisen syötevideosekvenssin vastaanottamiseen; ensimmäiseen moduuliin kytkeytyneen toisen moduulin syötevideosekvenssin kuvien järjestämiseen; toiseen moduuliin kytkeytyneen kolmannen moduulin järjestettyjen kuvien häiriöiden vähentämiseen; ja kolmanteen moduuliin kytkeytyneen neljännen moduulin tuottamaan vähennetyn häiriön kuvista lähtövideosekvenssin, jolla ei ole suurempaa resoluutiota kuin syöte-videosekvenssillä, tunnettu siitä, että syötevideosekvenssistä kuvahäiriön estimaattia käyttäen vaaka- ja pystysuuntaisten pikselien absoluuttisten erojen mediaaniin perustuen estimoitua mittakaavaparamet-ria käytetään häiriöiden vähentämiseen.

9. Patenttivaatimuksen 8 mukainen videonkäsittelylaite tunnettu siitä, että toiseen moduuliin kuuluu syötevideosekvenssin optista vuota estimoiva moduuli.

10. Patenttivaatimuksen 9 mukainen videonkäsittelylaite tunnettu siitä, että syö-tevideosekvenssiin kuuluu lähdekehys ja vähintään yksi etukehys ja vähintään yksi ta ka kehys lähdekehystä kohti.

11. Patenttivaatimuksen 8 mukainen videonkäsittelylaite tunnettu siitä, että kolmanteen moduuliin kuuluu konjugaattigradienttiminimointia vastaavan iteratiivisen eteenpäin ja taaksepäin uudelleenkuvauksen järjestetyille kuville toteuttava moduuli.

12. Patenttivaatimuksen 11 mukainen videonkäsittelylaite tunnettu siitä, että kolmanteen moduuliin kuuluu iteratiivisen viivaminimoinnin (line minimization) toteuttava moduuli.

13. Patenttivaatimuksen 8 mukainen videonkäsittelylaite tunnettu siitä, että kolmanteen moduuliin kuuluu kunkin järjestetyn kuvan kuvanvääristyksen lähdekehyk-seen toteuttava moduuli, missä järjestettyjen kuvien voimakkuusarvot yhdistetään lähdekehyksen häiriöttömän version löytämiseksi.

14. Patenttivaatimuksen 13 mukainen videonkäsittelylaite tunnettu siitä, että kolmanteen moduuliin kuuluu edelleen kaksisuuntaisen suodatuksen ajassa ja tilassa järjestetyille vääristetyille kuville toteuttava moduuli voimakkuusarvojen yhdistämiseksi.

15. Prosessori pohjainen elektroninen järjestelmä käsittäen prosessorin ja siihen kytkeytyneen muistin, jolla muistilla on ohjeet, jotka prosessorin ne suorittaessa vastaanottavat syötevideosekvenssin resoluutioisen syötevideosekvenssin; järjestävät kuvat syötevideosekvenssistä; vähentävät syötevideosekvenssin häiriöitä järjestettyjen kuvien perusteella; ja tuottavat lähtövideosekvenssin vähennettyjen häiriöiden syötevideosekvenssin perusteella, missä tuottamisessa lähtövideosekvenssillä ei ole syötevideosekvenssin resoluutiota suurempaa resoluutiota, tunnettu siitä, että syötevideosekvenssistä kuvahäiriön estimaattia käyttäen vaaka- ja pystysuuntaisten pikselien absoluuttisten erojen mediaaniin perustuen estimoitua mittakaavaparamet-ria käytetään häiriöiden vähentämiseen.

16. Patenttivaatimuksen 15 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että muistilla on jatko-ohjeet, jotka prosessorin ne suorittaessa, estimoivat syötevideosekvenssin optisen vuon.

17. Patenttivaatimuksen 16 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että syötevideosekvenssiin kuuluu lähdekehys ja vähintään yksi etukehys ja vähintään yksi takakehys lähdekehystä kohti.

18. Patenttivaatimuksen 15 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että muistilla on jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat konjugaattigradienttiminimointia vastaavan iteratiivisen eteenpäin ja taaksepäin uudelleenkuvauksen järjestetyille kuville.

19. Patenttivaatimuksen 18 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että muistilla on jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat iteratiivisen viivaminimoinnin (line minimization).

20. Patenttivaatimuksen 15 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että muistilla on jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat kunkin järjestetyn kuvan kuvanvääristyksen lähdekehykseen, missä järjestettyjen kuvien voimakkuusarvot yhdistetään lähdekehyksen häiriöttömän version löytämiseksi.

21. Patenttivaatimuksen 20 mukainen prosessori pohjainen elektroninen järjestelmä tunnettu siitä, että muistilla on jatko-ohjeet, jotka, milloin prosessori ne suorittaa, toteuttavat kaksisuuntaisen suodatuksen järjestetyille, vääristetyille kuville voimak-kuusarvojen yhdistämiseksi. Patentkrav