FI127117B - Kuvaprosessoija ja tietokoneohjelma - Google Patents

Description

Kuvaprosessoija ja tietokoneohjelma

Keksinnön ala Tämä keksintö liittyy kuvan prosessointiin ja generointiin, ja erityisesti ratkaisuun, jolla kuva tai video voidaan pakata tallennuskapasiteettia tai siirtokapasiteettia mahdollisimman vähän kuluttavaan formaattiin, ja jolla kuva tai video voidaan generoida uudelleen pakkauksen jälkeen.

Tekniikan tason kuvaus

Kuvan ja videokuvan (jatkossa yksinkertaisuuden vuoksi kuvan) pakkaamisen kannalta avainasemassa on pakatun kuvan datamäärä, joka tallennetaan muistiin myöhemmin hyödynnettäväksi tai joka lähetetään vastaanottajalle tiedonsiirtoverkon välityksellä hyödynnettäväksi. Tämän datamäärän tulisi olla mahdollisimman pieni.

Kuitenkin toinen pakkaamisen kannalta merkittävä asia on pakatun kuvan generointi, jolloin tallennetusta tai lähetetystä datasta generoidun kuvan tulisi mahdollisimman virheettömästi vastata alkuperäistä kuvaa.

Eräs kolmas pakkaamisen kannalta avainasemassa oleva asia on tarvittavat resurssit, eli kuvan nopea pakkaus ja purkaminen tulisi vaatia mahdollisimman vähän tehoa käytettävän laitteen prosessorilta.

Ennestään tunnetut ratkaisut kuvan pakkaamiseksi ja uudelleen generoimiseksi pakkauksen jälkeen eivät kykene tyydyttävällä tavalla täyttämään edellä mainittuja kriteereitä.

Keksinnön yhteenveto Tämän keksinnön tarkoitus on ratkaista edellä selostettu ongelma ja tarjota käyttöön entistä tehokkaampi ratkaisu kuvan prosessoimiseksi. Tämä päämäärä saavutetaan itsenäisen patenttivaatimuksen 1 mukaisella kuvapro-sessoijalla, itsenäisen patenttivaatimuksen 6 mukaisella tietokoneohjelmalla, ja itsenäisen patenttivaatimuksen 7 mukaisella tietokoneella luettavalla tallennus-medialla.

Keksinnössä hyödynnetään mahdollisuutta jakaa kuva alueisiin, joille aluekohtaisesti lasketaan referenssiarvo. Mikäli useammalla alueella on sama referenssiarvo vastaavat nämä kuvan alueet ulkonäöltään riittävällä tarkkuudella toisiaan, jolloin ei kaikkien näiden alueiden kuvainformaatiota ole tarpeen tallentaa tai lähettää erikseen, vaan riittää, että näiden alueiden osalta lähetetään kuvainformaatio yhden kerran. Kuvaa generoitaessa niiden alueiden osalta, joilla on samat referenssiarvot, hyödynnetään kuvan generoinnissa samaa kertaalleen tallennettua tai lähetettyä kuvainformaatiota sisällyttämällä se generoitavan kuvan niihin alueisiin, joilla on sama referenssiarvo. Täten ulkonäöltään saman kuvainformaation toistuva lähettäminen tai tallentaminen voidaan välttää. Ainoastaan kun on kyse kuvainformaatiosta, jota ei aikaisemmin ole tallennettu tai lähetetty edelleen yhdessä vastaavan referenssiarvon kanssa, on kyseinen kuvainformaatio tarpeen lähettää edelleen tai tallentaa.

Keksinnön mukaisen kuvaprosessoijan edulliset suoritusmuodot ilmenevät oheisista epäitsenäisistä patenttivaatimuksista.

Kuvioiden lyhyt kuvaus

Keksintöä selostetaan seuraavassa esimerkinomaisesti lähemmin viittaamalla oheisiin kuvioihin, joista: kuvio 1 havainnollistaa kuvan jakamista alueisiin, kuviot 2a - 2e havainnollistavat näytteenottoa kuvan alueelta, kuviot 3a - 3b esittävät taulukoita lähettävästä tai tallennettavasta datasta, kuviot 4 ja 5 havainnollistavat kuvaprosessoijan ensimmäistä suoritusmuotoa, kuviot 6 ja 7 havainnollistavat kuvageneraattorin ensimmäistä suoritusmuotoa, kuviot 8 ja 9 havainnollistavat kuvageneraattorin toista suoritusmuotoa, ja kuvio 10 havainnollistaa videokuvan käsittelyä.

Ainakin yhden suoritusmuodon kuvaus

Kuvio 1 havainnollistaa kuvan 1 jakamista alueisiin A1 - An. Alueiden lukumäärä ja koko voidaan valita tapauskohtaisesti. Eräs vaihtoehto on se, että kuva jaetaan alueisiin siten, että jokaiseen alueeseen sisältyy 8x8 pikseliä. Pikseleiden värisyvyys on edullisesti ainakin 24 bittiä (RGB, Red-Green-Blue), mutta parhaaseen lopputulokseen päästään käyttämällä mahdollisimman suurta värisyvyyttä, esimerkiksi värisyvyyttä joka on 64 bittiä. Suurempi liikealue vaatii tarkemman värisyvyyden yksilöllisen alueen toteuttamiseksi.

Kuviot 2a - 2e havainnollistavat näytteenottoa kuvan alueelta. Esimerkinomaisesti voidaan olettaa, että kuvioissa 2a - 2e esitetään näytteenotto kuvion 1 alueelta A1, jolloin kyseisellä alueella sijaitsevasta kuvainformaatiosta valitaan tiettyjä pikseleitä näytteiksi. Näytteiden valitsemiseen voidaan hyödyntää sinänsä tunnettua su-persampling-tekniikkaa, jolloin kuvion 2a tilanteessa on hyödynnetty grid-algo-ritmia yhdeksän näytteen ottamiseksi kuviossa 2a pisteillä osoitetuista paikoista. Jokainen näyte edustaa tällöin kyseisessä kohdassa sijaitsevan pikselin numeerista arvoa, joka käytännössä määrittelee tämän pikselin värin. Vaihtoehtoisesti näytteenotto voidaan suorittaa random-algorimilla (kuvio 2b), Poisson Disc algoritmilla (kuvio 2c), Jitter-algoritmilla (kuvio 2d) tai Rotated Grid-algoritmilla (kuvio 2e).

Kun käsittelyssä olevalta alueelta on otettu tarvittavat näytteet, lasketaan näytteiden perusteella kyseiselle kuvan alueelle referenssiarvo. Referenssiäkö voidaan laskea siten, että se vastaa alueelta otettujen näytteiden, eli pikseleiden numeeristen arvojen keskiarvoa. Käytännön kokeiluissa on osoittautunut, että hyvään lopputulokseen päästään esimerkiksi käyttämällä 16 x 16 kokoista kuva-aluetta, Supersampling-tekniikkaa, ja pikseleiden värisyvyyttä joka on 24 bittiä ja alkuperäistä kuvakokoa 1920 x 1080 pikseliä. Supersampling voi-dan tällöin toteuttaa esimerkiksi seuraavasti: 1) Jaetaan lähdekuva saman suuruisiin suorakaiteisiin, joista kukin suorakaide vastaa yhtä kuvan aluetta. 2) Lasketaan painotettu summa kaikista pikseleistä, jotka ovat suorakaiteen sisällä tai joita suorakaide leikkaa. Mikäli pikseli sijaitsee suorakaiteen sisällä annetaan tämän pikselin arvolle painoarvo 1. Mikäli pikselillä, jonka suorakaide leikkaa, ja suorakaiteella on leikkausalue a < 1, kyseisen pikselin arvolle annetaan painoarvo a. 3) Referenssiarvon laskemiseksi jaetaan painotettu summa suorakaiteen pinta-alalla (pikseleinä ilmaistuna, jolloin pinta-ala on suorakaiteessa olevien pikseleiden lukumäärää vaakasuunnassa kerrottuna suorakaiteessa olevien pikseleiden lukumäärällä pystysuunnassa).

Edellä on esimerkinomaisesti selostettu, että alueen kaikki pikselit huomioidaan referenssiarvon laskennassa, ja että alueet ovat nimenomaan suorakaiteen muotoisia. Kuitenkaan tämä ei ole välttämätöntä, vaan referenssiar- von laskenta voidaan toteuttaa myös ottamalla näytteitä vain osasta alueen pik-seleistä, ja jakamalla kuva muun muotoisiin alueisiin kuin suorakaiteisiin, esimerkiksi kolmion muotoisiin alueisiin.

Kuviot 3a - 3b esittävät taulukoita lähettävästä tai tallennettavasta datasta. Kun esimerkiksi kuvion 1 kuvan 1 alueista A1 - An otetaan näytteitä kuvioiden 2a - 2e yhteydessä selostetulla tavalla, ja näiden näytteiden perusteella lasketaan referenssiarvot, tallennetaan samassa yhteydessä taulukoissa 3a ja 3b esitetyt tiedot muistiin, tai vaihtoehtoisesti lähetetään nämä tiedot saman tien edelleen kuvageneraattorille, jolla kuva generoidaan uudelleen vastaanottopäässä.

Kun näytteitä otetaan esimerkiksi kuvion 1 kuvan alueelta A1, ja tämän perusteella saadaan laskettua kyseisen alueen referenssiarvoksi 1, tallennetaan kuvion 3b taulukkoon alueen A1 aluetunnuksen yhteyteen referenssiäni 1. Tämän jälkeen tarkistetaan onko kuvion 3A taulukkoon referenssiarvon 1 yhteyteen jo tallennettu kuvainformaatio, joka vastaa referenssiarvoa 1. Kun oletetaan, että näin ei ole aikaisemmin tehty, tallennetaan taulukkoon 3a referenssiarvoa 1 vastaavaksi kuvainformaatioksi kuvion 1 alueen A1 kuvainformaatio DATA_A, joka käytännössä tällöin erittelee kaikki kyseisellä alueella sijaisevien pikseleiden arvot. Jos pikseleitä on 8 x 8, sisältyy kuvainformaatioon 64 pikselin arvot, jotka arvot siis kuvaavat näiden pikseleiden väriä.

Seuraavaksi jatketaan tallentamalla kuvan alueen A2 referenssiarvoksi 253 kuvion 3b taulukkoon ja kuvion 3a taulukkoon referenssiarvoa 253 vastaavaksi kuvainformaatioksi (ei esitetty) alueen A2 kuvainformaatio.

Kun edetään alueelle A5 saadaan jälleen referenssiarvoksi 1. Tällöin kuvion 3b taulukkoon tallennetaan aluetunnusta A5 vastaavaksi referenssiarvo 1. Tämän jälkeen tarkistetaan onko taulukkoon 3a jo tallennettu kuvainformaa-tiota referenssiarvon 1 osalta. Tällöin todetaan, että on, koska alueen A1 yhteydessä on kuvion 3bA taulukkoon tallennettu referenssiarvon 1 osalta alueen A1 kuvainformaatio DATA_A, jolloin kuvainformaatiota ei ole tarpeen tallentaa uudelleen alueen A5 osalta.

Edellä selostetusti edetään kunnes kaikki kuvan 1 alueet A1 - An on käyty läpi. Tällöin kuvion 3b taulukosta ilmenee jokaisen aluetunnuksen A1 - An yhteydestä kyseisen alueen referenssiarvo. Kuvaa generoitaessa uudelleen voidaan siten jokaiselle alueelle saada generoitua alkuperäinen kuva hakemalla kuvion 3a taulukosta alueen referenssiarvoa vastaava kuvainformaatio DATA_A - DATA_G, ja tämä haettu kuvainformaatio voidaan näyttää aluetunnuksen A1 -An osoittamalla alueella kuvassa. Kuvion 3a taulukkoon on tarpeen tallentaa kuvainformaatio vain kertaalleen jokaisen referenssiarvon osalta, jolloin kaikille näille saman referenssiarvon omaaville alueille saadaan generoitua kuva samasta kuvainformaatiosta. Siten tallennettavan kuvainformaation määrä saadaan minimoitua, jolloin säästyy muistikapasiteettia ja tiedonsiirtokapasiteettia, sovelluksesta riippuen.

Kuviot 4 ja 5 havainnollistavat kuvaprosessoijan ensimmäistä suoritusmuotoa. Tässä esimerkissä on oletettu, että kuvaprosessoija vastaanottaa vaiheessa A kameralta 10 kuvan sisältävän kuvasignaalin. Käytännössä kuvasignaali voidaan vastaanottaa joltakin muulta medialta kuin kameralta, kuten esimerkiksi kiintolevyltä, levykkeeltä tai muistista lukemalla. Vaiheessa B näytteenottoako 11 ottaa näytteet aluekohtaisesti ja laskentalohko 12 suorittaa aluekohtaisesti referenssiarvon laskennan, esimerkiksi kuten on selostettu edellä kuvioihin 1 ja 2a - 2e viitaten.

Vaiheessa C vertailulohko 13 hyödyntää kuvainformaatiota sisältävää tietokantaa 14 sen selvittämiseksi onko laskettua referenssiarvoa REF vastaavaa kuvainformaatiota INF aikaisemmin lähetetty tai tallennettu. Tietokantaan 14 voi tällöin olla tallennettuna kuvion 3a taulukossa esitetyt tiedot. Vertailulohko vastaanottaa laskentalohkolta 12 käsittelyssä olevan kuvan alueen osalta lasketun referenssiarvon REF, ja tekee sen perusteella haun tietokannasta 14 sen selvittämiseksi onko tietokantaan 14 aikaisemmin tallennettu refe-renssiarvoon REF liittyvää kuvainformaatiota.

Mikäli tietokannasta 14 löytyy kuvainformaatiota lasketun referenssiarvon REF osalta, merkitsee tämä, että kuvainformaatio on jo aikaisemmin tallennettu muistiin tai lähetetty edelleen, eli sitä ei ole tarpeen lähettää tai tallentaa uudelleen. Tällöin vertailulohko 13 välittää vaiheessa D näytteenottolohkolta 11 saatavan aluetunnuksen ALUE ja laskentalohkolta 12 saatavan referenssiarvon REF lähetyslohkolle 15 lähetettäväksi saman tien edelleen tietoliikenneyhteyden välityksellä esimerkiksi vastaanottavalle kuvageneraattorille, tai vaihtoehtoisesti vertailulohko 13 tallentaa kyseisen aluetunnuksen ALUE ja referenssiarvon REF muistiin 16 myöhemmin hyödynnettäväksi.

Jos sitävastoin vertailuelin 13 havaitsee lohkossa C, että tietokannasta 14 ei löydy kuvainformaatiota lasketun referenssiarvon REF osalta, mer kitsee tämä, että kuvainformaatiota on uutta. Tällöin vertailulohko 13 välittää vaiheessa E näytteenottolohkolta 11 saatavan aluetunnuksen ALUE, laskentaloh-kolta 12 saatavan referenssiarvon REF sekä lisäksi näytteenottolohkolta 11 saatavan kuvainformaation INF lähetyslohkolle 15 lähetettäväksi saman tien edelleen tietoliikenneyhteyden välityksellä esimerkiksi vastaanottavalle kuva-generaattorille, tai vaihtoehtoisesti vertailulohko 13 tallentaa kyseisen aluetunnuksen ALUE, referenssiarvon REF ja kuvainformaation INF muistiin 16 myöhemmin hyödynnettäväksi. Samalla vertailulohko 13 välittää myös referenssiarvon REF ja kuvainformaation INF tietokannalle 14 tallennettavaksi tietokantaan 14.

Sekä lähetyslohkoa 15 että muistia 16 ei tarvita välttämättä samanaikaisesti samassa laitteessa. Mikäli halutaan lähettää kuvaprosessoijan tuottama data suoraan tietoliikenneyhteyden välityksellä esimerkiksi vastaanottavalle ku-vageneraattorille, riittää pelkkä lähetyslohko 15. Jos sitävastoin dataa ei haluta lähettää saman tien riittää pelkkä muisti, jolloin muistiin 16 tallennetut tiedot voidaan myöhemmin siirtää kuvageneraattorin käytettäväksi, joko tietoliikenneyhteyden välityksellä tai esimerkiksi siirtämällä ne muistivälineellä, kuten muisti-kortilla, levykkeellä tai kovalevyllä kuvaprosessoijalta kuvageneraattorille.

Vaiheessa F tarkistetaan onko kuvassa vielä alueita, joita ei ole käsitelty. Mikäli on, palataan vaiheeseen B seuraavan alueen käsittelemiseksi, eli näytteenottolohko 11 ottaa näytteet, joista laskentalohko 12 laskee referenssiarvon, ja tämän perusteella vertailulohko 13 toimii edellä selostetusti. Vasta kun kaikki kuvan alueet on läpikäyty siirrytään vaiheeseen G.

Mikäli kyse on ainoastaan yksittäisen kuvan käsittelystä ei käsiteltäviä kuvia ole enempää, jolloin kuvaprosessoija vaiheen G jälkeen lopettaa toiminnan. Jos sitävastoin kyse on esimerkiksi videosta, johon sisältyy useita peräkkäisiä kuvia, palataan vaiheesta G vaiheeseen A kunnes kaikki videon kuvat on käyty läpi edellä selostetusti.

Videokuvan yhteydessä on eräässä suoritusmuodossa mahdollista, että näytteenottolohko 11 tuottaa vertailuelimelle 13 myös indeksin, joka osoittaa minkä kuvan alue on käsittelyssä, eli monesko videoon sisältyvä kuva on se kuva, johon viimeisin referenssiarvo ja aluetunniste liittyvät. Tämän indeksin ver-tailuelin lähettää edelleen lohkon 15 kautta tai tallentaa muistiin 16 aluetunnuksen ALUE ja referenssiarvon REF mukana. Tämä indeksin käyttö ei ole tarpeen kaikissa suoritusmuodoissa. Kuvion 4 lohkokaavio on ainoastaan tar koitettu havainnollistamaan videoprosessoijan toimintaa rajoittamatta sen fyysistä rakennetta. Käytännössä näytteenottolohko, laskentalohko, vertailulohko ja lähetyslohko voidaan toteuttaa piiriratkaisuilla tai tietokoneohjelman ja piiriratkaisujen yhdistelmänä, jolloin esimerkiksi prosessori suorittaa tiettyä ohjelmaa lohkojen toiminnan toteuttamiseksi. Muisti 16 ja tietokanta 14 voidaan toteuttaa yhdellä yksittäisellä muistivälineellä, esimerkiksi muistipiirillä tai kovalevyllä. Eräs vaihtoehto on, että kuvaprosessoija käytännössä muodostuu tietokoneesta, IP-kamerasta, matkapuhelimesta tai kämmentietokoneesta, johon on kytketty tai integroitu kamera, ja joka on järjestetty suorittamaan tietokoneohjelmaa, joka ohjaa kyseistä laitetta edellä selostetusti.

Kuviot 6 ja 7 havainnollistavat kuvageneraattorin ensimmäistä suoritusmuotoa. Kuvion 6 kuvageneraattori, joka voi toimia kuvion 7 vuokaavion mukaisesti, voi olla esimerkiksi matkapuhelin, IP-kamera, tietokone tai kämmentie-tokone, joka tietoliikenneyhteyden välityksellä vastaanottaa dataa kuvioiden 5 ja 6 yhteydessä selostetulta kuvaprosessoijalta, ja saman tien generoi vastaanotetun datan perusteella kuvan näyttölaitteelle. Tällöin kyseessä voi olla esimerkiksi videoneuvotteluun tai yleisesti videon lähettämiseen soveltuvasta laitteistosta, jolla video saadaan pakattua tiiviiseen formaattiin tietoliikenneyhteydellä tapahtuvaa siirtoa varten, ja kuvageneraattorilla palautettua vastaamaan hyvin suurella tarkkuudella alkuperäistä kuvaa.

Vaiheessa H vastaanottolohko 20 vastaanottaa dataa tietoliikenneyhteydeltä. Vastaanotettavaan dataa sisältyy ainakin aluetunnus ALUE, joka yksilöllisesti erittelee sen alueen kuvassa jota dataan sisältyvä referenssiarvo REF koskee. Näiden lisäksi dataan voi sisältyä myös indeksi, joka osoittaa minkä kuvan alue on käsittelyssä. Esimerkiksi videon yhteydessä indeksi voi osoittaa monesko videoon sisältyvä kuva on se kuva, johon vastaanotettu referenssiarvo ja aluetunniste liittyvät. Edelleen voi vastaanotettavaan dataan alue-tunnuksen ALUE ja referenssiarvon REF yhteydessä olla mukana myös kuvain-formaatiota INF. Vaiheessa I vastaanottolohko 20 tarkistaa onko mukana ku-vainformaatiota INF.

Mikäli tarkistus osoittaa, että kuvainformaatiota on mukana, tallentaa vastaanottolohko 20 vaiheessa J tietokantaan 21 kyseisen kuvainformaation INF yhdessä referenssiarvon REF kanssa. Tietokantaan saadaan täten kuva-generaattorin toiminnan aikana, pala palalta, kerättyä vastaavat tiedot kun mitä on esitetty kuvion 3a taulukossa. Kuvainformaation tallennuksen jälkeen vastaanottoako 20 välittää vastaanotetun aluetunnuksen ALUE ja vastaanotetun kuvainformaation INF vaiheessa L kuvan generointilohkolle 22, joka generoitavan kuvan aluetunnusta ALUE vastaavalle alueelle generoi kuvan kuvainformaation INF perusteella.

Jos sitävastoin tarkistus osoittaa, että kuvainformaatiota ei ole mukana, eli tällä kertaa on vastaanotettu dataa, jossa on aluetunnus ALUE ja referenssiäni REF ilman kuvainformaatiota, hakee vastaanottolohko 20 vaiheessa K tietokannasta 21 referenssiarvon REF perusteella sitä vastaavan kuvainformaation INF. Tällöin on kyse kuvainformaatio- ja referenssiarvoparista, joka jo aikaisemmin on vastaanotettu ja tallennettu tietokantaan 21. Tämän jälkeen vastaanottolohko 20 välittää vastaanotetun aluetunnuksen ALUE ja tietokannasta haetun kuvainformaation INF vaiheessa L kuvan generointilohkolle 22, joka generoitavan kuvan aluetunnusta ALUE vastaavalle alueelle generoi kuvan kuvainformaation INF perusteella.

Vaiheessa M tarkistetaan onko datan vastaanotto päättynyt. Jos ei palataan vaiheeseen H uuden datan vastaanottamiseksi. Kuvion 7 vuokaavion vaiheita toistetaan näin ollen kunnes kaikkia tarvittavia kuvan alueita varten on vastaanotettu dataa, ja tämän perusteella generoitu kuva vastaanotetun tai tallennetun kuvainformaation perusteella oikealle kuvan alueelle. Kaikkien kuvan alueiden osalta ei kuitenkaan aina ole tarpeen tuottaa kuvaa kuvainformaation perusteella, koska esimerkiksi videon toiston yhteydessä on mahdollista, että kuvan generoinnissa käytetään pohjana videon edellistä kuvaa, jota muutetaan ainoastaan niiden alueiden osalta, joissa on tapahtunut muutoksia. Näin ollen dataa vastaanotetaan ainoastaan niitä kuvan alueita koskien, joissa on tapahtunut muutoksia verrattuna edelliseen generoituun kuvaan.

Kuvion 6 lohkokaavio on ainoastaan tarkoitettu havainnollistamaan kuvageneraattorin toimintaa rajoittamatta sen rakennetta. Käytännössä vastaanottolohko ja kuvan generointilohko voidaan toteuttaa piiriratkaisuilla tai tietokoneohjelman ja piiriratkaisujen yhdistelmänä, jolloin esimerkiksi prosessori suorittaa tiettyä ohjelmaa lohkojen toiminnan toteuttamiseksi. Tietokanta 21 voidaan toteuttaa yhdellä yksittäisellä muistivälineellä, esimerkiksi muistipiirillä tai kovalevyllä.

Kuviot 8 ja 9 havainnollistavat kuvageneraattorin toista suoritusmuotoa. Kuvion 8 kuvageneraattori, joka voi toimia kuvion 9 vuokaavion mukaisesti, voi olla esimerkiksi matkapuhelin, IP-kamera, tietokone tai kämmentietokone, jonka muistiin on etukäteen tallennettu kuvioiden 3a ja 3b taulukoiden tiedot, ja joka näiden perusteella generoi kuvan tai videon. Eräs vaihtoehto on, että tarvittavat tiedot siirretään kuvageneraattorille tietokoneella luettavalla tallennusme-dialla, kuten muistikortilla, levykkeellä tai kovalevyllä.

Seuraavassa oletetaan esimerkinomaisesti, että muistiin 30 on tallennettu kuvion 3b taulukon tiedot, eli oikeassa järjestyksessä generoitavien kuvan alueiden aluetunnukset ALUE ja niitä vastaavat referenssiarvot REF, ja että kuvainformaatiotietokantaan 31 on tallennettu kuvion 3a taulukon tiedot, eli referenssiarvot REF ja niitä vastaava kuvainformaatio INF. Edellä mainittujen tietojen lisäksi voidaan muistiin tallentaa myös indeksi, joka osoittaa minkä (monennenko) generoitavan kuvan aluetta tietty aluetunnus ja sitä vastaava referenssiäkö koskee, jotta esimerkiksi videon generoinnissa tietyn alueen kuvainformaatio saadaan generoiduksi oikeaan kuvaan.

Vaiheessa N muistista 31 luetaan ensimmäisen käsiteltävän alueen aluetunnus ALUE ja sitä vastaava referenssiäkö REF, ja nämä annetaan kuvan generointilohkon 32 käytettäväksi. Vastaanotetun referenssiakon REF perusteella kuvan generointilohko 32 hakee tällöin vaiheessa O referenssiakoa vastaavan kuvainformaation INF. Tämän jälkeen kuvan generointilohko 32 generoi vaiheessa P kuvainformaation INF perusteella kuvan aluetunnusta ALUE vastaavalle alueelle kuvan. Vaiheessa Q tarkistetaan onko viimeisen alue käsitelty valmiiksi, ja jos ei, niin palataan vaiheeseen N.

Kuvion 8 lohkokaavio on ainoastaan tarkoitettu havainnollistamaan kuvageneraattorin toimintaa rajaamatta sen rakennetta. Käytännössä kuvan generointilohko 32 voidaan toteuttaa piiriratkaisuilla tai tietokoneohjelman ja piiri-ratkaisujen yhdistelmänä, jolloin esimerkiksi prosessori suorittaa tiettyä ohjelmaa lohkon toiminnan toteuttamiseksi. Tietokanta 31 ja muisti 30 voidaan toteuttaa yhdellä yksittäisellä muistivälineellä, esimerkiksi muistipiirillä tai kovalevyllä. Eräs vaihtoehto on se, että kuvion 8 kuvageneraattori on tietokone, matkapuhelin, IP-kamera, kämmentietokone tai vastaava, joka sen muistiin tallennettujen tietojen tai muistivälineeltä luettavien tietojen perusteella generoi näyttölaitteelle kuvan tai videon.

Kuvioiden suoritusmuodista poiketen on ajateltavissa myös variaatio, jossa kuvageneraattorin muistiin on etukäteen tallennettu kuvainformaatio tieto kanta 21 tai 31, joka sisältää kuvion 3a taulukossa esitetyt tiedot. Vaihtoehtoisesti nämä tiedot voidaan lukea muistivälineeltä, kuten muistikortilta tai levykkeeltä. Kuvion 3b taulukossa esitetyt tiedot voivat kuitenkin välittyä kuva-generaattorille tietoliikenneyhteyden välityksellä siten, että niitä ei missään vaiheessa ole pakko tallentaa kuvageneraattorin muistiin.

Kuvio 10 havainnollistaa videokuvan käsittelyä erään suoritusmuodon mukaisesti. Tässä suoritusmuodossa kuvaprosessori etsii käsittelyvuorossa olevasta kuvasta ne kuva-alueet, jotka ovat muuttuneet, ja ainoastaan näiden osalta tallennetaan muistiin tai lähetetään tietoja kuvageneraattorille hyödynnettäväksi. Tässä suoritusmuodossa kuvaprosessoija ylläpitää muistissa tietoja viimeisen prosessoidun kuvan alueiden referensseistä, mitä on havainnollistettu kuviolla P1. Kuvion P1 jokaisen alueen osalta on näin ollen muistiin tallennettu kyseisen alueen aluetunnuksen yhteyteen sen referenssiarvo REF. Alkutilanteessa, eli ennen videon ensimmäisen kuvan prosessointia oletetaan, että kaikkien alueiden osalta on tallennettu esimerkiksi referenssiarvo 0.

Kun käsittelyvuoroon tulee videon ensimmäinen kuva 100, suoritetaan näytteidenotto, ja referenssiarvon laskenta jokaisen kuvan 100 alueelle kuten edellä on selostettu. Tämän jälkeen käydään läpi kuvan 100 alueet yksitellen, ja verrataan niille laskettuja referenssiarvoja vastaavien muistissa olevan kuvion P1 referenssiarvoihin. Ensimmäisen kuvan 100 käsittelyn yhteydessä havaitaan, että kuvan 100 kaikkien alueiden referenssiarvot poikkeavat muistissa ylläpidettävän kuvion P1 vastaavien alueiden referenssiarvoista. Kuvan 100 muuttuneet alueet on merkitty rastilla kuviossa 10. Nuolella on havainnollistettu, että kuvan 100 kaikkien alueiden referenssiarvot tallennetaan muistissa ylläpidettävän kuvion P1 vastaaviin alueisiin. Näiden alueiden referenssiarvot tallennetaan myös muistiin tai lähetetään hyödynnettäväksi kuvageneraattorissa. Ensimmäisen kuvan ollessa käsittelyssä, ei muuttuneiden alueiden referenssiarvoja vastaavaa kuvainformaatiota ole aikaisemmin lähetetty tai tallennettu muistiin, minkä vuoksi se tehdään tässä yhteydessä.

Seuraavaksi on käsittelyvuorossa kuva 101. Näytteidenoton ja referenssiarvon laskennan jälkeen suoritetaan vertailu, jossa kuvan 101 alueiden referenssiarvot yksitellen verrataan muistissa olevan kuvion P1 vastaavien alueiden referenssiarvoihin. Tällöin havaitaan (tässä esimerkissä), että ainoastaan kuvan 101 kuviossa 10 rastilla merkittyjen alueiden referenssiarvot poikkeavat kuvion P1 vastaavien alueiden referenssiarvoista. Eli vain rastilla merkityt alueet ovat muuttuneet. Tällöin tallennetaan muistiin tai lähetetään ainoastaan rastilla merkittyjen muuttuneiden alueiden referenssiarvot ja aluetunnisteet yhdessä indeksin kanssa, joka osoittaa, että kyse on kuvan 101 alueista. Samalla muuttuneiden alueiden referenssiarvot tallennetaan muistissa ylläpidettävän kuvion P1 vastaaviin alueisiin korvaamaan näiden alueiden osalta aikaisemmin ylläpidetyt referenssiarvot.

Mikäli tarkistuksessa todetaan, että muuttuneiden alueiden referens-siarvoja vastaavaa kuvainformaatiota ei ole aikaisemmin lähetetty tai tallennettu muistiin, tehdään se vastaavasti kuin mitä aikaisemmissa suoritusmuodoissa on selostettu. Tämän jälkeen käsittelyvuoroon tulee seuraava videon kuva, eli kuva 102. Jälleen suoritetaan näytteidenottoja lasketaan referenssiarvot aluekohtaisesti. Sitten suoritetaan vertailu sen selvittämiseksi mitkä kuva alueet ovat muuttuneet. Tällöin vertailussa käytetään jälleen muistissa ylläpidettävää kuviota P1, jota tässä vaiheessa on päivitetty edellisen prosessoidun kuvan 101 muuttuneiden alueiden osalta. Vertailun tuloksena havaitaan, että referenssiarvot poikkeavat toisistaan kuvion P1 ja kuvan 102 välillä niiden alueiden osalta, jotka on merkitty rastilla kuvion 10 kuvassa 102. Tällöin tallennetaan muistiin tai lähetetään ainoastaan rastilla merkittyjen muuttuneiden alueiden referenssiarvot ja aluetunnisteet yhdessä indeksin kanssa, joka osoittaa, että kyse on kuvan 102 alueista. Samalla muuttuneiden alueiden referenssiarvot tallennetaan muistissa ylläpidettävän kuvion P1 vastaaviin alueisiin korvaamaan näiden alueiden osalta aikaisemmin ylläpidetyt referenssiarvot.

Mikäli tarkistuksessa todetaan, että muuttuneiden alueiden referenssiänsä vastaavaa kuvainformaatiota ei ole aikaisemmin lähetetty tai tallennettu muistiin, tehdään se vastaavasti kuin mitä aikaisemmissa suoritusmuodoissa on selostettu.

Sama toistetaan kaikissa videossa olevien kuvien osalta, eli seuraa-vaksi kuvan 103 osalta. Täten tallennetuksi tai edelleen lähetetyksi tulevat ainoastaan muuttuneiden alueiden tiedot, mikä pienentää pakatun videon tallennukseen tarvittavaa muistikapasiteettia ja vastaavasti lähettämiseen tarvittavaa tiedonsiirtokapasiteettia.

Kuvageneraattori, joka vastaanottaa kuvion 10 tavoin tuotettua dataa suorittaa kuvan generoimisen ylläpitämällä muistissa viimeisintä esitettyä videon kuvaa, ja päivittää tähän kuvaan ainoastaan niitä alueita, joiden osalta se vastaanottaa uutta dataa. Alkutilanteessa muistissa ylläpidetään kuvaa 100. Kun se esimerkiksi vastaanottaa dataa, jonka mukaan indeksi on 101 ja alue A1 = REF 235, alue A8 = REF 5 päivittää se muistissa olevan kuvan aluetta A1 tuottamalla siihen referenssiarvoa REF 235 vastaavan kuvainformaation ja vastaavasti alueelle A8 referenssiarvoa REF 5 vastaavan kuvainformaation. Muiden alueiden osalta se jättää kuvainformaation muuttumattomaksi. Kun se tämä jälkeen vastaanottaa dataa, jossa indeksi on 102 ja alue A7 = REF 3 päivittää se edellisen (tässä vaiheessa muistissa olevan tuotetun kuvan) alueelle A7 kuvain-formaatiota joka vastaa referenssiarvoa 3, jonka jälkeen se jättää muut alueet muuttumattomiksi.

On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät kuviot on ainoastaan tarkoitettu havainnollistamaan esillä olevaa keksintöä. Alan ammat-timiehille tulee olemaan ilmeistä, että keksintöä voidaan muunnella ja muuttaa myös muilla tavoin poikkeamatta keksinnön suojapiiristä.

Claims (7)

Patentti vaati mu kset:

1. Bildprocesserare, vilken bildprocesserare är konfigurerad: att emottaga (A) en bild vars bildinformation är indelad i områden (A1 - An) med förutbestämd storlek, vilka områden har en individuell områdeskod (ALUE), kännetecknad av att bildprocesseraren är vidare konfigurerad: att områdesspecifikt (B) ta prov (11) av områdets bildinformation och på basen av proven beräkna (12) ett referensvärde (REF) för vart och ett område, att spara (D, E) i ett minne (16) eller skicka (15) områdesspecifikt (A1 - An) ett för området beräknat referensvärde (REF) och en områdeskod (ALUE), kontrollera (C, 13) genom att utföra en sökning på basen av det beräknade referensvärdet (REF) ifall referensvärdet (REF) som fåtts som resultat av beräkningen och bildinformationen (INF) som motsvarar detta tidigare har sparats i minnet (16) eller skickats (15), och spara (E) i minnet (16) eller skicka (15) bildinformationen (INF) som den bildinformation (INF) som motsvarar det beräknade referensvärdet (REF), ifall bildinformation (INF) för referensvärdet (REF) som erhållits som resultat av beräkningen på basen av nämnda kontroll inte tidigare har sparats i minnet eller sänts.

1. Kuvaprosessoija, joka kuvaprosessoija on konfiguroitu: vastaanottamaan (A) kuvan, jonka kuvainformaatio on jaettu ennalta määrätyn kokoisiin alueisiin (A1 - An), joilla on yksilöllinen aluetunniste (ALUE), tunnettu siitä, että kuvaprosessoija on edelleen konfiguroitu: aluekohtaisesti (B) ottamaan näytteitä (11) alueen kuvainformaati-osta, ja näytteiden perusteella laskemaan (12) kullekin alueelle referenssiarvon (REF), tallentamaan (D, E) muistiin (16) tai lähettämään (15) aluekohtaisesti (A1 - An) alueen osalta lasketun referenssiarvon (REF) sekä aluetunnis-teen (ALUE), tarkistamaan (C, 13) suorittamalla haku lasketulla referenssiarvolla (REF) onko laskennan tuloksena saatu referenssiarvo (REF) ja sitä vastaava kuvainformaatio (INF) aikaisemmin tallennettu muistiin (16) tai lähetetty (15), ja tallentamaan (E) muistiin (16) tai lähettämään (15) kuvainformaation (INF) laskettua referenssiarvoa (REF) vastaavaksi kuvainformaatioksi (INF), mikäli laskennan tuloksena saadun referenssiarvon (REF) osalta kuvainfor-maatiota (INF) ei ole mainitun tarkistuksen perusteella aikaisemmin tallennettu muistiin tai lähetetty.

2. Bildprocesserare enligt patentkravet 1,kännetecknad av att nämnda bildprocesserare är en bildprocesserare för en videobild, vilken bildprocesserare är konfigurerad att områdesspecifikt spara i minnet (16) eller sända (15) referensvärdet (REF) som beräknats för nämnda område (A1 - An) samt områdeskoden (ALUE) genom att dessutom spara i minnet eller sända med dessa ett index som indikerar vilket område referensvärdet och områdeskoden gäller.

2. Patenttivaatimuksen 1 mukainen kuvaprosessoija, tunnettu siitä, että mainittu kuvaprosessoija on videokuvan kuvaprosessoija, joka on konfiguroitu suorittamaan mainitun alueen (A1 - An) osalta lasketun referenssiarvon (REF) sekä aluetunnisteen (ALUE) aluekohtaisen muistiin (16) tallentamisen tai lähettämisen (15) tallentamalla muistiin tai lähettämällä näiden lisäksi myös indeksin, joka osoittaa minkä kuvan aluetta referenssiarvo ja alue-tunniste koskevat.

3. Bildprocesserare enligt patentkravet 1 eller 2, kännetecknad av att nämnda bildprocesserare är en bildprocesserare för en videobild som är konfigurerad att kontrollera ifall referensvärdet som beräknats för området har ändrats jämfört med en föregående processerad bilds motsvarande områdes referensvärde (REF), och utföra sparandet i minnet eller sändandet av det för nämnda område beräknade referensvärdet (REF) och motsvarande områdeskod (ALUE) endast ifall kontrollen visar att nämnda områdes referensvärde (REF) har ändrats i förhållande till föregående processerade bild, varvid i samband med referensvärdet (REF) och områdeskoden (ALUE) i minnet sparas eller sänds även bildinformationen (INF) ifall bildinformationen (INF) som motsvarar referensvärdet (REF) som erhållits som resultat av beräkningen inte tidigare har sparat eller sänts.

3. Patenttivaatimuksen 1 tai 2 mukainen kuvaprosessoija, tunnettu siitä, että mainittu kuvaprosessoija on videokuvan kuvaprosessoija, joka on konfiguroitu tarkistamaan onko alueen osalta laskettu referenssiarvo (REF) muuttunut verrattuna edellisen käsitellyn kuvan vastaavan alueen referenssiar-voon (REF), ja suorittamaan mainitun alueen osalta lasketun referenssiarvon (REF) ja sitä vastaavan aluetunnisteen (ALUE) muistiin tallentamisen tai lähettämisen ainoastaan, jos tarkistus osoittaa, että kyseisen alueen referenssiarvo (REF) on muuttunut edelliseen käsiteltyyn kuvaan verrattuna, jolloin referenssiarvon (REF) ja aluetunnisteen (ALUE) yhteydessä tallennetaan muistiin tai lähetetään myös kuvainformaatio (INF) mikäli laskennan tuloksena saatua referens-siarvoa (REF) vastaavaa kuvainformaatiota (INF) ei aikaisemmin ole tallennettu tai lähetetty.

4. Bildprocesserare enligt något av patentkraven 1 -3, kännetecknad av att bildprocesseraren är konfigurerad att beräkna (12) referensvärdet (REF) genom att beräkna medeltalet av prov som består av värdet på områdets (A1 - An) enstaka pixlar.

4. Jonkin patenttivaatimuksen 1 - 3 mukainen kuvaprosessoija, tunnettu siitä, että kuvaprosessoija on konfiguroitu laskemaan (12) referenssiarvon (REF) laskemalla alueen (A1 - An) yksittäisten pikseleiden arvoista muodostuvien näytteiden keskiarvon.

5. Bildprocesserare enligt något av patentkraven 1 - 4, kännetecknad av att bildprocesseraren är konfigurerad att ta (11) prov och beräkna (12) referensvärdet (REF) genom supersampling-teknik.

5. Jonkin patenttivaatimuksen 1 - 4 mukainen kuvaprosessoija, tunnettu siitä, että kuvaprosessoija on konfiguroitu ottamaan (11) näytteet ja laskemaan (12) referenssiarvon (REF) supersampling-tekniikalla.

6. Datorprogram för att processera en bild, vilket datorprogram är konfigurerat att styra en dator: att emottaga (A) en bild vars bildinformation är indelat i områden (A1 - An) med förutbestämd storlek, vilka områden har en individuell områdeskod (ALUE), kännetecknad av att datorprogrammet är vidare konfigurerat att styra en dator: att områdesspecifikt (B) ta prov (11) av områdets bildinformation och på basen av proven beräkna (12) för vart och ett område ett referensvärde (REF), att spara (D, E) i ett minne (16) eller sända (15) områdesspecifikt (A1 - An) ett för området beräknat referensvärde samt e områdeskod, att kontrollera (C, 13) genom utförande av en sökning med det beräknade referensvärdet (REF) ifall referensvärdet (REF) som erhållits som resultat av beräkningen och motsvarande bildinformation (INF) tidigare har sparats i minnet (16) eller sänts (15), och att spara (E) i minnet (16) eller sända (15) bildinformation (INF) som bildinformationen (INF) som motsvarar det beräknade referensvärdet (REF), ifall bildinformation (INF) för referensvärdet (REF) som erhållits som resultat av beräkningen på basen av nämnda kontroll inte tidigare har lagrats in minnet eller sänts.

6. Tietokoneohjelma kuvan prosessoimiseksi, joka tietokoneohjelma on konfiguroitu ohjaamaan tietokonetta: vastaanottamaan (A) kuvan, jonka kuvainformaatio on jaettu ennalta määrätyn kokoisiin alueisiin (A1 - An), joilla on yksilöllinen aluetunniste (ALUE), tunnettu siitä, että tietokoneohjelma on edelleen konfiguroitu ohjaamaan tietokonetta: aluekohtaisesti (B) ottamaan näytteitä (11) alueen kuvainformaati-osta, ja näytteiden perusteella laskemaan (12) kullekin alueelle referenssiarvon (REF), tallentamaan (D, E) muistiin (16) tai lähettämään (15) aluekohtaisesti (A1 - An) alueen osalta lasketun referenssiarvon (REF) sekä aluetunnisteen (ALUE), tarkistamaan (C, 13) suorittamalla haku lasketulla referenssiarvolla (REF) onko laskennan tuloksena saatu referenssiarvo (REF) ja sitä vastaava kuvainformaatio (INF) aikaisemmin tallennettu muistiin (16) tai lähetetty (15), ja tallentamaan (E) muistiin (16) tai lähettämään (15) kuvainformaation (INF) laskettua referenssiarvoa (REF) vastaavaksi kuvainformaatioksi (INF), mikäli laskennan tuloksena saadun referenssiarvon (REF) osalta kuvainformaatiota (INF) ei ole mainitun tarkistuksen perusteella aikaisemmin tallennettu muistiin tai lähetetty.

7. Tietokoneella luettava tallennusmedia, tunnettu siitä, että tallennusmedialle on tallennettu patenttivaatimuksen 6 mukainen tietokoneohjelma. Patentkrav:

7. Datorläsbart lagringsmedium, kännetecknat av att på lagringsmediet har sparats ett datorprogram enligt patentkravet 6.