FI115587B - Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi - Google Patents

Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi Download PDF

Info

Publication number
FI115587B
FI115587B FI20035227A FI20035227A FI115587B FI 115587 B FI115587 B FI 115587B FI 20035227 A FI20035227 A FI 20035227A FI 20035227 A FI20035227 A FI 20035227A FI 115587 B FI115587 B FI 115587B
Authority
FI
Finland
Prior art keywords
scaling
matrix
image
ratio
pixels
Prior art date
Application number
FI20035227A
Other languages
English (en)
Swedish (sv)
Other versions
FI20035227A0 (fi
Inventor
Ossi Kalevo
Hannu Kakkori
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Priority to FI20035227A priority Critical patent/FI115587B/fi
Publication of FI20035227A0 publication Critical patent/FI20035227A0/fi
Priority to KR1020087007860A priority patent/KR20080034524A/ko
Priority to CNB2004800355018A priority patent/CN100465994C/zh
Priority to PCT/FI2004/050172 priority patent/WO2005055139A1/en
Priority to KR1020067010852A priority patent/KR100852752B1/ko
Priority to US10/576,507 priority patent/US20090016644A1/en
Priority to EP04819710A priority patent/EP1690229B1/en
Application granted granted Critical
Publication of FI115587B publication Critical patent/FI115587B/fi

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Description

115587
MENETELMÄ JA LAITTEISTO DIGITAALISEN MATRIISIKUVAN ALASPÄIN SKAALAA-MISEKSI
Keksinnön kohteena on menetelmä ja laitteisto digitaalisen matrii-5 sikuvan alaspäin skaalaamiseksi valitulla suhteella, jossa matriisi-kuva käsittää lukuisan määrän rivejä kunkin rivin käsittäessä lukuisan määrän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat matriisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensi-10 teettiarvoista on laskettu kullekin tulosmatriisin pikselille valitulla tavalla keskiarvo.
Kamerasensoreita käytetään otettaessa digitaalikameroilla yksittäiskuvia tai videokuvaa. Sensorin kuva voi käyttää erilaisia kuva-15 formaatteja esimerkiksi RGB8;8:8, RGB5:6:5, YUV4:2:0 ja raw-Bayer kuvaa. Kun kuva näytetään etsimessä (VF), joka tavallisesti on pienempi resoluutioinen kuin kuvasensori, kuva täytyy muodostaa sensorissa ja skaalata näytön resoluutiolle sopivaksi. Kuvia voidaan myös zoomata (pienempi kuva sensorista rajataan ja edelleen 20 skaalataan) etsimelle. Zoomauksessa tulisi olla monia vaiheita, jotta zoomaustulos näyttäisi jatkuvalta. Kun videokuvia otetaan, videokuvan resoluutio on myös tavallisesti pienempi kuin sensorin resoluutio.
* ·,. Joten videolla myös vaaditaan samanlainen skaalaus. Kamerasensoreita : voidaan myös käyttää kannettavissa laitteissa yhtä hyvin kuin ,* ; 25 kameroissa. Kuvaskaalausta tarvitaan, kun etsimen kuva pyörii reaaliajassa puhelimen tai kameran näytöllä tai videokuvaa otetaan reaaliajassa.
Tunnetaan menetelmiä, joissa kuva skaalataan (aliotoksena) 30 huonolaatuisella algoritmillä kamerassa (huono kuvan laatu). Huonompaa : ; laatua on erityisesti nähtävissä eräissä DSC:n digitaalisissa zoom- ; moodeissa (DSC = Digital Still Camera).
’· : US-julkaisussa 6,205,245 esittää erästä menetelmää, värikuva · 35 skaalataan suoraan sensorin matriisilta siten, että määritetään . lopullisen kuvan kutakin pikseliä vastaava pikseliryhmä, joka ,·* , käsitellään aina kerrallaan.
S
2 115587
Yleisesti kuvamatriisin Mi x Nx skaalaus pienempään kokoon M2 x N2 tapahtuu seuraavasti. Skaalaussuhteet M2/M1 ja N2/Ni määräävät laskentaoperaation kulkua. Jos skaalaus tapahtuu reaali-ajassa eli jatkuvana virtana, tulosmatriisille ei tarvitse varata muistia vaan 5 ainoastaan kolme muistiriviä riittää. Ajatellaan datan tulevan X-riveittäin. Ensimmäinen muistirivi summaa skaalaussuhteen mukaisen määrän X-suunnassa samalla kun kunkin pikselin arvo summataan Y-rivimuistiin. Jos skaalaussuhteesta johtuu, että pikselimäärä ei mene tasan, rajalla oleva pikselin arvo summataan painotettuna kahteen 10 vierekkäiseen tulospikseliin. Samalla lailla Y-rivimuistiin lasketaan skaalaussuhteen mukaisesti pikseliarvoja muistiin ja rajapikselin osalta ne jaetaan painotettuna kahteen osaan. Y-skaalaussuhteen asetetun laskurin osoitettua, että Y-rivimuisti on täynnä, se tyhjennetään eteenpäin, jonka jälkeen summaus alkaa alusta.
15
Jos skaalaussuhteet ovat pieniä (lähellä nollaa), tarvitaan useita muistirivejä, mutta niiden koko on pieni. Jos taasen skaalausuhteet ovat suuria (lähellä ykköstä), tarvitaan vain muutama muistirivi, mutta ne ovat suuria kooltaan. Täten skaalaussuhteesta riippumatta 20 tarvitaan melko vakiomäärä muistia, jonka määrä on noin 3 x Mi yhtä värikomponenttia varten. Käytännön toteutuksessa koko skaalauksen muistin tarve on alle 4 x Mi yhtä värikomponenttia varten.
,: Keksinnöllä halutaan parantaa etsimen tai näytön kuvan laatua . ! 25 erillisillä skaalaussuhteilla ja tasaisella zoomauksella. Lisäksi häiriötasoa halutaan alentaa. Keksinnöllä halutaan prosessoida kuvaa ·* kamerasensorissa lähes optimilaadulla samalla kun vaatimukset : ’ muistille ja virrankulutukselle pidetään edelleen edullisella tasolla.
30 Keksinnön mukaisen menetelmän ja laitteiston tunnusmerkilliset ·’· ; piirteet on esitetty oheisissa patenttivaatimuksissa. Keksintö soveltuu erityisesti laitepohjaisiin (HW) toteutuksiin. Skaalauksen laatu on lähellä optimia ja häiriötaso alenee merkittävästi.
' 35 Keksinnöllä saavutetaan seuraavia etuja: ·*’, - Mahdollistaa korkea-resoluutiokuvien alaspäin skaalauksen sekä ,··, näytölle että videokoodaimelle.
* » 3 115587 - Vaadittu muistimäärä minimoituu huolimatta korkealaatuisesta alaspäin skaalauksesta.
❖ korkeataajuinen valetoisto eliminoituu - viivat ja kulmat esitetään oikein (ei rikkonaisia viivoja 5 ja pyöristyneitä kulmia) - terävien viivojen vilkkuminen ja suuri kontrastisten yksityiskohtien välkkyminen eliminoituu - Ulostulokuvan kohinataso vaimenee ❖ kuvat voidaan siepata myös pimeä/yö-olosuhteissa 10 - Prosessointitehovaatimus korkealaatuisille kuville minimoituu
Skaalauksen laatuun vaikuttaa karkea- ja hienoskaalauksen suhteet. Laatua heikentää se, jos karkeaskaalauksessa valmiiksi keskiarvotetut pikselit eivät osu hienoskaalausrajan kanssa yhteen, jolloin ne 15 sisältävät tietoa tulospikselin ulkopuolelta.
Seuraavassa keksintöä selostetaan viittaamalla oheisiin kuviin, jotka esittävät keksinnön eräitä sovellusmuotoja.
20 Kuva 1 esittää keksinnön mukaisen menetelmän periaateratkaisua Kuva 2a esittää erästä laiteratkaisua lohkokaaviona Kuva 2b esittää erästä toista laiteratkaisua lohkokaaviona ’ " Kuva 2c esittää kuvan 2b skaalainratkaisua piiritasolla : Kuva 3 esittää 5/8-skaalauksen horisontaalikuvausta •‘ · 25 Kuva 4a esittää diagrammia kokonais suhteen jakautumisesta ensimmäisen : ja toisen vaiheen kesken pyrittäessä minimilaskentaan
Kuva 4b esittää diagrammia kokonaissuhteen jakautumisesta ensimmäisen .ja toisen vaiheen kesken pyrittäessä minimoimaan toiseen vaiheen tarvittava muistimäärä ,, 30 Kuva 4c esittää diagrammia kokonaissuhteen jakautumisesta ensimmäisen • ja toisen vaiheen kesken pyrittäessä optimoimaan pääasiassa ‘ kuvan laatua, mutta myös tarvittavaa laskennan ja muistin määrää.
35 Keksinnön mukainen menetelmä käsittää kaksi skaalausvaihetta, kuva 1.
: Ensimmäinen karkea vaihe on yksinkertainen ja se voi käsitellä vain 1/X suhteita. Seuraava vaihe (hieno) on joustavampi ja se voi käsi tellä suhteita Y/Z, missä Y < Z. X, Y ja Z ovat kokonaislukuja. Koko- s 4 115587 naisskaalaussuhde on skaalaussuhteen tulos molemmissa vaiheissa, Mitä pienempi ensimmäinen skaalaussuhde on (HUOM. 1/3 < 1/2) sitä vähemmän muistia tarvitaan toisessa vaiheessa. Pienempi skaalaussuhde ensimmäisessä vaiheessa alentaa myös laskentalogiikan ja laskutoimitusten ko-5 konaismäärää. Ensimmäinen vaihe voidaan esittää analogisessa tai digitaalisessa muodossa. Toinen vaihe määrittelee muistivaatimuksen. Jos skaalaussuhde ei ole suoraan 1/X, parempi kuvan laatu voidaan toteuttaa käyttämällä pienempää suhdetta toisessa vaiheessa, mutta se vaatii suurempaa muistia.
10
Keksintö soveltuu erityisesti laitepohjaisiin sovelluksiin, joista on esimerkkinä kuvan 2a mukainen sovellus. Kameramoduli 10 on yhteydessä isäntäjärjestelmään 22, joka ohjaa näyttölaitetta 24 ja kameramodulia. Kameramoduliin 10 kuuluu erityisesti optiikka eli linssijärjestelmä 11 15 (käytännössä useita linssejä), sensori 12, kuvaprosessointipiiri 14, skaalausyksikkö 16 ja ohjainosa 20. Kuvaprosessointipiiri 14 lukee tunnetulla tavalla sensoria 12, jolloin syntyy nopea datavirta, joka johdetaan skaalausosaan 16, josta valittua kuva-alaa esittävä skaalatun kuvan datavirta johdetaan isäntäjärjestelmään 22.
20 Skaalausosassa 16 datavirta käsitellään ensin karkeaskaalaimessa 17, josta välikuvaa koskeva datavirat johdetaan hienoskaalaimeen 18, joka tekee lopullisen skaalauksen.
• > · j Eräässä sovelluksessa input- ja output-yksiköt ovat eri yksiköitä .1 : 25 suuren datavirran johdosta ja kummallakin skaalaimella on oma CPU ja ; muistialueensa samalla sirulla (ei näytetty).
·’ Kuvassa 2b käytetään samoja viitenumerolta toiminnallisesti samoista osista kuin kuvassa 2a. Kuvan mukaisessa ratkaisussa itse kameramoduli 30 on hieman yksinkertaisempi, kun hienoskaalaus 18 on siirretty isäntä-ί ’ järjestelmän 22. Kameramodulin skaalain 16' käsittää pelkän karkeaskaalaimen 17. Tässä muistin tarve on puolijuovaa karkeaan .1 . skaalaimeen (kameramodulissa) ja kolme juovaa hienoon skaalaimeen • · 1 • ; (isäntämodulissa). Sensorilla 1152x864 yksi juova muistia tarkoittaa 35 Cxll52 sanaa, jossa C on värikomponenttien määrä (yleensä 3 - RGB tai YUV kuville). Sanan pituus riippuu laskennan tarkkuudesta ja on .·”. esimerkiksi 2 tai 4 tavua.
5 115587
Piiritasolla skaalainten rakenne on eräässä (täysdigitaalisessa) sovelluksessa kuvan 2c mukainen. Karkeaskaalain 16' käsittää sisäiseen väylään 165 liittyvät inputosan 161, CPU:n 162, muistin 163, output-osan 164 ja ohjausosan 167. Tämän output-osa 164 on liitetty 5 hienoskaalaimen 18 input-osaan 181 (isäntäjärjestelmässä 22) .
Hienoskaalaimen 18 rakenne on vastaava käsittäen yhteiseen väylään 185 liittyvät osat: CPU 182, muisti 183, output-osa 184 ja ohjausosa 187.
Skaalaus tehdään tässä sovelluksessa kokonaisluvuilla, joka on 10 huomattavasti yksinkertaisempi toteuttaa sirulla kuin liukulukulaskenta.
Muuttujien MAXSTEP ja PIXELSTEP merkitys toisessa skaalaimessa esitettään kuvassa 3. Esimerkki esittää horisontaalisen vaiheen, 15 mutta skaalausta sovelletaan molempiin suuntiin.
Ulostulopikselin arvot voidaan laskea välikuvan pikseleistä seuraavasti (Fig 3): 20 A = (P2 (a) * a + Pl(b) * b) / 256 B = (P2(b) * b + P(c) * c + Pl(d) * d) / 256 C = (P2(d) * d + P1 (e) * e) / 256 ;·. D = (P2 (e) * e + P(f) * f + Pl(g) * g) / 256 • · • : E = (P2 (g) * g + Pl (h) * h) / 256 · · 25 .* PIXELSTEP arvo voidaan määrätä skaalaussuhteelle 5/8:
Asetetaan MAXSTEP = 256 .··’. Tmp2 = (MAXSTEP *5) / 8 = 160 • · 30 PIXELSTEP = floor(Tmp2) = 160 j ’ : Painokertoimet voidaan määrätä seuraavasti:
Pl(a) = 0 35 Pl(x) = MAXSTEP - P2 (x-1) ‘: · Ehtolause If (Pl(x) > PIXELSTEP then
Pl (x+l) - Pl (x) - PIXELSTEP and P(x) = PIXELSTEP
• · P2(x) = PIXELSTEP - Pl(x) 6 115587
Ja niin yllä esitetyn esimerkin painokertoimet voidaan laskea :
Pl(a) = 0 P2(a) = PIXELSTEP - P1(a) = 160 - 0 = 160 Pl(b) = MAXSTEP - P2(a) = 256 - 160 = 96 <= 160 96 5 P2(b) = PIXELSTEP - Pl(b) = 160 - 96 = 64
Pl(c) = MAXSTEP - P2(b) = 256 - 64 = 192 >160 \ P(C) = PIXELSTEP = 160
Pl(d) = Pl(c) -PIXEL STEP = 192 - 160 = 32 P2(d) = PIXELSTEP - Pl(d) = 160 - 32 = 128 10 Pl(e) = MAXSTEP - P2(d) = 256 - 128 = 128 <= 160 128 P2(e) = PIXELSTEP - Pl(e) = 160 - 128 = 32
Pl(f) = MAXSTEP - P2(e) = 256 - 32 = 224 >160 P(f) =PIXELSTEP =160
Pl(g) = Pl(f) - PIXELSTEP = 224 - 160 = 64 15 P2(g) = PIXELSTEP - Pl(g) = 160 - 64 = 96 P1 (h) = MAXSTEP - P2(g) = 256 - 96 = 160 <= 160 160
Huomaa ! P2(h) = PIXELSTEP - Pl(h) = 160 - 160 = 0 Pl(i) = MAXSTEP - P2(h) = 256 - 0 > 160 P(i) = 160, Pl(j) = 96 ! 20 ·, Kuvan 4a tapauksessa ensimmäinen vaihe skaalaa kuvaa niin paljon kuin : mahdollista suhteella 1/X, jossa X on kokonaisluku. Toinen vaihe tekee 25 hienoskaalauksen pienimmällä mahdollisella muistimäärällä ja minimi-laskennalla. Tämä tarkoittaa, että toinen skaalaussuhde on niin iso « · kuin mahdollista (välillä [1/2, 1]) ja siten tarvitaan kolme juovaa .. , muistia.
• » • » • Il ’·*·’ 30 Laskenta tehdään edullisimmin kokonaisluvuilla. Esimerkeissä käytetään käsitteitä : - kokonaisskaalaussuhde Y/(X * Z) - merkitään SCRatio
_· - käänteinen kokonaisskaalaussuhde 1/SCRatio - merkitään IR
* » » ‘ - funktio Floor() - ottaa kokonaisosan (hylkää jakojäännöksen) 35 - funktio MAX()- valitsee maksimiarvon listalta 7 115587 - funktio Sqrt() - palauttaa neliöjuuren - funktio 2Λ() - palauttaa kahden potenssin
- logaritmifunktiot Log2 () ja LoglOO
- apumuuttujia AVESKIP ja PIXELSTEP, jotka määritellään seuraavassa: 5 AVESKIP: IR = MAX(Hin / Hout, Vin / Vout), jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
AVESKIP = Floor(IR) 10 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor{(MAXSTEP * AVESKIP)/IR)
Laskuesimerkki, skaalaussuhde (SCRatio) 0,182 eli ITR =5,5: AVESKIP = Floor(5,5) = 5 15 MAXSTEP = 256 PIXELSTEP = Floor (256 * 5 /5,5) = 232
Kuvan 4b tapauksessa ensimmäinen vaihe skaalaa kuvaa niin paljon kuin mahdollista suhteella 1/X, jossa X on kahden potenssi (2, 4, 8, 16, 64 20 jne.). Toinen vaihe tekee hienoskaalauksen käyttäen mahdollisimman vähän muistia. Tämä tarkoittaa, että skaalaussuhde on välillä [1/2, 1] ja siten tarvitaan kolme juovaa muistia.
,', Seuraavassa taulukossa kuvan 4b skaalauksen vaiheita numeroarvoina.
(· ·_ 25 Tällaista skaalausta käytetään esimerkiksi zoomauksessa, jossa lähte-vän kuvan resoluutio on 128 x 96. Jos osakuvan koko on suurempi, se ( * ‘ skaalataan tähän kokoon. Taulukossa alkuperäinen 1 megapikselin kuva ‘ 1152 x 864 skaalataan suhteella 0,111 (1/8 x 128/144, indeksi 64). Ku- vassa 4b X-akselilla on indeksin arvo juoksee alueella 1 - 64 ja skaa-30 laussuhde välillä 1,0 - 0,111.
» i
« I
8 115587 X-size Y-size ratio X X Y Z index X-size Y-size ratio X X Y Z index 128 96 1,000 1 128 128 1 386 290 0,332 2 128 193 33 132 99 0,970 1 128 132 2 400 300 0,320 2 128 200 34 137 103 0,934 1 128 137 3 416 312 0,308 2 128 208 35 141 106 0,908 1 128 141 4 430 322 0,298 2 128 215 36 146 110 0,877 1 128 146 5 444 334 0,288 2 128 222 37 151 114 0,848 1 128 151 6 460 346 0,278 2 128 230 38 157 118 0,815 1 128 157 7 474 354 0,270 2 128 237 39 162 122 0,790 1 128 162 8 492 368 0,260 2 128 246 40 168 126 0,762 1 128 168 9 512 384 0,250 4 128 128 41 174 131 0,736 1 128 174 10 528 396 0,242 4 128 132 42 180 135 0,711 1 128 180 11 548 412 0,234 4 128 137 43 187 140 0,684 1 128 187 12 564 424 0,227 4 128 141 44 193 145 0,663 1 128 193 13 584 440 0,219 4 128 146 45 200 150 0,640 1 128 200 14 604 456 0,212 4 128 151 46 208 156 0,615 1 128 208 15 628 472 0,204 4 128 157 47 215 161 0,595 1 128 215 16 648 488 0,198 4 128 162 48 222 167 0,577 1 128 222 17 672 504 0,190 4 128 168 49 230 173 0,557 1 128 230 18 696 524 0,184 4 128 174 50 237 177 0,540 1 128 237 19 720 540 0,178 4 128 180 51 246 184 0,520 1 128 246 20 748 560 0,171 4 128 187 52 256 192 0,500 2 128 128 21 772 580 0,166 4 128 193 53 264 198 0,485 2 128 132 22 800 600 0,160 4 128 200 54 274 206 0,467 2 128 137 23 832 624 0,154 4 128 208 55 282 212 0,454 2 128 141 24 860 644 0,149 4 128 215 56 ; 292 220 0,438 2 128 146 25 888 668 0,144 4 128 222 57 , : 302 228 0,424 2 128 151 26 920 692 0,139 4 128 230 58 I 314 236 0,408 2 128 157 27 948 708 0,135 4 128 237 59 \ : 324 244 0,395 2 128 162 28 984 736 0,130 4 128 246 60 336 252 0,381 2 128 168 29 1024 768 0,125 8 128 128 61 f ’ 348 262 0,368 2 128 174 30 1056 792 0,121 8 128 132 62 ! 360 270 0,356 2 128 180 31 1104 832 0,116 8 128 138 63 : 374 280 0,342 2 128 187 32 1152 864 0,111 8 128 144 64 ; Laskenta tehdään tässäkin kokonaisluvuilla, jolloin esimerkissä (kuva : 5 3) käytetään apumuuttujia MAXSTEP, AVESKIP ja PIXELSTEP, jotka määri tellään seuraavassa: AVESKIP: Käänteinen kokonaisskaalaussuhde IR = MAX(Hin / Hout, Vin / Vout), : jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
: ; 10 SKIP = Floor(Log2(IR))
AVESKIP = 2ΛSKIP
9 115587 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor((MAXSTEP * AVESKIP) / IR)
Laskuesimerkki, ITR = 5,5: 5 SKIP = Floor (L0G2(ITR)) = Floor (2,46) = 2 AVESKIP = 2Λ2 = 4 PIXELSTEP = Floor (256 * 4 /5,5) = 186
Kuvan 4c tapauksessa ensimmäisen ja toisen vaiheen skaalaussuhteet py-10 ritään asettamaan yhtä suuriksi, jolloin 1/X on suunnilleen Y/Z. Tällöin muisti- ja prosessointivaatimukset ovat kohtuullisia ja kuvan laatu lähes optimaalinen.
Kokonaislukulaskennan apumuuttujat AVESKIP ja PIXELSTEP määritellään 15 seuraavassa: AVESKIP: Käänteinen kokonaisskaalaussuhde IR = MAX(Hin / Hout, Vin / Vout), jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
AVESKIP = Floor(Sqrt(IR)) 20 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor(MAXSTEP * AVESKIP) / IR)
Laskuesimerkki 3, ITR = 5,5: . AVESKIP = Floor (Sqrt (5,5)) = 2 ; 25 MAXSTEP = 256 PIXELSTEP = Floor (256 * 2 /5,5) = 93 * Tapauksessa, jossa kokonaisskaalaussuhde on 1/X, AVESKIP=X, toinen : vaihe ohitetaan.
30 , Useimmissa sovelluksissa skaalaus tehdään suoraan sensoripiirille so vitetulla prosessoriyksikköllä. Tällaisen piirin (ASIC) piin alaa voidaan pienentää käyttökelpoiselle tasolle edellä esitetyllä ; skaalausmenetelmällä verrattuna optimaaliseen skaalausmenetelmään.
i 35 Keksinnön avulla voidaan minimoida juovamuistin määrä sirulla. Piin ala määrittelee nimittäin sirun (chip) kustannukset ja on keskeinen i t kustannustekijä kannettavissa kameraratkaisuissa. Keksintö mahdol-' * listaa aikaisempaa pienemmät kamerat ja dynaamisen alueen kasvattami- 10 115587 sen. Koodattu kuvakoko on pienempi samalla laatuparametrilla ja se soveltuu sekä yksittäiskuvalle että videokuvalle.
Edellä olevat esimerkit koskevat pääasiassa HW-toteutusta kamerasenso-5 reita varten, mutta keksintöä voidaan soveltaa myös sensorien ulkopuolella, esim. PC:ssä ohjelmallisesti. Kamerasensori soveltuu käytettäväksi varsinaisten kameroiden lisäksi myös matkapuhelimissa (yleisesti matkaviestimissä).
10 * t » i < i t > I >

Claims (11)

115587
1. Menetelmä digitaalisen matriisikuvan alaspäin skaalaamiseksi valitulla suhteella R, jossa matriisikuva käsittää lukuisan määrän rivejä 5 kunkin rivin käsittäessä lukuisan määrän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat matriisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensiteettiarvoista on laskettu kullekin tulosmatriisin pikselille keskiarvo, 10 tunnettu siitä, että valitaan kolme kokonaislukua X, Y ja Z siten, että skaalaussuhde R vastaa likimäärin yhtälöä Y/(Z*X), jossa Y < Z, ja suoritetaan skaalaus kahdessa vaiheessa, joista 15 - ensimmäisessä vaiheessa matriisi skaalataan suhteella 1/X luoden välimatriisin pikselit ja toisessa vaiheessa kukin välimatriisin pikseli skaalataan suhteella Y/Z.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että toi-20 nen skaalaus tehdään ensimmäisen skaalauksen jälkeen välimatriisin lasketulle pikselijoukolle laskematta koko välimatriisia valmiiksi.
3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, , että laskentaprosessin minimoimiseksi ensimmäisessä skaalauksessa ko- I ' 25 konaisluku X valitaan mahdollisimman suureksi Y:lle ja Z:lle valittu jen kokonaislukumaksimien ja valitun kokonaissuhteen R mukaan.
: : 4. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, : ; että vaaditun muistimäärän minimoimiseksi toisessa skaalauksessa en- 30 simmäisessä skaalauksessa kokonaisluku X valitaan mahdollisimman suu-Γ, , rena kahden potenssina.
5. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, \ ; että kuvalaadun optimoimiseksi kokonaisluvut X, Y ja Z asetetaan si- : 35 ten, että 1/X on likimäärin Y/Z.
6. Laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi vali- *··’ tulla suhteella R, jossa laitteistoon kuuluu ensimmäinen muistialue 115587 skaalattavan matriisikuvan tallentamiseksi, toinen muistialue prosessointia varten, ja kolmas muistialue tuloskuvamatriisia varten, keskusyksikkö (CPU) prosessoinnin suorittamiseksi, ja jossa matriisikuva käsittää lukuisan määrän rivejä kunkin rivin käsittäessä lukuisan mää-I 5 rän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat mat riisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensi-teettiarvoista on laskettu kullekin tulosmatriisin pikselille keskiarvo, tunnettu siitä, että laitteisto on sovitettu käsittelemään 10 matriisinkuva kahdessa vaiheessa, joista ensimmäisessä vaiheessa matriisi skaalataan suhteella 1/X luoden välimatriisin pikselit toiselle muistialueelle ja toisessa vaiheessa kukin välimatriisin pikseli skaalataan suhteella Y/Z, ja että sanotut kokonaisluvut X, Y ja Z täyttävät ehdot: 15. skaalaussuhde R vastaa likimäärin yhtälöä Y/(Z*X), ja Y < Z.
7. Patenttivaatimuksen 6 mukainen laitteisto tunnettu siitä, että laitteisto on integroitu kameran kuvasensorin yhteyteen. 20
8. Patenttivaatimuksen 7 mukainen ja isäntäjärjestelmän sisältävä laitteisto, tunnettu siitä, että karkeaskaalain on integroitu kameran t kuvasensorin yhteyteen ja hienoskaalain isäntäjärjestelmään. - 25
9. Patenttivaatimuksen 6 tai 7 mukainen laitteisto tunnettu siitä, että laitteisto käsittää skaalainosan, jossa on erilliset prosessorit ·; : (CPU:t) karkea- ja hienoskaalainta varten.
10. Jonkin patenttivaatimuksen 6-9 mukainen laitteisto, tunnettu 30 siitä, että laitteistoon kuuluu muistia skaalaustoimintoa varten ; ; enintään 4 kuvasensorin juovaa kutakin värikomponenttia kohden.
11. Jonkin patenttivaatimuksen 6-10 mukainen laitteisto, tunnettu ’ siitä, että laitteisto on sovitettu matkaviestimeen. : 35 115587
FI20035227A 2003-12-03 2003-12-03 Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi FI115587B (fi)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FI20035227A FI115587B (fi) 2003-12-03 2003-12-03 Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
KR1020087007860A KR20080034524A (ko) 2003-12-03 2004-11-23 디지털 매트릭스 이미지의 다운스케일링 방법 및 장치
CNB2004800355018A CN100465994C (zh) 2003-12-03 2004-11-23 按比例缩小数字矩阵图像的方法及装置
PCT/FI2004/050172 WO2005055139A1 (en) 2003-12-03 2004-11-23 Method and apparatus for downscaling a digital matrix image
KR1020067010852A KR100852752B1 (ko) 2003-12-03 2004-11-23 디지털 매트릭스 이미지의 다운스케일링 방법 및 장치
US10/576,507 US20090016644A1 (en) 2003-12-03 2004-11-23 Method and Apparatus for Downscaling a Digital Matrix Image
EP04819710A EP1690229B1 (en) 2003-12-03 2004-11-23 Method and apparatus for downscaling a digital matrix image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20035227A FI115587B (fi) 2003-12-03 2003-12-03 Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
FI20035227 2003-12-03

Publications (2)

Publication Number Publication Date
FI20035227A0 FI20035227A0 (fi) 2003-12-03
FI115587B true FI115587B (fi) 2005-05-31

Family

ID=29763627

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20035227A FI115587B (fi) 2003-12-03 2003-12-03 Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi

Country Status (6)

Country Link
US (1) US20090016644A1 (fi)
EP (1) EP1690229B1 (fi)
KR (2) KR20080034524A (fi)
CN (1) CN100465994C (fi)
FI (1) FI115587B (fi)
WO (1) WO2005055139A1 (fi)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100760135B1 (ko) 2005-12-28 2007-09-18 매그나칩 반도체 유한회사 이미지 센서 및 이미지 축소 방법
US8111268B2 (en) 2006-04-20 2012-02-07 Qualcomm Incorporated Image scaling method and apparatus
US8154625B2 (en) * 2007-04-02 2012-04-10 Research In Motion Limited Camera with multiple viewfinders
US8861591B2 (en) * 2007-05-11 2014-10-14 Advanced Micro Devices, Inc. Software video encoder with GPU acceleration
US8233527B2 (en) * 2007-05-11 2012-07-31 Advanced Micro Devices, Inc. Software video transcoder with GPU acceleration
FR2926918B1 (fr) 2008-01-30 2010-11-12 Open Plug Procede et systeme de redimensionnement d'images numeriques
CN102282586B (zh) 2009-01-19 2017-05-10 诺基亚技术有限公司 用于减少图像数据的大小的方法和装置
TWI456527B (zh) 2009-01-22 2014-10-11 Realtek Semiconductor Corp 影像縮小方法及影像處理裝置
US8588553B2 (en) 2009-02-12 2013-11-19 Zoran (France) S.A. Scaling method and device for image signals
CN102044065B (zh) * 2009-10-20 2013-07-03 瑞昱半导体股份有限公司 图像区块内缩小的设计方法
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US8976161B2 (en) 2012-03-01 2015-03-10 Apple Inc. Systems and methods for image processing
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
US20160262372A1 (en) * 2015-03-13 2016-09-15 Cornell Kunz Extermination Treatment Appliance And Method
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4803464A (en) * 1984-04-16 1989-02-07 Gould Inc. Analog display circuit including a wideband amplifier circuit for a high resolution raster display system
US4827433A (en) * 1986-04-30 1989-05-02 Ricoh Company, Ltd. Processing device for changing magnification of image data
US5335295A (en) * 1991-05-08 1994-08-02 International Business Machines Corporation System and method for scaling a digital image
US5583989A (en) * 1992-05-28 1996-12-10 Honda Giken Kogyo Kabushiki Kaisha Vehicle control system having program generator and convertor
US5394524A (en) * 1992-08-07 1995-02-28 International Business Machines Corporation Method and apparatus for processing two graphics data streams in parallel
US5778158A (en) * 1996-03-04 1998-07-07 Hewlett-Packard Company High speed system for image scaling
JP3747523B2 (ja) * 1996-07-02 2006-02-22 ソニー株式会社 画像処理装置および処理方法
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
JP2991180B2 (ja) * 1998-01-28 1999-12-20 日本電気株式会社 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体
EP1074091A2 (en) * 1998-04-20 2001-02-07 Sun Microsystems, Inc. Method and apparatus for supporting a video protocol in a network environment
US6205245B1 (en) * 1998-07-28 2001-03-20 Intel Corporation Method and apparatus for rapid down-scaling of color images directly from sensor color filter array space
US6236433B1 (en) * 1998-09-29 2001-05-22 Intel Corporation Scaling algorithm for efficient color representation/recovery in video
US8118822B2 (en) 1999-03-01 2012-02-21 Medtronic, Inc. Bridge clip tissue connector apparatus and methods
US6252577B1 (en) * 1999-03-18 2001-06-26 Intel Corporation Efficient methodology for scaling and transferring images
US6417867B1 (en) * 1999-05-27 2002-07-09 Sharp Laboratories Of America, Inc. Image downscaling using peripheral vision area localization
FR2807852B1 (fr) * 2000-04-17 2004-10-22 Canon Kk Procedes et dispositifs d'indexation et de recherche d'images numeriques prenant en compte la distribution spatiale du contenu des images
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR100405060B1 (ko) * 2000-08-24 2003-11-07 휴먼드림 주식회사 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치
US7203379B1 (en) * 2000-09-29 2007-04-10 Ess Technology, Inc. Digital image cross talk correction
KR100349205B1 (ko) * 2000-11-17 2002-08-21 삼성전자 주식회사 디지탈 영상표시기기의 디브이아이 커넥터 검출 장치 및방법
JP3801870B2 (ja) * 2001-02-16 2006-07-26 株式会社モノリス 多変量空間処理装置
JP3973602B2 (ja) * 2002-07-10 2007-09-12 株式会社リコー 画像処理装置、画像処理方法及びソフトウェアプログラム

Also Published As

Publication number Publication date
CN100465994C (zh) 2009-03-04
KR20060100458A (ko) 2006-09-20
US20090016644A1 (en) 2009-01-15
WO2005055139A1 (en) 2005-06-16
EP1690229A1 (en) 2006-08-16
KR20080034524A (ko) 2008-04-21
FI20035227A0 (fi) 2003-12-03
EP1690229B1 (en) 2012-10-17
KR100852752B1 (ko) 2008-08-18
WO2005055139A8 (en) 2006-09-14
CN1886758A (zh) 2006-12-27

Similar Documents

Publication Publication Date Title
FI115587B (fi) Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
KR101464765B1 (ko) 결합 이미지를 생성하는 방법 및 장치
US7411628B2 (en) Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller
US20080260291A1 (en) Image downscaling by binning
US20090268086A1 (en) Method and system for scaling, filtering, scan conversion, panoramic scaling, yc adjustment, and color conversion in a display controller
JP2004260821A (ja) 画像データを取込み、かつフィルタリングするイメージセンサ
JP2011146806A (ja) 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム
US20070230827A1 (en) Method and Apparatus for Downscaling a Digital Colour Matrix Image
EP2731325A1 (en) Imaging device and recording medium
US20070188513A1 (en) Method and system for providing accelerated video processing in a communication device
CN110211057A (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
US8542919B2 (en) Method and system for correcting lens shading
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
US11290612B1 (en) Long-exposure camera
US20030080984A1 (en) Method and apparatus for digital image processing
CN110602410A (zh) 一种图像处理方法、装置、航拍相机及存储介质
US5642167A (en) TV picture compression and expansion
EP1526719A3 (en) Camera output format for real time viewfinder/video image
US8194150B2 (en) Moving image processing apparatus and video camera apparatus using the same
JP2007088910A (ja) 動きベクトル検出装置及び撮像装置
US20070248346A1 (en) Storage medium and method to control auto exposure by the same
JP6524644B2 (ja) 画像処理装置および電子機器
JP2004088510A (ja) ズーム処理装置およびズーム処理方法
CN111901539B (zh) 图像获取方法、图像获取装置及终端设备
JP2005175933A (ja) 画像処理方法

Legal Events

Date Code Title Description
FG Patent granted

Ref document number: 115587

Country of ref document: FI

MM Patent lapsed