FI115587B - Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi - Google Patents
Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi Download PDFInfo
- Publication number
- FI115587B FI115587B FI20035227A FI20035227A FI115587B FI 115587 B FI115587 B FI 115587B FI 20035227 A FI20035227 A FI 20035227A FI 20035227 A FI20035227 A FI 20035227A FI 115587 B FI115587 B FI 115587B
- Authority
- FI
- Finland
- Prior art keywords
- scaling
- matrix
- image
- ratio
- pixels
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Description
115587
MENETELMÄ JA LAITTEISTO DIGITAALISEN MATRIISIKUVAN ALASPÄIN SKAALAA-MISEKSI
Keksinnön kohteena on menetelmä ja laitteisto digitaalisen matrii-5 sikuvan alaspäin skaalaamiseksi valitulla suhteella, jossa matriisi-kuva käsittää lukuisan määrän rivejä kunkin rivin käsittäessä lukuisan määrän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat matriisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensi-10 teettiarvoista on laskettu kullekin tulosmatriisin pikselille valitulla tavalla keskiarvo.
Kamerasensoreita käytetään otettaessa digitaalikameroilla yksittäiskuvia tai videokuvaa. Sensorin kuva voi käyttää erilaisia kuva-15 formaatteja esimerkiksi RGB8;8:8, RGB5:6:5, YUV4:2:0 ja raw-Bayer kuvaa. Kun kuva näytetään etsimessä (VF), joka tavallisesti on pienempi resoluutioinen kuin kuvasensori, kuva täytyy muodostaa sensorissa ja skaalata näytön resoluutiolle sopivaksi. Kuvia voidaan myös zoomata (pienempi kuva sensorista rajataan ja edelleen 20 skaalataan) etsimelle. Zoomauksessa tulisi olla monia vaiheita, jotta zoomaustulos näyttäisi jatkuvalta. Kun videokuvia otetaan, videokuvan resoluutio on myös tavallisesti pienempi kuin sensorin resoluutio.
* ·,. Joten videolla myös vaaditaan samanlainen skaalaus. Kamerasensoreita : voidaan myös käyttää kannettavissa laitteissa yhtä hyvin kuin ,* ; 25 kameroissa. Kuvaskaalausta tarvitaan, kun etsimen kuva pyörii reaaliajassa puhelimen tai kameran näytöllä tai videokuvaa otetaan reaaliajassa.
Tunnetaan menetelmiä, joissa kuva skaalataan (aliotoksena) 30 huonolaatuisella algoritmillä kamerassa (huono kuvan laatu). Huonompaa : ; laatua on erityisesti nähtävissä eräissä DSC:n digitaalisissa zoom- ; moodeissa (DSC = Digital Still Camera).
’· : US-julkaisussa 6,205,245 esittää erästä menetelmää, värikuva · 35 skaalataan suoraan sensorin matriisilta siten, että määritetään . lopullisen kuvan kutakin pikseliä vastaava pikseliryhmä, joka ,·* , käsitellään aina kerrallaan.
S
2 115587
Yleisesti kuvamatriisin Mi x Nx skaalaus pienempään kokoon M2 x N2 tapahtuu seuraavasti. Skaalaussuhteet M2/M1 ja N2/Ni määräävät laskentaoperaation kulkua. Jos skaalaus tapahtuu reaali-ajassa eli jatkuvana virtana, tulosmatriisille ei tarvitse varata muistia vaan 5 ainoastaan kolme muistiriviä riittää. Ajatellaan datan tulevan X-riveittäin. Ensimmäinen muistirivi summaa skaalaussuhteen mukaisen määrän X-suunnassa samalla kun kunkin pikselin arvo summataan Y-rivimuistiin. Jos skaalaussuhteesta johtuu, että pikselimäärä ei mene tasan, rajalla oleva pikselin arvo summataan painotettuna kahteen 10 vierekkäiseen tulospikseliin. Samalla lailla Y-rivimuistiin lasketaan skaalaussuhteen mukaisesti pikseliarvoja muistiin ja rajapikselin osalta ne jaetaan painotettuna kahteen osaan. Y-skaalaussuhteen asetetun laskurin osoitettua, että Y-rivimuisti on täynnä, se tyhjennetään eteenpäin, jonka jälkeen summaus alkaa alusta.
15
Jos skaalaussuhteet ovat pieniä (lähellä nollaa), tarvitaan useita muistirivejä, mutta niiden koko on pieni. Jos taasen skaalausuhteet ovat suuria (lähellä ykköstä), tarvitaan vain muutama muistirivi, mutta ne ovat suuria kooltaan. Täten skaalaussuhteesta riippumatta 20 tarvitaan melko vakiomäärä muistia, jonka määrä on noin 3 x Mi yhtä värikomponenttia varten. Käytännön toteutuksessa koko skaalauksen muistin tarve on alle 4 x Mi yhtä värikomponenttia varten.
,: Keksinnöllä halutaan parantaa etsimen tai näytön kuvan laatua . ! 25 erillisillä skaalaussuhteilla ja tasaisella zoomauksella. Lisäksi häiriötasoa halutaan alentaa. Keksinnöllä halutaan prosessoida kuvaa ·* kamerasensorissa lähes optimilaadulla samalla kun vaatimukset : ’ muistille ja virrankulutukselle pidetään edelleen edullisella tasolla.
30 Keksinnön mukaisen menetelmän ja laitteiston tunnusmerkilliset ·’· ; piirteet on esitetty oheisissa patenttivaatimuksissa. Keksintö soveltuu erityisesti laitepohjaisiin (HW) toteutuksiin. Skaalauksen laatu on lähellä optimia ja häiriötaso alenee merkittävästi.
' 35 Keksinnöllä saavutetaan seuraavia etuja: ·*’, - Mahdollistaa korkea-resoluutiokuvien alaspäin skaalauksen sekä ,··, näytölle että videokoodaimelle.
* » 3 115587 - Vaadittu muistimäärä minimoituu huolimatta korkealaatuisesta alaspäin skaalauksesta.
❖ korkeataajuinen valetoisto eliminoituu - viivat ja kulmat esitetään oikein (ei rikkonaisia viivoja 5 ja pyöristyneitä kulmia) - terävien viivojen vilkkuminen ja suuri kontrastisten yksityiskohtien välkkyminen eliminoituu - Ulostulokuvan kohinataso vaimenee ❖ kuvat voidaan siepata myös pimeä/yö-olosuhteissa 10 - Prosessointitehovaatimus korkealaatuisille kuville minimoituu
Skaalauksen laatuun vaikuttaa karkea- ja hienoskaalauksen suhteet. Laatua heikentää se, jos karkeaskaalauksessa valmiiksi keskiarvotetut pikselit eivät osu hienoskaalausrajan kanssa yhteen, jolloin ne 15 sisältävät tietoa tulospikselin ulkopuolelta.
Seuraavassa keksintöä selostetaan viittaamalla oheisiin kuviin, jotka esittävät keksinnön eräitä sovellusmuotoja.
20 Kuva 1 esittää keksinnön mukaisen menetelmän periaateratkaisua Kuva 2a esittää erästä laiteratkaisua lohkokaaviona Kuva 2b esittää erästä toista laiteratkaisua lohkokaaviona ’ " Kuva 2c esittää kuvan 2b skaalainratkaisua piiritasolla : Kuva 3 esittää 5/8-skaalauksen horisontaalikuvausta •‘ · 25 Kuva 4a esittää diagrammia kokonais suhteen jakautumisesta ensimmäisen : ja toisen vaiheen kesken pyrittäessä minimilaskentaan
Kuva 4b esittää diagrammia kokonaissuhteen jakautumisesta ensimmäisen .ja toisen vaiheen kesken pyrittäessä minimoimaan toiseen vaiheen tarvittava muistimäärä ,, 30 Kuva 4c esittää diagrammia kokonaissuhteen jakautumisesta ensimmäisen • ja toisen vaiheen kesken pyrittäessä optimoimaan pääasiassa ‘ kuvan laatua, mutta myös tarvittavaa laskennan ja muistin määrää.
35 Keksinnön mukainen menetelmä käsittää kaksi skaalausvaihetta, kuva 1.
: Ensimmäinen karkea vaihe on yksinkertainen ja se voi käsitellä vain 1/X suhteita. Seuraava vaihe (hieno) on joustavampi ja se voi käsi tellä suhteita Y/Z, missä Y < Z. X, Y ja Z ovat kokonaislukuja. Koko- s 4 115587 naisskaalaussuhde on skaalaussuhteen tulos molemmissa vaiheissa, Mitä pienempi ensimmäinen skaalaussuhde on (HUOM. 1/3 < 1/2) sitä vähemmän muistia tarvitaan toisessa vaiheessa. Pienempi skaalaussuhde ensimmäisessä vaiheessa alentaa myös laskentalogiikan ja laskutoimitusten ko-5 konaismäärää. Ensimmäinen vaihe voidaan esittää analogisessa tai digitaalisessa muodossa. Toinen vaihe määrittelee muistivaatimuksen. Jos skaalaussuhde ei ole suoraan 1/X, parempi kuvan laatu voidaan toteuttaa käyttämällä pienempää suhdetta toisessa vaiheessa, mutta se vaatii suurempaa muistia.
10
Keksintö soveltuu erityisesti laitepohjaisiin sovelluksiin, joista on esimerkkinä kuvan 2a mukainen sovellus. Kameramoduli 10 on yhteydessä isäntäjärjestelmään 22, joka ohjaa näyttölaitetta 24 ja kameramodulia. Kameramoduliin 10 kuuluu erityisesti optiikka eli linssijärjestelmä 11 15 (käytännössä useita linssejä), sensori 12, kuvaprosessointipiiri 14, skaalausyksikkö 16 ja ohjainosa 20. Kuvaprosessointipiiri 14 lukee tunnetulla tavalla sensoria 12, jolloin syntyy nopea datavirta, joka johdetaan skaalausosaan 16, josta valittua kuva-alaa esittävä skaalatun kuvan datavirta johdetaan isäntäjärjestelmään 22.
20 Skaalausosassa 16 datavirta käsitellään ensin karkeaskaalaimessa 17, josta välikuvaa koskeva datavirat johdetaan hienoskaalaimeen 18, joka tekee lopullisen skaalauksen.
• > · j Eräässä sovelluksessa input- ja output-yksiköt ovat eri yksiköitä .1 : 25 suuren datavirran johdosta ja kummallakin skaalaimella on oma CPU ja ; muistialueensa samalla sirulla (ei näytetty).
·’ Kuvassa 2b käytetään samoja viitenumerolta toiminnallisesti samoista osista kuin kuvassa 2a. Kuvan mukaisessa ratkaisussa itse kameramoduli 30 on hieman yksinkertaisempi, kun hienoskaalaus 18 on siirretty isäntä-ί ’ järjestelmän 22. Kameramodulin skaalain 16' käsittää pelkän karkeaskaalaimen 17. Tässä muistin tarve on puolijuovaa karkeaan .1 . skaalaimeen (kameramodulissa) ja kolme juovaa hienoon skaalaimeen • · 1 • ; (isäntämodulissa). Sensorilla 1152x864 yksi juova muistia tarkoittaa 35 Cxll52 sanaa, jossa C on värikomponenttien määrä (yleensä 3 - RGB tai YUV kuville). Sanan pituus riippuu laskennan tarkkuudesta ja on .·”. esimerkiksi 2 tai 4 tavua.
5 115587
Piiritasolla skaalainten rakenne on eräässä (täysdigitaalisessa) sovelluksessa kuvan 2c mukainen. Karkeaskaalain 16' käsittää sisäiseen väylään 165 liittyvät inputosan 161, CPU:n 162, muistin 163, output-osan 164 ja ohjausosan 167. Tämän output-osa 164 on liitetty 5 hienoskaalaimen 18 input-osaan 181 (isäntäjärjestelmässä 22) .
Hienoskaalaimen 18 rakenne on vastaava käsittäen yhteiseen väylään 185 liittyvät osat: CPU 182, muisti 183, output-osa 184 ja ohjausosa 187.
Skaalaus tehdään tässä sovelluksessa kokonaisluvuilla, joka on 10 huomattavasti yksinkertaisempi toteuttaa sirulla kuin liukulukulaskenta.
Muuttujien MAXSTEP ja PIXELSTEP merkitys toisessa skaalaimessa esitettään kuvassa 3. Esimerkki esittää horisontaalisen vaiheen, 15 mutta skaalausta sovelletaan molempiin suuntiin.
Ulostulopikselin arvot voidaan laskea välikuvan pikseleistä seuraavasti (Fig 3): 20 A = (P2 (a) * a + Pl(b) * b) / 256 B = (P2(b) * b + P(c) * c + Pl(d) * d) / 256 C = (P2(d) * d + P1 (e) * e) / 256 ;·. D = (P2 (e) * e + P(f) * f + Pl(g) * g) / 256 • · • : E = (P2 (g) * g + Pl (h) * h) / 256 · · 25 .* PIXELSTEP arvo voidaan määrätä skaalaussuhteelle 5/8:
Asetetaan MAXSTEP = 256 .··’. Tmp2 = (MAXSTEP *5) / 8 = 160 • · 30 PIXELSTEP = floor(Tmp2) = 160 j ’ : Painokertoimet voidaan määrätä seuraavasti:
Pl(a) = 0 35 Pl(x) = MAXSTEP - P2 (x-1) ‘: · Ehtolause If (Pl(x) > PIXELSTEP then
Pl (x+l) - Pl (x) - PIXELSTEP and P(x) = PIXELSTEP
• · P2(x) = PIXELSTEP - Pl(x) 6 115587
Ja niin yllä esitetyn esimerkin painokertoimet voidaan laskea :
Pl(a) = 0 P2(a) = PIXELSTEP - P1(a) = 160 - 0 = 160 Pl(b) = MAXSTEP - P2(a) = 256 - 160 = 96 <= 160 96 5 P2(b) = PIXELSTEP - Pl(b) = 160 - 96 = 64
Pl(c) = MAXSTEP - P2(b) = 256 - 64 = 192 >160 \ P(C) = PIXELSTEP = 160
Pl(d) = Pl(c) -PIXEL STEP = 192 - 160 = 32 P2(d) = PIXELSTEP - Pl(d) = 160 - 32 = 128 10 Pl(e) = MAXSTEP - P2(d) = 256 - 128 = 128 <= 160 128 P2(e) = PIXELSTEP - Pl(e) = 160 - 128 = 32
Pl(f) = MAXSTEP - P2(e) = 256 - 32 = 224 >160 P(f) =PIXELSTEP =160
Pl(g) = Pl(f) - PIXELSTEP = 224 - 160 = 64 15 P2(g) = PIXELSTEP - Pl(g) = 160 - 64 = 96 P1 (h) = MAXSTEP - P2(g) = 256 - 96 = 160 <= 160 160
Huomaa ! P2(h) = PIXELSTEP - Pl(h) = 160 - 160 = 0 Pl(i) = MAXSTEP - P2(h) = 256 - 0 > 160 P(i) = 160, Pl(j) = 96 ! 20 ·, Kuvan 4a tapauksessa ensimmäinen vaihe skaalaa kuvaa niin paljon kuin : mahdollista suhteella 1/X, jossa X on kokonaisluku. Toinen vaihe tekee 25 hienoskaalauksen pienimmällä mahdollisella muistimäärällä ja minimi-laskennalla. Tämä tarkoittaa, että toinen skaalaussuhde on niin iso « · kuin mahdollista (välillä [1/2, 1]) ja siten tarvitaan kolme juovaa .. , muistia.
• » • » • Il ’·*·’ 30 Laskenta tehdään edullisimmin kokonaisluvuilla. Esimerkeissä käytetään käsitteitä : - kokonaisskaalaussuhde Y/(X * Z) - merkitään SCRatio
_· - käänteinen kokonaisskaalaussuhde 1/SCRatio - merkitään IR
* » » ‘ - funktio Floor() - ottaa kokonaisosan (hylkää jakojäännöksen) 35 - funktio MAX()- valitsee maksimiarvon listalta 7 115587 - funktio Sqrt() - palauttaa neliöjuuren - funktio 2Λ() - palauttaa kahden potenssin
- logaritmifunktiot Log2 () ja LoglOO
- apumuuttujia AVESKIP ja PIXELSTEP, jotka määritellään seuraavassa: 5 AVESKIP: IR = MAX(Hin / Hout, Vin / Vout), jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
AVESKIP = Floor(IR) 10 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor{(MAXSTEP * AVESKIP)/IR)
Laskuesimerkki, skaalaussuhde (SCRatio) 0,182 eli ITR =5,5: AVESKIP = Floor(5,5) = 5 15 MAXSTEP = 256 PIXELSTEP = Floor (256 * 5 /5,5) = 232
Kuvan 4b tapauksessa ensimmäinen vaihe skaalaa kuvaa niin paljon kuin mahdollista suhteella 1/X, jossa X on kahden potenssi (2, 4, 8, 16, 64 20 jne.). Toinen vaihe tekee hienoskaalauksen käyttäen mahdollisimman vähän muistia. Tämä tarkoittaa, että skaalaussuhde on välillä [1/2, 1] ja siten tarvitaan kolme juovaa muistia.
,', Seuraavassa taulukossa kuvan 4b skaalauksen vaiheita numeroarvoina.
(· ·_ 25 Tällaista skaalausta käytetään esimerkiksi zoomauksessa, jossa lähte-vän kuvan resoluutio on 128 x 96. Jos osakuvan koko on suurempi, se ( * ‘ skaalataan tähän kokoon. Taulukossa alkuperäinen 1 megapikselin kuva ‘ 1152 x 864 skaalataan suhteella 0,111 (1/8 x 128/144, indeksi 64). Ku- vassa 4b X-akselilla on indeksin arvo juoksee alueella 1 - 64 ja skaa-30 laussuhde välillä 1,0 - 0,111.
» i
« I
8 115587 X-size Y-size ratio X X Y Z index X-size Y-size ratio X X Y Z index 128 96 1,000 1 128 128 1 386 290 0,332 2 128 193 33 132 99 0,970 1 128 132 2 400 300 0,320 2 128 200 34 137 103 0,934 1 128 137 3 416 312 0,308 2 128 208 35 141 106 0,908 1 128 141 4 430 322 0,298 2 128 215 36 146 110 0,877 1 128 146 5 444 334 0,288 2 128 222 37 151 114 0,848 1 128 151 6 460 346 0,278 2 128 230 38 157 118 0,815 1 128 157 7 474 354 0,270 2 128 237 39 162 122 0,790 1 128 162 8 492 368 0,260 2 128 246 40 168 126 0,762 1 128 168 9 512 384 0,250 4 128 128 41 174 131 0,736 1 128 174 10 528 396 0,242 4 128 132 42 180 135 0,711 1 128 180 11 548 412 0,234 4 128 137 43 187 140 0,684 1 128 187 12 564 424 0,227 4 128 141 44 193 145 0,663 1 128 193 13 584 440 0,219 4 128 146 45 200 150 0,640 1 128 200 14 604 456 0,212 4 128 151 46 208 156 0,615 1 128 208 15 628 472 0,204 4 128 157 47 215 161 0,595 1 128 215 16 648 488 0,198 4 128 162 48 222 167 0,577 1 128 222 17 672 504 0,190 4 128 168 49 230 173 0,557 1 128 230 18 696 524 0,184 4 128 174 50 237 177 0,540 1 128 237 19 720 540 0,178 4 128 180 51 246 184 0,520 1 128 246 20 748 560 0,171 4 128 187 52 256 192 0,500 2 128 128 21 772 580 0,166 4 128 193 53 264 198 0,485 2 128 132 22 800 600 0,160 4 128 200 54 274 206 0,467 2 128 137 23 832 624 0,154 4 128 208 55 282 212 0,454 2 128 141 24 860 644 0,149 4 128 215 56 ; 292 220 0,438 2 128 146 25 888 668 0,144 4 128 222 57 , : 302 228 0,424 2 128 151 26 920 692 0,139 4 128 230 58 I 314 236 0,408 2 128 157 27 948 708 0,135 4 128 237 59 \ : 324 244 0,395 2 128 162 28 984 736 0,130 4 128 246 60 336 252 0,381 2 128 168 29 1024 768 0,125 8 128 128 61 f ’ 348 262 0,368 2 128 174 30 1056 792 0,121 8 128 132 62 ! 360 270 0,356 2 128 180 31 1104 832 0,116 8 128 138 63 : 374 280 0,342 2 128 187 32 1152 864 0,111 8 128 144 64 ; Laskenta tehdään tässäkin kokonaisluvuilla, jolloin esimerkissä (kuva : 5 3) käytetään apumuuttujia MAXSTEP, AVESKIP ja PIXELSTEP, jotka määri tellään seuraavassa: AVESKIP: Käänteinen kokonaisskaalaussuhde IR = MAX(Hin / Hout, Vin / Vout), : jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
: ; 10 SKIP = Floor(Log2(IR))
AVESKIP = 2ΛSKIP
9 115587 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor((MAXSTEP * AVESKIP) / IR)
Laskuesimerkki, ITR = 5,5: 5 SKIP = Floor (L0G2(ITR)) = Floor (2,46) = 2 AVESKIP = 2Λ2 = 4 PIXELSTEP = Floor (256 * 4 /5,5) = 186
Kuvan 4c tapauksessa ensimmäisen ja toisen vaiheen skaalaussuhteet py-10 ritään asettamaan yhtä suuriksi, jolloin 1/X on suunnilleen Y/Z. Tällöin muisti- ja prosessointivaatimukset ovat kohtuullisia ja kuvan laatu lähes optimaalinen.
Kokonaislukulaskennan apumuuttujat AVESKIP ja PIXELSTEP määritellään 15 seuraavassa: AVESKIP: Käänteinen kokonaisskaalaussuhde IR = MAX(Hin / Hout, Vin / Vout), jossa käytetään horisontaali- (H) ja vertikaali- (V) kokoja.
AVESKIP = Floor(Sqrt(IR)) 20 PIXELSTEP: MAXSTEP = 256 (tai 65536 haluttaessa tarkempaa pikselin asemointia) PIXELSTEP = Floor(MAXSTEP * AVESKIP) / IR)
Laskuesimerkki 3, ITR = 5,5: . AVESKIP = Floor (Sqrt (5,5)) = 2 ; 25 MAXSTEP = 256 PIXELSTEP = Floor (256 * 2 /5,5) = 93 * Tapauksessa, jossa kokonaisskaalaussuhde on 1/X, AVESKIP=X, toinen : vaihe ohitetaan.
30 , Useimmissa sovelluksissa skaalaus tehdään suoraan sensoripiirille so vitetulla prosessoriyksikköllä. Tällaisen piirin (ASIC) piin alaa voidaan pienentää käyttökelpoiselle tasolle edellä esitetyllä ; skaalausmenetelmällä verrattuna optimaaliseen skaalausmenetelmään.
i 35 Keksinnön avulla voidaan minimoida juovamuistin määrä sirulla. Piin ala määrittelee nimittäin sirun (chip) kustannukset ja on keskeinen i t kustannustekijä kannettavissa kameraratkaisuissa. Keksintö mahdol-' * listaa aikaisempaa pienemmät kamerat ja dynaamisen alueen kasvattami- 10 115587 sen. Koodattu kuvakoko on pienempi samalla laatuparametrilla ja se soveltuu sekä yksittäiskuvalle että videokuvalle.
Edellä olevat esimerkit koskevat pääasiassa HW-toteutusta kamerasenso-5 reita varten, mutta keksintöä voidaan soveltaa myös sensorien ulkopuolella, esim. PC:ssä ohjelmallisesti. Kamerasensori soveltuu käytettäväksi varsinaisten kameroiden lisäksi myös matkapuhelimissa (yleisesti matkaviestimissä).
10 * t » i < i t > I >
Claims (11)
1. Menetelmä digitaalisen matriisikuvan alaspäin skaalaamiseksi valitulla suhteella R, jossa matriisikuva käsittää lukuisan määrän rivejä 5 kunkin rivin käsittäessä lukuisan määrän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat matriisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensiteettiarvoista on laskettu kullekin tulosmatriisin pikselille keskiarvo, 10 tunnettu siitä, että valitaan kolme kokonaislukua X, Y ja Z siten, että skaalaussuhde R vastaa likimäärin yhtälöä Y/(Z*X), jossa Y < Z, ja suoritetaan skaalaus kahdessa vaiheessa, joista 15 - ensimmäisessä vaiheessa matriisi skaalataan suhteella 1/X luoden välimatriisin pikselit ja toisessa vaiheessa kukin välimatriisin pikseli skaalataan suhteella Y/Z.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että toi-20 nen skaalaus tehdään ensimmäisen skaalauksen jälkeen välimatriisin lasketulle pikselijoukolle laskematta koko välimatriisia valmiiksi.
3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, , että laskentaprosessin minimoimiseksi ensimmäisessä skaalauksessa ko- I ' 25 konaisluku X valitaan mahdollisimman suureksi Y:lle ja Z:lle valittu jen kokonaislukumaksimien ja valitun kokonaissuhteen R mukaan.
: : 4. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, : ; että vaaditun muistimäärän minimoimiseksi toisessa skaalauksessa en- 30 simmäisessä skaalauksessa kokonaisluku X valitaan mahdollisimman suu-Γ, , rena kahden potenssina.
5. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, \ ; että kuvalaadun optimoimiseksi kokonaisluvut X, Y ja Z asetetaan si- : 35 ten, että 1/X on likimäärin Y/Z.
6. Laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi vali- *··’ tulla suhteella R, jossa laitteistoon kuuluu ensimmäinen muistialue 115587 skaalattavan matriisikuvan tallentamiseksi, toinen muistialue prosessointia varten, ja kolmas muistialue tuloskuvamatriisia varten, keskusyksikkö (CPU) prosessoinnin suorittamiseksi, ja jossa matriisikuva käsittää lukuisan määrän rivejä kunkin rivin käsittäessä lukuisan mää-I 5 rän pikseleitä, jolloin pikselien intensiteettiarvot muodostavat mat riisin, ja jossa skaalauksella muodostetun tulosmatriisin pikselit vastaavat alkuperäisen matriisin aliryhmiä, joiden pikselien intensi-teettiarvoista on laskettu kullekin tulosmatriisin pikselille keskiarvo, tunnettu siitä, että laitteisto on sovitettu käsittelemään 10 matriisinkuva kahdessa vaiheessa, joista ensimmäisessä vaiheessa matriisi skaalataan suhteella 1/X luoden välimatriisin pikselit toiselle muistialueelle ja toisessa vaiheessa kukin välimatriisin pikseli skaalataan suhteella Y/Z, ja että sanotut kokonaisluvut X, Y ja Z täyttävät ehdot: 15. skaalaussuhde R vastaa likimäärin yhtälöä Y/(Z*X), ja Y < Z.
7. Patenttivaatimuksen 6 mukainen laitteisto tunnettu siitä, että laitteisto on integroitu kameran kuvasensorin yhteyteen. 20
8. Patenttivaatimuksen 7 mukainen ja isäntäjärjestelmän sisältävä laitteisto, tunnettu siitä, että karkeaskaalain on integroitu kameran t kuvasensorin yhteyteen ja hienoskaalain isäntäjärjestelmään. - 25
9. Patenttivaatimuksen 6 tai 7 mukainen laitteisto tunnettu siitä, että laitteisto käsittää skaalainosan, jossa on erilliset prosessorit ·; : (CPU:t) karkea- ja hienoskaalainta varten.
10. Jonkin patenttivaatimuksen 6-9 mukainen laitteisto, tunnettu 30 siitä, että laitteistoon kuuluu muistia skaalaustoimintoa varten ; ; enintään 4 kuvasensorin juovaa kutakin värikomponenttia kohden.
11. Jonkin patenttivaatimuksen 6-10 mukainen laitteisto, tunnettu ’ siitä, että laitteisto on sovitettu matkaviestimeen. : 35 115587
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20035227A FI115587B (fi) | 2003-12-03 | 2003-12-03 | Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi |
KR1020087007860A KR20080034524A (ko) | 2003-12-03 | 2004-11-23 | 디지털 매트릭스 이미지의 다운스케일링 방법 및 장치 |
CNB2004800355018A CN100465994C (zh) | 2003-12-03 | 2004-11-23 | 按比例缩小数字矩阵图像的方法及装置 |
PCT/FI2004/050172 WO2005055139A1 (en) | 2003-12-03 | 2004-11-23 | Method and apparatus for downscaling a digital matrix image |
KR1020067010852A KR100852752B1 (ko) | 2003-12-03 | 2004-11-23 | 디지털 매트릭스 이미지의 다운스케일링 방법 및 장치 |
US10/576,507 US20090016644A1 (en) | 2003-12-03 | 2004-11-23 | Method and Apparatus for Downscaling a Digital Matrix Image |
EP04819710A EP1690229B1 (en) | 2003-12-03 | 2004-11-23 | Method and apparatus for downscaling a digital matrix image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20035227A FI115587B (fi) | 2003-12-03 | 2003-12-03 | Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi |
FI20035227 | 2003-12-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
FI20035227A0 FI20035227A0 (fi) | 2003-12-03 |
FI115587B true FI115587B (fi) | 2005-05-31 |
Family
ID=29763627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FI20035227A FI115587B (fi) | 2003-12-03 | 2003-12-03 | Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi |
Country Status (6)
Country | Link |
---|---|
US (1) | US20090016644A1 (fi) |
EP (1) | EP1690229B1 (fi) |
KR (2) | KR20080034524A (fi) |
CN (1) | CN100465994C (fi) |
FI (1) | FI115587B (fi) |
WO (1) | WO2005055139A1 (fi) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100760135B1 (ko) | 2005-12-28 | 2007-09-18 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 축소 방법 |
US8111268B2 (en) | 2006-04-20 | 2012-02-07 | Qualcomm Incorporated | Image scaling method and apparatus |
US8154625B2 (en) * | 2007-04-02 | 2012-04-10 | Research In Motion Limited | Camera with multiple viewfinders |
US8861591B2 (en) * | 2007-05-11 | 2014-10-14 | Advanced Micro Devices, Inc. | Software video encoder with GPU acceleration |
US8233527B2 (en) * | 2007-05-11 | 2012-07-31 | Advanced Micro Devices, Inc. | Software video transcoder with GPU acceleration |
FR2926918B1 (fr) | 2008-01-30 | 2010-11-12 | Open Plug | Procede et systeme de redimensionnement d'images numeriques |
CN102282586B (zh) | 2009-01-19 | 2017-05-10 | 诺基亚技术有限公司 | 用于减少图像数据的大小的方法和装置 |
TWI456527B (zh) | 2009-01-22 | 2014-10-11 | Realtek Semiconductor Corp | 影像縮小方法及影像處理裝置 |
US8588553B2 (en) | 2009-02-12 | 2013-11-19 | Zoran (France) S.A. | Scaling method and device for image signals |
CN102044065B (zh) * | 2009-10-20 | 2013-07-03 | 瑞昱半导体股份有限公司 | 图像区块内缩小的设计方法 |
US8446484B2 (en) | 2010-04-21 | 2013-05-21 | Nokia Corporation | Image processing architecture with pre-scaler |
US8976161B2 (en) | 2012-03-01 | 2015-03-10 | Apple Inc. | Systems and methods for image processing |
KR20140125984A (ko) * | 2013-04-19 | 2014-10-30 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템 |
US20160262372A1 (en) * | 2015-03-13 | 2016-09-15 | Cornell Kunz | Extermination Treatment Appliance And Method |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4803464A (en) * | 1984-04-16 | 1989-02-07 | Gould Inc. | Analog display circuit including a wideband amplifier circuit for a high resolution raster display system |
US4827433A (en) * | 1986-04-30 | 1989-05-02 | Ricoh Company, Ltd. | Processing device for changing magnification of image data |
US5335295A (en) * | 1991-05-08 | 1994-08-02 | International Business Machines Corporation | System and method for scaling a digital image |
US5583989A (en) * | 1992-05-28 | 1996-12-10 | Honda Giken Kogyo Kabushiki Kaisha | Vehicle control system having program generator and convertor |
US5394524A (en) * | 1992-08-07 | 1995-02-28 | International Business Machines Corporation | Method and apparatus for processing two graphics data streams in parallel |
US5778158A (en) * | 1996-03-04 | 1998-07-07 | Hewlett-Packard Company | High speed system for image scaling |
JP3747523B2 (ja) * | 1996-07-02 | 2006-02-22 | ソニー株式会社 | 画像処理装置および処理方法 |
US6339434B1 (en) * | 1997-11-24 | 2002-01-15 | Pixelworks | Image scaling circuit for fixed pixed resolution display |
JP2991180B2 (ja) * | 1998-01-28 | 1999-12-20 | 日本電気株式会社 | 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体 |
EP1074091A2 (en) * | 1998-04-20 | 2001-02-07 | Sun Microsystems, Inc. | Method and apparatus for supporting a video protocol in a network environment |
US6205245B1 (en) * | 1998-07-28 | 2001-03-20 | Intel Corporation | Method and apparatus for rapid down-scaling of color images directly from sensor color filter array space |
US6236433B1 (en) * | 1998-09-29 | 2001-05-22 | Intel Corporation | Scaling algorithm for efficient color representation/recovery in video |
US8118822B2 (en) | 1999-03-01 | 2012-02-21 | Medtronic, Inc. | Bridge clip tissue connector apparatus and methods |
US6252577B1 (en) * | 1999-03-18 | 2001-06-26 | Intel Corporation | Efficient methodology for scaling and transferring images |
US6417867B1 (en) * | 1999-05-27 | 2002-07-09 | Sharp Laboratories Of America, Inc. | Image downscaling using peripheral vision area localization |
FR2807852B1 (fr) * | 2000-04-17 | 2004-10-22 | Canon Kk | Procedes et dispositifs d'indexation et de recherche d'images numeriques prenant en compte la distribution spatiale du contenu des images |
US6647061B1 (en) | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
KR100405060B1 (ko) * | 2000-08-24 | 2003-11-07 | 휴먼드림 주식회사 | 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치 |
US7203379B1 (en) * | 2000-09-29 | 2007-04-10 | Ess Technology, Inc. | Digital image cross talk correction |
KR100349205B1 (ko) * | 2000-11-17 | 2002-08-21 | 삼성전자 주식회사 | 디지탈 영상표시기기의 디브이아이 커넥터 검출 장치 및방법 |
JP3801870B2 (ja) * | 2001-02-16 | 2006-07-26 | 株式会社モノリス | 多変量空間処理装置 |
JP3973602B2 (ja) * | 2002-07-10 | 2007-09-12 | 株式会社リコー | 画像処理装置、画像処理方法及びソフトウェアプログラム |
-
2003
- 2003-12-03 FI FI20035227A patent/FI115587B/fi not_active IP Right Cessation
-
2004
- 2004-11-23 WO PCT/FI2004/050172 patent/WO2005055139A1/en active Application Filing
- 2004-11-23 US US10/576,507 patent/US20090016644A1/en not_active Abandoned
- 2004-11-23 CN CNB2004800355018A patent/CN100465994C/zh not_active Expired - Fee Related
- 2004-11-23 KR KR1020087007860A patent/KR20080034524A/ko not_active Application Discontinuation
- 2004-11-23 EP EP04819710A patent/EP1690229B1/en not_active Expired - Fee Related
- 2004-11-23 KR KR1020067010852A patent/KR100852752B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
CN100465994C (zh) | 2009-03-04 |
KR20060100458A (ko) | 2006-09-20 |
US20090016644A1 (en) | 2009-01-15 |
WO2005055139A1 (en) | 2005-06-16 |
EP1690229A1 (en) | 2006-08-16 |
KR20080034524A (ko) | 2008-04-21 |
FI20035227A0 (fi) | 2003-12-03 |
EP1690229B1 (en) | 2012-10-17 |
KR100852752B1 (ko) | 2008-08-18 |
WO2005055139A8 (en) | 2006-09-14 |
CN1886758A (zh) | 2006-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FI115587B (fi) | Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi | |
KR101464765B1 (ko) | 결합 이미지를 생성하는 방법 및 장치 | |
US7411628B2 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller | |
US20080260291A1 (en) | Image downscaling by binning | |
US20090268086A1 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, yc adjustment, and color conversion in a display controller | |
JP2004260821A (ja) | 画像データを取込み、かつフィルタリングするイメージセンサ | |
JP2011146806A (ja) | 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム | |
US20070230827A1 (en) | Method and Apparatus for Downscaling a Digital Colour Matrix Image | |
EP2731325A1 (en) | Imaging device and recording medium | |
US20070188513A1 (en) | Method and system for providing accelerated video processing in a communication device | |
CN110211057A (zh) | 一种基于全卷积网络的图像处理方法、装置和计算机设备 | |
US8542919B2 (en) | Method and system for correcting lens shading | |
US20030122937A1 (en) | Method for processing digital CFA images, particularly for motion and still imaging | |
US11290612B1 (en) | Long-exposure camera | |
US20030080984A1 (en) | Method and apparatus for digital image processing | |
CN110602410A (zh) | 一种图像处理方法、装置、航拍相机及存储介质 | |
US5642167A (en) | TV picture compression and expansion | |
EP1526719A3 (en) | Camera output format for real time viewfinder/video image | |
US8194150B2 (en) | Moving image processing apparatus and video camera apparatus using the same | |
JP2007088910A (ja) | 動きベクトル検出装置及び撮像装置 | |
US20070248346A1 (en) | Storage medium and method to control auto exposure by the same | |
JP6524644B2 (ja) | 画像処理装置および電子機器 | |
JP2004088510A (ja) | ズーム処理装置およびズーム処理方法 | |
CN111901539B (zh) | 图像获取方法、图像获取装置及终端设备 | |
JP2005175933A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FG | Patent granted |
Ref document number: 115587 Country of ref document: FI |
|
MM | Patent lapsed |