FI116327B - Menetelmä ja järjestelmä väritasapainon automaattiseksi säätämiseksi digitaalisessa kuvankäsittelyketjussa, vastaava laitteisto ja ohjelmalliset välineet menetelmän toteuttamiseksi - Google Patents

Description

116327

MENETELMÄ. JA JÄRJESTELMÄ VÄRITASAPAINON AUTOMAATTISEKSI SÄÄTÄMISEKSI DIGITAALISESSA KUVANKÄSITTELYKETJUSSA, VASTAAVA LAITTEISTO JA OHJELMALLISET VÄLINEET MENETELMÄN TOTEUTTAMISEKSI

5 Keksintö koskee menetelmää väritasapainon automaattiseksi säätämiseksi digitaalisessa kuvankäsittelyketjussa, jossa menetelmässä - kohde kuvataan pikseleittäin värikomponenttien arvojoukoiksi, 10 - värikomponenttien arvojoukoista muodostetaan kom- ponenttikohtaisia histogrammeja, - komponenttikohtaisista histogrammeista muodostetaan kumulatiivisia histogrammeja, - kumulatiivista histogrammeista määritetään ainakin 15 yhdelle värikomponentille sitä vastaava valaistuksen väri, ainakin kahdelle värikomponentille määritetään tavoiteväriä ja määritettyä valaistuksen väriä käyttäen väritasapainoa säätävä vahvistuskerroin.

20

Lisäksi keksintö koskee myös vastaavaa järjestelmää, laitteistoa ja ohjelmallisia välineitä menetelmän toteuttamiseksi • 1 » •j Ihmisen visuaalinen järjestelmä kykenee sopeutumaan tunnetusti ; 25 erilaisiin valaistuksen väreihin. Näkökentässä olevilla kohteil- ;V. la näyttää olevan muuttumattomat värit jonkin valaistuksen värin • » vaihtelualueen sisällä. Esimerkkinä tällaisesta voidaan mainita tilanne, jossa valkoiset kohteet tunnistetaan valkoisina niin ; auringonvalossa kuin myös valkohehkuisessa valaistuksessa 30 auringonvalon sinertävämmästä väristä huolimatta. Valaistuksen ’ värin mennessä ihmisen sopeutumisalueen ulkopuolelle sopeutu- I I * misaste madaltuu, mutta värissä aistitaan kuitenkin joitain *·;·’ muutoksia. Tällöin esimerkiksi valkoiset kohteet näyttävät jotakuinkin keltaisilta niitä auringonlaskun aikaan katsottaes-·:',· 35 sa.

116327 2

Ihmisen näköjärjestelmän sopeutumismekanismeja ja käyttöä ei ole vielä täysin selvitetty ja ymmärretty. Osa sopeutumisesta tapahtuu verkkokalvolla, jossa värireseptorien herkkyydet muuttuvat niiden stimuloinnin mukaan yhtenäisesti tietyn ajan-5 jakson aikana. Myös se tiedetään, että toista osaa sopeutumismekanismeista ohjataan aivokuorella, jossa tapahtuvat prosessit ovat hyvin monimutkaisia.

Sopeutumisprosessista osa näyttäisi käyttävän niin sanottuja 10 muistivärejä oikeaa väritasapainoa arvostellessaan. Esimerkkejä muistiväreistä ovat sellaiset värit kuin valkoinen, ihonvärit, ruoho, taivas ja yleensäkin muut värit, joilla on tietty ensisijaisuus tietyissä ilmentymissä.

15 Digitaalikameroissa käytettävät sensorit eivät automaattisesti pysty tarjoamaan vastaavanlaista sopeutumiskykyä kuin ihmisen visuaalinen järjestelmä (ei edes verkkokalvoa vastaavaa toiminnallisuutta) . Sensori määrittää kuvauskohteesta heijastuvan valon määrää ja väriä, ei siis lainkaan siihen liittyvää visuaa-20 lista aistimusta. Näin ollen otostetut kuvat, joille ei ole tehty mitään säätöä, näyttävät omaavan vääristyneen väritasapai-non. Tämä siksi, koska kohteen katselemisen aikana ihmisen • visuaalinen järjestelmä sopeutuu ympäristön valaistukseen ·'. kuvasisällön sijasta. Valkoiset kohteet saattavat esiintyä 25 sinisinä tai keltaisina, riippuen siitä otetaanko kuva sisällä vai ulkona. Luonnollisesti valaistuksesta riippuen myös muita värejä voi esiintyä.

t * · • » ·

Muun muassa edellä mainitusta seikasta johtuen on digitaalisissa i \ 30 kameralaitteissa ja yleensäkin kuvankäsittelyketjuissa suoritet- ·;’ tava jonkinlaista väritasapainonsäätöä. Säätöä kutsutaan hyvin usein automaattiseksi valkotasapainoksi tai valkotasapainoksi !>i(i (white balance) , jos säätö suoritetaan manuaalisesti . Tavoittee- *:*·; na on säätää väritasapainoa siten, että kuva näyttäisi luonnol- 35 liselta neutraaleissa katseluolosuhteissa.

116327 3

Ongelma, joka liittyy kunnollisen väri tasapainon saavuttamiseen, on kuitenkin hyvin vaikea. Ihmisen visuaalisen järjestelmän toiminta on hyvin monimutkainen, eikä sitä ole vielä kyetty edes täysin analysoimaan ja ymmärtämään. Yleisesti ongelma voidaan 5 jakaa kuitenkin kahteen osaan. Nämä ovat 1) valaistuksen värin arvioiminen kuvanoton aikana ja 2) sen edellyttämä korjaustyypin määrittäminen ja sopivan korjausmäärän laskeminen ja sovittaminen otostettuun kuvaan.

10 Automaattiset järjestelmät suorittavat nämä tehtävät ilman kameralaitteen käyttäjältä edellytettäviä toimenpiteitä. Manuaalisesti suoritettavissa valaistuksen värin säätömenetelmissä valaistuksen väri asetetaan kameraan käyttäjän toimesta. Kamerassa voi olla esimääritettyjä asetuksia, kuten esimerkiksi 15 sisä- ja ulkokuvausmoodit tai värilämpötilansäätö. Käyttäjä voi myös osoittaa kamerallaan tunnettua väriä, joka on tyypillisesti valkoinen, ja josta kamera sitten määrittää korjauksen perustuen tähän valittuun referenssiväriin.

20 Tunnetussa tekniikassa esitetään runsain määrin ratkaisuja ; edellä esitetyille ongelmille, koska väritasapainon säätäminen » * : on ehdoton välttämättömyys digitaalisissa kuvauslaitteissa.

;· Säätö voidaan toteuttaa joko kamerassa tai otostetun kuvan jälkiprosessointina jossain muussa laitteessa (esimerkiksi 25 kuvankäsittelyohjelmassa PC:llä).

Käyttäjän kannalta ehkä miellyttävin tapa ongelman ratkaisemi- seksi on kameraan järjestetty automaattinen väritasapainon säätötoiminto, joka toteutetaan kuvan otostamisen yhteydessä. ·, 30 Tällaisessa ratkaisussa ei käyttäjältä edellytetä mitään eri- tyistä kuvankäsittelytietämystä tai yleensäkään edes kameran ;·’ säätöpainikkeiden hallintaa.

» * ’:"ί Tunnetusti väritasapainon säätämiseksi on olemassa ainakin kolme 35 perustyyppiä, jotka perustuvat valaistuksen värin arviointialgo-ritmien käyttöön.

116327 4

Eräänä ensimmäisenä näistä algoritmeista voidaan mainita harmaan maailman algoritmit (Gray world algorithms). Nämä algoritmit perustuvat yksinkertaiseen näköaistin sopeutumiskyvyn emulointiin. Yksinkertaistetussa muodossaan näissä lasketaan kuvan 5 keskimääräinen väri. Tällöin oletetaan, että tämän värin pitäisi olla neutraali eli harmaa. Kuvan värikomponentteja säädetään siten, että sen keskimääräinen väri siirtyy kohti tätä harmaata. Säädön määrää pyritään hallitsemaan siten, että koko ihmisen näkökyvyn sopeutuvuus saataisiin otettua jotakuinkin huomioon. 10 Harmaan maailman algoritmit ovat hyvin yleisesti käytettyjä digitaalisten kameralaitteiden väritasapainonsäätöalgoritmien perustana.

Eräänä toisena tällaisena säätöalgoritmina tunnetaan kirkkaimman 15 valkoisen tasapaino (Brightest white balance). Täysin valkoinen pinta heijastaa tunnetusti koko valaistuksen spektrin. Näin ollen valkoisten alueiden väri kertoo myös valaistuksen värin. Täydellisessä sopeutumisessa valkoisten alueiden pitäisi säilyä valkoisina, joten valaistuksen väri voidaan suoraan kompensoida. 20 Kuvien kirkkaimmat alueet ovat yleisimmin valkoisia pintoja ja tämän seurauksena kirkkautta voidaan käyttää valkoisten alueiden : : etsinnässä.

I Myös värisaturaatio ja värivivahteet (hue) voidaan huomioida, i*·‘; 25 Näitä ominaisuuksia voidaan käyttää myös väritasapainokorjauksen määrän ja tyypin määrittämiseen siten, että näkökyvyn sopeutuvuus voidaan ottaa jotakuinkin huomioon. Johtuen valkoisen värin ‘ hallitsevasta tärkeydestä, koko joukkoa väritasapainoalgoritmeja kutsutaan usein valkotasapainoksi, vaikka ne eivät edes mittaisi 30 valaistuksen väriä valkoisesta tai tasapainottaisi valkoista I > | »tl ;;; väriä.

* ·

Eräänä kolmantena esimerkkinä voidaan vielä mainita maksimivä- » '"· riin perustuvat algoritmit. Jos kuvassa on yksikin pinta, joka 35 heijastaa täydellisesti valaistusspektrin jonkin osan, on tämä osa spektristä sitten tunnettu. Koko spektri voidaan rekonst- 116327 5 ruoida, jos on olemassa täydellisesti heijastava pinta spektrin joka osalle. Tyypillisesti kamerasensorit eivät mittaa koko spektriä, vaan joitain sen alinauhoja tai värikanavia. Näin ollen, jos kuva sisältää pintojen yhdistelmiä, jotka heijastavat 5 täydellisesti valaistuksen osat vaikuttaen näihin värikanaviin, valaistuksen vaikutusta kuvan ulkoasuun voidaan arvioida.

Useimmat digitaalikamerat, mutta ei kuitenkaan kaikki, tallentavat näkymän värit kolmella värikanavalla. Nämä ovat tyypillises-10 ti punainen, vihreä ja sininen (RGB). Hieman yksinkertaistaen tämä tarkoittaa sitä, että jos kuva sisältää täydellisesti valaistusvärin punaisen, vihreän ja sinisen osan heijastavia pintoja, valaistuksen väri voidaan näistä arvioida.

15 Tyypillisesti jokaisen värikomponentin maksimiarvo liittyy täydelliseen heijastukseen. Tällä oletuksella voidaan päätellä, että värikomponenttien maksimiarvot määrittelevät myös valaistuksen värin. On huomattava, että melko usein nämä arvot heijastuvat kirkkaimmasta valkoisesta pinnasta. Tällaisessa tapaukses-20 sa maksimiväriin perustuvien menetelmien käyttö on lähellä kirkkaimman valkoisen algoritmeja. Kuitenkin, maksimiväri-menetelmillä valkoisen läsnäolo ei ole mitenkään välttämätöntä.

* Sopivimmat väriavaruudet toteutukselle ovat myös erilaiset.

·’; Kuten muutkin menetelmät, myös maksimi väriin perustuvat menetel- ·'; 25 mät saattavat säätää korjauksen määrää ja tyyppiä arvioituun valaistukseen perustuen.

'. Edellä kuvattuja menetelmiä voidaan myös lisäksi yhdistellä.

*. Näin ollen, jotkut menetelmät saattavat kuulua useampaankin 30 edellä mainituista ryhmistä. Väritasapainosäädön robustisuutta voidaan kasvattaa käyttäen useita menetelmiä samanaikaisesti ja yhdistäen järkevällä tavalla niiden tuloksia.

' * Kameralaitespesifisissä kuvankäsittelyketjuissa on väritasapai- 35 noalgoritmien toimittava yhteistyössä muiden kuvankäsittelyalgoritmien kanssa. Tämä ketju voidaan toteuttaa itse varsinaisessa 6 1 1 6327 kameralaitteessa tai myös jälkiprosessointitoimintoina jossain toisessa laitteessa. Ketjun tyypilliset algoritmit ovat väri-tasapainosäädön lisäksi värinsuodatusmatriisin interpolointi (color filter array interpolation, CFAI), digitaalisen vahvis-5 tuksen hallinta (digital gain control), mustan tason säätö (black level adjustment) , kohinan poisto (noice reduction) , reunakorjaus (vignetting correction), geometrisen vääristymän korjaus (geometrical distortion correction), kuvan parantelu (image enhancements), kuten esimerkiksi terävöittäminen (shar-10 pening) ja gammakorjaus (gamma correction) tai muun tyyppinen sensorivasteen korjailu.

Ketjun toteutus voi olla myös jakautunut osittain kamerassa suoritettaviin ja osittain jälkiprosessointina suoritettaviin 15 toimintoihin. Lisäksi ne voidaan toteuttaa niin laitteisto- kuin ohjelmistoratkaisuinkin. Toteutukset voivat olla täydellisesti irrallaan toisien algoritmien toteutuksista, joten ne voivat ottaa syötteenä analysoitavaksi ja prosessoitavaksi edelliseltä algoritmilta pelkän kuvadatan ilman mitään muuta informaatiota 20 liittyen esimerkiksi edeltävään algoritmiin.

: Algoritmien välinen yhteistyö voi toisaalta olla myös hyvinkin läheistä. Tyypillisenä esimerkkinä tästä voidaan mainita järjes-: tely, jossa väritasapainonsäätöalgoritmi voi hallita värikom- ’*. 25 ponenttien vahvistuksia. Ratkaisut voidaan toteuttaa sekä : analogisina että digitaalisina. Kaiken kaikkiaan olisi hyvin edullista, että väritasapainonsäätöalgoritmi olisi kameras-pesifisessä kuvankäsittelyketjussa mahdollisimman tehokkaasti ja luonnollisesti toteutettavissa.

30 .'!! Tunnetun tekniikan mukaisissa ratkaisuissa pääasiallinen heik-

• I

kous on tehoton tai virheellinen toiminta. Algoritmista riippuen näiden vaikutus vaihtelee. Yleinen ongelma kaikille menetelmille ’ · on (esimerkiksi auringonlaskun aikana kuvatuissa otoksissa) 35 saavuttaa kompromissi tehokkaalla tavalla tapahtuvan väritasa-painon säätämisen ja näkymän väriulkoasun menettämisen välillä.

116327 7 Tämän lisäksi jokaisella algoritmiryhmällä on niille tyypilliset virhetapauksensa.

Harmaan maailman algoritmit säätävät kuvan värisisältöä siten, 5 että kuvan keskimääräinen vaikutelma tulee neutraaliksi. Pääongelma näissä on se, että neutraalit kuvat ovat optimaalisia vain joissain erikoistapauksissa. Nämä ovat kuvia, joissa pitäisi tasapainotuksen jälkeen olla yhtä suuri määrä kaikkia värejä. Vastakohtana tälle on esimerkiksi kasvokuva, jossa keskivärin 10 pitäisi olla selvästi siirtynyt kohti ihonvärejä. Tämä menetelmä on myös hyvin herkkä kuvassa oleville suurille värialueille. Nämä vääristävät väritasapainoa kohti kohteen vastaväriä. Näiden algoritmien robustisuutta on lisätty käyttäen useita modifikaatioita. Esimerkiksi, värisävyä (hue), saturaatiota tai avaruu-15 dellista jakaumaa keskiarvolla painotettuna voidaan käyttää siten, että hyvin saturoituneiden värien ja suurien alueiden vaikutus vähenee. Kuitenkin samantyyppiset ongelmat jäävät silti jäljelle, ellei väritasapainotuksen vaikutusta rajoiteta. Tässä tapauksessa monia sellaisia kuvia, jotka tarvitsevat tasapaino-20 tusta, jäävät korjaamatta.

' · * : ; Kirkkaimman valko tasapainon algoritmit ovat hyvin herkkiä , ; pikseliarvojen saturoitumiselle. Kun kamerasensorin dynaaminen :alue ylitetään, pikseliarvot rajoitetaan maksimiarvoon. Kirk-;*,> 25 kaimman valkotasapainon algoritmi on erittäin soveltuva käytet täväksi sellaisten väriavaruuksien kanssa, jotka määrittelevät kirkkaussignaalin. Kuitenkin, tyypillisesti sensori määrittää värin RGB värikanavista. Näin ollen myös saturaatiota ilmenee RGB-alueella (domain). Jos kaikki komponentit ovat saturoitunei-30 ta, kirkkaimman valkotasapainon menetelmä arvioi virheellisesti valaistuksen värin valkoiseksi, jonka seurauksena tasapainotusta ei suoriteta. Jos yksi tai kaksi komponenttia saturoituu, löytyy ·,,,* jokin muu valaistuksen värin virhearvio. Nämä menetelmät edel- • lyttävät myös kuvasta löytyvää valkoista pintaa. Muutoin mene- 35 telmä epäonnistuu arvioidessaan valaistuksen väriä.

1 1 6327 8

Maksimiväriin perustuvat menetelmät ovat myös herkkiä pikseliar-vojen saturoitumiselle. Tavallisesti nämä menetelmät valitsevat jonkin määrän kirkkaimpia arvoja, jotka määrittelevät valaistuksen värin. Näin ollen hieman saturoitumista sallitaan. Kuiten-5 kin, joissain tapauksissa tämä aiheuttaa ongelmia. Algoritmi vaatii myös sen, että kaikille värikomponenteille on kuvauskohteesta löydettävissä täydellisesti heijastavia pintoja. Koska tätä ehtoa ei täytetä esimerkiksi luontokuvien tapauksessa, myös näillä menetelmillä on tapana ajoittain epäonnistua.

10

Myös melko oleellisesti väritasapainon säädön onnistumiseen liittyvissä toiminnoissa on tunnetusti puutteita tai ainakin niiden yhteensovittaminen väritasapainon säädön kanssa on ollut ongelmallista. Eräinä esimerkkeinä näistä toiminnoista mainitta-15 koon sensorin huonous-ominaisuuksista aiheutuva tarve offsetkor-jaukseen (biasing) ja reunakorjaukseen. Useimmissa tapauksissa sensorille olisi melkeinpä välttämätöntä tehdä jonkinlaista offsetkorjausta, koska muutoin sensori tuottaa signaalin, vaikka sillä detektoitaisiin täysin mustaa. Myös tarve reunakorjauksel-20 le syntyy useimmiten sensorin "huonoudesta", jolloin reuna-alu-, eilla saattaa ilmetä tummentumia.

* > Tämän keksinnön tarkoituksena on saada aikaan uudenlainen I menetelmä ja järjestelmä väritasapainon automaattiseksi säätämi- • 25 seksi digitaalisessa kuvankäsittelyketjussa. Keksinnön mukaisen menetelmän tunnusomaiset piirteet on esitetty oheisessa patenttivaatimuksessa 1 ja järjestelmän patenttivaatimuksessa 15.

; ; Lisäksi keksintö koskee myös vastaavaa laitteistoa, jonka tunnusmerkilliset piirteet on esitetty patenttivaatimuksessa 20 , 30 ja ohjelmallisia välineitä menetelmän toteuttamiseksi, joiden # tunnusmerkilliset piirteet on esitetty patenttivaatimuksessa 21.

'-*·* Pääpiirteittäin keksinnön mukaisessa menetelmässä kohde kuvataan aluksi pikseleittäin värikomponenttien (R, G, B) arvojoukoiksi, 35 ja joista erään suoritusmuodon mukaan kustakin arvojoukosta keksinnön menetelmän mukaisesti suodatetaan pois ainakin sellai- 116327 9 set yksittäiset pikseliarvot tai useista pikseliarvoista muodostuvat kuvakohdat, jossa kuvakohdan yksi tai useampi pikseliarvo yhdessäkin arvojoukossa ylittää/täyttää valitun kriteerin. Tällä tavoin voidaan eliminoida esimerkiksi saturoituneiden pikselien 5 aiheuttamaa vääristymää valaistuksen väriä arvioitaessa.

Suodatetuista arvojoukoista muodostetaan sitten värikomponent-tien kumulatiiviset histogrammit, joiden värikäyristä määritetään keksinnön mukaisella tavalla kullekin värikomponentille 10 sitä vastaava valaistuksen väri (Rm, Gm, Bin) ·

Keksinnön mukaisessa menetelmässä valaistuksen väri määritetään kunkin suodatetun kumulatiivisen histogrammin päässä värikäyrän tasaiselta alueelta. Tasaiselta alueelta etsitään sellainen 15 kullekin värikomponentille yhteinen piste hi, jossa peräkkäisten pikseli-intensiteettiarvojen suhde Ci / Ci+1 (tai erotus) täyttää sille asetetut kriteeriehdot. Pisteiden hi jakoväli, joka siis on jokaiselle värikomponentille sama, voidaan kumulatiivisessa histogrammissa asettaa varsin tarkoituksenmukaiseksi, johtuen 20 muun muassa menetelmän aikaisemmassa vaiheessa suoritetusta ; saturoituneiden pikselien pois suodatuksesta. Tällä tavoin ; ; : määritettyjä valaistuksen värejä käytetään sitten väri tasapainoa :!: säätävän komponenttikohtaisten funktiokuvauksien (componentwise * ; : mappings) muodostamiseen. Sinänsä valaistuksen väri voidaan 25 kompensoida millä tahansa tunnetulla menetelmällä. Keksintö kohdistuu pikemminkin tämän valaistuksen värin määrittämiseen. Eräässä suoritusmuodossa tasainen alue tunnistetaan kahdella • värikomponenti 1 la ja ainakin yhtä värikomponenttia säädetään.

• * i » \ 30 Keksinnön mukaisella menetelmällä mahdollistetaan väritasapainon * t · korjausvahvistuksen robusti ja tehokas hallinta ja tyypinmääri-tys. Lisäksi sillä saavutetaan hyviä tuloksia myös hankalissa valaistusolosuhteissa.

* < < t t 35 Keksinnön mukainen väritasapainon säätömenetelmä on hyvin tehokkaalla tavalla toteutettavissa kameraspesifisissä kuvannus- 10 1 1 6327 ketjuissa. Se saadaan toimimaan luonnollisella tavalla yhteistyössä muiden algoritmien kanssa. Menetelmän kohtuulliselle tasolle jäävä kompleksisuusaste tekee siitä soveltuvan esimerkiksi kameralaitteisiin. Toisaalta menetelmän soveltaminen 5 esimerkiksi kameralaitteen ulkopuolella tapahtuvassa jälki-prosessoinnissa on myös mahdollista.

Erään sovellusmuodon mukaan keksinnön mukaisessa menetelmässä sovelletaan valaistuksen värin määritykseen kolmea alikriteeriä. 10 Näissä vertaillaan asetetulla tavalla peräkkäistä kumulatiivisuus jakoa vastaavia pikseli (intensiteetti) arvosuhteita niille asetettuihin kolmeen kriteeriarvoon. Kriteeriarvot voivat esimerkiksi perustua kokemusperäiseen tietoon siten, että niillä on todettu löydettäväksi väritasapainonsäädöllisesti hyvä tulos. 15

Erään toisen sovellusmuodon mukaan ennen keksinnön mukaista väritasapainonsäätöä voidaan raakamatriisin pikseliarvoille suorittaa lisäksi esimerkiksi pedestaalin eliminointi. Tällä saadaan aikaan sensorin aiheettomasti tuottamien signaalien 20 merkittävä väheneminen.

» · t t

Vielä eräitä keksinnön mukaiseen menetelmään integroitavissa i”,* olevia toiminnallisuuksia ovat reunakorjaus (vignetting eli- ' : : mination), tumman värin korjaus ja gammakorjaus.

25

Keksinnön mukainen menetelmä voidaan toteuttaa jopa täysin automatisoidusti kameralaitteessa, mutta myös toisaalta jälki-;prosessointina. Lisäksi käyttäjän oman harkinnan liittäminen : menetelmän yhteyteen voidaan toteuttaa myös helposti.

. t. 30 : 1 t i Keksinnön mukaisen menetelmän ja järjestelmän integroiminen niin < t nykyisien kuin myös vasta suunnitteilla oleviinkin kuvankäsittely' lyketjuihin ja kameralaitteistoihin voidaan suorittaa melko * ' yksinkertaisesti. Keksinnön mukainen menetelmä ei juurikaan 35 lisää kameralaitteen kompleksisuutta siinä määrin, että siitä olisi mainittavaa haittaa esimerkiksi laitteiden prosessointi te- 116327 11 hoon tai muistinkäyttöön. Erään sovellusmuodon mukaan jopa pelkästään puhtaana ohjelmistotason toteutuksena toteutettavissa oleva menetelmä voidaankin integroida erityisen helposti esimerkiksi kameralaitteisiin. Myös puhtaat laitteistotason toteutuk-5 set ja laitteisto/ohjelmistotasojen kombinaatiototeutukset ovat luonnollisesti mahdollisia.

Muut keksinnön mukaiselle menetelmälle, järjestelmälle, laitteistolle ja ohjelmallisille välineille ominaiset piirteet 10 käyvät ilmi oheisista patenttivaatimuksista ja lisää saavutettavia etuja on lueteltu selitysosassa.

Seuraavassa keksinnön mukaista menetelmää, järjestelmää, laitteistoa ja ohjelmallisia välineitä menetelmän toteuttamiseksi, 15 joita ei ole rajoitettu seuraavassa esitettäviin suoritusmuotoihin, selostetaan tarkemmin viittaamalla oheisiin kuviin, joissa

Kuva 1 esittää erästä esimerkkiä keksinnön mukaisesta kuvankäsi11elyketjusta kaaviokuvana, 20 Kuva 2 esittää erästä esimerkkiä värikomponenttipikse- leistä sensorilla, i '; Kuvat 3a ja 3b esittävät vertailua tunnetun tekniikan ja keksin ; nön mukaisen menetelmän välillä niistä kom- ponenttikohtaisia histogrammeja muodostettaessa, 25 Kuvat 4a - 4c esittävät komponenttikohtaisia kumulatiivisia : histogrammeja periaatteellisena sovellusesimerk kinä keksinnön mukaisen menetelmän yhteydessä, Kuva 5 esittää offsetkorjauksen periaatetta kaaviokuva- na, 30 Kuva 6 esittää tumman värin korjauksen periaatetta kaa viokuvana, 'Kuva 7 esittää histogrammien muokkautumista keksinnön ! : menetelmän mukaisesti, 'i‘ ‘i Kuva 8 esittää esimerkkejä gammakorjauskäyristä peri- 35 aatteellisena sovellusesimerkkinä ja 116327 12

Kuva 9 esittää taulukoituna esimerkkiä keksinnön mukai sessa väritasapainonsäätömenetelmässä käytettävistä kriteeriarvoista.

5 Kuvassa 1 on esitetty eräs esimerkillinen kaaviokuva keksinnön mukaisesta digitaalisesta kuvänkäsittelyketjusta 10. Tällainen kuvankäsittelyketju 10 voidaan järjestää esimerkiksi digitaaliseen kameralaitteistoon tai yleensäkin kamerasensorilla varustettuun laitteeseen, joita nykyisin löytyy esimerkiksi jopa 10 matkaviestimistä. Keksinnön mukainen väritasapainon korjausmenetelmä soveltuukin hyvin lukuisiin erilaisiin kamerakohtai-siin kuvannusketjuihin, jotka luonnollisesti voivat toteutuksiltaan poiketa kuvassa 1 esitetystä. Lisäksi ketjun 10 soveltaminen myös jälkiprosessointiin on luonnollisesti mahdollista 15 esimerkiksi ohjelmallisin välinein toteutettuna (esim. kuvankä-sittelyohjelmistojen yhteydessä).

Väritasapainonsäätömenetelmän ja muiden kuvannusketjuun 10 järjestettyjen toimintojen välinen yhteistoiminta on myös varsin 20 helposti toteutettavissa tehokkaalla tavalla. Keksinnön mukainen . : menetelmä esitetään tässä tapauksessa kuvannusketjussa 10, joka käsittää CFAI:n, reunakorjauksen (vignetting elimination) VE, sensorin of f setkor j auksen (pedestal elimination) PE ja gammakor-; ,·, jauksen/arvioinnin GE, GA. Missä kohtaa tahansa ketjua 10 voi 25 siihen kuulua luonnollisesti myös muita signaalinkäsittelytoi-mintoja, joista esimerkkinä ennen gammakorjausta GA sovitettu väriasteikkokonversio CGC (color gamut conversion) (ei esitet- • ,·. ty) · » > ... » 30 Itse keksinnön mukainen väritasapainon säätömenetelmä käsittää useita osavaiheita, kuten valaistuksen värin arviontivaiheen CBA ja kor jausvaiheen CBC. Kuvassa 1 esitetään väritasapainon :***. säätövaiheiden CBA, CBC suhde muihin kuvannusket jussa 10 oleviin toimintoihin. Kuvassa 1 ristiviivoitetut lohkot CBA, CBC ovat 35 menetelmän ydinosia. Puoliviivoitetut lohkot PE, GE, GC voivat toimia tiiviissä yhteistyössä keksinnön mukaisen menetelmän 116327 13 kanssa. Viivoittamattomat lohkot VE ja CFAI voivat olla riippumattomia, mutta liittyä myös väritasapainon säätöön.

Seuraavaksi keksinnön mukaista menetelmää ja järjestelmää 5 kuvataan keksinnön mukaisessa kuvankäsittelyketjussa 10, jollainen voi olla esimerkiksi keksinnön mukaisessa kameralaitteistos-sa, yksittäisenä sovellusesimerkkinä lähtien liikkeelle väri-tasapainonsäätöön liittyvistä toiminnoista CBA, CBC.

10 Ensimmäisenä vaiheena itse väritasapainon säädössä on valaistuksen värin Rill# Giu, Bm arvioiminen. Keksinnön mukaisessa menetelmässä arviointi suoritetaan kuvan värikomponenttihistogram-meihin perustuen. Tällöin pääväreistä R, G, B muodostetaan komponenttikohtaiset värikäyrät.

15

Histogrammien X-akselilla kuvataan pikselien kirkkaut-ta/tummuutta (intensiteettiä) siten, että esimerkiksi X-akselin oikeimmassa päässä on kirkas pää ja vasemmassa päässä on tumma pää. Vastaavasti Y-akselilla kuvataan kutakin kirkkaustasoa 20 vastaavaa pikselien lukumäärää. Histogrammin muodostaminen ,* · * edustaa sinänsä tunnettua tekniikkaa, eikä sitä sen vuoksi tässä ; yhteydessä enempää selvitetä. Kunkin värikomponentin (R, G, B) signaaliarvojen (eli intensiteettiarvojen) histogrammit mitataan : toisistaan erillisinä.

, 25

Komponenttikohtaiset histogrammit voidaan kerätä joko interpo-loidusta signaalista, mutta myös ennen signaalin interpolointia, jota käytetään tässä tapauksessa esimerkkitoteutuksena. Tämä tarkoittaa sitä, että värikomponenttihistogrammit voidaan 30 määrittää raakakuvan (Raw image) datasta, jossa kukin kamerasen-sorin fyysinen pikseli edustaa ainoastaan yhtä värikomponenttia. t .* Vaikkakin tässä sensorin värijärjestelmää kuvataan RGB-tasossa, ; alan ammattimiehelle ovat ilmeisiä myös muut tavat (CMYK, YUV, ·.- · jne.) .

35 116327 14

Tyypillinen toteutus tällaisen toimenpiteen suorittamiseksi on esimerkiksi hyvin tunnettu Bayer-matriisi järjestely, jota esitetään kuvassa 2. Yleisemmällä tasolla kyseeseen tulee kohteen kuvaaminen pikseleittäin värikomponenttien R, G, B 5 arvojoukoiksi [R] , [G] , [B]. Hakemuksessa kuvatun RGB-sovel- lusesimerkin tapauksessa kaksi pikseliä neljästä on vihreitä ja yksi pikseli punainen ja yksi sininen. Vihreitä on enemmän, koska se kuvaa parhaiten luminanssia ja on näin silmän kannalta tärkein. Toisaalta myös sellainen sensori on mahdollinen, että 10 esimerkiksi vain joka viides pikseleistä edustaa vihreää väriä G. Tyypillisesti sensorit ovat herkempiä vihreälle värille kuin punaiselle tai siniselle.

Histogrammit kerätään skannaamalla kuvan pikselit läpi. Jokai-15 selle värikomponentille R, G, B lasketaan jokaisen mahdollisen signaalitason esiintymien lukumäärä. Näin ollen esimerkiksi RGB-kuvan tapauksessa saadaan kolme histogrammia, jotka esitetään kuvassa 3a.

20 Kuvassa 3a esitetystä tapauksesta on kuitenkin havaittavissa ; ,j eräs merkittävä epäkohta, joka liittyy yleisesti valaistuksen värin arvioinnin tekniikan tasoon. Tämä ongelma aiheutuu mahdol-: listen saturoituneiden pikselien haittavaikutuksesta, joista : kussakin otoksen kuvakohdassa 15.1 - 15.3 jo yksikin saturoitu- 25 nut pikseli G(s) häiritsee kuvakohdan muita pikseleitä R, G, B.

Histogrammissa 3a tämä tarkoittaa suurta pikselimäärää, joilla > on suurin signaaliarvo. Tämä aiheuttaa ongelmia, joita kuvattiin : tarkemmin jo aiemmin hakemuksessa. Histogrammeista tämä on havaittavissa kussakin värikäyrässä R, G, B olevina piikkeinä 30 (kuvassa 3a).

Keksinnön mukaisessa menetelmässä yllättävästi histogrammin ; keräysvaiheessa hylätään nämä saturoituneet pikselit G(s) ja ; lisäksi mahdollisesti myös niitä vastaavan saman kuvakohdan 15.1 35 muiden värien pikselit R, G, B. Tällaisen toimenpidevaiheen vaikutusta histogrammeihin keksinnön mukaisessa menetelmässä 15 116127 esitetään kuvassa 3b. Toimenpiteen seurauksena histogrammien jakaumista poistuu korkeat huiput, jotka muutoin aiheuttaisivat virhettä tunnetussakin tekniikassa ilmenevään valaistuksen värin arvioon.

5

Pikseliarvojen suodattaminen kustakin arvo joukosta [R] , [G] , [B] suoritetaan ennen kumulatiivisten histogrammien muodostamista. Suodatus kohdistetaan sellaisiin pikseliarvoihin G,s) tai niiden lisäksi sellaisien kuvakohtien 15.1 pikseleihin, jossa saman 10 kuvakohdan 15.1 yksikin pikseliarvo yhdessäkin kuvakohdan arvojoukossa [R], [G] , [B] ylittää tai täyttää sille asetetun valitun kriteerin.

Keksinnön mukainen valaistuksen värin arvioiminen ei häiriydy 15 näiden saturoituneiden pikselien G(s) ja saman kuvakohdan 15.1 muidenkin pikselien R, G, B hylkäämisestä, vaan sitä vastoin väriarvion luotettavuus kasvaa. Saturaation määrittelevä raja-kohta eli kriteeriarvo voidaan asettaa siten, että menetelmän yhteentoimivuus esimerkiksi myöhemmin tarkemmin kuvattavan 20 offsetkorjaus -vaiheen kanssa (pedestal elimination) saadaan ·, ; edulliseksi. Edullinen arvo riippuu toteutuksen yleisjärjeste lystä. Esimerkkitapauksena voidaan käyttää sellaista kriteeriar-voa, joka saadaan, kun maksimaalisesta signaaliarvosta vähennetään tekijä pedestaaliarvo/2, jossa pedestaaliarvo voi olla 25 esimerkiksi 64. Vastaavalla tavalla voidaan käsitellä myös ,,; tummaa päätyä.

Jos yksikin saman kuvakohdan 15.1 pikselien värikomponenteista R, G, B on siis saturoitunut (G(s)), niin tällöin myös muutkin 30 kuvakohdan 15.1 komponenttiarvot R, G, B hylätään. Raakakuvan / tapauksessa, jolle ei ole tehty CFAIrta, tämä tarkoittaa sitä, : että kaikki samaan raakapikseliryhmään 15.1 kuuluvat värikom- ponentit R, G, B hylätään. Tätä ja sen vaikutusta kerättyihin • * histogrammeihin havainnollistetaan periaatteellisella tasolla 35 kuvissa 3a ja 3b.

116327 16

Kuvissa 3a ja 3b on kolme raakapikseliryhmää 15.1 - 15.3, joista yhdessä ilmenee kyseinen saturaatio-ongelma vihreässä pikselissä G(s). Tällöin kuvan 3a histogrammissa, jota muodostettaessa huomioidaan kaikki kuvakohdat eli raakapikseliryhmät 15.1 - 5 15.3, siihen muodostuu piikkejä. Kuvassa 3b ongelmia aiheuttava raakapikseliryhmä 15.1 hylätään, jolloin myös komponenttien histogrammikäyrät R, G, B loivenevat oleellisesti.

Menetelmän seuraavassa vaiheessa valaistuksen väriä arvioidaan 10 suodatetuista värikomponenteista muodostetuista histogrammeista. Kuvissa 4a - 4c esitetään värikomponenttien R, G, B kumulatiiviset histogrammit, jotka muodostetaan varsinaisista histogrammeista ja joista on suodatettu pois saturoituneet pikselit G(s) ja niitä vastaavat kuvakohdat 15.1 edellä kuvatulla tavalla.

15 Erään suoritusmuodon mukaisesti kumulatiivisissa histogrammeissa voidaan esittää esimerkiksi X-akselilla ennalta asetetuin valituin välein pikseliprosenttiosuuksien tai pikselilukumäärän kumulatiivinen summa tai jokin muu pikselimäärää/osuutta vastaava suure, jolloin Y-akselilla voidaan esittää näitä kohtia 20 vastaavat intensiteettiarvot. Sovellusmuodon mukaisessa esimerk-. : kitapauksessa X-akselille on ennalta asetetuin välein asetettu esimerkiksi pikselien kumulatiiviset prosenttiosuudet hi# il-moittavat kuinka suuri osa (tai lukumäärä) suodatettujen pikselien lukumäärästä on ennen niitä vastaavaa intensiteettikohtaa , *, 25 Ri, G-l , Bi.

Tekniikan tason mukaisissa menetelmissä valaistuksen väriä . arvioidaan kumulatiivisten histogrammien pisteistä määritetyllä värillä, joka edustaa tiettyä pikselien prosenttiosuutta, joilla 1 ‘ 30 on referenssiarvoa pienemmät arvot.

Keksinnön mukaisessa menetelmässä valaistuksen väri määritetään suodatettujen kumulatiivisten histogrammien kirkkaimman pään sellaiselta alueelta (kuvissa 4a - 4c histogrammeissa värikäyrän 35 oikeanpuolimainen pääty), joka on oleellisen tasainen. Tällä tasaisella tai oleellisesti sellaiseksi miellettävällä (verrat- 116327 π tuna esimerkiksi käyrän muihin alueisiin) alueella histogrammin käyrä ei enää oleellisesti nouse sille asetettujen kriteeriehto-jen mukaisesti eli värin intensiteettiarvo ei enää oleellisesti muutu sille asetettujen ehtojen mukaisesti.

5

Eräässä suoritusmuodossa saturaatiopikseleistä G(s) ja niiden kuvakohdista 15.1 suodatetuista kumulatiivisista histogrammeista suoritettava värikäyrien tasaisten alueiden etsimisproseduuri on oleellisessa osassa. Kun ennalta määrätyt asetetulla tavalla 10 kiinnitetyt kumulatiiviset pikseliosuuskohdat h1; h2, ..., hn on asetettu ja näitä kohtia vastaavat intensiteettiarvot (R-l - Rn, Gx - Gn, Bx - Bn) on laskettu, haetaan keksinnön menetelmän pääperiaatteen mukaisesti värikäyrien R, G, B tasaiselta alueelta sellainen kullekin värikäyrälle R, G, B yhteinen asetetuin 15 välein määritelty kohta hi; jossa näiden asetetuin jakovälein määriteltyjä peräkkäisiä kohtia hi; hi+1 vastaavien pikseli-in-tensiteettiarvojen suhde Ci / Ci+1 (C = R, G, B) täyttää sille asetetut kriteeriehdot.

20 Valaistuksen väri Rm, Gin, Bm määritetään näitä kohtia . vastaavia peräkkäisiä intensiteettiarvoja Ci, Ci+1 analysoimalla keksinnön menetelmän mukaisesti. Voidaan havaita, että jos pikseliarvojen saturaation suodatusvaihe sivuutetaan, on kyseessä pitkälti tekniikan tason mukainen menetelmä, joissa valais-'/ 25 tuksen väriksi arvioidaan pistejoukko (Ri, Gi, Bi) , joka riippuu ;* kulloinkin valitusta prosentuaalisesta kynnysarvosta. Keksinnön *·’ mukaisessa menetelmässä väriä arvioidaan kuitenkin kehittyneem mällä algoritmilla, joka asettaa tiettyjä alikriteerejä valais-: ' tuksen väriä (Rm, Gin, Bni) vastaaville kohdille hA.

30 : Valaistuksen väriä (RiU, Gm, Bm) vastaavat kohdat etsitään ; kasvattamalla arvoa i, kunnes asetettu värikäyrän tasaisuusehto täyttyy oleellisesti jokaisella käyrällä R, G, B. Valaistuksen väriksi (Rm, Gin, Bin) asetetaan kohtaa (eli kyseistä kohtaa 35 vastaavaa prosenttiosuutta) vastaava intensiteettiarvo Ri, Gi, 116327 18

Bi# joka kullakin värikomponentilla R, G, B on yleensä erilainen.

Tämä kriteeri voidaan erään sovellusmuodon mukaan lausua myös kolmena alikriteerinä. Näistä alikriteereistä ensimmäisessä 5 vaiheessa voidaan etsiä jokaisesta värikomponenttikäyrästä R, G, B sellainen käyrille R, G, B yhteinen kohta hi, jossa peräkkäisten erityisellä tavalla asetettua kohtaa hi, hi+1 vastaavien pikseli-intensiteettiarvojen Ci, Ci+1 suhde rc on pienempi kuin sille valittu ensimmäinen kynnysarvo ti. Toisin sanoen alikri-10 teeri voidaan muotoilla matemaattisesti myös siten, että

C

rc -—— < i,, missä C = (R,G,B) Q+i 15 Seuraavana alikriteerivaiheena voidaan menetelmässä tutkia, että ensimmäisessä vaiheessa etsittyjen ja ensimmäisen alikriteerin täyttävien pikseliarvojen suhteiden rR, rG, rB summa on pienempi kuin sille asetettu toinen kynnysarvo t2. Ellei tämä ehto toteudu, palataan takaisin ensimmäiseen vaiheeseen etsimään uutta 20 ensimmäisen alikriteerin täyttävää värikomponenttikolmikkoa, j jotka kaikki ovat siis samassa prosenttiosuuskohdassa hir mutta joiden tätä kohtaa h± vastaavat intensiteettiarvot Ri( Gi, B± . : yleensä poikkeavat toisistaan. Tämä toinen alikriteeri voidaan • matemaattisesti muotoilla myös siten, että ; V 25

R, G, B -*- +-!- +--<U

. *. Rm Gi+, bm 30 Jos toinen alikriteeri ei toteudu kyseisessä prosenttiosuuskohdassa hi( palataan takaisin ensimmäiseen alikriteerivaiheeseen. Sen sijaan, jos toinenkin aliehto toteutuu löydetyllä värikom-; ponenttikolmikolla (jotka löytyvät kohdasta hi), siirrytään • kolmanteen alikriteerivaiheeseen.

35 19 1 1 6327

Kolmannessa alikriteerivaiheessa tarkistetaan, että ensimmäisessä alikriteerivaiheessa löydettyjen pikseliarvojen Ri( Gi, BL muutoksien suhteellisten nopeuksien suhde maksimipikseliarvomuu-toksen ja minimipikseliarvomuutoksen välillä on pienempi kuin 5 sille asetettu kolmas kynnysarvo t3. Ehto voidaan matemaattisesti muotoilla myös siten, että max ((C,. - CM) / CM), missäCeR\\G\\B) < ( min ((C,. - CM) / (Ci+1), missä C e R || G || B) 3 10

Taulukossa 9 on esitetty sarakkeissa 3 ja 4 esimerkinomainen listaus kynnysarvoista tlf t2, jotka on kokeellisesti todettu hyviksi. Kynnysarvo t3 voidaan asettaa siten, että se on esimerkiksi välillä 1,04 - 1,125, jossa sitä kasvatetaan sopivin 15 kokeellisesti hyviksi todetuin välein lähtien liikkeelle alkuarvosta 1,04, vastaten indeksin arvoa 1. Kynnysarvo t2 voidaan asettaa siten, että se on esimerkiksi välillä 3,07 - 3,24, jossa sitä kasvatetaan sopivin kokeellisesti hyviksi todetuin välein lähtien arvosta 3,07, vastaten indeksin arvoa 1. Kynnysarvo t3 20 voidaan asettaa olemaan esimerkiksi suunnilleen noin 4.

Ennalta asetettuja prosenttiosuusarvoja vastaavaa indeksiä i ; voidaan kasvattaa esimerkiksi 31 kertaa sopivin kokeellisesti hyviksi todetuin prosenttiosuusvälein. Taulukossa 9 voidaan t 1 2 3 4 5 6 7 8 9 10 11 kumulatiivisissa histogrammeissa kiinnitetyksi järjestetty 2 » 3 prosenttiosuusarvojoukko hi asettaa sarakkeen 2 mukaiseksi. Indeksi i = 1 vastaa suurinta histogrammiin laitettua intensi- 4 teettiarvoa (100%) kyseiseltä värikomponentilta, jossa saturoi 5 tuneet pikselit G(s) ja saturoituneen pikselin G(s) kanssa saman 6 kuvakohdan 15.1 muodostavat pikselit R, G, B on suodatettu pois 7 histogrammeja kerättäessä. Intensiteettiarvot pienenevät taulu- 8 ' koitujen prosenttiosuuksien mukaisesti eli esimerkiksi kohdassa 9 ’ ; h10 on 99,6% histogrammiin laitetuista intensiteettiarvoista 10 pienempiä tai yhtä suuria kuin kyseistä intensiteettiarvoa 11 vastaava kohta. Kun 31 askelta on edetty kuvatunlaisella pro-senttiosuusaskeljaolla, on viimeistään silloin hyvin oletetta- 116327 20 vaa, että on löydetty kaikki alikriteerit täyttävä värikolmikko (Riii, Gin, Bm) valaistuksen värille. Tällaisen värikolmikon löytymistä edes auttaa esitetynlaisella prosenttiosuusjaolla nimenomaan saturoituneiden pikselien G(s) ja sellaisten käsittä-5 vien kuvakohtien 15.1 pois suodattaminen histogrammien kokoamis-vaiheessa.

Jos tilanne on jostain syystä sellainen, että alikriteerejä täyttävää indeksikohtaa i ei jostain syystä löydykään, niin 10 silloin tämä kyseinen indeksiarvo i = 32 valitaan ilman vertailuja referenssikohdaksi eli kirkkaimmaksi tasaiseksi alueeksi ja kyseistä kohtaa h32 vastaavat kunkin värikomponentin R, G, B intensiteettiarvot vastaavaksi valaistuksen väriksi.

15 Taulukon 9 lopussa olevia indeksiarvoja i = 32 - 34 voidaan käyttää esimerkiksi gamma-arvon valinnassa ja värien oikeellisuuden tarkistuksessa.

Kynnysarvojen t1# t2, t3 arvojoukot perustuvat hakijan kokemuspe-20 räisesti tekemiin havaintoihin hyvästä arviointitavasta valaistuksen värille eikä niille ole olemassa näin ollen mitään , kovinkaan loogista selitystä.

. Vielä hyvin periaatteellisella tasolla esimerkinomaisesti 25 viitataan erityisesti kuvien 4a - 4c insetteihin, joissa inse- i teissä kuvataan suurennoksena tasaista aluetta, jolta histogrammien R, G, B yhteinen prosenttiosuuspiste h± etsitään. On ymmärrettävä, että inseteissä histogrammien nousu on esitetty erit-täin liioiteltuna ja muutoinkin kuvaajat saattavat olla varsin 30 epätodellisia, johtuen niiden samanmuotoisuudesta, mutta niiden tarkoituksena onkin tässä tapauksessa vain ilmentää keksinnön 'mukaisen menetelmän perusperiaatetta.

R ja G histogrammeista havaitaan, että niillä histogrammin 35 äärimmäiseen oikeaan päähän asti ulottuva tasainen alue alkaa ainakin histogrammiin B verrattuna jo varsin aikaisessa vaihees- 21 1 1 6327 sa. Tällöin periaatteessa värikäyrät R ja G toteuttaisivat keksinnön menetelmän mukaiset alikriteerit jo niiden oikeanpuo-limaisessa ääripäässä tai ainakin lähempänä ääripäätä kuin värikäyrän B tapauksessa.

5

Sen sijaan histogrammista B on havaittavissa tällaisen tasaisen alueen oikeanpuolimaisessa ääripäässä vielä tasaiseen alueeseen verrattuna oleellisesti jyrkempi prosenttiosuusväli hx - h4/ jolla välillä värin B intensiteetti muuttuu melko jyrkästi 10 ainakin värikomponentteihin R ja G verrattuna. Tämä nousu kumulatiivisessa histogrämmissä B voi aiheutua esimerkiksi kuvaustilanteessa vallitsevista valaistusolosuhteista, jonka takia otoksen väritasapainoa on juuri korjattava valaistuksen värin vaikutuksen eliminoimiseksi.

15

Keksinnön mukaista menetelmää käytettäessä, kuvien 4a - 4c insetteihin viitaten, ensimmäinen kullekin värikomponentille yhteinen ja asetetut kriteeriehdot täyttävä prosenttiosuuskohta h4 löydetään nyt kohdasta h4, jossa myös värikomponentin B 20 histogrammista löytyy keksinnön menetelmän mukaiset alikriteerit ·, ; täyttävä tasainen alue. Vastaava valaistuksen väri Rill( Gin, BiU

i saadaan nyt kohtaa h4 vastaavasta intensiteettiarvosta R4, G4, B4, joka yleensä on joka värikomponentille R, G, B erilainen.

25 Edellä määriteltyjä alikriteerejä käyttäen saadaan aikaan w yllättävän robusti arvio valaistuksen värille (Riu, Giu, Bin) .

Arvion luotettavuutta voidaan lisäksi testata sopivilla algoritmeilla ja päätellä niistä saaduista tuloksista tarpeellista i korjausmäärää ja sille mahdollisesti suoritettavaa uudelleen 30 säätöä.

,* Kor jausmäärää eli toisin sanoen vahvistuskerrointa GR, Gg, Gb , käytetään väritasapainon säätämiseen. Korjausmäärä liittyy : suoraan asetettuun tavoitetasoon Rtgt, Gtgt, Btgt, johon jokainen 35 arvioitu valaistuksen väri muunnetaan. Väritasapainoa säätävä vahvistuskerroin kullekin värille R, G, B saadaan tavoiteväriä 116327 22

Rtgt, Gtgt, Btgt ja kutakin värikomponenttia R, G, B vastaavaa edellä esitetyllä tavalla määritettyä valaistuksen väriä Rm, GiU/ Bj.ll käyttäen, jossa 5 GR = Rtgt / Rm,

Gg = GtgC / Gm ja Gb = Btgt / Bin · Täyden tason korjauksessa valaistus pyritään tekemään valkoisek-10 si (tgt = white; arvo tällöin vastaavalla skaalauksella 1000). Tällöin värikomponenttisignaaleita vahvistetaan vahvi s tusker toimella siten, että valaistuksen väri muuntuu valkoiseksi. Tavoitetasoa voidaan pienentää saturoituneiden pikselien lukumäärän kasvaessa tai alkuperäisen kuvan kirkkauden pienentyessä. Tämä 15 siksi, että vahvistusta ei haluta asettaa kuvan kirkkauden pienentyessä liian suureksi, vaan pimeässä otetun kuvan tulee olla hieman tummempi kuin valoisassa otettu kuva.

Väritasapainotuksen säädön robustisuutta voidaan lisätä edelleen 20 sopivalla tavalla muokaten määritettyjä vahvistuskertoimia GR, : Gg, Gb. Vahvistuskertoimia GR, Gg, Gb voidaan esimerkiksi verrata toisiinsa ja niille voidaan vaatia, että jokaiselle mahdollisel-le kombinaatiolle on voimassa esimerkiksi seuraavat ehdot: :v.’ 25 ‘ 1 _ I klTiaG CrcjG c — ref Gci — nficref^C ’ missä C = (/? Il G II B) ja Cl = (/?|| G || B, Cl «E C) ; Ku* >1 1 2 3 4 5 6

Tällöin esimerkiksi punaisen värin Cl = R korjauskertoimen GR

2 ".tulee olla tietyllä välillä vihreän värin R korjauskertoimeen 3 ',,,· verrattuna Gg. Sama koskee kaikkia värejä R, G, B suhteessa 4 muihin väreihin R, G, B. Näissä ehdoissa voidaan erään sovellus- 5 | muodon mukaan asettaa esimerkiksi k^ = 0,66 ja kmax = 4/3.

6

Arvolla GCref kuvataan värikomponenttien keskinäistä suhdetta standardivalaistuksessa, jonka suhteen määrittelyntarve syntyy 116327 23 sensorien väriherkkyys ominaisuudesta. Sensorit ovat nimittäin tyypillisesti herkempiä vihreälle värikomponentille G kuin punaiselle R ja siniselle B. Automaattisen korjauksen tekeminen riippuu esimerkiksi sensorivalmistajasta. Jos automaattinen 5 korjaus on tehty, niin silloin referenssiarvo on tyypillisesti 1 kaikille värikomponenteille. Jos korjausta ei ole tehty, niin silloin esimerkiksi vihreälle G voidaan asettaa GGref = 1, jolloin vastaavasti voidaan asettaa punaiselle GRref = 1,6 ja siniselle GBref = 2,1.

10

On ymmärrettävää, että nämä numeeriset arvot voivat jossain määrin vaihdella eikä niitä siten ole mitenkään sidottu tässä esitettyihin. Myös nämä arvot perustuvat kokemusperäisiin tuloksiin, jotka algoritmia kehitettäessä on sen pilot-vaiheissa 15 ilmennyt. Vahvistuksia GR, Gg, Gb muutetaan, kunnes yllä mainittu ehto täytetään.

Käyttämällä näitä modifioituja vahvistuskertoimia GR, Gg, Gb voidaan jokaiselle värikomponentille R, G, B laskea myös medi-20 aaniarvo. Jos havaitaan, että valitun referenssivärikomponentin . : mediaaniarvon ja toisen värikomponentin mediaaniarvon välillä t oleva ero on suuri, niin vahvistuksia säädetään siten, että . niiden välinen ero pienenee. Esimerkiksi vihreätä värikomponent- ,*, tia G voidaan käyttää referenssivärikomponenttina.

25 ,*>*t Vielä eräänä viimeisenä rajoituksena vahvistuskertoimille GR,

Gg, Gb voidaan määritellä sellainen ehto, että jokaisen niistä . . on oltava välillä: » ·

> I I

‘\t 1 Cmin< Gc £ Gmax, missä C = (R,G,B) : Tässä arvo Grain eli absoluuttiarvo voidaan asettaa olemaan esi- 35 merkiksi 1 ja Gmax-arvo olemaan esimerkiksi 16, erään suoritusmuodon mukaisesti esimerkiksi 10.

116327 24

Jos edellä mainittua rajoitusta ei jokin edellä määritetyistä vahvistuskertoimista GR, Gg, Gb täytä, kyseistä tai kyseisiä vahvistuskertoimia modifioidaan ja muita kertoimia uudelleen säädetään vastaavasti samassa suhteessa.

5

Kun vahvistuskertoimet GR/ Gg, Gb on saatu lopulliseen muotoonsa, niin seuraavaksi voidaan niitä käyttäen muodostaa kullekin värikomponentille R, G, B väritasapainoa säätävä komponenttikoh-tainen funktiokuvaus (componentwise mappings) . Näissä funktioku-10 vauksissa alaindeksillä In tarkoitetaan kamerasensorilla detek-toitua väriä ja alaindeksillä Out vahvistuskertoimella (GR, Gg, Gb) korjattua väriä eli ^Out = * ^In' 15 G0ut = Gg * GIn ja ®out = GB * BIn.

Kuvassa 7 on ylemmässä kuvaajassa esitetty komponenttikohtaiset alkuperäiset histogrammit ja keskimmäisessä kuvaajassa niistä 20 keksinnön menetelmän mukaisesti määritettyjä vahvistuskertoimia ·. : käyttäen niistä muodostetut komponenttikohtaiset funktiokuvauk- .·. set, joissa valaistuksen väri on siis keksinnön menetelmän , ; mukaisesti huomioitu. Alin histogrammi kuvaa menetelmän mukai- , *, sesti muokattuja komponenttikohtaisia histogrammeja, joissa on ,··,. 25 huomioitu myös niin sanotun offsetin vähentäminen, jolla tumman pään kontrastia saadaan lisättyä.

. , Keksinnön mukaisessa menetelmässä voidaan itse kameralaitteis- toon tai vaihtoehtoisesti myös oheislaitteeseen järjestettävään 7' 30 kuvankäsittelyketjujärjestelmään 10 sovittaa myös muita toimen- * piteitä edellä kuvatun väritasapainon automaattisen säätämisen CBA, CBC lisäksi.

| Kuvassa 5 esitetään erästä ensimmäistä esimerkkiä näistä toimen- 35 piteistä, joka tunnetaan niin sanottuna pedestal elimination:na PE eli raakamatriisille suoritettavana pikseliarvojen offsetkor- 1 1 6327 25 jauksena. Kuten kuvankäsittely-ketjua 10 havainnollistavasta kuvasta 1 on todettavissa, tämä korjaus voidaan suorittaa ketjussa 10 välittömästi sensorilta saatavalle raakakuvalle.

5 Offset on sellainen värisignaalista määritetty minimiarvo, joka saadaan, kun siepataan esimerkiksi täysin tumma otos. Digitaalisten kameralaitteiden sensoreilla voi olla erilaiset offsetit joka värikanavalle. Robustin väritasapainon säätötoiminnan kannalta olisi kuitenkin tärkeää, että offset saataisiin pois-10 tettua mahdollisimman moitteettomasti ja näin ollen sensori linearisoitua. Poisto voidaan järjestää joko kiinnitetyksi ja sensorispesifiseksi, jos samat offsetit lisäytyvät värikom-ponenttisignaaleihin systemaattisesti. Myös adaptiivisia tapoja voidaan käyttää.

15

Toteutustavoista riippumatta, tunnetussa tekniikassa pikseliar-vojen of f setkor j auksessa periaatteessa pikseliarvoja vähennetään offsetarvoilla. Tällaisella toimenpiteellä on kuitenkin Pilot-vaiheiden testeissä todettu olevan supistava vaikutus signaalin 20 dynaamiseen alueeseen, koska silloin myös kirkkaimmat arvot , : pienenevät.

’2; Keksinnön mukaisessa menetelmässä pikseliarvojen offsetkorjaus . . tehdään ainakin osittain lineaarisesti. Tämä voidaan erään I · » 25 sovellusmuodon mukaan suorittaa esimerkiksi siten, että pedes-taali p poistetaan suoralla vähennyslaskulla, kun pikselien signaalitaso on sille asetetun raja-arvon t alapuolella. Kun pikselien signaalitaso ylittää asetetun raja-arvon t, pedestaali ;;/ p vähennetään, mutta signaalia myös samalla vahvistetaan siten, ' 30 että maksimisignaalitaso ei oleellisesti tipu.

/ Tällainen pedestaalin eliminointivaiheella PE on erityisen : . edullinen esimerkiksi keksinnön mukaisen menetelmän tapauksessa, kun valaistuksen väriä arvioidaan ja saturoituneiden pikseliar-35 vojen vaikutusta pyritään oleellisesti eliminoimaan. Edellä kuvatulla tavalla eli osittain lineaarisesti suoritettuna 116327 26 saturoitunut pikseli säilyy pedestaalieliminoinnissa PE edelleen saturoituneena.

Keksinnön mukaisesti suoritettavan pedestaalieliminoinnin PE 5 periaatteellista suoritustapaa voidaan kuvata seuraavilla yhtälöillä kuvaan 5 viitaten y = 0, kun x < p y = x- p, kun p<x<t 10 x~t i y — x — p-\--p, kunx>t tnax ^ missä p = pedestaali ja t = kynnysarvo

Koordinaatistoakselianalogioita sovellettaessa on selvästikin 15 siten, että y = Out ja x = In. Näissä yhtälöissä voi esimerkiksi olla siten, että xmax = 1023, p = 64 ja t = xmax - (p/2) => 1023 - (64/2) = 991.

Vielä erään sovellusmuodon mukaan keksinnön mukaiseen kuvankä-20 sittelyketjuun 10 voidaan ottaa mukaan myös niin sanottu reuna-·. : korjaus, joka tunnetaan alan ammattimiehen terminologiassa myös ,·, ilmauksella "vignetting elimination" VE. Reunakorjaus VE voidaan » · , järjestää kuvänkäsittelyketjuun 10 esimerkiksi pedestaalikor-jauksen PE jälkeen. Reunakorjauksella VE saavutetaan eräänä 25 etuna kuvien nurkkatummumien vähentäminen. Yleensä kuvan nurkki- en tummuminen aiheutuu optiikasta ja sensorin fysikaalisista ominaisuuksista. Vignetting-ilmiölle on ominaista kuvan lu-, . minanssiarvon pieneneminen lähtien kuvan keskeltä ja edeten radiaalisesti kohti kuvan nurkkia.

· 30 • Keksinnön mukaisella reunakorjausalgoritmilla VE voidaan kompen- ,· soida tätä epäkohtaa siten, että siinä käytetään kuvan avaruu- dellisesti vaihtelevaa offsetia ja vignetting-ilmiön korjausker-: rointa vf, joka voi riippua muun muassa pikselin sijainnista.

35 Korjaustekijän vf arvo kasvaa, kun etäisyys r vignetting-ilmiön keskikohdasta kasvaa.

116327 27

Vignetting-korjauksen keskikohta (r = 0) voidaan asettaa olemaan esimerkiksi kuvan keskellä. Korjauskerroin vf voidaan kehittää sensorispesifisistä parametreista ja etäisyydestä riippuvaksi funktioksi. Parametrit voidaan määrittää esimerkiksi kalibraa-5 tiokuvauksella, jossa sensorilla kuvataan valkoista vakiovalais-tua pintaa ja josta sitten sopivalla parametrien alkuarvauksella saadaan määritettyä sellaiset parametrit, että vignetting-ilmiö niillä eliminoituu. Etäisyys r voidaan määrittää sinänsä tunnetulla tavalla (esimerkiksi Pythagoraan lause), jossa kuitenkin 10 lisäkertoimena on huomioitava niin sanottu sivusuhde (aspect ratio). Vignetting-korjaus saadaan suoraan, kun kukin pikseliar-vo kerrotaan sitä vastaavaa etäisyyttä r vastaavalla kertoimella vf. Huomattavaa lisäksi on, että korjaustekijä voidaan kehittää erikseen myös jokaiselle värikomponentille R^, Gvf, Bvf, johtuen 15 niiden erilaisista vaimentumistavoista. Jos värikomponentit vaimenevat erilaisesti, niin tästä aiheutuva virhe olisi hyvä korjata, jottei siitä aiheudu virhettä itse väritasapainon säätöön.

20 Reunakorjausalgoritmin VE järjestäminen siten, että se on , : kuvankäsittelyketjussa 10 esimerkiksi pedestaalikorjauksen PE

jälkeen ja ennen väritasapainon arviointivaihetta CBA on edullista, koska tällöin ei kuvan nurkissa mahdolliset ilmenevät tummumat aiheita vääristymää varsinaiseen väritasapainon säätöön V 25 CBC.

Kuvassa 6 esitetään esimerkki vielä eräästä keksinnön mukaiseen menetelmään mahdollisesti liitettävästä osavaiheesta. Viimeisenä X,' osavaiheena keksinnön mukaisessa kuvankäsittelyketjussa voi 'k 30 erään sovellusmuodon mukaan olla lisäksi tumman värin korjaus.

Siinä kumulatiivisista histogrammeista etsitään sellaiset arvot, jotka täyttävät niille asetetun tietyn erityisen kynnysarvon.

: Tumman värin korjauksessa kynnysarvon perusteella määritettyä ; tumminta värikomponenttia venytetään kohti mustaa asetetun 35 suuruisesti ja myös muita komponentteja prosessoidaan samassa 116327 28 suhteessa. Venytys tehdään lisäämällä asetetun suuruinen siirtymä (offset) värimuunnosfunktioihin, kuten kuvassa 6.

Tumman pään kynnysarvo voidaan erään sovellusmuodon mukaan 5 määrittää esimerkiksi siten, että kunkin värikomponentin R, G, B histogrammeista etsitään esimerkiksi l%:n pikselimäärää vastaava intensiteettikohta. Tämän jälkeen nämä kunkin värikomponentin 1% : in kohtaa vastaavat intensiteettiarvot kerrotaan sen hetkisillä kutakin värikomponenttia vastaavilla korjauskertoi-10 millä ja näin saaduista modifioiduista intensiteettiarvoista valitaan pienin, joka modifioitu intensiteettiarvo edelleen kerrotaan 0,7:llä ja joka sitten valitaan korjauksen suuruudeksi .

15 Edellä määritetty ja valittu korjauksen suuruus jaetaan seuraa-vaksi sen hetkisillä korjauskertoimilla GR, Gg, Gb, jonka jakolaskun seurauksena saadaan kullekin värikomponentille offset-arvot OffsetR, OffsetG, OffsetB. On huomattava, että offset-arvot eivät vaikuta väriin vaan niillä on ainoastaan kuvaa tummemmaksi 20 vetävä vaikutus. Jotta väri tasapainon säädön tavoitetaso saatai-; siin edelleen pysymään samana kuin se oli alun perin tarkoitet tu, niin vielä on määritettävä uudelleen säädetyt korjauskertoi-; met GR', Gg' ja GB' . Jos kuvassa ei ole tummia kohtia voidaan lisätä (vähän) kontrastia.

* 2 5

Kuvassa 7 esitetään alimmassa histogrammissa esimerkki, jossa kuvataan tummien pikselien värin korjauksella saatavaa histo-. grammia, jossa siis tummien pikselien värin korjauksessa muunnosfunktioihin lisätään edellä kuvatulla tavalla määritetty 30 offset ja sen seurauksena suoritetaan uudelleensäätö muunnos-funktioiden vahvistuksille. Tumman pään korjauksen seurauksena , muunnosfunktiot saavat seuraavan muodon ; Rout = Gr·* (RIn - OffsetR), 35 G0ut = Gg'* (GIn - OffsetG) ja

Bout = Gb' * (BIn - OffsetB) .

116327 29 Tällainen prosessointi vaikuttaa siten, että määrittelypistettä kirkkaammat pisteet muuntuvat kirkkaammiksi ja tätä tummemmat pisteet tummemmiksi. Muutoksella saavutettavaa vaikutusta histogrammeihin havainnollistetaan kuvan 7 alimmassa kuvaajassa, 5 joka samalla esittää myös lopullista keksinnön mukaisen kuvankä-sittelyketjun 10 seurauksena saatavia komponenttikohtaisia histogrammeja. Keskimmäisessä In/Out -kuvaajassa on värikom-ponenteista muodostetut funktiokuvaukset (mapping functions).

10 Keksinnön mukaisessa menetelmässä voidaan käyttää lineaarisia muunnosfunktioita. Myös epälineaarisuuksia voidaan lisätä ja tyypillisesti lisätäänkin, jos käytetty algoritmi yhdistetään vielä eräänä lisäsovellusmuotona mahdolliseen gammakorjaukseen.

15 Gammakorjaus GC voidaan erään sovellusmuodon mukaan toteuttaa siten, että ensin määritetään kuvan tyyppi. Tämä voidaan erään esimerkillisen sovellusmuodon mukaan tehdä siten, että kumulatiivisista histogrammeista etsitään X-akselilta esimerkiksi 25%, 50% ja 80%:n kohdat, joissa siis esimerkiksi 25%:n kohdassa on 20 25% kuvan muodostavista pikseleistä intensiteettiarvoltaan tätä . : kohtaa tummempia tai yhtäsuuria. Prosenttiosuuksia 25, 50 ja 80 on vastaamaan asetettu kriteerit intensiteettiarvoille, joiden .perusteella voidaan päättää, onko kulloinkin käsittelyssä oleva otos normaali, backlight vai low contrast. Määrityksen jälkeen 25 valitaan sitä pienempi gamma-arvo, mitä enemmän kuvaa tulisi ·, kirkastaa. CEI/IEC-organisaatiossa (Commission Internationale de » l'Eclairage (Vienna) / Interna-tional Electrotechnical Commission (Geneve)) on gamman tasoksi SRGB (standard RGB) kuville i.’ valittu 0,45 = 1/2,2 kuvassa 8. Keksinnön mukaisessa menetelmäs- 30 sä gamma-arvot voivat vaihdella esimerkiksi välillä 0,20 - 0,60. Yleisellä hyvin karkeahkolla tasolla voidaan todeta, että '·' gammakorjauksessa väritasapainoa korjataan säätöketjun 10 : loppuvaiheessa tehtävällä potenssiinkorotuksella, jossa intensi- • teettiarvot korotetaan määritettyä gamma-arvoa vastaavaan 35 potenssiin sopivilla intensiteettialueilla. Käyrän alkualueilla 116327 30 suoraa potenssiinkorotusta ei suoriteta, jotta tummalla alueella muutos ei olisi liian nopea (jyrkkä).

Keksinnön mukaisen väritasapainon säätömenetelmän osavaiheet 5 voidaan erään sovellusmuodon mukaan tiivistää seuraavasti.

1. Eliminoidaan pedestaali PE,

2. Vignetoinnin eliminointi VE

3. Kerätään histogrammi suodattamalla pois saturoituneet pikse-10 liarvot G(s) ja myös niitä vastaavat kuvakohdat 15.1, 4. Määritetään kumulatiivisista histogrammeista arvio valaistuksen värille Riu, Gin, Bin keksinnön menetelmän mukaisia reunaehtoja tlf t2, t3 käyttäen, 5. Määritetään valaistuksen värin arviota käyttäen tarvittavat 15 värimuunnosfunktiokertoimet ja säädetään niitä käyttäen kehitettyjä reunaehtoja ja rajoituksia, 6. Säädetään värikomponenttien R, G, B tumminta arvoa, 7. Käytetään lisäystä ja histogrammitietoa pääteltäessä visuaalinen optimiarvo gammakorjaukselle.

20

Vaiheet 3, 4, 5 ja 6 ovat keksinnön mukaisessa menetelmässä : ydinosia. On huomattava, että toteutuksista riippuen näitä : vaiheita voidaan järjestää uudelleen tai yhdistellä useinkin eri : : : tavoin.

; 25 ; ’ ; On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät kuvat on tarkoitettu ainoastaan havainnollistamaan esillä olevaa keksintöä. Keksintöä ei siten ole rajattu pelkästään edellä esitettyihin tai patenttivaatimuksissa määriteltyihin sovellus-30 muotoihin, vaan alan ammattimiehelle tulevat olemaan ilmeisiä monet erilaiset keksinnön variaatiota ja muunnokset, jotka ovat mahdollisia oheisten patenttivaatimusten määrittelemän keksin-* nöllisen ajatuksen puitteissa.

Claims (21)

116327

1. Menetelmä väritasapainon automaattiseksi säätämiseksi digitaalisessa kuvankäsittely-ketjussa (10) , jossa menetelmässä 5 - kohde kuvataan pikseleittäin värikomponenttien (R, G, B) arvojoukoiksi, värikomponenttien (R, G, B) arvojoukoista muodostetaan komponenttikohtaisia histogrammeja, komponenttikohtaisista histogrammeista muodostetaan 10 kumulatiivisia histogrammeja, kumulatiivisista histogrammeista määritetään ainakin yhdelle värikomponentille sitä vastaava valaistuksen väri (Rm, GiU, Biu), ainakin kahdelle värikomponentille (R, G, B) määrite-15 tään tavoiteväriä (Rtgt, Gtgt, Btgt) ja määritettyä va laistuksen väriä (Rin, Gm, Bin) käyttäen väritasapai-noa säätävä vahvistuskerroin (GR, Gg, Gb) , tunnettu siitä, että menetelmässä määritetään kumulatiivisten histogrammien päissä väri-20 käyrän olennaisesti tasaiselta alueelta sellainen : piste hi# jossa peräkkäisiä pisteitä h±, hi+1 vastaavat värikomponenttikohtaiset pikseli-intensiteettiarvot : Ci, Ci+1 täyttävät ainakin yhden värikomponentin (R, G, >, B) kohdalla niille asetetut kriteeriehdot ja 25. asetetaan ainakin yhdelle värikomponentille (R, G, B) yhteistä määritettyä pistettä ht vastaava värikom-ponenttikohtainen intensiteettiarvo CA vastaamaan valaistuksen väriä (Rm, Giu, Biu) .

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, • että valaistuksen väri (Rm, Gillf Bin) määritetään kumulatiivi- .,· sista histogrammeista etsimällä sellainen pienin indeksi i, joka täyttää seuraavat alikriteerit: 1. kahden peräkkäisiä ja asetetun välijaon mukaisesti 35 valittuja pisteitä hi; hi+1 vastaavien pikseliarvojen C±, Ci+1 suhde rc on pienempi kuin niille asetettu en- 1 1 6327 simmäinen kynnysarvo tx kullakin värikomponentilla (R, G, B), eli rc =-^-<tvC = (R,G,B) S c c -3 '-i+l ' 2. näin saatujen pikseliarvojen Cif Ci+1 suhteiden rc summa on pienempi kuin niille asetettu toinen kynnysarvo t2, 10 R, Gt Bt -!- +-1-+-~<t2 ^i+i Gm Bm j a 3. pikseliarvojen Ci( Ci+1 muutoksien suhteellisten 15 nopeuksien suhde maksimipikseliarvomuutoksen ja mini- mipikseliarvomuutoksen välillä on pienempi kuin sille asetettu kolmas kynnysarvo t3, max ((Ci -Cf+1) / Ci+j), niissä Ce R\\G\\ B) 20 min((C,.-C,+1)/(C,+1), missä C e R || G || B) < h ! ia • jossa ehdot 1-3 täyttävää pistettä hi vastaavat kunkin väri- ; komponentin intensiteettiarvot Ci asetetaan vastaamaan valais- . 25 tuksen väriä (Riu, Gin, Bui) · » »

3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että ensimmäinen kynnysarvo tx vaihtelee välillä 1,0 - 1,5, , edullisesti välillä 1,01 - 1,2. 30

4. Patenttivaatimuksen 2 tai 3 mukainen menetelmä, tunnettu siitä, että toinen kynnysarvo t2 vaihtelee välillä 3,0 - 4,0, : edullisesti välillä 3,0 - 3,5. 116327

5. Patenttivaatimuksen 2-4 mukainen menetelmä, tunnettu siitä, että kolmas kynnysarvo t3 vaihtelee välillä 3,0 - 5,0, ollen edullisesti noin 4,0.

6. Patenttivaatimuksen 1-5 mukainen menetelmä, tunnettu siitä, että menetelmässä suoritetaan ennen väritasapainon säätöä (CBC) raakamatriisin pikseliarvoille lisäksi pedestaalin eliminointi (PE) .

7. Patenttivaatimuksen 6 mukainen menetelmä, tunnettu siitä, että pedestaalin eliminointi (PE) suoritetaan ainakin osittain lineaarisesti esimerkiksi siten, että - värikomponentin (R, G, B) pikseliarvotason ollessa sille asetetun raja-arvon (t) alapuolella, vähennetään 15 offset (p) suoralla vähennyslaskulla, ja asetetun raja-arvon (t) jälkeen - vähennetään offset (p) vahvistaen pikseliarvoja samalla kuitenkin siten, että maksimipikseliarvotaso ei oleellisesti pienene. 20

8. Patenttivaatimuksen 1-7 mukainen menetelmä, tunnettu siitä, että menetelmässä suoritetaan lisäksi reunakorjausproseduuri ; (vignetting elimination) (VE), joka suoritetaan edullisesti i pedestaalin eliminoinnin (PE) jälkeen ja ennen väritasapainon 25 säätöä (CBC).

9. Patenttivaatimuksen 8 mukainen menetelmä, tunnettu siitä, että reunakorjausproseduurissa (VE) käytetään avaruudellisesti t ’ muuttuvaa offsetia ja pikseliarvon vahvistuskerrointa (vf). 30

* 10. Patenttivaatimuksen 9 mukainen menetelmä, tunnettu siitä, ' että vahvistuskerroin (vf) kehitetään kullekin värikomponentille ; (R, G, B) erikseen. 116327

11. Patenttivaatimuksen 1-10 mukainen menetelmä, tunnettu siitä, että menetelmän yhteydessä suoritetaan lisäksi tumman värin korjausproseduuri, jossa osavaiheina - kumulatiivisesta histogrammista etsitään sellaiset 5 pikseliarvot, jotka täyttävät sille asetetun kynnyseh- don (dpcc), - määritettyä tumminta värikomponenttia venytetään määritetyn suuruisella siirtymällä (offset) kohti histogrammin tummaa päätyä prosessoiden samalla muita 10 värikomponentteja samassa suhteessa ja - muunnosfunktioiden vahvistuksille (GR, Gg, Gb) suoritetaan uudelleensäätö.

12. Patenttivaatimuksen 1-11 mukainen menetelmä, tunnettu 15 siitä, että jokaiselle värikomponentilie (R, G, B) määritetään mediaanipikseliarvo ja jos valitun referenssikomponentin medi-aanipikseliarvo ja värikomponentin (R, G, B) mediaanipikseliarvo eroavat toisistaan asetetulla tavalla, säädetään vahvistuksia (Gr, Gg, Gb) eron pienenentämiseksi. 20

13. Patenttivaatimuksen 1-12 mukainen menetelmä, tunnettu siitä, että menetelmään kuuluu lisäksi gammakor jausosavaihe . ··· (GC) , jossa - määritetään kumulatiivisista histogrammeista otos- 25 tyyppi, joka voi olla esimerkiksi normaali, backlight tai low contrast, - otostyyppimääritykseen perustuen valitaan gammakor-jauksessa käytettäväksi sitä pienempi gamma-arvo, mitä enemmän kuvaa tulisi kirkastaa, joka gamma-arvo voi 30 vaihdella esimerkiksi välillä 0,10 - 0,80, edullisesti välillä 0,20 - 0,60.

: 14. Patenttivaatimuksen 1-13 mukainen menetelmä, tunnettu siitä, että ennen kumulatiivisten histogrammien muodostamista 35 ainakin yhdestä arvojoukosta suodatetaan pois ainakin sellaiset 116327 pikseliarvot (G(s)), jossa saman kuvakohdan (15.1) pikseliarvo yhdessäkin arvojoukossa täyttää valitun kriteerin.

15. Järjestelmä väritasapainon automaattiseksi säätämiseksi 5 digitaalisessa kuvankäsittelyketjussa (10), jossa järjestelmään kuuluu - välineet kohteen kuvaamiseksi pikseleittäin värikom-ponenttien (R, G, B) arvojoukoiksi, - välineet komponenttikohtaisten histogrammien muodos- 10 tamiseksi värikomponenttien (R, G, B) arvojoukoista, - välineet kumulatiivisien histogrammien muodostamiseksi komponenttikohtaisista histogrammeista, - välineet ainakin yhdelle värikomponentille sitä vastaavan valaistuksen värin (Riu, Gillf Bin) määrittä- 15 miseksi kumulatiivisista histogrammeista, - välineet väritasapainoa säätävän vahvistuskertoimen (Gr, Gg, Gb) määrittämiseksi ainakin kahdelle värikomponentille (R, G, B) käyttäen tavoiteväriä (Rcgt, Gtgt, Btgt) ja määritettyä valaistuksen väriä (Rin, GiU, Bm) , 20 tunnettu siitä, että järjestelmä käsittää lisäksi . : - välineet sellaisen pisteen hi määrittämiseksi kumu latiivisten histogrammien päissä värikäyrän olennai-sesti tasaiselta alueelta, jossa peräkkäisiä pisteitä hi, hi+1 vastaavat värikomponenttikohtaiset pikseli-in-25 tensiteettiarvot Ci, Ci+1 täyttävät ainakin yhden väri- komponentin (R, G, B) kohdalla niille asetetut kriteeri ehdot ja - välineet ainakin yhdelle värikomponentille (R, G, B) yhteistä määritettyä pistettä hi vastaavan värikom- 30 ponenttikohtaisen intensiteettiarvon Ci asettamiseksi vastaamaan valaistuksen väriä (Rin, Gin, Bm) ·

16. Patenttivaatimuksen 15 mukainen järjestelmä, tunnettu siitä, ; että järjestelmään kuuluu lisäksi ennen väritasapainon säätöä 35 (CBC) sovitettu toiminnallisuus raakamatriisin pikseliarvoille pedestaalin eliminoinnin (PE) suorittamiseksi. 116327

17. Patenttivaatimuksen 15 tai 16 mukainen järjestelmä, tunnettu siitä, että järjestelmään kuuluu lisäksi välineet reunakorjauk-sen (VE) (vignetting elimination) suorittamiseksi, joka on sovitettu edullisesti pedestaalin eliminoinnin (PE) jälkeen ja 5 ennen väritasapainon säätöä (CBC).

18. Patenttivaatimuksen 15 - 17 mukainen järjestelmä, tunnettu siitä, että järjestelmään kuuluu lisäksi välineet tumman värin korjaamiseksi. 10

19. Patenttivaatimuksen 15 - 18 mukainen järjestelmä, tunnettu siitä, että järjestelmään kuuluu lisäksi välineet saturoituneiden pikselien poistamiseksi arvojoukoista.

20. Laitteisto väritasapainon automaattiseksi säätämiseksi, jossa laitteisto käsittää digitaalisen kuvankäsittely-ketjun (10), jossa ketjuun (10) kuuluu - välineet kohteen kuvaamiseksi pikseleittäin värikom- ponenttien (R, G, B) arvojoukoiksi [R], [G], [B], 20. välineet komponenttikohtaisien histogrammien muodos- j tamiseksi värikomponenttien (R, G, B) arvojoukoista, - välineet kumulatiivisten histogrammien muodostami- : seksi komponenttikohtaisista histogrammeista, - välineet ainakin kahdelle värikomponentille sitä 25 vastaavan valaistuksen värin (Rin, Gin, Bin) määrittä- . miseksi kumulatiivisten histogrammien värikäyristä * valitulla tavalla, - välineet ainakin kahdelle värikomponentille (R, G, B) väritasapainoa säätävän vahvistuskertoimen (GR, Gg,

30 Gb) määrittämiseksi asetettua tavoiteväriä (Rtgt, Gtgt, Btgt) ja määritettyä valaistuksen väriä (Riu, Gm, Bin) käyttäen valaistuksen värin kompensoimiseksi, ; tunnettu siitä, että laitteistoon kuuluu lisäksi i - välineet sellaisen kullekin värikomponentille (R, G,

35 B) yhteisen pisteen hi määrittämiseksi kunkin kumula tiivisen histogrammin päässä värikäyrän tasaiselta 116527 alueelta, jossa peräkkäisiä pisteitä hi( hi+1 vastaavien värikomponenttikohtaisien pikseli-intensiteettiar-vot Ci, Ci+1 on sovitettu täyttämään kunkin värikom-ponentin (R, G, B) kohdalla sille asetetut kriteerieh-5 dot ja - välineet löydettyä pistettä hi vastaavan intensi-teettiarvon asettamiseksi vastaamaan valaistuksen väriä (Rin, Gin, Biu) .

21. Ohjelmalliset välineet patenttivaatimuksen 1 mukaisen menetelmän toteuttamiseksi, jossa välineet käsittävät rajapinnan kuvadatan vastaanottamiseksi - ohjelmalliset välineet kohteen kuvaamiseksi pikse-leittäin värikomponenttien (R, G, B) arvojoukoiksi, 15. ohjelmalliset välineet komponenttikohtaisten histo- grammien muodostamiseksi värikomponenttien (R, G, B) arvoj oukoista, - ohjelmalliset välineet kumulatiivisien histogrammien muodostamiseksi komponenttikohtaisista histogrammeis- 20 ta, , * - ohjelmalliset välineet ainakin yhdelle värikomponen- tille sitä vastaavan valaistuksen värin (Riu, Gin, ·,-*· Bui) määrittämiseksi kumulatiivisista histogrammeista, • - ohjelmalliset välineet väri tasapainoa säätävän vah- 25 vistuskertoimen (GR, Gg, Gb) määrittämiseksi ainakin kahdelle värikomponentille (R, G, B) käyttäen tavoite- • · · väriä (Rtgt, Gtgt, Btgt) ja määritettyä valaistuksen : väriä (Rm, Gm, Bm) , .··, tunnettu siitä, että ohjelmallisiin välineisiin on sovitettu 30 lisäksi - ohjelmalliset välineet sellaisen pisteen h^ määrittämiseksi kumulatiivisten histogrammien päissä väri- : käyrän olennaisesti tasaiselta alueelta, jossa peräk- ; käisiä pisteitä hi; hi+1 vastaavat värikomponenttikoh- 35 täiset pikseli-intensiteettiarvot Ci, Ci+1 täyttävät 116327 ainakin yhden värikomponentin (R, G, B) kohdalla niille asetetut kriteeriehdot ja - ohjelmalliset välineet ainakin yhdelle värikomponen-tille (R, G, B) yhteistä määritettyä pistettä hA vas- 5 taavan värikomponenttikohtaisen intensiteettiarvon asettamiseksi vastaamaan valaistuksen väriä (Riu, Gill# Bin) · 10