SE533185C2 - Metod för behandling av en digital bild samt bildrepresentationsformat - Google Patents

Description

2 Ett vanligt sätt att ta itu med detta problem är att antingen öka behandlingskapaciteten hos anordningen eller att undvika operationer där användaren förväntar sig en upplevelse av kontinuerligt flöde.

SammanfattnincLav uppfinningen Ett ändamål med föreliggande uppfinning är förbättring av operationer på bilder och förbättring av upplevelsen för användaren av kontinuerliga operationer på bilder.

Detta ändamål uppnås med hjälp av en metod för ändring av en visningsvy av en digital bild som ska skickas till en bildskärm i enlighet med krav 1 och en datastruktur för lagring av en digital bild på en handhållen anordning i enlighet med krav 10. Ytterliggare utföringsformer hos uppfinningen beskrivs i de osjälvständiga kraven.

Särskilt, i enlighet med en första aspekt hos uppfinningen, innefattar en metod för ändring av en vy hos en digital bild som ska skickas till en bildskärm, hämtning av bilddata motsvarande ett första omrâde hos den digitala bilden från en i storlek förminskad, med avseende på antalet bildpunkter, representation av den digitala bilden, sändning av den hämtade bilddatan motsvarande det första området till bildskärmen, mottagande av en från användaren inmatad signal som begär att ett andra område ska skickas till bildskärmen, hämtning av bilddata motsvarande det andra området av den digitala bilden från den i storlek förminskade representationen av den digitala bilden, samt sändning av nämnda hämtade bilddata motsvarande det andra området till bildskärmen.

Genom manipulering av bildvyn som ska presenteras på en bildskärm i den i storlek förminskade represenatationen av den digitala bilden kräver manipuleringen mindre behandlingstid och kan därför genomföras på kortare tid. En anledning till detta är att det inte finns något behov att, i denna utföringsform, avkoda hela fullstorleksbilden för att presentera den nya vyn. 10 15 20 25 30 3 l en annan utföringsform innefattar metoden vidare mottagande av en från användaren inmatad signal som begär att ett tredje område ska skickas till bildskärmen, och hämtning av bilddata motsvarande det tredje området hos den digitala bilden från en fullstorleksrepresentation av den digitala bilden om det valda tredje området anger ett område av den digitala bilden som hos den i storlek förminskade bilden innefattar mindre antal bild punkter än bildskärmens storlek.

I ytterliggare en annan utföringsform innefattar metoden åtgärden att börja analysera nämnda bilddata av fullstorleksrepresentation av den digitala bilden vid en tidpunkt efter att den digitala bilden har valts att visas och innan nämnda bilddata som ska skickas till bildskärmen hämtas från en fullstorleksrepresentation av den digitala bilden. l en annan utföringsform innefattar metoden lagring av den genom analysen erhållna informationen. l en annan utföringsform innefattar metoden användning av den genom analysen av nämnda bilddata från fullstorleksrepresentationen av den digitala bilden erhållna informationen i händelse av att det fastställs att bilddatan som ska skickas till bildskärmen ska hämtas från en fullstorleksrepresentation av den digitala bilden.

Genom användning av analysinformationen under manipulering av bilden vid en tidpunkt när upplösningen hos den i storlek förminskade bilden inte är tillräcklig för tillhandahållande av acceptabel kvalitet kan manipulationshastigheten av bilden fortfarande vara hög trots att bilddatan måste hämtas från den fullupplösta bilden.

Enligt en annan aspekt hos uppfinningen innefattar en metod för ändring av en vy hos en digital bild som ska skickas till en bildskärm: hämtning av bilddata motsvarande ett första område hos den digitala i bilden från en i storlek förminskad, med avseende på antalet bildpunkter, representation av den digitala bilden, sändning av nämnda hämtade bilddata motsvarande det första området till bildskärmen, mottagande av en från användaren inmatad signal som begär att ett andra område ska skickas tili bildskärmen, 10 15 20 25 30 m w at: mä cr: f i 4 hämtning av bilddata motsvarande det andra området hos den digitala bilden från en fullstorleksrepresentation av den digitala bilden genom användning av information från en analys av fullstorleksbilden, samt sändning av nämnda hämtade bilddata motsvarande det andra omrâdet till bildskärmen. l en utföringsform innefattar metoden vidare analys av nämnda bilddata hos fullstorleksrepresentatíonen av den digitala bilden vid en tidpunkt innan den digitala bilden har valts för visning. l en annan utföringsform av metoden motsvarar nämnda första område en delmängd av den totala i storlek förminskade bilden. l ytterliggare en annan utföringsform av metoden motsvarar nämnda andra område en förstoring av föremål in nämnda första område.

I en annan utföringsform av metoden anger nämnda andra område ett område i en annan position i relation till det första området och inom den digitala bilden. l en annan utföringsform av metoden är den i storlek förminskade representationen av nämnda digitala bild en faktor k större än storleken på vlsningsvyn hos bildskärmen, faktorn k21. l en annan utföringsform av metoden lagras fullstorleksrepresentationen av den digitala bilden som en komprimerad bild, varvid nämnda analys av nämnda bilddata av fullstorleksrepresentationen av den digitala bilden innefattar skapande av minst en pekare till ett datablock inom fullstorleksrepresentationen av den digitala bilden, och varvid nämnda skapade minst en pekare används för åtkomst av bilddatan i det valda området när det fastställts att bilddatan som ska skickas till bildskärmen ska hämtas från en fullstorleksrepresentation av den digitala bilden.

I en annan utföringsform av metoden pekar pekaren till ett datablock till den första dataenheten hos en minsta kodad enhet, MCU. l en annan utföringsform avrmetoden innefattar nämnda information från analysen av nämnda bilddata en absolut DC koefficient motsvarande de första datablocken hos varje färgkomponent i MCUn.

I en annan utföringsform av metoden finns det minst en pekare till ett datablock i varje MCU-sveplinje. 10 15 20 25 30 fi! ELJI! IZAII ...a C513 Ilflfi 5 I en annan utföringsform av metoden är ett datablock en dataenhet i en JPEG-kodad bild. l en annan utföringsform av metoden utförs metoden i en server anordnad på avstånd från den handhållna anordningen och i vilken sändningen» av nämnda hämtade bilddata representerar ett område som ska visas skickas till bildskärmen via ett nätverk.

I en annan utföringsform innefattar metoden vidare skapande av och visande av en animerad övergång mellan det visade första området och visningen av det andra området.

Enligt ytterliggare en annan aspekt hos uppfinningen innefattar en datastruktur för lagring av en digital bild på en elektronisk anordning: bilddata motsvarande en fuIistorleksrepresenatation av nämnda digitala bild som lagras på den elektroniska anordningen, bilddata motsvarande en l storlek förminskad framställning av nämnda digitala bild som lagras på den elektroniska anordningen och vilken har en storlek som är en faktor k större än storleken på den handhållna anordningens bildskärmsvy, faktorn kz1, storleken på bilderna och på bildskärmen mäts i bildpunkter, samt bilden i full storlek är kopplad till den i storlek förminskade bilden.

I en utförlngsforrn av datastrukturen lagras bilddatan motsvarande den i storlek förminskade bilden i ett dataområde avsett för information som hänför sig till den digitala bilden.

I en annan utföringsform av datastrukturen är nämnda dataområde som är tillägnat information relaterad till den digitala bilden ett filhuvud till en bildfil innefattande den digitala bilden.

I ytterliggare en annan utföringsform av datastrukturen är nämnda bilddata som representerar den i storlek förminskade bilden anordnad i ett dataområde hos en databaspost som hänvisar till bilddatan hos fullstorleksbilden.

I en annan utföringsforrn av datastrukturen innefattar nämnda bilddata som representerar den i storlek förminskade bilden icke-differentiella DC- koefficienter giltiga för komprimerad bilddata som representerar fullstorleksbilden. 10 15 20 25 30 1.51 lim .a G11 i l 6 l en annan utföringsform av datastrukturen är nämnda bllddata som representerar fullstorleksbilden i ett komprimerat format som representeras som en sekvens som representerar sekventiella bildblock, varje block innefattar en eller flera dataenheter och varje dataenhet representeras som en sekvens av variabellängdkodade (Variable Length Coded) koefficienter av basfunktioner.

I en annan utföringsform av datastrukturen innefattar dataområdet dessutom indikatorer som anger bildblockens position i sekvensen.

I en annan utföringsform av datastrukturen innefattar dataområdet dessutom indikatorer som anger positionen i sekvensen för minst var sextiofjärde bildblock.

I en annan utföringsform av datastrukturen innefattar nämnda dataområde dessutom indikatorer till åtminstone en DC-koefficient hos varje bildblock i sekvensen.

Enligt ytterliggare en aspekt av uppfinningen innefattar en metod för förberedning av en digital bild för manipulering: hämtning av information som påskyndar analysen av en komprimerad fullstorleksbild, analys av fullstorleksbilden genom användning av informationen som påskyndar analysen av en komprimerad fullstorleksbild och komprimerad bllddata av fullstorleksbilden, samt lagring av särdrag, härrörandes från analysen, vilka underlättar snabb manipulering av fullstorleksbilden. l en utföringsform av metoden är nämnda komprimerade fullstorleksbild i ett komprimerat format som representeras av en sekvens representerade sekventiella bildblock, varje block innefattar en eller flera dataenheter och varje dataenhet representeras av en sekvens av variabellängdkodade koefficienter av basfunktioner och varvid nämnda information som påskyndar analysen av en komprimerad fullstorleksbild innefattar indikatorer till bildblock. I l en annan utföringsform av metoden innefattas indikatorer till åtminstone vart sextiofiärde bildblock hos den komprimerade 10 15 20 25 30 7 fullstorleksbilden i informationen som påskyndar analysen av en komprimerad fullstorleksbild.

I ytterliggare en annan utföringsform av metoden innefattar nämnda information som påskyndar analysen av en komprimerad fullstorleksbild dessutom DC-koefficienter.

Ytterliggare användningsområden hos föreliggande uppfinning tydliggörs i den detaljerade beskrivningen nedan. Det skall emellertid inses att den detaljerade beskrivningen och de angivna exemplen, som visar föredragna utföringsformer hos Uppfinningen, är angivna som förklarande exempel eftersom olika förändringar och modifieringar inom ramen för uppfinningen kommer att vara uppenbara för fackmannen inom området från denna detaljerade beskrivning.

Kort beskrivning av ritninqarna Uppfinningen kommer nu att beskrivas mer detaljerat genom exempel med hänvisning till bifogade ritningar.

Figur 1 visar schematiskt ett yttre hölje hos en mobiltelefon.

Figur 2 visar schematiskt funktionsblock hos en mobiltelefon.

Figur 3 är ett flödesschema över en metod för alstring av en bildfil.

Figur 4 visar en struktur hos en bildfil i enlighet med en utföringsform.

Figurerna 5a-c är flödesschema över en metod för utförande av manipulationer av en bildvy i enlighet med en utföringsform hos uppfinningen.

Figurerna 6a-e är schematiska Översikter över förhållandet mellan en i storlek förminskad bild, en fullstorleksbild och en bildskärmsvy.

Detallerad beskrivning av en föredragen utförinqsform l den följande beskrivningen beskrivs uppfinningen som använd på en mobiltelefon. Uppfinningen kan emellertid användas för presentation och manipulering av bilder som visas av andra handhållna elektroniska anordningar så som små bärbara datorer (PDA:s), handdatorer (palm tops), etc. eller som visas på persondatorer, terminaler, etc. anslutna till servrar som utför operationer för manipulering av visningen av bilder och varvid operationerna utförs på en server som har begränsad behandlingskapacitet med avseende på belastningen på servern. Manipuleringen av visningen av 10 15 20 25 30 LÜW Elli få må iJl 8 bilden kan innefatta in- och utzoomning inom bilden, panorering inom bilden samt rotation.

Med hänvisning till figur 1 kan, enligt en utföringsform av uppfinningen, en mobiltelefon 10 som realiserar uppfinningen innefatta en bildskärm som presenterar en bildskärrnsvy 12 samt ett inmatningsorgan 14 för användare.

En bildskärmsvy 12 hos en bildskärm är anordnad att ha en upplösning rx i en x-riktning och en upplösning ry i en y-riktning, d.v.s. bildskärmen är anordnad att presentera en matris av bildpunkter, varvid varje rad har en längd av rx bildpunkter och varje kolumn har en längd av ry bildpunkter. När det hänvisas till presentation av en bild eller bilddata på en bildskärm eller bildskärmsvy hos en bildskärm i den följande beskrivningen ska bildskärmen eller bildskärmsvyn hos bildskärmen tolkas som bildskärmsytan vilken är anordnad för presentation av bilden eller bilddatan. lnmatningsorganet 14 för användare kan vara vilket känt organ som helst vilket används för stryrning av telefonen. Exempelvis kan det vara knapparna på telefonen, en pekskärm, d.v.s. inmatning via bildskärmen, en tryckkänslig platta, en extern mus eller joystick, etc. Med avseende på föreliggande uppfinning används inmatningsorganen för styrning av manipulationen av bildens visning.

Vidare kan mobiltelefonen innefatta en optisk ingång 16 så som en lins anordnad för upptagning av ljus för alstring av stillbilder eller videobilder.

Med hänvisning till figur 2 innefattar, enligt en utföringsform av uppfinningen, mobiltelefonen en processor 18, t.ex. en mikroprocessor, en CPU etc., ett minne 20, en bildskärmsdrivkrets 22, ett kommunikationsorgan 24, samt en kamerakrets 26. Processorn 18 är anordnad att exekvera mjukvara som realiserar åtminstone delar av uppfinningen, naturligtvis kan metoden som är realiserad av mjukvaran realiseras av andra organ, t.ex. via elektriska kretssystem.

Minnet 20 kan vara ett flyktigt minne, t.ex. ett RAM-minne, ett icke- flyktigt minne, t.ex. ett ROM-minne, ett flash-minne, etc., eller kan minnet 20 vara ett flyktigt minne och ett icke-flyktigt minne. I betraktande av föreliggande uppfinning är minnet 20 anordnat att lagra mjukvaran som realiserar åtminstone delar av uppfinningen och att lagra bilddata för behandling. 10 15 20 25 30 *H35 9 Bildskärmsdrivkretsen 22 är anordnad för styrning av bildpunkterna hos bildskärmen 12 som svar på visningsinstruktioner från processorn.

Bildskärmsdrivkretsen 22 kan vara vilken drivkrets som helst vilken är kompatibel med den specifika bildskärmen 12.

Kommunikationsorganet 24 är anordnat att möjliggöra kommunikation.

Kommunikationsorganet kan vara realiserat delvis som mjukvara och delvis som hårdvara.

Kamerakretsen 26 innefattar en bildsensor samt hårdvaran och mjukvaran som behövs för alstring av bilder från bildsensorn.

En mobiltelefon innefattar ytterliggare organ och enheter för dess operation. För att underlätta förståelsen av uppfinningen beskrivs emellertid inte de organ och enheter som inte bidrar till förståelsen av uppfinningen.

En bild som ska visas på mobiltelefonen 10 kan lagras som en bildfil i minnet 20 hos mobiltelefonen 10. Bilden som representeras av bildfilen kan inhämtas medelst den optiska ingången 16 och kamerakretsen 26. Bilden lagras i bildfilen som en fullstorleksbild, vilken representerar betydligt fler bildpunkter än bildskärmen 12 hos mobiltelefonen 10 kan visa. I figur 3 beskrivs schematiskt ett exempel på en metod för alstring av en bitdfil.

Från början inhämtas en fullstorleksbild, steg 100. Från fullstorleksbilden genereras en i storlek förminskad bild som har en bredd på w bildpunkter och en höjd på h bildpunkter, steg 102. Var och en av bredden w och höjden h hos den i storlek förminskade bilden är en faktor k större än storleken hos motsvarade bredd rx respektive höjd ry hos bildskärmen 12.

Faktorn k kan, enligt en utföringsform hos uppfinningen, vara i intervallet 1-2.

Enligt en utföringsform väljs faktorn k så att höjden respektive bredden hos den i storlek förminskade bilden är av en storlek motsvarande n upphöjt i två mindre än fullstorleksbilden, varvid n kan vara vilket heltal som helst som resulterar i en storleksförminskad bild som har bredd respektive höjd som är lika stor eller större än bredden respektive höjden hos bildskärmens visningsområde.

Om fullstorleksbilden inte redan är kodad eller komprimerad, vilket den vanligtvis är, så kodas eller komprimeras fullstorleksbilden, steg 104, till ett förutbestämt format, t.ex. jpeg, tiff, gif, bitmap format, skyddat format etc. Den 10 15 20 25 30 10 i storlek förminskade bilden kodas ochleller komprimeras också, steg 106, till ett förutbestämt format, t.ex. jpeg, tiff, gif, bitmap format, skyddat format etc.

Fullstorleksbilden lagras sedan som en bildfil, steg 108, och den i storlek förminskade bilden lagras som fillnformation hänförande sig till bildfilen, steg 110. Den i storlek förminskade bilden kan lagras i ett filhuvud till bildfilen eller i en databas. lfall den i storlek förminskade bilden lagras l en databas kan information som hänför den i storlek förminskade bilden till bildfilen lagras i databasen, information som hänför bildfilen till den i storlek förminskade bilden i databasen kan lagras i ett filhuvud till bildfilen, eller kan information som hänför bildfilen och den i storlek förminskade bilden till varandra lagras både i databasen och i ett filhuvud till bildfilen. Ännu ett annat sätt är att länka en i storlek förmlnskad bild i en databas till fullstorleksbilden via kännedom om fullstorleksbildens fil. Exempelvis kan detta åstadkommas genom användning av en hashkod beräknad från filnamnet hos fullstorleksbilden och eller genom användning av datumet för infångandet. Sedan kan den i storlek förminskade bilden lagras i ett filsystem med hashkoden som en del av dess filnamn.

Strukturen hos en bildfil 120 enligt en utföringsform hos uppfinningen visas i figur 4. Fullstorleksbilden lagras som kodad eller komprimerad bildinformation 122. Därjämte innefattar bildfilen 120 ett filhuvud 124.

Filhuvudet 124 innefattar bild- ochleller filinformation i en sektion 126.

Bildinformation och filinformation kan vara information som hänför sig till tid och datum för framställningen av bilden, inställningar hos kameran när bilden togs, kamerans model och typ, tiden och datumet då filen senast ändrades, storleken på bildfilen, etc. Filhuvudet kan vidare innefatta bildinformation som gör det möjligt att påskynda visning, zoomning och panorering av fullstorleksbilden eller innefatta bildinformation som påskyndar analysen av fullstorleksbilden. lfllhuvudets 124 sektion 128 kan den l storlek förminskade bilden lagras som bilddata. Den i storlek förminskade bilden kan vara kodad eller komprimerad.

Den l storlek förminskade bilden kan vidare vara alstrad på vilket känt sätt som helst. Om den i storlek förminskade bilden till exempel ska alstras från en icke komprimerad eller dekomprimerad bild kan ett förfarande så som 10 15 20 25 30 11 närmaste granne, bilinjär eller bikubisk omsampling användas. Om bilden emellertid är komprimerad genom användning av JPEG kan den i storlek förminskade bilden alstras genom avkodning av enbart DC-koefficienter och/eller ett begränsat antal AC-koefficienter, där avkodningen till önskvärd upplösning/skala utförs genom användande av enbart de frekvenser som behövs för den önskade upplösningen/skalan.

Genom att lagra en förminskad bild som har en storlek k gånger storleken hos bildskärmen, så som tidigare beskrivits, kan inledande manipulering av bilden, så som zoomning och panorering, utföras utan att användaren behöver vänta på att processorn ska avkoda eller dekomprimera bilden. Svaret på en manipulationsinstruktion från användaren är sålunda väsentligen omedelbar och väsentligen ingen väntetid upplevs.

Bildinformationen som gör det möjligt att påskynda visning, zoomning, panorering och rotering, också kallat manipulering, av fullstorleksbilden kan innefatta, i fallet då bilden är komprimerad medelst JPEG eller liknande komprimeringsförfaranden, indikatorer för direkt åtkomst till en eller ett flertal individuella MCUer tillsammans med absoluta DC-koefficienter för varje första dataenhet hos MCUns färgkomponeter eller kanaler. Enligt en alternativ utföringsform kan bildinformationen som gör det möjligt att påskynda manipuleringen av fullstorleksbilden också innefatta indikatorer till var och en av de andra dataenheterna hos MCUn.

En indikator ska, om det inte specificeras, förstås som en absolut eller relativ adress till den indikerade biten i en dataström eller en markör i en bitström.

En metod för utförande av manipuleringarna enligt en utföringsform av uppfinningen bekrivs i figurerna 5a-c. Initialt väljer användaren en bild som ska presenteras på bildskärmen genom manipulering av mobiltelefonens inmatningsorgan. Då erhåller mobiltelefonen en instruktion om att visa en specificerad bild, steg 200. Som gensvar på denna instruktion hämtar mobiltelefonen den i storlek förminskade bilden som hänför sig till den specificerade bilden, steg 202, och skalar ner den för att passa bildskärmen, steg 204, innan den valda bilden presenteras på mobiltelefonens bildskärm, steg 206. 10 15 20 25 30 w 'B35 553 12 Nu har den valda bilden blivit synlig på bildskärmen och användaren är intresserad av att titta på en specifik detalj hos bilden. Följaktligen anger användaren att han vill zooma in i bilden. lnzoomingsinstruktionen tas emot av mobiltelefonen, steg 208, och processorn beskär och skalar den i storlek förminskade bilden i enlighet med zoomningsinstruktionen, steg 210 för att passa bildskärmsvyn. Det är möjligt att zooma in genom användning av den i storlek förminskade bilden och beroende på utföringsformen görs det antingen genom användning av en i storlek förminskad bild som är större än storleken hos bildskärmen eller genom att tillåta förstoring av i storlek förminskade bilder mer utöver ett ett till ett skalningsförhållande, d.v.s. för vissa tillämpningar är en förstorning upp till 25°/<>-30°/° acceptabel. Följaktligen blir zoomoperationen snabbare på grund av att antalet bildpunkter att ta i beaktande är få och att den i storlek förminskade bilden inte behöver dekomprimeras. Därpå presenteras bilden härrörande från skalningen i steg 210 på bildskärmen, steg 212. Nu när bilden har zoomats en gång blir det också möjligt att panorera inom bilden. Användaren kan nu zooma in ytterligare, zooma ut eller panorera. Låt oss anta att användaren väljer att zooma in ytterligare. Mobiltelefonen tar emot instruktionen, steg 214, och identifierar instruktionen som en inzoomningsinstruktion, steg 216. Därpå kontrolleras den resulterande zoomfaktorn z, steg 218. Om zoomfaktorn z är större än p kräver den förväntade vyn sådan förstoring att den i storlek förminskade bilden inte är möjlig att använda för tillhandahållande av acceptabel eller nödvändig kvalitet och därför fortsätter processen till steg 219 för att börja användning av fullstorleksbilden i stället. Om zoomfaktorn z är mindre än eller lika med p, då används fortfarande den i storlek förminskade bilden och processen fortsätter till steg 220. Zoomfaktorn z kan vara ett värde som anger hur mycket skalning av den i storlek förminskade bilden som behövs för att visa bilden som användaren har efterfrågat.

Exempelvis om storleken på den i storlek förminskade bilden, d.v.s. w och h i bildpunkter, är två gånger storleken på bildskärmsvyn, d.v.s. rx och ry i bildpunkter, då är zoomfaktorn z från början, när hela bilden ska visas, 1/2. l en sådan utföringsform motsvarar följaktligen zoomfaktorn en skalningsfaktor som ska tillämpas på den i storlek förminskade bilden för att presentera en 10 20 25 30 533 185 13 bild som zoomats till en sådan grad som användaren efterfrågat. Med andra ord, i exemplet där den i storlek förminskade bilden är två gånger storleken på bildskärmen och ingen zoomning efterfrågas så är w/2=rx och h/2=ry, d.v.s. w-z=rx, h-z=ry och z=1/z. Dessutom, när den efterfrågade zoomningen är av ett sådant värde att en bildpunkt hos den i storlek förminskade bilden motsvarar en bildpunkt hos bildskärmen då är z=1. Värdet på p, som definierar gränsen för användning av den i storlek förminskade bilden, kan vara 1, d.v.s. p=1. För några tillämpningar är det emellertid möjligt att till och med förstora den i storlek förminskade bilden över zoomfaktorn z=1 utan noterbara effekter och i sådana fall kan p sättas till 1,25, d.v.s. den på bildskärmen presenterade bilden kan vara en 25% förstoring av den i storlek förminskade bilden. Förstorningar av den i storlek förminskade bilden kan vara acceptabla upp till en höjd respektive vidd på ungefär 1,5 gånger större än den icke skalade storleken.

Låt oss nu återvända till figur 5b och anta att zoomfaktorn z är mindre än eller lika med p, i sådant fall beskärs och skalas den i storlek förminskade bilden återigen i enlighet med zoominstruktionen, steg 220, och då presenteras den resulterande bilden på bildskärmen, steg 222. Processen återvänder därefter till steg 214 redo att ta emot en ny instruktion. Om zoomfaktorn z är större än p byter processen till fullstorleksbilden, vilket beskrivs nedan i samband med figur 5c.

Om de mottagna instruktionerna hänför sig till en panoreringsmanipulering av bildvyn, steg 224, anordnas en ny position av bildvyn, d.v.s. ett vyområde motsvarande ett parti av hela bilden som visas, inom bilden i samband med instruktionen och bilddatan representerande vyområdet hämtas från den i storlek förminskade bilden, steg 226. Bilden beskärs och skalas sedan ienlighet med nuvarande val av zoomning, steg 228, och visas på bildskärmen, steg 230. Processen återvänder sedan till steg 214 redo att ta emot en ny instruktion.

I figur 5c visas processen för manipulering av bildvyn när bilden har zoomats in förbi gränsen för byte från alstring av den visade bildvyn från den i storlek förminskade bilden till alstring av den visade bildvyn från fullstorleksbilden, När zoomningen in i bilden har passerat gränsen given i 10 15 20 25 30 14 figur 5b, steg 218, hämtas, beskärs och skalas följaktligen fullstorleksbilden i enlighet med zoominstruktionerna, steg 232. Därpå visas den skalade fullstorleksbilden på bildskärmen, steg 234. Processen är därefter redo att ta emot ytterliggare instruktioner för manipulering av bildvyn, steg 238. Om den efterföljande mottagna instruktionen är en inzoomningsinstruktion, steg 238, beskärs och skalas fullstorleksbilden i enlighet med zoomningsinstruktionerna, steg 240 och den skalade fullstorleksbilden visas, steg 242. Mobiltelefonen är därefter redo att ta emot nästa instruktion, steg 236.

Om den i steg 235 mottagna instruktionen är en panoreringsinstruktion, steg 244, då anordnas en ny position av bildvyn, d.v.s. ett vyområde motsvarande ett parti av hela bilden som visas, inom bilden i samband med instruktionen och bilddatan som representerar vyområdet hämtas från fullstorleksbilden, steg 246. Bilden beskärs och skalas sedan i enlighet med nuvarande val av zoomning, steg 248, samt visas på bildskärmen, steg 250.

Processen återvänder sedan till steg 236 redo att ta emot en ny instruktion. l figurerna 6a-e visas schematiskt en översikt över sambandet mellan en l storlek förminskad bild, en fullstorleksbild och bildvyn på bildskärmen. Översikten hänför sig också till metoden för genomförande av manipulationerna i enlighet med en utföringsform av uppfinningen så som beskrivs i figurerna 5a-c. Figur 6a skildrar sambandet mellan bildvyn 260 presenterad på bildskärmen och den i storlek förminskade bilden 262. Bildvyn 260 är rx bildpunkter bred och ry bildpunkter hög och den i storlek förminskade bilden 262 är w bildpunkter bred och h bildpunkter hög. Så som tidigare nämnts är bredden w hos den i storlek förminskade bilden 262 en faktor k gånger bredden rx hos bildvyn och höjden h hos den i storlek förminskade bilden 262 är en faktor k gånger höjden ry hos bildvyn. En initial bildvy 260 som är avsedd att visa hela bilden alstras följaktligen genom nedskalning för tillpassning till bildskärmen av den i storlek förminskade bilden 262, d.v.s. nedskalning till storleken hos bildvyn.

Figur 6b avbildar situationen när bilden är inzoomad och bilddatan som ska visas i bildvyn 260 fortfarande hämtas från den i storlek förrninskade bilden 262. Så som visas i figur 6 motsvarar en inzoomning som resulterar 10 15 20 25 30 533 'H35 15 från en eller ett flertal inzoomningsinstruktioner ett område 264 som innefattar färre bildpunkter än hela den i storlek förminskade bilden 262. Alstrandet av visningsvyn 260 av bilden innefattar således nedskalning av bilden i området 264 för tillpassning till bildskärmen.

Figur 6c avbildar en situation när den zoomade bilden panoreras, d.v.s. området 264 avsett för bildskärmen flyttas inom bildytan.

Figur 6d avbildar en situation där inzoomningen har resulterat i ett bildområde 264 med samma storlek som bildskärmen, med avseende på höjden och bredden i antalet bildpunkter. l denna situation utförs ingen skalning av området avsett att visas.

Figur 6e avbildar en situation där inzoomningen har resulterat i ett bildområde inom den i storlek förminskade bilden som är mindre än visningsvyn av bilden och därför behöver bildområdet 264 hos den i storlek förminskade bilden skalas upp till storleken på bildvyn 260. Detta resulterar i en presentation av bildvyn som inte till fullo utnyttjar bildskärmens upplösning.

Detta kan emellertid vara acceptabelt för situationer när förlusten av den upplevda kvalitén är liten.

Figur 6f avbildar en situation när bildinformationen som ska visas hämtas från fullstorleksbilden 266 istället för ifrån den i storlek förminskade bilden pâ grund av att zoommanipuleringarna har nått en sådan nivå att den i storlek förrninskade bilden inte längre kan tillhandahålla acceptabel kvalité.

Som ett resultat av bytet till fullstorleksbilden 266 behöver nu bildområdet skalas ner igen för att passa bildskärmen.

Genom användning av den i storlek förminskade bilden blir manipuleringen av bildvyn som är relaterad till en specifik bild snabbare och svarstiden från ögonblicket en användare indikerar en manipulation ända till dess att manipuleringen genomförs blir kortare jämfört med om en komprimerad fullstorleksbild skulle ha använts. En anledning till detta är att i dagens systemen behöver hela uppsättningen av bilddata som representerar bilden avkodas varje gång en manipulering av bildvyn ska genomföras om en komprimerad fullstorleksbild används. Detta är väldigt tidskrävande. Om nämnda bilddata dekomprimeras en gång och all manipulering genomförs på nämnda dekomprimerade bilddata så blir inte tidsåtgången ett så stort 10 15 20 25 30 53 '535 16 problem längre, emellertid skulle en dekomprimerad bild uppta ett stort minnesområde, ungefär 6-20 gånger större minnesområde än det som upptas av den komprimerade bilden. Dessutom skulle den inledande avkodningen av en fullstorleksbild ta mycket längre tid än den totala tidsåtgången för analys och avkodningen av ett fåtal utvalda områden.

Så som beskrives i processen ovan är det emellertid inte tillfredställande att behandla och presentera bilddata från den i storlek förminskade bilden när bildvyn som ska visas är inzoomad till en sådan grad att det inte längre är möjligt att använda den i storlek förminskade bildens bilddata för alstrande av en bildvy av önskad kvalitet. När det gått så här långt föreslås det att fullstorleksbildens bilddata börjar behandlas istället. Problemet med den långsamma behandlingen av den komprimerade bilden kommer följaktligen att vara aktuellt när bilden kommer att zoomas djupt in i detaljer hos bilden.

För att undanröja problemet med fördröjningar, d.v.s. att komprimerade fullstorleksbilder är tidskrävande att behandla, och lagringskapacitet, d.v.s. okomprimerade bilder upptar ett stort minnesområde så analyseras fullstorleksbilden och särdrag som underlättar snabb hantering av en bild lagras i bildfilen, se beskrivningen av figur 4, som är temporärt lagrad i minnet för den aktuella manipulationen, eller lagras som en post i en databas, nämnda post i en databas kan referera till bildfilen. En mängd metoder för analys, extrahering och lagring av sådan egenskaper avseende en bild beskrivs i patentansökan WO 2005/050567 av Scalado AB.

För att kunna extrahera nämnda särdrag för underlättande av snabb manipulering av en bild kan nämnda särdrag antingen extraheras under komprimeringen av bilden eller kan de extraheras under en analys av en komprimerad bild gjord efter komprimeringen. Om fullstorleksbilden komprimeras genom användning av JPEG-komprimering, eller en liknande komprimeringsmetod, kan särdragen som underlättar snabb manipulering av en hämtad och lagrad bild vara vilken som helst av eller vilken kombination som helst av indikatorer till MCUer, där en MCU är ett litet bildblock av bilden, indikatorer till en eller ett flertal dataenheter, där en dataenhet är ett datablock som representerar en kanal eller färgkomponent hos nämnda MCU, en eller 10 15 20 25 30 533 185 17 ett flertal absoluta eller relativa DC-koefficienter från en eller ett flertal av färgkomponenterna hos de hämtade MCUerna och/eller hos de hämtade dataenheterna, eller antalet bitar mellan dataenheter, eller mellan specifika koefficienter hos dataenheterna. Hur man ska använda sådana särdrag för att åstadkomma snabb behandling av en bild beskrivs i den ovan nämnda ansökan, d.v.s. WO 2005/050567 av Scalado AB. l en utföringsform, så som nämnts tidigare, kan information som påskyndar analysen av en fullstorleksbild vara knuten till bilden, t.ex. genom lagring av informationen i filen eller genom hänvisning till en plats där nämnda information avseende den bestämda bilden är lagrad.

Ett exempel på information som påskyndar analysen är dataenheter från en bild komprimerad med hjälp av JPEG-komprimering, eller en liknande komprimeringsmetod. Genom lagring av indikatorer till åtminstone några dataenheter hos den komprimerade fullstorleksbilden behöver inte de variabellängdkodade delarna av dataenheterna nödvändigtvis avkodas under analys av den komprimerade fullstorleksbilden. Delar som är variabellängdkodade kan kodas eller avkodas i enlighet med vilken variabellängdkodning som helst, t.ex. Huffmankod, aritmetisk kod, etc.

Följaktligen snabbas analysprocessen upp. l en särskild utföringsform lagras en indikator till varje dataenhet av den komprimerade fullstorleksbilden.

Därigenom behöver inte de variabellängdkodade delarna avkodas för att lokalisera dataenheterna.

Genom att veta placeringen av dataenheterna är det möjligt att avkoda de differentiella DC-koefficienterna snabbt, eftersom DC-koefficienterna är de första koefficienterna i en dataenhet, och därmed möjliggöra skapande av en tabell eller lista av de absoluta DC-vårdena. Detta tillåter direkt åtkomst till vilken av dataenheterna i bilden som helst och det tillåter överhoppning av tidskrävande variabellängdkoder under avkodningen av en bild för mindre detaljerad visning.

Ett annat exempel på information som påskyndar analysen är en kombination av lagring av indikatorer till dataenheter så som beskrivits ovan och lagring av åtminstone några av DC-koefñcienterna, företrädesvis DC- koeffioienter relaterade till dataenheter som representeras av en lagrad 10 15 20 25 30 tji CLJ l".i "l .å Iíifi íïl 18 indikator. Genom lagring av dessa särdrag blir det möjligt att direkt alstra analyssärdrag från informationen som påskyndar analysen. l en utföringsform där alla dataenheterna och DC-koefficienterna hos fullstorleksbilden lagras som information som snabbar upp analysen kan en tabell alstras utan någon som helst avkodning eller med minimal ansträngning.

I ytterliggare ett exempel lagras DC-koefficienter av fullstorleksbilden som bilddata eller del av bilddata i den i storlek förrninskade bilden. När DC- koefficienterna behövs hämtas de sålunda från informationen som representerar den i storlek förminskade bilden. lndikatorerna till dataenheterna kan vara absoluta, d.v.s. den absoluta positionen i filen är angiven, eller relativa, d.v.s. positionen av dataenheten inom bildfilen är angiven i förhållande till föregående dataenhet, eller någon annan indikator som anger positionen. En fördel med absoluta indikatorer är att varje dataenhet kan nås oberoende och direkt. En fördel med relativa pekare är att varje pekare kan beskrivas genom användning av mindre minnesutrymme.

Så som diskuterades ovan kan nämnda särdrag som underlättar snabb manipulering av fullstorleksbilden extraheras under en tidsperiod som startar efter det att bilden har valts för visning samt kopplats till bildfilen som valts för visning, d.v.s. bilden som anges i steg 200 ifigur 5a, sedan kan den komprimerade bilden analyseras under bildmanipuleringsprocessen under vilken process nämnda i storlek förrninskade bild används. Dekomprlmering och/eller analys av den komprimerade fullstorleksbilden, steg 252 i figur Sa, för hämtning av nämnda särdrag kan startas så snart bilden som ska visas har valts eller så snart en första zoomningsinstruktion avseende bilden har tagits emot. Att vänta på den första zoomningsinstruktionen kan vara fördelaktig på grund av att ingen behandling av fullstorleksbilden påbörjas innan användaren ger uttryck åt ett intresse att manipulera bilden och sålunda minskas risken för slöseri av behandlingskapacitet på en bild som visas under bläddring bland bilderna. Genom att genomföra analysen parallellt med manipulationen kan det vara möjligt att åstadkomma icke fördröjd övergång mellan manipulering av den i storlek förminskade bilden och fullstorleksbilden, om analysen är slutförd innan fullstorleksbilden behöver användas för 10 15 20 25 30 533 185 19 manipuleringen, och då fortsätta snabb manipulering av bilden med hjälp av särdragen hämtade från analysen. Enligt en utföringsform kan dessutom en animation av manipuleringen visas när analysen genomförs eller under intervaller när analysen genomförs. Exempelvis kan en animerad inzoomningseffekt visas i samband med en inzoomningsmanipulering, kan en animerad roteringseffekt visas i samband med en roteringsmanipulering, kan en animerad glideffekt visas i samband med en panoreringsmanipulering. På så sätt blir risken att användaren upplever en fördröjning minimal. l en annan utföringsform kan indikatorer till en eller ett flertal MCUer och minst en absolut DC-koefficient relaterad till varje färgkomponent hos nämnda MCUer innefattas i bildinformationen som påskyndar analysen av fullstorleksbilden. Genom innefattande av dessa särdrag kan en inledande analys genomföras endast på det inzoomade bildområdet. Följaktligen resulterar detta i snabb analys eftersom det är möjligt att bara analysera en del av bilden. Vid 200% zoom resulterar detta i ungefär fyra gånger snabbare analys än om hela bilden hade behövt analyseras. Om bildvyn panoreras är bara ett parti av bildinformationen hos den nya vyn inte analyserad och sålunda kan analysen av resten av bildinformationen för den nya vyn analyseras väldigt snabbt.

Enligt en annan utföringsform av uppfinningen är bildinformationen som påskyndar analysen av hela bilden indikatorer till dataenheter hos den komprimerade fullstorleksbilden.

Enligt ytterliggare en annan utföringsform av uppfinningen är bildinformationen som påskyndar analysen av den komprimerade fullstorleksbilden indikatorer till dataenheter hos den komprimerade fullstorleksbilden samt absoluta DC-koefficienter relaterade till de angivna dataenheterna.

Antalet indikatorer till olika MCUer, vilka indikatorer är lagrade som bildinformation som snabbar upp analysen, kan variera från var och en av nämnda MCUer, varannan, var fjärde, var åttonde, etc. l en utföringsform lagras indikatorer till minst en MCU på varje rad av MCUer i bilden som bildinformation som påskyndar analysen av bilden. 10 15 20 E33 'lâš 20 I en utföringsform där något av förfaringssätten för lagring av bildinformation som påskyndar analysen av bilden som nämnts ovan realiseras, kan storleken hos den i storlek förminskade bilden sättas till samma storlek som bildskärmen.

Enligt en annan utföringsform behöver en bildfil så som beskrivits ovan inte nödvändigtvis hämtas från minnet hos anordningen som visar bilden utan kan laddas ner via kommunikationsorgan, t.ex. kommunikationsorgan 24 l mobiltelefonen i figur 2. Vidare kan bildfilen lagras på en extern server och hänvisas till i den bärbara anordningen genom en referens lagrad i den bärbara anordningen. information som påskyndar hanteringen av bilden kan dessutom lagras på den externa servern.

Enligt ytterliggare en annan utföringsform kan metoden för manipulering av en bild helt utföras på en extern server och den resulterande vyn kan överföras till den bärbara anordningen. På detta sätt blir det möjligt för externa servrar att behandla ett större antal bildmanipuleringar under en specifik tidsperiod, eftersom att bara de efterfrågade områdena behöver behandlas. Överföringen av den resulterande vyn kan göras via vilket nätverk eller kombinationer av nätverk som helst, t.ex. Internet, LAN, WAN, mobiltelefonnätverk, WlF|, landbaserade telefonnätverk etc.

Claims (14)

10 15 20 25 30 533 185 2 1 PATENTKRAV

1. Metod för ändring av en vy av en digital bild som ska sändas till en bildskärm, varvid nämnda metod innefattar: val av den digitala bilden för visning, hämtning av bilddata motsvarande ett första område hos den digitala bilden från en i storlek förminskad, med avseende på antalet bildpunkter, representation av den digitala bilden, sändning av nämnda hämtade bilddata motsvarande det första området till bildskärmen, analys av en fullstorleksrepresentation av den digitala bilden för inhämtning av särdrag som underlättar snabb manipulation av fullstorleksrepresentationen av den digital bilden genom att indikera positioner för datablock i fullstorleksrepresentationen och för användning vid hämtning och avkodning av specifika områden i den digitala bilden, där fullstorleksrepresentationen av den digitala bilden är lagrad som en komprimerad bild, där analysen utförs efter det att den digitala bilden har valts för betraktning och medan nämnda hämtade bilddata representerande det första området visas, där analysen innefattar generering av åtminstone en indikator till ett datablock i den digitala bildens fullstorleksrepresentationen, mottagande av en av användaren inmatad signal som begär att ett andra område, som representerar en del av den totala digitala bilden och som innefattar åtminstone ett delområde av det första området, ska skickas till bildskärmen, hämtning och avkodning av bilddata motsvarande det andra området hos den digitala bilden från en fullstorleksrepresentation av den digitala bilden genom användning av nämnda genererade åtminstone en indikator från analysen av fullstorleksrepresentationen av den digitala bilden för åtkomst av nämnda bilddata tillhörande det utvalda området, samt sändning av nämnda hämtade bilddata motsvarande det andra området till bildskärmen.

2. Metod enligt krav 1, vidare innefattande börja analysen av nämnda bilddata hos fullstorleksrepresentationen av den digitala bilden vid en tidpunkt 10 15 20 25 22 efter att den digitala bilden har valts för betraktning och innan nämnda bllddata som ska skickas till bildskärmen hämtats från en fullstorleksrepresentation av den digitala bilden.

3. Metod enligt krav 2, vidare innefattande lagring av den från analysen erhållna informationen.

4. Metod enligt något av kraven 1-3, varvid nämnda första område motsvarar en delmängd av den totala i storlek förminskade bilden.

5. Metod enligt något av kraven 1-4, varvid nämnda andra område motsvarar en förstoring av objekt i nämnda första område.

6. Metod enligt något av kraven 1-5, varvid nämnda andra område indikerar ett område vid en annan position, i relation till det första området, inom den digitala bilden.

7. Metod enligt något av kraven 1-6, varvid den i storlek förminskade representationen av nämnda digitala bild har en storlek som är en faktor k större än storleken på bildskärmsvyn, där faktorn kzi.

8. Metod enligt krav 1, varvid indikatorn till ett datablock är till den första dataenhet hos en minsta kodad enhet, MCU.

9. Metod enligt krav 8, varvid nämnda information från analysen av bllddata innefattar en absolut DC-koefflcient från de första datablocken hos varje färgkomponent l nämnda MCU.

10. Metod enligt något av kraven 8-9, varvid det finns minst en indikator till ett datablock i varje MCU-sveplinje.

11. Metod enligt något av kraven 1-10, varvid ett datablock är en dataenhet i en JPEG-kodad bild.

12. Metod enligt något av kraven 1-11, varvid metoden utförs i en server anordnad på avstånd från displayen och varvid sändningen av nämnda 533 185 23 hämtade biiddata representerande ett område som ska visas sänds till bildskärmen via ett nätverk.

13. Metod enligt något av kraven 1-12, vidare innefattande generering och visning av en animerad övergång meiian det visade första området och visningen av det andra området.

14. Metoden enligt något av kraven 1-11, varvid metoden utförs i en enhet som innefattar nämnda display.