FI117488B - Informaation selaus näytöllä - Google Patents

Description

117488 INFORMAATION SELAUS NÄYTÖLLÄ

Tekniikan ala

Keksintö liittyy yleisesti sellaisiin näyttölaitteisiin, joissa voidaan 5 selata tai vierittää näyttöruudussa esitettävää informaatiota. Keksintö koskee erityisesti kannettavia näytöllä varustettuja päätelaitteita, mutta keksinnön mukaista ajatusta voidaan käyttää myös suuremmissa näyttölaitteissa, jotka ;; voivat olla esim. paikalleen sijoitettuja mainostauluja.

10 Keksinnön tausta ' Näyttöjä on mm. kannettavissa elektroniikkalaitteissa, kuten matkapuhelimissa, tietokoneissa, ns. mobile-päätelaitteissa ja muissa älykkäissä päätelaitteissa. Informaation siirto näytölle laitteen käyttäjän nähtäväksi tapahtuu näissä laitteissa ainakin osittain prosessorin ohjaamana. Laite käsit-15 tää tyypillisesti myös näppäimistön, jonka avulla käyttäjä voi antaa laitteelle ohjauskäskyjä. Lisäksi on olemassa ns. kosketusnäyttöjä, jolloin käyttäjä ei tarvitse erillistä näppäimistöä, vaan käyttäjä ohjaa laitetta näytön pintaa kos- % kettamalla.

Näyttöruudulle mahtuu vain suhteellisen vähän informaatiota ker-20 rallaan näytettäväksi. Koska näytölle ei mahdu kerrallaan kuin tietty määrä informaatiota, esimerkiksi vain yksi karttasivu, käyttäjän pitää suhteellisen * · · : tiheään tahtiin suorittaa erityisiä toimenpiteitä näytöllä olevan informaation :*·]: selaamiseksi, ts. näytöllä olevan informaation muuttamiseksi. Informaation selaamiseksi käyttäjä voi ohjata näyttöä esim. liikuttamalla hiiren avulla osoit- • · · 25 timen (kursorin) tiettyyn kohtaan ja painamalla sitten hiiren näppäimiä.

Näyttöruudulla varustetuissa laitteissa käytetään erilaisia käyttöliit- .···. tyrniä, joiden avulla käyttäjä on yhteydessä laitteeseen. On olemassa esi- * * merkiksi puhekäyttöliittymiä tai graafisia käyttöliittymiä. Graafisten käyttöliit- s . tyrnien toimintaa voidaan ohjata erilaisten ohjauslaitteiden avulla, joita ovat * · · *;“* 30 mm. näppäimistö, kosketusnäyttö, erilaiset osoittimen ohjausmenetelmät se- kä muut prosessorin tai käyttöliittymän käyttäjälähtöiset ohjausmenetelmät.

• :*: Julkaisussa WO-9918495 kuvataan kädessä pidettävä laite, jossa f * * · · . olevaa erityistä painiketta painamalla aktivoidaan laitteen näytöllä oleva kuva ·. muuttumaan suuremmaksi tai pienemmäksi, toisin sanoen kuvan suurennos 35 muuttuu.

• · * · · * · · * · 2 117488 Käytettävyyden parantamiseksi on esitetty myös muunlaisia tekniikoita, joissa näytöllä esitettävässä kuvassa tapahtuu muutoksia vasteena laitteen liikuttamiselle. Käyttöliittymässä voidaan esimerkiksi hyödyntää laitteen kallistuksen tunnistusta. Niinpä esimerkkinä julkaisussa WO-9814863 5 kuvataan kädessä pidettävää näyttölaitetta, jossa on kallistuksen tunnistin laitteen kallistuskulman tunnistamiseksi. Näytön kuvaa voidaan vierittää vasteena kallistuksen suunnalle.

Patentissa US-5602566 esitetään informaatioprosessori, joka kykenee vierittämään näytön kuvaa vasteena kallistuksen tunnistimen havait-10 semalle laitteen kallistukselle. Kuvan vieritys on erityisen käyttökelpoinen selattaessa pitkiä luetteloja kuten puhelinluettelon kontaktitietoja.

Tunnetun tekniikan mukaisissa laitteissa on kuitenkin epäkohtia, jotka liittyvät laitteen käytettävyyteen, erityisesti informaation tai datan selaamiseen. Etenkin laitteen näyttöruudun pinta-alaa ’’suuremman” kuva- f 15 informaation esittäminen ja informaation selaaminen on hidasta ja vaikeaa.

Esimerkiksi laajan panoraamakuvan esittäminen pienen näyttöruudun avulla on hankalaa, eikä käyttäjä pysty tunnettujen menetelmien avulla kovinkaan nopeasti ja joustavasti selaamaan koko kuvaa. Näin ollen käyttäjän on vaikea hahmottaa koko kuvaa. Informaation selailu nykyisillä ratkaisuilla on hi-20 dasta ja hankalaa, koska ratkaisut perustuvat keinotekoiseen logiikkaan ja tarkkaan säännöstöön, joka täytyy opetella.

♦ · · ; Käyttäjän on siis vaikea hahmottaa näyttöruudun fyysistä kokoa :**): selvästi laajempia visuaalisia kokonaisuuksia. Jotta käyttäjä saisi käsityksen koko informaatiosta, hänen on mielessään yritettävä yhdistää osia näytön ··· 25 kulloinkin näyttämästä informaatiosta. Informaation selaaminen tunnetuilla menetelmillä ei kuitenkaan käytännössä onnistu kovinkaan luontevasti, kos- • » .···. ka menetelmät eivät pohjaudu ihmisen ns. luontaiseen toimintaan.

• ·

Pienikokoisissa kannettavissa laitteissa on lisäksi hankala sovel- . taa käytössä olevia osoittimen ohjausmenetelmiä. Tarkemmin sanottuna, * · * '···' 30 hankaluutena on osoittimen ohjaaminen suoraan, nopeasti ja tarkasti halut- tuun kohteeseen. Joissakin laitteissa osoittimen ohjaaminen vaatii käyttäjältä * molempien käsien käyttämistä, jolloin laitteen käyttö on useissa tilanteissa * · * * .***. hankalaa. Toisaalta laite tulee kalliiksi, jos siihen joudutaan osoittimen oh jaamiseksi lisäämään erilaisia ulkoisia välineitä, joiden jo ennalta tiedetään ··· 35 olevan suhteellisen herkkiä erilaisille mekaanisille vioille.

• · • * a • ** * a 3 117488

Keksinnön päämääränä on päästä eroon edellä mainituista epäkohdista ja saada aikaan ratkaisu, jonka avulla laitteen käyttö, erityisesti informaation selaus, saadaan entistä helpommaksi ja joustavammaksi.

5 Keksinnön lyhyt yhteenveto

Keksinnön tarkoituksena on saada aikaan näyttöjä ja näytöllä varustettuja laitteita varten ratkaisu, jonka avulla laitteen käyttö, erityisesti näytöllä esitettävän informaation valinta ja selailu saadaan nykyistä oleellisesti helpommaksi ja joustavammaksi.

10 Tämä päämäärä saavutetaan ratkaisuilla, jotka on kuvattu itsenäi sissä patenttivaatimuksissa.

Keksinnön ajatuksena on muodostaa tietty ennalta määrätty yksikäsitteinen riippuvuussuhde näytön orientaation (asennon) ja näytöllä esitettävän informaation välille niin, että tietty orientaatio antaa tietystä, fyysistä 15 näyttöä "suuremmasta” informaatiojoukosta aina saman osajoukon näytölle. 5 Näytön orientaatio määritetään haluttuun referenssipisteeseen tai -asentoon nähden. (Suuremmalla informaatiojoukolla tarkoitetaan tässä yhteydessä luonnollisestikin informaatiomäärää, jota ei käytännössä voida esittää sa- T? manaikaisesti näytöllä, jolloin informaatiota on selattava.) 20 Keksintö mahdollistaa suurenkin visuaalisen datamäärän selaami- i sen käyttäjän kannalta ns. luonnollisella menetelmällä, jolloin käyttäjän on : siis erittäin helppo käyttää näytöllä varustettua laitetta.

Keksinnön edullisessa toteutustavassa laite toimii informaation se- • · laamisen osalta oleellisesti samalla tavalla kuin kuvan katsominen peilistä.

• · · 25 Tämä tarkoittaa sitä, että näytölle tuodaan uutta informaatiota tai näyttöä se- lataan siten, että laite käännetään (käyttäjään nähden) eri asentoon. Tuolloin ^ #...t käyttäjälle voidaan sanoa ’’peilautuvan” jokin tietty osa suuremmasta data- ***** määrästä, ts. näytöltä on nähtävissä kulloinkin jokin tietty osa laajemmasta datakokonaisuudesta. Näyttölaite toimii siis edullisesti peilin tavoin näyttäen r.

*.:.* 30 esimerkiksi panoraamakuvasta kulloinkin käyttäjän silmiin peilimäisen geo- ··· metrian ja laitteen sijainnin ja/tai orientaation mukaisesti "heijastuvan" osan.

« • ;*. Koska selaaminen suoritetaan käyttäjän kannalta samalla tavalla kuin esim.

• · * · .**·. tavallisesta tasopeilistä kuvaa katsottaessa, on informaation selaaminen erit- • · *** täin helppoa. Näin ollen käyttäjä saa nopeasti käsityksen koko kuvasta ja sen 35 sisältämästä informaatiosta, vaikka kuva kokonaisuudessaan olisikin suhteel- • · lisen iso ja laaja.

4 117488

Menetelmä soveltuu käytettäväksi etenkin pienissä näyttöruuduissa, koska näytöllä näytetään kulloinkin osa suuremmasta kuvasta siten, että käyttäjä näkee näyttöruudulta kontrolloimansa alueen mainitusta suuremmasta kuvasta ikään kuin peilin pinnalta katsottuna.

5 Keksintö mahdollistaa lisäksi osoittimen ohjaamisen haluttuun kohtaan visuaalisessa datassa käyttäjän kannalta luonnollisella ja käytännöllisellä menetelmällä. Kun menetelmää käytetään kädessä pidettävän laitteen osoittimen ohjaamiseksi, vaatii osoittimen ohjaaminen käyttäjältä vain yhden käden käyttämistä. Toisin sanoen, osoittimen ohjaamiseksi tai informaation > 10 selaamiseksi käyttäjä kääntää laitteen näytön eri katselukulmaan. Edelleen etuna on se, että käyttäjä voi helposti ja nopeasti palata esimerkiksi edelliseen näytöllä esitettyyn kuvaan.

Menetelmää voidaan soveltaa myös kiinteästi paikallaan olevissa näytöissä. Koska käyttäjä ei tällöin voi muuttaa näytön orientaatiota näyttöä 15 kääntämällä, perustuu informaation selautuminen näissä näytöissä käyttäjän ja näytön väliseen suhteelliseen orientaatioon tai sen muutoksiin. Koska näyttö on kiinteä, suhteellinen orientaatio riippuu käyttäjän kulloisestakin si- ^ jainnista (katselukulmasta). '

Keksintö vähentää myös tarvetta käyttää laitteen ulkopuolisia me-20 kaanisia kytkimiä, näppäimistöä tai muita tunnettuja käyttöliittymän ohjausmenetelmiä tai erillisiä osoittimen ohjausmenetelmiä. Keksinnön eräässä to- «·· v 5 teutustavassa vältytään kokonaan käyttämästä edellä mainittuja laitteen ul- kopuolisia osia. Täten keksintö mahdollistaa tunnettuun tekniikkaan verrattu- :***: na kestävämpien laiterakenteiden toteuttamisen taloudellisesti edullisesti.

• · « 25 • ·

Kuvioluettelo • · ,···. Seuraavassa keksintöä ja sen edullisia toteutustapoja kuvataan tarkemmin viitaten esimerkinomaisesti kuvioihin 1-13, joissa * * · · 30 kuviot 1a-1d esittävät keksinnön mukaisen näyttölaitteen yleistä toimintaperi- aatetta, ; * • :*: kuviot 2a ja 2b sekä 3a ja 3b havainnollistavat panoraamakuvan selausperi- • * · · · .···. aatetta, kuvio 4 on lohkokaavio eräästä keksinnön mukaisesta laitteesta, .

··· ··· . · · ^ • · • * * * ·· · * · 5 117488 , kuviot 5-8 havainnollistavat näytöllä olevan informaation muutosta vasteena näytön ja käyttäjän välisen keskinäisen sijainnin/orientaation muutokselle, .

kuvio 9 esittää menetelmän erään muun toteutustavan käyttöliittymää var-5 ten, kuvio 10 esittää keksinnön mukaisen laitteen erästä toteutustapaa, kuviot 11 a-11 e havainnollistavat erilaisia tapoja informaation selaamiseksi, i kuvio 12 on vuokaavio, joka havainnollistaa menetelmän toimintaa, ja kuvio 13 esittää laitetta, joka toteuttaa kuvion 12 mukaisen toiminnan.

10

Keksinnön yksityiskohtainen kuvaus

Kuvioissa 1a-1d havainnollistetaan keksinnön mukaista periaatetta esittämällä laite 40, joka käsittää näytön 10 informaation esittämiseksi käyttäjälle 30. Laite voi olla esimerkiksi näyttö- tai mainostaulu, joka on sijoi-15 tettu kiinteästi paikalleen. Laite 40 käsittää lisäksi paikantimen 20 käyttäjän ja näytön välisen suhteellisen orientaation määrittämiseksi. Paikannin voi olla :· esim. liiketunnistimella varustettu videokamera, kuten jäljempänä esitetään.

Kuten kuvioista 1a-1d käy ilmi, käyttäjän sijainnin muuttuminen ^ suhteessa näyttöön vaikuttaa näytöllä 10 esitettävään informaatioon. Pai-20 kännin paikantaa tietyn referenssipisteen, esimerkiksi käyttäjän silmien sijainnin, minkä jälkeen se alkaa seurata ko. pisteen sijainnin muuttumista.

* Näytöllä esitettävää informaatiota selataan automaattisesti vasteena refe- :*·]: renssipisteen sijainnin muutokselle. Näytöllä esitettävän informaation selaa- minen voi luonnollisestikin olla vasteelleen muihinkin referenssipisteisiin kuin • ·· 25 silmiin. Käyttäjän kannalta näytöllä oleva informaatio selautuu periaatteessa samalla tavalla kuin peilillä peilatessa, eli käyttäjän näkemä informaatio on riippuvainen kulloisestakin katselukulmasta näyttöpintaan nähden samaan f *'* tapaan kuin käyttäjän peilistä näkemä kuva on riippuvainen kulloisestakin katselukulmasta peilipintaan nähden.

*·:·* 30 Keksinnön perusmuodossa katselukulma määrätään pelkästään - ··· referenssipisteen sijainnin perusteella, mutta periaatteessa voi myös esim.

{ ;·. käyttäjän pään tai kasvojen asento suhteessa näyttöön vaikuttaa näytöllä • · · ♦ .···. esitettävään informaatioon.

*

Seuraavassa selostetaan tarkemmin, miten näytön sijainti suh- i 35 teessä käyttäjään (suhteellinen orientaatio) vaikuttaa näytöllä olevaan ja • · :.‘*i käyttäjän näkemään informaatioon. Aluksi oletetaan, että henkilö on edennyt e 117488 niin lähelle näyttöä, että paikannin 20 on havainnut mahdollisen käyttäjän lähestyvän näyttöä. Paikantimen toiminta voi perustua esimerkiksi kameran ja liiketunnistimen käyttämiseen. Paikantimella on siis jokin ennalta määrätty ‘ toiminta-alue, jonka sisäpuolella olevan henkilön on mahdollista vaikuttaa 5 näytöllä näkemäänsä informaatioon.

Kuvion 1a tilanteessa on siis laitteen paikannin havainnut, että käyttäjä 30 liikkuu lähestyen näyttöä 10. Käyttäjän liikesuuntaa kuvataan nuolella 31. Tässä esimerkissä käyttäjä liikkuu oleellisesti näytön pinnan suuntaisesti, jolloin näytöllä esitettävä informaatio muuttuu nopeasti (muu-10 tosnopeus on edullisesti suoraan verrannollinen käyttäjän liikevektorin näyt-töpinnan suuntaiseen komponenttiin). Oletetaan, että esitettävä informaatio käsittää peräkkäisiä aakkosia lähtien A:sta. Kuviossa 1a käyttäjä näkee sijaintipaikaltaan aakkoset A.sta J.hin. Lisäksi käyttäjä näkee osan K.sta.

Kuvion 1b esittämässä tilanteessa on käyttäjän ja näytön pinnan 15 välinen kulma kasvanut jonkin verran verrattuna kuvion 1a mukaiseen tilanteeseen. Käyttäjän sijainnin muuttuminen on vaikuttanut siihen, että hän ei näe enää A-kirjainta. Tarkemmin sanottuna, käyttäjä näkee B-kirjaimen S

osaksi ja sen lisäksi kirjaimet C:stä L:ään kokonaan. Näytöllä oleva informaatio on siis muuttunut jonkin verran verrattuna kuviossa 1a esitettyyn näky-20 mään. Näkymä näytöllä selautuu ja muuttuu dynaamisesti käyttäjän sijaintipaikan perusteella. Toisin sanoen, informaatio selautuu näytöllä sen mu-: kaan, mihin suuntaan käyttäjä liikkuu suhteessa näyttöön. -.%

Kuvion 1c esittämässä tilanteessa käyttäjä sijaitsee aivan näytön edessä, mikä tarkoittaa sitä, että käyttäjän ja näyttöpinnan välinen kulma on • · · 25 edelleen jonkin verran kasvanut verrattuna kuviossa 1b esitettyyn tilantee-seen. Käyttäjän sijainnin muuttuminen on vaikuttanut siihen, että käyttäjä ei • · ..... näe enää osittainkaan B- tai C-kirjainta. Sen sijaan käyttäjä näkee uusina * » *“ kirjaimina M.n ja N:n. Lisäksi käyttäjä näkee D-kirjaimesta enää vain osan.

. Jos käyttäjän (referenssipisteen) sijaintipaikka ei muutu suhteessa näyttöön, • ♦ « *·[·" 30 käyttäjän näkemä informaatio pysyy muuttumattomana, toisin sanoen infor- maation selautuminen pysähtyy. | j ;*; Kuvion 1d esittämässä tilanteessa sijaintipaikan ja näytön pinnan .···. välinen kulma on jonkin verran pienentynyt verrattuna kuviossa 1c esitettyyn tilanteeseen. Käyttäjän ei tarvitse katsoa näyttöä jatkuvasti, vaan laite seuraa 35 käyttäjää, ja näyttö esittää käyttäjälle käyttäjän sijaintipaikan perusteella • · \*·: määräytyvän osan suuremmasta informaatiojoukosta. Tässä tilanteessa 7 117488 käyttäjä näkee näytöltä osan H-kirjaimesta ja kirjaimet l:stä R:ään kokonaan.

Verrattuna edellisessä kuviossa esitettyyn näyttämään käyttäjän on mahdol- # lista nähdä näytöltä uusina kirjaimina kirjaimet O, P, Q ja R.

Kuten edellä tuli esille, näytön toiminta voi perustua käyttäjän (ha-5 lutun referenssipisteen) sijainnin määrittämiseen laitteen tai näytön suhteen.

Eräässä toteutustavassa paikannin käsittää videokameran, jolloin näytön normaalin suuntaisesti kuvatusta videokuvasta etsitään esim. käyttäjän pään - ja silmien sijainti. Etsimisessä voidaan käyttää apuna esimerkiksi erilaisia heuristisia algoritmeja ja neuroverkkoa, jotka kuva kuvalta etsivät pään ja 10 silmien sijaintipaikkaa. Algoritmit toteutetaan käytännöllisimmin ainakin osittain ohjelmallisesti.

Eräs mahdollisuus on toimia siten, että kun ohjelmisto tai laite on paikantanut referenssipisteen tai -alueen, esim. silmien sijainnin, ohjelmisto tai laite keskittyy seuraamaan hieman aiempaa suppeampaa kuva-alaa refe- ' 15 renssipisteen ympärillä. Tällöin jatkossa on mahdollista löytää referenssipiste helpommin ja entistä nopeammin operaatioilla, jotka suoritetaan melko har- ^ vaan, esim. vain n. 30 kertaa sekunnissa. Kiinteästi asennetuissa laitteissa videokamera voi olla erillinen moduuli, jolloin kaikki liikkeeseen perustuva toiminta on luonnollisesti sidottu käyttäjän liikkumiseen kameran kiinteällä 20 kuva-alueella.

Videokuvan analysoinnin perusteella on siis mahdollista määrittää ··· : sekä laitteen suhteellinen orientaatio käyttäjään nähden että laitteen syvyys- :**[: suuntainen etäisyys käyttäjään nähden useita kymmeniä kertoja sekunnissa.

f: Keksinnön mukaisen käyttöliittymän toiminta voidaan siis toteuttaa täysin ··· ....: 25 pelkkään videokuvaan nojautuen, jolloin mitään erillisiä antureita ei välttä- mättä tarvita. Keksinnön toimintaperiaate on helpoiten toteutettavissa, jos se • φ ..... toteutetaan ainakin osaksi ohjelmallisesti.

• · *** Kannettavissa laitteissa on kiihtyvyysantureiden käyttäminen kui- . tenkin taloudellisesti edullisempaa kuin videokameran käyttäminen. Kannet- • · · *·|·* 30 tavissa laitteissa käytettäviä mittausvälineitä kuvataan tarkemmin jäljempä- :...: nä.

• Kuten aiemmin todettiin, selaamistoiminto on toteutettavissa oh- ··· · .***. jelmallisesti, jolloin ohjelmisto tarjoaa laitteessa käytettäville sovellusohjelmil- *·[ le rajapinnan, joka mahdollistaa sen, että sovellusohjelmat voivat tuoda näyt- 35 töä varten informaatiota suuremmalle piirtopinnalle kuin mitä näyttöön todel- • * lisuudessa kerrallaan mahtuu. Ohjelmiston avulla näytetään edullisesti kul- 8 117488 loinkin se osa piirtopinnasta näyttöruudulla, joka laitteen jo tunnetun suhteellisen tai absoluuttisen orientaation ja mahdollisesti myös sijainnin perusteella heijastuisi ns. ’virtuaalipeilin’ pinnasta. Täten sovellusohjelmistojen kehittäjien ei välttämättä tarvitse ottaa huomioon laitteen keksinnöllisiä käyttöliitty-5 mäominaisuuksia, vaan heille riittää, että he tietävät sen mitä tavallisestikin tarvitaan sovelluksien tekemisessä, eli minkä kokoista näyttöpintaa käytetään informaation välittämiseksi käyttäjälle. Vaikka näyttö olisikin fyysisiltä mitoiltaan pieni, ei näytön koko kuitenkaan rajoita katseltavan datan kokoa kovinkaan paljon, koska näytön selaaminen on helppoa ja nopeaa. Absoluut-10 tisella orientaatiolla tarkoitetaan tässä yhteydessä orientaatiota ennalta määrättyyn referenssiasentoon (’’nolla-asentoon") verrattuna. Kuten myöhemmin kuvataan, absoluuttinen orientaatio tarkoittaa käytännössä tyypillisesti orientaatiota maahan nähden.

Jotta keksinnön toiminta olisi paremmin ymmärrettävissä, otetaan 15 käyttöön käsite ’’selailtavan visuaalisen datan virtuaalinen sijainti todellisessa fyysisessä koordinaatistossa”. Mainittua käsitettä kutsutaan tästä lähtien - termillä’’datan sijainti”.

Keksinnön edullisessa toteutustavassa näyttöruutu näyttää siis käyttäjän kannalta toimivan (selaamisen osalta) periaatteessa kuten peili.

20 Näyttöruudulla kulloisellakin ajanhetkellä oleva kuva on se osa visuaalisesta datasta, jonka laitteen käyttäjä mieltäisi heijastuvaksi todellisesta peilistä, v 1 joka peilaisi ns. fyysistä mallia mainitusta visuaalisesta datasta sijoitettuna ’’datan sijaintiin”. Toisin sanoen, visuaalinen data, ’’kuva”, sijaitsee käyttäjän :***: kannalta fyysisessä käyttäjää ympäröivässä avaruudessa. Näyttöruutu toimii • · · ·...: 25 ns. virtuaalisena peilinä, ja käyttäjä voi tarkastella virtuaalista dataa katso- maila näyttöön. Näytöllä oleva dataa muuttuu, kun käyttäjä muuttaa omaa * * orientaatiotaan näyttöruudun pinnan suhteen tai kun näyttöruudun pinnan • · *** orientaatiota muutetaan suhteessa näyttöruutuun katsovaan henkilöön, muu- , toksen ollessa oleellisesti samanlainen kuin jos näyttöruutu olisi peili, jonka » « * *···* 30 orientaatio/sijainti käyttäjän suhteen muuttuu.

Näyttöruudun peilimäinen toiminta edellä kuvatulla tavalla edellyt- • ;*; tää ideaalitapauksessa, että näyttöruudulla olevaa kuvaa muutetaan, kun: • · · · .···, a) näyttöruudun sijainti tai orientaatio suhteessa fyysiseen ympä- ’** ristöön sidottuun koordinaatistoon muuttuu, ...T 35 b) käyttäjän sijainti (esim. silmien tai pään sijainti) suhteessa näyt- • · \*·: töruutuun sidottuun koordinaatistoon muuttuu, 9 117488 c) datan virtuaalinen sijainti suhteessa fyysiseen ympäristöön sidottuun koordinaatistoon muuttuu. Käytännössä virtuaalinen sijainti voi muuttua, jos datan talletuspaikka muistissa muuttuu niin, että "datan sijainti” muuttuu.

5 Jotta näytön toiminta vastaisi käyttäjästä peilin toimintaa, muute taan näytön kuvaa ainakin jommankumman kohdan a tai b mukaisesti. Jos vain toinen kohdista a tai b otetaan huomioon, ei näytön toiminta käyttäjän kannalta ole aivan niin peilimäinen verrattuna tilanteeseen, jossa näyttö toimii sekä kohdan a että kohdan b mukaisesti. Edullisimmassa toteutusvaihto-10 ehdossa näyttö toimii kaikkien mainittujen kohtien a, b ja c mukaisesti.

Kuvio 2a selventää menetelmän toimintaperiaatetta, kun käyttäjä selaa panoraamakuvaa. Kuviossa esitetään alue 15, joka kuvaa näennäistä panoraamakuva-aluetta eli sitä aluetta, jolla panoraamakuva näyttää sijaitsevan käyttäjän kannalta. Panoraamakuva on siis laaja ja yhtenäinen tasokuva, 15 josta selaamisen aikana näytetään eri osia. Alueen 15 esittäminen helpottaa menetelmän ja näytön toiminnan ymmärtämistä, vaikka aluetta 15 ei käytännössä olekaan tässä esitetyssä muodossa. Toisin sanoen, alueen 15 esittäminen auttaa ymmärtämään näytön toiminnan, kun näytöllä näytetään suuria asia- tai kuvakokonaisuuksia, joita ei saada mahtumaan halutussa esitys-20 koossa esimerkiksi kädessä pidettävän laitteen näytölle yhdellä kertaa. Tässä tilanteessa näyttöruudun oletetaan olevan suorakaiteen muotoinen, vaik- • *X‘ kakaan näyttöruudun muoto ei vaikuta keksinnön toimivuuteen.

Kun käyttäjä on nuolen 14 osoittamassa suunnassa näyttöön 10 nähden tai kun käyttäjä kääntää näytön 10 sellaiseen asentoon, että käyttä- * * * 25 jän katselukulma vastaa nuolen 14 osoittamaa suuntaa, näkee käyttäjä näy-töitä panoraamakuvan alueella 11 olevan osakuvan. Osakuva 11 on tässä tapauksessa panoraamakuvan vasen yläkulma käyttäjän kannalta katsottu- • · “* na. Jos käyttäjä tässä tilanteessa muuttaa sijaintipaikkaansa tai kun käyttäjä , muuttaa näytön orientaatiota siten, että hän katsoo näyttöpintaa jostakin ’·!·* 30 muusta katselukulmasta, selautuu myös näytössä esitettävä panoraamakuva **· vasteena näytön absoluuttisen tai suhteellisen orientaation muutokselle.

: ·*. Jos käyttäjä näkee näytöltä alueella 11 olevan kuvan ja jos hän .···. siinä tilanteessa muuttaa laitteen orientaatiota tai sijaintipaikkaansa esim.

• · *·’ siten, että uusi katselukulma tai käyttäjän sijaintipaikka on nuolen 16 osoit- - 35 tamassa suunnassa näyttöön nähden, käyttäjä näkee panoraamakuvasta

I I

:.*·· alueella 12 olevan osakuvan. Jos näyttö on kiinteästi paikalleen asennettu ja 10 117488 jos käyttäjän sijaintipaikka edellä kuvatussa tilanteessa muuttuu vain vaakatasossa näyttöön nähden, on käyttäjän ollut mahdollista nähdä yläosa pano-raamakuvasta kokonaan. Jos käyttäjä kääntää näytön orientaatiota takaisinpäin, selautuu näytön kuvainformaatio siten, että jossakin vaiheessa käyttäjä 5 jälleen näkee näytöllä alueella 11 olevan osakuvan.

Näyttö 10 siis toimii ainakin osaksi peilimäisesti. Peilimäisyys tarkoittaa tässä yhteydessä sitä, että kun käyttäjä selaa kuvainformaatiota, esitetään näytöllä aina sama informaatio, kun näytön pinta on samassa katselukulmassa käyttäjään nähden.

10 Käyttäjä aloittaa kuvan selaamisen tyypillisesti siten, että hän kat soo näyttöä aluksi suhteellisen kohtisuoraan, jolloin hän näkee näytöllä katselukulmaa vastaavan osakuvan. Kun käyttäjä muuttaa näytön orientaatiota tai sijaintiaan siten, että katselukulma muuttuu, selautuu näytettävä informaatio käyttäjän kannalta reaaliajassa vastaamaan uutta katselukulmaa.

15 Toisin sanoen, näytöllä esitettävä informaatio on riippuvainen katselukulmasta ja näytöllä on aina sama informaatio samasta katselukulmasta katsottuna.

Edellä sanottu pitää paikkansa, jos näytön näyttämän informaation koko on riippumaton näyttöpinnan ja jonkin ennalta määrätyn referenssipisteen välisestä etäisyydestä. Mainittuna referenssipisteenä voi olla esimerkiksi selaa- 20 jän silmät.

Oletetaan nyt, että käyttäjä pitää kädessään laitetta, joka käsittää ' ^ **· v : mainitunlaisen näytön 10, jonka avulla käyttäjä selaa esimerkiksi laajaa pa- j*\: noraamakuvaa. Alkutilanteessa käyttäjä katsoo näyttöä kohtisuoraan näytön pintaa vasten, jolloin hän näkee juuri kyseiseen katselukulmaan liittyvän ku- 25 van koko panoraamakuvasta.

Jos käyttäjä nyt muuttaa laitteen asentoa siten, että käyttäjästä .···. päin katsottuna näytön 10 yläreunan etäisyys suhteessa käyttäjän silmiin • · kasvaa ja näytön alareunan etäisyys suhteessa käyttäjän silmiin pienenee, . selautuu näyttö näyttämään informaatiota, jonka sijaintipaikka oletetussa ta- • · · 'l\l 30 sokuvassa on alkutilanteessa nähdyn kuvan yläpuolella.

• · *“·* Jos käyttäjä alkutilanteen jälkeen muuttaa laitteen asentoa siten, • että käyttäjästä päin katsottuna näytön 10 yläreunan etäisyys suhteessa • ·* · .***. käyttäjän silmiin pienenee ja näytön alareunan etäisyys suhteessa käyttäjän \ silmiin kasvaa, selautuu näyttö näyttämään informaatiota, jonka sijaintipaikka • · · 35 tasokuvassa on alkutilanteessa nähdyn kuvan alapuolella.

• · · • * · • · 11 117488

Jos käyttäjä alkutilanteen jälkeen muuttaa laitteen asento siten, että käyttäjästä päin katsottuna näytön 10 oikean reunan etäisyys suhteessa käyttäjän silmiin pienenee ja näytön vasemman reunan etäisyys suhteessa käyttäjän silmiin kasvaa, selautuu näyttö näyttämään informaatiota, jonka 5 sijaintipaikka tasokuvassa on alkutilanteessa nähdyn kuvan vasemmalla puolella.

Jos käyttäjä alkutilanteen jälkeen muuttaa laitteen asentoa siten, että käyttäjästä päin katsottuna näytön 10 oikean reunan etäisyys suhteessa käyttäjän silmiin kasvaa ja näytön vasemman reunan etäisyys suhteessa 10 käyttäjän silmiin pienenee, selautuu näyttö näyttämään informaatiota, jonka sijaintipaikka tasokuvassa on alkutilanteessa nähdyn kuvan oikealla puolella.

Kuvio 2b selventää edellä kuvattua toimintaperiaatetta. Kuviossa 2b esitetään alue 15, joka kuvaa näennäistä panoraamakuva-aluetta. Tässä tilanteessa oletetaan, että käyttäjä katsoo näytön pintaa kuviossa 2b olevan f 15 nuolen 16 osoittamasta katselukulmasta, jolloin käyttäjä näkee näytöllä osa-kuvan 12.

t Kun osakuva 12 on suorakaiteen muotoisella näytöllä, on näytön orientaatio käyttäjään nähden tyypillisesti sellainen, että käyttäjän silmien etäisyys näytön oikeaan yläkulmaan tai mainittua oikeaa yläkulmaa vastaa-20 vaan sijaintipaikkaan on suurempi kuin silmien etäisyys näytön vasempaan alakulmaan tai mainittua vasenta alakulmaa vastaavaan sijaintipaikkaan. |

IM

•V ! Kun käyttäjä nyt muuttaa näytön orientaatiota siten, että hän kat- Γ·\· soo näyttöä nuolen 17 osoittamasta katselukulmasta, selautuu näytölle alu- eella 18 oleva osakuva. Tässä tilanteessa käyttäjän silmien etäisyys näytön • · * 25 vasempaan yläkulmaan tai mainittua vasenta yläkulmaa vastaavaan sijainti- paikkaan on pienempi kuin silmien etäisyys näytön oikeaan alakulmaan tai 1 • · ,···. mainittua oikeaa alakulmaa vastaavaan sijaintipaikkaan. Edellä mainittu etäi- • · syys vasempaan yläkulmaan on orientaation johdosta ainakin pienentynyt, kun taas etäisyys oikeaan alakulmaan on orientaation johdosta kasvanut.

• · i 30 Näin ollen käyttäjä kokee selanneensa koko panoraamakuvan oikean reuna-alueen kokonaan, kun hän on muuttanut laitteen näyttöpinnan orientaatiota • selostetulla tavalla.

···· .···. Keksinnön mukaisesti näytöllä oleva informaatio muuttuu siis suo- • * ’·* rassa suhteessa katselukulman muutokseen, esim. kun käyttäjä kääntää 35 näyttöä katseen suuntaan nähden. Katselukulman muutosta on havainnollis- • · tettu kuvioissa 3a ja 3b esittämällä tilannetta kuvioihin 2a ja 2b nähden poi- ; 12 117488

kittaisessa tasossa, jolloin kulman muutos näkyy kuvioissa. Katselukulman muuttuessa kuvion 3a tilanteesta kuvion 3b tilanteeseen muuttuu myös näennäisestä panoraamakuva-alueesta 15 esitettävä osa-alue alueesta A

alueeksi B.

5 Edellä kuvatun ’’peilausperiaatteen” toimintaa voidaan havainnol listaa myös seuraavanlaisella "simulointiesimerkillä”. Käyttäjällä on kädessään peili ja kasvojensa edessä peiliä selvästi suurempi levy tms. jonka peilin puoleisella pinnalla on esitettävä informaatio peilikuvana. Ko. pinta muodostaa siis em. ’’datan sijainnin”. Levyssä on käyttäjän silmiä varten reiät, 10 joiden läpi käyttäjä näkee kädessään olevan peilin. Kun käyttäjä muuttaa peilin asentoa, muuttuu käyttäjän peilin kautta näkemä informaatio oleellisesti samaan tapaan kuin jos käyttäjällä olisi näytöllä varustettu laite kädessään.

Koska näytön koko on vakio, poikkeaa keksinnön mukainen ratkaisu optisesta mallistaan kuitenkin siten, että osakuvan koko (informaation määrä ja ko-15 ko) on riippumaton katselukulmasta. ;

Kuvio 4 esittää periaatekuvan eräästä keksinnön mukaisesta laitteesta 40. Laite käsittää näytön 10 ja paikantimen 20 lisäksi prosessorin 50, joka ohjaa laitteen toimintoja. Prosessorin yhteydessä on datamuisti 60 ' (RAM tai DRAM) ja ohjelmamuisti 70, johon on talletettu esimerkiksi laitteen 20 käyttöjärjestelmä. Laite voi olla esimerkiksi jokin kädessä pidettävä laite, kuten matkapuhelin. Ohjelmamuisti perustuu käytännössä esim. ns. Flash-:T: muistikortteihin. Muistien koot ja tarvittava prosessorin suorituskyky ovat luonnollisestikin sovelluksesta riippuvaisia.

• · .**·. Ohjelmamuistiin 70 voi lisäksi olla talletettuna erilaisia sovellusoh- ..[.i 25 jelmia, joiden avulla henkilö voi helposti suorittaa erilaisia tehtäviä kuten esi- • · . merkiksi kirjoittaa tekstiä, piirtää kuvia tai katsoa ja selata erilaisia informaa- * ... tiosivuja. Sovellusohjelmia ovat mm. tekstinkäsittely-, grafiikka- ja laskenta- • ♦ 4 *···* ohjelmat. Sovellusohjelmat ja niiden käyttämä data ladataan muistista 70 muistiin 60 ennen kuin ohjelmia pystytään käyttämään.

30 Laitteessa on lisäksi edullisesti erillinen näytönohjausyksikkö 90.

• · ·

Jotta datamuistia ei tarvitse käyttää näyttöinformaation tallettamiseen, näy-: !·. tönohjausyksikkö sisältää näyttömuistin, joka sisältää edelleen kuvapuskurin, johon on talletettu se informaatio, joka esitetään näytöllä (esim. alueet 11, 12 *·:* ja 18).

• .‘M' 35 Laite 40 käsittää lisäksi mittausvälineen 80, joka voidaan toteuttaa ί/·ί esimerkiksi moniakselisella kiihtyvyysanturilla, joka mittaa laitetta kädessään 13 1 1 7488 pitävän käyttäjän liikkeitä. Prosessori vastaanottaa kiihtyvyysanturin antamat mittaustulokset ja käsittelee ja tulkitsee niitä, joskin on mahdollista, että myös mittausväline suorittaa käsittelyn ja tulkinnan. Mittausväline 80 voi käsittää myös paikantimen 20 toiminnot (mm. liikkeen tunnistus), jolloin erillistä pai-5 kanninta ei tarvita.

Jos kysymyksessä on kannettava laite, laitteen muistiin, esim. RAM-muistiin 60, on talletettu tietty riippuvuussuhde laitteen orientaation ja näyttöä vastaavan muistiosoitteen eli kuvapuskurin sisällön (esim. alueet 11, 12, 18, A tai B) välillä. Prosessori määrittää siis näyttöruudun pinnan orien-10 taation käyttäjän tai referenssiasennon (gravitaation) suhteen. Prosessori voi lisäksi määrittää käyttäjän etäisyyden tai asennon näyttöruudun suhteen. Se, miten määritys tehdään ei ole keksinnön toiminnan kannalta kovin oleellista, vaan oleellisempaa on se, että laitteen absoluuttinen orientaatio vaikuttaa yksikäsitteisesti laitteen näyttämään informaatioon. Jos laite on kiinteä, riip-15 puvuussuhde on määritetty käyttäjän sijainnin ja näyttöä vastaavan muisti- > alueen eli kuvapuskurin sisällön välillä. Muistiavaruus voi olla toteutettu loogisesti esim. kaksiulotteisena (näyttöä vastaavana) avaruutena, jolloin prosessori aloittaa selauksen käynnistyessä uuden aloitusosoitteen (esim. näytön vasenta yläkulmaa vastaava muistiosoite) määrittämisen sen hetkisestä 20 aloitusosoitteesta siten, että lopullinen siirtymä muistiavaruudessa vastaa lopullisen orientaatiomuutoksen määrää ja suuntaa ja että muistissa olevan ··· v : informaation selausnopeus (näytön päivitysnopeus) on suoraan verrannolli- ^ Γ\: nen kiihtyvyyteen.

Kuvioissa 5-8 on havainnollistettu keksinnön erästä toista toteu- • 1 · 25 tustapaa, jossa näytöllä esitettävä informaatio riippuu (orientaation lisäksi) myös käyttäjän ja näytön välisestä etäisyydestä. Kuviossa 5 esitetään näyttö • · 10, jolta on nähtävissä graafiset kuviot 21 ja 22. Näyttöön katsovalle henkilöi- * » le näyttö siis toimii eräänlaisena peilinä, jonka avulla käyttäjä voi selata näy-. töllä olevaa informaatiota. Näytöllä esitettävä kuva näyttää peilautuvan käyt-

*;” 30 täjälle katselukulman mukaisesti. Jos käyttäjä muuttaa katselukulmaansa V

siten, että kuvio 21 selautuu keskelle näyttöä ja jos käyttäjän ja näytön väli- * : ;1; nen etäisyys pienenee, suurenee kuvion 21 koko kuvion 6 mukaisesti. Kun ,···. käyttäjän ja näytön välinen etäisyys edelleen pienenee, suurenee ja siten myös tarkentuu näytöllä oleva kuva kuvion 7 mukaisesti.

35 Kun käyttäjä katsoo kohtisuoraan näyttöä, näkee hän eräänlai- • · V·: seen referenssipisteeseen sidotun näyttämän informaatiosta. Mainittu refe- 14 117488 renssipiste on käytännössä mainitun näyttämän keskellä. Selatessaan käyttäjä siis käy läpi referenssipisteen ympärillä olevia näyttämiä, joista jokainen on vasteelleen laitteen tietynlaiselle orientaatiomuutokselle. Tietyn kuvan saamiseksi näytölle käännetään näyttö kuvaa vastaavaan katselukulmaan ja 5 näyttö on myös pidettävä mainitussa tietyssä katselukulmassa, jos näyttämää halutaan juuri sillä hetkellä katsoa pidempään. Edullisemmassa vaihtoehdossa laitteessa on kuitenkin näppäin tms. elin, jolla käyttäjä saa selauksen lukittua, jolloin hän voi kääntää näytön ko. katselukulmasta takaisin parhaaseen katseluasentoon ja tarkastella sitä informaatiota, joka näytöllä luki-10 tushetkellä oli. Tällaista käyttäjän käytettävissä olevaa lukituselintä on kuviossa 4 merkitty viitenumerolla 95. Selaus jatkuu tämän jälkeen riippuvaisena orientaatiomuutoksesta esim. siihen asentoon nähden, jossa laite on käyttäjän poistaessa lukituksen.

Kuviossa 8 käyttäjä on siirtynyt katsomaan näyttöä kauemmaksi ja 15 lisäksi hän katsoo näyttöä hieman eri katselukulmasta kuin kuviossa 5, jolloin kuviot 21 ja 22 ovat näytöllä pienemmässä koossa kuin kuviossa 5. Lisäksi huomataan, että näytöllä näkyy nyt uusi kuvio 23. Kuvio 23 on nyt nähtävissä näytöltä samanaikaisesti kuvioiden 21 ja 22 kanssa, koska käyttäjä siirtyi kauemmaksi näytöstä, jolloin näytöllä olevien kuvioiden koko pieneni vastee-20 na käyttäjän siirtymiselle kauemmaksi näytöstä.

Käyttäjän etäisyyden mittaus voi perustua em. videokameran li- i : säksi esim. ultraäänitutkaan, joka on kytketty A/D-muuntimen kautta proses- j V sorille.

Keksinnön mukainen menetelmä voidaan jakaa kahteen vaihee- ·:··· 25 seen, joista ensimmäisessä määritetään näytön absoluuttinen tai suhteelli- nen orientaatio ja/tai sijainti käyttäjään nähden. Toisessa vaiheessa orientaa- .···. tio- ja sijaintitieto on käytettävissä apuna esimerkiksi ns. virtual mirror -käyttö- € • · liittymän perustan luomiseksi. Erilaisia käyttöliittymätoteutuksia kuvataan tarkemmin seuraavassa.

• ♦ * *;“* 30 Käyttöliittymässä informaation selaus voi tapahtua monella eri ta- :*··: valla, vaikka edellä kuvattua perusperiaatetta noudatetaankin. Näytölle tuo- : tava informaatio voi nimittäin riippua paitsi edellä kuvatuista seikoista, myös ··· * .***. esim. käyttäjän liikkeistä tai liikkeiden suoritusnopeudesta. Näytön selautu- ·. misnopeus voi puolestaan olla riippuvainen esim. käyttäjän sijaintipaikan • · · 35 muutosnopeudesta, toisin sanoen käyttäjän liikkeen kiihtyvyyden suuruudes-

» * I

*. *: ta.

15 1 1 7488 Näyttöä voidaan selata lisäksi esimerkiksi siten, että portaaton selaus tapahtuu edellä kuvatulla tavalla ja sen lisäksi käyttäjä voi omilla liikkeillään siirtää informaatiota esim. sivu kerrallaan. Käyttäjä voi esim. liikauttaa päätänsä jonkin verran eteen- tai taaksepäin, jolloin näytölle tulee joko edel- ΐ 5 linen tai seuraava näytöllinen informaatiota. Vaihtoehtoisesti käyttäjä voi esimerkiksi kättään sopivasti liikauttamalla tai heilauttamalla selata sivu kerrallaan elektronista kirjaa, joka on ladattu laitteen muistiin. Käden liikkeen suunnalla voidaan valita sivun kääntösuunta. Kerrallaan selattavien sivujen määrä voi jopa vaihdella esim. niin, että suhteellisen pieni tai hidas heilautus 10 ja nopea pysäytys kääntää yhden sivun ts. yhden näytöllisen heilautuksen suuntaan tai haluttuun suuntaan, kun taas nopeampi ja laajempi heilautus selaa useamman sivun kerrallaan. Sivun kääntäminen tapahtuu näin ollen periaatteessa vastaavasti kuten perinteisen kirjan sivujen selaaminen ja sivuja voidaan juoksuttaa eteen- tai taaksepäin edellä kuvatun orientaatiomuu-15 toksen avulla. Näytön toimintaa voidaan edelleen käyttäjän liikkeiden perusteella ohjata siten, että informaation koko näytöllä pysyy muuttumattomana, ? vaikka henkilön etäisyys näytöstä muuttuisikin. >

Laitteessa voi olla myös esimerkiksi numerovalinta, joka voidaan toteuttaa ilman laitteen käsittämiä fyysisiä valintanäppäimiä. Numerovalinta 20 toteutetaan tuolloin siten, että käyttäjä selaa näyttöä, jolloin näytölle luotu virtuaalinen näppäimistö liikkuu, minkä jälkeen käyttäjä valitsee haluamansa { :T: numerot yksi kerrallaan. Näin ollen menetelmä mahdollistaa täysimittaisten :*·*: nettisivujen lukemisen ja selaamisen kämmenmikron avulla. ? • · .·*·. Menetelmän eräässä suoritusmuodossa näytöllä olevia kohteita 25 osoitetaan, minkä jälkeen suoritetaan osoitetun kohteen valitseminen. Koh- • · #>jt. teet voivat olla esimerkiksi valikon valintapainikkeita. Käyttäjä siirtyy valikosta ... toiseen selaamalla näyttöä esimerkiksi jollakin edellä kuvatulla tavalla. Kun • · *···* haluttu kohde tai valikko on löytynyt, valitsee käyttäjä kohteen esimerkiksi jollakin sopivalla liikkeellä tai painalluksella.

30 Kuviossa 9 esitetään tarkemmin menetelmän eräs toteutustapa ··· '.% ϊ.,.ϊ käyttöliittymää varten. Tässä toteutustavassa menetelmää käytetään näytöllä : !·, olevien symboleiden tai kohteiden valitsemiseksi. Symbolin tai jonkin koh- • · « teen valitseminen saa aikaan jonkin ennalta määrätyn toiminnan suorittami-"* sen laitteessa. Kuviossa esitetään alue 15, joka käsittää symboleista muo- ..*:* 35 dostuvan informaatiojoukon. Tässä suoritusmuodossa symbolit ovat aakko- siä, ja koko informaatiojoukko on mahdollista tuoda näytölle yhdellä kertaa.

117488 ' 16

On myös mahdollista, että käyttäjän kulloinkin valitsema osa informaatiojou-kosta näkyy näytöllä kerrallaan.

Kuviossa 9 esitetyssä toteutustavassa käyttäjä ohjaa tai selaa A

näytöllä näkemäänsä informaatiota siten, että hän näkee näytöllä aluksi alu-5 eella 20 olevat symbolit m, r, w. Tämän jälkeen käyttäjä tuo näytön lähemmäksi kasvojaan, jolloin näytöllä 20a näkyy vain symboli r. Nyt symboli r voi tulla valituksi, koska vain se on näytöllä. Valinta suoritetaan käyttäjän suorittaman liikkeen tai painalluksen perusteella.

Kuvio 10 esittää laitetta 40, joka käsittää näytön 10 ja paikantimen 10 20. Paikannin voi olla esimerkiksi videokamera, joka kuvaa laitteen käyttäjää.

Lisäksi laite käsittää painikkeen 102. Painike on esimerkiksi virtapainike, jonka avulla laite voidaan laittaa päälle tai pois päältä. Laitteen näytöllä on joukko virtuaalisia näppäimiä 105, 106, joiden valinta saa aikaa jonkin ennalta määrätyn toiminnan suorittamisen. Jos laite on esimerkiksi matkapuhelin, 15 voidaan puhelinnumero valita virtuaaliselta näppäimistöltä. Edelleen näyttö käsittää osoittimen 101. Käyttäjä voi muuttamalla laitteen orientaatiota selata tai liikuttaa näppäimiä osoittimen suhteen. Kun käyttäjän haluama näppäin on osoittimen päällä, käyttäjä suorittaa aiemmin selostetulla menetelmällä näppäimen valinnan, jolloin näppäimeen liitetty toiminto suoritetaan.

20 Osoitin on käytännössä täysin liikkumaton, eli sillä on kiinteä paik ka. Sen sijaan visuaalista dataa liikutetaan tai selataan. Koska näyttö toimii ··· : käyttäjän kannalta edullisesti peilin tavoin, käyttäjä voi liikuttaa visuaalista f**: dataa haluamaansa suuntaan näytöllä. Toisin sanoen, dataa on mahdollista :***: liikuttaa tai ajaa haluttuun kohtaan siten, että näytöllä paikallaan pysyvä osoi- • · · 25 tin osoittaa haluttua kohtaa visuaalisesta datasta. Vaikka osoittimella on kiin- • · teä paikka, näyttää osoitin laitteen käyttäjästä liikkuvan paikallaan pysyvän datan päällä, jota dataa käyttäjä peilaa näytön avulla. Näin ollen esimerkiksi • » mobiililaitteen käyttäjä voi helposti selata näytöllä olevaa dataa. Lisäksi käyt- . täjän on helppo osoittaa tai valita haluamiaan kohteita näytöltä.

• · · ‘•j·* 30 Kuvioissa 11a-11e esitetään muita tapoja toteuttaa käyttöliittymä.

*···: Kuviossa 11a esitetään laitteen 40 näyttöruutu 10, jolla on kuvainformaatiota.

♦ - • Kuviossa 11a laite on ns. perusasennossa käyttäjään nähden. Toisin sanoen ··♦ · .**·. laitetta pidetään esimerkiksi kädessä sellaisessa asennossa, että laitteen • · ·* näppäimiä on helppo painaa laitetta pitävän käden sormilla. Kun laite on pe- *·· ·*·: 35 rusasennossa, eivät esimerkiksi sormet ole näköesteenä näytöllä olevalle • · datalle, kun laitteen näppäimiä painetaan.

17 1 1 7488

Kuviosta 11a nähdään, että näytöllä oleva informaatio on A-kirjain.

Eräässä toteutusvaihtoehdossa näytöllä oleva data pysyy käyttäjään nähden samassa asennossa kuvion 11b esittämällä tavalla, kun laitetta käännetään kuvion 11a perusasennosta laitteen näyttöpintaa vasten kohtisuorassa ole-5 van akselin ympäri. Toisin sanoen, kuvion 11b mukaisessa ratkaisussa datan asento käyttäjään nähden pysyy muuttumattomana, koska data on kiinnitetty todelliseen fyysiseen koordinaatistoon.

Eräässä toisessa toteutusvaihtoehdossa näytöllä oleva kuvain-formaatio kääntyy näytön mukana kuvion 11c esittämällä tavalla, kun laitetta 10 käännetään kuvion 11a perusasennosta laitteen näyttöpintaa vasten kohtisuorassa olevan akselin ympäri. Tässä tapauksessa kuvainformaation asento muuttuu käyttäjään nähden, koska kuvainformaatiota ei ole kiinnitetty todelliseen fyysiseen koordinaatistoon, vaan näyttöruutuun.

Eräässä kolmannessa toteutusvaihtoehdossa näytöllä oleva kuva-15 informaatio kääntyy ja lisäksi sen koko muuttuu kuvion 11d esittämällä taval-la, kun laitetta käännetään kuvion 11a perusasennosta laitteen näyttöpintaa vasten kohtisuorassa olevan akselin ympäri. Kuvion 11 d tapauksessa kuva- δ informaation koko on kasvanut verrattuna kuviossa 11a olevan kuvainformaation kuvakokoon nähden. Kuvakoko pienenee, jos näyttöä käännetään 20 eri kääntösuuntaan. Kuvakoko muuttuu siis vasteena kiertokulman muutokselle.

*·· v : Eräässä neljännessä toteutusvaihtoehdossa näytöllä olevan kuva- • V informaation asento näyttöruudulla käyttäjään nähden ei ole muuttunut, vaik- ka laitetta on kuvion 11e mukaisesti on käännetty tai kierretty kuvion 11a pe-·;··; 25 rusasennosta laitteen näyttöpintaa vasten kohtisuorassa olevan akselin ym- pari. Lisäksi kuvion 11e tapauksessa kuvainformaation koko on kasvanut .···. verrattuna kuviossa 11a olevan kuvainformaation kuvakokoon nähden. Ku- • · vakoko näytöllä pienenee, jos näytön kiertosuuntaa muutetaan.

. Kuvioiden 11 mukaisissa toteutustavoissa laite voi käsittää • * · 30 useamman kuin yhden anturin liikkeen ilmaisemiseksi. Esim. kiertokulman c *···* muutosta varten voi olla oma anturinsa.

: Keksinnön mukaisessa laitteessa käytetty mittausväline laitteen * t · suhteellisen orientaation mittaamiseksi voi olla toteutettu esimerkiksi kiihty- • · · ·, vyysantureilla. Kiihtyvyysantureilta, jotka voivat olla esimerkiksi pietsosähköi- • · · ·;··* 35 siä tai kapasitiivisia, saadaan analoginen jännite, joka on verrannollinen lait- teen kiihtyvyyteen. Kiihtyvyysantureilla voidaan mitata kiihtyvyyksiä yksi-, ;.;*i : is 1 1 7 4 8 8 , kaksi- tai kolmiulotteisesti. Integroimalla anturilta saatavaa signaalia saadaan selville nopeus ja matka.

Kiihtyvyysantureilla on tyypillisesti ns. tilt-ominaisuus, joka mahdollistaa suurimman kiihtyvyyden suunnan jatkuvan määrittämisen. Mainittua 5 ominaisuutta voidaan käyttää laitteen orientaation määrittämiseksi. Koska suurin kiihtyvyys normaalissa käyttötilanteessa ja varsinkin orientaatiomuu-toksissa on tyypillisesti maan vetovoiman suuntaan, mahdollistaa tämä orientaation määrityksen maahan nähden (eli referenssiasentoon nähden).

Myös gyroskooppeja eri muodoissaan voidaan käyttää suhteelli-10 sen orientaation määrittämiseksi tietystä ajankohdasta eteenpäin. Mitattavina suureina voivat olla esimerkiksi kääntymiskulmat ja kiihtyvyydet.

Lisäksi magneettista pohjoisnapaa paikallistava elektroninen kompassi voi toimia absoluuttisen orientaation määrityksessä maan pinnan tangentin suuntaisesti. Edellä mainitut kolme anturityyppiä mahdollistavat ai- f 15 noastaan laitteeseen tai näyttöön sidotun koordinaatiston muodostamisen, koska käyttäjän liikkeistä laitteen suhteen ei välttämättä ole saatavissa aivan suoraa tietoa.

Kuviossa 12 esitetään vuokaavio menetelmästä, jota on mahdol- v lista käyttää sekä laitteen kiihtyvyyden ilmaisemiseksi että laitteen orientaa-20 tion muutoksen mittaamiseksi. Kuviossa 13 esitetään puolestaan laite 40, joka käsittää kiihtyvyyden mittausvälineen 231 ja ohjausvälineen 235, joka • · ·* on mahdollista toteuttaa esimerkiksi prosessorilla. Kiihtyvyyden mittausväline j'\: 231 voi olla esimerkiksi moniakselinen kiihtyvyysanturi, joka soveltuu laitteen orientaatiossa tapahtuvien muutosten mittaamiseen. Yhdestä tällaiselta kiih- ··· 25 tyvyysanturilta saadusta näytteestä voidaan määrittää laitteen orientaatio välittömästi. Orientaatiomittaus voi näin ollen olla päällä jatkuvasti, kun laite- .···. kin on päällä.

• * *** Laite asetetaan toimintavalmiuteen (päälle) vuokaavion esittä mässä menetelmävaiheessa 130. Käytännössä ohjausväline 235 suorittaa • · 30 laitteen asettamisen toimintavalmiiksi. Kun laite on toiminnassa, kiihtyvyys-anturi 231 mittaa jatkuvasti laitteen kiihtyvyyksiä.

• Λ • Prosessori lukee kiihtyvyysanturilta saatuja näytteitä jatkuvasti ja *·· t : .*··. määrittää niistä laitteen orientaation ja orientaatiomuutoksen edelliseen mit- \ taukseen nähden (vaiheet 131 ja 132). Tämän jälkeen prosessi haarautuu i * · * *;·! 35 sen mukaan, onko selaus jo käynnistetty vai ei, mikä testataan vaiheessa 133. Jos selausta ei ole vielä käynnistetty, prosessori tutkii, täyttyykö ennalta 19 1 1 7488 määrätty käynnistysehto (vaihe 134), jonka on täytyttävä selauksen aloittamiseksi. Jos näin ei ole, palataan takaisin vaiheeseen 131 lukemaan kiihtyvyysanturilta saatavaa dataa. Tässä tapauksessa on siis tulkittu, ettei orientaatiossa ollut tapahtunut riittävän suurta muutosta, joka indikoisi käyttäjän 5 halusta selata näytöllä olevaa informaatiota.

Jos orientaatiomuutos ylittää ennalta määrätyn kynnyksen, prosessori merkitsee selauksen käynnistetyksi (vaihe 136) ja määrittää selaus- ^ nopeuden sen hetkisen kiihtyvyysarvon perusteella (vaihe 138) sekä muuttaa näytöllä esitettävää informaatiota muistiin talletetun riippuvuussuhteen sekä 10 määritetyn selausnopeuden perusteella (vaihe 140).

Ennalta määrätystä riippuvuussuhteesta johtuen laitteen tietty orientaatio suhteessa käyttäjään tai gravitaatioon mapittuu aina virtuaalisen kuvan samaksi kohdaksi. Kyseessä on siis yksikäsitteinen riippuvuussuhde, joka kuvaa laitteen kulloisenkin orientaation siksi kuvan osaksi, joka esite- 4 15 tään näytöllä.

Jos vaiheessa 133 havaitaan, että selaus on jo käynnissä, pro- - sessori tutkii, täyttyykö ennalta määrätty pysäytysehto (vaihe 135). Jos ehto täyttyy, prosessori pysäyttää selauksen ja merkitsee selauksen pysäytetyksi (vaiheet 137 ja 139), muuten palataan vaiheeseen 131 lukemaan kiihtyvyys-20 anturilta saatavaa dataa.

Keksinnön toteutus etenkin kiihtyvyyden mittaamisen osalta voi ··· v ' luonnollisesti vaihdella monin tavoin. Liikkeen ilmaisun luotettavuuden paran- :***: tamiseksi voidaan esim. suorittaa orientaation muutoksen määrittely suu- remman näytejoukon perusteella.

* * * ·;··: 25 Vaikka keksintöä on edellä selostettu viitaten oheisten piirustusten mukaisiin esimerkkeihin, on selvää, ettei keksintö ole rajoittunut siihen, vaan

• I

.···. sitä voidaan muunnella oheisissa patenttivaatimuksissa esitetyn keksinnöin- sen ajatuksen puitteissa. Periaatteessa on jopa mahdollista ’’hienosäätöä" . ruudulla olevaa informaatiota katseen suunnan avulla, sen lisäksi, että no- • · · .

lii 30 peampi selaus tehdään orientaatiomuutoksen avulla. Tämä edellyttää kui- 4 tenkin tarkkaa videokameraa tms. silmien asennon selvittämiseksi. On myös • :*: mahdollista, että riippuvuussuhde on sellainen, että toiminta poikkeaa peilin *** * .···. toiminnasta. Tällöin saattaa käyttäjäystävällisyys kuitenkin heikentyä.

··· f.:··· • ♦ · *···.' • · • · * · * • *

Claims (15)

20 1 1 7 4 8 8

1. Menetelmä informaation selaamiseksi kädessä pidettävässä laitteessa, jossa on näyttö (10) ja välineet (231) laitteen kulloisenkin orientaation havaitsemiseksi, ja jossa menetelmässä esitetään näytöllä kulloinkin osa in- 5 formaatiota sisältävästä sivusta vasteena käyttäjän suorittamalle toimenpiteelle, tunnettu siitä, että määritetään ennalta näytön orientaation alkuasento tiettyyn refe-renssikoordinaatistoon nähden, 10 muodostetaan (132) yksikäsitteinen riippuvuussuhde näytön orien taation ja näytöllä kulloinkin esitettävän informaation osan välille mainitussa referenssikoordinaatistossa, ja selataan (140) näytöllä esitettävää informaatiota sisältävää si-vua/sivuja vasteena näytön orientaation muutokselle referenssikoordinaatis-15 tossa, jolloin kulloinenkin orientaatio, ja/tai näytön (10) kierto näyttöpintaa oleellisesti kohtisuorassa olevan akselin ympäri, määrää mainitun riippuvuus- suhteen perusteella sen informaatiota sisältävän sivun osan, informaation orientaation ja koon, joka esitetään näytöllä. -¾

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, 20 että pidetään näytöllä esitettävän informaation orientaatio muuttumattomana referenssikoordinaatistoon nähden, kun näyttöä kierretään näyttöpintaa vas-ten oleellisesti kohtisuorassa olevan akselin ympäri.

3. Patenttivaatimuksen 1 mukainen menetelmä, tu n n ettu siitä, • · \.I että näytöllä esitettävän informaation selausnopeus pidetään verrannollisena *"\ 25 laitteen orientaation muutosnopeuteen.

4. Patenttivaatimuksen 1 mukainen menetelmä, t u n n ettu siitä, j": että lisäksi :i määritetään käyttäjän etäisyys näytöstä, ja muutetaan näytöllä esitettävän informaation (21) kokoa määrityk-: 30 sen perusteella.

.···. 5. Patenttivaatimuksen 1 mukainen menetelmä, t u n n ett u siitä, 3 • · että määritetään ennalta tietty näytön orientaatio ja näytön ollessa tässä ·*··*: orientaatiossa näytöllä näytettävä tietyn informaation osa on aina sama. • * ·

6. Patenttivaatimuksen 1 mukainen menetelmä, t u n n ettu siitä, 35 että menetelmässä .·. : valitaan ainakin yksi käyttäjään liittyvä referenssipiste, ···.··. määritetään referenssipisteen etäisyys näytöstä, ja 21 1 1 7488 muutetaan näytöllä esitettävän informaation kokoa määrityksen pe- ? rusteella.

7. Patenttivaatimuksen 6 mukainen menetelmä, tunnettu siitä, että seurataan referenssipisteen liikettä ja määritetään referenssipisteen Hik- , , 5 keen muutos näyttöön nähden neuroverkon avulla. '

8. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että riippuvuussuhde muodostetaan niin, että näytöllä esitettävä informaatio muuttuu oleellisesti samaan tapaan kuin näyttöruudusta näkyvä kuva muuttuisi näyttöruudun ollessa tasopeili.

9. Visuaalista informaatiota välittävä laite (40), joka käsittää näyttöelimet (10) informaation esittämiseksi käyttäjälle, muistielimet (60, 70) näyttöelimien avulla esitettävän informaation tallentamiseksi laitteeseen, välineet (231) kulloisenkin orientaation havaitsemiseksi, ja 15 selauselimet näyttöelimillä esitettävän informaation selaamiseksi, jotka selauselimet ovat vasteellisia käyttäjän suorittamalle toimenpiteelle, tunnettu siitä, että laitteeseen on ennalta määritetty näytön orientaation alkuasento tiettyyn referenssikoordinaatistoon nähden sekä ennalta määritetty riippu-20 vuussuhde näytön orientaation ja muistielimien (60) sen alueen välillä, jolle talletettu informaatio määrää näytöllä esitettävän informaation, ja että laite käsittää lisäksi välineet näytön (10) kierron havaitsemiseksi • · ♦ •v. näyttöpintaa vasten oleellisesti kohtisuorassa olevan akselin ympäri, ja että • * mainitut selauselimet (235) käsittävät lisäksi (a) ensimmäiset elimet *·*] 25 esitettävän informaation muuttamiseksi mainitun riippuvuussuhteen mukaises- | ti vasteena näyttöelimien orientaation muutoksille ja (b) toiset elimet näytöllä * * esitettävän informaation orientaation ja koon muuttamiseksi vasteena näytön ··« kierrolle näyttöpintaa vasten oleellisesti kohtisuorassa olevan akselin ympäri.

10. Patenttivaatimuksen 9 mukainen laite, tunnettu siitä, että : 30 mainitut toiset elimet pitävät näytöllä esitettävän informaation orientaation ·***· muuttumattomana referenssikoordinaatistoon nähden, kun näyttöä (10) kier- ··· . *. retään näyttöpintaa vasten oleellisesti kohtisuorassa olevan akselin ympäri.

♦ · · : 11. Patenttivaatimuksen 9 mukainen laite, tunnettu siitä, että se ’···* käsittää lisäksi ^ *:· 35 etäisyyden mittauselimet käyttäjän ja näytön välisen etäisyyden " mittaamiseksi, ja • · 22 1 1 748 8 etäisyyden mittauselimille vasteelliset ohjauselimet näytöllä esitettävän informaation koon muuttamiseksi mitatun etäisyyden perusteella.

12. Patenttivaatimuksen 9 mukainen laite, tunnettu siitä, että se käsittää lisäksi selauksen estoelimet, jotka on sovitettu estämään mainittuja 5 toisia elimiä muuttamasta esitettävää informaatiota vasteena näyttöelimien orientaation muutoksille.

13. Patenttivaatimuksen 9 mukainen laite, tunnettu siitä, että laite käsittää lisäksi valintaelimet ainakin yhden käyttäjään liittyvän referenssipisteen 10 valitsemiseksi, ja seurantaelimet valitun ainakin yhden referenssipisteen liikkeen seuraamiseksi.

14. Patenttivaatimuksen 13 mukainen laite, tu n n ett u siitä, että referenssipisteen sijainnin muutoksen määrittämisessä käytetään neuroverk- 15 koa.

15. Luettavissa olevalle muistialustalle (70) talletettu ohjelmakoodi näytöllä varustettua päätelaitetta (40) varten, joka ohjelmakoodi sisältää suoritettavissa olevia ohjelmia, tunnettu siitä, että ohjelmakoodi on, päätelaitteen suorittaessa 20 ohjelmaa, sovitettu vastaanottamaan tietoja ainakin: a) päätelaitteen (40) orientaatiosta tiettyyn referenssitasoon näh- • i · ·· * den, • · · ,· ·· • · b) näytön kierrosta näyttöpintaa vasten oleellisesti kohtisuorassa • ♦ ***·] 25 olevan akselin ympäri, c) käyttäjään liittyvän referenssipisteen liikkeistä ja sijainnista, d) käyttäjän ja näytön välisestä etäisyydestä, ja :.,.i määrittämään ainakin päätelaitteen orientaation, näytön kierron, re ferenssipisteen liikkeen ja sijainnin sekä käyttäjän ja näytön välisen etäisyy- * :** 30 den vastaanottamiensa tietojen perusteella, ja ·**· ohjaamaan näyttöä niin, että näytöllä esitettävä informaatio muut- . *. tuu ennalta määrätyn riippuvuussuhteen mukaisesti vasteena näytön orien- • · · taation muutokselle referenssiasentoon nähden, jolloin kulloinenkin orientaa- !·.·: tio, ja/tai näytön kierto näyttöpintaa oleellisesti kohtisuorassa olevan akselin ·*· 35 ympäri, määrää mainitun riippuvuussuhteen perusteella sen informaatiota si- ···· sältävän sivun osan ja informaation koon, joka esitetään näytöllä. • · .: 23 117488