FI117308B - Eleohjausjärjestelmä - Google Patents

Eleohjausjärjestelmä Download PDF

Info

Publication number
FI117308B
FI117308B FI20040184A FI20040184A FI117308B FI 117308 B FI117308 B FI 117308B FI 20040184 A FI20040184 A FI 20040184A FI 20040184 A FI20040184 A FI 20040184A FI 117308 B FI117308 B FI 117308B
Authority
FI
Finland
Prior art keywords
gesture
application
data
gestures
program
Prior art date
Application number
FI20040184A
Other languages
English (en)
Swedish (sv)
Other versions
FI20040184A (fi
FI20040184A0 (fi
Inventor
Juha Kela
Panu Korpipaeae
Jani Maentyjaervi
Samuli Silanto
Heikki Keraenen
Tapani Rantakokko
Esko-Juhani Malm
Sanna Kallio
Jussi Holopainen
Jari Kangas
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Priority to FI20040184A priority Critical patent/FI117308B/fi
Publication of FI20040184A0 publication Critical patent/FI20040184A0/fi
Priority to CA2554917A priority patent/CA2554917C/en
Priority to EP05708127A priority patent/EP1711886A1/en
Priority to AU2005210778A priority patent/AU2005210778B2/en
Priority to PCT/FI2005/000039 priority patent/WO2005076114A1/en
Priority to US11/049,638 priority patent/US8819596B2/en
Publication of FI20040184A publication Critical patent/FI20040184A/fi
Application granted granted Critical
Publication of FI117308B publication Critical patent/FI117308B/fi
Priority to US14/324,476 priority patent/US20140325459A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Description

1 1 730-8
Eleohj ausj ärj este J mä
Keksintö koskee eleiden käyttöön perustuvaa, erityisesti matkaviestimessä toimivaa ohjausjärjestelmää. Keksintö koskee myös eleohj ausj ärjestelmän ohjelmiston sisältävää matkaviestintä.
5 Eleohjausjäijestelmä tarkoittaa jäijestelmää, jonka avulla jonkin aistein havainnoitavan sovelluksen hallinta tapahtuu ainakin osittain kädenliikkeillä. Ohjausjäijes-telmään kuuluvat sovellusta käyttävän henkilön käden mukana liikkuvat liikeanturit sekä näiden antamien signaalien muuntimet ja käsittelyohjelmat. Kädenliikkeet eli eleet tunnistetaan esimerkiksi niissä esiintyvien kiihtyvyyksien perusteella. Eleillä I 10 ohjattava sovellus voi olla esimerkiksi viestimeen ladattu peli tai jonkin ulkoisen | sähkömekaanisen laitteen ohjausohjelma. "Sovellus" tarkoittaa tässä selostuksessa I ja patenttivaatimuksissa sekä havaittavaa tapahtumaa että sen välittömästi toteutta vaa ohjelmaa.
Liikkeen koneellinen tunnistaminen sinänsä on ennestään tunnettua. Kiihtyvyysan-15 tureita käyttäviä tunnistusjäijestelmiä on esitetty mm. artikkeleissa "Recognizing Human Motion with Multiple Acceleration Sensors" (Mäntyjärvi & kumpp., IEEE International Conference on Systems, Man and Cybernetics, 2001) ja "Recognizing Movements of a Portable Handheld Device Using Symbolic Representation and Coding of Sensor Signals" (Flanagan & kumpp., International Conference on Mobi-20 le and Ubiquitous Multimedia, 2002) sekä julkaisussa WO 03/001340. Viimeksi- • * •Λ* mainitun (julkaisun) mukaiseen jäijestelmään sisältyy myös elekiijasto ja ohjelma, joka analysoi kiihtyvyysdataa ja selvittää, vastaako kyseinen data tiettyä kolmiulot-:***: teista elettä.
·· m * «··
Myös sovelluksen ohjaaminen kädenliikkeillä on ennestään tunnettua. Esimerkiksi
• V
’···* 25 julkaisussa WO 00/63874 on esitetty järjestelmä, jossa sovellus muuttaa tietokoneen näytöllä näkyvän kuvion muotoa ja liikuttaa sitä riippuen siitä, miten kädessä pidet-: tävää ohjauslaitetta kohdellaan. Ohjauslaitteessa on kiihtyvyysanturit kolmea ulot- • * * :: tuvuutta varten ja paineanturilla varustettu painonappi.
ψ • ♦ * » ♦
Kuvassa 1 on yksinkertaistettu kaavio, joka esittää tunnetun tekniikan mukaista so-30 velluksen liittämistä sen ohjausjärjestelmään. Koko jäijestelmässä on laitteistollinen osa HW ja ohjelmallinen osa SW. Laitteistollisesta osasta kuvaan 1 on piirretty an-turiyksikkö SU, tämän liitäntä IF, muisti MEM ja tietokoneväylä BUS. Ohjelmalliseen osaan kuuluu liitännän IF ohjain 140, käden liikkeitä vastaavien signaalien kä-sittelyohjelmisto 130, käden liikkeillä ohjattava sovellus 110 ja kyseisen tietoko- 117308 2 neen käyttöjärjestelmä OS. Ohjain 140 tallentaa liitännän IF digitaalimuotoon muuttamat elesignaalit muistiin MEM. Signaalinkäsittelyohjelmisto analysoi sitten ele-signaalit ja antaa ohjauksen sovellukselle. Signaalinkäsittelyohjelmisto on luonnollisesti sovitettava sovellukseen niiden välistä tiedonsiirtoa varten.
5 Haittana edellä mainitun kaltaisissa ohjausjäijestelmissä on niiden käytön rajoittuneisuus: Sovelluksen vaihtaminen toiseksi edellyttää muutostöitä ohjausjärjestelmän ohjelmistossa. Samoin järjestelmän siirto toisentyyppiseen tietokoneeseen vaatii ohjelmallista sovitustyötä.
Keksinnön tarkoituksena on vähentää mainittuja, tekniikan tasoon liittyviä haittoja 10 sekä laajentaa eleohjausjärjestelmien toteutusympäristöä matkaviestimiin. Keksinnön mukaiselle järjestelmälle on tunnusomaista, mitä on esitetty itsenäisessä patenttivaatimuksessa 1. Keksinnön mukaiselle matkaviestimelle on tunnusomaista, mitä on esitetty itsenäisessä patenttivaatimuksessa 19. Keksinnön eräitä edullisia suoritusmuotoja on esitetty muissa patenttivaatimuksissa.
15 Keksinnön perusajatus on seuraava: Eleohjausjäijestelmään kuuluu yleiskäyttöinen rajapinta komentoineen ohjattavia sovelluksia varten. Elesignaalien käsittelyohjel-misto sisältää opetusohjelman, ja opetetut, käyttäjän tekemät vapaamuotoiset eleet tallennetaan elekirjastoon. Käsittelyohjelmisto sisältää myös tunnistusohjelman, joka vertaa käyttäjän tekemiä eleitä tallennettuihin eleisiin ja valitsee näistä lähinnä 20 vastaavan eleen. Eleitä voidaan näin käyttää komentoina minkä tahansa sovelluksen : V: ohjaamiseksi, joka on konfiguroitu tai ohjelmoitu vastaanottamaan komentoja. Jär- *;**: jestelmä toteutetaan ensisijaisesti matkaviestimessä.
• * *·"' Keksinnön etuna on, että sama sovellus toimii eri matkaviestinmalleissa ilman mal- i 7 9 « ···* likohtaisia sovituksia. Tämä johtuu edellä mainitusta yleiskäyttöisestä rajapinnasta.
·...* 25 Vastaavasti tietyssä matkaviestimessä voidaan ajaa kaikkia sovelluksia, jotka käyt tävät määritettyjä rajapintakomentoja. Lisäksi keksinnön etuna on, että sen mukai-: sessa järjestelmässä voidaan helposti muodostaa ja ottaa käyttöön uusia ja erilaisia eleitä. Edelleen keksinnön etuna on, että se mahdollistaa matkaviestimen perusko-/ ; koonpanoon kuuluvien toimintojen ohjaamisen eleillä. Edelleen keksinnön etuna 30 on, että se laajentaa merkittävästi matkaviestimien vuorovaikutusmahdollisuuksia • * ‘ * pelisovellusten muodossa, »* •
Seuraavassa keksintöä selostetaan yksityiskohtaisesti. Selostuksessa viitataan ohei- ·· · siin piirustuksiin, joissa 117308 3 kuva 1 esittää kerroskaaviona tunnetun tekniikan mukaista sovelluksen liittämis-1 tä sen ohjausjärjestelmään, kuva 2 esittää kerroskaaviona keksinnön mukaista sovelluksen liittämistä sen ohj ausj ärj estelmään, 5 kuva 3 esittää keksinnön mukaisen jäijestelmän toiminnan yleisperiaatetta, kuva 4 esittää vuokaaviona esimerkkiä eleen opetusproseduurista keksinnön mukaisessa jäijestelmässä, kuva 5 esittää vuokaaviona esimerkkiä eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä, 10 kuva 6 esittää komentokaaviona esimerkkiä eleen opetusproseduurista keksinnön mukaisessa järjestelmässä, kuva 7 esittää komentokaaviona esimerkkiä painonappia käyttävästä eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä, kuva 8 esittää komentokaaviona esimerkkiä painonappia käyttämättömästä eleen 15 tunnistusproseduurista keksinnön mukaisessa jäijestelmässä ja kuvat 9a,b esittävät esimerkkejä keksinnön mukaisesta matkaviestimestä.
Kuva 1 selostettiin jo tekniikan tason kuvauksen yhteydessä.
··· ··*· Kuvassa 2 on kuvaa 1 vastaava kaavio keksinnön mukaisesta sovelluksen liittämi- « · ' · * -: sestä sen ohj ausj äq estelmään. Koko jäijestelmässä on laitteistollinen osa HW j a oh- 20 jelmallinen osa SW. Laitteistollisesta osasta kuvaan on piirretty tässäkin tapaukses- sa liikkeeseen reagoiva anturiyksikkö SU, tämän laitteistoliitäntä IF, muisti MEM ja tietokoneväylä BUS. Lisäksi näkyy audio-osa mahdollista käyttäjälle tarkoitettujen :***: ja/tai käyttäjältä tulevien ääniviestien käyttöä varten. Ohjelmalliseen osaan kuuluu liitännän IF ohjain 250, anturiliitäntä 240, käden liikkeitä vastaavien signaalien kä- : ;\ 25 sittelyohjelmisto 230, tämän ja käden liikkeillä ohjattavan sovelluksen 210 välinen [·*'] liitäntä 220, itse sovellus 210 sekä kyseisen laitteen käyttöjärjestelmä OS. Valinnai- • « *** sena osana ohjelmistossa SW on audioliitäntä 270 edellä mainittuja ääniviestejä var- :Λ: ten. Käyttöjärjestelmä voi olla esimerkiksi Symbian tai Linux. Käden liikkeitä vas- i.J taavien signaalien käsittelyohjelmisto on merkitty lyhyemmin "ele-käsittely" (gestu re 30 re engine) ja erilaisia liitäntä- eli sovitusohjelmia on merkitty lyhenteellä API (Ap-plication Programming Interface). Niinpä laiteliitännän IF ohjain on IF-API, anturi-liitäntä S-API ja sovelluksen ja mainitun ele-käsittelyn välinen liitäntä G-API. IF-API yhdessä S-APIn kanssa tallentaa digitaalimuotoon muutetut liikesignaalit muis 117308 4 tiin MEM, ja S-API ilmoittaa viesteillä kyseisen datan eli anturidatan ele-käsittelylle.
AnturiyksikkÖ SU voi olla isäntälaitteen sisäinen tai ulkoinen. Jälkimmäisessä tapauksessa siirtojäijestelmä anturiyksikön ja liitännän IF välillä voi perustua esimer-5 kiksi Bluetooth- tai infrapunatekniikkaan tai voi olla langallinen. Itse liikeanturit voivat olla kiihtyvyysantureita, kulmanopeuteen tai kulmakiihtyvyyteen reagoivia gyroskooppeja tai magnetometreja eli elektronisia kompasseja. Samassa anturiyksi-kössä voi esiintyä yhtä useampi anturityyppi. Kiihtyvyysantureita käytettäessä niitä on vähintään kaksi, mieluiten kuitenkin kolme kussakin kolmesta ulottuvuudesta ta-10 pahtuvan kiihtyvyyden mittaamiseksi. Anturiyksikössä voi lisäksi olla painonappi eleen aloittamisen ja lopettamisen ilmoittamiseksi ele-käsittelylle.
Liitäntä G-API sovelluksen ja ele-käsittelyn välissä muodostaa, kuten mainittua, yleiskäyttöisen eli standardinomaisen rajapinnan. Sovelluksella on myös rajapinta suoraan anturi-liitäntään S-API, jota rajapintaa voidaan käyttää sovelluksen ohjauk-15 sessa suoraan, kun varsinaista signaalinkäsittelyä ei tarvita. Liitäntä G-API, ele-käsittely ja anturiliitäntä S-API muodostavat yleiskäyttöisen alustan, jolle voidaan liittää erilaisia sovelluksia. Samoin tietty sovellus voidaan vaivatta asentaa eri koneisiin, joissa on kyseinen alusta.
Kuvassa 3 on keksinnön mukaisen jäijestelmän toiminnan yleisperiaate. Toiminnal-20 lisinä osina kuvassa on esitetty sovellus 310, tämän liitäntä 320, ele-käsittely 330 ja :Y: anturiliitäntä eli S-API 340. Ele-käsittelyssä näkyvät sen pääosat eleopetus ja ele- ·...: tunnistus. Nämä molemmat osat käyttävät käsittelymoduuleja esikäsittelyjä elesig- ,···. naalin rajaus. Tietty toimintavaihe käynnistyy sovelluksen ele-käsittelylle antamalla komennolla. Ele-käsittely palauttaa sovellukselle komennon edellyttämän vasteen.
4 "!! 25 Vasteen antaminen vaatii usein tietoa liikeantureiden liikkeistä. Tämän vuoksi ele- • * ”* käsittely jättää S-APIlle pyynnön anturidatasta, ja S-API vastaa ilmoittamalla datan, kun se on luettavissa muistista. Kuvassa 3 näkyy myös anturiyksikkö SU käyttäjän !· ! kädessä sekä esimerkki GES käden liikkeestä, joka tuottaa mainitun datan.
* · «44 .· . Määriteltyjen komentojen ja vasteiden joukko on esimerkiksi seuiaava. Taulukossa 30 tiettyä komentoa vastaava vaste on tämän komennon oikealla puolella.
4 4 4 « 444 j·' - kokoa opetusdata - opetusdata koottu 4 4 · 4 ··**. - aloita eleen opetus - ele opetettu - opetus epäonnistunut - aloita eleen tunnistus - ele tunnistettu 5 11730® ^ - tunnistus epäonnistunut I - ilmaise lepotila - anturit levossa | - päätä ele - ele tunnistettu | - ilmoita eleiden nimet - nimilista 5 - keskeytä komento - kiijaa ele I - poista eleen kiijaus | - poista ele j - nimeä ele uudelleen 10 Tärkeimpien komentojen ja vasteiden merkitys ilmenee tarkemmin kuvien 6-8 selostuksissa.
Kuvassa 4 on vuokaaviona esimerkki eleen opetusproseduurista keksinnön mukaisessa jäijestelmässä. Proseduuri sinänsä on ennestään tunnettu. Se perustuu HMM-algoritmiin (Hidden Markov Model), jota käytetään mm. puheen ja grafologisen 15 tekstin tunnistuksessa. Vaiheessa 401 opetusta toimeenpaneva henkilö on tehnyt vapaamuotoisen kädenliikkeen, ja anturiliitäntä S-API antaa liikkeen tuottaman an-turidatan ele-käsittelylle. Data koostuu analogisten anturisignaalien digitaalimuo-/1’ toon muutetuista näytteistä. Näytejonoja on kolme, joista kukin vastaa liikettä yh- dessä ulottuvuudessa. Vaiheessa 402 data normalisoidaan. Tämä tarkoittaa näyte- * * 20 määrien lisäämistä interpoloimalla tai vähentämistä desimoimalla määrätynpituisten .···. näytejonojen saamiseksi. Vaiheessa 403 data kvantisoidaan. Tämä tapahtuu koodis- ton CB (codebook) avulla. Koodisto sisältää kolmiulotteisia kiinteitä pisteitä, jotka kuvaavat eleiden tilaa. Tällaisen koodiston käyttö vähentää Iaskentakuormaa. Tu-loksena on yksiulotteinen, HMM:lie kelpaava merkkijono. Vaiheessa 404 tarkaste-25 taan, onko opetettava ele tehty tarpeeksi monta kertaa. Ellei ole, edellä kuvatut vai- II» ·** · heet 401-403 toistetaan. Jos ele on tehty tarpeeksi monta kertaa, määritetään sen mallille alkuparametrit kertyneen kvantisoidun datan perusteella (vaihe 405). Vai- * heessa 406 muodostetaan kyseisen eleen malli jonkin tarkoitukseen sopivan mene- .···. telmän, kuten HMM:n mukaisen Baum-Welch-algoritmin avulla. Tällöin lasketaan • · 30 todennäköisyyslaskentaa käyttäen arvot kolmelle parametrille, jotka edustavat elet- : '·· tä. Kukin parametri on matriisi sisältäen siten useita lukuja. Saadut parametriarvot * * * 407 ovat opetuksen lopputulos, ja ne tallennetaan elekiqastoon LIB, Baum-Welch-algoritmi on luonteeltaan iteroiva. Iteraatio suppenee sitä paremmin, mitä pienempi on lähdeaineiston hajonta. Kuitenkin hajonnalla on tietty optimiarvo. Jos se on sei 117308 6 västi optimiarvoa pienempi, tunnistusohjelma hylkää liian helposti käyttäjän tekemiä eleitä, ja jos hajonta on selvästi optimiarvoa suurempi, myöhemmän tunnistuksen tulos on epäluotettava.
Opetuksen tulosta voidaan luonnollisesti testata kokeilemalla eleen tunnistusta heti 5 opetuksen jälkeen seuraavassa selostettavan proseduurin mukaisesti. Luotettavuudesta saadaan arvio tekemällä useita kertoja eleitä, jotka ovat samankaltaisia kuin opetusvaiheessa ja 'Vähän sinne päin". Tällaiseen testaukseen voidaan liittää laitteessa mahdollisesti oleva puhesyntesaattori niin, että laite kertoo selväkielisesti tunnistamansa eleen nimen.
10 Koodisto CB on luotu kattavasti, erillisen erikoisalgoritmin avulla, joka käyttää mm. monelta henkilöltä kerättyä eledataa. Tuloksena saatava koodisto kelpaa muutoksitta eri henkilöiden käyttöön. "Geneerinen koodisto" tarkoittaa tässä ja patenttivaatimuksissa sellaista koodistoa. Geneerinen koodisto vaikuttaa niin, että myös opetetut eleet ovat riippumattomia käyttäjästä. Lisäksi jos yksittäinen opetettu ele 15 siirretään koneesta toiseen, se on heti käyttökelpoinen uudessa ympäristössä. Sellaisia eleitä voidaan jäljestää ladattavaksi Internetin kautta, ja ne voivat olla maksullisia.
Kuvassa 5 on vuokaaviona esimerkki eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä. Tämäkin proseduuri perustuu HMM-algoritmiin ja on si- ·.!:* 20 nänsä ennestään tunnettu. Vaiheessa 501 jätjestelmää käyttävä henkilö on tehnyt • · \ V kädellään jonkin liikkeen, ja anturiliitäntä S-API antaa liikkeen tuottaman anturida- tan ele-käsittelylle. Data koostuu nytkin esimerkiksi kolmesta näytejonosta, joista kukin vastaa liikettä yhdessä ulottuvuudessa. Vaiheissa 502 ja 503 tapahtuu datan normalisointi ja kvantisointi kuten kuvan 4 vaiheissa 402 ja 403. Vaiheessa 504 la- .***. 25 dataan laskuriin elekiijastoon tallennettujen eleiden lukumäärä I. Vaiheessa 505 lasketaan vertailuluku, joka kuvaa tunnistettavan eleen yhtäläisyyttä laskurin sisäl- : lön osoittamaan kiijasioituun eleeseen. Laskennassa käytetään kyseiselle kiijas- • · · *11/ toidulle eleelle määritettyjä parametriarvoja, ja se tapahtuu jonkin tarkoitukseen so- *·;·* pivan menetelmän, kuten HMM:n mukaisen Viterbi-algoritmin avulla. Tämän jäl- 2/.j 30 keen vähennetään laskurin sisältöä yhdellä (vaihe 506). Seuraavassa vaiheessa 507 tarkistetaan, onko laskurin sisältö nolla. Ellei vielä ole, toistetaan vaiheen 505 mu- *·* kainen laskenta, nyt suhteessa uuteen kiijastoituun eleeseen. Kun laskurin sisältö on nolla, eli kaikki kiijastoidut eleet on käyty läpi, arvioidaan saatuja vertailukuja, vai- • · *···' he 508. Arvioinnissa vertaillaan vertailulukuja keskenään ja tiettyyn raja-arvoon.
35 Vaiheessa 509 tehdään päätös. Jos jokin vertailuluvuista on havaittu selvästi suurimmaksi ja lisäksi se on suurempi kuin mainittu raja-arvo, ele katsotaan tunniste- tuksi. Valittu ele on kyseistä vertailulukua vastaava kiijastoitu ele. Jos mikään ver tailuluvuista ei ole selvästi suurin tai ne kaikki ovat mainitun raja-arvon alapuolella, elettä ei katsota tunnistetuksi.
7 1173®«
Kuvassa 6 on aikakaaviona esimerkki eleen opetusproseduurista keksinnön mukai-5 sessa järjestelmässä. Kaaviossa pystysuuntaiset katkoviivat tarkoittavat ohjelmiston toiminnallisia osia. Nämä ovat jäqestyksessä vasemmalta oikealle sovellus, "G" joka tässä tarkoittaa G-APIa ja ele-käsittelyn ylätasoa yhdessä, esiprosessointi, elesig-naalin rajaus ja S-APL Kaaviossa aika kasvaa alaspäin. Katkoviivan päällä oleva pystysuuntainen palkki tarkoittaa jaksoa, jolloin kyseinen ohjelmiston osa on aktii-10 vinen. Esimerkki koskee järjestelmää, jossa liikeanturiyksikkö on varustettu painonapilla, jonka tilatieto saatetaan S-APIn kautta ele-käsittelylle ja edelleen sovellukselle. Kaavio alkaa sovelluksen liitäntään G-API antamalla komennolla kokoa opetus data. Tätä on edeltänyt opetusproseduurin käynnistys sovelluksessa ja painonapin B painaminen. Komentoon sisältyy parametritietoina opetettavalle eleelle 15 valittu nimi, painonappi käytössä ja opetusdatan kokoamiselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu, ja tämä edelleen liitäntään S-API annettavan komennon aseta anturivastaanotin. Viimeksi mainittuun sisältyy mm. tieto siitä, millaisin väliajoin ele-käsittelylle toimitetaan datapaketteja. Seuraa vaksi S-API antaa elesig-20 naalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, joiden otsikossa mainitaan paketin koko määrättynä aikana. Tätä siirtoa jatkuu, kunnes painonappi ;v, päästetään takaisin ylös. Tällöin sovellus antaa G-APIlle komennon päätä ele, min- kä seurauksena ele-käsittelyssä elesignaalin rajaus saa komennon lopeta elesignaa- • f ... Iin keruu ja S-API komennon aseta anturivastaanotin. Viimeksimainitun parametrit "f 25 aiheuttavat näytteenoton lopetuksen. Elesignaalin rajaus antaa sisäiselle moduulil- • » t ·;;; leen komennon rajaa ele, joka moduuli siivoaa kerätyn raaka-datan poistamalla siitä määrättyjen kriteerien perusteella osat, jotka todennäköisesti eivät kuulu varsinaiseen eleeseen. Tällaisia asiaankuulumattomia osia dataan tulee pienistä tahattomista * kädenliikkeistä ennen ja jälkeen varsinaisen eleen. Kun asiaankuulumaton data on : 30 poistettu, elesignaalin rajaus antaa ele-käsittelyn ylätasolle vasteen elesignaali ke- X ; rätty, jolla varsinaisen eleen data ilmoitetaan. Ele-käsittely antaa sitten esiproses- !..* soinnille komennon normalisoi data, joka käynnistää varsinaisen eleen datan käsit- • « *·;·' telyn. Esiprosessointi suorittaa datan normalisoinnin ja kvantisoinnin, joista jäl- j*\. kimmäinen käynnistyy esiprosessoinnin sisäiselle moduulille annetulla komennolla 35 luonnostele ele. Sitten esiprosessointi antaa ele-käsittelyn ylätasolle ilmoituksen ele luonnosteltu. Datan rajauksen, normalisoinnin ja kvantisoinnin tuottamaa dataa kutsutaan tässä ja patenttivaatimuksissa "jalostetuksi dataksi" erotukseksi mainitusta 8 11730.8 raaka-datasta. Tämän jälkeen ele-käsittely antaa G-APIn avulla sovellukselle vasteen opetusdata koottu. Vasteen parametrina mainitaan, monesko opetettavan eleen toistokerta on kyseessä.
Edellä kuvattu toimintasekvenssi toistuu toistettaessa opetettava ele. Toistokertoja 5 on esimerkiksi 2-5. Kun toistaminen on lopetettu, sovellus antaa liitäntään G-API komennon aloita eleen opetus. Tämän parametrina on eleen nimi. Opetusproseduuri jatkuu tästä ele-käsittelyn sisäiselle moduulille annettavalla komennolla opeta ele, joka moduuli suorittaa kuvan 4 yhteydessä selostetun opetusalgoritmin. Lopuksi ele-käsittely antaa G-APIn avulla sovellukselle vasteen ele opetettu. Tämän para-10 metreinä ovat eleen nimi ja lasketut eleparametrien arvot.
Kuvassa 7 on aikakaaviona esimerkki eleen tunnistusproseduurista keksinnön mukaisessa jäijestelmässä. Tämäkin esimerkki koskee jäijestelmää, jossa kiihtyvyysan-turiyksikkö on varustettu painonapilla, jonka tilatieto saatetaan S-APIn kautta ele-käsittelylle ja edelleen sovellukselle. Kaavio alkaa sovelluksen liitäntään G-API an-15 tamalla komennolla aloita eleen tunnistus. Tätä on edeltänyt tunnistusproseduurin käynnistys sovelluksessa ja painonapin B painaminen. Komentoon sisältyy parametreinä tieto painonapin käytössäolosta ja tunnistukselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu, ja tämä edelleen liitäntään S-API annettavan komennon „ 20 aseta anturivastaanotin, kuten kuvan 6 opetusproseduurissa. Myös tästä eteenpäin
Ml toiminta on samanlaista kuin kuvassa 6 siihen asti, kun esiprosessointi antaa ele-'•v käsittelyn ylätasolle ilmoituksen ele luonnosteltu. Tunnistusproseduuri jatkuu tästä ele-käsittelyn sisäiselle moduulille antamalla komennolla tunnista ele, joka moduuli suorittaa kuvan 5 yhteydessä selostetun tunnistettavan eleen yhtäläisyyttä kiijastoi-"l· 25 tuihin eleisiin kuvaavien vertailulukujen laskennan ja arvioinnin sekä tekee päätök- sen eleestä. Tämän jälkeen ele-käsittely antaa G-APIn avulla sovellukselle vasteen «•t ele tunnistettu, mikäli ele todella on valittu. Vasteen parametrina on tunnistetun : eleen nimi.
* * * «t« * • 9 «
Kuvassa 8 on aikakaaviona toinen esimerkki eleen tunnistusproseduurista keksin-30 nön mukaisessa jäijestelmässä. Tämä esimerkki koskee jäijestelmää, jossa liikean- * * ; turiyksikköä ei ole varustettu painonapilla, tai ainakaan tätä ei käytetä. Kaavio alkaa sovelluksen liitäntään G-API antamalla komennolla ilmaise lepotila. Kyseessä on : * * anturiyksikön lepotila, joka on painonapin puuttuessa erikseen todettava, ennen kuin *...· mielekästä elesignaalia voidaan ruveta tallentamaan. Komennon parametreja ovat 35 lepotilalta vaadittava kesto ja lepotilan ilmaisuun sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon ilmaise 117308 9 lepotila, ja tämä edelleen liitäntään S-API annettavan komennon aseta anturivastaanotin. Seuraavaksi S-API antaa elesignaalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, jota siirtoa jatkuu, kunnes elesignaalin rajauksen sisäinen moduuli havaitsee anturiyksikön olleen määrätyn ajan lepotilassa ja antaa ilmoituk-5 sen lepotila ilmaistu. Elesignaalin rajaus antaa ele-käsittelylle ilmoituksen lepotila ja S-APIlle komennon aseta anturivastaanotin, jonka parametri aiheuttaa näytteenoton lopetuksen. Ele-käsittely puolestaan antaa G-APIn avulla sovellukselle vasteen anturit levossa.
Proseduuri jatkuu sovelluksen liitäntään G-API antamalla komennolla aloita eleen 10 tunnistus, jonka parametreinä ovat tieto painonapin puuttumisesta ja eleen suoritta miselle sallittu maksimiaika. Komento aiheuttaa ele-käsittelyn sisällä elesignaalin rajaukselle annettavan komennon aloita elesignaalin keruu. Tämän perusteella elesignaalin rajaus tässä tapauksessa käynnistää lepotilan ilmaisutoiminnan ja antaa liitäntään S-API komennon aseta anturivastaanotin. Seuraavaksi S-API jälleen an-15 taa elesignaalin rajaukselle anturisignaaleista otetut näytteet datapaketeissa, jota siirtoa jatkuu, kunnes elesignaalin rajauksen sisäinen moduuli havaitsee anturiyksikön olleen määrätyn ajan lepotilassa. Elesignaalin rajaus antaa sitten S-APIlle komennon aseta anturivastaanotin, jossa on näytteenoton lopetuksen aiheuttava parametri, ja sisäiselle moduulilleen komennon rajaa ele, joka moduuli siivoaa kerätyn 20 raaka-datan poistamalla siitä määrättyjen kriteerien perusteella osat, jotka todennä-köisesti eivät kuulu varsinaiseen eleeseen. Kun asiaankuulumaton data on poistettu, *·^β elesignaalin rajaus antaa ele-käsittelyn ylätasolle vasteen elesignaali kerätty, jolla • · · \ varsinaisen eleen data ilmoitetaan. Ele-käsittely antaa sitten esiprosessoinnille ko- mennon normalisoi data, joka käynnistää varsinaisen eleen datan käsittelyn. Esipro- • · *··;’ 25 sessointi suorittaa datan normalisoinnin ja kvantisoinnin ja antaa ele-käsittelyn ····* ylemmälle tasolle ilmoituksen ele luonnosteltu, kuten kuvien 6 ja 7 proseduureissa.
Tunnistusproseduuri jatkuu tästä kuten kuvassa 7 elekäsittelyn suorittaessa tunnistettavan eleen yhtäläisyyttä kiijastoituihin eleisiin kuvaavien vertailulukujen las-1' il kennan ja arvioinnin sekä tehdessä päätöksen eleestä. Lopuksi ele-käsittely antaa :***: 30 tässäkin tapauksessa G-APIn avulla sovellukselle vasteen ele tunnistettu, mikäli ele * · · / . todella on valittu. Vasteen parametrina on tunnistetun eleen nimi.
* · · • · ί.": Myös opetusproseduuri voidaan toteuttaa ilman painonappia. Ero kuvan 6 mukai- seen proseduuriin on tällöin vastaava kuin kuvan 8 proseduurin ero kuvan 7 prose- • · · *... duuriin: Tilanteen vaatiessa odotetaan, kunnes anturiyksikkö on lepotilassa.
• l 35 Tunnistusproseduuri voidaan myös pidentää koskemaan useampaa peräkkäistä elettä. Tällöin ensimmäisen eleen tunnistus tapahtuu kuten kuvassa 8. Seuraavan eleen 117308 ίο tunnistus käynnistyy joko välittömästi ilman sovellukselta tulevaa komentoa tai komennon perusteella ja uuden lepotilan ilmaisun jälkeen.
Kuvassa 9a on esimerkki keksinnön mukaisesta matkaviestimestä. Matkaviestimessä MS A on yksi tai useampi eleillä ohjattava sovellus. Yksittäinen sovellus voi olla 5 esimerkiksi matkaviestimen peruskokoonpanoon kuuluva toiminto, kuten siirtyminen tiettyyn valikkoon, tekstiviestin lähetys tai jokin kamerasovellus. Se voi olla myös matkaviestimessä alkujaan oleva tai siihen myöhemmin ladattu peli. Tällaisia sovelluksia varten matkaviestin on varustettu elesignaalien käsittelyohjelmistolla, joka käsittää opetusohjelman eleiden mallintamiseksi ja tunnistusohjelman eleiden 10 tunnistamiseksi. Käsittelyohjelmiston ja eleillä ohjattavan sovelluksen välinen lii-täntäohjelma muodostaa yleiskäyttöisen rajapinnan määriteltyjen komentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi sovellukselle. Anturiyksikkö SUA on sijoitettu matkaviestimen kuorien sisäpuolelle. Tämä rajoittaa käytettävät sovellukset sen tyyppisiksi, joissa eleohjausta annettaessa näytön 15 seuraaminen ei ole tarpeen.
Kuvassa 9b on toinen esimerkki keksinnön mukaisesta matkaviestimestä. Matkaviestin MSB on keksinnön kannalta samanlainen kuin kuvan 9a viestin MSA sillä erolla, että jäijestelmään kuuluva anturiyksikkö SUB on nyt erillinen laite. Tiedonsiirto anturiyksikön ja matkaviestimen välillä voi perustua esimerkiksi Bluetooth-20 tai infrapunatekniikkaan tai voi olla langallinen.
« • e·· y. Kuten edellä mainittiin, pelit muodostavat oman ryhmänsä eleillä ohjattavien sovel- • · | lusten joukossa. Kaupallinen pelisovellus voi sisältää pelissä käytettävien eleiden .···. parametriarvot, jotka tallennetaan peliä käynnistettäessä elekäsittelyn elekiijastoon.
• · | Peli voi olla luonteeltaan loihtimispeli, jossa kädenliikkeillä on näennäinen taikasi 25 vaikutus pelitapahtumiin. Eleet voivat olla vaikeustasoltaan erilaisia. Mitä vaike- • 1 ämmän eleen pelaaja onnistuu tietyssä tilanteessa tekemään, sitä tehokkaampi vaikutus sillä on. Porrastus voi koskea myös yksittäistä elettä. Vaikka pelaaja ei onnis-: tu tekemään sitä hyvin, GE laskee vertailuluvun ja antaa sen sovellukselle, jos ele vain erottuu muista eleistä. Vaikutus pelissä on tietenkin sitä pienempi, mitä pie-: 30 nempi on vertailuluku. Jos pelaajalle lasketaan pisteitä, näitä kertyy sitä enemmän, I./ mitä vaikeampia eleitä hän on tehnyt ja mitä tarkemmin hän on niitä tehnyt. Pelaajia T voi olla yksi tai useampia. Jälkimmäisessä tapauksessa toteutus voi olla verkkopeli » · s '·· siten että esimerkiksi kahdella pelaajalla on omat päätteensä ja eleinformaatio siirre- tään vastapelaajan päätteelle esimerkiksi GPRS:ää (General Packet Radio Service) 35 käyttäen. Pelaaja tekee esimerkiksi hyökkäyksen tietyn eleen avulla, toinen pelaaja 117308 11 näkee hyökkäyksen omalta päätteeltään ja puolustautuu yrittämällä tehdä jonkin riittävän voimakkaan vastaeleen tai sarjan heikompia eleitä määrätyn ajan sisällä.
Pelisovellus voi myös olla käynnissä myös tausta-ajona pelaajan tehdessä samalla jotain muuta. Pelaaja on esimerkiksi liittynyt johonkin usean pelaajan verkkopeliin. 5 Kun hänen hahmoaan vastaan kohdistetaan jokin toimi, pelisovellus syrjäyttää muut sovellukset kyseisen pelaajan päätteessä ja näyttää, mitä on tapahtumassa.
Kaksi pelaajaa voi pelata myös yhdellä laitteella. Tällöin myös anturiyksikköjä on oltava kaksi, ja kussakin anturidatapaketissa on tieto siitä, kumman pelaajan datasta on kysymys.
10 Peli voi myös olla ohjelmoitu siten, että se sallii uusien eleiden opetuksen ja käyttöönoton. Esimerkiksi koneelle opetetaan suhteellisen mutkikas liikesarja, ja peli I olisi yksinkertaisesti sellainen, että pelaajat vuorollaan yrittävät toistaa liikesarjaa I sovelluksen antaessa pisteitä. Kuvan 4 yhteydessä jo selitettiin, että käyttäjäriippu- I mattomia opetettuja mallieleitä voidaan siirtää koneesta toiseen Internetin kautta.
I 15 Esimerkiksi verkko-operaattori voi tarjota pelipalvelua siten, että keksinnön mukai- | sen päätteen omaavat henkilöt voivat ladata Internetistä opetettuja mallieleitä.
I Edellä on kuvattu keksinnön mukaista järjestelmää. Keksinnön toteutus eri kohdis saan voi luonnollisesti poiketa esitetystä. Keksinnön mukaisen liitännän G-API kori· mennot ja vasteet voidaan määritellä eri tavalla, Anturidatan muokkaaminen algo- :y; 20 riimille HMM sopivaan muotoon voidaan tehdä jollain muullakin prosessilla kuin • · kuvissa 4 ja 5 esiintyvällä datan normalisoinnilla ja tämän jälkeisellä kvantisoinnil-la. Koko HMM:n sijasta voidaan käyttää sekä opetuksessa että tunnistuksessa jotain muuta ratkaisua, kuten hermoverkkotekniikkaa tai bayes-tyyppisen verkon tekniik-”11 kaa. Eleen suorituksen alkaminen ja loppuminen voidaan ilmoittaa mainitun pai- 25 nonapin sijasta esimerkiksi ääniohjauksella puheentunnistuksella varustettujen laitteiden tapauksessa. Ääniviestejä voidaan käyttää myös vastakkaisessa suunnassa : niin, että sovellus ilmoittaa käyttäjälle tiettyjä tilanteita elekäsittelyn kautta laitteen **# audio-osan ja kaiuttimen avulla. Tätä tarkoitusta varten on oma komentonsa. Kek-: sinnöllistä ajatusta voidaan soveltaa eri tavoin itsenäisten patenttivaatimuksen 1 ja *···] 30 19 asettamissa rajoissa.
* · **» • » i · « ft ft 1 ft ft · ft··

Claims (31)

1. Eleohjausjärjestelmä, jossa on käyttäjän kädessä pidettävä, liikeantureita sisäl tävä anturiyksikkö (SU), anturidatan käsittelyohjelmisto (230; 330) sekä käsittely-ohjelmiston ja ohjattavan sovelluksen (210; 310) välinen liitäntäohjelma, joka käsit-5 telyohjelmisto käsittää opetusosan (331) eleiden mallintamiseksi ja tunnistusosan (332) eleiden tunnistamiseksi sovelluksen käytön aikana, tunnettu siitä, että mainittu liitäntäohjelma (220) muodostaa yleiskäyttöisen rajapinnan määriteltyjen komentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi sovellukselle.
2. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittuja komentoja ovat - "kokoa opetusdata" anturidatan keräämisen käynnistämiseksi opetustilanteessa - "aloita eleen opetus" opetettavaa elettä mallintavien parametrien laskennan käynnistämiseksi kerätystä anturidatasta 15 - "aloita eleen tunnistus" anturidatan keräämisen käynnistämiseksi tunnistustilanteessa - "päätä ele" anturidatan keräämisen lopettamiseksi - "ilmaise lepotila" liikeanturien liikkumattomuuden ilmaisun käynnistämiseksi, ja mainittuja vasteita ovat - "opetusdata koottu" eleen suorituskertakohtaisen jalostetun datan antamiseksi so-20 vellukselle - "ele opetettu" opetettavaa elettä mallintavien laskettujen parametrien antamiseksi * « ·’, V sovellukselle ·:··: - "opetus epäonnistunut" opetettavaa elettä mallintavien parametrien laskennan epäonnistumisesta ilmoittamiseksi sovellukselle 25 - "ele tunnistettu" sen ilmoittamiseksi sovellukselle, että jotain aiemmin opetettua , · *. elettä lähellä oleva ele on havaittu * * - "tunnistus epäonnistunut" sen ilmoittamiseksi sovellukselle, että jalostettu data ei . tunnistustilanteessa vastaa mitään aiemmin opetettua elettä ;;;* -"anturit levossa" sen ilmoittamiseksi sovellukselle, että liikeanturit ovat olleet • * *·;·' 30 määrätyn ajan suhteellisen liikkumattomia- » » "".
3. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu ope- T tusosa käsittää ohjelmat : *·· -anturidatan normalisoimiseksi (402) eli anturisignaaleista muodostettujen näyte- jonojen määräpituuteen saattamiseksi 35 - anturidatan kvantisoimiseksi (403) 13 1 1 7308 - opetettavan eleen mallintamiseksi (406) sen yhtä useamman toistokeiran tuottaman normalisoidun ja kvantisoidun datan perusteella määrättyä algoritmia käyttäen ja - mainitun mallintamisen tuottaman mallin parametri arvojen (407) tallentamiseksi elekiijastoon.
4. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu tunnistusosa käsittää ohjelmat - anturidatan normalisoimiseksi (502) eli anturisignaaleista muodostettujen näyte-jonojen määräpituuteen saattamiseksi - anturidatan kvantisoimiseksi (503) 10 -tunnistettavan eleen samankaltaisuuden määrittämiseksi (505) aiemmin opetettuun eleeseen nähden laskemalla tunnistettavasta eleestä saadun normalisoidun ja kvantisoidun datan ja aiemmin opetetun eleen tallennettujen tietojen perusteella vertailuluku määrättyä algoritmia käyttäen ja - eri opetettujen eleiden suhteen saatujen vertailulukujen arvioimiseksi (508) ja pää-15 töksen tekemiseksi (509) siitä, vastaako tunnistettava ele riittävällä tarkkuudella jotain opetettua elettä.
5. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat HMM-algoritmiin.
6. Patenttivaatimusten 3 ja 5 mukainen järjestelmä, tunnettu siitä, että mainittu ··· 20 algoritmi on Baum-Welch-algoritmi. ···· • · • · · v*[
7. Patenttivaatimusten 4 ja 5 mukainen järjestelmä, tunnettu siitä, että mainittu * : algoritmi on Viterbi-algoritmi. ·*** • «
8. Patenttivaatimusten 3 ja 4 mukainen järjestelmä, tunnettu siitä, että mainittu .··*. ohjelma anturidatan kvantisoimiseksi on järjestetty hyödyntämään koodistoa (CB), 25 joka sisältää kiinteitä, eleiden tilaa luonnehtivia kolmen ulottuvuuden pisteitä. •
9. Patenttivaatimuksen 8 mukainen järjestelmä, tunnettu siitä, että mainittu koo-disto on geneerinen koodisto. • · · —5
10. Patenttivaatimuksen 9 mukainen järjestelmä, tunnettu siitä, että mainitun ge- neerisen koodiston perusteella opetetut eleet ovat tunnistusvaiheessa käyttäjästä 30 riippumattomia ja siten kelvollisia siirrettäviksi laitteesta toiseen. * • · ·
11. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat hermoverkkotekniikkaan. 117308 14
12. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainitut ope-tusosa ja tunnistusosa perustuvat bayes-tyyppisen verkon tekniikkaan.
12 11731)8
13. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että käsittelyoh-jelmistoon kuuluu lisäksi ohjelma varsinaiseen eleeseen kuulumattomien osien pois- 5 tamiseksi anturidatasta.
14. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että siihen kuuluu lisäksi käsittelyohjelmiston rajapintana anturiyksikön suuntaan ohjelmallinen antu-riliitäntä (240; 340) määrämuotoisten ohjausten vastaanottamiseksi käsittelyohjel-mistolta ja määrämuotoisen anturidatan antamiseksi vasteena käsittelyohjelmistolle.
15. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää ainakin kahden ulottuvuuden kiihtyvyysanturit.
16. Patenttivaatimuksen 1 mukainen järjestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää ainakin yhden gyroskoopin.
17. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu 15 anturiyksikkö käsittää magnetometrin.
18. Patenttivaatimuksen 1 mukainen jäijestelmä, tunnettu siitä, että mainittu anturiyksikkö käsittää lisäksi painonapin eleen suorituksen alkamisen ja loppumisen .:. ilmoittamiseksi käsittelyohjelmistolle. a a a
* · • · · '·*·) 19. Matkaviestin (MSA; MSB), tunnettu siitä, että siinä on ohjausjärjestelmä 20 viestimessä toimivan sovelluksen eleillä ohjaamista varten, joka ohjausjärjestelmä käsittää liikeantureilta saatavan datan käsittelyohjelmiston sekä tämän ja mainitun sovelluksen välisen liitäntäohjelman, jolloin - mainittu käsittelyohjelmisto käsittää opetusosan eleiden mallintamiseksi ja tunnis- tusosan eleiden tunnistamiseksi sovelluksen käytön aikana, ja : .·. 25 -mainittu liitäntäohjelma muodostaa yleiskäyttöisen rajapinnan määriteltyjen ko- * * .···. mentojen vastaanottamiseksi sovellukselta ja määriteltyjen vasteiden antamiseksi *·’ sovellukselle. itä • « · ·
20. Patenttivaatimuksen 19 mukainen matkaviestin (MSA), tunnettu siitä, että **« mainittujen liikeantureiden muodostama yksikkö (SUA) on sen kuorien sisäpuolel- !V" 30 la. • · · • ·· • *
21. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että mainittu sovellus on matkaviestimen peruskokoonpanoon kuuluva toiminto. 117308 15
22. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että mainittu sovellus on jokin peli.
23. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että mainittu peli sisältää siinä käytettävien eleiden parametriarvot, jotka on jäljestetty tallennet- 5 taviksi mainitun käsittelyohjelmiston elekiijastoon peliä käynnistettäessä.
24. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että mainittu peli on loihtimispeli, jossa kädenliikkeillä on näennäinen taikavaikutus pelitapahtumiin.
25. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että mainitut 10 eleet ovat vaikeustasoltaan erilaisia, jolloin eleen vaikutus on sitä tehokkaampi mitä korkeampi sen vaikeustaso on.
26. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että yksittäisellä eleellä on ainakin kaksi vaikeustasoa, jolloin eleen vaikutus on sitä tehokkaampi mitä tarkemmin ele tehdään.
27. Patenttivaatimuksen 24 mukainen matkaviestin, tunnettu siitä, että mainittu peli on verkkopeli siten, että pelaajilla on omat päätteensä, ja eleinformaatio siirretään vastapelaajan päätteelle tietoliikenneverkon kautta.
28. Patenttivaatimuksen 22 mukainen matkaviestin, tunnettu siitä, että pelisovel- , v. lus sallii uusien eleiden opetuksen ja käyttöönoton. # * : 20
29. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että eleillä oh- « · · jättävien sovellusten lukumäärä on ainakin kaksi. « »i» « /··.
30. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että se käsittää lisäksi välineet ääniviestien vastaanottamiseksi käyttäjältä eleen suorituksen alkami- , sen ja loppumisen ilmoittamiseksi käsittelyohjelmistolle. ♦ # · • · m M f :*]*: 25
31. Patenttivaatimuksen 19 mukainen matkaviestin, tunnettu siitä, että se käsittää lisäksi välineet sovelluksen tilan ilmoittamiseksi käyttäjälle ääniviesteillä. ·««« ··♦ • * • · • · · 9 9 « Ψ • ♦ · • ♦· • · 16 1 17308
FI20040184A 2004-02-06 2004-02-06 Eleohjausjärjestelmä FI117308B (fi)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FI20040184A FI117308B (fi) 2004-02-06 2004-02-06 Eleohjausjärjestelmä
CA2554917A CA2554917C (en) 2004-02-06 2005-01-20 Gesture control system
EP05708127A EP1711886A1 (en) 2004-02-06 2005-01-20 Gesture control system
AU2005210778A AU2005210778B2 (en) 2004-02-06 2005-01-20 Gesture control system
PCT/FI2005/000039 WO2005076114A1 (en) 2004-02-06 2005-01-20 Gesture control system
US11/049,638 US8819596B2 (en) 2004-02-06 2005-02-01 Gesture control system
US14/324,476 US20140325459A1 (en) 2004-02-06 2014-07-07 Gesture control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20040184 2004-02-06
FI20040184A FI117308B (fi) 2004-02-06 2004-02-06 Eleohjausjärjestelmä

Publications (3)

Publication Number Publication Date
FI20040184A0 FI20040184A0 (fi) 2004-02-06
FI20040184A FI20040184A (fi) 2005-08-07
FI117308B true FI117308B (fi) 2006-08-31

Family

ID=31725666

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20040184A FI117308B (fi) 2004-02-06 2004-02-06 Eleohjausjärjestelmä

Country Status (6)

Country Link
US (2) US8819596B2 (fi)
EP (1) EP1711886A1 (fi)
AU (1) AU2005210778B2 (fi)
CA (1) CA2554917C (fi)
FI (1) FI117308B (fi)
WO (1) WO2005076114A1 (fi)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
CN100407223C (zh) * 2004-04-02 2008-07-30 诺基亚公司 一种用于手写识别的设备和方法
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US20080174550A1 (en) * 2005-02-24 2008-07-24 Kari Laurila Motion-Input Device For a Computing Terminal and Method of its Operation
US8147248B2 (en) * 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
JP4696734B2 (ja) * 2005-07-06 2011-06-08 ソニー株式会社 コンテンツデータ再生装置及びコンテンツデータ再生方法
US7519537B2 (en) * 2005-07-19 2009-04-14 Outland Research, Llc Method and apparatus for a verbo-manual gesture interface
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US7809214B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US7725288B2 (en) * 2005-11-28 2010-05-25 Navisense Method and system for object control
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US8139030B2 (en) * 2006-02-01 2012-03-20 Memsic, Inc. Magnetic sensor for use with hand-held devices
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
US8902154B1 (en) * 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7877706B2 (en) * 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US7889175B2 (en) 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
EP2171688A2 (en) * 2007-07-10 2010-04-07 Koninklijke Philips Electronics N.V. Object motion capturing system and method
US9843351B2 (en) 2007-07-26 2017-12-12 Nokia Technologies Oy Gesture activated close-proximity communication
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
US20090125824A1 (en) * 2007-11-12 2009-05-14 Microsoft Corporation User interface with physics engine for natural gestural control
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US20100052931A1 (en) * 2008-08-26 2010-03-04 Gm Global Technology Operations, Inc. Gesture control key fob
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100095251A1 (en) * 2008-10-15 2010-04-15 Sony Ericsson Mobile Communications Ab Linkage between motion sensing and position applications in a portable communication device
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
PL2325421T3 (pl) * 2009-10-22 2017-06-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kluczyk zapłonu samochodu, urządzenie nawigacyjne samochodu, system samochodu oraz sposób
TWI497350B (zh) * 2009-11-24 2015-08-21 Compal Electronics Inc 具有非觸控感應功能的可攜式裝置及其程式控制程序啟動方法
US9274594B2 (en) * 2010-05-28 2016-03-01 Microsoft Technology Licensing, Llc Cloud-based personal trait profile data
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US20120016641A1 (en) 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
US8479110B2 (en) 2011-03-20 2013-07-02 William J. Johnson System and method for summoning user interface objects
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US8885878B2 (en) * 2011-07-22 2014-11-11 Microsoft Corporation Interactive secret sharing
KR101822581B1 (ko) 2011-09-05 2018-01-26 삼성전자주식회사 움직임에 기반하여 애플리케이션 속성의 조절이 가능한 단말기 및 그 방법
EP2761406A4 (en) 2011-09-30 2015-05-13 Intel Corp DETECTION OF SEGMENTATION OF GESTURE DATA IN MOBILE DEVICES
US8876604B2 (en) 2011-10-03 2014-11-04 Bang Zoom Design, Ltd. Handheld electronic gesture game device and method
US9494973B2 (en) 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
DE102012025564A1 (de) * 2012-05-23 2013-11-28 Elmos Semiconductor Ag Vorrichtung und Verfahren zur Kalibration einer kalibrierbaren Gestenerkennungsvorrichtung zur Übermittlung von Kommandos und Informationen an eine Mensch-Maschineschnittstelle
FR2999316A1 (fr) * 2012-12-12 2014-06-13 Sagemcom Broadband Sas Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
EP3005280B1 (en) 2013-05-30 2019-05-08 Atlas Wearables, Inc. Portable computing device and analyses of personal data captured therefrom
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CN111258378A (zh) 2013-08-07 2020-06-09 耐克创新有限合伙公司 具有姿态识别和功率管理的腕戴式运动装置
DE202014010352U1 (de) 2013-09-12 2015-06-17 Mechaless Systems Gmbh Gestenerkennungsvorrichtung
US20150297986A1 (en) * 2014-04-18 2015-10-22 Aquifi, Inc. Systems and methods for interactive video games with motion dependent gesture inputs
US20160059120A1 (en) * 2014-08-28 2016-03-03 Aquimo, Llc Method of using motion states of a control device for control of a system
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10459687B2 (en) 2017-03-28 2019-10-29 Wipro Limited Method and system for controlling an internet of things device using multi-modal gesture commands
US11204806B2 (en) * 2018-06-03 2021-12-21 Apple Inc. Systems and methods for user adaptive resource management
CN116360603A (zh) * 2023-05-29 2023-06-30 中数元宇数字科技(上海)有限公司 基于时序信号匹配的交互方法、设备、介质及程序产品

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5393073A (en) * 1990-11-14 1995-02-28 Best; Robert M. Talking video games
US6418424B1 (en) * 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
CA2089784C (en) * 1992-04-15 1996-12-24 William Joseph Anderson Apparatus and method for disambiguating an input stream generated by a stylus-based user interface
US6239389B1 (en) * 1992-06-08 2001-05-29 Synaptics, Inc. Object position detection system and method
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6285380B1 (en) * 1994-08-02 2001-09-04 New York University Method and system for scripting interactive animated actors
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US5795228A (en) * 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
IL121574A0 (en) * 1997-08-18 1998-02-08 Creator Ltd Techniques and apparatus for entertainment sites amusement parks and other information and/or entertainment dispensing sites
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
US6112021A (en) * 1997-12-19 2000-08-29 Mitsubishi Electric Information Technology Center America, Inc, (Ita) Markov model discriminator using negative examples
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
DE19806024A1 (de) * 1998-02-13 1999-08-19 Siemens Nixdorf Inf Syst Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6304674B1 (en) * 1998-08-03 2001-10-16 Xerox Corporation System and method for recognizing user-specified pen-based gestures using hidden markov models
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
AU4473000A (en) 1999-04-20 2000-11-02 John Warren Stringer Human gestural input device with motion and pressure
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6561811B2 (en) * 1999-08-09 2003-05-13 Entertainment Science, Inc. Drug abuse prevention computer game
US6694044B1 (en) * 1999-09-16 2004-02-17 Hewlett-Packard Development Company, L.P. Method for motion classification using switching linear dynamic system models
GB2358108A (en) 1999-11-29 2001-07-11 Nokia Mobile Phones Ltd Controlling a hand-held communication device
US7183480B2 (en) * 2000-01-11 2007-02-27 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6503086B1 (en) * 2000-04-25 2003-01-07 Michael M. Golubov Body motion teaching system
JP4020567B2 (ja) * 2000-05-15 2007-12-12 株式会社コナミデジタルエンタテインメント ゲーム機およびそのゲーム環境設定ネットワークシステム
AU2001286645A1 (en) 2000-08-31 2002-03-13 Zframe, Inc Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
FR2816722B1 (fr) * 2000-11-15 2003-02-07 France Telecom Procede et systeme de commande d'un element a retour d'effort
FI20002841A (fi) * 2000-12-22 2002-06-23 Nokia Corp Menetelmä päätelaitteen näytön ohjaamiseksi
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6826477B2 (en) * 2001-04-23 2004-11-30 Ecole Polytechnique Federale De Lausanne (Epfl) Pedestrian navigation method and apparatus operative in a dead reckoning mode
US20030055640A1 (en) * 2001-05-01 2003-03-20 Ramot University Authority For Applied Research & Industrial Development Ltd. System and method for parameter estimation for pattern recognition
US20030028498A1 (en) * 2001-06-07 2003-02-06 Barbara Hayes-Roth Customizable expert agent
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
WO2003001340A2 (en) * 2001-06-22 2003-01-03 Motion Sense Corporation Gesture recognition system and method
FI110549B (fi) 2001-06-29 2003-02-14 Nokia Corp Menetelmä ja järjestely liikkeen määrittämiseksi
NO315679B1 (no) * 2001-10-19 2003-10-06 Dmates As Rik kommunikasjon over internett
US6687390B2 (en) * 2001-12-04 2004-02-03 Applied Neural Conputing Ltd. System for and method of web signature recognition system based on object map
US6564144B1 (en) * 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
JP3733075B2 (ja) * 2002-02-07 2006-01-11 株式会社国際電気通信基礎技術研究所 インタラクション・メディアシステム
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
TW554293B (en) * 2002-03-29 2003-09-21 Ind Tech Res Inst Method for extracting and matching hand gesture features of image
US7366645B2 (en) * 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US7321854B2 (en) * 2002-09-19 2008-01-22 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
DE60215504T2 (de) * 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
US7618323B2 (en) * 2003-02-26 2009-11-17 Wms Gaming Inc. Gaming machine system having a gesture-sensing mechanism
US7454342B2 (en) * 2003-03-19 2008-11-18 Intel Corporation Coupled hidden Markov model (CHMM) for continuous audiovisual speech recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user

Also Published As

Publication number Publication date
AU2005210778B2 (en) 2009-02-19
FI20040184A (fi) 2005-08-07
US20050210419A1 (en) 2005-09-22
CA2554917A1 (en) 2005-08-18
EP1711886A1 (en) 2006-10-18
US20140325459A1 (en) 2014-10-30
US8819596B2 (en) 2014-08-26
AU2005210778A1 (en) 2005-08-18
FI20040184A0 (fi) 2004-02-06
WO2005076114A1 (en) 2005-08-18
CA2554917C (en) 2015-11-10

Similar Documents

Publication Publication Date Title
FI117308B (fi) Eleohjausjärjestelmä
CN107340865B (zh) 多模态虚拟机器人交互方法和系统
US10353476B2 (en) Efficient gesture processing
US9443536B2 (en) Apparatus and method for detecting voice based on motion information
US10832674B2 (en) Voice data processing method and electronic device supporting the same
CN108010526B (zh) 语音处理方法及装置
JP4048492B2 (ja) 音声対話装置及び方法並びにロボット装置
EP1609568B1 (en) Robot device, information processing method, and program
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
CN111417442B (zh) 交互式游戏设备
KR102290186B1 (ko) 사람의 감성 상태를 결정하기 위하여 영상을 처리하는 감성인식 방법
Attamimi et al. Learning novel objects using out-of-vocabulary word segmentation and object extraction for home assistant robots
KR102079086B1 (ko) 지능형 졸음운전 방지 장치
KR20180082777A (ko) 노년층을 위한 교감 로봇시스템
CN115171692A (zh) 一种语音交互方法和装置
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
CN115129144A (zh) 可穿戴设备的控制方法以及可穿戴设备
JP4058031B2 (ja) ユーザ行動誘発システム及びその方法
US20210201139A1 (en) Device and method for measuring a characteristic of an interaction between a user and an interaction device
JP5709955B2 (ja) ロボットおよび音声認識装置ならびにプログラム
EP3979245A1 (en) System and method for providing interactive storytelling
CN110209264A (zh) 一种行为数据处理系统及方法
CN107457787B (zh) 一种服务机器人交互决策方法和装置
CN117765952A (zh) 人机交互的方法、装置和设备
CN117953902A (en) Man-machine interaction method, device and equipment

Legal Events

Date Code Title Description
FG Patent granted

Ref document number: 117308

Country of ref document: FI

PC Transfer of assignment of patent

Owner name: NOKIA TECHNOLOGIES OY