FI115274B - Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi - Google Patents
Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi Download PDFInfo
- Publication number
- FI115274B FI115274B FI20035243A FI20035243A FI115274B FI 115274 B FI115274 B FI 115274B FI 20035243 A FI20035243 A FI 20035243A FI 20035243 A FI20035243 A FI 20035243A FI 115274 B FI115274 B FI 115274B
- Authority
- FI
- Finland
- Prior art keywords
- language
- interface
- speech
- pack
- information
- Prior art date
Links
- 230000006870 function Effects 0.000 title claims abstract description 13
- 240000001889 Brahea edulis Species 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000010187 selection method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000233788 Arecaceae Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- ZTMKADLOSYKWCA-UHFFFAOYSA-N lenacil Chemical compound O=C1NC=2CCCC=2C(=O)N1C1CCCCC1 ZTMKADLOSYKWCA-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/454—Multi-language systems; Localisation; Internationalisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42204—Arrangements at the exchange for service or number selection by voice
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
- H04M2203/2061—Language aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/58—Details of telephonic subscriber devices including a multilanguage function
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
1 1 527-*
PUHEKÄYTTÖLIITTYMÄLLÄ VARUSTETTU ELEKTRONINEN LAITE JA MENETELMÄ ELEKTRONISESSA LAITTEESSA KÄYTTÖLIITTYMÄKIELIASETUKSIEN SUORITTAMISEKSI
5 Keksintö koskee elektronista laitetta, joka käsittää - puhekäyttöliittymän ja mahdollisen käyttöliittymän laitteen toimintojen ohjaamiseksi, - puheentunnistusvälineet puhekäyttöliittymän toteuttamiseksi ja ίο - muistia, johon on järjestetty kieliasetusdataa käyttöliittymää varten, muodostaen useita kielipa-ketteja, joihin kielipaketteihin on ryhmitelty useita kieliä, joista ainakin osa kielistä voi kuulua useaan kielipakettiin ja joista kielipake-15 teista ainakin yksi on sovitettu valittavaksi käyttöliittymässä käytettäväksi.
Lisäksi keksintö koskee myös menetelmää elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi ja tieto-·. koneohjelmaa keksinnön mukaisen menetelmän toteuttamiseksi.
:. 20
Puhujariippumattomia puhekäyttöliittymiä (VUI, Voice User Interface) on kehitetty viime aikoina runsaasti erilaisiin elektronisiin laitteisiin. Tällaiset käyttöliittymät edellyt-tävät kieliasetuksia useille kielille. Joidenkin valmistajien 25 puheriippumattomat puheentunnistusjärjestelmät tukevat nykyisin jopa kymmeniä kieliä.
» · • ’ Laitteiden rajallisista muistiominaisuuksista ja puheentunnis- : tusjärjestelmien rajallisesta prosessointikyvystä johtuen : 30 kaikkia kieliä ei voida sisällyttää yhteen pakettikokonaisuu- teen, vaan ne joudutaan jakamaan pienempiin kielipaketteihin.
. Jos liian monta kieltä järjestettäisiin yhteen datapakettiin, niin tällä olisi heikentävää vaikutusta puheentunnistuksen 2 115274 tarkkuuteen. Lisäksi akustisten puhemallien "treenaus" voidaan tällöin optimoida useammalle kielialueelle, jolla voidaan saavuttaa etua esimerkiksi eri murteiden tunnistuksessa. Kukin kielipaketti voi käsittää useita kieliä, josta lukumäärästä 5 voidaan mainita esimerkiksi 4-10 kieltä. Kielien järjestäminen kielipaketteihin voidaan suorittaa esimerkiksi maantieteellisen aluejaon mukaan. Tästä johtuen laitteen käyttöliittymiä kuten esimerkiksi puhekäyttöliittymää varten, on käyttöön otettava kielipaketti erikseen valittava, jota kielipa-10 kettia sitten käytetään esimerkiksi puheentunnistuksessa.
Kuhunkin kielipakettiin voi olla järjestettynä esimerkiksi sellaiset kielet, jotka ovat luonteenomaisia maantieteellisille alueille. Näiden kielien lisäksi kielipaketeissa voi olla 15 joitain yleiskäyttöisiä laajalle levinneitä maailmankieliä (esimerkkeinä englanti, portugali, espanja, saksa, venäjä, italia), jotka jostain syystä halutaan ottaa mukaan useaan kielipakettiin. Tämän jaottelun mukaan on jokainen tuettu kie-; ·4 li mukana ainakin yhdessä kielipaketissa ja jotkut kielistä 20 useissa kielipaketeissa. Tässä tapauksessa ja yleensäkin tässä hakemuksessa kielenä voidaan ymmärtää myös esimerkiksi kieli-, ,' murre.
' ; Monikielijärjestelmät ovat nykyisin vielä varsin harvinaisia, '·’ 25 josta johtuen tekniikan tasosta tunnetaan varsin karkeita to teutustapoja kielipaketin valitsemiseen. Näissä käyttäjän on ; ·* itse päätettävä ja valittava kulloinkin käyttöön otettava kie- lipaketti manuaalisesti laitteen käyttöliittymästä. Tämän .· heikkoutena on kuitenkin se, että tällöin valituksi voi tulla :·· 30 väärä kielipaketti, joka voi johtaa esimerkiksi puheentunnis- •J. tuksen huonoon toimivuuteen. Lisäksi, jos laitteelle ei ilmoi teta lainkaan puhekieltä, on puheentunnistuksen toimivuus entistä huonompi.
1 1 5274 3
Kielipaketin valinta on nykyisin käyttäjän toimesta tehtynä virhealtis. Eräänä esimerkkinä tällaisesta virhealttiudesta voidaan mainita tilanne, jossa esimerkiksi venäläinen käyttäjä haluaisi käyttää VUI-kielenä (eli kielenä, jolla hän haluaa 5 puheellaan ohjata laitettaan) esimerkiksi saksaa, ja käyttö-liittymäkielenä (eli kielenä, jota käytetään esimerkiksi laitteen graafisessa käyttöliittymässä, GUI) esimerkiksi venäjää. Koska saksa on globaalina kielenä järjestetty useampaan kieli-pakettiin, niin tällöin käyttäjällä on useita vaihtoehtoja 10 kielipaketin valintaan, joka sinällään jo voi aiheuttaa laitteen käytettävyyteen ei-toivottua epämukavuutta.
Jos käyttäjä ei ymmärrä kielipakettien ja niiden sisältöjen usein varsin kryptistäkin merkitystä, saattaa hän valita puis heentunnistuksessa käytettäväksi tarkoitetun saksankielen esimerkiksi Keski-Euroopan kielipaketista. Tällaisen valinnan seurauksena käyttäjällä ei ole enää mahdollisuutta valita käyttöliittymäkielekseen esimerkiksi haluamaansa venäjää, kos-ka venäjää ei ole tarkoituksenmukaisuussyistä katsottu tarpeen 20 sisällyttää Keski-Euroopan kielipakettiin. Tällainen tilanne ' ’. saattaa aiheuttaa käyttäjälle suurta hämmennystä ja niinpä hän ei välttämättä osaa tehdä kielipaketin uudelleen valintaa.
Yleensäkin tällaisen tilanteen syntyminen ei ole kovinkaan ; käyttäjäystävällistä.
25
Edelleen eri alueilla puhuttujen maailmankielien ääntämisessä ' ** saattaa olla suuriakin alueellisia eroja. Esimerkiksi slaavi laisten puhuma englanti poikkeaa ääntämiseltään esimerkiksi ,* englantia natiivikielenään puhuvien englannista. Vastaavan • 30 tyyppinen tilanne ilmenee myös esimerkiksi sveitsiläis- ten/itävaltalaisten puhuman saksan ja natiivi-saksalaisten välillä. Myös tämän seurauksena väärän kielipaketin valinnasta 4 1 1 5 27 Λ saattaa aiheutua puheentunnistuksen ja sen seurauksena myös puhekäyttöliittymän "viallinen" toiminta.
Erästä tekniikan tasoa esittää US-patentti 5,917,484, jossa 5 suoritetaan elektronisessa laitteessa käytettävän kielen valinta, erityisemmin tietokoneen tapauksessa. Tässä ratkaisussa ei kuitenkaan käsitellä mitenkään puhekäyttöllittyrniä tai niiden käyttämää puheentunnistustoiminnallisuutta, joissa edellä kuvatut ongelmat ovat merkittäviä.
10 Tämän keksinnön tarkoituksena on saada aikaan uudenlainen käyttöliittymäkielijärjestelyiltään kehittyneempi elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymä-kieliasetuksien suorittamiseksi. Keksinnön mukaisen laitteen 15 tunnusomaiset piirteet on esitetty oheisessa patenttivaatimuksessa 1 ja menetelmän patenttivaatimuksessa 9. Lisäksi keksintö koskee myös tietokoneohjelmaa keksinnön mukaisen menetelmän toteuttamiseksi, joiden tunnusomaiset piirteet on esitetty * oheisessa patenttivaatimuksessa 16.
,, ‘ 20 '· : Keksintö koskee erityisesti puhekäyttöliittymiä ja puheentun- * » *’·' · nistuksessa käytettävän kielipaketin valintaa ja kieliasetus- ·’ datan järjestämistä elektroniseen laitteeseen.
25 Keksinnön mukaiselle laitteelle ja menetelmälle on tunnus- omaista se, että laite rekisteröi kieli-informaatiota kielipa-; kettivalinnan päättämiseksi. Kieli-informaatio käsittää tietoa . ainakin ensimmäisestä kielestä ainakin yhtä käyttöliittymää ’ ‘ varten. Tämän kielen perusteella laite voi erään ensimmäisen I ; 30 sovellusmuodon mukaan suorittaa kielipaketin valinnan. Valin- nan suorittamiseksi laitteeseen on järjestetty informaatiota kielipaketteihin kuuluvista kielistä.
5 1 7 5274
Keksinnössä käyttöliittymässä käytettäväksi halutun kielipake-tin valinta suoritetaan nyt laitteen toimesta esimerkiksi käyttäjältä rekisteröidyn kieli-informaation perusteella. Laitteen muistiin voi olla tällöin järjestettynä tietorakenne, 5 jossa on tätä kieli-kielipaketti informaatiota. Tästä informaatiosta laite voi käyttäjän antaman kieli-informaation perusteella valita laitteessa käytettäväksi kussakin valinta-vaihtoehtotapauksessa sopivimman kielipaketin, joka on kytketty asetetun kriteerin mukaisesti tähän kieli-informaatioon.
10
Erään sovellusmuodon mukaan kielipaketti voidaan valita jopa yhtä kieltä koskevan informaation perusteella. Erään toisen sovellusmuodon mukaan, jos kielipaketin valinta ei ole mahdollista suorittaa riittävän yksikäsitteisesti, voidaan käyttää 15 lisäksi toista kieli-informaatiota. Tällöin kielipaketin valinta voidaan suorittaa näiden kahden kielen perusteella asetetulla tavalla.
Kullekin kielelle voidaan erään sovellusmuodon mukaan määri-20 teliä natiivikielipaketti, joka oletusarvoisesti valitaan ; käyttöön tiettyjen erikoisvalintatilanteiden tapauksessa.
« · » >
Laitteen rekisteröimä kieli-informaatio voi erään sovellusmuo-don mukaan sisältää tiedon esimerkiksi käyttäjän puhumasta 1 · 25 kielestä, jota hän haluaa puhekäyttöliittymässä käyttää. Jos esimerkiksi laitekäyttöliittymässä käytettäväksi aiottu kieli • eroaa käyttäjän puhekielivalinnasta, ei kielipaketin valinta välttämättä voi tällöin tapahtua yksikäsitteisesti. Eräs toi-'· nen esimerkki tällaisesta tilanteesta voi olla sellainen, jos- 30 sa puhekäyttöliittymässä käytettäväksi haluttu kieli on järjestetty useaan kielipakettiin, jolloin kielipaketin valinta ei myöskään ole välttämättä yksikäsitteinen. Ongelma ratkaistaan keksinnössä siten, että laite suorittaa kielipaketin va- 6 Π5274 linnan automaattisesti esimerkiksi käyttäjältä vastaanotetun kieli-informaation perusteella.
Keksinnöllä saavutetaan etuna, ettei käyttäjän tarvitse valita 5 itse vaikeasti ymmärrettävissä olevaa tarkoituksenmukaista kielipakettia, jolloin valituksi saattaisi tulla väärä kieli-paketti. Keksinnön mukaisessa tapauksessa kielipaketin valinta voidaan tehdä yksikäsitteisesti ja automaattisesti, kun käyttäjä ilmoittaa valitussa järjestyksessä puhutun kielen ja 10 käyttöliittymän kielen, joista edes toinen kielistä ei joka tilanteessa ole välttämätön ilmoitettavaksi.
Erään sovellusmuodon mukaan kielivalintakombinaatioista voidaan järjestää laitteen muistiin hakutaulu (look-up table), 15 jossa on esitetty joko kaikki tai ainakin pääosa kielivalinta- kombinaatioista liittyen käyttöliittymäkielien valintavaih toehtoihin tai toisaalta vain mahdolliset kielivalintakombi-naatiot. Kuhunkin kombinaatioon on liitetty käyttöön valittavaksi asetettu kielipaketti.
20 < i · ’. Muut keksinnön mukaiselle elektroniselle laitteelle ja mene telmälle ominaiset piirteet käyvät ilmi oheisista patenttivaatimuksista ja lisää saavutettavia etuja on lueteltu seli- I tysosassa.
.,·· 25
Seuraavassa keksinnön mukaista elektronista laitetta ja siihen » · liittyvää menetelmää, joita ei ole rajoitettu seuraavassa esi-;** tettäviin suoritusmuotoihin, selostetaan tarkemmin viittaamal- la oheisiin kuviin, joissa *: 30
Kuva 1 esittää erästä esimerkkiä keksinnön mukai- t sesta elektronisesta laitteesta karkeana lohkokaaviokuvana, 1 1 527/! 7
Kuva 2 esittää erästä sovellusesimerkkiä kuhunkin kielipakettiin järjestetyistä kielistä,
Kuva 3a esittää esimerkkiä kielilistauksesta, joista kukin kieli on vain yhdessä kielipaketissa, 5 Kuva 3b esittää esimerkkiä kielilistauksesta, joista kukin kieli on useassa kielipaketissa,
Kuva 3c esittää esimerkkiä natiivikielipakettilista- uksesta useassa kielipaketissa oleville kielille, 10 Kuva 3d esittää erästä sovellusesimerkkiä kielipake- tin valinnassa käytettävästä hakutaulusta osittaisena listauksena,
Kuva 3e esittää erästä sovellusesimerkkiä kielipake- tin valinnassa käytettävästä hakutaulusta 15 listauksena erikoistapauksien selvittämisek si ja
Kuva 4 esittää erästä sovellusesimerkkiä vuokaavio na keksinnön mukaisesta menetelmästä kieli-. paketin valinnassa.
; 20 ♦· »
Kuvassa 1 on esitetty esimerkkinä eräs keksinnön mukainen elektroninen laite 10 karkeana lohkokaavioesityksenä, jota jatkossa kuvataan sovellusesimerkkinä matkaviestimen tapauk- • ; sessa. On huomattava, että elektronisten laitteiden lajikate- 25 goria, joihin keksintöä voidaan soveltaa, on käsitettävä huomattavan laajana. Eräitä muita esimerkkejä laitteista ovat » yleensäkin kannettavat ja kädessä pidettävät (hand-held) lait-*' teet, kuten esimerkiksi PDA-tyyppiset (Personal Digital Assis- : tant) laitteet (esimerkiksi Palm, Vizor), kämmekät, älypuheli- · 30 met (smart phones), multimedialaitteet, kameralaitteet, peli- r konsolit, puhelimet ja sanelulaitteet. Lisäksi keksintöä voi- . daan soveltaa myös esimerkiksi video/DVD-laitteissa, satel- liitti/digiboksivirittimissä, televisioissa, telefaksilait- 115274 8 teissä, kopiokoneissa, tietokoneissa ja myynti- ja peliautomaateissa ym. elektronisissa laitteissa. Yhteistä keksinnön mukaisille laitteille on kuitenkin pääasiallisesti se, että niihin kuuluu puhekäyttöliittymä VUI (Voice User Interface) ja 5 vielä erityisemmin sellainen puhekäyttöliittymä, joka on toteutettu puheentunnistustoimintoa SR (speech recognition) käyttäen.
Kuvassa 1 esitetty matkaviestin. 10 voi olla sinänsä tunnettua 10 tyyppiä, jonka keksinnön kannalta epäoleellisia osia, kuten esimerkiksi lähetin/vastaanotinosaa TR ei tässä yhteydessä sen enempää ole tarpeen selostaa.
Laitteen 10 toimintoja voidaan ohjata prosessoriyksiköllä 15 DSP/CPU 13, jolla hallitaan muun muassa laitteen 10 näyttö-osalla 19 esimerkiksi graafisessa käyttöliittymässä GUI esitettävää informaatiota. Prosessoriyksikön 13 toimintaa voidaan hallita hallintalaitteilla 14, joka voidaan toteuttaa esimerkiksi näppäimistönä 15 tai erilaisina kytkiminä. Laitteen 10 20 toimintoja voidaan ohjata laitekäyttöliittymän TUI (Terminal ; User Interface) kautta, kuten esimerkiksi laitteen 10 näytöllä * · •t 19 esitettävällä graafisella käyttöliittymällä GUI ja/tai toi- • saalta myös puhekäyttöliittymällä VUI. Käyttöliittymät VUI/GUI ! voivat laitteen 10 ohjauksen mahdollistamisen lisäksi antaa 25 informaatiota myös laitteen 10 kulloisestakin tilasta.
Matkaviestimeen 10 voi kuulua käyttöliittyminä puhekäyttöliittymä VUI ja graafinen käyttöliittymä GUI (Graphical User In-j terface) , yleisemmin yksi tai useampia käyttöliittymiä UI.
: 30 Näillä voidaan hallita laitteen 10 toimintoja joko rinnakkais- käyttönä tai jopa yksinomaan.
1 1 527/: 9
Puhekäyttöliittymän VUI toteuttamiseksi laitteeseen 10 voi kuulua puheentunnistusvälineet SR (speech recognition devices) ja audiorajapinta 12, johon voi kuulua mikrofonivälineet MIC ja kaiutinvälineet SPKR. Puheentunnistus SR, joka voidaan to-5 teuttaa sinänsä tunnetulla tavalla, tarvitsee toimiakseen kie-liasetusdataa (language configuration data) LP1 - LP9. Kie-liasetusdata on järjestetty laitteen 10 muistivälineisiin MEM asetetulla tavalla.
10 Kuvassa 2 esitetään eräs viitteellinen esimerkki kielipaketti-jaosta. Kieliasetusdatasta voi olla muodostettu laitteen 10 muistiin MEM useita kielipaketteja (language packages) LP1 -LP9. Kielipaketteihin LP1 - LP9 on valitulla tavalla ryhmitelty yksi tai useita, kuten esimerkiksi 4-10 kappaletta käyt-15 töliittymässä VUI/GUI käytettäviksi valittavissa olevia kieliä LI - L34. Jokainen käytettävissä olevista kielistä LI - L34 kuuluu ainakin yhteen kielipakettiin LP1 - LP9. Esimerkinomainen listaus näistä vain yhdessä kielipaketissa LP1 - LP9 ole- ·. vista kielistä kyseisen sovellusesimerkin tapauksessa on esi- » 20 tetty taulukossa 3a. Lisäksi ainakin osa kielistä L6, L7, LII, . L13, LI6, L29 voi kuulua useampaan, kuten esimerkiksi ainakin * « / kahteen kielipakettiin LP1 - LP9. Esimerkinomainen listaus » näistä useampaan kielipakettiin LP1 - LP9 kuuluvista kielistä ,! kyseisen sovellusesimerkin tapauksessa on esitetty taulukossa » 25 3b.
* ·
Kuviin 2, 3d ja 3e viitaten eräs kriteeri kielipakettien LP1 -LP9 kielijaon määräytymiseksi on kullekin maantieteelliselle • alueelle tai jopa valtioille tunnusomaiset kielet, joiden mu- : 30 kaan myös kielipaketit LP1 - LP9 on voitu jaotella. Jotkut kielistä LI - L34 voivat olla useammassakin kielipaketissa LP1 ; - LP9, johtuen esimerkiksi niiden yleismaailmallisesta asemas ta. Tällaisia kieliä sovellusesimerkissä ovat esimerkiksi 115274 10 UK_English = L6, German = L7, Russia = Lll, French = L13, Italian = L16 ja US_English = L29. Kielipaketeista LP1 - LP9 ainakin yksi voidaan valita käytettäväksi laitteen 10 käyttöliittymässä VUI, GUI, erityisemmin puhekäyttöliittymän VUI to-5 teuttavassa puheentunnistuksessa SR.
Kielipaketteihin LP1 - LP9 kuuluva kielikohtainen data voi kunkin kielen LI - L34 tapauksessa käsittää esimerkiksi mahdollisia komentoja laitteen 10 toimintojen ohjaamiseksi kysei-10 sillä kielillä LI - L34. Toisaalta, esimerkiksi yleismaailmallisten kielien L6, L7, LII, L13, L16, L29 tapauksessa kielida-ta voi käsittää myös puheentunnistusmoottorille SR tärkeätä informaatiota kyseisten kielien L6, L7, LII, L13, L16, L29 pu-humistyyleistä/äännepainotuksista kullakin maantieteellisellä 15 alueella (murrespesifisiä piirteitä) tai jopa laitteen 10 komentoja kyseisillä murteilla. Tästä eräänä esimerkkinä mainittakoon paketti Central Europe LP4, jossa voidaan käyttää na-tiivi-saksan sijasta Itävallan/Sveitsin saksalle optimoitua ’. kielikonfiguraatiota. Yleisesti ottaen kielidata voidaan kui- :. 20 tenkin ymmärtää käsittäväksi kielten LI - L34 tukemiseen vaa- : dittavia puhemalleja. Lisäksi monikielisessä järjestelmässä < · : /, voi olla mukana mallidataa myös tekstipohjaista kielentunnis- tusta varten.
t » 4 » 25 Kuvassa 1 esitettyyn keksinnön mukaiseen laitteeseen 10 on ,, , järjestetty esimerkiksi ohjelmallisesti toteutettu rekiste- röintitoiminnallisuus 17, joka voi erään sovellusmuodon mukaan kysyä käyttäjältä kieli-informaatiota laitteessa 10 käytettä-.' · väksi halutun kielipaketin LP1 - LP9 ja vielä erityisemmin i : 30 käyttöliittymäkielen VUIL/UIL valitsemiseksi. Kieli- informaatio voi käsittää tiedon ainakin yhdestä kielestä aina-,; kin yhtä käyttöliittymää varten. Tämän rekisteröidyn kieli- 115274 11 informaation perusteella laite 10 voi yksinkertaisimmillaan suorittaa käyttöön otettavan kielipaketin valinnan.
Ellei laite 10 voi suorittaa valintaa ensimmäisen kieli-5 informaation perusteella yksikäsitteisesti, niin tällöin laite 10 voi rekisteröidä esimerkiksi kysymällä käyttäjältä lisäksi toista kieltä toista käyttöliittymää varten. Tällainen kahta kysymystä edellyttävä tilanne saattaa muodostua esimerkiksi silloin, jos käyttäjän valitsema ensimmäinen kieli L6 kuuluu 10 useaan, kuten esimerkiksi ainakin kahteen kielipakettiin LP1 -LP7. Näiden rekisteröityjen ensimmäisen ja toisen kielen L6, LII perusteella laite 10 voi suorittaa kielipaketin LP2 valinnan yksikäsitteisesti laitteen 10 yhteyteen järjestetyn kuhunkin kielivalintavaihtoehtoon kytketyn kielipaketin mukaan.
15 Erään sovellusmuodon mukaan ensimmäinen kieli voi olla puhe- käyttöliittymäkieli VUIL eli puhekieli ja toinen kieli voi olla käyttöliittymäkieli UIL. Myös päinvastainen valintajärjes-tys voi olla mahdollinen.
• 20 Valintatoiminnallisuuden 17 ohjelmallinen toteutus voidaan ,·, ; saada aikaan esimerkiksi siten, että laitteen 10 prosessorilla ; / 13 suoritetaan joukko ennalta asetettuja käskyjä ennalta mää- > # ritellyssä järjestyksessä. Toiminnallisuus 17 voi olla tallennettuna laitteen 10 muistiin MEM esimerkiksi käyttöjärjestel- • t 25 mätasoiseksi päivitettävissä olevaksi tietokoneohjelmaksi.
Kuvassa 2 esitettiin eräs sovellusesimerkki laitteen 10 muis- tiin MEM järjestetyistä kielipaketeista LP1 - LP9. Siinä ku- » / : hunkin kielipakettiin LP1 - LP9 on ryhmitelty niihin kuuluvat : 30 kielet LI - L34. Laitteen 10 muistiin MEM on tässä tapauksessa tallennettuna useita valitulla tavalla kieliorganisoituja kie-lipaketteja LP1 - LP9, joista sitten laite 10 voi erään sovellusmuodon mukaan automaattisesti valita käyttäjältä saadun 1 1 527/! 12 kieli-informaation perusteella sopivimman. Käytännössä vain yksi kielipaketti LPl voi olla kerrallaan käytössä, johtuen esimerkiksi laitteen 10 ja puheentunnistuksen SR rajallisista prosessointi- ja työmuisti WMEM kapasiteeteista.
5
Edellisen lisäksi, jos puhekäyttöliittymässä VUI ja sen seurauksena myös puheentunnistuksessa SR käytettäväksi haluttu kieli L6 kuuluisi useampaan kielipakettiin LPl - LP7 ollen tällöin esimerkiksi yksi niin sanotuista "maailmankielistä" L6, 10 L7, LII, L13, L16, L29 niin tämä tapaus mutkistaisi laitteessa 10 käytettäväksi tarkoitetun kielipaketin LPl valintaa varsinkin käyttäjän toimesta suoritettuna. Tällöin käyttäjä saattaisi tietämättömyyttään valita puhekäyttöliittymässä VUI käytettäväksi haluamansa puhekielen VUIL sellaisesta kielipaketista, 15 jonka kielimalli ei ehkä vastaisi käyttäjän puhumaa kielimal-lia.
Toinen esimerkillinen ongelmatilanne voi olla sellainen, että käyttäjä valitsisi puhekäyttöliittymässä VUI käytettäväksi ha-. Γ 20 luamansa puhekielen VUIL yhdestä kielipaketista LP2 ja graafi- * *: sessa käyttöliittymässä GUI käytettäväksi haluamansa UI-kielen ’· > UIL toisesta kielipaketista LPl. Tällainen valinta olisi käy- * * i ·’ >' tännössä edellä mainitut syyt huomioiden mahdoton toteuttaa ja » · »
* I
kyseinen tilanne olisi siten laitteen 10 kannalta hankalasti 25 käsiteltävissä, puhumattakaan siitä millaista hämmennystä se ;;; käyttäjässä mahdollisesti aiheuttaisi.
. Kuvissa 3d ja 3e esitetään eräs sovellusesimerkki kielipaketin LPx valinnan suorittamiseksi laitteen 10 muistiin MEM järjesti 30 tetystä kielipakettien LPl - LP9 hakutaulusta 18 osittain (ku-' : va 1). Hakutaulusta 18 voidaan valita käyttöön sopiva kielipa ketti LPx käyttäjän laitteelle 10 antaman kieli-informaation (VUIL, UIL) perusteella.
115274 13
Yleisesti hakutauluun 18 on järjestetty informaatiota kuhunkin kielipakettiin LP1 - LP9 kuuluvista kielistä LI - L34. Erityisemmin hakutauluun 18 voi olla valitulla tavalla ryhmiteltynä 5 esimerkiksi kaikki tai ainakin pääosa mahdolliset puhekie-li/UI-kieli VUIL/UIL kombinaatioista (a - g) ja mahdolliset (ei-yksikäsitteiset) erikoistapaukset (fig. 3e) ja kunkin kombinaation (a - g, special_cases) tapauksessa valittavaksi asetettu kielipaketti LP1 - LP9. On ymmärrettävä, että kuvassa 3d 10 ei ole esitetty hakutaulua kokonaisuudessaan, vaan se on ymmärrettävä jatkuvaksi kohdasta g eteenpäin käsittäen ainakin kaikki mahdolliset kielivalintakombinaatiot.
Kullekin kielelle LI - L34 voidaan asettaa lisäksi niin sanot-15 tu natiivikielipaketti, jonka laite 10 oletusarvoisesti valitsee, mikäli jompikumpi valituista käyttöliittymäkielistä VUIL/UIL on merkityksetön tai jos laitteen 10 on sopivan kie-lipaketin valintaa kertakaikkisen mahdotonta suorittaa käyttä-·. jäitä saadun "oudoimpien" kielikombinaatioiden tapauksessa.
20 Myös kielille L6, L7, LII, L13, L16, L29, jotka esiintyvät . useissa kielipaketeissa LP1 - LP9, voidaan asettaa valittavak- ,* si asetettu natiivikielipaketti, joka voi määräytyä esimerkik si kielien L6, L7, LII, L13, L16, L29 kotialueista/valtioista. Esimerkinomainen listaus näille "maailmankielille" asetetuista 25 natiivioletuskielipaketeista on esitetty taulukossa 3c.
Kuvassa 3e esitetään esimerkkilistaus osasta hakutaulua 18, jota sovelletaan, jos sekä puhekieli VUIL ja käyttöliittymä-kieli UIL kuuluvat molemmat useaan kielipakettiin LP1 - LP9, • 30 joista ainakin osa on molemmille yhteisiä paketteja. Tällaisen tilanteen selvittämiseksi voidaan valitulla tavalla asettaa . kullekin kieliparille valittavaksi asetettu kielipaketti. Eri koistapauksien valintatapaa ei ole välttämätöntä eikä sitä 115274 14 edes välttämättä pystyttäisikään kiinnittämään mihinkään erityiseen kriteeriin, vaan se voi määräytyä esimerkiksi appli-kaatiokehittäjän päätöksen mukaan.
5 Kieliparivaihtoehtojen järjestys voidaan erään sovellusmuodon mukaan saattaa sellaiseksi, että taulun 18 yläpäässä on toden-näköisimmät valintavaihtoehdot ja alapäässä vähemmän todennä-köisimmät. Erään sovellusmuodon mukaan hakutauluun 18 on kuitenkin voitu järjestää kaikki tai ainakin pääosa kielivalinta-10 pareista VUIL/UIL, jotta käyttäjälle voidaan joka kielivalin-tatapauksessa valita käyttöön sopivin kielipaketti.
Kuvassa 4 esitetään eräs sovellusesimerkki keksinnön mukaisesta kielipaketinvalintamenetelmästä laitteessa 10. Laite 10 voi 15 aktivoida kielipaketinvalintaproseduurin 17 omasta toimestaan tai vaihtoehtoisesti käyttäjän toimesta (vaihe 400). Aktivointi voi tapahtua spontaanisti esimerkiksi laitetta 10 ensimmäistä kertaa käyttöön otettaessa. Myös käyttäjälle voi ilmetä tarve kielipaketin vaihtoon, mikäli hän haluaa vaihtaa jostain • · • · 20 syystä käyttämäänsä puhekieltä VUIL. Tällöin, jos uusi puhe- _·( ; kieli VUIL löytyy jo sillä hetkellä laitteessa 10 aktiivisena * · · . / olevasta kielipaketista LP1, ei kielipaketinvalintaproseduuria ' 17 ole välttämätöntä käydä läpi. Sen sijaan, jos uusi puhekie- li VUIL ei löydy nykyisestä kielipaketista LP1, on kielipake-25 tinvalintatoiminnallisuus aktivoitava uuden kielipaketin LPx (x = 1 - 9) ja siitä uuden kielen Lx (x = 1 - 34) valitsemi-• seksi esimerkiksi ainakin puheentunnistusta SR varten.
..* Kuvatussa sovellusmuodossa laite 10 esittää valintaproseduurin i 30 17 käynnistyttyä esimerkiksi näytöllään 19 listan kaikista va littavissa olevista kielivaihtoehdoista LI - L34 (vaihe 401).
. Valintaproseduurissa voidaan lähteä liikkeelle kielen Lx va linnasta joko puhekäyttöliittymää VUI varten (VUIL) tai toi- 115274 15 saalta myös käyttöliittymää GUI varten (UIL). Yleisesti ilmaistuna laite 10 voi rekisteröidä esimerkiksi kysymällä käyttäjältä ensimmäisen kielen L1/L6 ainakin yhtä käyttöliittymää VUI, UI varten.
5 Tässä sovellusesimerkissä käyttäjä antaa laitteelle 10 informaation haluamastaan ensimmäisestä kielestä eli nyt puhekäyt-töliittymäkielestä eli puhekielestään VUIL. Laite 10 rekisteröi käyttäjän kielivalinnan (vaihe 402) ja ohjelmallinen toi-10 minnallisuus 17 tutkii löytyykö käyttäjän valitsema VUI-kieli VUIL useammasta kuin yhdestä kielipaketista LP1 - LP9 (vaihe 403) . Kielipaketit LP1 - LP9 voivat olla järjestettyinä laitteen 10 muistiin MEM tiedostoiksi, joilla kullakin on oma ID-tunnisteensa. Kielipaketeissa voi olla myös tieto niistä val-15 tioista/alueista, joita paketti LP1 - LP9 on asetettu tarkoittamaan. Laite 10 suorittaa hakutoimenpiteen sen muistiin MEM järjestetystä hakutaulusta 18 tai kuvien 3b, 3a mukaisista taulukoinneista. Hakutoimenpiteen suorittamiseksi laitteeseen :\\ 10 on edellä kuvatulla tavalla järjestetty kieli-kielipaketti :. 20 -informaatiota, jossa on tieto niistä yhdestä tai useammasta ; kielipaketista LP1 - LP9, joihin kukin kieli LI - L34 on jär- ; ·, jestetty kuulumaan.
*..! Jos käyttäjän valitsema tai syöttämä VUIL-kieli ei löydy kuin
25 yhdestä kielipaketista, on käyttäjän tekemä kielivalinta LI
yksikäsitteinen. Tällainen tilanne voi tulla, jos kieli on ; niin sanottuja vähän puhuttuja kieliä. Tämän perusteella laite 10 valitsee käyttäjän valitsemaa VUI-kieltä VUIL vastaavan • kielipaketin LP1 ladaten sen laitteen 10 työmuistiin WMEM ja « : 30 aktivoiden sen puheentunnistuksessa SR käytettäväksi (vaiheet 404.1 ja 405.1). Samalla kyseinen kielipaketti LP1 voidaan asettaa laitteen 10 pysyväisasetuksiin, jolloin kielipaketin LP1 valintaa ei ole välttämätöntä suorittaa aina uudestaan 115274 16 laitteen 10 seuraavien käynnistyksien yhteydessä. Puheentun-nistustoiminto SR lataa tiedon käytettäväksi halutusta kieli-paketista LP1 ja vielä erityisemmin kielestä LI aina laitetta 10 käynnistettäessä ja puhekäyttöliittymän VUI aktivoinnin yh-5 teydessä.
Sen sijaan, jos vaiheessa 403 laitteen 10 suorittamassa haku-taulu/listausanalyysissä osoittautuu, että käyttäjän ilmoittama VUI-kieli VUIL löytyykin useammasta kielipaketista LP1 -10 LP9, ei kielipaketin LP1 - LP9 valinta ole enää mitenkään yksikäsitteinen. Tällainen tilanne syntyy useiden laajalti puhuttujen kielien L6, L7, LII, L13, L16, L29 tapauksessa, joita kieliä on järjestetty useaan kielipakettiin, kuten jo aiemmin esitettiin. Eräitä, ei kuitenkaan mitenkään rajoittavia esi-15 merkkejä näistä kielistä ovat jo edellä mainittujen kielien L6, L7, LII, L13, L16, L29 lisäksi myös espanja ja portugali eri murteineen. Nyt laite 10 tarvitsee kielipaketin valinnan päättämiseksi UI -kieli-informaation.
< · 20 Vaihetta 403 voi tässä tapauksessa seurata laitteen 10 käyttäjälle esittämä toinen lista valittavista toisista kielivaih-toehdoista toista käyttöliittymää GUI varten (vaihe 404.2).
,* Tämä toinen lista voi olla esimerkiksi karsittu, mutta myös täydellinen. Karsitussa listassa voidaan esittää vain pelkäs- » 25 tään ne toiset kielivaihtoehdot, jotka esiintyvät samassa kie-lipaketissa LP1 ensimmäisen valitun kielen L6 kanssa. Jos lista esitetään täydellisenä, niin tällöin yhteistyökyvyttömän käyttäjän tapauksessa, jolloin myös epätarkoituksenmukaiset kielivalinnat saattavat olla mahdollisia, sovelletaan natiivi-• 30 kielipakettitietoa (kuva 3c) ja hakutaulun 18 erikoistilanne- osioita (kuva 3e).
I * » t 115274 17
Laite 10 rekisteröi käyttäjän listasta suorittaman UI-kielivalinnan LI (vaihe 405.2). Seuraavaksi laite 10 valitsee sen muistiin MEM järjestetystä hakutaulusta 18 (kuva 3) käyttäjän ensimmäisen ja toisen eli nyt VUI- ja UI kielivalintojen 5 L6, Li perusteella laitteessa 10 ja erityisemmin puhekäyttö- liittymän VUI puheentunnistuksessa SR käytettäväksi otettavan kielipaketin LP1.
Jos valituilla kielillä VUIL ja UIL ei ole yhtään yhteistä 10 kielipakettia, valinta voidaan suorittaa puhekielen VUIL mukaan valiten siihen kytketty natiivikielipaketti. Jos toinen, tässä tapauksessa siis jälkimmäinen käyttäjän tekemistä kielivalinnoista LI esiintyy vain yhdessä kielipaketissa LP1, on käytettäväksi valittavan kielipaketin valinta yksikäsitteinen.
15 Tällöin laite 10 valitsee käytettäväksi sen kielipaketin LP1, missä tämä toinen kieli LI esiintyy. Jos VUIL-kieli ja UIL-kieli ovat samoja esiintyen vain yhdessä yhteisessä kielipaketissa, kielipaketin valinta suoritetaan natiivikielipaketti-:·,·. kytkennän mukaan. Sen sijaan, jos molemmat kielivalinnat L6, 20 L7 esiintyisivät useammissa, nyt siis ainakin kahdessa samassa *. kielipaketissa LP1 - LP6, niin tällöin laite 10 suorittaa kie lipaketin LP1 valinnan hakutauluun 18 määriteltyjen erikoistilanteiden (kuva 3e) mukaan. Tällöin valittavaksi tulisi siis hakutaulun 18 mukaan kielipaketti LP3 (Northern Europe). Vie-25 lä, jos vaiheessa 404.2 on esitetty kaikki kielet ilman ensimmäisen kielen VUIL mukaan suoritettua karsintaa ja toisella kielellä UIL ei ole yhtään yhteistä kielipakettia ensimmäisen kielen VUIL kanssa, kielipaketin valinta suoritetaan puhekie-Ien VUIL mukaan. Näin ollen myös tällaisessa tilanteessa saa-'! 30 daan tarjottua kielivalintaan nähden parhaiten soveltuvin kie lipaketti.
115274 18
Vaiheesta 406.2 siirrytään VUI-kielen aktivointiin (vaihe 405.1) ja voidaan toimia edellä kuvatulla tavalla.
Molempia vaiheita 405.1 ja 406.2 voi seurata mahdollinen UI-5 kielen UIL aktivointi, joka suoritetaan edellä esitettyjen kielipakettivalintavaiheiden perusteella (vaihe 407.2), jonka jälkeen valintaproseduuri voidaan päättää (vaihe 500).
Edellä selostettiin kielipaketin LP1 - LP9 valintaa tilanteesit) sa, jossa ensin rekisteröitiin puhekieli VUIL ja sitten käyt-töliittymäkieli UIL. Myös päinvastainen rekisteröintijärjestys on mahdollinen. Tällöin UI-kielen UIL löytyessä vaiheessa 403 vain yhdestä kielipaketista suoritetaan vaihe 404.1 ja sen jälkeen esittämätön alivaihe VUIL-kielen valitsemiseksi UI-15 kielen UIL määrittelemästä yksikäsitteisestä kielipaketista.
Vastaavasti, jos UI-kieli löytyy vaiheessa 403 useammasta kielipaketista, suoritetaan vaiheet 404.2 - 406.2 vastaavassa : ,·, järjestyksessä VUI-kielen VUIL valitsemiseksi. Näin kielien 20 UIL, VUIL kysymysjärjestyksenkään variointi ei juurikaan kas-; vata valintaproseduurin kompleksisuutta.
.* Valinnan perustamisella käyttäjän antamaan käyttöliittymäkie- ! litietoon saavutetaan myös sellaista etua, että sen lisäksi, 25 että käyttöön tulee sopivin kielipaketti LP1, niin myös puheentunnistuksen SR toimintaan saadaan lisävarmuutta. Tämä siksi, että nyt myös kyseisellä maantieteellisellä tai jopa valtiollisella alueella ilmenevälle kielelle tyypillinen murre tulee huomioitua. Mahdollisimman luonnollista käyttöliittymä-30 käyttäytymistä tavoiteltaessa on käyttäjän ja laitteen 10 välinen vuorovaikutus esimerkiksi eri asetusvalintojen suoritta-; misen tapauksessa toivottavaa saada järjestettyä mahdollisiin- 11527Ί 19 man minimaaliseksi, joka ominaisuus keksinnöllä myös saavutetaan.
Edellä keksintöä on selostettu yksittäisenä sovellusesimerkki-5 nä. On huomattava, että alan ammattimies voi varioida edellä esitettyä ohjelmallista proseduuria ja suorittaa sen ehkä jopa edellä esitetystä järjestyksestä eriävällä tavalla. Lisäksi erilaisien lisäosavaiheiden lisääminen, kuten esimerkiksi avustustoimintojen ja virhetilanteiden käsittely on mahdollis-10 ta.
On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät kuvat on tarkoitettu ainoastaan havainnollistamaan esillä olevaa keksintöä. Keksintöä ei siten ole rajattu pelkästään edel-15 lä esitettyihin tai patenttivaatimuksissa määriteltyihin so-vellusmuotoihin, vaan alan ammattimiehelle tulevat olemaan ilmeisiä monet erilaiset keksinnön variaatiota ja muunnokset, jotka ovat mahdollisia oheisten patenttivaatimusten määritte- : lemän keksinnöllisen ajatuksen puitteissa.
• · 20 » : >
Claims (17)
1. Elektroninen laite (10), joka käsittää - puhekäyttöliittymän (VUI) (Voice User Interface) 5 ja mahdollisen käyttöliittymän TUI (Terminal User Interface) laitteen (10) toimintojen ohjaamiseksi, - puheentunnistusvälineet SR (speech recognition devices) puhekäyttöliittymän (VUI) toteuttamiseksi ja 10. muistia (MEM), johon on järjestetty kieliasetusda- taa (language configuration data) käyttöliittymää (VUI, UI) varten, muodostaen useita kielipaketteja (LP1 - LP9) (language packages) , joihin kielipa-ketteihin (LP1 - LP9) on ryhmitelty useita kieliä 15 (LI - L34), joista ainakin osa kielistä (Li - L34) voi kuulua useaan kielipakettiin (LP1 - LP9) ja joista kielipaketeista (LP1 - LP9) ainakin yksi (LP1) on sovitettu valittavaksi käyttöliittymässä (VUI, UI) käytettäväksi, '· 20 tunnettu siitä, että laite (10) on sovitettu rekisteröimään : ainakin ensimmäisen kielen (L1/L6) ainakin yhtä käyttöliitty mää (VUI/UI) varten, jonka kieli-informaation (L1/L6) perusteella laite (10) on sovitettu suorittamaan kielipaketin (LP1/LP2) valinnan ja jonka valinnan suorittamiseksi laittee-25 seen (10) on järjestetty informaatiota (18) kuhunkin kielipakettiin (LP1 - LP9) kuuluvista kielistä (LI - L34) .
1 1 527/1
2. Patenttivaatimuksen 1 mukainen laite (10), tunnettu siitä, että mikäli valittu ensimmäinen kieli (L6) kuuluu ainakin kah- 30 teen kielipakettiin (LP1 - LP7) , laite (10) on sovitettu re- kisteröimään lisäksi toisen kielen (LII) toista käyttöliitty-j mää (UI/VUI) varten, joiden ensimmäisen ja toisen kieli- 1 1 5 27 Λ informaation (L6, LII) perusteella laite (10) on sovitettu suorittamaan kielipaketin (LP2) valinnan.
3. Patenttivaatimuksen 1 tai 2 mukainen laite (10), tunnettu 5 siitä, että kullekin kielelle (LI - L34) on asetettu natiivi- kielipaketti.
4. Patenttivaatimuksen 1-3 mukainen laite (10), tunnettu siitä, että sanottu ensimmäinen kieli (L1/L6) on puhekäyttö- 10 liittymäkieli (VUIL).
5. Patenttivaatimuksen 1-4 mukainen laite (10), tunnettu siitä, että sanottu toinen kieli (LII) on käyttöliittymäkieli (UIL). 15
6. Jonkin patenttivaatimuksen 1-5 mukainen laite (10), tunnettu siitä, että laitteen (10) muistiin (MEM) järjestetty informaatio kuhunkin kielipakettiin (LP1 - LP9) kuuluvista kie-listä (LI - L34) on järjestetty hakutauluksi (18), josta haku- • * I. 20 taulusta (18) kielipaketin (LP3) valinta on sovitettu suori-: tettavaksi. • i
*, 7. Patenttivaatimuksen 6 mukainen laite (10), tunnettu siitä, että hakutauluun (18) on sovitettu puhekäyttöliittymäkie-25 li/käyttöliittymäkieli kombinaatioita (VUIL-UIL), joihin kuhunkin kombinaatioon (VUIL-UIL) on yhdistetty valittavaksi so- i vitettu kielipaketti (LP1 - LP9). » * i
• 8. Jonkin patenttivaatimuksen 1-7 mukainen laite (10), tun- ' 30 nettu siitä, että laite (10) on matkaviestin.
9. Menetelmä elektronisessa laitteessa (10) käyttöliittymäkie- liasetuksien (VUIL/UIL) suorittamiseksi, joita käyttöliittymiä 115274 voi laitteessa olla esimerkiksi puhekäyttöliittymä (VUI) (Voice User Interface) ja esimerkiksi laitekäyttöliittymä (TUI) (Terminal User Interface) ja jossa laitteessa (10) käytetään puheentunnistusta SR (speech recognition) puhekäyttöliittymän 5 (VUI) toteuttamiseen, puheentunnistuksen (SR) käyttäessä kie-lipakettia (LP3) , joita laitteessa (10) voi olla useita ja joihin kuhunkin kielipakettiin (LP1 - LP9) kuuluu useita kieliä (LI - L34), joista osa kielistä (LI - L34) voi kuulua useaan kielipakettiin (LP1 - LP9), ja joista kielipaketeista (LP1 10 - LP9) valitaan yksi käyttöliittymässä (VUI, TUI) käytettäväk si, tunnettu siitä, että menetelmässä - laitteella (10) rekisteröidään kieli-informaatiota (L1/L6/L11) (401 - 402, 404.2 - 405.2) ja - laite (10) valitsee käytettäväksi aktivoitavan 15 kielipaketin (LP1/LP2) sanotun kieli-informaation (L1/L6/L11) perusteella (403, 404.1, 406.2).
10. Patenttivaatimuksen 9 mukainen menetelmä, tunnettu siitä, että menetelmässä f !. 20 - laitteella (10) rekisteröidään kieli-informaationa : ainakin ensimmäinen kieli (L1/L6) yhtä käyttöliit- *. tymää (VUI, UI) varten (401 - 402) ja ·. - mikäli sanottu ensimmäinen kieli (LI) kuuluu yh- • ·. teen kielipakettiin (LP1) laite (10) valitsee kie- t 25 lipaketin (LP1) ensimmäisen kielen (LI) perusteel la (403, 404.1) .
11. Patenttivaatimuksen 10 mukainen menetelmä, tunnettu siitä, : että mikäli valittu ensimmäinen kieli (L6) kuuluu useaan kie- • 30 lipakettiin (LP1 - LP7), menetelmässä lisäksi ; - laitteella (10) rekisteröidään toinen kieli (LII) : toista käyttöliittymää (UI, VUI) varten (404.2, 405.2) ja 115274 - laite (10) valitsee kielipaketin (LP2) ensimmäisen ja toisen kielen (L6, LII) perusteella (406.2).
12. Jonkin patenttivaatimuksen 9-11 mukainen menetelmä, tun-5 nettu siitä, että kullekin kielelle (LI - L34) asetetaan na- tiivikielipaketti.
13. Jonkin patenttivaatimuksen 9-12 mukainen menetelmä, tunnettu siitä, että kieli - kielipaketti informaatio järjeste- 10 tään laitteeseen (10) hakutauluksi (18), josta kielipaketin (LP1, LP3) valinta suoritetaan.
14. Jonkin patenttivaatimuksen 9-13 mukainen menetelmä, tunnettu siitä, että sanottu ensimmäinen kieli (L1/L6) on puhe- 15 käyttöliittymäkieli (VUIL).
15. Jonkin patenttivaatimuksen 9-14 mukainen menetelmä, tunnettu siitä, että sanottu toinen kieli (LII) on käyttöliitty- ; ·. mäkieli (UIL) . t. 20
: 16. Tietokoneohjelma (17) käyttöliittymäkieliasetuksien (LP1, LP2) suorittamiseksi patenttivaatimuksen 9 mukaisessa menetel- •t mässä, tunnettu siitä, että ohjelma (17) on sovitettu 1. rekisteröimään ainakin ensimmäisen kieli- * a 25 informaation (LI, L6) ) ainakin yhdestä laitteessa . (10) käytettäväksi aiotusta kielestä (VUIL) (402) ja ; - valitsemaan laitteessa (10) käyttöön otettavan kie- ‘ lipaketin (LP1) sanotun rekisteröidyn kieli- · informaation (LI) perusteella laitteeseen (10) sovi- 30 tetusta kieli-kielipaketti -informaatiosta (18) ·. (404.1). * 1 1 5 2 7 Ί
17. Patenttivaatimuksen 16 mukainen tietokoneohjelma (17), tunnettu siitä, että ohjelma (17) on sovitettu tutkimaan rekisteröityyn ensimmäiseen kieli- informaatioon (L6) liitettyjen kielipakettien (LP1 -5 LP9) lukumäärää, jonka perusteella ohjelma (17) on sovitettu rekisteröimään lisäksi toisen kieli- informaation (LII) toisesta kielestä (UIL) (403, 405.2) ja - valitsemaan laitteessa (10) käyttöön otettavan kielo lipaketin (LP2) sanotun ensimmäisen ja toisen kieli- informaation (L6, LII) perusteella sanotusta laitteeseen (10) sovitetusta kieli-kielipaketti informaatiosta (18) (406.2). * * » i > * 115274
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20035243A FI115274B (fi) | 2003-12-19 | 2003-12-19 | Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi |
| EP04805214A EP1695237B1 (en) | 2003-12-19 | 2004-12-09 | An electronic device equipped with a voice user interface and a method in an electronic device for performing language configurations of a user interface |
| CN2004800379900A CN1894687B (zh) | 2003-12-19 | 2004-12-09 | 电子设备以及用于执行用户接口的语言配置的方法 |
| US10/580,378 US8069030B2 (en) | 2003-12-19 | 2004-12-09 | Language configuration of a user interface |
| AT04805214T ATE527606T1 (de) | 2003-12-19 | 2004-12-09 | Mit sprach-benutzerschnittstelle ausgestattetes elektronisches gerät und verfahren in einem elektronischen gerät zum durchführen von sprachkonfigurationen einer benutzerschnittstelle |
| BRPI0418204-9A BRPI0418204A (pt) | 2003-12-19 | 2004-12-09 | dispositivo eletrÈnico equipado com interface de voz, método para executar as configurações do idioma de interface do usuário no dispositivo eletrÈnico, e, programa de computador |
| KR1020067012066A KR100851629B1 (ko) | 2003-12-19 | 2004-12-09 | 음성 사용자 인터페이스를 구비한 전자 장치 및 사용자인터페이스를 위한 언어 설정을 수행하는 전자 장치의 방법 |
| PCT/FI2004/050183 WO2005059770A1 (en) | 2003-12-19 | 2004-12-09 | An electronic device equipped with a voice user interface and a method in an electronic device for performing language configurations of a user interface |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20035243A FI115274B (fi) | 2003-12-19 | 2003-12-19 | Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi |
| FI20035243 | 2003-12-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FI20035243A0 FI20035243A0 (fi) | 2003-12-19 |
| FI115274B true FI115274B (fi) | 2005-03-31 |
Family
ID=29763643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FI20035243A FI115274B (fi) | 2003-12-19 | 2003-12-19 | Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8069030B2 (fi) |
| EP (1) | EP1695237B1 (fi) |
| KR (1) | KR100851629B1 (fi) |
| CN (1) | CN1894687B (fi) |
| AT (1) | ATE527606T1 (fi) |
| BR (1) | BRPI0418204A (fi) |
| FI (1) | FI115274B (fi) |
| WO (1) | WO2005059770A1 (fi) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7669124B2 (en) * | 2005-04-22 | 2010-02-23 | Microsoft Corporation | System and method for managing resource loading in a multilingual user interface operating system |
| KR101192037B1 (ko) * | 2005-10-12 | 2012-10-17 | 엘지전자 주식회사 | 오디오 정보 표시 언어 설정 장치 및 방법 |
| US8566078B2 (en) * | 2010-01-29 | 2013-10-22 | International Business Machines Corporation | Game based method for translation data acquisition and evaluation |
| US8942974B1 (en) * | 2011-03-04 | 2015-01-27 | Amazon Technologies, Inc. | Method and system for determining device settings at device initialization |
| US9262398B2 (en) * | 2011-05-31 | 2016-02-16 | Google Inc. | Language set disambiguator |
| EP2984574A4 (en) * | 2013-04-10 | 2016-10-19 | Ruslan Albertovich Shigabutdinov | SYSTEMS AND METHODS FOR PROCESSING ENTRIES OF AGENDA APPLICATION ENTRIES |
| US9953630B1 (en) * | 2013-05-31 | 2018-04-24 | Amazon Technologies, Inc. | Language recognition for device settings |
| CN104698995A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 外语自然语文本现场控制的机器人系统 |
| CN104698988A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 非特定人外语语音遥控机器人的控制器装置 |
| CN104698991A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 汉语语音现场控制机器人的控制器装置 |
| CN104698992A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 外语自然语文本遥控机器人的控制器装置 |
| CN104698994A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 外语自然语文本遥控的机器人系统 |
| CN104699003A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 汉语语音遥控的机器人系统 |
| CN104698998A (zh) * | 2013-12-05 | 2015-06-10 | 上海能感物联网有限公司 | 汉语语音现场控制的机器人系统 |
| US9672208B2 (en) * | 2014-02-28 | 2017-06-06 | Bose Corporation | Automatic selection of language for voice interface |
| CN104932873B (zh) * | 2014-03-19 | 2018-05-25 | 联发科技（新加坡）私人有限公司 | 档案处理方法以及电子装置 |
| US9536521B2 (en) | 2014-06-30 | 2017-01-03 | Xerox Corporation | Voice recognition |
| JP6320982B2 (ja) | 2014-11-26 | 2018-05-09 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | 翻訳文エディタ提供装置、並びに翻訳文エディタ提供方法 |
| US9953631B1 (en) | 2015-05-07 | 2018-04-24 | Google Llc | Automatic speech recognition techniques for multiple languages |
| EP3662431A4 (en) | 2017-08-01 | 2021-04-14 | Balu Subramanya | ADVANCED PARK MANAGEMENT SYSTEM |
| US10565982B2 (en) | 2017-11-09 | 2020-02-18 | International Business Machines Corporation | Training data optimization in a service computing system for voice enablement of applications |
| US10553203B2 (en) | 2017-11-09 | 2020-02-04 | International Business Machines Corporation | Training data optimization for voice enablement of applications |
| US20200341480A1 (en) * | 2018-01-22 | 2020-10-29 | Lg Electronics Inc. | Operation method of moving robot |
| TWM563000U (zh) * | 2018-02-14 | 2018-07-01 | 光陽工業股份有限公司 | 車輛之儀表語系切換系統 |
| CN110414014B (zh) * | 2019-08-05 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种语音设备控制方法、装置、存储介质及语音设备 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5440615A (en) * | 1992-03-31 | 1995-08-08 | At&T Corp. | Language selection for voice messaging system |
| US5406626A (en) * | 1993-03-15 | 1995-04-11 | Macrovision Corporation | Radio receiver for information dissemenation using subcarrier |
| US6496793B1 (en) * | 1993-04-21 | 2002-12-17 | Borland Software Corporation | System and methods for national language support with embedded locale-specific language driver identifiers |
| JP3356536B2 (ja) * | 1994-04-13 | 2002-12-16 | 松下電器産業株式会社 | 機械翻訳装置 |
| US5978678A (en) * | 1996-06-07 | 1999-11-02 | Telefonaktiebolaget L M Ericsson (Publ) | Cellular telephone network routing method and apparatus for internationally roaming mobile stations |
| US5917484A (en) * | 1997-02-24 | 1999-06-29 | Hewlett-Packard Company | Multilingual system locale configuration |
| US6069939A (en) * | 1997-11-10 | 2000-05-30 | At&T Corp | Country-based language selection |
| US6061646A (en) * | 1997-12-18 | 2000-05-09 | International Business Machines Corp. | Kiosk for multiple spoken languages |
| WO1999043146A2 (en) | 1998-02-02 | 1999-08-26 | Pulsepoint Communications | Dynamically loadable phrase book libraries for spoken language grammars in an interactive system |
| US6941273B1 (en) * | 1998-10-07 | 2005-09-06 | Masoud Loghmani | Telephony-data application interface apparatus and method for multi-modal access to data applications |
| US6292772B1 (en) * | 1998-12-01 | 2001-09-18 | Justsystem Corporation | Method for identifying the language of individual words |
| US6385586B1 (en) * | 1999-01-28 | 2002-05-07 | International Business Machines Corporation | Speech recognition text-based language conversion and text-to-speech in a client-server configuration to enable language translation devices |
| US6418440B1 (en) | 1999-06-15 | 2002-07-09 | Lucent Technologies, Inc. | System and method for performing automated dynamic dialogue generation |
| RU2245480C2 (ru) | 1999-07-24 | 2005-01-27 | Лэттис Интеллекчуал Проперти Лтд. | Способ присоединения узлов тройников или ответвлений к трубопроводу |
| US7403888B1 (en) * | 1999-11-05 | 2008-07-22 | Microsoft Corporation | Language input user interface |
| US6532446B1 (en) * | 1999-11-24 | 2003-03-11 | Openwave Systems Inc. | Server based speech recognition user interface for wireless devices |
| GB9929284D0 (en) * | 1999-12-11 | 2000-02-02 | Ibm | Voice processing apparatus |
| WO2001075662A2 (en) * | 2000-03-31 | 2001-10-11 | Amikai, Inc. | Method and apparatus for providing multilingual translation over a network |
| JPWO2002035369A1 (ja) * | 2000-10-13 | 2004-03-04 | 株式会社東芝 | データ中継システム、データ中継方法、データ中継プログラム、情報処理方法及び情報処理プログラム |
| JP4135307B2 (ja) * | 2000-10-17 | 2008-08-20 | 株式会社日立製作所 | 音声通訳サービス方法および音声通訳サーバ |
| EP1209660B1 (en) * | 2000-11-23 | 2008-04-09 | International Business Machines Corporation | Voice navigation in web applications |
| EP1346342A1 (en) * | 2000-12-20 | 2003-09-24 | Koninklijke Philips Electronics N.V. | Speechdriven setting of a language of interaction |
| US20030023440A1 (en) * | 2001-03-09 | 2003-01-30 | Chu Wesley A. | System, Method and computer program product for presenting large lists over a voice user interface utilizing dynamic segmentation and drill down selection |
| US20040030554A1 (en) * | 2002-01-09 | 2004-02-12 | Samya Boxberger-Oberoi | System and method for providing locale-specific interpretation of text data |
| US20060167677A1 (en) | 2002-07-30 | 2006-07-27 | Albert Bitzer | Mobile communication terminal |
| US7028027B1 (en) * | 2002-09-17 | 2006-04-11 | Yahoo! Inc. | Associating documents with classifications and ranking documents based on classification weights |
| US7519534B2 (en) * | 2002-10-31 | 2009-04-14 | Agiletv Corporation | Speech controlled access to content on a presentation medium |
| US7574217B1 (en) * | 2003-09-02 | 2009-08-11 | Cisco Technology, Inc. | Method for dynamic configuration of a mobile access point |
| US20050114114A1 (en) * | 2003-11-26 | 2005-05-26 | Ariel Rudolph | System and method for providing a translational dictionary |
| US20050125218A1 (en) * | 2003-12-04 | 2005-06-09 | Nitendra Rajput | Language modelling for mixed language expressions |
-
2003
- 2003-12-19 FI FI20035243A patent/FI115274B/fi not_active IP Right Cessation
-
2004
- 2004-12-09 BR BRPI0418204-9A patent/BRPI0418204A/pt not_active IP Right Cessation
- 2004-12-09 US US10/580,378 patent/US8069030B2/en not_active Expired - Fee Related
- 2004-12-09 EP EP04805214A patent/EP1695237B1/en not_active Not-in-force
- 2004-12-09 AT AT04805214T patent/ATE527606T1/de not_active IP Right Cessation
- 2004-12-09 KR KR1020067012066A patent/KR100851629B1/ko not_active IP Right Cessation
- 2004-12-09 CN CN2004800379900A patent/CN1894687B/zh not_active Expired - Fee Related
- 2004-12-09 WO PCT/FI2004/050183 patent/WO2005059770A1/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100851629B1 (ko) | 2008-08-13 |
| CN1894687B (zh) | 2011-04-20 |
| US20070073530A1 (en) | 2007-03-29 |
| EP1695237A1 (en) | 2006-08-30 |
| CN1894687A (zh) | 2007-01-10 |
| BRPI0418204A (pt) | 2007-04-17 |
| KR20060100470A (ko) | 2006-09-20 |
| FI20035243A0 (fi) | 2003-12-19 |
| WO2005059770A1 (en) | 2005-06-30 |
| ATE527606T1 (de) | 2011-10-15 |
| EP1695237B1 (en) | 2011-10-05 |
| US8069030B2 (en) | 2011-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FI115274B (fi) | Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi | |
| EP2601596B1 (en) | Translating languages | |
| US20080049905A1 (en) | Communication method and apparatus for phone having voice recognition function | |
| US9218052B2 (en) | Framework for voice controlling applications | |
| US20090058816A1 (en) | Information processing apparatus and cellular phone terminal | |
| CA2907775A1 (en) | Hybrid, offline/online speech translation system | |
| KR20100074596A (ko) | 동시대기 단말 및 그의 툴킷 메뉴 제공 방법 | |
| US20130272178A1 (en) | Method for managing calls and mobile terminal using the same | |
| CN105895144A (zh) | 一种基于耳机的录音控制方法及装置 | |
| JP2018504861A (ja) | 呼転送方法、端末、及びポータブル電子デバイス | |
| KR20110098557A (ko) | 키워드를 이용한 사용자 인터페이스 제공 방법 및 단말기 | |
| CN104281354B (zh) | 多媒体信息播放方法和装置 | |
| TWI453676B (zh) | 電子系統及其控制方法 | |
| KR20040011889A (ko) | 다국어 사용자 인터페이스를 제공하는 방법 및 이를구현한 휴대전화기 | |
| US10412572B2 (en) | Device discovering method, apparatus and computer storage medium thereof | |
| CN102834801A (zh) | 具有描述性音频的移动电话菜单图标 | |
| AU2020264367A1 (en) | Contextual voice commands | |
| CN111176539A (zh) | 一种分屏显示方法及终端设备 | |
| US20190320074A1 (en) | Ringtone Setting Method, Electronic Device, and Storage Medium | |
| KR20080043035A (ko) | 음성 인식 기능을 갖는 이동 통신 단말 및 이를 이용한검색 방법 | |
| KR20090034940A (ko) | 모바일 유닛에 대한 고속 개시 시퀀스를 위한 방법 및 시스템 | |
| US20070021107A1 (en) | Additional voice information relating to displayed items | |
| JP2003202890A (ja) | 音声認識装置及びその方法、プログラム | |
| CN107479797A (zh) | 一种输入电话号码的方法及装置 | |
| CN101901110A (zh) | 通过拨号盘提示应用程序入口的方法、系统及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG | Patent granted |
Ref document number: 115274 Country of ref document: FI |
|
| MM | Patent lapsed |