FI102790B - Puheentunnistusmenetelmä - Google Patents

Description

1 102790

Puheentunnistusmenetelmä

Keksinnön kohteena on puheentunnistusmenetelmä, jossa vastaanotetaan puhesignaali, suoritetaan signaali-5 prosessointia, jossa muodostetaan yksi tai useampi konver-siovastine, jonka perusteella sanastosta tuodaan esille mahdollisia tunnistustuloksia, ja jossa menetelmässä kielen rakennetietoa käytetään karsimaan ja myöskin jatkoon mahdollistamaan esille tulleita mahdollisia tunnistustu-10 loksia.

Tunnetun tekniikan mukaiset puheentunnistusmenetel-mät painottuvat puhesignaalin prosessointiin, jossa pyritään tekemään tunnistus tunnistamalla tunnistusyksiköt, esimerkiksi äänne, foneemi tai tavu, täsmällisesti puhun-15 noksessa esiintyviksi äänteiksi. Käyttämällä vain puhesignaalia informaation lähteenä, jonka perusteella tunnistus voidaan tehdä tunnistamalla jokainen tunnistusyksikkö täsmällisesti, jää tunnistus epävarmaksi johtuen monista puhesignaalin reduktioilmiöistä ja puhujakohtaisesta ja pu-20 hujien välisestä puhesignaalin variaatiosta. Puhesignaalin reduktioilmiötä ovat esimerkiksi äänteiden kadot sanasta, jolloin puhesignaalissa ei olekaan tunnistuksessa tarvittavaa informaatiota. Tällaisissa ratkaisuissa on epäkohta-' na se, että tunnistusjärjestelmät ovat pääsääntöisesti pu- 25 hujasta riippuvia. Tällöin järjestelmät on myös opetettava puhujakohtaisesti. Puhujasta riippumattoman tunnistuksen aikaansaamiseksi on tunnettua hyödyntää julkaisusta PCT/US95/04454 tunnettua ratkaisua, jossa hyödynnetään erästä uutta fonologista teoriaa. Kyseisessäkään menetel-• 30 mässä ja laitteessa ei hyödynnetä vielä systemaattisesti mitään muuta lingvististä tietoa ja tietämystä eikä äännerakenteen itsensä ominaisuuksia liittyen äännerakenteen yksiköiden yhdistyrnismahdollisuuksiin.

Tämän keksinnön tarkoituksena on tuoda esiin uuden-35 tyyppinen puheentunnistusmenetelmä, joka välttää tunnet- 2 102790 tuihin ratkaisuihin liittyvät ongelmat.

Tämä tarkoitus saavutetaan keksinnön mukaisella puheentunnistusmenetelmällä, jolle on tunnusomaista, että kriteerinä tunnistustulosten karsinnassa ja myöskin jat-5 koon mahdollistamisessa käytetään kielen rakenteesta ennalta selvitetystä äännepaikkadistribuutiosta saatavaa tietoa ko. äänteiden todennäköisyydestä sijaita sanan jossakin kohdassa, ja että esille tulleiden mahdollisten tunnistustulosten joukosta karsitaan pois sellaiset, joita 10 koskeva äännepaikkadistribuutiosta saatu todennäköisyysar- vo on alle asetetun raja-arvon, ja että esille tulleiden mahdollisten tunnistustulosten joukosta mahdollistetaan jatkoon sellaiset, joita koskeva äännepaikkadistribuutiosta saatu todennäköisyysarvo on yli asetetun raja-arvon.

15 Keksinnön toiselle toteutusmuodolle on tunnusomais ta, että kriteerinä tunnistustulosten jatkoon mahdollistamisessa käytetään kielen rakenteesta ennalta selvitetystä äännepaikkadistribuutiosta saatavaa tietoa ko. äänteiden mahdollisuudesta sijaita sanan jossakin kohdassa, ja että 20 esille tulleiden mahdollisten tunnistustulosten joukosta mahdollistetaan jatkoon sellaiset, joita koskeva äännepaikkadistribuutiosta saatu mahdollisuutta kuvaava arvo on riittävän korkea.

Keksinnön mukainen puheentunnistusmenetelmä perus-25 tuu siihen ajatukseen, että tunnistus perustuu tunnistus-järjestelmään sisällytetyn sanaston sanojen käsittelyyn analogisesta tai digitaalisesta puhesignaalista saadun syöteinformaation avulla siten, että voidaan tunnistaa yksi ainoa tunnistettava sana. Käytetään tietoa kielen • 30 äännerakenteesta, jonka asettamiin mahdollisuuksiin ja rajoituksiin tunnistustulosta verrataan kolmen, kuhunkin tunnistustapaukseen, esimerkiksi, äänteen tai äänneyhtymän tunnistukseen, liittyvän peruskysymyksen selvittämiseksi, eli ensinnäkin siihen, onko kyseinen tunnistus ylipäätään 35 mahdollinen tai mahdollisesti kielen rakennesääntöjen vas- 3 102790 täinen, ja toiseksi siihen miten todennäköinen kyseinen tunnistus on jossakin tietyssä materiaalissa, josta tarvittava sanojen äännerakennetieto tai äännerakennekuvaus on etukäteen selvitetty, ja kolmantena siihen, miten tehty 5 tunnistus rajoittaa muita tunnistusvaihtoehtoja jatkossa.

Keksinnön mukaisella menetelmällä saavutetaan useita etuja. Keksintöä käytettäessä ei ole itse asiassa tarvetta selvittää äänteen tarkkaa identiteettiä analogisen tai digitaalisen puhesignaalin prosessoinnin perusteella, 10 koska äänteiden distribuutiotieto osoittaa identiteetin monissa tapauksissa. Tieto ja tietämys kielen äännerakenteesta usealla eri äännerakenteen tasolla karsii ennakolta tehokkaasti monia tunnistusvaihtoehtoja ja näin ollen antaa mahdollisuuden jopa etukäteen optimoida hahmotellun 15 kaltaisen tunnistusjärjestelmän toimintaa kielen äännerakenteen sääntöjen ja rajoitusten pohjalta siten, että tunnistus voidaan aina tehdä optimaalisesti. Tunnistusjärjes-telmää ei tarvitse erikseen opettaa uusille puhujille. Tunnistusjärjestelmässä käytetty kielen äännerakennekuvaus 20 on helposti siirrettävissä kielestä toiseen. Sovelluksessa käytetyn sanaston äännerakenteen selvittäminen etukäteen mahdollistaa myös osaltaan järjestelmän optimoinnin tunnistuksessa käytettyjen tekniikoiden osalta, koska myös nämä tekniikat tai tunnistusmenetelmät perustuvat kielen 25 tunnetun äännerakenteen ja siinä esiintyvien ilmiöiden systemaattiseen hyödyntämiseen.

Keksintöä selitetään seuraavassa lähemmin viitaten oheisiin taulukoihin ja piirustukseen, jossa kuvio 1 esittää keksinnön mukaista menetelmää to-• 30 teuttavaa laitteistoa pelkistettynä lohkokaaviona, kuvio 2 (2-sivua) esittää äännepaikkadistribuutio-tietoja sisältävän taulukon koskien konsonanttiäänteiden ja vokaaliäänteiden distribuutiota.

Laitteisto käsittää puhesignaalin A vastaanotto-35 osan 1, prosessointilohkon 3, konversiovalinnan määritte- 4 102790 lylohkon 5, sanaston 7, jossa erilaisia sanastoja 7a-7g.

Sanaston konversiolla tarkoitetaan tunnistettavan sanan tunnistamista (määrittämistä) tunnistusjärjestelmään sisällytetystä sanaluettelosta tietyn inputinformaation 5 tai syötesanan avulla. Sanaston konversiota varten kielen äänteet ryhmitellään äänteiden artikulatorisen ääntymä-paikka- ja ääntymatapaluokitukeen mukaan myöhempänä Kohdassa 4 esitettyihin konversioluokkiin tai konversiovalin-toihin. Konversioluokkien nimissä käytetty terminologia on 10 peräisin artikulatorisesta fonetiikasta.

Signaaliprosessoinnin tuloksena saadaan erotettua analogisesta tai digitaalisesta puhesignaalista A vastineet sanaston konversioon perustuville eri tunnistusmenetelmille. Esimerkiksi +/-spektraalinen muutos analogisessa 15 tai digitaalisessa puhesignaalissa voisi olla vastine CV-konversiolle eli konsonantti-vokaalikonversiolle.

Lisäksi laitteisto käsittää kielenrakennetietoa sisältävän lohkon 9, jossa osalohkot 9a-9g. Lisäksi laitteisto käsittää lohkon 11, jonne siinä vaiheessa vielä 20 mahdolliset tunnistustulokset tuodaan, vertailulohkon 13, tunnistustuloksen yksiselitteisyyttä selvittävän lohkon 15 ja lopullista yksiselitteistä tunnistustulosta varten olevan lohkon 17. Lisäksi on takaisinkytkentä 19 yksiselitteisyyden selvityslohkolta 15 vertailulohkolle 13. Mene-25 telmässä esille saatu tunnistustulos lohkosta 17 tallennetaan ja/tai tulostetaan.

Edellä mainittu puhesignaali A voi olla joko luonnollista puhetta tai aiemmin tallennettua puhetta.

Menetelmä käsittää seuraavat päävaiheet, lohkossa 1 • 30 puhesignaalin vastaanottaminen laitteistoon, lohkossa 3 signaaliprosessoinnin suorittaminen, jossa lohkon 5 mukaisesti muodostetaan yksi tai useampi konversiovastine. Kon-versiovastineen perusteella sanastosta tuodaan esille mahdollisia tunnistustuloksia lohkoon 11. Menetelmässä kielen 35 rakennetietoa lohkosta 9 käytetään karsimaan ja myöskin • 5 102790 jatkoon mahdollistamaan esille tulleita mahdollisia tun-nistustuloksia vertailulohkossa 13. Termillä jatkoon mahdollistaminen tarkoitetaan sitä, että tunnistustulos pidetään mukana (valitaan mukaan) mahdollisten tunnistustulos-5 ten joukossa eli ko. mahdollinen tunnistustulos etenee vertailulohkolta 13 lohkolle 15 ja sieltä laitteiston käsittämän takaisinkytkennän 19 kautta takaisin vertailuloh-koon. Mikäli ko. mahdollinen tunnistustulos lohkossa 15 havaittaisiin olevan yksiselitteinen eli ainoa tulos, niin 10 silloin jatkoon mahdollistaminen tarkoittaa sitä, että ko. tunnistustulos hyväksytään oikeaksi.

Peruskeksinnön mukaisesti vertailulohkossa 13 kriteerinä tunnistustulosten karsinnassa ja myöskin jatkoon mahdollistamisesta käytetään yleisestä kielen rakenteesta 15 ennalta selvitetystä äännepaikkadistribuutiosta lohkolta 9 saatavaa tietoa ko. äänteiden todennäköisyydestä sijaita sanan jossakin kohdassa. Lohko 9 sisältää mm. kuvion 2 esittämän informaation. Kuviossa 2 merkintä 20 C (C) V (V) (C) ____ (C) V (S) kuvaa sanojen mahdollista tavurakennetta, jossa symboli C = konsonantti, ja symboli V= vokaali ja symboli (S) = vokaali tai konsonantti. Kyseisen merkinnän alapuolella 25 ensin kuvataan sananalkuisten (sanan alussa olevan) yksit-täiskonsonanttien tilastollista yleisyyttä ko. aineistossa. Kuviosta esimerkiksi nähdään, että yleisin sananalkuinen konsonantti on T (19 %), seuraavaksi yleisin R (17 %). Yleisyys laskee kuviota 2 alaspäin mentäessä. Kun siirry-• 30 tään kuviota 2 vasemmalta oikealle, niin yksittäiskonson- nanttien jälkeen on seuraavana kahden konsonantin konso-nanttiyhtymien tilastolliset yleisyydet (lukumäärinä). Nähdään esimerkiksi että tutkitussa aineistossa konsonant-tiyhtymää ST on 138 tapausta. Kun edelleen siirrytään oi-35 kealle, niin havaitaan, että seuraavana olevissa kahdessa • c 102790 vokaalipylväässä kuvataan vokaalien yleisyyttä sanan sisällä. Jälkimmäinen vokaalipylväs kuvaa suomen kielen osalta sitä, mitä voi olla sanan toisena vokaalina vokaa-liharmoniasäännön mukaan. Kun edelleen siirrytään oikeal-5 le, niin seuraava pylväs on konsonanttiyhtymäpylväs, joka kuvaa ensimmäisen ja toisen tavun rajalla esiintyvien kon-sonanttiyhtymien yleisyyttä suomen kielessä, ja siitä esimerkiksi nähdään, että yhtymä TT on ko. aineistossa kaikkein yleisin (1999 kpl). Kun edelleen siirrytään oikealle, 10 niin toiseksi viimeisessä pylväässä kuvataan sananloppuisten (sanan lopussa olevan) vokaalien yleisyyttä, ja esimerkiksi nähdään, että yleisin on vokaali A (27 %) . Viimeinen eli oikeanpuoleisin pylväs kuvaa sananloppuisia konsonantteja, ja nähdään, että yleisin on N (33 %).

15 Keksinnön mukaisesti on menetelmä sellainen, että esille tulleiden mahdollisten tunnistustulosten joukosta lohkossa 13 karsitaan pois sellaiset, joita koskeva äänne-paikkadistribuutiosta lohkolta 9 saatu todennäköisyysarvo on alle asetetun raja-arvon. Vastaavasti esille tulleiden 20 mahdollisten tunnistustulosten joukosta mahdollistetaan jatkoon eli lohkolle 15 sellaiset, joita koskeva äänne-paikkadistribuutiosta lohkolta 9 saatu todennäköisyysarvo on yli asetetun raja-arvon.

Keksinnön edullisessa toteutusmuodossa on menetelmä 25 sellainen, että mainittuna kriteerinä tunnistustulosten karsinnassa ja myöskin jatkoon mahdollistamisesta käytetään kielen rakenteesta eli lohkosta 9 ennalta selvitetystä äännepaikkadistribuutiosta saatavaa tietoa ko. äänteiden todennäköisyydestä sijaita sanan alussa, keskellä sa-: 30 naa tai sanan lopussa.

Konversiovastineen olemusta ja käyttöä selventää se, että konversiovastineiden muodostamisessa menetelmässä tunnistetaan foneemeja karkeammat äännerakenteen yksiköt puhesignaalista A jonkin vastineen tai vastineiden avulla 35 siten, että äänteet tunnistetaan vain ylipäätään äänneryh- 7 102790 maan kuuluviksi äänteiksi määrittelemättä äänteiden tarkkaa identiteettiä tunnistuksen tuossa vaiheessa. Esimerkiksi konversioluokkaan Nasaali kuuluvat nasaaliäänteet n, m ja äng. Nasaalikonversiossa kukin luokan jäsen tunniste-5 taan kuitenkin vain nasaaliäänteeksi N yleensä erottelematta luokan jäseniä tarkemmin lainkaan.

Laitteistolohkokaaviosta 1 havaitaan, että laitteisto käsittää ohjauslinjan 50 kielenrakenneinformaatiota sisältävältä lohkolta 9 lohkolle 5, joka on siis konver-10 siovalinnan tekevä lohko. Ko. ominaisuuksia hyödynnetään keksinnön eräässä edullisessa toteutusmuodossa, jonka mukaisesti on menetelmä sellainen, että jo ennen tunnistus-tulosten karsintaa ja jatkoon mahdollistamista käytetään äännepaikkadistribuutiota koskevaa tietoa lohkolta 9 lin-15 jän 50 kautta saatavaa tietoa tuomaan käyttöä varten esille sellaiset konversiotyypit, jotka äännepaikkadistribuu-tiotiedon mukaan ylipäätään ovat mahdollisia. Tällöin on siis edullisimmin kyse siitä, että tietoa äännerakenteen karkeiden yksiköiden esiintymisestä tietynkokoisissa sa-20 noissa käytetään syöteinformaationa konversiovastineiden muodostamisessa, joiden perusteella etsitään tunnistusjär-jestelmään sisällytetystä sanastosta se sana tai ne sanat, joissa tunnistettujen äännerakenteen karkeiden yksiköiden tarkat vastineet esiintyvät tietyssä kohtaa sanaa.

25 Jotta menetelmä toimisi nopeammin, on menetelmän edulliselle toteutusmuodolle olennaista, että konver-siovastinetta muodostettaessa käytetään konversiovastineen osana sellaista konversiota, jonka on testauksessa havaittu kyseiselle sanastolle nopeaan tunnistustulokseen johta-• 30 viksi. Nopeutta lisää edelleen vielä se edullinen toteu tusmuoto, jossa konversioita käytetään testausten perusteella selvitetyssä paremmuusjärjestyksessä.

Keksinnön eräässä edullisessa toteutusmuodossa menetelmässä käyttäjä valitsee yhden tai useamman sanasto-35 luokan 7a-7c, johon liittyvää puhetta käyttäjä aikoo tuot- 8 102790 taa. Tällöin ko. edullisessa toteutusmuodossa puheentun-nistusvaiheessa käytetään käyttäjän valitsemasta sanasto-luokasta esimerkiksi 7b jo aiemmin sanastoluokkakohtaises-ti selvitettyjä äännepaikkadistribuutiotietoja.

5 Myös konversiot on voitu sanastoluokkakohtaisesti selvittää sen osalta, mikä konversio toimii parhaiten kullekin sanastoluokalle tai sanasto-osalle.

Keksinnön eräässä edullisessa toteutusmuodossa menetelmässä sanastosta esille tuotuja mahdollisia tunnis-10 tustuloksia karsitaan ja myöskin jatkoon mahdollistetaan tavurakennesääntöjen ja/tai tavutyyppien esiintymisrajoi-tusten perusteella.

Keksinnön eräässä edullisessa toteutusmuodossa menetelmässä sanastosta esille tuotuja mahdollisia tunnis-15 tustuloksia karsitaan ja myöskin jatkoon mahdollistetaan äänneyhtymien tilastollisesta yleisyydestä kertovan sanastosta ennalta selvitetyn tiedon perusteella.

Keksinnön eräässä edullisessa toteutusmuodossa on menetelmä sellainen, että kun on kyse yhdistämättömästä 20 sanasta, ja mikäli tunnistuksessa kyetään määrittämään sanan ensimmäinen vokaali kuuluvaksi toiseen kahdesta pääkategoriasta etuvokaali tai takavokaali, niin tällöin vo-kaaliharmoniasäännön perusteella karsitaan sanastosta esille tuotuja mahdollisia tunnistustuloksia ja niitä 25 myöskin jatkoon mahdollistetaan.

Keksinnön eräässä edullisessa toteutusmuodossa-menetelmässä tunnistus suoritetaan vaiheittaisena, eli siten, että tunnistettavan sanan lopullinen tunnistus tehdään alustavasti löytyneiden mahdollisten tunnistustulos-i 30 ten joukosta analysoimalla löytyneiden sanojen äännerakenne ja valitsemalla signaalinprosessoinnin kannalta optimaalinen lisäkonversio.

Eräässä edullisessa toteutusmuodossa kielikohtaista sanastoa käytettäessä osittainenkin selvyys äännerakenteen 35 karkeiden yksiköiden järjestyksestä voidaan tulkita riit- 102790 9 tavaksi määrittämään konversion avulla tapahtuvassa tunnistuksessa tunnistettava sana. Ko. tapa merkittävästi nopeuttaa tunnistusta. Tässä edullisessa toteutusmuodossa voidaan esimerkiksi selvittää etukäteen tunnistusjärjes-5 telmään sisällytetyn optimointiosan avulla, että sanasta voidaan jättää yksi tai useampi äänne tunnistamatta sig-naaliprosessoinnissa sen perusteella, että jäljelle jääneen sanan äännerakenteen perusteella voidaan tunnistaa vain yksi sana sanastosta. Esimerkiksi sanasta ylituotanto 10 voidaan jättää prosessoimatta mikä tahansa yksittäinen äänne, mikä tahansa seuraavista kahden äänteen yhtymistä: YL, IT, UO, TA ja NT. Loppu sanan äännerakenteesta, esimerkiksi jos yhtymä YL jätetään prosessoimatta, jäljelle jäänyt äännerakenne: ituotanto, sopii vain yhteen sanaan, 15 joka on juuri sana ylituotanto.

Esimerkki tunnistusjärjestelmän toiminnasta: 1. tunnistettava sana: 20 kanne 2. vastineet konveriovalinnoille konsonantti (C), vokaali (V) ja nasaali (N) puhesignaalissa: 25 CVNNV (koodaus) 3. nasaalikonversio sanastolle:

• 30 syötesana: CVNNE

(dekoodaus) 4. tunnistetut sanat: 35 kanne, lanne, vanne, ranne 1° 102790

Joissakin tapauksissa äännerakenteen yksiköiden karkea jaottelu käy yksiin perinteisten fonologisten teorioiden jaottelun kassa, sen takia, että luokkaan sattuu kuulumaan vain yksi äänne tai foneemi esimerkiksi luokka sibilantti 5 kattaa vain yhden äänteen eli äänteen s foneemin /s/ vastineena .

Äännerakenteen tutkimista ja tunnistusjärjestelmän kehittämistä varten kehitetyn prototyypin avulla on selvinnyt, että vain osittainen äännerakenteen karkeiden yk-10 siköiden järjestys riittää usein konversion avulla tapahtuvassa tunnistuksessa määrittämään yksiselitteisesti tunnistettavan sanan tietyllä kielikohtaisella sanastolla. Näin ollen sanan tunnistus ei välttämättä edellytä esimerkiksi sanan konsonanttirakenteen tai konsonanttiluurangon 15 tunnistusta. Tällä piirteellä saavutetaan merkittävää etua signaaliprosessointiosaa optimoitaessa.

Sanaston luokittelua eli jaottelua on edullisimmin käytetty myös toisellakin tavalla. Tässä eräässä edullisessa toteutusmuodossa menetelmässä käytetään sanaston 20 äännesisällön perusteella luokiteltuja sanasto-osia 7d-7g. Tällöin menetelmä edullisimmin itsetoimisesti siirtyy käyttämään sellaista sanasto-osaa, jossa esiintyy sen tyyppisiä äänteitä tai äänneryhmiä, joita puheentunnistuksen alkuvaiheessa havaitaan tunnistettavaksi haluttavassa 25 sanassa esiintyvän. Esimerkiksi jos saadaan signaalin-prosessoinnin avulla määritettyä, että 5 foneemia pitkässä tunnistettavassa sanassa esiintyy pitkä takavokaali, jolloin aktuaalisesti sanassa esiintyvä vokaali on jokin seu-raavista aa, oo tai uu, niin tämän inputinformaation avul--t 30 la löytyneiden sanavaihtoehtojen määrä on tutkimusaineistossa 16 sanaa.

11 102790 Nämä alustavasti löytyneet sanat ryhmittyvät seuraavasti : 1. kaasu 2. pooli 3. ruuma 5 vaari koodi puute vaali moodi juuri laatu raaka vaade 10 vaara haara taara raati 15 Seuraavassa vaiheessa voidaan selvittää lisäanalyy sin avulla, onko tunnistettavassa sanassa esiintyvä pitkä vokaali väljä, suppea vai välinen. Luokittelu väljä vokaali tunnistaisi esiintyväksi vokaaliksi vokaali a:n, luokittelu suppea tunnistaisi vokaaliksi vokaali u:n ja luo-20 kittelu välinen tunnistaisi esiintyväksi vokaaliksi vokaali o-.n tässä järjestyksessä.

Alustavasti löytyneiden vaihtoehtoisten sanojen joukossa on tavallisesti useita tapoja, joilla jatko-analyysi voidaan toteuttaa. Esimeriksi ryhmässä pitkä väl-25 jä takavokaali (vokaali a) sibilanttiäänteen s tunnistus sanan toiseksi viimeisenä äänteenä tunnistaa yksiselitteisesti sanan kaasu. Joissakin tapauksissa, niin sanotuissa minimipareissa, joissa vain yksi äänne erottaa sanojen merkityksen toisistaan, ero on tehtävä yhden äänteen koh- . 30 dalla. Tällaisia sanapareja ovat esimerkiksi sanat vaali i \ vs. vaari ja haara vs. taara, etc.

Ryhmässä pitkä välinen vokaali (vokaali o) ero voidaan tehdä esimerkiksi tunnistamalla sanan alkukonsonantti joko nasaalikonsonantiksi (tunnistaa sanan moodi) tai klu-35 siilikonsonantiksi (tunnistaa sanat pooli ja koodi). Sanat 12 102790 pooli ja koodi voidaan taas erottaa toisistaan tunnistamalla sanan alkukonsonantti joko labiaaliklusiiliksi p tai velaariklusiiliksi k.

Tunnistus voidaan myös tehdä negatiivisesti tunnis-5 tamalla esim. että vaihtoehtoisissa tunnistettavissa sanoissa pooli ja koodi esiintyvä sanan alkukonsonantti-foneemi on -labiaalikonsonantti, jolloin esiintyvä konsonantti on velaarikonsonantti k.

Konsonantti-vokaali suhteen avulla tehtävä tunnis-10 tus yhtenä konversiona vaihtoehtoisesti CV-sekvenssiin perustuvan tunnistuksen kanssa. Esimerkiksi sanassa laatu konsonanttien ja vokaalien suhde on 2:3 tietyssä kohtaa sanaa. Tätä konsonanttien ja vokaalien välistä suhdetta voidaan aina täsmentää määrittämällä konsonanttien ja vo-15 kaalien laatu suhteessa, esim. esimerkkisanalle 1. konsonantti on lateraalikonsonantti ja 2. konsonantti klusii-likonsonantti, vokaalien laatu on vastaavasti 1. vokaali pitkä väljä takavokaali ja 2. vokaali on suppea takavokaa li.

20 Seuraavassa on selvitetty konversioluokkien vasti neita eri tavoin toteutetuissa signaaliprosessointijärjestelmissä .

Puhesignaalinprosessoinnin avulla on pääsääntöisesti löydettävä vastine tai vastineet kullekin konversioluo-25 kalle. Tämä analogisessa tai digitaalisessa puhesignaalissa esiintyvä vastine tai vastineet kykenee tai kykenevät aktivoimaan jonkin konversioluokan tai konversioluokkia inputinformaation antamiseksi tunnistusjärjestelmään kuuluvan sanaston sanojen konversioksi hakualgoritmin avulla.

. 30 Konversion tuloksena syntyy aina joko yksi tai useampi tunnistettu sana tai mahdollisesti nollatunnistus, jolloin sanaa ei saatu tunnistettua inputinformaation avulla tai sitä ei ollut sanastossa. Tunnistusjärjestelmään on mahdollista myös lisätä itse uusia sanoja, jos tämä on tar-35 peen. Konversioluokkien vastineet voidaan todennäköisesti 13 102790 toteuttaa eri tavoin eri signaaliprosessointitoteutuksis-sa.

1.1. Vokaalien konvereioluokkien vastineita analo gisessa tai digitaalisessa puhesignaalissa 5 Vokaalien konversioluokkien vastineita analogisessa tai digitaalisessa puhesignaalissa ovat vastineet PITUUS ja MUUTOS. Vastine pituus, jonka symboli on on tarkoitettu tunnistamaan, positiivisesti tai negatiivisesti tunnistamalla sanan esiintymä tai sen esiintymättömyys, sano-10 ja, joiden ainoa merkitysero on jonkin äänteen LINGVISTISESSÄ KVANTITEETISSA eli pituudessa. Esimerkiksi sanoissa TULI ja TUULI ainoa ero konversoidussa muodossa on vokaalin U pituudessa: CUCV ja CU:CV tässä järjestyksessä. Kyseessä on tässä tapauksessa äänteen ominaisuus, jota kie-15 liteoriassa nimitetään suomen kielen osalta termillä LINGVISTINEN KVANTITEETTI. Tämä kestoero toteutuu usein myös puhesignaalissa siten, että karkeasti ottaen tämä ero on 1:2 pitemmän vokaalin hyväksi.

Vastine MUUTOS, jonka symboli on -, on tarkoitettu 20 tunnistamaan positiivisesti tai negatiivisesti äänneyhty-miä, jotka ovat joko samajäsenisiä tai erijäsenisiä, esimerkiksi diftongeja, triftongeja ja konsonanttiyhtymiä. Vastineen MUUTOS negatiivisessa tunnistuksessa voi olla . myös kyseessä äänteen ominaisuus, esimerkiksi samajäseni- 25 sessä vokaali- tai konsonanttiyhtymässä on kyseessä myös äänteen OMINAISUUS PITUUS. Tässä esityksessä pitkäksi äänteeksi tai ääneyhtymäksi tulkitaan äänneyhtymät, joissa on enemmän kuin yksi jäsen, esimerkiksi kaksi äännettä tai nejä äännettä. Diftongien tunnistusta varten tässä konver-; 30 siossa voidaan vielä erottaa jonkin analogisessa tai digi- * taalisessa puhesignaalissa esiintyvän parametrin tai vas tineen muutoksen suunnan perusteella suppealoppuiset diftongit ja avautuvaloppuiset diftongit eli kaksi diftongien pääluokkaa. Analogisessa tai digitaalisessa puhesignaalis-35 sa esiintyvä jonkin parametrin muutos on yleensä erotetta- 14 102790 vissa staattisesta tilasta. Tätä muutosta voidaan käyttää vastineen MUUTOS tunnistamiseen puhesignaalista.

Muita vokaaliäänteiden konversioluokkien vastineita puhesignaalissa ovat vastineet etu- ja takavokaalien erot-5 tamiseen. Näitä vastineita kutsutaan nimellä ETUVOKAALI ja TAKAVOKAALI tässä järjestyksessä. Muita vokaaliäänteiden ääntymäpaikkaan ja ääntymätapaan liittyviä vastineita analogisessa tai digitaalisessa puhesignaalissa ovat vastineet SUPPEA, VÄLINEN, VÄLJÄ, PYÖREÄ ja LAVEA (vokaali).

10 1. Taulukko 1.1. Vokaalien konversioluokkien vastineita analogisessa tai digitaalisessa puhesignaalissa

Vastine Foneemit Symboli konversiossa

15 _L

pituus mikä tahansa : vokaalitoneemi muutos vokaaliyhtymät, 20 diftongit ja triftongit

etuvokaali i,y,e,ö,ä F

takavokaali a,o,u B

suppea i,y,u H

25 välinen e,ö,o M

väljä a,ä L

pyöreä y,ö,u,o R

lavea i,e,a,ä I

30 • 1.2. Konsonanttien konversioluokkien vastineita analogisessa tai digitaalisessa puhesignaalissa

Konsonanttien konversioluokkien vastineista ovat seuraavat: FRIKAATIO. Tähän konversioluokkaan kuuluvat 35 frikatiiviäänteet sekä sibilanteista s-äänne: F,V,H,J ja 15 102790 S. Symbolina käytetään alkukirjainta F. Muita konsonanttien konversioluokkien vastineita ovat NASAALI, joka on tarkoitettu nasaaliäänteiden konversointiin ja SOINTIARVO, jolla erotetaan soinnilliset ja soinnittomat konsonantit 5 toisistaan.

Muita konsonanttien konversioluokkien vastineita analogisessa tai digitaalisessa puhesignaalissa ovat VO-KAALIMAISUUS, joka kattaa äänteet J,L,R, W ja V; KLUSIILI, joka kattaa äänteet K,P,T,G,B ja D; VELAARI, joka kattaa 10 äänteet K,G ja ÄNG; LABIAALI, joka kattaa äänteet M,B ja P; ALVEOLAARI, joka kattaa äänteet T,D,L,S ja N; RESONANTTI PLUS JOKIN VOKAALI, joka kattaa äänteet R,L,J ja mikä tahansa vokaali; HEIKKO FRIKATIIVI, joka kattaa äänteet V ja J; DENTAALI, joka kattaa äänteet T,D,N,S,R ja L; SIBI-15 LANTTI, joka kattaa äänteen S.

Vastine +/- MUUTOS, jonka esiintyminen tai esiintymättömyys erottaa toisistaan erijäsenisiä konsonanttiyh-tymiä, esim. TN, ja tai samajäsenisiä konsonanttiyhtymiä, 20 esim. TT.

Taulukko 1.2. Konsonanttien konversioluokkien vastineita analogisessa tai digitaalisessa puhesignaalissa ' Vastine Foneemit Symboli konversiossa 25

frikaatio f,v,h,j,s F

nasaali n,m,äng N

. +soinnillinen soinnilliset V

: 30 äänteet

-soinnillinen f,h,s,k,p,t X

vokaalimaisuus j,l,r,w,v W

klusiili k,g,p,b,t,d, P

velaari k,g,äng Z

35 labiaali m,p,b LI

16 102790

alveoalaari t,d,l,s,n A

resonatti + vokaali r,l,j + mikä R

tahansa vokaaliäänne 5 heikko frikatiivi v,j Cl

dentaali t,d,n,s,r,l D

sibilantti s S

+muutos erijäseninen + konsonantti - 10 yhtymä -muutos samajäseninen konsonantti- yhtymä 15

Seuraavassa annetaan esimerkki konversioon perustuvasta tunnistuksesta esimerkkisanalle TRADITIO.

la Konsonantti-Vokaalikonversio (CV-konversio): 20

Syötesana sanaston konversioon: CCVCVCW ja/tai

Ib Soinnillinen-Soinniton konversio (symbolit S,J):

25 Syötesana sanaston konversioon: SJVJVSW

2. Tavutusalgoritmi

CCV.CV.CW

• 30 Sanan konsonantti-vokaali -rakenteen tavutuksessa otetaan huomioon tavutyyppien tilastollinen yleisyys, esim. tavutyyppi CV on tilastollisesti yleisin. Tämä yleisyys voidaan aina selvittää myös sovelluskohtaisesti. Ta vutyyppien esiintymisrajoitukset huomioidaan myös, esim.

35 CC-loppuiset tavut eivät esiinny sanan lopussa lainkaan.

102790 17

Joillakin tavutyypeillä on vähäinen leksikaalinen hyödynnettävyys sikäli, että niiden esiintyminen sanoissa saattaa olla hyvinkin rajoitettu. Esimerkiksi suomen kielen tavutyyppiä VCC esiintyy vain 13 % joissakin tutkituissa 5 sanastoaineistoissa.

Tavutyyppien muodostamat sekvenssit voidaan myös analysoida etukäteen sovelluskohtaisesti sekä määrittää näiden sekvenssien muodostamat rakenteelliset tyypit sekä karsia tunnistusmahdollisuuksia myös näiden tavuraken-10 nesekvenssien perusteella.

Tunnistetut sanat CV-konversiolla esimerkkisanan traditio CV-rakenne (CCVCVCW) inputinformaationa: traditio provisio speditio klamydia 15 3. Osa Kielen Äännerakennekuvausta suomen kielessä 3a Äänneyhtyrnien tilastollinen yleisyys sananalkuisille konsonanttiyhtymille 8-äännettä pitkissä sanoissa tutki-20 musaineistossa:

Konsonantit Konsonanttiyhtymä Esiintymien määrä . tr- 2 25 pr- 20 sp- 1 kl- 2

Vokaalit Vokaaliyhtymä Esiintymien määrä \ 30 1 -io 15 -ia 13

Karsintaan ja jatkoon mahdollistamiseen kriteerinä 35 käytetään äännepaikkadistribuutiota, vokaaliharmoniasään- 18 102790 töä (takavokaali > takavokaali plus E tai I, etuvokaali > etuvokaali), homorgaanista ääntymäpaikkaa (esim. yhtymiä mp, nt, nk).

Lisäksi käytetään äänteiden sonorisuusperiaatetta 5 tavuissa. Tavun ydin muodostaa sonoriteettimaksimin ja tavun laidoilla on sitä vähemmän sonorisia segmenttejä, mitä kauemmas ytimestä mennään. Tämä tieto karsii tunnis-tusvaihtoehtoja äänteiden sonorisuusperiaatteen mukaan siten, että kun saadaan tunnistettua tavun ydin joksikin 10 vokaaliäänteeksi, tavun laidoilla tiedetään esiintyvän vähemmän sonorisia äänteitä.

4. Alustavat konversioluokat konsonanteille ja vokaaleille 15

Taulukko 4.1. Alustavat konversioluokat konsonanttiäänteille

Konversioluokka Äänteet Symboli konversiossa 20 _

1. CV-sekvenssi esim. kanne V

=CVCCVC

2. **xyz** mikä tahansa * 25 äänne 3. x***y mikä tahansa * äänne

4. Dentaali t,d,n,s,l,r D

5. Klusiili k,p,t,g,b,d P

• 30 6. Velaari k,g,äng G

7. Nasaali m,n,äng N

8. Alveolaari t,d,l,n,s A

9. Sibilantti s S

10. Heikko v,j W

35 frikatiivi 19 102790

11. Labiaali m,p,b L

12. Resonantti j,l,r R

13. Frikatiivi f,v,h,j F

14.Soinniton f,h,s,,p,t X

5 äänne 15. Soinnillinen Q äänne-soinnittomat

16. Tavutyyppi esim. kan.ne esim. CVC

10 17.CV-suhde esim. kanne esim. 3:2

Konversioluokat 2 ja 3 ovat heuristisia konver-sioluokkia. Ne eivät perustu artikulatorisen fonetiikan 15 käsitteistöön kuten muut konversioluokat ja niiden nimitykset .

Konversioluokkaa numero 2 käytetään, kun sanan yksi tai useampi äänne tunnistetaan tietyksi äänteeksi luokan sisällä eikä pelkästään luokan jäseneksi, kuten normaalis-20 ti eri konversioissa. Tässä tapauksessa lähtötietona on sanan äänteiden kokonaismäärä sekä täsmällisesti tunnistetut tietyn konversioluokan jäsenet. Esimerkiksi suomen kielen sanasta kanne voidaan tunnistaa täsmällisesti kaksi π-äännettä sanan keskellä ja antaa syötesana sanaston kon-25 versioon muodossa **nn*. Symboli * korvaa minkä tahansa äänteen, vokaalin tai konsonantin. Tätä konversioluokkaa voidaan käyttää myös siten, että äänteet on konversoitu eikä tunnistettu täsmällisesti.

Konversioluokassa numero 3 sovelletaan samaa peri-• 30 aatetta sillä erotuksella, että tunnistettavan sanan alus ta ja lopusta tunnistetaan konversioluokan jäsen täsmällisesti. Samalla esimerkkisanalla kanne syötesanan muoto sanaston konversioon on siis k***e tässä konversiossa. Tätä konversioluokkaa voidaan käyttää myös siten, että 35 äänteet on konversoitu eikä tunnistettu täsmällisesti.

20 102790

Konversioluokkaa numero 17 voidaan käyttää CV-kon-version ohella tai sen asemesta.

Taulukko 4.2. Alustavat konversioluokat vokaaliäänteille 5 Konversioluokka Äänteet Symboli sanaston konversiossa

I. Takavokaali u,o,a B

10 2. Etuvokaali i,y,e,ö,ä Z

3. Suppea vokaali i,y,u H

4. Välivokaali e,ö,o M

5. Väljä vokaali a,ä Y

6. Lavea vokaali a,ä,i,e U

15 7. Pyöreä vokaali y,ö,u,o O

8. Diftongi esim. ai,ei d- 9. Triftongi esim. eoi t- 10. Pitkä vokaali esim. aa,ee h-

II. Vokaali esim. a,ä V

20 yleensä 5. Sanaston seulojen jaottelukriteerejä optimaalisen nopealle sanaston konversoinnille 25 1. sanat, joissa on soinnillisia äänteitä eriasteisesti, esim. kanne 2. sanat, joissa on soinnittomia äänteitä eriasteisesti, esim. tase • 30 3. sanan äänteiden määrän mukaan alkaen 3 äänettä pitkistä ’ sanoista esim. 15:sta äännettä pitkiin sanoihin, esim. 8- äännettä pitkiä sanoja löytyy tutkimusaineistosta 361 kappaletta 4. sanojen tilastollisen yleisyyden perusteella jossakin 35 edustavassa aineistossa, esim. noin 7000 kielen yleisintä 2i 102790 sanaa kattaa lingvististen tutkimusten mukaan 97.5 % yleisten tekstien sanastosta. Sanaston konversointi voitaisiin ohjata aina ensin näiden sanojen muodostamaan kokonaisuuteen soveltaen muita sanaston jaottelukriteerejä 5 tähän joukkoon 5. sanan alkukirjaimen mukainen aakkosjärjestys edellisten jaottelukriteerien ohella 6. edellisten ohella sanat voidaan myös jakaa konsonantti-äänteeseen ja vokaaliäänteeseen tai vokaaliäänteisiin 10 päättyviin sanoihin 7. edellisten lisäksi sanojen jakaminen niiden kieliopillisen luokan mukaan, esim. substantiivit, adjektiivit, verbit, adverbit ja partikkelit voidaan erotella erikseen 8. sanojen kollokaatioiden osoittaminen, esim. jotkut ver- 15 bit voivat saada objektikseen vain elollisen tai elottoman kohteen, jne.

6. Tunnistuksen optimointitietoa esimerkkisanalle traditio a) Optimaalinen konversiovalinta: Klusiili 20 b) Miinus 1 äänne pois sanasta: -a,-d,-i,-t-,-i,-o c) Miinus 2 äännettä pois sanasta: -ad,-it,-io d) Miinus 3 äännettä pois sanasta: -dit,-adi e) Miinus 4 äännettä pois sanasta: -diti,-itio f) Miinus 5 äännettä pois sanasta: -ditio 25 g) Lisäkonversio: Klusiili Tässä kohdassa annetaan etukäteen selvitetty tieto siitä optimaalisesta konversiovalinnasta, joka tunnistaa kaikkien sanojen joukosta yksiselitteisesti sanan traditio * 30 parhaiten suhteessa optimaaliseen signaalinprosessointita- * paan. Lisäksi annetaan se Lisäkonversio, jolla voidaan tehdä yksiselitteinen tunnistus konsonantti-vokaali-konversiolla alustavasti tunnistettujen sanojen joukosta sekä optimaalisessa konversiossa tunnistukselle tarpeeton osa 35 sanan äännerakenteesta.

22 102790

Analogisessa tai digitaalisessa puhesignaalissa esiintyvä vaste tai vasteet tuottavat inputin£ormaationa tai syötesanana sanaston konversiolle joukon konver-sioluokkien symboleja, joiden paikalla tunnistetussa sa 5 nassa voivat esiintyä kaikki konversioluokkaan määritellyt äänteet. Esim. suomen kielen sanasta kanne tunnistus-järjestelmän tuottama syöteinformaatio sanaston konversiolle Nasaalikonversiolla voisi olla seuraava: CVNNV, jossa symboli C vastaa mitä tahansa konsonanttiäännettä, 10 symboli V mitä tahansa vokaaliäännettä ja symboli N mitä tahansa nasaaliäännettä tässä järjestyksessä. Sanaston konversion tuloksena saadaan yksi tai useampi tunnistettu sana. Jos tunnistettuja sanoja on useampi kuin yksi, lopullinen tunnistus voidaan tehdä jonkin lisäkonversion 15 avulla.

Menetelmässä on useita kohtia (vaiheita):

Kohta 1:

Ensimmäisenä suoritettavana sanaston konversiotyyppinä selvitetään joko sanan konsonantti-vokaali -rakenne ja/tai 20 vaihtoehtoisesti määritetään joidenkin vasteiden avulla sanan soinnilliset ja soinnittomat äänteet. Tässä ensimmäisessä karkeassa sanaston konversiossa voidaan myös tunnistaa joidenkin yleisimpien konversoitujen äänteiden, . esim. dentaalikonsonanttien, vastineiden esiintyminen tai 25 esiintymättömyys.

Kohta 2:

Alustavaa tunnistustulosta, sanan konsonantti-vokaali -rakenteeksi konversioitua muotoa, verrataan kielen äännerakenteen tavutussääntöihin sekä muihin Kohdassa 2 • 30 esitettyihin tavurakenteen ilmiöihin, joiden avulla voi- ‘ daan karsia mahdollisia vääriä tunnistustuloksia sekä täy dentää puuttuvaa inputinformaatiota, mikä saattaa johtua puhesignaalissa esiintyvistä reduktioilmiöistä, esim. äänteiden kadosta tunnistettavassa sanassa.

35 Ensimmäisen konversion tuloksena saadaan joko yksi 23 102790 tai useampi tunnistettu sanakandidaatti, joista yksi on oikea tunnistettava sana. CV-konversiolla tunnistettujen sanojen määrä voi olla tyypillisesti noin 10 prosenttia tietyn kokoluokan sanoista. Se voi olla jopa niinkin pieni 5 kuin kaksi sanaa 378 sanasta.

Kohta 3:

Kohta 3a

Ensimmäisen sanaston konsonantti-vokaali-konversion 10 perusteella tunnistettuja sanakandidaatteja voidaan seu-raavaksi yrittää tunnistaa esim. sanoissa mahdollisesti esiintyvien äänneyhtymien (konsonanttiyhtymät tai vokaaliyhtymät) tilastollisen frekvenssin perusteella.

Tämä äänneyhtymien tilastollinen frekvenssi on sel-15 vitetty etukäteen järjestelmään sisältyvän tunnistuksen optimointiosan avulla kaikille esiintyville äänneyhtymille erikseen.

Äänneyhtymän tilastollinen yleisyys ei kuitenkaan aina korreloi tunnistettavan sanan kanssa, mutta yleisim-20 pien äänneyhtymien esiintyminen voidaan siitä huolimatta asettaa tunnistushypoteesiksi Lisäkonversioon, jonka avulla tunnistettavaa sanaa voidaan yrittää tunnistaa lopullisesti .

, Esimerkkisanan traditio tapauksessa sanan lopulli- 25 nen tunnistus voidaan tehdä optimaalisesti kahden tilastollisesti yleisimmän sananalkuisen konsonanttiyhtymän tr ja pr perusteella, joissa molemmissa esiintyy toisena konsonanttina resonanttikonsonantti r, asettamalla tunnis-tushypoteesin, esiintyykö analogisessa tai digitaalisessa 30 puhesignaalissa vastineita joko klusiiliäänteille tai si-bilanttiäänteille eri sana-asemissa.

Joko positiivinen tai negatiivinen vastineiden esiintyminen riittää tunnistamaan toisen näistä sanoista yksiselitteisesti: jos tunnistetaan, että sanassa ei 35 esiinny sibilanttiäännettä s, niin jo tämä tieto riittää 24 102790 tunnistamaan yksiselitteisesti sanan traditio kahdesta vaihtoehtoisesta sanasta traditio tai provisio.

Tämä mahdollistaa sen, että on mahdollista valita käytettävä konversointitapa (konversioluokka) siten, että 5 valitaan aina se konversioluokka, jonka toteutus vaatii vähemmän atk-resursseja ja on nopein, jos on valittavana useita eri vaihtoehtoja. Esimerkkisanojen traditio ja provisio tapauksessa sibilanttiäänteen s negatiivinen tunnistus eli sibilanttiäänteen esiintymättömyys on oletettavas-10 ti helpommin toteutettava kuin konversioluokka Klusiili, jossa tunnistettaisiin sanan traditio kaikki klusiiliään-teet sanan tunnistusta varten.

Sanasta traditio tiedetään myös Kohdan 6 perusteella, että konsonanttiyhtymää tr ei voi jättää pois signaa-15 linprosessoinnista, jonka avulla selvitetään optimaalisesti vain tämän sanan tunnistavan konversioluokan Klusiili vastine tai vastineet, koska jäljelle jäänyt äännerakenne tunnistaisi tässä tapauksessa väärän sanan.

Samassa sanassa saattaa esiintyä äänteitä, joihin 20 soveltuu useita eri konversioluokkia. Esimerkiksi sanassa omainen Nasaalikonversiolla voidaan tunnistaa yksiselitteisesti vain 1 sana, kun taas konversiolla Dentaali tunnistettavien sanojen määrä on 9 kappaletta.

Tunnistettavien sanojen määrään (tunnistustarkkuu-25 teen) sanaston konversiossa vaikuttaa myös käytetyn haku-algoritmin toiminta ja se, miten monta eri positiota kon-versioluokkaan kuuluvat äänteet kattavat tunnistettavasta sanasta. Prototyypissä käytetty hakualgoritmi tunnistaa sanat sanaston konversiossa sanan alkukirjaimen, loppukir-: 30 jaimen ja kirjainten kokonaismäärän perusteella.

•· Esimerkkisanasta omainen nähdään, että nasaaliään- teet m ja n kattavat 3 positiota sanassa vasemmalta oikealle. Tämä yhdessä sen tiedon kanssa, että kielen äännerakenteesta johtuen ja siinä esiintyvistä satunnaisista 35 aukoista johtuen, suomen kielen 7 äännettä pitkissä sa- 25 1 0 2 7 9 0 noissa ei esiinny ainakaan kovin kielenmukaisena esim. muotoa *onainen, jolloin tuloksena olisi 2 tunnistettua sanaa.

Yllä olevia todettuja äännerakenteen piirteitä voi-5 daan hyödyntää siten, että hyödynnetään tunnistusta parantavia tendenssejä vaihtoehtoja etukäteen karsivina menetelminä, esim. pyritään määrittämään mahdollisimman monta parhaiten tunnistavien konversioluokkien esiintymää tunnistettavassa sanassa kuten sanassa omainen Nasaalikonver-10 siolla.

Kohta 3b

Kun sanan äännerakennetta analysoidaan edelleen lisäkonversiossa, niin tämä tehdään äänteiden distribuu-tiotiedon perusteella, joka määrittelee, mitkä äänteet 15 voivat esiintyä sanan alussa, keskellä sanaa tai sanan lopussa. Kullakin äänteellä on omat rajoituksensa sen suhteen, missä näistä sana-asemista ne voivat ylipäätään esiintyä. Esim. sanan lopussa suomen kielessä voi esiintyä vain niin sanottuja dentaalikonsonantteja, joita ovat t, 20 s, 1, r ja n. Tämä tieto karsii soveltuvien konversioiden määrän sanan loppuosille yksinäiskonsonanteille vain muutamaan mahdolliseen.

Kohta 3c

Suomen kielen osalta niin sanottu vokaalihar-25 moniasääntö karsii myös tunnistusvaihtoehtoja yhdistämättömän sanan (ei-yhdyssana) muiden vokaalien osalta, jos tunnistuksessa kyetään, määritetään sanan ensimmäinen vokaali kuuluvaksi toiseen pääkategoriaan etuvokaali tai takavokaali. Vokaaliharmoniasäännön suhteen neutraaleja • 30 ovat kuitenkin suomen kielen vokaalit e ja i, jota voivat esiintyä kummassa tahansa sarjassa. Etuvokaaleja suomen kielessä ovat vokaalit: i, y, e, ö ja ä. Takavokaaleja taas vokaalit: u, o ja a.

Kohta 3d 35 Niin sanottu äänteiden homorgaanisuussääntö eli 26 102790 kahden konsonantin ääntymäpaikan samuus karsii (ennustaa) joissakin tapauksissa toisen äänteen (ääntymäpaikan) automaattisesti, jos toisen yhtymän äänteen ääntymäpaikka kyetään määrittämään. Esim. monissa kielissä nasaaliäänne ja 5 klusiili ovat samapalkkaisia. Tällöin esiintyy samapalkkaisia yhtymiä mp, nt, mutta ei eri ääntymäpaikkaisia yhtymiä *np tai *mt.

Kohta 3e

Tavun ydin muodostaa sonoriteettimaksimin ja tavun 10 laidoilla on sitä vähemmän sonorisia segmenttejä, mitä kauemmas ytimestä mennään. Tämä tieto karsii tunnistus-vaihtoehtoja äänteiden sonorisuusperiaatteen mukaan siten, että kun saadaan tunnistettua tavun ydin joksikin äänteeksi, tavun laidoilla tiedetään esiintyvän vähemmän sonori-15 siä äänteitä.

Kohta 4

Kohdassa 4 esitetään alustavat testauksessa käytetyt konversioluokat sekä konsonanteille että vokaaleille. Konversioluokan yhteydessä annetaan niihin sisältyvät ään-20 teet ja symbolit sanaston konversoinnissa, jotka saadaan analogisen tai digitaalisen puhesignaalin prosessoinnin tuottamien konversioluokkien vastineiden perusteella.

Kehitettyyn menetelmään kuuluu mahdollisuus vapaasti luoda uusia konversioluokkia, esim. yhdistämällä kon-25 sonantteja ja vokaaleja samaan konversioluokkaan ja tes taamalla niiden kykyä tunnistaa sanoja. Siihen kuuluu myös mahdollisuus vapaasti vaihdella äänteiden määrää meille vieraiden kielten sanojen tunnistuksessa.

Kohta 5: : 30 Kohdassa 5 esitetään sanaston jaottelukriteerit sanojen optimaalisen nopeaa konversiota varten. Osaa näistä kriteereistä käytetään jo ensimmäisen konsonantti-vokaali -konversion yhteydessä, nimittäin kriteerejä numero 3, 4 ja 6.

35 Kohta 6 27 102790

Kohdassa 6 annetaan optimaalinen konversiovalinta suhteessa konversiovalintojen vastineiden toteutukselle analogisen tai digitaalisen puhesignaalin prosessoinnissa yhdelle järjestelmään sisällytetylle sanalle, eli sanan 5 traditio tunnistamista varten. Lisäksi annetaan esimerk-kisanan tunnistukselle tarpeeton osa sanan äännerakenteesta optimaalisessa konversiossa. Tunnistukselle tarpeeton osa äännerakenteesta voidaan jättää pois ilman, että tunnistettaisiin väärä sana. Lopuksi annetaan vielä se opti-10 maalinen Lisäkonversiovalinta, jolla voidaan tunnistaa kyseinen sana yksiselitteisesti alustavasti tunnistettujen 4:n vaihtoehtoisen sanan joukosta.

Taulukko 6.1. Lisäkonversiovalintoja 4:lle vaihtoehtoisel-15 le sanalle, jotka saatiin sanaston ensimmäisen karkean konversion tuloksena

Tunnistettu sana Lisäkonversiot 20 TRADITIO Klusiili, Alveolaari

Laveaa vokaali ja väljä vokaali samanaikaisesti 25 PROVISIO Frikatiivi, Labiaali,

Sibilantti, Pyöreä vokaali SPEDITIO Klusiili, Etuvokaali : 30 KLAMYDIA Alveolaari, Väljä vokaali, ’ Lavea vokaali

Taulukosta 6.1. nähdään, että 8-äännettä pitkissä 35 sanoissa, joiden kokonaismäärä tutkimusaineistossa on 361, 28 102790 CV-konversiolla saadaan vähennettyä tunnistettujen sanojen määrää vain neljään sanaan.

Kullekin näistä neljästä sanasta saadaan määritettyä optimaalisin Lisäkonversiovalinta, jolla voidaan tun-5 nistaa kyseinen sana yksiselitteisesti alustavasti tunnistettujen sanavaihtoehtojen joukosta.

Valittavana on jopa useita eri vaihtoehtoja, jolloin voidaan valita käytettävä Lisäkonversio esim. sen mukaan, suunnataanko järjestelmän signaalinprosessointi-10 osan toimintaperiaatetta enemmän vokaaliäänteiden tunnistukseen vai konsonanttiäänteiden tunnistukseen.

Jopa vokaalikonversioiden sisällä saattaa olla eroja sen suhteen, miten paljon prosessointia ne vaativat tunnistaakseen yhden ainoan sanan: esim. konversiovalin-15 noissa Väljä vokaali ja Lavea vokaali sanalle klamydia: edellisessä tunnistukseen riittää takavokaali a:n tunnistus, jälkimmäisessä täytyy tunnistaa sekä vokaalit a että vokaali i sanan yksiselitteiselle tunnistukselle.

Vokaalikonversio Väljä vokaali kannattaa siis vali-20 ta tässä tapauksessa puhesignaalin optimaalisen prosessoinnin kannalta, koska se vaatii vähemmän prosessointia kuin jälkimmäinen ja tunnistustulos on yhtä hyvä.

Alustavasti tunnistettujen sanojen äännerakenteessa saattaa olla jopa samoja tai osittain samoja rakenteita.

25 Esim. sanoista traditio ja speditio nähdään äännerakennea-nalyysin perusteella, että sanan lopullista tunnistusta kannattaa ohjata esim. sananalkuisen konsonanttiyhtymän analyysiin, esim. määrittämällä, esiintyykö analogisessa tai digitaalisessa puhesignaalissa vastinetta tai vasti- • 30 neita sibilanttiäänteelle s. Positiivien tunnistus (sibi- * ' lanttiäänteen s esiintyminen) tunnistaisi jo yksiselittei sesti sanan speditio. Negatiivinen tunnistus (sibilantti-äänteen s esiintymättömyys) tunnistaisi taas yksiselitteisesti sanan traditio. Täysin tai osittain samat äännera-35 kenteet on alleviivattu Taulukon 6.1. sanoissa.

29 102790

Alustavasti löytyneiden sanavaihtoehtojen avulla voidaan yllä kuvatuilla tavoilla optimoida tunnistusjärjestelmän toimintaa merkittävästi sanaston tunnetun ja sovelluskohtaisesti selvitettävän äännerakenteen perus-5 teella karsimalla eri tunnistusvaihtoehdot minimiin. Esim. valitsemalla kahdesta konversiovalinnasta se, jonka toteutus signaalinprosessoinnissa on helpompaa, tai analysoimalla vain se osa sanan äännerakenteesta, jonka tiedetään etukäteen riittävän erottamaan tunnistettavat sanat toi-10 sistaan.

Juuri yllä kuvatun kaltainen sanaston äännerakenteen ja kielen rakenteen yleisemminkin systemaattinen hyödyntäminen useilla eri analyysitasoilla erottaa hahmotellun järjestelmän tunnetusta tekniikasta.

15 Tunnistukselle tarpeettomia sanan äännerakenteen osia löytyy myös Lisäkonversiossa, jossa tunnistetaan yksiselitteisesti CV-konversiolla alustavasti tunnistettujen sanojen joukosta lopullisesti tunnistettava sana. Koska näiden alustavasti tunnistettujen sanojen kokoluokka on 20 sama kaikille sanoille, tunnistukselle tarpeettomat sanan äännerakenteen osat (äänteet) voidaan korvata korvausmerkillä * sanaston konversiossa.

Tällöin hakusana sanaston konversioon on seuraava kohdassa miinus 5-äännettä: t**D*T**, josta voidaan jättää « 25 pois äänteet: RAIIO ilman väärän sanan tunnistuksen riskiä .

Taulukko 6.2. Tunnistukselle tarpeettomat sanan äännerakenteen osat Lisäkonversiossa esimerkkisanalle traditio 30 _ * «

Miinus 1 äänne: R,A,Ι,Τ,Ι,Ο

Miinus 2 äännettä: IT,10,RA,Rl,RT,Rl,RO Miinus 3 äännettä: RAI, RAT,RAI,RAO,ITI,ITO 35 Miinus 4 äännettä: RTIO,RITI

• Miinus 5 äännettä: RAIIO

i

Miinus 6 äännettä: RAITIO

30 102790

Taulukosta 6.2. nähdään, että sanasta traditio voidaan jättää jopa 6 äännettä tunnistamatta riskeeraamatta väärän sanan tunnistusta alustavasti tunnistettujen sanojen (pienestä) joukosta.

5 Tällä saavutetaan merkittävää etua optimaalisen signaalinprosessoinnin kannalta sikäli, että esim. tapauksessa, jossa voidaan jättää jopa 6 äännettä tunnistamatta 8 äännettä pitkästä sanasta, tunnistettavan sanan esiintyminen puhesignaalissa voidaan todeta etsimällä puhesignaa-10 lista vastineet kahdelle konversoidulle klusiiliäänteelle eli äänteille t ja d tässä järjestyksessä.

Jos tunnistettavien sanojen joukossa esiintyy myös fraaseja, kuten esim. sanakirjoissa, niin näitä fraaseja voidaan tunnistaa niissä esiintyvien yksittäisten 15 sanojen perustella, jos fraaseissa esiintyvien sanojen rajat saadaan määritettyä jotenkin. Fraasiksi katsotaan kaikki ilmaukset, jotka koostuvat vähintäänkin kahdesta erillisestä sanasta. Niinpä edullisessa toteutusmuodossa menetelmässä suoritetaan kaksi tai useampia sanoja käsit-20 tavien fraasien tunnistus tunnistamalla fraasissa esiintyvä yksittäinen sana. Fraasin tunnistamisessa edullisimmin suoritetaan tarvittaessa jatkoanalyysi, jossa tarkistetaan missä kohtaa fraasia mainittu tunnistettu yksittäinen sana esiintyy. Esimerkiksi inputsanalla BSB, jossa B on yhtä 25 kuin jokin takavokaali (a,o tai u) ja S on yhtä kuin sibi-lanttiäänne s, tunnistetaan testiaineistosta vain 2 fraasia :

1) tavaran tai päällyksen erikoislaatuinen ASU

2) lesken OSA tilasta, johon hänellä on elinikäinen nau- 30 tintaoikeus

Inputsanaa vastaavat sanat fraaseissa on kirjoitettu isolla kirjaimella.

Inputsanan valintakriteerinä on käytetty oletetta-35 vasti helposti tunnistettavan sibilanttiäänteen s esiinty- 31 102790 mistä vokaaliympäristössä VSV, jossa molemmat vokaalit ovat takavokaaleja.

Jatkoanalyysimenetelminä oikean fraasin tunnistamiseksi voidaan tarkistaa ensin, missä kohtaa fraasia input-5 sanan vastine esiintyy. Jos sanan todetaan esiintyvän fraasin lopussa, niin fraasi numero 1 on oikea, jos taas alussa fraasia, niin fraasi numero 2 on oikea. Jonkinlaista karkeaa pituuseroarviota voitaisiin käyttää myös oikean fraasin tunnistuksessa, varsinkin, jos pituusero on huo-10 mättävä. Koska pitemmissä fraaseissa on aina tarjolla useita mahdollisuuksia eri tyyppisille konversiotavoille (eri konversioille) eri ympäristössä, niin niistä voidaan aina valita optimaalisesti helpoimmin toteutettava tapa signaalinprosessoinnin kannalta. Alustavasti tunnistettuja 15 fraaseja voidaan erottaa toisistaan myös muiden kuin in- putsanaa vastaavien sanojen osittaisen tai täydellisen CV- rakenteen avulla. Esim. inputsanalla PBPB, jossa P vastaa klusiiliäännettä (k,p,t) ja B takavokaalia (a,o,u), löydetään 7 fraasia, joista 3 annetaan esimerkkeinä tässä esi-20 tyksessä:

1) julma TEKO

2) velan KATE

• 3) renkaan PITO

25

Oletetaan, että tunnistettava fraasi on fraasi numero 3. Tämä fraasi voidaan tunnistaa jo sanan renkaan osittaisen CV-rakenteen avulla tunnistamalla, esiintyykö ennen nasaaliäännettä ylipäätään pitkä vokaali.

30 Keksinnön edulliset toteutusmuodot ja muut yksi tyiskohtaiset toteutusmuodot korostavat peruskeksinnön etuja ja yhä parantavan keksinnön toimintaa.

Keksintö voidaan toteuttaa olemassaolevia elektronisia komponentteja kuten muistipiirejä, mikroprosesso-35 reita ja erilliskomponentteja käyttäen. Menetelmän toteut- 32 102790 tava laitteisto voidaan kokonaan tai osin toteuttaa esimerkiksi mikrotietokoneen avulla, jolloin käyttäjän käyttöliittymänä toimisi tietokoneen tiedonsiirtoväylään liitetty mikrofoni, ja lisäksi mikrotietokoneen normaali 5 käyttöliittymä eli näppäimistö ja/tai tai hiiri-tyyppinen ohjain, joita käytettäisiin esimerkiksi sanastoluokkien 7, 7a-7c valitsemiseen. Puhesignaalin A prosessoinnissa käytetään sinänsä tunnettuja esim. spektrianalyysimenetelmiä.

Menetelmän toinen toteutusmuoto on muuten vastaa-10 vantyyppinen kuin edellä on esitetty, mutta siinä ei karsintaa välttämättä suoriteta joka kierroksella, varsinkaan alussa.

Vaikka keksintöä on edellä selostettu viitaten oheisten piirustusten mukaisiin esimerkkeihin, on selvää 15 ettei keksintö ole rajoittunut niihin, vaan sitä voidaan monin tavoin muunnella oheisten patenttivaatimusten esittämän keksinnöllisen ajatuksen puitteissa.

Claims (19)

33 102790

1. Puheentunnistusmenetelmä, jossa vastaanotetaan puhesignaali, suoritetaan signaaliprosessointia, jossa 5 muodostetaan yksi tai useampi konversiovastine, jonka perusteella sanastosta tuodaan esille mahdollisia tunnistus-tuloksia, ja jossa menetelmässä kielen rakennetietoa käytetään karsimaan ja myöskin jatkoon mahdollistamaan esille tulleita mahdollisia tunnistustuloksia, 10 tunnettu siitä, että kriteerinä tunnistus- tulosten karsinnassa ja myöskin jatkoon mahdollistamisessa käytetään kielen rakenteesta ennalta selvitetystä äänne-paikkadistribuutiosta saatavaa tietoa ko. äänteiden todennäköisyydestä sijaita sanan jossakin kohdassa, ja että 15 esille tulleiden mahdollisten tunnistustulosten joukosta karsitaan pois sellaiset, joita koskeva äännepaikkadistri-buutiosta saatu todennäköisyysarvo on alle asetetun raja-arvon, ja että esille tulleiden mahdollisten tunnistustulosten joukosta mahdollistetaan jatkoon sellaiset, joita 20 koskeva äännepaikkadistribuutiosta saatu todennäköisyysar vo on yli asetetun raja-arvon.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että kriteerinä tunnistustulosten jatkoon mahdollistamisessa käytetään kielen rakenteesta 25 ennalta selvitetystä äännepaikkadistribuutiosta saatavaa tietoa ko. äänteiden todennäköisyydestä eli mahdollisuudesta sijaita sanan alussa, keskellä sanaa tai sanan lopussa .

3. Patenttivaatimuksen 1 mukainen menetelmä, 30 tunnettu siitä, että jo ennen tunnistustulosten karsintaa ja jatkoon mahdollistamista käytetään äännepaikkadistribuutiosta saatavaa tietoa tuomaan käyttöä varten esille sellaiset konversiotyypit, jotka äännepaikkadistri-buutiotiedon mukaan ylipäätään ovat mahdollisia.

4. Patenttivaatimuksen 1 mukainen menetelmä, 34 102790 tunnettu siitä, että menetelmässä käyttäjä valitsee yhden tai useamman sanastoluokan, johon liittyvää puhetta käyttäjä aikoo tuottaa, ja että puheentunnistusvai-heessa käytetään käyttäjän valitsemasta sanastoluokasta jo 5 aiemmin sanastoluokkakohtaisesti selvitettyjä äännepaikka- distribuutiotietoja.

5. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että konversiovastineiden muodostamisessa menetelmässä tunnistetaan foneemeja karkeammat 10 äännerakenteen yksiköt puhesignaalista jonkin vastineen tai vastineiden avulla siten, että äänteet tunnistetaan vain ylipäätään äänneryhmään kuuluviksi äänteiksi määrittelemättä äänteiden tarkkaa identiteettiä tunnistuksen tuossa vaiheessa.

6. Patenttivaatimuksen 5 mukainen menetelmä, tunnettu siitä, että tietoa äännerakenteen karkeiden yksiköiden esiintymisestä tietynkokoisissa sanoissa käytetään syöteinformaationa konversiovastineiden muodostamisessa, joiden perusteella etsitään tunnistusjärjestel-20 mään sisällytetystä sanastosta se sana tai ne sanat, joissa tunnistettujen äännerakenteen karkeiden yksiköiden tarkat vastineet esiintyvät tietyssä kohtaa sanaa.

7. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että konversiovastinetta muodos- 25 tettaessa käytetään konversiovastineen osana sellaista konversiota, jonka on testauksessa havaittu kyseiselle sanastolle nopeaan tunnistustulokseen johtaviksi.

8. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että konversioita käytetään tes- 30 tausten perusteella selvitetyssä parhausjärjestyksessä.

9. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmässä esille saatu tunnistustulos tallennetaan ja/tai tulostetaan.

10. Patenttivaatimuksen 1 mukainen menetelmä, 35 tunnettu siitä, että menetelmässä suoritetaan kak- 35 102790 si tai useampia sanoja käsittävien fraasien tunnistus tunnistamalla fraasissa esiintyvä yksittäinen sana tai tunnistamalla osan fraasin äännerakenteesta.

11. Patenttivaatimuksen 10 mukainen menetelmä, 5 tunnettu siitä, että fraasin tunnistamisessa suoritetaan tarvittaessa jatkoanalyysi, jossa tarkistetaan missä kohtaa fraasia mainittu tunnistettu yksittäinen sana esiintyy.

12. Patenttivaatimuksen 1 mukainen menetelmä, 10 tunnettu siitä, että sanastosta esille tuotuja mahdollisia tunnistustuloksia karsitaan ja myöskin jatkoon mahdollistetaan tavurakennesääntöjen ja/tai tavutyyppien esiintymisrajoitusten perusteella.

13. Patenttivaatimuksen 1 mukainen menetelmä, 15 tunnettu siitä, että sanastosta esille tuotuja' mahdollisia tunnistustuloksia karsitaan ja myöskin jatkoon mahdollistetaan äänneyhtymien tilastollisesta yleisyydestä kertovan sanastosta ennalta selvitetyn tiedon perusteella.

14. Patenttivaatimuksen 1 mukainen menetelmä, 20 tunnettu siitä, että kun on kyse yhdistämättömästä sanasta, ja mikäli tunnistuksessa kyetään määrittämään sanan ensimmäinen vokaali kuuluvaksi toiseen kahdesta pääkategoriasta etuvokaali tai takavokaali, niin tällöin vo-: kaaliharmoniasäännön perusteella karsitaan sanastosta 25 esille tuotuja mahdollisia tunnistustuloksia ja niitä myöskin jatkoon mahdollistetaan.

15. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmässä tunnistus suoritetaan vaiheittaisena, eli siten, että tunnistettavan sa- v 30 nan lopullinen tunnistus tehdään alustavasti löytyneiden jatkoon mahdollistettujen mahdollisten tunnistustulosten joukosta analysoimalla löytyneiden sanojen äännerakenne ja valitsemalla signaalinprosessoinnin kannalta optimaalinen lisäkonversio.

16. Patenttivaatimuksen 1 mukainen menetelmä, 36 102790 tunnettu siitä, että kielikohtaista sanastoa käytettäessä osittainenkin selvyys äännerakenteen karkeiden yksiköiden järjestyksestä voidaan tulkita riittäväksi määrittämään konversion avulla tapahtuvassa tunnistuksessa 5 tunnistettava sana.

17. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmässä käytetään sanaston äännesisällön perusteella luokiteltuja sanasto-osia, ja että menetelmä edullisimmin itsetoimisesti siirtyy 10 käyttämään sellaista sanasto-osaa, jossa esiintyy sen tyyppisiä äänteitä tai äänneryhmiä, joita puheentunnistuksen alkuvaiheessa havaitaan tunnistettavaksi haluttavassa sanassa esiintyvän.

18. Patenttivaatimuksen 1 mukainen menetelmä, 15 tunnettu siitä, että karsintaa ja jatkoon mahdollistamista suoritetaan niin monta kierrosta että tunnis-tustulos on yksiselitteisen selvä, jolloin viimeisin jatkoon mahdollistettu tunnistustulos tulkitaan lopulliseksi tunnistustulokseksi.

19. Puheentunnistusmenetelmä, jossa vastaanotetaan puhesignaali, suoritetaan signaaliprosessointia, jossa muodostetaan yksi tai useampi konversiovastine, jonka perusteella sanastosta tuodaan esille mahdollisia tunnistus-tuloksia, ja jossa menetelmässä kielen rakennetietoa käy-25 tetään jatkoon mahdollistamaan esille tulleita mahdollisia tunnistustuloksia, tunnettu siitä, että kriteerinä tunnistus-tulosten jatkoon mahdollistamisessa käytetään kielen rakenteesta ennalta selvitetystä äännepaikkadistribuutiosta 30 saatavaa tietoa ko. äänteiden mahdollisuudesta sijaita sanan jossakin kohdassa, ja että esille tulleiden mahdollisten tunnistustulosten joukosta mahdollistetaan jatkoon sellaiset, joita koskeva äännepaikkadistribuutiosta saatu mahdollisuutta kuvaava arvo on riittävän korkea. 102790