FI98162C - HMM-malliin perustuva puheentunnistusmenetelmä - Google Patents

Description

1 98162 HMM-malliin perustuva puheentunnistusmenetelmä. -Taiigenkänningsförfarande baserat pä HMM-model.

Ongelma johon tarjotaan ratkaisua

Puhujasta riippumattoman puheentunnistuksen tarkkuus varsinkin puhelimessa on puutteellinen nykyisin tunnetuilla menetelmillä. Tarkkuudella tarkoitetaan järjestelmän kykyä tunnistaa kuulemansa ääni vertaamalla sitä järjestelmään talletettuihin äänimalleihin.

Nykyiset ratkaisut ja niiden haitat

Puheentunnistuksessa käytetyt HMM mallit (Hidden Markov Models) ovat tilastollisia, todennäköisyyslaskentaan perustuvia menetelmiä. Tunnistusvaiheessa lasketaan todennäköisyydet muistissa oleville sanamalleille. Tunnistetuksi sanaksi valitaan malli, jonka todennäköisyys on suurin.

Viitteessä [2] on esitetty HMM-mallia käyttävä puheentunnistusmenetelmä (HMM-VQ), jossa todennäköisyyslaskennan sijasta käytetään vektorikvantisoinnissa syntyvää virhettä. Tunnistusvaiheessa lasketaan neliövirhe sanamallien ja tunnistettavan sanan välillä. Sanamallit muodostuvat koodikiijöistä, jotka sisältävät sanassa esiintyvät piirreparametrit. Piirreparametrit lasketaan opetusvaiheessa LBG-vektorikvantisointi algoritmilla [5]. Tunnistetuksi sanaksi valitaan malli jolla on pienin neliövirhe tunnistettavaan sanaan venattuna. Tässä viitteessä esitetään myös muunnettu Viterbi -algoritmi, jota käytetään sanan etäisyyttä laskettaessa.

Viitteessä [3] on kuvattu puheentunnistusmenetelmä, jossa käytetään tiheysfunktioihin perustuvaa HMM mallia jossa on LPC-spektrin lisäksi otettu käyttöön sen derivaatta, eli spektriderivaatta. Puheesta laskettu spektri sisältää lyhytaikaista informaatiota (ns. taajuustason informaatio) ja spektriderivaatta sisältää pidempiaikaista informaatiota (ns. aikatason informaatio). Spektriderivaatan käyttö tekee puheesta kattavamman, 2-ulotteisen esityksen (taajuus, aika) ja parantaa viitteen [3] mukaan jatkuvaa tiheysfunktiota käyttävän HMM-mallin tunnistustarkkuutta.

Tunnistustarkkuus käytettäessä näitä menetelmiä on kuitenkin puutteellinen.

Puhujan tunnistukseen käytetyn, viitteessä [4] esitetyn patentoidun puhujantunnistusalgoritmin tarkkuudeksi annetaan alle 1 % virheellinen tunnistus ja virheellinen hyväksyntä käytettäessä puhujan tunnistamiseen numeroita nollasta yhdeksään. (Viitteessä ei mainita kuinka monta numeroa puhujan on sanottava tunnistamisvaiheessa.)

Keksintö

Idea on yhdistää viitteissä [2] ja [3] esitetyt tavat, eli lisätä viitteen [3] tavalla spektriderivaatta parametrit viitteen [2] HMM-VQ algoritmin piirreparametreihin ja näin päästä entistä parempaan tunnistustarkkuuteen.

Keksinnön mukaisen menetelmän tunnusmerkit on esitetty oheisessa patenttivaatimuksessa.

2 98162

Keksinnön hyödyt

Vektorikvantisointiin perustuvaa menetelmää on viitteessä [2] verrattu tunnettuihin tilastollisiin HMM-malleihin joissa käytetään jatkuvaa tai diskreettiä tiheysfimktiota ja osoitettu tämän menetelmän tunnistustarkkuuden paremmuus näihin nähden. Koska spektriderivaatan käyttö tilastollisissa HMM-malleissa parantaa tunnistus tarkkuutta, niin lisäämällä spektriderivaatta parametri HMM-VQ malliin voidaan tunnistustarkkuutta entisestään lisätä. Menetelmien [2] ja [3] yhdistelmää käyttämällä spektriderivaatta parametri vaikuttaa Viterbi laskennan tulokseen yhtäaikaa varsinaisten piirreparametrien kanssa. Koska spektriderivaatta parametrit sisältävät informaatiota aikatasossa, niin parametrien yhdistelmällä saadaan parempi tarkkuus kuin käyttämällä yhtä parametrijoukkoa kuten viitteessä [2] on tehty. Sanamallien opetusvaiheessa lasketaan spektriparametreille ja spektriderivaatta parametreille erilliset VQ-koodikiijat.

Käytettäessä puhelimesta saatua testidataa (100 puhujaa opetuksessa ja 25 eri puhujaa testauksessa) saatiin tunnistustarkkuus uudella menetelmällä paremmaksi verrattuna viitteen [2] tapaan. Testissä oli mukana 11 eri sanaa ja tarkkuudeksi saatiin 98.85 %.

Jos käyttöön otettiin rajoitus siten että sana hylätään jos kahden parhaimman sanamallin välinen ero on pienempi kuin 10%, saatiin tarkkuudeksi 100% hylkäysten ollessa 1.5 % testiaineistosta. Huom. viitteessä [2] esitetyissä tuloksissa annetaan tarkkuudeksi ilman hylkäyksiä jopa 100%, mutta testidatana on käytetty korkealaatuisesta mikrofonista saatua dataa. Puhetta on vaikeampi tunnistaa puhelimesta kuin suoraan äänitettyä 'puhdasta' dataa, koska puhelinkaista on rajoitetumpi ja puhelinlinjojen taajuusvasteet voivat vaihdella suurestikin.

Keksinnön sovellusesimerkki

Menetelmää voidaan käyttää kuten tiheysfunktioihin perustuvia HMM-mallejakin puheentunnistukseen yleensä. Tunnistettavat yksiköt voivat olla esim. sanoja, foneemeja, kvasifoneemeja, trifoneja ym.

Sovellus voi olla esimerkiksi puheposti, jonka valikoissa annettavat komennot annetaan puhumalla, eikä puhelimen näppäimillä, kuten perinteisesti tehdään ("..jos haluat kuunnella viestin paina näppäintä 3..."). Järjestelmälle opetetaan rajattu määrä sanamalleja, joihin puhelimesta kuuluvia sanoja verrataan.

Algoritmia voidaan käyttää myös puhujan tunnistamiseen ja alustavat kokeilut antoivat lupaavia tuloksia. Käytettäessä tunnistamiseen yhtä puhelimen kautta puhuttua sanaa saatiin tunnistustarkuuksiksi viidellä eri puhujalla 0.16 % virheellinen hylkäys ja 0.16 % virheellinen tunnistus (vrt. viitteen [4] algoritmi, jossa tarkkuus alle 1% virheellinen hylkäys). Puhujan tunnistaminen on tärkeää puhepostisovelluksissa silloin, kun puhelin ei voi lähettää DTMF-signaaleja. Tällöin ei puhelimesta soitettaessa ole muuta soittajan tunnistamistapaa kuin tämä oma ääni.

Toimintakuvaus Tässä kuvataan menetelmä puhujasta riippumatonta puheen tunnistusta varten. Tunnistamistapa perustuu puheen piirteiden kuvaamiseen kätketyillä HMM malleilla, käyttäen tunnistuksessa apuna vektorikvantisoinnissa syntyvää virhettä.

Puheentunnistuksessa käytettävä HMM malli on yksinkertainen tilakone, jossa tilasiirtymä voi tapahtua ainoastaan samaan tai seuraavaan tilaan. Kuva 1 esittää 3 98162

Uudessa puheen mallinnustavassa käytetään HMM mallia jonka jokaista tilaa kuvaa kaksi erillistä vektorikvantisointi koodikirjaa. Toinen koodikirja opetetaan käyttämällä PLP-analyysin parametreja ja toinen koodikirja opetetaan käyttämällä spektriderivaatta parametreja.

Tunnistuksen eri vaiheet 1. Puheen analyysi

Tunnistettavalle puheelle suoritetaan viitteessä [1] kuvattu PLP-analyysi 30 ms osissa 15 ms välein. Analyysistä saadaan tuloksena tätä 15 ms lohkoa kuvaavat piirreparametrit cc,(m), missä 1< m <5. Vektoria cc,(m) ajan hetkellä / painotetaan ikkunalla Wf (m), jolloin saadaan c,(m) = cc,(m)*Wc(m). (1) 2. Parametrien laskeminen

Viitteessä [3] on kuvattu, kuinka spektriderivaatan käyttö parantaa jatkuvaa tiheysfunktiota käyttävää HMM puheentunnistinta. Spektriderivaatalla tarkoitetaan analyysistä saatujen piirreparametrien painotettua keskiarvoa tietyn mittaisen aikaikkunan piirreparametreista yhtälön (2) mukaisesti

f K

Ac, (m) = I Σ&7-*0»)Γσ’ m <5, K = 2 (2)

L k=-K

missä G on vahvistus tekijä, jolla vektorien c,(m) ja Ac, (m) varianssit saadaan samansuuruisiksi. Tässä käytetty arvo oli 0.2. Yhdistämällä nämä kaksi vektoria saadaan aikalohkon / kuvaavaksi piirreparametriksi vektori O, ={c,(m) ,Ac,{m)} (3) joka koostuu kymmenestä alkiosta. Merkitään sanan piirreparametri joukkoa muuttujalla C ja sanan spektriderivaatta parametrijoukkoa muuttujalla AC, eli C={c,(m)} ja AC= {Ac,(m}] (4) 3. Sanamallien opettaminen

Sanamallit on tällä hetkellä opetettu erikseen piirreparametreille C ja spektriderivaatta parametreille AC. Sanamallit opetetaan vektorikvantisointi algoritmia käyttäen seuraavasti:

Opetukseen käytettävät sanat analysoidaan PLP-analyysillä ja tuloksena saadaan vektorit C ja AC. Nämä vektorit kuvaavat siis puhetta 15 ms lohkoissa. Kaikki opetettavat sanat jaetaan aluksi lineaarisesti eri osiin siten, että jokainen osa sisältää 4 98162

Opetukseen käytettävät sanat analysoidaan PLP-analyysillä ja tuloksena saadaan vektorit C ja AC. Nämä vektorit kuvaavat siis puhetta 15 ms lohkoissa. Kaikki opetettavat sanat jaetaan aluksi lineaarisesti eri osiin siten, että jokainen osa sisältää tietyn määrän piirreparametreja. Osien määränä käytetään HMM-mallin tilojen määrää. Eli jos käytetään malleja joissa on kahdeksan tilaa, jaetaan sanaa kuvaavat vektorit C ja AC kahdeksaan yhtä pitkään osaan. Jokaisen sanan samaan tilaan kuuluvista vektoreista c,(m) ja Ac,(m) muodostetaan tilalle oma koodikiija.

Koodikiija koostuu joukosta vektoreita, joilla saadaan pienin neliövirhe opetukseen käytettävien ja koodikirjan vektorien välillä. Kun eri tiloihin kuuluvista vektoreista on optimaaliset koodikirjat laskettu, lasketaan kaikkien sanojen etäisyydet saadusta mallista. Etäisyydet summataan ja arvoa verrataan edellisen kierroksen etäisyyteen.

Jos uusi etäisyys on suurempi kuin edellinen, opetus päättyy. Jos uusi etäisyys on pienempi, jaetaan opetettavat sanat Viterbi-algoritmilla uudelleen tiloihin ja muodostetaan näistä tiloista uudet koodikirjat. Tätä jatketaan, kunnes uusi etäisyys on suurempi kuin edellinen. Vektorikvantisoijan koodikirjojen muodostamiseen on olemassa useita eri algoritmeja, tässä on käytetty viitteessä [5] esitettyä tapaa.

Olennaista opetuksessa on, että sanamallit luodaan siitä ympäristöstä, jossa tunnistinta on tarkoitus käyttää. Eli jos halutaan tunnistaa puhetta puhelimen kautta, on sanat myöskin opetettava datalla joka on saatu puhelimen kautta. Jos opetukseen ja tunnistamiseen käytetään erilaisia ympäristöjä, niin tunnistustarkkuus heikkenee oleellisesti.

4. Etäisyysmitan laskeminen

Etäisyysmitan laskeminen tarkoittaa kuullun sanan vertaamista sanamalliin. Sanan etäisyys D kustakin sanamallista lasketaan viitteen [2] esittämällä muunnetulla Viterbi algoritmilla seuraavan yhtälön mukaisesti D = min § 4^0.,)+^,.¾)+4*h.*,)}· (5) Tässä jt0jc, ...xl tarkoittaa HMM-mallin tilasekvenssiä ja Qx tarkoittaa koodikirjaa tilassa x, . Merkitään HMM-mallissa olevien tilojen määrää vakiolla S eli 1 < x(< S .

L on sanassa esiintyvien lohkojen lukumäärä, eli sanan pituus. i/(xM,xJ on nolla jos on olemassa tilasiirtymä tilasta xM tilaan x,, muutoin £f(x,_,, x,) = «ä(c„VQ,J tarkoittaa vektoreiden c, ja Qx välistä pienintä etäisyyttä joka määritellään d{c„VQx) = minrf(c,,vg7),vg. e VQX. (6) i/(c, ,v<7y ) määritellään 5 2 d{cnvqj) = - vqj(m)) (7) m=l 5 98162 Tässä vq on koodikirjassa oleva komponentti. Komponenttien määrä yhden tilan koodikirjassa Qx on jokin kahden potenssi, tyypillisesti 16 tai 32. Yhtälö (7) siis laskee pienimmän neliövirheen piirreparametrin c(. ja koodikirjan komponentin vq} välillä ja yhtälö (6) laskee pienimmän neliövirheen piirreparametrin c, ja koodikirjan Qx välillä. Vastaavasti d^Ac^VQ^ tarkoittaa vektoreiden Ac, ja Qx välistä pienintä etäisyyttä. Yhtälön (5) Viterbi algoritmi lasketaan rekursiivisesti siten, että * lasketaan samanaikaisesti kvantisointivirhe molemmille piirreparametrijoukoille. Eli lasketaan pienin kvantisointivirhe HMM mallin tilan piirreparametreille ja lisäksi lasketaan pienin kvantisointivirhe HMM mallin tilan spektriderivaatta parametreille.

Tämä voidaan ilmaista seuraavalla yhtälöllä g(y,/) = min(g{/,/-l) +d{cl,VQ^ + d{Ac„VQ^d(i,j)\ D = g(S,L), / = 1,2,...,1 ja j = \X...,S.

Tässä on keksinnön varsinainen idea matemaattisessa muodossa eli Viterbi algoritmiin on lisätty spektriderivaatasta johtuva termi d^Act,VQ^. Viterbi algoritmi suoritetaan sanan jokaiselle 15 ms lohkolle / . Nämä etäisyydet lasketaan yhteen sopivasti painotettuina ja summaa g(j,t) käytetään Viterbi-algoritmin laskennassa seuraavan lohkon / +1 aikana.

Viitteet: [1] H. Hermansky, "Perceptual linear predictive (PLP) analysis of speech", Journal of Acoustical Society of America, Vol. 87, No. 4, Huhtikuu 1990, ss. 1738-1752.

[2] S. Nakagawa ja H. Suzuki, "A new speech recognition method based on VQ-distortion measure and HMM", ICASSP-93, ss. 11-676 -11-679.

[3] L. R. Rabiner, J. G. Wilpon ja F. K. Soong, "High performance connected digit recognition using hidden Markov models", IEEE Transactions on Acoustics Speech and Signal Processing, vol. 37, ss. 1214-1225, Elokuu 1989.

[4] High Accuracy Speaker Verification System, Ensigma Ltd [5] Y. Linde, A. Buzo, R. M. Gray, "An Algorithm for Vector Quantizer Design", IEEE Transactions on Communications, vol. COM-28, NO. 1, Tammikuu 1980.

Claims (1)

1. ‘ 98162 Patenttivaatimus HMM-malliin perustuva puheentunnistusmenetelmä, jossa PLP- analyysillä saaduista piirreparametreista lasketaan etäisyys LBG-vektorikvantisointialgoritmilla muodostetuista koodikirjoista ja tunnistetuksi sanaksi valitaan sanamalli, jonka vektorikvantisoinnissa syntyvä neliövirhe on pienin tunnistettavaan sanaan verrattuna, tunnettu siitä, että sanamallit opetetaan erikseen LBG-vektorikvantisointialgoritmilla piirreparametreille ja ko. piirreparametrien spektriderivaattaparametreille, että muodostetaan piirreparametreille ja spektriderivaattaparametreille erilliset koodikiijat, joita molempia käytetään kuvaamaan HMM-mallin jokaista tilaa. Patentkravet Taligenkänningsförfarande baserat pä en HMM-modell, i vilket frän en PLP-analys erhällna särdragsparametrar räknas avständet frän med en LBG-vektorkvantiseringsalgoritm bildade kodböcker och som ett igenkänt ord väljs en ordmodell, i vars vektorkvantisering bildade kvadratfel är minst i förhällande tili ordet,somskalligenkännas,kännetecknat därav,attordmodellerlärsseparat med LBG-vektorkvantiseringsalgoritm för särdragsparametrama och resp. spekralderivataparametrar för särdragsparametrar, att det bildas separata kodböcker för särdragsparametrama och spetralderivataparametrama, vilka bäda används för att beskriva HMM-modeilens vaqe tillständ.