HRP20040168A2 - Presentation of data based on user input - Google Patents

Description

Pozadina izuma

Ovaj se izum odnosi na pristupanje podacima i njihovo prikazivanje u računalnom sustavu. Još posebnije, ovaj se izum odnosi na prikazivanje podataka u ovisnosti o glasovnom unosu od strane korisnika.

Mnoga računalna sučelja su zasnovana na računalom pogonjenim međudjelovanjima u kojima korisnik mora slijediti tok izvršavanja postavljen od računala ili mora naučiti jednu ili više naredbi izloženih od strane računala. Drugim riječima, većina računalnih sučelja se ne prilagođava načinu na koji korisnik želi međudjelovati s računalom, nego umjesto toga prisiljavaju korisnika na međudjelovanje kroz određeni skup sučelja.

Napredak u sučeljima računalo/korisnik je omogućio korisnicima da međudjeluju s računalima putem glasovnih naredbi. Glasovni prijenosi, kao na primjer kroz upotrebu Voice XML (glasovni rastezljivi označni jezik), su unaprijeđeni da bi se internet sadržaju omogućio pristup korištenjem glasovnih unosa. U ovoj arhitekturi, poslužitelj dokumenata (na primjer, web poslužitelj) obrađuje zahtjeve klijenata pomoću Voice XML prevodioca. Web poslužitelj može proizvesti Voice XML dokumente i odgovore, koji se obrađuju pomoću Voice XML prevodioca i zvučno prikazuju korisniku. Koristeći određene glasovne naredbe kroz prepoznavanje govora, korisnik može pretraživati mrežu i slušati zvučni prikaz podataka.

Međutim, mnoge aplikacije koje prikazuju podatke korisniku, na primjer upute smjera pri vožnji, izvještaji o prometu, vremenske prognoze i rasporedi filmova, nisu baš naklonjene korisnicima. Konkretno, aplikacije imaju poteškoće pri prikazivanju podataka koji su bili unaprijed prikazani ili dijelova strukturiranih podataka pohranjenih u tabelu. Na primjer, razni servisi nude upute o smjeru u vožnji, ali to čine u jednom dugačkom čitanju korisniku, ili po unaprijed određenim koracima. Kao rezultat toga, korisnik će možda morati zapisati na papir sve upute, ili nastaviti preslušavati cijelu uputu, ili unaprijed određen korake, u pokušaju da zapamti relevantne informacije. Obje ove situacije su nepoželjne u mnogim okolnostima.

Shodno tome, postoji potreba za pristupom i prikazivanjem dijelova podataka s više fleksibilosti. Takav sustav ili metoda prikazivanja bi bio lakši za korištenje zbog toga što bi bio prirodniji korisniku.

Sažetak izuma

Ovaj izum donosi unaprijeđeno sučelje za prikazivanje podataka korisniku zasnovano na glasovnom unosu. U jednom aspektu ovog izuma, metoda prikazivanja podataka korisniku uključuje identificiranje prvog objekta i drugog objekta iz izgovorenog govora. Prvi objekt i drugi objekt su povezani sa oznakama koje odgovaraju pohranjenoj informaciji. Pohranjena insformacija se selektivno prikazuje u ovisnosti o prvom objektu i drugom objektu. U jednoj izvedbi, objekti koji se identificiraju mogu biti objekti upita, objekti navigacije, i/ili objekti nardbi za selektivno prikazivanje podataka. U jednom posebnom aspektu, pohranjeni podaci se uređuju u tablicu koja ima više redaka i stupaca. Prvi objekt uključuje informaciju koja se odnosi na određeni redak a rugi objekt uključuje informaciju koja se odnosi na određeni stupac.

U nekom drugom aspektu ovog izuma, dana je metoda koja uključuje prikazivanje segmenta informacije korisniku. Segment uključuje oznake koje odgovaraju dijelovima segmenta. Metoda nadalje uključuje identificiranje barem jednog objekta iz izgovorenog govora i povezivanje objekta s oznakom koja odgovara dijelovima segmenta. Dio segmenta koji odgovara oznaci se tada prikazuje. U daljnjoj izvedbi, da bi se prikazali dijelovi segmenta, može se koristiti normalizator/analizator teksta radi identificiranja relevantnih dijelova unutar segmenta.

Kao rezultat toga, ovaj izum donosi odgovarajući način za predstavljanje više-dimenzionalnih podataka i prikazivanje dijelova poranjenih informacija u bazi podataka. Korisnicima je predstavljeno prirodnije sučelje za predstavljanje podataka u ovisnosti o glasovnom unosu. Na primjer, korisnik može vršiti upite nad pojedinačnim ćelijama u tabeli ili stvarati dvosmjerni dijalog zasnovan na pohranjenim podacima.

Kratki opis crteža

STAVAK 1 je blok dijagram sustava za predstavljanje podataka.

STAVAK 2 je pogled odozgo na radno okruženje računalnog uređaja.

STAVAK 3 je blok dijagram računalnog uređaja iz STAVKA 2.

STAVAK 4 je pogled odozgo na telefon.

STAVAK 5 je blok dijagram računala opće namjene.

STAVAK 6 je blok dijagram arhitekture za sustav klijent/poslužitelj.

STAVAK 7 je blok dijagram modula za prepoznavanje i razumijevanje govora.

STAVAK 8 je blok dijagram modula za prikazivanje podataka.

STAVAK 9 je dijagram tabele cijena dionica i objekata za prikazivanje podataka unutar tabele.

STAVCI 10A-10C sadrže primjer kôda koji se koristi za prikazivanje tabele iz STAVKA 9.

STAVAK 11 je dijagram tabele uputstava smjera prilikom vožnje i objekata za prikazivanje podataka unutar tabele.

STAVAK 12 je dijagram tabele podataka o prodaji i objekata za prikazivanje podataka unutar tabele.

STAVAK 13 je odlomak teksta i objekti za prikazivanje podataka unutar odlomka teksta.

STAVAK 14A-14D sadrže primjer kôda koji se koristi za prikazivanje podataka unutar odlomka iz STAVKA 13.

STAVAK 15 je poruka glasovnog pisma i objekti koji se koriste za prikazivanje podataka u poruci glasovnog pisma.

Detaljan opis uvrštenih ilustracija

STAVAK 1 je blok dijagram sustava za predstavljanje podataka 10 za prikazivanje podataka zasnovano na glasovnom unosu. Sustav 10 uključuje modul govornog sučelja 12, modul prepoznavanja I razumijevanja govora 14 i modul za iscrtavanje podataka 16. Korisnik vrši unos u obliku glasovnog upita prema modulu glasovnog sučelja 12. Modul glasovnog sučelja 12 sakuplja podatke o govoru od korisnika i o tome obavještava dojavnim signalom. Nakon što je govorni unos sakupljen od strane modula govornog sučelja 12, modul prepoznavanja i razumijevanja govora 14 prepoznaje govor koristeći prepoznavatelja govora i identificira objekte kao što su ključne riječi ili ključne fraze koje se odnose na podatke za koje korisnike želi da ih sustav 10 prikaže. Objekte koristi modul za prikazivanje podataka 16 kako bi izdvojio podatke iz baze podataka 18. Jednom kada su relevantni podaci identificirani u bazi podataka 18 koristeći objekte, relevantni podaci mogu biti prikazani korisniku. Izlazni podaci modula za prikazivanje podataka 16 mogu biti u različitim oblicima, uključujući i audio i/ili vizualni izlaz.

S obzirom na širok opis za prikazivanje podatka u ovisnosti o korisničkom upitu, moglo bi biti korisno općenito opisati računalne uređaje koji djeluju unutar sustava 10 opisanog ranije. Kao što će biti cijenjeno od strane onih koji su vješti u ovom području, dijelovi sustava 10 mogu biti smješteni unutar jednog računala ili raspoređeni po raspoređenom računalnom okružju koristeći mrežne veze i protokole.

Govoreći sada o STAVKU 2, primjerni oblik mobilnog uređaja kao što je uređaj za upravljanje podacima (PIM, PDA ili slični) je ilustriran s 30. Međutim, razmatra se o tome da se ovaj izum također može primjenjivati koristeći neke druge računalne uređaje o kojima se niže raspravlja. Na primjer, telefoni i/ili uređaji za upravljanje podacima će također imati koristi od ovog izuma. Takvi će uređaji imati poboljšanu upotrebljivost u usporedbi s postojećim prijenosnim uređajima za upravljanje osobnim podacima i s ostalim prijenosnim elektroničkim uređajima.

Primjerni oblik mobilnog uređaja za upravljanje podacima 30 je ilustriran u STAVKU 2. Mobilni uređaj 30 uključuje kučište 32 i posjeduje korisničko sučelje uključujući displej 34, koji koristi ekran osjetljiv na dodir u sprezi sa pisalom 33. Pisalo 33 se koristi za pritiskanje ili dodirivanje displeja 34 na predviđenim koordinatama radi odabiranja polja, radi selektivnog pomicanja početne pozicije pokazivača ili na neki drugi način da bi se pružile naredbene informacije kao što je putem gesti ili rukopisom. Alternativno, ili kao dodatak, jedna ili više tipki 35 može biti uključena u uređaj 30 radi navigacije. Kao dodatak, ostali mehanizmi unosa kao što su pokretni kotačići, tipke koje je moguće rotirati ili slični također mogu biti uključeni. Međutim, treba imati na umu da izum nije namijenjen ograničavanju s tim oblicima mehanizama unosa. Na primjer, još jedan oblik unosa može uključivati vizualni unos kao kroz računalni vid.

Govoreći sada o STAVKU 3, blok dijagram ilustrira funkcionalne komponente koje sačinjavaju mobilni uređaj 30. Središnja jedinica za obradu (CPU) 50 implementira funkcije softverske kontrole. CPU 50 je povezana s ekranom 34 tako da se tekst i grafičke ikone stvorene u skladu s kontrolnim softverom pojavljuju na ekranu 34. Zvučnik 43 može biti povezan s CPU 50 tipično preko pretvarača digitalno-u-analaogno 59 da bi se osigurao zvukovni izlaz. Podaci koji su skinuti s mreže ili uneseni od strane korisnika u mobilni uređaj 30 pohranjuju se u neizmjenjivu pohrambenu memoriju s nasumičnim pristupom namijenjenu za čitanje/pisanje 54 koja je dvosmjerno povezana sa središnjom jedinicom za obradu CPU 50. Memorija s nasumičnim pristupom (RAM) 54 pruža promjenjiv prostor za skladištenje instrukcija koje se izvršavaju od strane CPU 50, i prostor za pohranu privremenih podataka, kao što su vrijednosti registara. Predpostavljene vrijednosti za opcije podešavanja i ostale varijable pohranjene su u memoriji predviđenoj samo za čitanje (ROM) 58. ROM 58 se također može koristiti za pohranu softvera operativnog sustava za uređaj koji kontrolira osnovnu funkcionalnost mobilnog uređaja 30 i ostale funkcije jezgre operativnog sustava (npr., učitavanje softverskih komponenti u RAM 54).

RAM 54 također služi kao prostor za pohranu kôda na način koji je analogan funkciji čvrstog diska u PC-u koji se koristi za pohranu aplikacijskih programa. Treba imati na umu da iako se za pohranu kôda koristi neizmjenjiva memorija, on alternativno može biti pohranjen u izmjenjivoj memoriji koja se ne koristi za izvršavanje kôda.

Bežični signali mogu biti odaslani/primljeni od strane mobilnog uređaja preko bežičnog primopredajnika 52, koji je povezan s CPU 50. Dodatno komunikacijsko sučelje 60 može također biti uključeno radi skidanja podataka izravno sa računala (npr. desktop računala), ili sa bežične mreže, ukoliko se to želi. U skladu s time, sučelje 60 mogu sačinjavati razni oblici komunikacijskih uređaja, na primjer, infracrvena veza, modem, mrežna kartica, ili slični.

Mobilni uređaj 30 uključuje mikrofon 29, i pretvarač analogno-u-digitalno (A/D) 37, i dodatni program za prepoznavanje (govora, DTMF, rukopisa, gesti ili računalni vid) pohranjen u spremnik 54. Za primjer, kao odgovor na zvukovne informacije, instrukcije ili naredbe od strane korisnika uređaja 30, mikrofon 29 pruža govorne signale, koji se digitaliziraju od strane A/D pretvarača 37. Program za prepznavanje govora može izvršiti normalizaciju i/ili funkcije za izdvajanje dijelova na signalima digitaliziranog govora radi pribavljanja prvih rezultata prepoznavanja govora. Koristeći bežični primopredajnik 52 ili komunikacijsko sučelje 60, govorni podaci mogu biti poslani na udaljeni poslužitelj za prepoznavanje govora 204 o kojem se raspravlja niže i koji je ilustriran arhitekturom u STAVKU 6. Rezultati prepoznavanja se tada vraćaju mobilnom uređaju 30 radi prikazivanja (npr. vizualnog i/ili zvučnog) od tada pa nadalje, i eventualno slanje mrežnom poslužitelju 202 (STAVAK 6), pri čemu mrežni poslužitelj 202 i mobilni uređaj 30 rade u klijent/poslužitelj odnosu. Slična se obrada može koristiti i za druge oblike unosa. Na primjer, unos rukopisa se može digitalizirati sa ili bez pred-obrade na uređaju 30. Kao i govorni podaci, ovaj se oblik unosa može poslati poslužitelju za prepoznavanje 204 radi prepoznavanja,pri čemu se rezultati prepoznavanja vraćaju barem jednome od uređaja 30 i/ili mrežnog poslužitelja 202. Jednako tako, DTMF podaci, podaci o gestama i vizualni podaci mogu biti obrađeni na sličan način. Ovisno o obliku unosa, uređaj 30 (i ostali oblici klijenata o kojima se niže raspravlja) bi uključivao potrebni hardver kao što je kamera za vizualni unos.

STAVAK 4 je pogled odozgo na primjer izvedbe prijenosnog telefona 80. Telefon 80 uključuje displej 82 i tipkovnicu 84. Općenito, blok dijagram iz STAVKA 3 se odnosi na telefon iz STAVKA 4, iako se može zahtijevati dodatno sklopovlje potrebno za obavljanje nekih drugih funkcija. Na primjer, primopredajnik potreban za rad kao telefon će biti potreban za izvedbu STAVKA 3; međutim, takvo sklopovlje ne pripada ovom izumu.

Kao dodatak prijenosnim ili mobilnim računalnim uređajima opisanima gore, treba razumjeti da se ovaj izum može koristiti sa brojnim drugim računalnim uređajima kao što je općenito desktop računalo. Na primjer, ovaj će izum omogućiti korisniku s ograničenim tjelesnim sposobnostima da unosi ili upisuje tekst u računalo ili neki drugi računalni uređaj kada su ostali uobičajeni uređaji za unos, kao što je potpuna slovno-brojčana tipkovnica, previše složeni za upotrebu.

Izum također radi sa brojnim drugim općim ili specifično namjenskim računalnim sustavima, okolinama ili konfiguracijama. Primjeri dobro poznatih računalnih sustava, okolina, i/ili konfiguracija koje mogu biti pogodne za korištenje s ovim izumom uključuju, ali nisu ograničeni na, obične telefone(bez ikakvog zaslona), osobna računala, poslužiteljska računala, ručna računala ili prijenosnike, tablet-računala, višeprocesorske sustave, sustave zasnovane na mikroprocesorima, set top box računala, programirljivu potrošačku elektroniku, mrežna osobna računala, miniračunala, mainframe računala, raspoređena računalna okružja koja uključuju bilo koje od gorenavedenih sustava ili uređaja, i slične.

Slijedi kratki opis računala opće namjene 120 ilustriranog u STAVKU 5. Međutim, računalo 120 je ponovo samo jedan primjer odgovarajuće računalne okoline i nije namijenjeno kao sugestija bilo kakovog ograničavanja po pitanju opsega upotrebe ili funkcionalnosti izuma. Niti računalo 120 treba tumačiti kao da na bilo koji način ovisi ili ima zahtjeve u vezi bilo koje, ili kombinacije više komponenata ilustriranih unutar njega.

Izum može biti opisan unutar općeg konteksta računalom izvršivih instrukcija, kao što su programski moduli, koje se izvršavaju od strane računala. Općenito, programski moduli uključuju rutine, programe, objekte, komponente, strukture podataka, itd. koje obavljaju određene zadatke ili ostvaruju određene apstraktne tipove podataka. Izum također može biti primjenjen u raspoređenim računalnim okruženjima u kojima se zadaci obavljaju na udaljenim uređajima za obradu koji su povezani kroz komunikacijsku mrežu. U raspoređenom računalnom okruženju, programski moduli mogu biti smješteni i na lokalnim i na udaljenim računalnim medijima za pohranu podataka uključujući memorijske uređaje za pohranu. Zadaci koje obavljaju programi i moduli opisani su niže i također uz pomoć stavaka. Oni koji su vješti u ovom području mogu primjeniti opis i stavke kao procesorom izvršive instrukcije, koje mogu biti zapisane na bilo kojem obliku računalom čitljivih medija.

U skladu sa STAVKOM 5, komponente računala 120 mogu uključivati, ali nisu ograničena na, jedinicu za obradu 140, memoriju sustava 150, i sustavnu sabirnicu 141 koja povezuje različite komponente sustava, uključujući memoriju sustava, sa jedinicom za obradu 140. Sabirnica sustava 141 može biti bilo kojeg od nekoliko tipova sabirničkih struktura uključujući memorijsku sabirnicu ili memorijski kontroler, perifernu sabirnicu, i lokalnu sabirnicu koja koristi bilo koju od raznih sabirničkih arhitektura. Kao primjer, a ne kao ograničenje, navode se neke arhitekture koje to uključuje: sabirnica sa standardnom industrijskom arhitekrurom (ISA), sabirnica sa mikro-kanalnom arhitekturom (MCA), unaprijeđena ISA sabirnica (EISA), lokalna sabirnica udruženja za standarde u video elektronici (VESA), sabirnica s ubrzanim grafičkim priključkom (AGP) i sabirnica perifernog međupovezivanja komponenti (PCI), također poznata i kao Mezzanine sabirnica.

Računalo 120 obično uključuje razne računalom čitljive medije. Računalom čitljivi mediji mogu biti bilo koji raspoloživi mediji kojima računalo 120 može pristupiti i uključuju i privremene i stalne medije, kako pokretne tako i fiksne. Kao primjer, a ne kao ograničenje, računalom čitljivi mediji se mogu sastojati od računalnih medija za pohranu podataka i komunikacijskih medija. Računalni mediji za pohranu podataka uključuju i privremene i stalne te pokretne i fiksne medije izvedene bilo kojom metodom ili tehnologijom za pohranu informacija kao što su računalom čitljive instrukcije, strukture podataka, programski moduli i drugi podaci. Računalni mediji za pohranu podataka uključuju, ali nisu ograničeni na, RAM, ROM, EEPROM, flash memoriju ili druge memorijske tehnologije, CD-ROM, digitalni višenamjenski disk (DVD) ili druge optičke medije za pohranu, magnetne kazete, magnetne vrpce, magnetne diskove ili druge magnetne uređaje za pohranu podataka, ili bilo koji drugi medij koji se može koristiti za pohranu željenih podataka i kojemu računalo 120 može pristupiti. Komunikacijski mediji tipično su sastavljeni od računalom čitljivih instrukcija, struktura podataka, programskih modula ili drugih podataka u moduliranom podatkovnom signalu kao što je val nosilac ili drugi mehanizam prijenosa i uključuju bilo koji medij za dostavu informacija. Termin 'modulirani podatkovni signal' označava signal kojemu su jedna ili više karakteristika postavljene ili promijenjene na takav način da se u signal ukodira informacija. Primjeri komunikacijskih medija uključuju, ali nisu ograničeni na, žičane medije kao što su žicom povezane mreže ili direktni žičani spojevi, i bežične medije kao što su akustični, RF, infracrveni i drugi bežični mediji. Kombinacije bilo kojih od navedenih medija također treba uključiti u raspon računalom čitljivih medija.

Memorija sustava 150 uključuje računalne medije za pohranu podataka u obliku privremenih i/ili trajnih memorija kao šro su memorija iz koje je moguće samo čitanje (ROM) 151 i memorija s nasumičnim pristupom (RAM) 152. Osnovni ulazno/izlazni sustav (BIOS) 153 sadrži osnovne rutine koje pomažu pri prijenosu podataka među elementima unutar računala 120, kao na primjer prilikom podizanja sustava, i tipično se nalazi pohranjen u ROM-u 151. RAM 152 tipično sadrži podatke i/ili programske module kojima jedinica za obradu 140 može trenutačno pristupiti i/ili ih momentalno obrađuje. Kao primjer, a ne kao ograničenje, STAVAK 5 prikazuje operativni sustav 154, aplikacijske programe 155 i druge programske module 156 i programske podatke 157.

Računalo 120 može također uključivati i druge pokretne ili fiksne, privremene ili stalne računalne medije za pohranu podataka. Samo radi primjera, STAVAK 5 prikazuje pogon tvrdog diska 161 koji čita sa, ili piše na fiksni trajni magnetni medij, pogon magnetnog diska 171 koji čita sa, ili piše na pokretni trajni magnetni disk 172 i pogon optičkog diska 175 koji čita sa, ili piše na pokretni trajni optički disk 176 kao što je CD ROM ili drugi optički mediji. Drugi pokretni/fiksni, privremeni/trajni računalni mediji za pohranu podataka koji se mogu koristiti u primjernoj radnoj okolini uključuju, ali nisu ograničeni na, kazete s magnetskim vrpcama, flash memorijske kartice, digitalne višenamjenske diskove (DVD), digitalne video vrpce, RAM u krutom stanju, ROM u krutom stanju i slične. Pogon tvrdog diska 161 je obično na sabirnicu sustava 141 spojen preko fiksnog memorijskog sučelja kao što je sučelje 160, a pogon magnetskog diska 171 i pogon optičkog diska 175 su obično na sabirnicu sustava 141 spojeni preko pokretnog memorijskog sučelja kao što je sučelje 170.

Diskovni pogoni i njima pripadajući mediji za pohranu podataka, gore navedeni i opisani, te ilustrirani u STAVKU 5, omogućuju pohranu računalom čitljivih instrukcija, struktura podataka, programskih modula i drugih podataka za računalo 120. U STAVKU 5 je tako, na primjer, pogon tvrdog diska 161 prikazan kao spremnik operativnog sustava 164, aplikacijskih programa 165, drugih programskih modula 166 i programskih podataka 167. Treba imati na umu da te komponente mogu biti bilo iste bilo različite od operativnog sustava 154, aplikacijskih programa 155, drugih programskih modula 156 i programskih podataka 157. Operativni sustav 164, aplikacijski programi 165, drugi programski moduli 166 i programski podaci 167 su zbog toga ovdje i označeni drugim brojevima kako bi se prikazalo da su, u najmanju ruku, različite kopije.

Korisnik može naredbe i informacije u računalo 120 unijeti pomoću ulaznih uređaja kao što su tipkovnica 182, mikrofon 183, i uređaj za pokazivanje 181, kao što je miš, kugla za pokazivanje (trackball) ili plohom za pokazivanje dodirom (touch pad). Ostali ulazni uređaji (nisu prikazani na slici) mogu uključivati palicu za igru, igrači kontroler, satelitski tanjur, skener ili slične. Ovi i slični ulazni uređaji su često povezani na jedinicu za obradu 140 kroz korisničko ulazno sučelje 180 koje je spojeno na sabirnicu sustava, ali mogu biti povezani i kroz druga sučelja i sabirničke strukture, kao što su paralelni priključak, priključak za igru ili univerzalna serijska sabirnica (USB). Monitor 184 ili neki drugi tip ekrana je također na sabirnicu sustava 141 povezan preko sučelja, kao što je video sučelje 185. Osim monitora, računala mogu također uključivati druge periferne izlazne uređaje kao što su zvučnici 187 i printer 186, koji mogu biti spojeni kroz izlazno periferno sučelje 188.

Računalo 120 može raditi u umreženoj okolini koristeči logičke veze sa jednim ili više udaljenih računala, kao što je udaljeno računalo 194. Udaljeno računalo 194 može biti osobno računalo, ručno računalo, poslužitelj, ruter, mrežno osobno računalo, peer uređaj ili neki drugi uobičajeni mrežni čvor i obično uključuje mnoge ili sve elemente gore opisane u sklopu računala 120. Logičke veze prikazane u STAVKU 5 uključuju lokalnu mrežu (LAN) 191 i vanjsku mrežu (WAN) 193, ali isto tako mogu uključivati i druge mreže. Takve su mrežne okoline uobičajene u uredima, korporacijskim računalnim mrežama, intranetima i internetu.

Kada se koristi u LAN mrežnom okruženju, računalo 120 je na LAN 191 povezano preko mrežnog sučelja ili adaptera 190. Kada se koristi u WAN mrežnom okružju, računalo 120 obično uključuje modem 192 ili neka druga sredstva za uspostavljanje komunikacije preko WAN-a 193, kao što je internet. Modem 192, koji može biti unutarnji ili vanjski, je na sabirnicu sustava 141 povezan preko korisničkog ulaznog sučelja 180 ili nekim drugim prikladnim mehanizmom. U mrežnom okruženju, programski moduli prikazani kao sastavni dio računala 120 ili njegovih dijelova, mogu biti pohranjeni u udaljenom uređaju za pohranu memorije. Kao primjer, a ne kao ograničenje, STAVAK 5 prikazuje udaljene aplikacijske programe 195 smještene na udaljenom računalu 194. Treba imati na umu da su prikazane mrežne veze samo primjeri i da se mogu koristiti i druga sredstva uspostavljanja komunikacijske veze među računalima.

STAVAK 6 ilustrira arhitekturu 200 za prepoznavanje i prikazivanje podataka zasnovano na webu, što je jedan primjer okoline za ovaj izum. Općenito, podacima pohranjenim na mrežnom poslužitelju 202 može se pristupiti preko klijenta 100 kao što je mobilni uređaj 30 ili računalo 120 (koji ovdje predstavljaju ostale oblike računalnih uređaja koji imaju ekranski zaslon, mikrofon, kameru, ekran osjetljiv na dodir, itd., kako se već zahtjeva ovisno o obliku unosa), ili preko telefona 80 pri čemu se podaci zahtjevaju zvučno ili preko tonova stvorenih od strane telefona 80 kao odgovor na otpuštanje tipki i pri čemu se podaci sa mrežnog poslužitelja 202 korisniku vraćaju isključivo zvukom.

U ovoj izvedbi, arhitektura 200 je unificirana u tome što bez obzira da li se podacima pristupa preko klijenta 100 ili telefona 80 koristeći prepoznavanje govora, jedan poslužitelj za prepoznavanje 204 može podržati bilo koji način rada. Uz to, arhitektura 200 radi koristeći proširenje dobro poznatih označnih jezika (tj. HTML, XHTML, cHTML, XML, WML, i slični). Na taj način, podacima pohranjenima na mrežnom poslužitelju 202 se također može pristupati koristeći dobro poznate GUI metode koje se nalaze u tim označnim jezicima. Koristeći proširenje dobro poznatih označnih jezika, stvaranje sadržaja na mrežnom poslužitelju 202 je lakše, i stari aplikacije koje trenutno postoje mogu također lakše biti promjenjene da bi uključile prepoznavanje govora.

Općenito, klijent 100 izvršava HTML stranice, skripte, ili slično, kao što je općenito naznačeno sa 206, koje osigurava mrežni poslužitelj 202 koristeći web preglednik. Kada se zahtjeva prepoznavanje govora, kao na primjer, govorni podaci, koje može biti digitalizirani audio signali ili stavke govora unutar njih, audio signali su bili predobrađeni od strane klijenta 100 kao što je gore objašnjeno, predaju se poslužitelju za prepoznavanje 204 sa naznakom gramatičkog ili jezičnog modela 220 koji treba koristiti prilikom prepoznavanja govora., koju može pružiti klijent 100. Alternativno, poslužitelj govora 204 može uključivati jezični model 220. Izvedba poslužitelja za prepoznavanje 204 može poprimiti mnoge oblike, jedan od kojih je ilustriran, ali općenito uključuje prepoznavatelja 211. Rezultati prepoznavanja se predaju natrag klijentu 100 za lokalno prikazivanje ukoliko je to zatraženo ili prikladno. Ukoliko se to traži, tekst-u-govor modul 222 može biti upotrebljen radi pružanja izgovorenog teksta klijentu 100. Nakon sklapanja podataka kroz prepoznavanje i bilo koje grafičko korisničko sučelje ukoliko je upotrebljeno, klijent 100 šalje podatke mrežnom poslužitelju 202 radi daljnje obrade i primanja daljnjih HTML stranica/skripti, ukoliko je to potrebno.

Kao što je ilustrirano u STAVKU 6, klijent 100, mrežni poslužitelj 202 i poslužitelj za prepoznavanje 204 su obično povezani, i zasebno ih se može adresirati, kroz mrežu 205, ovdje mrežu širokog dosega kao što je Internet. Zbog toga nije potrebno da bilo koji od tih uređaja budu fizički smješteni u blizini jedan drugome. Posebice, nije potrebno da mrežni poslužitelj 202 uključuje poslužitelj prepoznavanja govora 204. Na taj način, stvaranje sadržaja na mrežnom poslužitelju 202 može biti usmjereno na aplikacije za koje je namijenjeno bez da autori moraju znati detalje poslužitelja za prepoznavanje 204. Umjesto toga, poslužitelj za prepozavanje 204 može biti neovisno dizajniran i povezan na mrežu 205, i time, može biti osvježavan i poboljšavan bez zahtjevanja daljnjih promjena na mrežnom poslužitelju 202. Mrežni poslužitelj 202 može također uključivati mehanizme za stvaranje sadržaja koji mogu dinamički stvarati označni kôd i skripte na klijentskoj strani. U daljnjoj izvedbi, mrežni poslužitelj 202, poslužitelj za prepoznavanje 204 i klijent 100 mogu biti kombinirani ovisno o sposobnostima strojeva na kojima su izvedeni. Na primjer, ukoliko je klijent 100 sačinjen od računala opće namjene, tj. osobnog računala, klijent može uključivati poslužitelj za prepoznavanje 204. Jednako tako, ukoliko se to želi, mrežni poslužitelj 202 i poslužitelj za prepoznavanje 204 mogu biti ugrađeni u jedan stroj.

Pristupanje mrežnom poslužitelju 202 preko telefona 80 uključuje vezu telefona 80 na žičanu ili bežičnu telefonsku mrežu 208, koja pak povezuje telefon 80 sa pristupnim poslužiteljem (Gateway) 210 treće stranke. Pristupni poslužitelj 210 povezuje telefon 80 sa telefonijskim glasovnim preglednikom 212. Telefonijski glasovni preglednik 212 uključuje medijski poslužitelj 214 koji pruža telefonijsko sučelje i glasovni preglednik 216. Poput klijenta 100, telefonijski glasovni preglednik 212 prihvaća HTML stranice/skripte ili slične sa mrežnog poslužitelja 202. U jednoj izvedbi, HTML stranice/skripte su oblikom slične HTML stranicama/skriptama koje se šalju klijentu 100. Na taj način, mrežni poslužitelj 202 ne mora odvojeno podržavati klijenta 100 i telefon 80, ili čak odvojeno podržavati standardne GUI klijente. Umjesto toga, moguće je koristiti zajednički označni jezik. Uz to, kao i kod klijenta 100, prepoznavanje govora iz zvučnih signala odaslanih od telefona 80 pruženo je od strane glasovnog preglednika 216 poslužitelju za prepoznavanje 204, bilo kroz mrežu 205, ili kroz tome posvećenu liniju 207, na primjer, koristeći TCP/IP. Mrežni poslužitelj 202, poslužitelj za prepoznavanje 204 i telefonski glasovni preglednik 212 mogu biti utjelovljeni u bilo koje odgovarajuće računalno okruženje kao što je desktop računalo opće namjene ilustrirano STAVKOM 5.

Nakon što smo opisali razna okružja i arhitekture koje djeluju u sustavu 10, dajemo detaljniji opis raznih komponenata i funkcije sustava 10. STAVAK 7 ilustrira blok dijagram modula za prepoznavanje i razumijevanje govora 14. Ulazni govor primljen od modula govornog sučelja 12 šalje se modulu za prepoznavanje i razumijevanje govora 14. Modul za prepoznavanje i razumijevanje govora 14 uključuje sustav za prepoznavanje govora 306, koji ima pripadajući jezični model 310. Sustav za prepoznavanje 306 koristi jezični model 310 radi identifikacije mogućih površinskih semantičkih struktura za predstavljanje odgovarajućih unosa. Sustav za prepoznavanje 306 daje barem jedan izlazni objekt površinske semantike zasnovan na ulaznom govoru. U nekim izvedbama, sustav za prepoznavanje 306 je sposoban dati više od jednog alternativnog objekta površinske emantike za svaku alternativnu strukturu.

Iako je ilustrirano STAVKOM 7 u kojem je pružen unso govorom, ovaj se izum može koristiti prepoznavanjem rukopisa, prepoznavanjem gesti ili grafičkim korisničkim sučeljima (u kojima korisnik vrši interakciju tipkovnicom ili nekim drugim uređajem za unos). U tim ostalim izvedbama, prepoznavatelj govora 306 je zamjenjen sa odgovarajućim sustavom prepoznavanja kao što je poznato u ovom znanstvenom području. Za grafička korisnička sučelja, gramatika (koja ima jezični model) je povezana sa korisničkim unosom kao što je to kroz okvir za unos. U skladu s time, korisnički unos se obrađuje na konzistentan način bez značajnijih promjena zasnovanih na načinu unosa.

Za jezično-zasnovani korisnički unos kao što su govor i rukopis, jezični model 310 kojeg koristi sustav za prepoznavanje 306 može biti bilo koji iz zbirke poznatih stohastičkih modela. Na primjer, jezični model može biti N-gram model koji modelira vjerojatnost riječi u jeziku zasnovanu na skupini od N prethodnih riječi u unosu. Jezični model može također biti gramatika oslobođena konteksta koja povezuje semantičke i/ili sintaktičke podatke sa određenim riječima i frazama. U daljnjoj izvedbi ovog izuma, koristi se unificirani jezični model koji kombinira N-gram jezični model sa gramatikom oslobođenom konteksta. U ovom unificiranom modelu, semantičke i/ili sintaktičke oznake se tretiraju kao smještajne vrijedbnosti za riječi i N-gram vjerojatnost se izračunava za svaku pretpostavljenu kombinaciju riječi i oznaka.

Jezični model 310 ima sposobnost stvaranja hijerarhijske površinske semantičke strukture zasnovane na informacijama neophodnima modulu za prikazivanje podataka 16 za prikazivanje relevantnih podataka kao funkcija objekata k tome pridruženih. U jednoj izvedbi, ulazni govor se analizira da bi se identificirale razni semantičke oznake ili objekti unutar ulaznog teksta. Objekti se identificiraju iz skupa objekata pronađenih u jezičnom modelu 310. Općenito, objekti predstavljaju informacije korištene od modula za prikazivanje podataka 16 za prikazivanje podataka. Kao što je niže opisno, objekti mogu uključivati objekte upita, navigacijske objekte i/ili objekte naredbi. Objekti upita sadrže informacije koje se odnose podatke pohranjene u bazi podataka 18. Navigacijski objekti sadrže informacije koje se koriste za navigaciju kroz pohranjene podatke dok objekti naredbi mogu izvršavati razne naredbe zasnovane na pohranjenim podacima.

Modul za prepoznavanje i razumijevanje govora 14 može također koristiti kontrolu stila 312 da bi prepoznao alternativne fraze radi identifikacije objekata u ulaznom govoru. Kontrola stila 312 je povezana sa jezičnim modelom 310 kako bi pomogla u pružanju relevantnih objekata modulu za prikazivanje podataka 16. U okolini ilustriranoj u STAVKU 6, informacije koje se odnose na kontrolu stila 312 mogu biti izvedene od strane autora aplikacije na mrežnom poslužitelju 202 koristeći alate za stvaranje sadržaja kao što su ASP.NET proizvođača Microsoft Corporation of Redmond, Washington. Alternativno, mogu se koristiti i drugi alati za stvaranje sadržaja kao što su JSP, J2EE, J2SE ili J2ME, ili neki slični. Na primjer, fraza, “Koja je udaljenost do mog slijedećeg skretanja?” može biti “stilski” promijenjena u frazu poput, “Koliko još ima prije mog slijedećeg skretanja?” Dodatno, “Koja je orijentacija za moje slijedeće skretanje?” može biti zamijenjeno frazama poput, “Na koju stranu je moje slijedeće skretanje?” ili, “Prema kojem smjeru je moje slijedeće skretanje?” Na taj način, kontrola stila 312 može biti upotrebljena za identificiranje relevantnih podataka unutar baze podataka 18 i također za identificiranje prikladnih odgovora za pružanje korisniku.

U slučaju da korisnik unese govor koji jezični model ne prepoznaje, sustav može dojaviti korisniku da ponovi unos. Međutim, ukoliko sustav nema informacije koje se odnose na unos ovisno o semantičkim informacijama iz unosa ili nedostatku istih, sustav može izvršiti prikladne rutine za pomoć koje obavještavaju korisnika o raspoloživim opcijama.

STAVAK 8 ilustrira detaljan blok dijagram modula za prikazivanje podataka 16. Modul za prikazivanje podataka 16 uključuje modul izvršitelja naredbi 602, modul analizatora/normalizatora teksta 604, modul sučelja prema bazi podataka 606, modul za kreiranje odgovora 607, modul za zvučno sučelje 608, modul za vizualno sučelje 610 i tekst-u-govor modul 612. Modul za prikazivanje podataka 16 prihvaća objekte iz modula za prepoznavanje i razumijevanje govora 14 i pruža izlaz (zvučni i/ili vizualni) relevantnih informacija korisniku. Kao što je ranije spomenuto, ključne riječi ili fraze su identificirane od strane modula za prepoznavanje i razumijevanje govora 14 i pruženi su objekti kao funkcije istih. Modul za prikazivanje podataka 16 tumači objekte primljene od modula za prepoznavanje i razumijevanje govora 14 radi dohvaćanja i/ili izdvajanja podataka iz baze podataka 18 koristeći sučelje prema bazi podataka 606. Sučelje prema bazi podataka 606 uključuje podatke koji se odnose na strukturu ili shemu podataka pohranjenih u bazi podataka 18. Vrijedi napomenuti da sučelje prema bazi podataka 606 može biti modul opće namjene koji može pristupati podacima iz raznih različitih izvora, na primjer sa lokalnog računala ili sa mrežnog poslužitelja smještenog na mreži širokog opsega. Da bi se izdvojili relevantni podaci, modul za prikazivanje podataka 16 povezuje objekte dobivene iz modula za prepoznavanje i razumijevanje govora 14 sa oznakama ili identifikatorima koji odgovaraju pohranjenim podacima u bazi podataka 18.

U nekim slučajevima, podaci pohranjeni u bazi podataka 18 već sadrže razne oznake ili identifikatore koji odgovaraju tipu podataka ili strukturi podataka u bazi podataka 18. U drugim slučajevima, analizator/normalizator teksta 604 može biti korišten za stvaranje oznaka ili na neki drugi način identificiranje relevantnih informacija unutar podataka. Dodatna obrada podataka se može obaviti prije nego što se relevantni podaci prikažu korisniku. Na primjer, izvršitelj naredbi 602 može biti korišten za obradu raznih kombinacija podataka dobivenih iz baze podataka 18 ovisno o primljenim objektima.

Jednom kad su relevantni podaci obrađeni u skladu sa zahtjevima korisnika, podaci se šalju kreatoru odgovora 607. Kreator odgovora 607 može razviti odgovarajući odgovor na unos dobiven od korisnika. Kreator odgovora 607 tada šalje podatke zvučnom sučelju 608 i/ili vizualnom sučelju 610 radi prikazivanja korisniku. Tekst-u-govor modul 612 unutar zvučnog sučelja 608 može biti upotrebljen da bi se zvučno prikazali podaci.

STAVAK 9 shematski ilustrira tabelu 650 unutar baze podataka 18 koja može biti selektivno prikazana korisniku kroz upite. Tabela 650 pokazuje završne cijene dionica za razne tvrtke u 2002. godini na kraju svakog tromjesečja. Tabela 650 uključuje nazive tvrtki pohranjene u redovima 652, stupce 654 za svako tromjesečje 2002. godine i cijene dionica 656 za stupce i retke. Oznake povezane s tabelom 650 odgovaraju stupcima i recima. Objekti upita 660 i navigacijski objekti 662 su definirani jezičnim modelom 310 radi prikazivanja podataka iz tabele 650.

Da bi se selektvino prikazali podaci iz tabele 650, korisnik pruža upit koji uključuje objekte upita 660 i/ili navigacijske objekte 662. Upit tumači modul za prepoznavanje i razumijevanje govora 14 da bi identificirao relevantne objekte upita i navigacijske objekte. Objekti se tada povezuju sa oznakama koje odgovaraju stupcima i recima.

Objekti upita 660 mogu biti korišteni za prikazivanje podataka iz određene ćelije u tablici 650. Na primjer, glasovni upit može biti, “Koja je bila zaključna cijena dionica Microsofta u drugom tromjesečju?” U tom bi slučaju, modul za razumijevanje govora 14 pružio objekte upita “Microsoft” i “tromjesečje 2” modulu za prikazivanje podataka 16. Koristeći te objekte, modul za prikazivanje podataka 16 povezuje te objekte sa oznakama baze podataka 18 radi određivanja odgovarajuće ćelije (prikazane kao zatamnjena ćelija u tabeli 650) koju treba prikazati. U ovom slučaju, “Microsoft” je objekt upita koji sadrži informacije koje se odnose na objekt <company name> (naziv tvrtke) a “tromjesečje 2” je objekt upita koji sadrži informacije kojse se odnose na objekt <quarter> (tromjesečje).

“Microsoft” je povezan sa oznakom koja odgovara redku označenom kao “MSFT” a “tromjesečje 2” je povezano sa oznakom koja odgovara stupcu označenom sa “Q2”. Nakon povezivanja objekata sa odgovarajućim oznakama, cijena dionice “54.12” se šalje kreatoru odgovra 607. Odgovor može biti kreiran koristeći relevantne informacije i prikazan korisniku koristeći zvučno sučelje 608 i/ili vizualno sučelje 610. Na primjer, prikazani odgovor može biti, “Zaključna cijena dionica za Microsoft u drugom tromjesečju je bila pedest i četiri dolara i dvanaest centi.”

U ovom je primjeru kreator odgovora 607 primio vrijednost “54.12” i korisi tu vrijednost u kombinaciji sa pohranjenim kontekstom za prikazivanje dohvaćenih podataka. U ovom primjeru, pohranjeni kontekst “Zaključna cijena dionica za <company name> u <quarter> je bila <result>” je također bio noramaliziran. Kontekst koji se koristi za dohvaćanje podataka može biti pojedinačno povezan sa oznakama ili identifikatorima za podatke prema potrebi, i/ili kao funkcija objekata. Ukoliko se pružaju vizualni izlazi, kreator odgovora 607 može dati upute o tome kako vizualno prikazati dohvaćene podatke.

Dodatno, objekti upita 660 mogu uključivati objekte koji će prikazati cijeli redak ili stupac. Na primjer, korisnik može tražiti, “Koje su zaključne cijene dionica za Microsoft u svim tromjesečjima 2002. godine?” U tom slučaju, modul za prikazivanje podataka 16 će prikazati svaku od vrijednosti za cijene dionica Microsofta u 2002. godini korisniku.

Navigacijski objekti 662 mogu biti korišteni da bi korisnik navigirao kroz tabelu 650 u odnosu na poziciju u tabeli. Na primjer, korisnik, nakon što je pitao za zaključne cijene dionica Microsofta u drugom tromjesečju, može pitati, “Koja je zaključna cijena dionica za Microsoft u slijedećem tromjesečju?” U tom slučaju, modul za prepoznavanje i razumijevanje govora 14 će identificirati objekte “Microsoft” i “slijedeće tromjesečje”. Ovi objekti će biti povezani s oznakom retka “Microsoft” i slijedećom oznakom stupca, naprimjer stupac “Q3”. Kao rezultat toga, prikazati će se podaci za slijedeće tromjesečje u redku Microsoft”.

Razna sučelja programa govornih aplikacija mogu biti korištena za izvedbu ovog izuma. Jedno takvo sučelje je na primjer SAPI, kojeg je razvila tvrtka Microsoft Corporation of Redmond, Washington. Dodatno, ovaj izum može biti izveden koristeći proširenje označnog jezika kao što su oznake jezika za govorne aplikacije (SALT). SALT je razvijateljski standard za omogućavanje pristupa podacima, aplikacijama i mrežnim uslugama sa osobnih računala, telefona, tablet PC-a i bežičnih mobilnih uređaja, na primjer. SALT proširuje postojeće označne jezike kao što su HTML, XHTML i XML. SALT 1.0 specifikaciju je moguće pronaći na internetu na http://www.SALTforum.org. Treba imati na umu da SALT može pružiti semantičke informacije zasnovane na korisničkom unosu, na primjer sa govornog poslužitelja 204, pri čemu takve informacije čine objekte koji se predaju modulu za prikazivanje podataka 16. Kao što je pobliže opisano niže, korištenje SALT proširenja ili sličnih proširenja pruža podršku za događajima upravljanu korisničku interakciju radi selektivnog prikazivanja podataka.

STAVCI 10A-10C pružaju primjer XML kôda koji koristi SALT za prikazivanje podataka iz tabele 650 kao što je gore opisano. Kao što je ilustrirano u STAVKU 10A, kôd uključuje dio sa zaglavljem 670, dio sa podacima 672 i dio sa unosom 674. Dio sa zaglavljem 670 uključuje razne informacije za iniijalizaciju i uspostavljanje elemenata web stranice ili aplikacije. Dio s podacima 672 predstavlja podatke tabele 650 sa raznim oznakama. Na primjer, dio s podacima 672 uključuje oznaku 676 za <company> (naziv tvrtke), koja određuje redak, oznaku 677 za <name> (ime) i oznaku 678 za <Q2>, pri čemu <name> i <Q1> <Q2>, itd. određuju stupce. Iako ovdje prikazani dio s podacima 672 uključuje podatke koje treba prikazati, dio s podacima 672 može uključivati linkove na druge lokacije koje imaju podatke, na primjer koristeći Uniformni Lokator Resursa (URL). Dio sa unosom 674 definira razne unose koji se očekuju od korisnika.

STAVAK 10B nastavlja kôd za prikazivanje podataka iz tabele 650. U STAVKU 10B, razne oznake govornih aplikacija su označene oznakom “SALT”. Na primjer, oznake uključuju “listen”(slušaj) oznaku 680, “grammar”(gramatika) oznaku 682 i “prompt”(dojava korisniku) oznake 684 i 686. “Slušaj” oznaka 680 se koristi za unos govora. “Slušaj” oznaka podešava prepoznavatelja govora, izvršava prepoznavanje i barata događajima unosa govora. Oznaka gramatike 682 se koristi za određivanje gramatika korištenih u prepoznavanju. Na taj način, gramatika 682 identificira jezični model. U ovom je primjeru, dio s pravilima 688 gramatike bio definiran za razna imena tvrtki iz tabele 650 a dio s pravilima 690 je bio definiran za svako od tromjesečja iz tabele 650. “Prompt” oznake 684 i 686 se koriste za određivanje izlaza sustava, tj., konteksta kao što je gore opisano. “Prompt” oznake mogu biti jednostavni tekst, označni kôd govornog izlaza, vrijednosti varijabli, linkovi prema datotekama sa zvučnim zapisom ili kombinacije sastavljene od nabrojanih elemenata. Funkcije i/ili metode skriptiranja također mogu biti korištene za oblikovanje dohvaćenih podataka, kao što je niže objašnjeno. Prompt 684 kreira odgovor zasnovan na korisničkom zahtjevu i djeluje kao kreator odgovora 607 ilustriran u STAVKU 8. Prompt 686 traži od korisnika da unese upit.

STAVAK 10C nastavlja kôd iz STAVKA 10B i uključuje skriptu 692 za prikazivanje relevantnih informacija u ovisnosti o korisničkom glasovnom upitu. Skripta 692 identificira relevantnu ćeliju koju treba prikazati i poziva prompt 684 za prikazivanje u ovisnosti o objektima identificiranima i povezanima između objekata i oznaka koje odgovaraju podacima u dijelu s podacima 672. Ovaj primjer također ilustrira podršku upravljanju događajima i udomljavanju ugrađenih skripti, pri čemu se nakon aktivacije prepoznavanja i identifikacije objekata, poziva funkcija ili se izvršava u dijelu sa skriptom 692 radi selektivnog prikazivanja podataka.

Modul za prikazivanje podataka 16 je također posebno koristan u stvaranju dijaloga između računala i korisnika. Dijalog je posebno koristan u situaciji u kojoj korisnik želi dohvatiti dijelove podataka pohranjenih u bazi podataka na zahtjev. Jedna takva situacija je prikazivanje uputstava smjera u vožnji. STAVAK 11 ilustrira tabelu 700 koja uključuje primjer uputstava smjera za vožnju. Tabela 700 je uređena kao mnoštvo redaka 702 i mnoštvo stupaca 704. Svaki od redaka 702 predstavlja skretanje u uputama smjera u vožnji, dok svaki od stupaca 704 predstavlja posebne informacije o svakom skretanju. Dodatne informacije, označene sa 706, također mogu biti povezane s tabelom 700. Dodatne informacije 706 su prikazane kao ukupne vrijednosti za putovanje, ali mogu uključivati druge informacije ili linkove na druge informacije. U jednoj izvedbi, pružene su informacije koje se odnose na poslovne objekte u blizini, kao što su banke i restorani. Množina upitnih objekata 708 i množina navigacijskih objekata 710 su također povezane sa tabelom 700.

Prilikom prikazivanja uputstava smjera u vožnji korisniku, modul za prikazivanje podataka 16 može imati predpostavljene postavke da iscrtava prvi redak (skretanje) informacija. Modul za prikazivanje podataka 16 može biti programiran da prikazuje sve ili dio prvog skretanja korisniku. Na primjer, s obzirom na informacije u prvom redku uputstava, kreator odgovora 607 može zvučno prikazati korisniku, “Vozite lijevo u Concord Avenueender za udaljenost od 0.5 milja.” Korisnik tada može tražiti daljnje informacije o tom skretanju, kao što je, “Koja je oznaka koju moram tražiti?” Alternativno, korisnik može tražiti da se ponovi dio skretanja. Na primjer, korisnik može tražiti, “U kojem smjeru moram skrenuti?” U tom slučaju, objekt smjera se povezuje sa oznakom za trenutni smjer, odnosno “lijevo.” Modul za prikazivanje podataka 16 dohvaća relevantne informacije iz tabele 700 i prikazuje odgovarajući odgovor, kao što je, “Skrenite lijevo” pri čemu je “lijevo” dohvaćeno iz prvog retka i prvog stupca. Kada korisnik želi čuti slijedeće skretanje, korisnik može dati upit, kao što je, “Koje je slijedeće skretanje?”

Koristeći navigacijske objekte 710, modul za prikazivanje podataka 16 može prikazati relevantne informacije za skretanja u odnosu na trenutnu poziciju. Na primjer, korisnik može tražiti, “Koje je ime ulice za slijedeće skretanje?” Navigacijski objekt “next”(slijedeći) će biti povezan sa oznakom za slijedeće skretanje (tj. retkom) s obzirom na trenutnu poziciju u tabeli 700 i upitni objekt imena ulice će biti povezan sa odgovarajućim stupcem i relevantne informacije će se prikazati.

U bilo koje trenu, korisnik može pristupiti bilo kojem dijelu tabele 700 koristeći odgovarajući upit, koji daje odgovarajuće objekte. Dodatno, korisnik može pristupiti ukupnoj udaljenosti i približnom vremenu putovanja 706 nakon odgovarajućeg upita koji se povezuje sa <total>(ukupno) objektom. Alternativno, upit može zatražiti novi skup uputstava smjera u vožnji u ovisnosti o trenutnoj lokaciji i unosu korisnika. Na primjer, korisnik može reći, “Molim te, odvedi me do najbližeg meksičkog restorana.” Ovaj unos bi bio protumačen radi stvaranja novog skupa uputstava smjera u vožnji u ovisnosti o trenutnom položaju i podacima koji daju adresu najbližeg meksičkog restorana. U skladu s time, jezični model povezan sa uputama smjera u vožnji može biti proširen kako bi prepoznavao razne objekte upita, navigacijske ili naredbene objekte u ovisnosti o tim informacijama i ukoliko je potrebno izvršio kôd, na primjer, skriptu koja bi pribavila nove podatke sadržane u udaljenim bazama podataka koje će biti korištene za pristupanje udaljenim podacima. Sustav može također pribaviti novi jezični model radi selektivnog prikazivanja novih podataka. U jednoj izvedbi, prethodni podaci koji su bili prikazani (tj. tabela 700) sa, na primjer, stranice sa označnim kôdom ili nekom drugim kôdom, mogu biti spremljeni sa zabilježenom trenutnom pozicijom tako da se po završetku prikazivanja novih podataka, sustav može vratiti prikazivanju prethodnih podataka (tj. tabele 700) od njihove trenutne pozicije.

Modul za prikazivanje podataka 16 se također može koristiti za obavljanje specifičnih naredbi. STAVAK 12 shematski ilustrira podatke kao tabele 750 i 752, koje uključuju podatke o prodaji za proizvode u godinama 2001. i 2002., redom. Kao dodatak upitima za zasebne ćelije i navigaciji kroz tabele kao što je gore opisano, korisnik može zatražiti informacije koristeći naredbe koje obrađuju podatke u tabelama 750 i 752 u cilju prikazivanja opisanih podataka. Objekti upita 760, navigacijski objekti 762 i naredbeni objekti 764 su svi korišteni prilikom prikazivanja podataka iz tabele 750 i 752. Koristeći naredbene objekte 764, korisnik može selektivno prikazati relevantne podatke u ovisnosti o informacijama u tabelama 750 i 752 i izvršiti naredbu zasnovanu na tim podacima.

Na primjer, kada se koristi<compare> (usporedi) objekt, korisnik može zatražiti, “Molim te, daj mi podatke o prodaji za dio 01 u prvom tromjesečju 2001. i prvom tromjesečju 2002.” Nakon ovog upita, modul za prikazivanje podataka 16 će selektivno prikazati vrijednosti “$3048.26” i “$4125.06” sa ili bez dodatnog konteksta. U jednoj izvedbi, vrijednosti mogu biti prikazane jedna do druge radi lakše usporedbe korisnika isto kao i zvučno prikazane.

Izvršitelj naredbi 602, koristeći naredbene objekte 764, može također računati podatke u ovisnosti o zahtjevu korisnika. Na primjer, korisnik može tražiti, “Molim te, zbroji prodaje za dio 1001 u prvom tromjesečju 2002. godine i drugom tromjesečju 2002. godine.” Ova naredba koristi <add> (zbroji) objekt, koji je također bio identificiran iz korisničkog unosa. U ovom slučaju, sučelje prema bazama podataka 606 će izdvojiti vrijednosti podataka za dio 1001 u relevantnim tromjesečjima 2002. godine i poslati relevantne podatke izvršitelju naredbi 602. Izvršitelj naredbi 602 tada zbraja svaku od vrijednosti zajedno i šalje rezultat kreatoru odgovora 607, koji prikazuje podatke koristeći zvučno sučelje 608 i/ili vizualno sučelje 610. Izvršitelj naredbi 602 može također zbrojiti više od dvije vrijednosti, na primjer cijeli redak podataka. Ostale naredbe mogu također biti upotrebljene ovisno o određenoj primjeni. Na primjer, <substract> (oduzmi) i <percent> (postotak) mogu prikazati vrijednosti zasnovane na dvije ili više vrijednosti podataka.

Modul za prikazivanje podataka 16 može također selektivno prikazati nestrukturirane podatke, na primjer odlomak teksta, koji u bazi podataka 18 mogu potjecati kao zvučne datoteke, ili unos rukopisa sa odgovarajućom pretvorbom. STAVAK 13 ilustrira odlomak 800 teksta koji se odnosi na sažetak tržišta dionicama. Upitni objekt 802 i navigacijski objekt 804 su definirani radi selektivnog prikazivanja odlomka 800 u ovisnosti o glasovnom unosu korisnika. Da bi se selektivno prikazao odlomak 800, razne oznake moraju odgovarati relevantnim informacijama unutar odlomka 800. U jednoj izvedbi, normalizator/analizator teksta 604 se koristi radi identificiranja relevantnih dijelova odlomka 800 i stvaranja raznih oznaka zasnovanih na relevantnim dijelovima. Na primjer, normalizator/analizator 604 može identificirati rečenice (analogno recim u tabeli objašnjenoj ranije), brojeve, nazive tvrtki, itd. Obrada može uključivati utvrđivanje semantičkih informacija za dijelove podataka.

Jednom kada je odlomak 800 predobrađen radi identifikacije relevantnih oznaka, odlomak 800 može biti prikazan. U početku, modul za prikazivanje podataka 16 počinje prikazivati prvu rečenicu teksta. Nakon tišine od strane korisnika ili nakon prepoznavanja navigacijskog objekta “next” (slijedeći), modul za prikazivanje podataka će početi prikazivati slijedeću rečenicu.

Korisnik može također zatražiti da se priikažu određeni dijelovi odlomka 800. Na primjer, korisnik može zatražiti da se ponovi poslijednji indeks dionica, koristeći upit poput, “Koji je bio poslijednji indeks dionica?” Kada se <stock index> (indeks dionica) objekt identificira od strane modula za prepoznavanje i razumijevanje govora 14, modul za prikazivanje podataka 16 će povezati taj objekt sa oznakom u odlomku 800. Na primjer, nakon što je prikazana prva rečenica odlomka 800, modul za prikazivanje podataka 16 će povezati objekt indeksa dionica sa oznakom koja odgovara “Standard and Poor’s five hundred Stock Index”. Na taj način, nakon prikazivanja segmenta informacija (tj. rečenice) dio segmenta se može prikazati ovisno o glsovnom unosu korisnika. Treba razumjeti da se svaki dio odlomka može dohvatiti koristeći odgovarajući upit koji daje odgovarajuće objekte za pristup željenim informacijama. Ova tehnika obrade nestrukturiranih podataka i zatim omogućavanja korisniku da daje upite, navigaciju i naredbe može jednostavno biti proširena za prikazivanje cijelih novina, časopisa ili drugih izvora informacija. Takvoj tehnici može biti dodana definirana hijerarhijska struktura (npr. sportski dio, poslovni dio, metro dio, itd. iz novina) za prikazivanje podataka. Bez obzira na to, tehnika uključuje utvrđivanje objekata dobivenih od korisnika i korištenje tih objekata za selektivno prikazivanje podataka.

STAVCI 14A-14D ilustriraju primjer XML kôda sa SALT proširenjima za prikazivanje odlomka 800. Govoreći o STAVKU 14A, ilustrirani su dio sa zaglavljem 810 i dio s podacima 812. Dio sa zaglavljem 810 uključuje podatke za uspostavljanje dokumenta. Dio s podacima uključuje odlomak 800 nakon što je odlomak bio analiziran i normaliziran pomoću normalizatora/analizatora 604. Kao što je ilustrirano, razne oznake kao što su <sentence> (rečenica), <entity name = “stock index”> (naziv entiteta = “indeks dionica”) i <entity name = “number”> (ime entiteta = “broj”) su bile povezane sa dijelovima odlomka 800.

Kôd se nastavlja u STAVKU 14B gdje su ilustrirane razne oznake jezika govornih aplikacija. Na primjer, kôd uključuje “listen” (slušaj) oznaku 814, “gramar” (gramatika) oznaku 816 i “prompt” oznake 818 i 820. “Slušaj” oznaka 814 pokreće prepoznavatelja govora i počinje identifikaciju objekata unutar korisnikovog glasovnoh unosa. Oznaka gramatika 816 pokreće jezični model, koji u ovom slučaju definira navigacijska pravila 820 i pravila upita 822.

STAVAK 14C ilustrira nastavak kôda iz STAVKA 14B. Oznaka skripte 826 identificira početak dijela kôda sa skriptom. Dio sa skriptom uključuje razne funkcije za rad modulom za prikazivanje podataka 16. Funkcija izvrši naredbu 828 prepoznaje navigacijske ili naredbe upita i poziva potrebnu funkciju u ovisnosti o prepoznatim objektima. Funkcija inicijalizacije 830 počinje prikazivati odlomak 800 od početka. Funkcija za pomicanje unazad 832 i funkcija za pomicanje unaprijed 834 su dane radi pomicanja unazad za jednu račenicu i pomicanja unaprijed za jednu rečenicu, redom. U STAVKU 14D, funkcija izdvoji predmet 836 izdvaja relevantne informacije iz odlomka 800 ovisno o korisnikovom glasovnom upitu. Prikaži 836 prikazuje odlomak 800 na ekranu, na primjer.

Kao što je gore naznačeno, modul za prikazivanje podataka 16 može također biti korišten za prikazivanje drugih oblika nestrukturiranog teksta. Na primjer, STAVAK 15 ilustrira poruku glasovne pošte 840. Objketi 842 se koriste za prikazivanje dijelova poruke. Da bi se prikazali dijelovi poruke glasovne pošte 840, sučelje prema bazama podataka 606 (STAVAK 8) uključuje prepoznavatelja govora za pretvaranje poruke glasovne pošte 840 u tekst. Nakon što je poruka pretvorena u tekst, noramlizator/analizator teksta 604 se koristi za identifikaciju relevantnih dijelova poruke glasovne pošte. Na primjer, normalizator/analizator teksta 604 može identificirati osobu, naslov poruke i/ili brojeve kao što je broj telefona. Oznake se stvaraju u ovisnosti o toj identifikaciji slično kao što je gore opisano za odlomak 800. Nakon što je poruka glasovne pošte ili dio poruke glsovne pošte prikazan, korisnik može zatražiti da se ponove relevantni dijelovi. Na primjer, u poruci glasovne pošte iz STAVKA 15, korisnik može zatražiti da se ponovi broj telefona ili naslov poruke. Koristeći objekte 842, modul za prikazivanje podataka 16 povezuje objekte sa oznakama koje odgovaraju podacima u poruci glsovne pošte 840. Traženi podaci se tada prikazuju.

U daljnjoj izvedbi, mnoštvo poruka glasovne pošte može biti obrađeno radi pružanja selektivnog pristupa svakoj poruci koristeći navigacijske objekte. Naredbeni objketi se mogu koristiti za pokazivanje povratnih poziva, i sl. koristeći informacije iz poruke (tj. brojeve telefona) ili pristupajući drugim informacijama kao što je popis osoba koje imaju telefonske brjeve. Kao još jedan primjer, s obzirom na upute smjera u vožnji u STAVKU 11, informacijama koje se odnose na obližnje poslovne objekte se također može pristupiti sa udaljenih spremišta informacija i/ili udaljenih aplikacija.

Iako je ovaj izum bio opisan sa referencama na određene izvedbe, radnici vješti u ovom području će prepoznati da promjene mogu biti napravljene u obliku i detaljima bez odstupanja od duha i dosega izuma.

Claims (36)

1. Metoda prikazivanja informacija korisniku zasnovna na upitu, naznačena time da se sastoji od: identificiranja prvog objekta i drugog objekta iz upita; povezivanja prvog objekta i drugog objekta sa oznakama koje odgovaraju dijelu pohranjenih informacija koje treba prikazati; i selektivnog prikazivanja dijela pohranjenih informacija.

2. Metoda zahtjeva 1 naznačena time da je barem jedan od prvog objekta i drugog objekta objekt upita koji sadrži informacije koje se odnose na oznaku koja odgovara pohranjenim informacijama.

3. Metoda zahtjeva 1 naznačena time da je barem jedan od prvog objekta i drugog objekta navigacijski objekt koji sadrži informacije za navigaciju unutar pohranjenih informacija.

4. Metoda zahtjeva 1 naznačena time da je barem jedan od prvog objekta i drugog objekta naredbeni objekt koji sadrži informacije za obavljanje odabrane naredbe na pohranjenim informacijama.

5. Metoda bilo kojeg od zahtjeva 1 do 4 naznačena time da indentificiranje uključuje korištenje jezičnog modela radi identifikacije prvog objekta i drugog objekta.

6. Metoda zahtjeva 5 naznačena time da identificiranje nadalje uključuju korištenje kontrole stila radi prepoznavanja alternativnih fraza za prvi objekt i drugi objekt.

7. Metoda bilo kojeg od zahtjeva 1 do 6 naznačena time da su pohranjeni podaci uređeni u više-dimenzijsku strukturu i naznačena time da barem jedan od prvog objekta i drugog objekta odgovara barem jednoj dimenziji u više-dimenzijskoj strukturi.

8. Metoda zahtjeva 7 naznačena time da je više-dimenzijska struktura tabela koja uključuje množinu redaka i množinu stupaca i naznačena time da prvi objekt uključuje informacije koje se odnose na određeni redak a drugi objekt uključuje informacije koje se odnose na određeni stupac.

9. Metoda bilo kojeg od zahtjeva 1 do 8 naznačena time da je selektivno prikazivanje dijela pohranjenih podataka zasnovano na barem jednom od prvog objekta i drugog objekta.

10. Metoda zahtjeva 9 naznačena time da selektivno prikazivanje dijela pohranjenih podataka uključuje prikazivanje dijela pohranjenih podataka u kombinaciji sa pohranjenim kontekstom zasnovano na barem jednom od prvog objekta i drugog objekta.

11. Metoda bilo kojeg od zahtjeva 1 do 10 naznačena time da je upit izgovor govora.

12. Metoda bilo kojeg od zahtjeva 1 do 10 naznačena time da upit uključuje unos rukopisa.

13. Metoda bilo kojeg od zahtjeva 1 do 12 naznačena time da selektivno prikazivanje dijela pohranjenih podataka uključuje izvršavanje skripte za prikazivanje dijela.

14. Metoda prikazivanja podataka korisniku zasnovana na glasovnom upitu, naznačena time da sadrži: prikazivanje segmenta podataka korisniku, pri čemu segment uključuje oznake koje odgovaraju dijelovima segmenta; identificiranje barem jednog objekta iz upita; povezivanje barem jednog objekta sa oznakom koja odgovara dijelovima segmenta; i prikazivanje dijela segmenta koji odgovara oznaci.

15. Metoda zahtjeva 14 naznačena time da nadalje sadrži analiziranje segmenta radi identifikacije oznaka relevantnih informacija unutar segmenta.

16. Metoda bilo kojeg od zahtjeva 14 do 15 naznačena time da su segment informacije podaci o govoru.

17. Meroda bilo kojeg od zahtjeva 14 do 16 naznačena time da je segment informacije rečenica i oznake odgovaraju podacima unutar rečenice.

18. Metoda bilo kojeg od zahtjeva 14 to 17 naznačena time da je segment informacije redak i oznake odgovaraju stupcima unutar retka.

19. Metoda bilo kojeg od zahtjeva 14 to 18 naznačena time da barem jedna oznaka odgovara pravom imenu.

20. Meroda bilo kojeg od zahtjeva 14 to 19 naznačena time da barem jedna oznaka odgovara broju.

21. Metoda zahtjeva 20 naznačena time da barem jedna oznaka odgovara telefonskom broju.

22. Meroda bilo kojeg od zahtjeva 14 do 21 naznačena time da barem jedna oznaka odgovara dijelu uputa smjera za vožnju.

23. Meroda bilo kojeg od zahtjeva 14 do 22 naznačena time da je selektivno prikazivanje dijela pohranjenih podataka zasnovano na barem jednom od prvog objekta i drugog objekta.

24. Meroda bilo kojeg od zahtjeva 14 do 23 naznačena time da selektivno prikazivanje dijela pohranjenih podataka uključuje prikazivanje dijela pohranjenih podataka u kombinaciji sa pohranjenim kontekstom zasnovano na prvom objektu i drugom objektu.

25. Meroda bilo kojeg od zahtjeva 14 do 24 naznačena time da je upit izgovor govora.

26. Meroda bilo kojeg od zahtjeva 14 do 25 naznačena time da upit uključuje unos rukopisa.

27. Meroda bilo kojeg od zahtjeva 14 do 26 naznačena time da selektivno prikazivanje dijela uključuje izvršavanje skripte.

28. Metoda pružanja inforamcija korisniku naznačena time da sadrži: obradu teksta radi pribavljanja identifikatora koji odgovaraju dijelovima informacija unutar teksta; identificiranje objekta unutar korisnikovog unosa, pri čemu se objekt odnosi na identifikator informacija; i selektivno prikazivanje dijela informacija unutar teksta zasnovano na objektu i identifikatoru.

29. Metoda pružanja inforamcija korisniku naznačena time da sadrži: identificiranje prvog objekta, drugog objekta i naredbenog objekta iz korisnikovog unosa; povezivanje prvog objekta i drugog objekta sa oznakama koje odgovaraju prvom dijelu pohranjenih podataka i drugom dijelu pohranjenih podataka; i obavljanje operacije s prvim dijelom i s drugim dijelom zasnovano na naredbenom objektu radi prikazivanja informacija.

30. Računalom čitljivi medij uključujući instrukcije čitljive računalnim uređajima koje, kad su izvedene, ozrokuju da računalni uređaj barata podacima obavljajući korake koji su naznačeni time da sadrže: uspostavljanje jezičnog modela za identificiranje prvog objekta i drugog objekta iz korisnikovog unosa; obrađivanje oznaka radi povezivanja prvog objekta i drugog objekta sa dijelovima pohranjenih podataka; i selektivno prikazivanje dijela pohranjenih podataka.

31. Računalom čitljivi medij iz zahtjeva 30 naznačen time da su koraci izvedeni kao označni jezik.

32. Računalom čitljivi medij bilo kojeg od zahtjeva 30 do 31 naznačen time da nadalje sadrži strukturu podataka koja sadrži oznake i pohranjene podatke.

33. Računalom čitljivi medij uključujući instrukcije čitljive računalnim uređajima koje, kad su izvedene, ozrokuju da računalni uređaj barata podacima obavljajući korake koji su naznačeni time da sadrže: obrađivanje teksta radi pružanja identifikatora dijelova informacija unutar teksta; uspostavljanje jezičnog modela radi identificiranja objekata koji odgovaraju dijelovima; obrađivanje oznaka radi povezivanja objekata sa dijelovima; i selektivno prikazivanje dijelova pohranjenih informacija.

34. Računalom čitljivi medij iz zahtjeva 33 naznačen time da su koraci izvedeni kao označni jezik.

35. Računalom čitljivi medij iz bilo kojeg od zahtjeva 33 do 34 naznačen time da nadalje sadrži strukturu podataka koja sadrži oznake i pohranjene informacije.

36. Računalom čitljivi medij naznačen time da obavlja bilo koju od metoda iz zahtjeva 1 do 29.