FI123321B - Järjestelmä ja menetelmä samanaikaisen monimuotoisen viestintäistunnon ylläpitämiseksi - Google Patents

Description

JÄRJESTELMÄ JA MENETELMÄ SAMANAIKAISEN MONIMUOTOISEN VIESTINTÄISTUNNON YLLÄPITÄMISEKSI

KEKSINNÖN TAUSTA

5 Keksintö liittyy yleisesti viestintäjärjestelmiin ja menetelmiin ja etenkin monimuotoiseen viestintäjärjestelmään ja menetelmiin.

Viestintälaitteisiin, kuten kädessä pidettäviin laitteisiin, matkapuhelimiin, sylitietokoneisiin, PDA:ihin, intemetsovelluksiin, ei-mobiileihin laitteisiin ja muihin sopiviin laitteisiin liittyvä nouseva teknologian ala on monimuotoisten vuorovaikutusten 10 sovellus informaation ja palveluiden hakemiseksi. Viestintälaitteessa sijaitsee yleensä ainakin yksi käyttäjän agenttiohjelma, kuten selain, tai mikä tahansa sopiva ohjelmisto, joka voi toimia käyttöliittymänä. Käyttäjän agenttiohjelma voi vastata pyyntöjen hakemiseksi (jotka käyttäjä on syöttänyt käyttäjän agenttiohjelman kautta tai toisesta laitteesta tai ohjelmistosovelluksesta), vastaanottaa haetun informaation, navigoi 15 sisältöpalvelimien kautta sisäisten tai ulkoisten yhteyksien kautta, ja esittää informaation käyttäjälle. Käyttäjän agenttiohjelma voi olla graafinen selain, ääniselain, tai mikä tahansa sopiva käyttäjän agenttiohjelma, kuten alan tavalliset asiantuntijat ymmärtävät. Tämänkaltaiset käyttäjän agenttiohjelmat voivat sisältää, mutta eivät rajoitu, J2ME-sovelluksen, Netscape™:n, Internet Explorer™:n, java-sovellukset, 20 WAP-selaimen, pikaviestinnän, multimedia-rajapinnat, Windows CE™:n, ja kaikki muut sopivat ohjelmistototeutukset.

CM

o ^ Monimuotoinen teknologia sallii käyttäjän hakea informaatiota, kuten ääntä, dataa,

CM

V videota, audiota tai muuta informaatiota, ja palveluita, kuten sähköpostia, säätiedotuksia, pankkitapahtumia ja uutisia tai muuta informaatiota yhden muodon

X

£ 25 kautta käyttäjän agenttiohjelmien kautta, sekä vastaanottaa informaatiota eri muodossa.

Tarkemmin sanottuna käyttäjä voi jättää informaation hakupyynnön yhdessä tai ^ useammassa muodossa, kuten puhumalla hakupyynnön mikrofoniin, ja käyttäjä voi o ^ sitten vastaanottaa haetun informaation samassa muodossa (eli ääneen), tai eri muodossa, kuten graafisen selaimen kautta, joka esittää palautetun informaation 30 näyttöformaatissa näyttöruudulla. Viestintälaitteessa käyttäjän agenttiohjelma toimii 2 samaan tapaan standardin Web-selaimen, tai muun sopivan ohjelmisto-ohjelman kanssa, joka sijaitsee laitteella, joka on yhdistetty verkkoon tai muihin päätelaitteisiin.

Täten ehdotetaan monimuotoisia viestintäjärjestelmiä, jotka voivat sallia käyttäjien hyödyntää yhtä tai useampaa käyttäjän syöttö- ja lähtörajapintaa viestimisen 5 mahdollistamiseksi useissa muodoissa istunnon aikana. Käyttäjän agenttiohjelmat voivat sijaita eri laitteissa. Esimerkiksi verkkoelementti, kuten ääniyhdyskäytävä, voi sisältää ääniselaimen. Kädessä pidettävä laite voi sisältää esimerkiksi graafisen selaimen, kuten WAP-selaimen, tai muun sopivan tekstipohjaisen käyttäjän agenttiohjelman. Täten monimuotoisilla kyvyillä käyttäjä voi syöttää yhdessä muodossa 10 ja vastaanottaa informaatiota takaisin eri muodossa.

On ehdotettu järjestelmiä, jotka yrittävät tarjota käyttäjän syötön kahdessa eri muodossa, kuten jonkin informaation syöttämisen äänimuodossa ja muun informaation kosketeltavan tai graafisen rajapinnan kautta. Yksi ehdotus ehdottaa sarja-asynkronisen lähestymistavan käyttämistä, joka vaatisi esimerkiksi käyttäjän syöttävän äänen ensin ja 15 sitten äänisyötön valmistumisen jälkeen lähettävän lyhyen viestin. Käyttäjä voi joutua manuaalisesti vaihtamaan muotoja tämänkaltaisessa järjestelmässä saman istunnon aikana. Täten tämänkaltainen ehdotus voi olla hankala.

Toinen ehdotettu järjestelmä hyödyntää yhtä käyttäjän agenttiohjelmaa ja merkkikielen lippuja olemassa olevilla HTML-sivuilla siten, että käyttäjä voi esimerkiksi käyttää 20 ääntä navigoidakseen Web-sivulla etsintäsanan kirjoittamisen sijaan, ja sitten sama HTML-sivu voi sallia käyttäjän syöttää teksti-informaatiota. Käyttäjä voi esimerkiksi puhua sanan ’’kaupunki” ja syöttää osoitteen hakeakseen visuaalista karttainformaatiota δ ^ sisältöpalvelimelta. Tämänkaltaiset ehdotetut menetelmät yleensä pakottavat dj V syöttämään eri muotojen monimuotoiset syötöt samaan käyttäjän agenttiohjelmaan 25 yhdellä laitteella (syötettynä yleensä saman selaimen kautta). Täten ääni- ja teksti-

X

£ informaatio syötetään yleensä samassa HTML-lomakkeessa, ja ne käsitellään samalla jo käyttäjän agenttiohjelmalla. Tämä ehdotus vaatii kuitenkin yhden käyttäjän ^ agenttiohjelman käyttämistä, joka toimii yhdellä laitteella.

o o

Vastaavasti vähemmän monimutkaisille laitteilla, kuten mobiililaitteilla, joilla on 1 rajoittuneet käsittely- ja tallennuskyvyt, monimutkaiset selaimet voivat vähentää laitteen 3 suorituskykyä. Tämänkaltaisen järjestelmät eivät myöskään voi mahdollistaa samanaikaista informaation monimuotoista syöttämistä eri käyttäjän agenttiohjelmien kautta. Lisäksi voi olla toivottavaa tarjota samanaikainen monimuotoinen syöttäminen useiden laitteiden kautta hajautetun käsittelemisen sallimiseksi eri sovellusten ja eri 5 laitteiden kesken.

Toinen ehdotus ehdottaa monimuotoisen yhdyskäytävän ja monimuotoisen välipalvelimen käyttämistä, jossa monimuotoinen välipalvelin hakee sisällön ja antaa sisällön lähtönä käyttäjän agenttiohjelmalle (eli selaimelle) viestintälaitteessa ja ääniselaimessa, esimerkiksi verkkoelementissä, joten järjestelmä sallii laitteelle sekä 10 ääni- että tekstilähdön. Tämänkaltaiset lähestymistavat eivät kuitenkaan näytä sallivan samanaikaista käyttäjän informaation syöttämistä eri muodoissa eri sovellusten kautta, koska ehdotus näyttää jälleen olevan yhden käyttäjän agentin lähestymistapa, joka vaatii eri muotojen haetun informaation antamista lähtönä yhdelle käyttäjän agenttiohjelmalle tai selaimelle.

15 Viestintäistunnonhallintatekniikoiden käyttäminen on tunnettua, jotka sallivat aiemmin päättyneen viestintäistunnon jatkamisen. Esimerkiksi voiceXML-lomakkeita käyttävillä järjestelmillä, jos käyttäjä kirjautuu ulos lomakkeen käyttämisestä, lomakkeen tilaa ylläpidetään palvelimella, jotta käyttäjä voi esimerkiksi ottaa yhteyden uudelleen Web-sovellukseen selaimen kautta, ja sitten Web-sovellus paikantaa käyttäjän aiemman 20 istuntoinformaation ja perustaa istunnon uudelleen käyttäjän kanssa aiempaan tilaan siten, kuin se oli olemassa käyttäjän päättäessä istuntonsa. Tämänkaltaiset tekniikat tarjoavat kuitenkin yleensä istunnon ylläpitämisen yhdelle muodolle. Lisäksi o tämänkaltaiset järjestelmät tarjoavat istunnon ylläpitämisen käyttäjälle, joka istunnon c\j aikana käytti yhtä käyttäjän agenttiohjelmaa.

i 25 On kuitenkin olemassa tarve istunnon ylläpitämisen menetelmälle ja laitteistolle

X

£ samanaikaiselle monimuotoiselle viestinnälle, m Täsmällisemmin sanottuna keksinnölle on tunnusomaista se, mikä on esitetty o patenttivaatimuksen 1 tunnusmerkkiosassa.

C\J

30 4

PIIRUSTUSTEN LYHYT KUVAUS

Nyt esillä olevaa keksintöä havainnollistetaan esimerkin avulla, eikä rajoittuen, seuraavilla kuvioilla, joissa vastaavat luvut osoittavat samoja elementtejä, ja joissa:

Kuvio 1 on lohkokaavio havainnollistaen yhden esimerkin monimuotoisesta 5 viestintäjärjestelmästä keksinnön yhden suoritusmuodon mukaisesti;

Kuvio 2 on vuokaavio havainnollistaen yhden esimerkin menetelmästä monimuotoista viestintää varten keksinnön yhden suoritusmuodon mukaisesti;

Kuvio 3 on vuokaavio havainnollistaen esimerkin menetelmästä monimuotoista viestintää varten keksinnön yhden suoritusmuodon mukaisesti; 10 Kuvio 4 on vuokaavio havainnollistaen yhden esimerkin menetelmästä vastaanotetun samanaikaisen monimuotoisen syötetyn informaation yhdistämiseksi keksinnön yhden suoritusmuodon mukaisesti;

Kuvio 5 on lohkokaavio havainnollistaen yhden esimerkin monimuotoisesta verkkoelementistä keksinnön suoritusmuodon mukaisesti; 15 Kuvio 6 on vuokaavio havainnollistaen yhden esimerkin menetelmästä monimuotoisen istunnon ylläpidon ylläpitämiseksi keksinnön yhden suoritusmuodon mukaisesti;

Kuvio 7 on vuokaavio havainnollistaen kuviossa 6 esitetyn vuokaavion osion; ja

Kuvio 8 on lohkokaavio esittäen yhden esimerkin samanaikaisen monimuotoisen cm istunnon tilan muistisisällöistä keksinnön yhden suoritusmuodon mukaisesti.

δ

CM

• 20 c\j

^ EDULLISEN SUORITUSMUODON YKSITYISKOHTAINEN KUVAUS

x

IX

“ Lyhyesti sanottuna monimuotoinen verkkoelementti mahdollistaa samanaikaiset m ^ monimuotoiset viestintäistunnot eroavien käyttäjien agenttiohjelmien kautta yhdellä tai § useammalla laitteella. Esimerkiksi äänimuodossa viestivä käyttäjän agenttiohjelma, o ^ 25 kuten ääniselain ääniyhdyskäytävässä, joka sisältää puhekoneen ja puhelun/istunnon päättämisen, on synkronoitu toisen käyttäjän agenttiohjelman kanssa, joka toimii eri 5 muodossa, kuten mobiililaitteen graafinen selain. Useat käyttäjän agenttiohjelmat on kytketty toiminnallisesti sisältöpalvelimeen istunnon aikana samanaikaisen monimuotoisen vuorovaikutuksen mahdollistamiseksi.

Monimuotoinen verkkoelementti hankkii esimerkiksi muotokohtaiset ohjeet useille 5 käyttäjän agenttiohjelmille, jotka toimivat eri muodoissa suhteessa toisiinsa, kuten hankkimalla eroavat merkkikielen lomakkeet, jotka liittyvät eri muotoihin, kuten tekstimuotoon liittyvän HTML-lomakkeen ja äänimuotoon liittyvän voiceXML-lomakkeen. Istunnon aikana monimuotoinen verkkoelementti synkronoi useiden käyttäjän agenttiohjelmien lähdön käyttäjälle perustuen haettuihin muotokohtaisiin 10 ohjeisiin. Esimerkiksi ääniselain on synkronoitu antamaan lähtönä audio yhdellä laitteella ja graafinen selain on synkronoitu antamaan lähtönä näyttö saman tai eri laitteen ruudulla samanaikaisesti käyttäjän syötteen sallimiseksi yhden tai usean käyttäjän agenttiohjelman kautta. Tapauksessa, jossa käyttäjä syöttää syötettyä informaatiota useiden käyttäjän agenttiohjelmien kautta, jotka toimivat eri muodoissa, 15 menetelmä ja laitteisto yhdistävät, tai linkittävät vastaanotetun samanaikaisen monimuotoisen käyttäjän syöttämän syötetyn informaation ja useilta käyttäjän agenttiohjelmilta lähetetyn vasteena samanaikaisen eri monimuotoisen informaation pyyntöön. Täten samanaikainen monimuotoinen syöte mahdollistetaan eri käyttäjän agenttiohjelmien kautta siten, että useita laitteita tai muita laitteita voidaan käyttää 20 samanaikaisen monimuotoisen istunnon aikana tai yhden laitteen, joka käyttää useita käyttäjän agenttiohjelmia, kautta. Eroavia välipalvelimia on merkitty monimuotoisella verkkoelementillä viestimään kaikkien eroavien käyttäjän agenttiohjelmien kanssa, ™ jotka on asetettu eroaviin muotoihin.

δ

CM

cm Kuvio 1 havainnollistaa yhden esimerkin monimuotoisesta viestintäjärjestelmästä 10 -i- 25 keksinnön yhden suoritusmuodon mukaisesti. Tässä esimerkissä monimuotoinen x viestintäjärjestelmä 10 sisältää viestintälaitteen 12, monimuotoisen

CL

yhdistämispalvelimen 14, ääniyhdyskäytävän 16 ja sisältölähteen, kuten Web-^ palvelimen 18. Viestintälaite 12 voi olla esimerkiksi Intemet-sovellus, PDA, o solukkomainen puhelin, kaapeliverkon set top -boksi, telematiikkayksikkö,

CM

30 sylitietokone, pöytätietokone tai mikä tahansa muu mobiili tai ei-mobiili laite. Riippuen toivotun viestinnän luonteesta viestintälaite 12 voi olla myös toiminnallisessa 6 yhteydessä langattomaan paikallisalueen tai laajan alueen verkkoon 20, WAP/datayhdyskäytävään 22, tekstiviestipalvelukeskukseen (short messaging service center, SMSC/hakuverkko) 24, tai mihin tahansa muuhun sopivaan verkkoon Samoin monimuotoinen yhdistämispalvelin 14 voi olla viestinnässä minkä tahansa sopivan 5 laitteen, verkkoelementin tai verkon sisältäen internetin, intranetit, multimediapalvelimen (MMS) 26, pikaviestintäpalvelimen (IMS) 28, tai minkä tahansa muun sopivan verkon, kanssa. Vastaavasti viestintälaite 12 on toiminnallisessa yhteydessä asiaankuuluvien verkkojen kanssa viestintälinkkien 21, 23 ja 25 kautta. Vastaavasti monimuotoinen yhdistämispalvelin 14 voi olla sopivasti linkitetty erilaisiin 10 verkkoihin tavanomaisten viestintälinkkien kautta, joita merkitään 27:llä. Tässä esimerkissä ääniyhdyskäytävä 16 voi sisältää tavanomaisen ääniyhdyskäytävän toiminnallisuuden sisältäen, mutta ei rajoittuen, puheentunnistuskoneen, käsinkiijoituksen tunnistuskoneet, kasvojentunnistuskoneet, istunnon ohjauksen, käyttäjän tarjonta-algoritmit sekä toiminnan ja ylläpidon ohjaimen, mikäli niin 15 toivotaan. Tässä esimerkissä viestintälaite 12 sisältää käyttäjän agenttiohjelman 30, kuten visuaalisen selaimen (esimerkiksi graafisen selaimen) WAP-selaimen muodossa, liikkeiden tunnistuksen, kosketeltavissa olevan tunnistuksen tai minkä tahansa muun sopivan selaimen, yhdessä esimerkiksi puhelinpiiristön kanssa, joka sisältää mikrofonin ja kaiuttimen, jotka on esitetty puhelinpiiristönä 32. Mitä tahansa muuta sopivaa 20 konfiguraatiota voidaan käyttää myös.

Ääniyhdyskäytävä 16 sisältää toisen käyttäjän agenttiohjelman 34, kuten ääniselaimen, joka antaa lähtönä audioinformaatiota sopivassa muodossa annettavaksi lähtönä ^ puhelinpiiristön 32 kaiuttimella. On kuitenkin ymmärrettävä, että kaiutin voi sijaita eri δ ^ laitteella, joka on muu kuin viestintälaite 12, kuten hakulaite tai muu PDA, jotta audio

CVJ

V 25 annetaan lähtönä yhdellä laitteella ja visuaalinen selain käyttäjän agenttiohjelman 30 kautta tarjotaan vielä yhdellä laitteella. On myös huomattava, että vaikka käyttäjän

X

£ agenttiohjelma 34 on läsnä ääniyhdyskäytävällä 16, käyttäjän agenttiohjelma 34 voi ^ sisältyä myös viestintälaitteeseen 12 (joka on esitetty ääniselaimena 36), tai mihin ^ tahansa muuhun sopivaan laitteeseen. Samanaikaisen monimuotoisen viestinnän o ° 30 mahdollistamiseksi siten, kuin tässä on kuvattu, käyttäjän useat agenttiohjelmat, nimeltään käyttäjän agenttiohjelma 30 ja käyttäjän agenttiohjelma 34 toimivat eri muodoissa suhteessa toisiinsa tietyssä istunnossa. Vastaavasti käyttäjä voi esimäärittää 7 muodon jokaiselle käyttäjän agenttiohjelmista kirjautumalla kuvattuun palveluun ja esiasettamalla muodon asetukset muodon asetustietokantaan 36, joka on Web-palvelimen 18 tai minkä tahansa muun palvelimen haettavissa (sisältäen MFS:n 14). Myös haluttaessa käyttäjä voi valita istunnon aikana, tai muutoin vaihtaa tietyn 5 käyttäjän agenttiohjelman muodon, kuten alalla tunnetaan.

Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 voi sisältää puskurimuistin, johon tallennetaan väliaikaisesti, istunnon aikana, muotokohtaiset ohjeet yhdelle käyttäjän useista agenttiohjelmista toisen käyttäjän agenttiohjelman muotokohtaisiin ohjeisiin liittyvien viestintäviiveiden kompensoimiseksi. Täten, 10 esimerkiksi, mikäli tarpeen, synkronoinnin koordinaattori 42 voi ottaa huomioon järjestelmän viiveet tai muut viiveet, ja odottaa ja antaa lähtönä välipalvelimille muotokohtaiset ohjeet, jotta ne renderöidään samanaikaisesti eroavilla käyttäjän agenttiohjelmilla.

Myös, mikäli toivotaan, käyttäjän agenttiohjelma 30 voi tarjota syöttörajapinnan, jotta 15 käyttäjän sallitaan vaimentaa tietyt monimuodot. Esimerkiksi, jos laite tai käyttäjän agenttiohjelma sallii useiden muotojen toiminnan, käyttäjä voi osoittaa, että tietyn keston ajaksi muoto tulisi vaimentaa. Esimerkiksi, jos käyttäjän lähtömuoto on ääni, mutta ympäristö, jossa käyttäjä on, on äänekäs, käyttäjä voi esimerkiksi vaimentaa lähdön ääniselaimeensa. Käyttäjältä vastaanotettu monimuotoinen vaimennettu data 20 voidaan tallentaa monimuotoisella yhdistämispalvelimella 14 esimerkiksi muistiin 602 (katso kuvio 5), osoittaen, mitkä muodot tulee vaimentaa tiettyä istuntoa varten. Synkronoinnin koordinaattori 42 voi sitten jättää hankkimatta muotokohtaiset ohjeet δ niille muodoille, jotka on identifioitu vaimennettaviksi.

CNJ

i c\j V Informaation hakija 46 hankkii muotokohtaisen ohjeet 69 monimuotoiselta 1 2 3 4 5 6 sovellukselta 54 useille käyttäjän agenttiohjelmille 30 ja 34. Muotokohtaiset ohjeet 68, 2

X

3 £ 70 lähetetään käyttäjän agenttiohjelmille 30 ja 34. Tässä suoritusmuodossa 4 monimuotoinen sovellus 54 sisältää datan, joka tunnistaa muotokohtaiset ohjeet, jotka ^ liittyvät käyttäjän eri agenttiohjelmiin, ja täten eri muotoihin, kuten alla kuvataan, o 5 ° Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 on kytketty 6 toiminnallisesti informaation hakijaan 46 vastaanottamaan muotokohtaiset ohjeet.

Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 on myös kytketty 8 toiminnallisesti useisiin välipalvelimiin 38a - 38n tietylle istunnolle tarpeellisten välipalvelimien osoittamiseksi.

Kun eroavat käyttäjän agenttiohjelmat 30 ja 34 ovat eri laitteilla, menetelmä sisältää pyynnön lähettämisen samanaikaiselle monimuotoiselle syötetylle informaatiolle 68, 70 5 lähettämällä ensimmäisen muotopohjaisen merkkikielen lomakkeen yhdelle laitteelle ja lähettämällä toisen muodon merkkikielipohjaisen lomakkeen yhdelle tai useammalle muulle laitteelle pyytääkseen samanaikaista informaation syöttämistä käyttäjältä eri muodoissa eri laitteilta saman istunnon aikana. Nämä merkkikielipohjaiset lomakkeet hankittiin muotokohtaisina ohjeina 68, 70.

10 Monimuotoisen istunnon ohjainta 40 käytetään havaitsemaan tulevia istuntoja, vastaamaan istunnoista, muokkaamaan istunnon parametreja, päättämään istunnot ja vaihtamaan istunnon ja median informaatiota istunnon ohjausalgoritmin kanssa laitteessa. Monimuotoisen istunnon ohjain 40 voi olla pääasiallinen istunnon päättämispiste istunnolle haluttaessa, tai se voi olla toissijainen istunnon päättämispiste, 15 jos esimerkiksi käyttäjä haluaa perustaa istunnon toisen yhdyskäytävän, kuten ääniyhdyskäytävän kanssa, joka puolestaan voi perustaa istunnon monimuotoisen istunnon ohjaimen 40 kanssa.

Synkronoinnin koordinaattori lähettää lähdön synkronointiviestit 47 ja 49, jotka sisältävät samanaikaisen monimuotoisen syötetyn informaation pyynnöt, vastaaville 20 välipalvelimille 38a ja 38n synkronoidakseen käytännössä niiden lähdöt vastaaviin käyttäjän useisiin agenttiohjelmiin. Välipalvelimet 38a ja 38n lähettävät samanaikaisen synkronoinnin koordinaattorille 42 syötetyt synkronointiviestit 51 ja 53, jotka sisältävät δ ^ vastaanotetun monimuotoisen syötetyn informaation 72 ja 74.

CVJ

Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 lähettää ja vastaanottaa x 25 synkronointiviestit 47, 49, 51, 53 välipalvelimilla, tai käyttäjän agenttiohjelmilla, jos

CL

käyttäjän agenttiohjelmilla on tämä kyky. Kun välipalvelimet 38a ja 38n vastaanottavat ^ vastaanotetun monimuotoisen syötetyn informaation 72 ja 74 eri käyttäjän o agenttiohjelmilta, välipalvelimet lähettävät syötetyt synkronointiviestit 51 ja 53, jotka

C\J

sisältävät vastaanotetun monimuotoisen syötetyn informaation 72 ja 74 synkronoinnin 1 koordinaattorille 42. Synkronoinnin koordinaattori 42 välittää eteenpäin vastaanotetun 9 informaation monimuotoiselle yhdistämiskoneelle 44. Myös, mikäli käyttäjän agenttiohjelma 34 lähettää synkronointiviestin monimuotoiselle synkronoinnin koordinaattorille 42, monimuotoinen synkronoinnin koordinaattori 42 lähettää synkronointiviestin toiselle käyttäjän agenttiohjelmalle 30 tässä istunnossa.

5 Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 voi suorittaa myös viestin muunnokset, synkronointiviestin suodattamisen tehdäkseen synkronointijärjestelmästä tehokkaamman. Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 voi ylläpitää luetteloa nykyisistä käyttäjän agenttiohjelmista, joita käytetään tietyssä istunnossa pitääkseen kiijaa niistä, joista pitää 10 ilmoittaa, kun synkronointi on tarpeen.

Monimuotoinen yhdistämispalvelin 14 sisältää useita monimuotoisia välipalvelimia 38a - 38n, monimuotoisen istunnon ohjaimen 40, samanaikaisen monimuotoisen synkronoinnin koordinaattorin 42, monimuotoisen yhdistämiskoneen 44, informaation (esimerkiksi muotokohtaisten ohjeiden) hakijan 46 ja voiceXML-tulkitsijan 50. Ainakin 15 monimuotoisen istunnon ohjain 40, samanaikaisen monimuotoisen synkronoinnin koordinaattori 42, monimuotoinen yhdistämiskone 44, informaation hakija 46 ja monimuotoisen merkkikielen (esimerkiksi voiceXML) tulkitsija 50 voidaan toteuttaa ohjelmistomoduuleina, jotka suoritetaan yhdellä tai useammalla käsittelylaitteella. Tällaisena muisti sisältää suoritettavissa olevat käskyt, jotka luettuna yhdellä tai 20 useammalla käsittelylaitteelle saavat yhden tai useamman käsittelylaitteen suorittamaan tässä kuvatut toiminnot suhteessa kaikkiin ohjelmistomoduuleihin. Täten monimuotoinen yhdistämispalvelin 14 sisältää käsittelylaitteen, joka voi sisältää, mutta £! ei rajoitu, digitaaliset signaaliprosessorit, mikrotietokoneet, mikroprosessorit, tilakoneet, δ ^ tai kaikki muut sopivat käsittelylaitteet. Muisti voi olla ROM, RAM, hajautettu muisti,

C\J

V 25 flash-muisti, tai mikä tahansa muu sopiva muisti, joka voi tallentaa tilat ja muun datan, joka suoritettuna käsittelylaitteella saa yhden tai useamman käsittelylaitteen toimimaan

X

£ kuvatun kaltaisesti. Vaihtoehtoisesti ohjelmistomoduulien toiminnot voidaan toteuttaa sopivasti laitteistolla tai millä tahansa muulla laitteiston, ohjelmiston ja kiinto- ^ ohjelmiston yhdistelmällä, miten vain halutaan.

o o c\j 10

Monimuotoisen merkkikielen tulkitsija 50 voi olla tilakone tai muu sopiva laitteisto, ohjelmisto, kiinto-ohjelmisto, tai mikä tahansa sopiva näiden yhdistelmä, joka muun muassa suorittaa monimuotoisen sovelluksen 54 tarjoaman merkkikielen.

Kuvio 2 havainnollistaa menetelmän monimuotoiselle viestinnälle, joka tässä 5 esimerkissä suoritetaan monimuotoisella yhdistämispalvelimella 14. On kuitenkin ymmärrettävä, että kaikki tässä kuvatut vaiheet voidaan suorittaa missä tahansa sopivassa järjestyksessä sekä millä tahansa sopivalla laitteella tai useilla laitteilla. Nykyiselle monimuotoiselle istunnolle käyttäjän agenttiohjelma 30 (esimerkiksi WAP-selain) lähettää pyynnön 52 Web-palvelimelle 18 pyytääkseen sisältöä samanaikaiselta 10 monimuotoiselta sovellukselta 54, joka on Web-palvelimen 18 haettavissa. Tämä voidaan suorittaa esimerkiksi kirjoittamalla URL:ään, tai klikkaamalla ikonia tai käyttämällä mitä tahansa muuta tavanomaista mekanismia. Kuten katkoviivat 52 myös esittävät, kumpikin käyttäjän agenttiohjelmista 30 ja 34 voi lähettää käyttäjän muotoinformaatiota merkin tulkitsijalle 50. Web-palvelin 18, joka toimii 15 sisältöpalvelimena, hankkii viestintälaitteen 12 monimuotoiset asetukset 55 muotoasetusten tietokannalta 36, jota täytettiin aiemmin käyttäjän tilausprosessilla samanaikaiselle monimuotoiselle palvelulle. Sitten Web-palvelin 18 informoi monimuotoista yhdistämispalvelinta 14 ilmoituksella 56, joka voi sisältää käyttäjän asetukset tietokannasta 36, osoittaen esimerkiksi, mitä käyttäjän agenttiohjelmia 20 käytetään samanaikaisessa monimuotoisessa viestinnässä, ja mihin muotoihin kukin käyttäjän agenttiohjelma on asetettu. Tässä esimerkissä käyttäjän agenttiohjelma 30 on asetettu tekstimuotoon ja käyttäjän agenttiohjelma 34 on asetettu äänimuotoon.

£! Samanaikaisen monimuotoisuuden synkronoinnin koordinaattori 42 määrittää sitten o ™ istunnon aikana, mitä useista monimuotoisista välipalvelimista 38a - 38n tulee käyttää

C\J

V 25 jokaiselle käyttäjän agenttiohjelmista 30 ja 34. Täten samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 osoittaa monimuotoisen välipalvelimen 38a

X

£ tekstivälipalvelimeksi viestiäkseen käyttäjän agenttiohjelman 30 kanssa, joka on £ asetettu tekstimuotoon. Vastaavasti samanaikaisen monimuotoisen synkronoinnin ^ koordinaattori 42 osoittaa välipalvelimen 38n monimuotoiseksi välipalvelimeksi o ° 30 viestiäkseen ääni-informaation käyttäjän agenttiohjelmalle 34, joka toimii äänimuodossa. Informaation hakija, joka esitetään Web-sivun hakijana 46, hankkii 11 muotokohtaiset ohjeet, kuten merkkikielen lomakkeet tai muun datan, Web-palvelimelta 18, joka liittyy samanaikaiseen monimuotoiseen sovellukseen 54.

Esimerkiksi, kun monimuotoinen sovellus 54 pyytää käyttäjää syöttämään informaatiota sekä äänimuodossa että tekstimuodossa, informaation hakija 46 hankkii liittyvän 5 HTML-merkkikielen lomakkeen annettavaksi lähtönä käyttäjän agenttiohjelmalle 30 ja liittyvän voiceXML-lomakkeen annettavaksi lähtönä käyttäjän agenttiohjelmalle 34 pyynnön 66 kautta. Nämä muotokohtaiset ohjeet renderöidään sitten (esimerkiksi annetaan lähtönä ruudulle tai kaiuttimen kautta) käyttäjän agenttiohjelmien antamina lähtöinä. Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 synkronoi 10 käyttäjän useiden agenttiohjelmin 30 ja 34 lähdön istunnon aikana perustuen muotokohtaisiin ohjeisiin. Esimerkiksi samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 lähettää asiaankuuluvat merkkikielen lomakkeet, jotka esittävät eri muotoja, jokaiselle käyttäjän agenttiohjelmista 30 ja 34 asiaankuuluvina aikoina, jotta kun ääni renderöidään viestintälaitteella 12, se renderöidään samanaikaisesti käyttäjän 15 agenttiohjelman 30 kautta ruudulle lähtönä annettavan tekstin kanssa. Esimerkiksi monimuotoinen sovellus 54 voi taijota käyttäjälle ohjeet kuultavissa olevien ohjeiden muodossa käyttäjän agenttiohjelman 34 kautta koskien sitä, mitä informaatiota odotetaan syötettävän teksti selaimen kautta odottaen samanaikaisesti käyttäjän agenttiohjelman 30 syöttämää tekstiä. Esimerkiksi monimuotoinen sovellus 54 voi 20 vaatia sanojen ”ole hyvä ja syötä toivottu määränpääkaupunki sekä toivottu lähtöaika” äänilähtöä esittäen samanaikaisesti kentän käyttäjän agenttiohjelman 30 kautta, joka annetaan lähtönä viestintälaitteen näytölle siten, että kenttää merkitään ”C”:nä ^ kaupungille ja seuraavaa riviä ”D” määränpäälle. Tässä esimerkissä monimuotoinen δ ^ sovellus ei pyydä käyttäjän samanaikaista monimuotoista syötettä, vaan se pyytää vain

CVJ

V 25 syötettä yhden muodon kautta, nimittäin tekstimuodon. Toista muotoa käytetään tarjoamaan käyttäjälle ohjeita.

CC

Q_

Vaihtoehtoisesti, kun monimuotoinen sovellus 54 pyytää käyttäjää syöttämään syötettyä ^ informaatiota useiden käyttäjän agenttiohjelmien kautta, monimuotoinen o yhdistämiskone 14 yhdistää käyttäjän syötteen, joka syötetään samanaikaisesti eri c\] 30 monimuotoisissa käyttäjän agenttiohjelmissa istunnon aikana. Esimerkiksi kun käyttäjä lausuu sanat ’’suunnat täältä sinne” klikaten kahta sijaintia visuaalisessa kartassa, 12 ääniselain tai käyttäjän agenttiohjelma 34 täyttää alkupaikan kentän ”täältä”:llä ja määränpään paikan kentän ”sinne”:llä vastaanotettuna syötettynä informaationa 74 ja graafinen selain, nimittäin käyttäjän agenttiohjelma 30, täyttää alkupaikan kentän kartan ensimmäisen klikatun pisteen maantieteellisellä sijainnilla (esimerkiksi korkeus/leveys) 5 sekä määränpään paikan kentän kartan toisen klikatun pisteen maantieteellisellä sijainnilla (esimerkiksi korkeus/leveys). Monimuotoinen yhdistämiskone 44 hankkii tämän informaation ja yhdistää käyttäjän syöttämän syötetyn informaation useilta käyttäjän agenttiohjelmilta, jotka toimivat eri muodoissa, ja määrittää, että sana ’’täältä” vastaa ensimmäisen klikatun pisteen maantieteellistä paikkaa, ja että sana ’’sinne” vastaa 10 toisen klikatun pisteen maantieteellistä paikkaa (esimerkiksi korkeus/leveys). Tähän tapaan monimuotoisella yhdistämiskoneella 44 on käyttäjän komennon informaation täydellinen joukko. Monimuotoinen yhdistämiskone 44 voi haluta lähettää yhdistetyn informaation 60 takaisin käyttäjän agenttiohjelmille 30 ja 34, jotta niillä olisi täydellinen informaatio liittyen samanaikaiseen monimuotoiseen viestintään. Tässä 15 vaiheessa käyttäjän agenttiohjelma 30 voi jättää tämän informaation sisältöpalvelimelle 18 hankkiakseen toivotun informaation.

Kuten lohkossa 200 esitetään istuntoa varten, menetelmä sisältää muotokohtaisten ohjeiden 68, 70 hankkimisen useille käyttäjän agenttiohjelmille, jotka toimivat eri muodoissa suhteessa toisiinsa, kuten hankkimalla eri tyyppiset merkkikielet, jotka ovat 20 muotokohtaisia kullekin käyttäjän usealle agenttiohjelmalle. Kuten lohkossa 202 esitetään, menetelmä sisältää istunnon aikana lähdön, kuten käyttäjän agenttiohjelmien, synkroinnin perustuen muotokohtaisiin ohjeisiin samanaikaisen monimuotoisen ^ toiminnan mahdollistamiseksi käyttäjälle. Täten merkkikielen lomakkeiden renderöinti δ ^ synkronoidaan siten, että useiden käyttäjän agenttiohjelmien lähtö renderöidään

C\J

V 25 samanaikaisesti eri muodoissa useiden käyttäjän agenttiohjelmien kautta. Kuten lohkossa 203 esitetään, samanaikaisen monimuotoisen synkronoinnin koordinaattori 42

X

£ määrittää, pyytääkö muotokohtaisten ohjeiden 68, 70 joukko eri käyttäjän agenttiohjelmille 30 ja 34 käyttäjän informaation samanaikaista syöttämistä eri ^ muodoissa eri käyttäjän agenttiohjelmien kautta. Jos ei, kuten lohkossa 205 esitetään, o 30 samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 välittää eteenpäin kaiken vastaanotetun syötetyn informaation vain yhdeltä käyttäjän agenttiohjelmalta määränpään palvelimelle tai Web-palvelimelle 18.

13

Kuitenkin, kuten lohkossa 204 esitetään, jos muotokohtaisten ohjeiden 68, 70 joukko eri käyttäjän agenttiohjelmille 30 ja 34 pyytää käyttäjän syötteen syöttämistä samanaikaisesti eri muodoissa, menetelmä sisältää vastaanotetun samanaikaisen monimuotoisen käyttäjän syöttämän syötetyn informaation yhdistämisen, jonka 5 käyttäjän agenttiohjelmat 30 ja 34 lähettävät takaisin eri muodoissa toimien eri käyttäjän agenttiohjelmiin liittyvän yhdistetyn monimuotoisen vasteen 60 tuottamiseksi. Kuten lohkossa 206 esitetään, menetelmä sisältää yhdistetyn monimuotoisen vasteen 60 välittämisen eteenpäin takaisin sillä hetkellä suorittavalle sovellukselle 61 merkkikielen tulkitsijassa 50. Sillä hetkellä suorittava sovellus 61 (katso kuvio 5) on tulkitsijan 50 10 osana suorittavan sovelluksen 54 merkkikieli.

Viitaten kuvioihin 1 ja 3 kuvataan viestintäjärjestelmän 10 yksityiskohtaisempi monimuotoinen toiminta. Kuten lohkossa 300 esitetään, viestintälaite 12 lähettää pyynnön 52 Web-sisällöstä tai muusta informaatiosta käyttäjän agenttiohjelman 30 kautta. Kuten lohkossa 302 esitetään, sisältöpalvelin 18 hankkii monimuotoisen 15 asetusdatan 55 muotoasetustietokannasta 36 identifioidulle käyttäjälle laitteen asetusten ja muodon asetusten hankkimiseksi istunnolle. Kuten lohkossa 304 esitetään, menetelmä sisältää sisältöpalvelimen, joka ilmoittaa monimuotoiselle yhdistämispalvelimelle 14, mitkä käyttäjän agentti sovelluksista toimivat millä laitteilla, ja missä muodossa tietylle samanaikaiselle eri monimuotoiselle viestintäistunnolle.

20 Kuten aiemmin on huomioitu ja esitetty lohkossa 306, samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 asetetaan määrittämään vastaavat välipalvelimet jokaiselle eri muodolle perustuen muodon asetusinformaatioon 55 muotoasetusten δ tietokannasta 36. Kuten lohkossa 308 esitetään, menetelmä sisältää, mikäli niin

CM

cm toivotaan, käyttäjän muodon osoitusten vastaanottamisen jokaiselle käyttäjän i 25 agenttiohjelmalle monimuotoisen istunnon ohjaimen 40 kautta. Käyttäjä voi esimerkiksi x vaihtaa toivotun muodon ja tehdä sen erilaiseksi esiasetetuista muotoasetuksista 55,

cc J

CL

jotka on tallennettu muotoasetusten tietokantaan 36. Tämä voidaan tehdä tavanomaisella m i- istuntoviestinnällä. Jos käyttäjä on vaihtanut toivottuun muotoon tietylle käyttäjän o agenttiohjelmalle, kuten jos käyttäjän agenttiohjelma, joka on toivottu, on eri laitteella, c\] 30 eri muotokohtaisia ohjeita voidaan vaatia, kuten eri merkkikielen lomaketta. Jos käyttäjän muodon osoitus on muuttunut, informaation hakija 46 hakee ja pyytää 14 asiaankuuluvia muotokohtaisia ohjeita perustuen käyttäjän agentti sovellukselle valittuun muotoon.

Kuten lohkossa 310 esitetään, informaation hakija 46 hakee sitten muotokohtaiset ohjeet sisältöpalvelimelta 18, joka esitetään hakupyyntönä 66, jokaiselle käyttäjän 5 agenttiohjelmalle ja täten jokaiselle muodolle. Täten monimuotoinen yhdistämispalvelin 14 hankkii informaation hakijan 46 kautta merkkikielen, joka edustaa eri muotoja, jotta jokainen käyttäjän agenttiohjelma 30 ja 34 voi antaa lähtönä informaation eri muodoissa perustuen merkkikieleen. On kuitenkin ymmärrettävä, että monimuotoinen yhdistämispalvelin 14 voi myös hankkia kaikki sopivat muotokohtaiset ohjeet, eikä 10 pelkästään merkkikielipohjaista informaatiota.

Kun muotokohtaiset ohjeet haetaan sisältöpalvelimelta 18 jokaiselle käyttäjän agenttiohjelmalle ja muotokohtaisiin ohjeisiin 68, 70 ei liity CMMT:ä, vastaanotetut muotokohtaiset ohjeet 69 voidaan lähettää transkooderille 608 (katso kuvio 5).

Transkooderi 608 transkoodaa vastaanotetut muotokohtaiset ohjeet perusmerkkikielen 15 lomakkeeksi, jonka tulkitsija 50 ymmärtää, ja luo perusmerkkikielen lomakkeen datan kanssa, joka identifioi muotokohtaiset ohjeet eri muodolle 610. Täten transkooderi transkoodaa muotokohtaiset ohjeet sisältämään datan, joka identifioi muotokohtaiset ohjeet toiselle käyttäjän agenttiohjelmalle, joka toimii eri muodossa. Esimerkiksi, jos tulkitsija 50 käyttää perusmerkkikieltä, kuten voiceXML:ää, ja jos yksi muotokohtaisten 20 ohjeiden joukko sovellukselta 54 on voiceXML:ää, ja toinen on HTML:ää, transkooderi 606 sulauttaa CMMT:n voiceXML-lomakkeeseen identifioiden URL:n, josta HTML- lomake voidaan hankkia tai itse todellisen HTML-lomakkeen. Tämän lisäksi jos c\j 0 yksikään muotokohtaisista ohjeista ei ole perusmerkkikieltä, muotokohtaisten ohjeiden c\j joukko käännetään perusmerkkikieleksi, ja tämän jälkeen muotokohtaisten ohjeiden i T- 25 toinen joukko referoidaan CMMT:llä.

x 01 Vaihtoehtoisesti monimuotoinen sovellus 54 voi taijota tarpeellisen CMMT- ^ informaation mahdollistaakseen lähdön synkronoinnin useilla käyttäjän ^ agenttiohjelmilla samanaikaisen monimuotoisen istunnon aikana. Yksi esimerkki o muotokohtaisista ohjeista jokaiselle käyttäjän agenttiohjelmalle esitetään alla 30 merkkikielen lomakkeena. Merkkikielen lomake tarjotaan monimuotoisella sovelluksella 54 ja monimuotoinen yhdistämispalvelin 14 käyttää sitä tarjotakseen 15 samanaikaisen monimuotoisen viestintäistunnon. Monimuotoinen voiceXML-tulkitsija 50 olettaa, että monimuotoinen sovellus 54 käyttää voiceXML:ää peruskielenä. Käyttäjän useiden agenttiohjelmien lähdön synkronoinnin mahdollistamiseksi käyttäjälle monimuotoinen sovellus 54 voidaan kirjoittaa sisältämään, tai indeksoimaan, 5 samanaikaisia monimuotoisia lippuja (CMMT), kuten voiceXML-lomakkeen laajennuksen, tai indeksin HTML-lomakkeeseen. CMMT identifioi muodon ja osoittaa tai sisältää informaation, kuten todellisen HTML-lomakkeen, joka tullaan antamaan lähtönä yhdellä käyttäjän agenttiohjelmista identifioidussa muodossa. CMMT toimii myös monimuotoisena synkronoinnin datana siinä mielessä, että sen läsnäolo osoittaa 10 tarpeen synkronoida eri muotokohtaisia ohjeita eri käyttäjän agenttiohjelmilla.

Esimerkiksi, jos voiceXML on monimuotoisen sovelluksen 54 peruskieli, CMMT voi osoittaa tekstimuotoa. Tässä esimerkissä CMMT voi sisältää URL:n, joka sisältää tekstin HTML:ssä annettavaksi käyttäjän agenttiohjelmalta lähtönä, tai se voi sisältää HTML:n osana CMMT:tä. CMMTdlä voi olla merkkikielen attribuuttilaajennuksen 15 ominaisuudet. Monimuotoinen voiceXML-tulkitsija 50 hakee muotokohtaiset ohjeet käyttäen informaation hakijaa 46 ja analysoi (tässä esimerkissä suorittaa) haetut muotokohtaiset ohjeet monimuotoiselta sovellukselta CMMT:n havaitsemiseksi. Havaitsemisen jälkeen monimuotoinen voiceXML-tulkitsija 50 tulkitsee CMMT:n ja hankkii, mikäli tarpeen, kaikki muut muotokohtaiset ohjeet, kuten HTML:n, 20 tekstimuodolle.

CMMT voi osoittaa esimerkiksi, mistä teksti-info tulee hakea graafiselle selaimelle. Alla on annettu taulukko, joka esittää esimerkin muotokohtaisista ohjeista δ samanaikaiselle monimuotoiselle matkareitti-sovellukselle voiceXML-lomakkeen

CM

cm muodossa samanaikaiselle monimuotoiselle sovellukselle, joka vaatii, että ääniselain i t— 25 antaa lähtönä äänen, joka kysyy ’’mistä” ja ’’minne”, kun graafinen selain näyttää i ’’kaupungista” ja ’’kaupunkiin”. Kentät ’’kaupungista” ja ’’kaupunkiin” odottavat

CL

käyttäjän eri selaimien kautta syöttämää vastaanotettua samanaikaista monimuotoista ^ informaatiota.

o o CM 1

Taulukko 1 16 <vxml versio=”2.0”> <lomake> <lohko> <cmmt muoto=”html” src=”./matkareitti.html”/> osoittaa, että ei-ääni -muoto on 5 html (teksti), ja että lähdeinfo sijaitsee urkssa matkareitti.html </lohko> <kentän nimi=”kaupungista”> odotettu - infon tekstipala, yritetään kerätä graafisen selaimen kautta 10 <kieliopin src=”./kaupunki.xml”/> kun äänen tarvitsee luetteloida mahdolliset vastaukset puheentunnistuskoneelle.

Mistä? on kehote, jonka ääni sei ai n puhuu </kenttä> <kentän nimi=”kaupunkiin”> odotettava teksti 15 <kieliopin src=”./kaupunki.xml’7>

Minne? Ääniselaimen puhuma ääni cm ^ </kenttä> i

CM

' </lomake> ir </vxml>

CL

m cm 20 Täten yllä oleva merkkikielen lomake on kirjoitettu perusmerkkikielellä, joka esittää g muotokohtaisia ohjeita ainakin yhdelle käyttäjän agenttiohjelmista, ja CMMT on o 00 laajennus, joka osoittaa muotokohtaisia ohjeita toiselle käyttäjän agenttiohjelmalle, joka toimii eri muodossa.

17

Kuten lohkossa 311 esitetään, jos käyttäjä on muuttanut asetuksia, menetelmä sisältää välipalvelimien asettamisen uudelleen yhtäläisiksi muutoksen kanssa. Kuten lohkossa 312 esitetään, monimuotoinen yhdistämispalvelin 14 määrittää, onko kuunneltua pistettä saavutettu. Jos on, se syöttää seuraavan tilan, kuten lohkossa 314 esitetään. Jos 5 on, niin prosessi on valmis. Jos ei, niin menetelmä sisältää muotokohtaisten ohjeiden synkronoinnin eroaville käyttäjän agenttiohjelmille. Monimuotoinen voiceXML-tulkitsija 50 antaa lähtönä tässä esimerkissä HTML:n käyttäjän agenttiohjelmalle 30 ja voiceXMLm käyttäjän agentille 34 samanaikaisen monimuotoisen synkronoinnin koordinaattorille 42 useiden käyttäjän agenttiohjelmien synkronoiduksi lähdöksi. Tämä 10 voidaan tehdä esimerkiksi perustuen kuuntelupisteiden ilmenemiseen, kuten edellä on huomioitu. Tämä esitetään lohkossa 316.

Kuten lohkossa 318 esitetään, menetelmä sisältää synkronoitujen muotokohtaisten ohjeiden 68 ja 70 lähettämisen vastaaville välipalvelimille 38a ja 38n, esimerkiksi samanaikaisen monimuotoisen synkronoinnin koordinaattorilla 42 käyttäjän syöttämän 15 informaation pyytämiseksi käyttäjän taholta eri muodoissa saman istunnon aikana. Synkronoidut pyynnöt 68 ja 70 lähetetään jokaiselle käyttäjän agenttiohjelmalle 30 ja 34. Esimerkiksi eri käyttäjän agenttiohjelmiin liittyviä useita syötettyjä muotoja vastaavan samanaikaisen eri muodon syötetyn informaation pyynnöt esitetään synkronoituina pyyntöinä, jotka sisältävät muotokohtaiset ohjeet 68 ja 70. Nämä voivat 20 olla esimerkiksi synkronoituja merkkikielten lomakkeita

Kun käyttäjän agenttiohjelmat 30 ja 34 renderöivät muotokohtaiset ohjeet samanaikaisesti, menetelmä sisältää sen määrittämisen, vastaanotettiinko käyttäjän o syöte erääntymisjaksossa, kuten lohkossa 320 esitetään, vai ei, tai tapahtuiko toista cm tapahtumaa. Monimuotoinen yhdistämiskone 44 voi odottaa esimerkiksi ajan jakson i- 25 määrittääkseen, vastaanotettiinko käyttäjän syöttämä monimuotoinen syötetty x informaatio sopivasti useilta käyttäjän agenttiohjelmilta yhdistämistä varten. Tämä odottamisjakso voi olla eri pituinen riippuen muodon asetuksista jokaiselle käyttäjän ^ agenttiohjelmalle. Esimerkiksi, jos käyttäjän odotetaan syöttävän sekä ääni- että teksti- o informaation samanaikaisesti, mutta monimuotoinen yhdistämiskone ei vastaanota

CM

30 informaatiota yhdistämistä varten jakson kuluessa, se olettaa, että virhe on ilmaantunut. Tämän lisäksi monimuotoinen yhdistämiskone 44 voi sallia pidemmän ajan kuluvan 18 ääni-informaation palauttamiseksi, kuin teksti-informaatiolle, koska ääni-informaation käsitteleminen voi kestä kauemmin ääniyhdyskäytävän 16 kautta.

Tässä esimerkissä käyttäjän pyydetään syöttävän tekstiä käyttäjän agenttiohjelman 30 kautta ja puhuvan mikrofoniin tarjotakseen ääni-informaation käyttäjän 5 agenttiohjelmalle 34 samanaikaisesti. Vastaanotettu samanaikainen monimuotoinen syötetty informaatio 72 ja 74, siten, kuin se vastaanotettiin käyttäjän agenttiohjelmilta 30 ja 34, välitetään vastaaville välipalvelimille sopivien viestintälinkkien kautta. On huomioitava, että viestinnät, jotka tapahtuvat käyttäjän agenttiohjelman 34 ja laitteen 12 mikrofonin ja kaiuttimen välillä, viestitään PCM-formaatissa, tai missä tahansa 10 muussa sopivassa formaatissa, ja ne eivät tässä esimerkissä ole muotokohtaisen ohjeen formaatissa, joka voidaan antaa lähtönä käyttäjän agenttiohjelmilla.

Jos käyttäjä syöttää informaatiota samanaikaisesti tekstiselaimen ja ääniselaimen kautta siten, että monimuotoinen yhdistämiskone 44 vastaanottaa useilta käyttäjän agenttiohjelmilta lähetetyn samanaikaisen monimuotoisen syötetyn informaation, 15 monimuotoinen yhdistämiskone 44 yhdistää vastaanotetun syötetyn informaation 72 ja 74 käyttäjältä, kuten lohkossa 322 esitetään.

Kuvio 4 havainnollistaa yhden esimerkin monimuotoisen yhdistämiskoneen 44 toiminnasta. Havainnollistamisen vuoksi tapahtumalle ”ei syötetty” tarkoittaa, että käyttäjä ei syöttänyt mitään tämän muodon kautta. ”Ei täsmäystä” osoittaa, että jotain 20 syötettiin, mutta sillä ei ollut odotettua arvoa. Vastaus on välin (tai kentän) nimen ja vastaavien arvoparien joukko käyttäjän onnistuneelta syötöltä. Onnistunut syöttö voi ™ olla esimerkiksi ’’Kaupunki = Chicago” ja ’’Osavaltio = Illinois” ja ’’Katu” = δ ^ ’’ensimmäinen katu” ja luottamuksen painotuskerroin esimerkiksi 0%:sta 100%:iin.

CVI

V Kuten aiemmin on huomioitu, se, että yhdistääkö monimuotoinen yhdistämiskone 44 1 2 3 4 5 6 informaatiota, voi riippua perustuen ajan määrään välien nimien (esimerkiksi muuttuja) 2

X

3 £ vastaanottamisen tai odotetun vastaanottamisen välillä sekä arvopareista tai perustuen ^ muiden tapahtumien vastaanottamiseen. Menetelmä olettaa, että luottamustasot ^ osoitetaan vastaanotetulle informaatiolle. Esimerkiksi synkronoinnin koordinaattori, 4 o 5 joka painottaa luottamusarvoja perustuen muotoon ja informaation saapumisen aikaan.

6

Esimerkiksi kirjoitetun datan oletetaan olevan tarkempi kuin puhuttu data, mistä on kyse, kun saman välin data voidaan syöttää eri muotojen kautta saman istunnon aikana 19 (esimerkiksi kadun nimen puhuminen ja sen kirjoittaminen). Synkronoinnin koordinaattori yhdistää vastaanotetun monimuotoisen syötetyn informaation, joka lähetetään yhdeltä useista käyttäjän agenttiohjelmista, jotka lähetettiin vasteena samanaikaisen erilaisen monimuotoisen informaation pyyntöön perustuen vastaanoton 5 aikaan ja perustuen yksittäisten vastaanotettuj en tulosten luottamusarvoihin.

Kuten lohkossa 400 esitetään, menetelmä sisältää sen määrittämisen, oliko tapahtumaa tai tulosta ei-äänen muodosta. Jos oli, kuten lohkossa 402 esitetään, menetelmä sisältää sen määrittämisen, oliko yhtään tapahtumaa mistään muodosta, paitsi ”ei syötettä” ja ”ei täsmäystä” tapahtumat. Jos oli, menetelmä sisältää ensimmäisen tällaisen vastaanotetun 10 tapahtuman palauttamisen tulkitsijalle 50, kuten lohkossa 404 esitetään. Kuitenkin, jos käyttäjän agenttiohjelmalta ei ollut tapahtumaa, paitsi ”ei syötettä” ja ”ei täsmäystä”, prosessi sisältää, kuten lohkossa 406 esitetään, mille tahansa muodolle, joka lähetti kaksi tai useampia tuloksia monimuotoiselle yhdistämiskoneelle, menetelmä sisältää muodon tulosten yhdistämisen vastaanottamisen ajan järjestyksessä. Tämä voi olla 15 hyödyllistä, kun käyttäjä syöttää uudelleen syötteen samaan väliin. Tietyn välin nimen myöhemmät arvot ylittävät aiemmat arvot. Monimuotoinen yhdistämiskone sovittaa muodon tulosten luottamuspainon perustuen yksittäisten tulosten luottamuspainoihin, joista se koostuu. Jokaiselle muodolle lopullinen tulos on yksi vastaus jokaiselle välin nimelle. Menetelmä sisältää, kuten lohkossa 408 esitetään, kaikkien tulosten ottamisen 20 lohkosta 406 ja niiden yhdistämisen yhteen yhdistettyyn tulokseen kaikille muodoille.

Menetelmä sisältää aloittamisen pienimmän luottamustuloksen kanssa ja etenemisen luotettavimpaan tulokseen. Jokainen välin nimi yhdistetyssä tuloksessa vastaanottaa £! välin arvon, joka kuuluu luotettavimmalle syötetylle tulokselle, jolla on tämän välin o ^ määritelmä.

CM

i i- 25 Kuten lohkossa 410 esitetään, menetelmä sisältää sen määrittämisen, onko nyt x yhdistettyä tulosta. Toisin sanoen, lähettikö käyttäjän agenttiohjelma tuloksen CL.

monimuotoiselle yhdistämiskoneelle 44. Mikäli näin on, menetelmä sisältää, kuten ^ lohkossa 412 esitetään, yhdistettyjen tulosten palauttamisen sisältöpalvelimelle 18. Jos o ei, kuten lohkossa 414 esitetään, se tarkoittaa sitä, että ”ei syötetty” tai ”ei täsmäystä”

CM

30 tapahtumia on nolla tai enemmän. Menetelmä sisältää sen määrittämisen, onko ”ei täsmäystä” tapahtumia yhtään. Jos on, menetelmä sisältää ei täsmäystä -tapahtuman 20 palauttamisen, kuten lohkossa 416 esitetään. Kuitenkin, jos ”ei täsmäystä” tapahtumia ei ole yhtään, menetelmä sisältää ”ei syötettä” tapahtuman palauttamisen tulkitsijalle 50, kuten lohkossa 418 esitetään.

Palaten lohkoon 400, jos ei ollut tapahtumaa tai tulosta ei-ääni -muodosta, menetelmä 5 sisältää sen määrittämisen, palauttiko äänimuoto tuloksen, nimittäin, muodostiko käyttäjän agenttiohjelma 34 vastaanotetun informaation 74. Tämä esitetään lohkossa 420. Mikäli näin on, kuten lohkossa 422 esitetään, menetelmä sisältää vastaanotetun syötetyn informaation äänivastauksen palauttamisen monimuotoiselle sovellukselle 54. Kuitenkin, jos ääniselain (esimerkiksi käyttäjän agenttiohjelma) ei antanut lähtönä 10 informaatiota, menetelmä sisältää sen määrittämisen, palauttiko äänimuoto tapahtumaa, kuten lohkossa 424 esitetään. Mikäli kyllä, tämä tapahtuma raportoidaan sitten 73 monimuotoiselle sovellukselle 54, kuten esitetään lohkossa 426. Jos yhtään äänimuodon tapahtumaa ei tuotettu, menetelmä sisältää ”ei syötetty” tapahtuman palauttamisen, kuten lohkossa 428 esitetään.

15 Alla oleva taulukko 2 havainnollistaa esimerkin kuvion 4 menetelmästä sovellettuna hypoteettiseen dataan.

Taulukko 2 ÄäniMuotoKerättyData KADUN NIMI=Mi chigan 20 AIKALEIMA=0

CM

LUOTTAMUSTASCK85

CM

Ί MÄÄRÄ=112 jr AIKALEIMA=0

CL

™ LUOTTAMUSTASO.99 o 25

CM

21 T ekstiMuodonKerättyData KADUNNIMI=Mi chigan AIKALEIMA=0 LUOTTAMUSTASO=1.0 5 KADUNNIMI=LaSalle AKALEIMA=1 LUOTTAMUSTASO=1.0

Esimerkiksi lohkossa 400, jos yhtään vastausta ei vastaanotettu ei-äänimuodolta, menetelmä jatkuu lphkoon 402. Lohkossa 402 ei vastaanotettu yhtään tapahtumaa, 10 menetelmä jatkaa lohkoon 406. Lohkossa 406 yhdistämiskone romahduttaa

TekstiMuodonKerättyData:n yhteen vastaukseen väliä kohden. Ääni Muodon KerättyData pysyy koskemattomana.

ÄäniMuotoKerättyData K ADUNNIMI=Mi chigan 15 AIKALEIMA=0 LUOTTAMUSTASO=.85 MÄÄRÄ=112

C\J

° AIKALEIMA=0 i

C\J

Ί LUOTTAMUSTA SO=. 99 Ϊ 20 YLEINENLUOTTAMUS=.85

CL

LO

Ääni Muoto säilyi koskemattomana. Mutta 85:n yleinen luottamusarvo osoitetaan g .85 :ksi on alin luottamus tulosten joukossa.

o C\1 T ekstiMuodonKerättyData 22 KADUNNIMI=Mi chigan AIKALEIMA=0 LUOTTAMUSTASO= 1.0 KADUNNIMI=LaSalle 5 AIK ALEIM A= 1 LUOTTAMUSTASO= 1.0

Tekstimuoto poistaa Michiganin kerätystä datasta, koska tämä väli täytettiin myöhemmässä aikaleimassa LaSalledla. Lopullinen tulos näyttää tältä. Ja 1.0:n yleinen luottamusarvo osoitetaan 1.0:ksi on alin luottamustaso tulosten joukossa.

10 T ekstiMuodonKerättyD ata KADUNNIMI=LaSalle AIKALEIMA=1 LUOTTAMUSTASO=1.0 YLEINENLUOTT AMU S= 1.0 15 Seuraus on data, joka lähetetään lohkoon 408.

ÄäniMuotoKerättyData £ KADUNNIMI=Mi chigan

CM

™ AIKALEIMA=0 i LUOTTAMUSTASO=.85 x

IX

Q.

^ 20 MÄÄRÄ=112

CM

5 AIKALEIMA=0 o o

CM

LUOTTAMUSTASCK99 YLEINENLUOTT AMUS=85 23 T ekstiMuodonKerättyData KADUNNIMI=LaSalle AIK ALEIM A= 1 5 LUOTTAMUSTASO=1.0 YLEINENLUOTT AMUS= 1.0

Lohkossa 408 kaksi muotoa yhdistetään käytännössä yhdeksi palautetuksi tulokseksi.

Ensin koko alimman luottamustason tulos otetaan ja asetetaan Lopullisen tuloksen rakenteeseen.

10 LopullinenTulos KADUNNIMI=Mi chigan LU0TTAMUSTASO.85 MÄÄRÄ=112 LUOTTAMUSTASO=.99 15

Sitten seuraavaksi kaikki alimman tuloksen elementit korvataan lopulliseen tulokseen.

CVJ

° Lopullinen tulos i

C\J

Ί KADUNNIMI=LaSalle g LUOTTAMUSTASO=1.0 O.

S 20 MÄÄRÄ=112 § LUOTTAMUSTASO=.99 c\j Tämä lopullinen tulos on kahden muodon yhdistämisestä, joka lähetetään tulkitsijalle, joka päättää, mitä tehdä seuraavaksi (joko haetaan lisää informaatiota webistä, tai 24 päätetään, että lisää informaatiota tarvitaan käyttäjältä, ja kehotetaan uudelleen niitä perustuen nykyiseen tilaan.)

Kuvio 5 havainnollistaa toisen suoritusmuodon monimuotoisesta yhdistämispalvelimesta 14, joka sisältää samanaikaisen monimuotoisen istunnon 5 ylläpitämisen ohjaimen 600 ja samanaikaisen monimuotoisen istunnon tilan muistin 602 kytkettynä samanaikaiseen monimuotoiseen istunnon ylläpitämisen ohjaimeen 600. Samanaikaisen monimuotoisen muodon istunnon ylläpitämisen ohjain 600 voi olla ohjelmistomoduuli, joka pyörii sopivalla käsittelylaitteella, tai se voi olla mikä tahansa sopiva laitteisto ohjelmisto tai kiinto-ohjelmisto, tai mikä tahansa näiden sopiva 10 yhdistelmä. Samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain 600 ylläpitää, silloin kun istuntoa ei ole käynnissä, sekä käyttäjäkohtaisesti, samanaikaisen monimuotoisen istunnon tilan informaatiota 604 tietokannan tai muun sopivan datarakenteen muodossa. Samanaikaisen monimuotoisen istunnon tilan informaatio 604 on useiden käyttäjän agenttiohjelmien, jotka on konfiguroitu erilaisia samanaikaisen 15 muodon viestintöjä varten istunnon aikana, tilan informaatio. Samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain 600 perustaa uudelleen samanaikaisen monimuotoisen istunnon, joka on päättynyt aiemmin vasteena samanaikaisen monimuotoisen istunnon tilan informaation 604 hakemiseen. Monimuotoisen istunnon ohjain 40 ilmoittaa samanaikaisen monimuotoisen istunnon ylläpitämisen ohjaimelle 20 600, milloin käyttäjä on liittynyt istuntoon. Monimuotoisen istunnon ohjain 40 viestii myös samanaikaisen monimuotoisen synkronoinnin koordinaattorin kanssa tarjotakseen synkronoinnin mille tahansa off-line oleville laitteilla, tai synkronoidakseen minkä ^ tahansa käyttäjän agenttiohjelman kanssa, joka on tarpeen samanaikaisen δ ^ monimuotoisen istunnon perustamiseksi uudelleen.

CVJ

i 25 Samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain 600 tallentaa, esimerkiksi x välipalvelimen ID-datan 906, kuten URL:t, jotka osoittavat välipalvelinta, jota käytettiin CL.

tietylle moodille aiemman samanaikaisen monimuotoisen viestintäistunnon aikana, m t- Mikäli niin toivotaan, samanaikaisen monimuotoisen istunnon tilan muisti 602 voi o sisältää myös informaation, joka osoittaa, mikä kenttä tai väli on täytetty käyttäjän c\] .....

30 syötteellä aiemman samanaikaisen monimuotoisen viestinnän istunnon aikana yhdessä kaikkien tällaisten kenttien tai välien sisällön kanssa. Tämän lisäksi samanaikaisen 25 monimuotoisen istunnon tilan muisti 602 voi sisältää nykyiset dialogitilat 606 nykyiselle monimuotoiselle viestintäistunnolle. Jotkin tilat sisältävät sen, missä tulkitsija 50 on suorittavan sovelluksen suorituksessaan. Informaatio kentästä, jonka käyttäjä on täyttänyt, voi olla yhdistetyn syötetyn informaation 60 muodossa.

5 Kuten on esitetty, Web-palvelin 18 voi tarjota muotokohtaiset ohjeet jokaiselle muodon tyypille. Tässä esimerkissä teksti tarjotaan HTML-lomakkeiden muodossa, ääni tarjotaan voiceXML-lomakkeiden muodossa ja ääni tarjotaan myös WML-lomakkeissa. Samanaikaisen monimuotoisen synkronoinnin koordinaattori 42 antaa lähtönä asiaankuuluvat lomakkeet asiaankuuluvalle välipalvelimelle. Kuten on esitetty, 10 voiceXML-lomakkeet annetaan lähtönä välipalvelimen 38a lautta, joka on osoitettu ääniselaimelle, kun HTML-lomakkeet annetaan lähtönä välipalvelimelle 38n graafista selainta varten.

Istunnon ylläpidon ylläpitäminen on hyödyllistä, jos istunto päättyy epänormaalisti, ja käyttäjä haluaisi palata saman dialogin tilaan myöhemmin. Voi olla myös hyödyllistä, 15 että muodot käyttävät siirtomekanismeja, joilla on erilaiset viiveominaisuudet, jotka aiheuttavat aikaeroa tulon ja lähdön välille eri muodoissa, ja luovat tarpeen tallentaa informaatiota väliaikaisesti aikaviiveen kompensoimiseksi.

Kuten kuvioissa 6-7 esitetään, samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain 600 ylläpitää monimuotoisen istunnon tilan informaatiota useille käyttäjän 20 agenttiohjelmille tietylle käyttäjälle tietylle istunnolle, jossa käyttäjän agenttiohjelma on konfiguroitu eri samanaikaisen muodon viestintää varten istunnon aikana. Tämä esitetään lohkossa 700. Kuten lohkossa 702 esitetään, menetelmä sisältää aiemman δ ^ samanaikaisen monimuotoisen istunnon perustamisen uudelleen vasteena

CVJ

V monimuotoisen istunnon tilan informaation 604 hakemiseen. Kuten lohkossa 704 1 2 3 4 5 6 esitetään yksityiskohtaisemmin, samanaikaisen monimuotoisen istunnon aikana 2

X

3 £ samanaikaisen monimuotoisen istunnon ylläpidon ohjain 600 tallentaa muistiin 602 4 käyttäjäkohtaisen monimuotoisen istunnon tilan informaation 604. Kuten lohkossa 706 ^ esitetään, samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain 600 havaitsee o 5 £3 käyttäjän liittymisen istuntoon istunnon ohjaimelta, ja etsii käyttäjän ID:n muistin 6 määrittääkseen, liittyikö käyttäjä aiempaan samanaikaiseen monimuotoiseen istuntoon. Vastaavasti, kuten lohkossa 708 esitetään, menetelmä sisältää tallennetun 26 monimuotoisen istunnon tilan informaation 604 hakemisen muistista 602 perustuen käyttäjän istuntoon liittymisen havaitsemiseen.

Kuten lohkossa 710 esitetään, menetelmä sisältää sen määrittämisen, onko istuntoa olemassa muistissa 604. Jos ei, istunnolle osoitetaan uusi istunto ja uusi merkintä 5 luodaan vaadittavan datan täyttämiseksi uuden istunnon tallentamiseksi muistiin 602. Tämä esitetään lohkossa 712. Kuten lohkossa 714 esitetään, jos istunto on olemassa, kuten muistissa 602 on läsnä istunto ID, menetelmä voi sisältää muistin 602 kyselemisen, onko käyttäjällä olemassa olevaa sovellusta, joka pyörii, ja mikäli on, haluaisiko käyttäjä perustaa uudelleen viestintää sovelluksen kanssa. Jos käyttäjä haluaa 10 tehdä näin, menetelmä sisältää viimeksi muistista 602 haetun informaation URL:n hakemisen. Tämä esitetään lohkossa 716 (kuvio 7). Kuten lohkossa 718 esitetään, asiaankuuluvalle välipalvelimelle 38a - 38n annetaan asiaankuuluva URL siten, kun on haettu lohkossa 716. Kuten lohkossa 720 esitetään, menetelmä sisältää pyynnön lähettämisen asiaankuuluvalle käyttäjän agenttiohjelmalle välipalvelimen kautta 15 perustuen muistiin 602 tallennettuun tallennettuun käyttäjän agentin tilan informaatioon 606.

Kuvio 8 on kaavio havainnollistaen yhden esimerkin samanaikaisen monimuotoisen istunnon tilan muistin 602 sisällöstä. Kuten on esitetty, käyttäjän ID 900 voi osoittaa tiettyä käyttäjää, ja istunnon ID 902 voi liittyä käyttäjän ID:hen siinä tapauksessa, että 20 käyttäjällä on useita istuntoja tallennettuna muistiin 602. Tämän lisäksi käyttäjän agenttiohjelman ID 904 osoittaa esimerkiksi laitteen ID:n, laitteen, joka pyörittää tiettyä käyttäjän agenttiohjelmaa. Ohjelman ID voi olla myös käyttäjän ohjelman

CVJ

o tunnistin, URL tai muu osoite. Välipalvelimen ID:n data 906 osoittaa monimuotoisen c\j välipalvelimen, jota käytettiin aiemman samanaikaisen monimuotoisen viestinnän i 25 aikana. Täten käyttäjä voi päättää istunnon ja jatkaa myöhemmin siitä, mihin käyttäjä x lopetti.

CL

Laitteen ID:n 904 ylläpitäminen sallii, muun muassa, järjestelmän ylläpitää tunnistusta ^ siitä, mitä laitteita käytetään samanaikaisen monimuotoisen istunnon aikana o ° mahdollistaakseen käyttäjän laitteiden vaihtamisen samanaikaisen monimuotoisen 1 viestinnän aikana.

27

Vastaavasti eri muotojen kautta erillisten käyttäjän agenttiohjelmien, jotka on hajautettu yhteen tai useampaan laitteeseen (tai jos ne sisältyvät samaan laitteeseen), kautta syötetyt useat syötteet yhdistetään yhdistettyyn ja yhtenäiseen tapaan. Tarjotaan myös mekanismi sekä käyttäjän agenttiohjelmien renderöimisen että käyttäjän näiden 5 käyttäjän agenttiohjelmien kautta syöttämän informaation synkronoimiseksi. Tämän lisäksi kuvattu monimuotoinen yhdistämispalvelin voidaan kytkeä olemassa oleviin laitteisiin ja yhdyskäytäviin samanaikaisten monimuotoisten viestintäistuntojen tarjoamiseksi.

On ymmärrettävä, että keksinnön muiden muunnelmien ja muokkausten toteuttaminen 10 on selvää tavallisille asiantuntijoille sen erilaisissa näkökohdissaan, ja että keksintö ei rajoitu tässä kuvattuihin tiettyihin suoritusmuotoihin. On esimerkiksi ymmärrettävä, että vaikka menetelmät on kuvattu tietyin vaihein, vaiheet voidaan suorittaa missä tahansa sopivassa järjestyksessä, kuten halutaan. Täten on tarkasteltu sitä, että nyt esillä oleva keksintö kattaa karkki mahdolliset muokkaukset, muunnelmat tai vastaavuudet, jotka 15 käyvät tässä kuvattujen ja patenttivaatimusten mukaisten periaatteellisten periaatteiden piiriin ja laajuuteen.

20

CM

δ

CM

CM

X

cc Q-

Ln

CM

i 25 o

CM

Claims (9)

28

1. Menetelmä monimuotoiseen viestintään Joka käsittää: silloin kun istuntoa ei ole käynnissä (700), käyttäjäkohtaisesti samanaikaisen 5 monimuotoisen istunnon tilainformaation ylläpitämisen käyttäjän agenttiohjelmista, jotka on konfiguroitu istunnon aikaista samanaikaista erimuotoista viestintää varten; ja samanaikaisen monimuotoisen istunnon uudelleen perustamisen (702) vasteena samanaikaisen monimuotoisen istunnon tilainformaation hakemiselle.

2. Patenttivaatimuksen 1 mukainen menetelmä, jossa silloin kun istunto ei ole käynnissä 10 (700), ylläpidetään käyttäjäkohtaisesti samanaikaisen monimuotoisen istunnon tilainformaatiota käyttäjän agenttiohjelmista, jotka on konfiguroitu samanaikaista erimuotoista viestintää varten istunnon aikana, sisältäen sen, että tallennetaan, istunnon aikana, ainakin yksi seuraavista: sijaintidata, joka osoittaa missä viimeinen haettu informaatio hankittiin 15 jokaiselle useista käyttäjän agenttiohjelmista, joita käytetään samanaikaisen monimuotoisen viestintäistunnon aikana; informaatio kentästä, joka on täytetty käyttäjän syötteellä samanaikaisen monimuotoisen viestintäistunnon aikana ja kentän sisällöstä; ja nykyisen dialogin tilat samanaikaiselle monimuotoiselle viestintäistunnolle. CM cij 20

3. Patenttivaatimuksen 1 mukainen menetelmä sisältäen seuraavat vaiheet: i CM J havaitaan käyttäjän liittyminen istuntoon; ir haetaan samanaikaisen monimuotoisen istunnon tilainformaatiota; m ^ jos haettu samanaikaisen monimuotoisen istunnon tilainformaatio osoittaa § aiempaa samanaikaista monimuotoista istuntoa käyttäjälle, niin perustetaan uudelleen o 00 25 samanaikainen monimuotoinen istunto, jonka samanaikaisen monimuotoisen istunnon tilainformaatio identifioi. 29

4. Patenttivaatimuksen 1 mukainen menetelmä sisältäen vaiheen, jossa ylläpidetään, mitä laitteita käytetään samanaikaisen monimuotoisen istunnon aikana laitteiden vaihtamisen mahdollistamiseksi samanaikaisen monimuotoisen viestinnän aikana.

5. Patenttivaatimuksen 1 mukainen menetelmä sisältäen sen, että tallennetaan 5 väliaikaisesti, istunnon aikana, muotokohtaiset ohjeet ainakin yhdelle useista käyttäjän agenttiohjelmista, jotka toimivat eri muodoissa suhteessa toisiinsa kompensoidakseen toisten useiden käyttäjän agenttiohjelmien muotokohtaisiin ohjeisiin liittyvät viestintäviiveet.

6. Patenttivaatimuksen 1 mukainen menetelmä sisältäen vaiheen, jossa vastaanotetaan 10 monimuotoinen vaimennettu data ja tallennetaan tallenne koskien sitä, mitä muotoja tulee vaimentaa monimuotoiselle viestinnälle tietyssä istunnossa.

7. Monimuotoinen laitteisto, joka käsittää: samanaikaisen monimuotoisen istunnon ylläpitämisen ohjaimen, joka on sovitettu ylläpitämään silloin kun istuntoa ei ole käynnissä (700) käyttäjäkohtaisesti 15 samanaikaisen monimuotoisen istunnon tilainformaatio käyttäjän agenttiohjelmista, jotka on konfiguroitu samanaikaiselle erimuotoiselle viestinnälle istunnon aikana, ja perustamaan uudelleen (702) samanaikainen monimuotoinen istunto vasteena samanaikaisen monimuotoisen istunnon tilainformaation hakemiselle; ja muistin, joka on kytketty toiminnallisesti samanaikaisen monimuotoisen 20 istunnon ylläpitämisen ohjaimeen, ja joka sisältää samanaikaisen monimuotoisen cvj istunnon tilainformaation. δ CNJ c\j

8. Patenttivaatimuksen 7 mukainen monimuotoinen laitteisto, jossa muisti sisältää ainakin yhden seuraavista: £ välipalvelimen identifiointidata, joka osoittaa aiemman välipalvelimen, jota LO 25 käytettiin aiemmassa samanaikaisessa monimuotoisessa viestintäistunnossa; o informaatio kentästä, joka on täytetty käyttäjän syötteellä samanaikaisen o 00 monimuotoisen viestintäistunnon aikana, ja kentän sisältö; ja nykyisen dialogin tilat samanaikaiselle monimuotoiselle viestintäistunnolle. 30

9. Patenttivaatimuksen 7 mukainen monimuotoinen laitteisto, jossa samanaikaisen monimuotoisen istunnon ylläpitämisen ohjain on sovitettu hakemaan muistiin sisältyvä samanaikaisen monimuotoisen istunnon tilainformaatio, ja mahdollistamaan samanaikaisen monimuotoisen istunnon tilainformaatiolla identifioidun samanaikaisen 5 monimuotoisen istunnon uudelleenperustaminen, jos haetun samanaikaisen monimuotoisen istunnon tilainformaatio osoittaa käyttäjälle aiemman samanaikaisen monimuotoisen istunnon. C\l δ CM CM X CC CL m CM o o CM 31