EP1543413A1 - Procede permettant de rendre l'interaction utilisateur systeme independante de l'application et des medias d'interaction - Google Patents

Procede permettant de rendre l'interaction utilisateur systeme independante de l'application et des medias d'interaction

Info

Publication number
EP1543413A1
EP1543413A1 EP03775451A EP03775451A EP1543413A1 EP 1543413 A1 EP1543413 A1 EP 1543413A1 EP 03775451 A EP03775451 A EP 03775451A EP 03775451 A EP03775451 A EP 03775451A EP 1543413 A1 EP1543413 A1 EP 1543413A1
Authority
EP
European Patent Office
Prior art keywords
interaction
application
user
users
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03775451A
Other languages
German (de)
English (en)
Inventor
Célestin Thales Intellectual Property SEDOGBO
Pascal Thales Intellectual Property BISSON
Olivier Thales Intellectual Property GRISVARD
Jean Thales Intellectual Property JOURDAN
Thierry Thales Intellectual Property POIBEAU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP1543413A1 publication Critical patent/EP1543413A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces

Definitions

  • the present invention relates to a method for making user-system interaction independent of the application and the interaction media.
  • the processes for managing the interaction between users and the system are currently distributed between the application itself, namely the component responsible for rendering the services for which the system has designed, and the media for interaction with the system, that is to say the component or components responsible for creating the interface that allows users to access these services.
  • the interaction processes are frequently deeply buried in one or the other of these components and nested with the processes of the application or interfaces, which makes it difficult to identify them as an interaction process. full-fledged. This dissemination of interaction processes is due to the absence of a clear separation between applications and their interfaces in traditional systems.
  • the subject of the present invention is a method which makes it possible, within the framework of the interaction between an application and interaction media, to easily adapt the system for implementing the interaction to the application and to the media. interaction, as well as any change in the context of the interaction, in particular during a physical or logical change of use, taking into account new users, new terminals and when adding or adding modification of application services.
  • the method of the invention making the interaction independent of the application and the interaction media, is characterized in that a container is created in which at least one of the following representations of the context is stored.
  • interaction representation of terminals that can be used by users, representation of action methods, representation of methods of perception of information exchanges by users; representation of user activity, representation of context, representation of expected services, and it is characterized by the fact that the CIPS ensures interaction using representations to build, adapt and manipulate knowledge bases constituting a structured representation of the context of use of the system, and that it establishes, using this structured representation, the dialogue between the users and the services of the application.
  • the device for implementing the method of the invention applied to a system of the type comprising at least one man-machine interface, at least one application server and a database is characterized in that there is interposed between the interface and the scent of applications a device in which are included intelligent calculation systems establishing the two-way interaction between the user (or users) and the system.
  • FIG. 1 is a simplified block diagram showing, on the one hand, a conventional "three-thirds" architecture, and on the other side an architecture according to the invention
  • FIG. 2 is a detailed block diagram of a system according to the invention and explaining the flow of information from the user to the servers;
  • FIG. 3 is a detailed block diagram of a system according to the invention and explaining the flow of information from the servers to the user.
  • various household devices such as television set, video recorder, satellite receiver, personal computer, personal assistant ("PDA"), etc ...
  • PDA personal assistant
  • This user must, when ordering from one of these devices to that of another device, make an effort to adapt to each of the various control interfaces of these devices, which are generally very diverse (remote control boxes, keyboard, buttons, ). It would therefore be desirable for this user to only have to memorize and get used to the command of a single interface, for example a PDA.
  • PDA personal assistant
  • the invention first consists in relieving the designers and developers of applications of the question of the use of these applications in each particular context, thus enabling them to offer generic application services, easy to maintain, extend and reuse.
  • the invention consists in relieving interface designers and developers of the problem of the interaction between interfaces and applications, and thus enables them to propose extensible and reusable interfaces.
  • apparatus or equipment comprising at least one computer layer supporting at least one model representation of a terminal, at least one application representation, even in a rudimentary form and at least one computer user interface itself supporting software.
  • the process of interaction between users and systems is based on the following fundamental characteristic, which consists in making the interaction universal by separating it from the application proper on the one hand and from the interaction media with the application on the other go. More specifically, it involves “encapsulating” the human and the context of use of the system in a new component responsible for managing human-system interaction. This component is by definition independent of the services offered by the application while allowing access to these services regardless of the interaction medium and whatever the physical context in which this medium is used.
  • the method of the invention results in the construction of a container of interaction objects, called human-system interaction container for short "Cl PS".
  • human-system interaction container for short "Cl PS”.
  • this container consists of an intermediate interaction middleware component which implements the management of user-system interaction in the form of interaction services. generic enough to allow dialogue between application services and interface services regardless of these services.
  • the CIPS separates the application from the client station. This separation implies the reduction of the application to a set of services, which can thus be considered as application services.
  • the interface (HMI" or Human-Machine Interface) no longer directly calls the functions of the application, but goes through the CIPS, which interprets any action of the interface and generates its own calls to the relevant application services.
  • the operation of the interaction container is based on descriptions, in the form of knowledge bases, of the human (“Who is he?”), Of his activity (“What does he do?”), Of the context in which this activity takes place (“Where is it?”) and services rendered by the other components of the system (“How does it do it?”), as well as on a history of the user-system dialogue which describes the past interaction between the user and the system and its evolution over time.
  • the container offers a set of intelligent treatments which implement user-system interaction via the various interaction media.
  • a major characteristic of the present invention lies in the identification of a user-system interaction component. independent of the application services on the one hand and of the interaction media on the other hand, this component being until today distributed between the application and the interfaces and buried in the services offered by each of these components , while it is integrated into the CIPS of the invention.
  • the method of the invention makes the interaction layer independent and has the immediate advantage of " allowing designers and developers of applications and interfaces to focus on their primary task, which is to provide their respective services without worrying Besides the introduction into systems of a clearly identified and localized interaction component, another important characteristic of the invention described here resides in the possibilities offered by this interaction component, in particular the use of mechanisms. user-system dialogs which take full account of the operational context of the system and the user.
  • CIPS and called business interaction tier business interaction tier in English because it is responsible for managing user-system interaction for a particular class of users, that is to say a particular profession.
  • the application services implement the functionalities which are strictly the responsibility of the application, that is to say all the processes specific to the application domain: algorithms, calculations, data management, etc. From the point of view of the present invention, they must be completely independent of any particular context of use,
  • Interface services implement the perception and action functionalities for a particular class of terminals or even a particular terminal, that is to say all the peripheral management processes: graphic display, sound reproduction, keyboard, mouse, microphone, touch screen, etc. From the point of view of the invention described here, they must be independent of the users and, as far as possible, of the underlying application. It turns out that this last point is not always verifiable in existing equipment, in particular with regard to the presentation of application data which is strongly constrained by the format of this data, and that customers do not wish to modify .
  • Interaction services are all services that will allow users to access application services via a given terminal - a set of interface services.
  • the CIPS has means of representing the context of interaction between the user and the system. These representation means allow him to build and manipulate a set of knowledge bases (on the user, the domain, the task, etc.) in order to provide the means of interaction with the data on the context necessary for their operation.
  • the interaction means allow the CIPS to render the interaction services defined above and are based for this on internal communication means, specific to the CIPS, and external, which ensure communication with the other layers (server of the 'application and clients) of the four-tier architecture. These internal and external means of communication create the infrastructure necessary for the functioning of the CIPS. The different means identified here are described more precisely below.
  • the function of representation is to build, adapt and manipulate the knowledge bases necessary for the implementation of interaction services. These constitute a structured representation of the context of use of the system.
  • the different knowledge bases identified by the present invention relate to the following knowledge (see FIGS. 2 and 3):
  • Domain 5 this is a conceptual representation of the field of application of the system, for example in the form of an entity-relationship diagram. It allows the CIPS to manage the interaction services according to the organizational context of the system;
  • Application 6 (included in services 16.1 to 16.N described below): this involves representing all the services of the application offered by the server layer of the application. This allows the CIPS to select the interaction services adapted to the functional context of the system;
  • User (s) 7 this is information on the different classes of users of the system and on the different users within these classes, such as the profiles or preferences of these users. . They allow the CIPS to configure the interaction services according to the operational context from the operators' point of view;
  • Task 8 this involves formalizing the task that the system user must perform, including performance and security constraints, or the collaborative task that users must perform in the case of teamwork. This allows the CIPS to offer the appropriate interaction services according to the operational context from an operations point of view;
  • Modalities 9 this involves describing the different modes of perception and action offered by the terminals connected to the system, such as two or three-dimensional displays, voice, gesture, etc. This allows the CIPS to implement the interaction services according to the logical context of use;
  • Terminals 10 this involves modeling the different classes of terminals, and the different terminals within these classes, which users have to interact with the system, in particular in terms of input / output devices or possibilities of expression. This allows the CIPS to adapt the interaction services to the physical context of use.
  • the means of representation, used during the creation and updating of the CIPS, for the management of these different knowledge bases are divided into four categories, which are: 1. Acquisition means: they allow experts - specialists, designers or developers - in the field, application, terminals, etc. to specify all or part of the corresponding knowledge bases, possibly in the form of business rules;
  • Means of derivation they allow the CIPS to produce particular representations from generic knowledge bases and contextual information obtained by means of acquisition, or to produce generic knowledge bases based on particular representations ;
  • Automatic revision means they allow the CIPS to review knowledge bases automatically by examining real situations and interaction sessions; 5. Means of use: they allow the CIPS to use knowledge bases for the implementation of interaction means.
  • a subset 18 for analyzing the events represented by the actions of users on the interfaces 11 to 13
  • a subset 19 for taking into account the actions of the users (as transmitted by the subset 18) and for interaction management
  • a subset 20 for communication with the services 16.1 to 16.N.
  • the sub-assembly 18 comprises the following functions: an analyzer 21 of the information supplied by the PC browser and an analyzer 22 of the information transmitted by the other interfaces of the PC, an analyzer 23 of the information transmitted by the interface 12 of the PDA and a analyzer 24 of the information transmitted by the speech recognition device 13.
  • the analyzer 24 is associated, in a conventional manner, with a grammar 25 and a lexicon 26.
  • the subset 18 would include the corresponding analyzers.
  • a given system can be associated with a different number of HMI interfaces, or with a single type of HMI.
  • the analyzers of the subset 18 produce, from the events created by the different interfaces 11 to 13, event logic information managed by the subset 19.
  • a multimodal manager 27, cooperating with the database modalities 9, converts the event logic information into logic signals which it transmits to a reference resolver 28 of multimodal type (direct designation, linguistic, gestural, etc.).
  • This resolver 28 calls on the domain database 5 and on the history 29 of past actions, and it sends information to a function interpreter 30 in propositional form.
  • the interpreter 30, with reference to the domain database 5, makes corresponding proposals in functional form to an interaction manager 31 which, by referring to the databases 7, 8 and 29, prepares calls for functions or services of the application which it sends to the various communication devices 20.
  • This information passes through the same communication devices 20 and the corresponding data is sent to the manager 31.
  • the latter cooperates with a service planner 32, with the databases 5, 7, 8 and with filters 33.
  • These filters 33 include task filters 34 (for example SQL) and filters 35 relating to the user (text filters, audio filters, etc.).
  • the manager 31 communicates information in logical form to a mode selector 36, responsible for putting in appropriate form (text, sounds, images) the information to be presented to the users.
  • the selector 36 cooperates with the databases 9 and 10 and adapters 37 for conversion, selection, formatting, in order to provide this information in adequate propositional form to the interfaces of the users.
  • This selector 36 routes the information to the various corresponding converters of a set 38 of converters.
  • This set 38 includes: a converter 39 for the PC browser, a converter 40 for the visual interfaces 11 of the PC (screens), a converter 41 for the screen of the interface 12 of the PDA and a voice converter 42 (generator of natural language).
  • the converter 42 cooperates, like the analyzer 24, with the grammar 25 and the lexicon 26, and supplies a text in natural language to a specialized device 43 for speech synthesis and / or to the interface 11 of the PC.
  • the device 43 cooperates with an acoustic model 44.
  • the interaction means have for function the effective realization of the CIPS interaction services.
  • These interaction services implement a set of intelligent treatments which fall into four main classes, namely:
  • Interface adaptation services are all the processes that will allow the use of different terminals and modalities for interaction with the system. They include: • Reducing the flow of information to adapt information to the possibilities of expression of the terminals according to the descriptions of these terminals; • Dissemination of information to transmit information to different terminals, possibly wireless and or mobile;
  • the means of communication have the function of providing the infrastructure necessary for the implementation of the means of representation and interaction. They allow the CIPS to offer the same interaction services regardless of the applications and contexts of use.
  • the means of communication are responsible for managing the following problems:
  • Adaptation to wired or wireless networks Adaptation to different operating systems; The implementation of communication protocols with the application server on the one hand and client interfaces on the other (terminals, peripherals, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)

Abstract

Le procédé de l'invention consiste, dans un système du type à trois <<TIERS >> (client 3, serveur d'application 2 et base de données 1), à insérer un quatrième <<TIER >> qui est l'interaction métier (4) et qui permet d'obtenir une composante interaction utilisateur-système indépendante des services de l'application et des médias.

Description

PROCEDE PERMETTANT DE RENDRE L'INTERACTION UTILISATEUR- SYSTEME INDEPENDANTE DE L'APPLICATION ET DES MEDIAS
D'INTERACTION
La présente invention se rapporte à un procédé permettant de rendre l'interaction utilisateur-système indépendante de l'application et des médias d'interaction.
Dans les systèmes destinés à être utilisés par l'humain, les processus de gestion de l'interaction entre les utilisateurs et le système sont actuellement répartis entre l'application proprement dite, à savoir la composante chargée de rendre les services pour lesquels le système a été conçu, et les médias d'interaction avec le système, c'est-à-dire la ou les composantes chargées de réaliser l'interface qui permet aux utilisateurs d'accéder à ces services. De plus, les processus d'interaction sont fréquemment profondément enfouis dans l'une ou l'autre de ces composantes et imbriqués avec les processus de l'application ou des interfaces, ce qui rend difficile leur identification en tant que processus d'interaction à part entière. Cette dissémination des processus d'interaction a pour origine l'absence de séparation claire entre les applications et leurs interfaces dans les systèmes traditionnels. Même si cette séparation est sérieusement envisagée comme une solution au problème de la gestion de l'interaction utilisateur-système, notamment dans les architectures multi-if/ers (de l'anglais « tier » : étage, gradin, ...), sa mise en oeuvre se trouve confrontée à un certain nombre de difficultés. D'une part, un même service de l'application peut être utilisé via plusieurs médias d'interaction différents dans des contextes d'utilisation potentiellement très dissemblables, auquel cas la gestion de l'interaction utilisateur-système est du ressort des interfaces. D'autre part, un même schéma d'interaction peut s'appliquer à plusieurs services de l'application distincts, auquel cas il arrive fréquemment que les services d'interaction soient en quelque sorte factorisés dans l'application.
On connaît d'après les documents US 5 960 200 et WO 02 03648 des systèmes à architecture « multi-tiers », mais il n'y est pas prévu de séparation nette entre les couches « présentation », « interaction avec l'utilisateur » et « application » et/ou de rendre la couche « interaction » spécifique à chaque utilisateur. La conséquence de cet état de fait est que toute évolution des besoins des utilisateurs en termes d'interaction avec le système, par exemple en cas de changement du contexte physique ou logique d'utilisation, impacte aussi bien l'application que les interfaces. Ceci implique des coûts non négligeables en termes de déploiement, d'évolution et de maintenance des systèmes. En effet, l'adaptation d'un système à de nouveaux utilisateurs ou de nouveaux médias d'interaction va nécessiter la conception et le développement de nouvelles interfaces, ce qui peut paraître normal étant donnée l'hétérogénéité des contextes d'utilisation, mais aussi la révision d'une bonne partie de l'application, ce qui l'est déjà moins, notamment si l'on se réfère aux principes de la méthodologie de conception par objets. Réciproquement, l'extension des fonctionnalités du système par l'ajout ou la modification de services de l'application va nécessiter la révision de l'ensemble des interfaces, ce qui peut également s'avérer très coûteux. La présente invention a pour objet un procédé permettant, dans le cadre de l'interaction entre une application et des médias d'interaction, d'adapter facilement le système de mise en oeuvre de l'interaction à l'application et aux médias d'interaction, ainsi qu'à toute évolution du contexte de l'interaction, en particulier lors d'un changement physique ou logique d'utilisation, de la prise en compte de nouveaux utilisateurs, de nouveaux terminaux et lors de l'ajout ou de la modification de services de l'application.
Le procédé de l'invention, permettant de rendre l'interaction indépendante de l'application et des médias d'interaction est caractérisé par le fait que l'on crée un conteneur dans lequel on mémorise au moins l'une des représentations suivantes du contexte d'interaction : représentation des terminaux pouvant être utilisés par les usagers, représentation des modalités d'action, représentation des modalités de perception des échanges d'informations par les usagers; représentation d'activité des usagers, représentation de contexte, représentation des services attendus, et il est caractérisé par le fait que le CIPS assure l'interaction en utilisant les représentations pour construire, adapter et manipuler des bases de connaissances constituant une représentation structurée du contexte d'utilisation du système, et qu'il établit à l'aide de cette représentation structurée le dialogue entre les usagers et les services de l'application. Le dispositif de mise en oeuvre du procédé de l'invention, appliqué à un système du type comportant au moins une interface homme-machine, au moins un serveur d'applications et une base de données est caractérisé en ce que l'on intercale entre l'interface et le senteur d'applications un dispositif dans lequel sont inclus des systèmes de calcul intelligents établissant l'interaction bidirectionnelle entre l'utilisateur (ou les utilisateurs) et le système.
La présente invention sera mieux comprise à la lecture de la description détaillée d'un mode de réalisation, pris à titre d'exemple non limitatif et illustré par le dessin annexé, sur lequel :
- la figure 1 est un bloc-diagramme simplifié montrant, d'un côté, une architecture classique « trois tiers », et de l'autre côté une architecture conforme à l'invention ;
- la figure 2 est un bloc-diagramme détaillé d'un système conforme à l'invention et explicitant le cheminement des informations de l'usager vers les serveurs ; et
- la figure 3 est un bloc-diagramme détaillé d'un système conforme à l'invention et explicitant le cheminement des informations des serveurs vers l'usager. Pour illustrer de façon simplifiée les notions d'interaction auxquelles se réfère l'invention, considérons le cas de la commande par un utilisateur de divers appareils domestiques tels que téléviseur, magnétoscope, récepteur satellite, ordinateur personnel, assistant personnel (« P.D.A »), etc ... Cet utilisateur doit, en passant de la commande de l'un de ces appareils à celle d'un autre appareil, faire un effort d'adaptation à chacune des diverses interfaces de commande de ces appareils, qui sont généralement très diverses (boîtiers de télécommande, clavier, boutons, ...). Il serait donc souhaitable que cet utilisateur n'ait à mémoriser et à s'habituer qu'à la commande d'une interface unique, par exemple un PDA. Bien entendu, lorsqu'il s'agit d'appareils plus complexes que les appareils domestiques, ce besoin de simplifier et de standardiser leur commande est encore plus nécessaire.
A titre d'exemple, on peut citer quelques-uns des nombreux nombreux domaines d'application dans lesquels l'invention peut être mise en oeuvre, et dans lesquels l'humain tient une place prépondérante, du fait que ces domaines impliquent une interaction entre les utilisateurs et les systèmes utilisés :
• La défense : systèmes d'armes, de commandement, de simulation et d'entraînement ; • Les transports : systèmes de pilotage, de supervision, de réservation ;
• Les communications : téléphonie, radio, télévision, internet ;
• La vie quotidienne : systèmes électroménagers, véhicules individuels, informatique domestique omniprésente et diffuse (« ubiquitous Computing » en anglais) ;
• Les services : systèmes bancaires, commerce électronique, assistance technique ;
• La santé : systèmes hospitaliers, secours opérationnel ;
• Etc. Pour résoudre ces problèmes, l'invention consiste d'abord à décharger les concepteurs et développeurs d'applications de la question de l'utilisation de ces applications dans chaque contexte particulier, leur permettant ainsi de proposer des services d'application génériques, faciles à maintenir, à étendre et à réutiliser. Ensuite, l'invention consiste à décharger les concepteurs et développeurs d'interfaces du problème de l'interaction entre les interfaces et les applications, et ainsi leur permet-elle de proposer des interfaces extensibles et réutilisables.
La présente invention est décrite ci-dessous en référence à un système informatique complexe comportant de nombreuses fonctions, mais il est bien entendu qu'elle n'est pas limitée à de tels systèmes, et qu'elle peut être mise en oeuvre dans tout dispositif, appareil ou équipement comportant au moins une couche informatique supportant au moins une représentation modèle de terminal, au moins une représentation d'application, même sous une forme rudimentaire et au moins une interface utilisateur informatique supportant elle-même un logiciel.
Le procédé d'interaction entre utilisateurs et systèmes repose sur la caractéristique fondamentale suivante, qui consiste à rendre l'interaction universelle en la séparant de l'application proprement dite d'une part et des médias d'interaction avec l'application d'autre part. Plus précisément, il s'agit « d'encapsuler » l'humain et le contexte d'utilisation du système dans une nouvelle composante chargée de la gestion de l'interaction personne- système. Cette composante est par définition indépendante des services proposés par l'application tout en permettant l'accès à ces services quel que soit le média d'interaction et quel que soit le contexte physique dans lequel ce média est utilisé.
Par analogie avec lès conteneurs d'objets métiers - c'est-à-dire propres à un domaine d'application - développés dans le cadre des architectures à base de composants, le procédé de l'invention a pour résultat la construction d'un conteneur d'objets d'interaction, appelé conteneur d'interaction personne-système en abrégé « Cl PS ». Du point de vue de l'architecture des systèmes informatiques, ce conteneur consiste en un composant intermédiaire - « middleware » en anglais - d'interaction qui met en œuvre la gestion de l'interaction utilisateur-système sous la forme de services d'interaction suffisamment génériques pour permettre le dialogue entre les services de l'application et les services d'interface quels que soient ces services.
Ainsi, le CIPS sépare l'application du poste client. Cette séparation implique la réduction de l'application à un ensemble de services, que l'on peut ainsi considérer comme des services applicatifs. Du côté de l'utilisateur, l'interface (« IHM » ou Interface homme-machine) n'appelle plus directement les fonctions de l'application, mais passe par le CIPS, qui interprète toute action de l'interface et génère ses propres appels aux services applicatifs concernés.
Le fonctionnement du conteneur d'interaction est fondé sur des descriptions, sous la forme de bases de connaissances, de l'humain (« Qui est-il ? »), de son activité (« Que fait-il ? »), du contexte dans lequel cette activité a lieu (« Où est-il ? ») et des services rendus par les autres composantes du système (« Comment le fait-il ? »), ainsi que sur un historique du dialogue utilisateur-système qui décrit l'interaction passée entre l'utilisateur et le système et son évolution au cours du temps. Sur la base de ces connaissances, le conteneur propose un ensemble de traitements intelligents qui mettent en œuvre l'interaction utilisateur-système via les différents médias d'interaction.
Une caractéristique majeure de la présente invention réside dans l'identification d'une composante interaction utilisateur-système indépendante des services de l'application d'une part et des médias d'interaction d'autre part, cette composante étant jusqu'à aujourd'hui répartie entre l'application et les interfaces et enfouie dans les services proposés par chacune de ces composantes, alors qu'elle est intégrée au CIPS de l'invention. Le procédé de l'invention permet de rendre indépendante la couche interaction et a pour avantage immédiat de "permettre aux concepteurs et développeurs d'applications et d'interfaces de se concentrer sur leur tâche première, qui est de fournir leurs services respectifs sans se préoccuper de leur utilisation. Outre l'introduction dans les systèmes d'une composante d'interaction clairement identifiée et localisée, une autre caractéristique importante de l'invention décrite ici réside dans les possibilités offertes par cette composante interaction, en particulier l'utilisation de mécanismes de dialogue utilisateur-système qui prennent pleinement en compte le contexte opérationnel du système et de l'utilisateur. L'analyse, l'interprétation et la compréhension de ce contexte donnent une puissance incomparable à l'interaction et ouvrent de nouvelles possibilités aux interfaces homme- machine traditionnelles. En effet, alors que les interfaces existantes proposent une interaction statique et figée n'évoluant pas selon les changements du contexte d'utilisation, la présente invention permet la mise en place de mécanismes d'interaction dynamiques, s'adaptant automatiquement au contexte et fortement centrés sur les utilisateurs.
On va décrire maintenant en référence à la figure 1 , un mode de réalisation de l'invention relatif à un système organisé en couches ou « tiers ».
Les applications dites trois « tiers » tendent à devenir un standard en matière d'architecture des systèmes. Le schéma de conception et de développement trois « tiers » repose comme illustré sur la figure 1 , à gauche, sur une séparation bien identifiée entre la couche de données (« tier» 1 base de données), la couche application (« tier» 2 serveur de l'application) et la couche interfaces (« tier» 3 client), ce qui permet une répartition des données et des processus compatible avec l'évolution actuelle des réseaux informatiques et l'hétérogénéité croissante des postes de travail et des besoins des utilisateurs. Dans une application trois « tiers » classique, la gestion de l'interaction entre les utilisateurs et le système est effectuée par le couple serveur de l'application - interfaces client. Dès lors, on est confronté dans ces système à une dissémination des services d'interaction entre la couche serveur de l'application d'une part, pour tout ce qui concerne les processus
"d'interaction communs à l'ensemble des Utilisateurs et des terminaux connectés au serveur, et la couche client d'autre part, pour tout ce qui a trait à une classe d'utilisateurs ou de terminaux particulière voire à un utilisateur ou un terminai particulier. Selon un mode de réalisation possible de la présente invention illustré sur la partie droite de la figure 1 , dans le cadre des applications trois
« tiers », il s'agit de l'introduction d'un quatrième « tier» correspondant au
CIPS et appelé couche interaction métier (« business interaction tier » en anglais) car chargé de la gestion de l'interaction utilisateur-système pour une classe d'utilisateurs particulière, c'est-à-dire un métier particulier.
Dans le contexte du passage à quatre « tiers », le procédé consistant à rendre indépendante la composante chargée de l'interaction utilisateur-système repose sur l'identification claire et précise de trois classes de services distinctes, à savoir : • Les services d'application proposés par le serveur de l'application ;
• Les services d'interface proposés par les clients ;
• Les services d'interaction proposés par le CIPS.
Les services d'application mettent en œuvre les fonctionnalités qui sont du strict ressort de l'application, c'est à dire l'ensemble des processus propres au domaine d'application : algorithmes, calculs, gestion des données, etc. Du point de vue de la présente invention, ils se doivent d'être complètement indépendants de tout contexte d'utilisation particulier,
" notamment en ce qui concerne les différentes- catégories potentielles d'utilisateurs ou les différentes classes de terminaux par lesquelles les utilisateurs accèdent à ces services.
Les services d'interface mettent en œuvre les fonctionnalités de perception et d'action pour une classe de terminaux particulière voire un terminal particulier, c'est à dire l'ensemble des processus de gestion des périphériques : affichage graphique, restitution sonore, clavier, souris, microphone, écran tactile, etc. Du point de vue de l'invention décrite ici, ils se doivent d'être indépendants des utilisateurs et, dans la mesure du possible, de l'application sous-jacente. Il s'avère que ce dernier point n'est pas toujours vérifiable dans les équipements existants notamment en ce qui concerne la présentation des données de l'application qui est fortement contrainte par le format de ces données, et que les clients ne désirent pas modifier.
Les services d'interaction sont tous les services qui vont permettre aux utilisateurs d'accéder via une un terminal donné - un ensemble de services d'interface - aux services d'application. Afin de mettre en œuvre ces services, le CIPS dispose de moyens de représentation du contexte d'interaction entre l'utilisateur et le système. Ces moyens de représentation lui permettent de construire et de manipuler un ensemble de bases de connaissances (sur l'utilisateur, le domaine, la tâche, etc.) dans le but de fournir aux moyens d'interaction les données sur le contexte nécessaires à leur fonctionnement. Les moyens d'interaction permettent au CIPS de rendre les services d'interaction définis ci-dessus et reposent pour ce faire sur des moyens de communication internes, propres au CIPS, et externes, qui assurent la communication avec les autres couches (serveur de l'application et clients) de l'architecture quatre « tiers ». Ces moyens de communication internes et externes réalisent l'infrastructure nécessaire au fonctionnement du CIPS. Les différents moyens identifiés ici sont décrits plus précisément ci- dessous.
Les moyens de représentation ont pour fonction la construction, l'adaptation et la manipulation des bases de connaissances nécessaires à la mise en œuvre des services d'interaction. Celles-ci constituent une représentation structurée du contexte d'utilisation du système. Les différentes bases de connaissances identifiées par la présente invention portent sur les connaissances suivantes (voir figures 2 et 3) : • Le domaine 5 : il s'agit d'une représentation conceptuelle du domaine d'application du système, par exemple sous la forme d'un schéma entités-relations. Elle permet au CIPS de gérer les services d'interaction en fonction du contexte organisationnel du système ; • L'application 6 (incluse dans les services 16.1 à 16.N décrits ci-dessous) : il s'agit de représenter l'ensemble des services de l'application proposés par la couche serveur de l'application. Ceci permet au CIPS de sélectionner les services d'interaction adaptés au contexte fonctionnel du système ;
• Le ou les utilisateur(s) 7 : il s'agit d'informations sur les différentes classes d'utilisateurs du système et sur les différents utilisateurs à l'intérieur de ces classes, comme par exemple les profils ou les préférences de ces utilisateurs. Elles permettent au CIPS de configurer les services d'interaction en fonction du contexte opérationnel du point de vue des opérateurs ;
• La tâche 8: il s'agit de formaliser la tâche que doit effectuer l'utilisateur du système y compris des contraintes de performance et de sécurité, ou la tâche collaborative que doivent effectuer les utilisateurs dans le cas d'un travail en équipe. Ceci permet au CIPS de proposer les services d'interaction adéquats en fonction du contexte opérationnel du point de vue des opérations ;
• Les modalités 9 : il s'agit de décrire les différentes modalités de perception et d'action offertes par les terminaux connectés au système, comme par exemple les affichages en deux ou trois dimensions, la voix, le geste, etc. Ceci permet au CIPS de mettre en œuvre les services d'interaction en fonction du contexte logique d'utilisation ; • Les terminaux 10 : il s'agit de modéliser les différentes classes de terminaux, et les différents terminaux à l'intérieur de ces classes, dont les utilisateurs disposent pour interagir avec le système, notamment en termes de périphériques d'entrées/sorties ou de possibilités d'expression. Ceci permet au CIPS d'adapter les services d'interaction au contexte physique d'utilisation. Les moyens de représentation, utilisés lors de la création et de la mise à jour du CIPS, pour la gestion de ces différentes bases de connaissances, se divisent en quatre catégories, qui sont : 1. Des moyens d'acquisition : ils permettent aux experts - spécialistes, concepteurs ou développeurs - du domaine, de l'application, des terminaux, etc. de spécifier tout ou partie des bases de connaissances correspondantes, éventuellement sous la forme de règles métiers ;
2. Des moyens de dérivation : ils permettent au CIPS de produire des représentations particulières à partir de bases de connaissances génériques et d'informations contextuelles obtenues grâce aux moyens d'acquisition, ou de produire des bases de connaissances génériques sur la base de représentations particulières ;
3. Des moyens d'apprentissage automatique : ils permettent au CIPS de construire des bases de connaissances de manière automatique par apprentissage sur des exemples d'interaction ;
4. Des moyens de révision automatique : ils permettent au CIPS de revoir des bases de connaissances de manière automatique par l'examen de situations et de sessions d'interaction réelles ; 5. Des moyens d'utilisation : ils permettent au CIPS d'utiliser les bases de connaissances pour la mise en œuvre des moyens d'interaction.
On a représenté en figure 2, les éléments utilisés pour la transmission d'informations de l'utilisateur (ou des utilisateurs) vers l'application, via le CIPS de l'invention, et sur la figure 3 ceux relatifs à la transmission d'informations en sens inverse.
Sur ces figures 2 et 3, on a envisagé à titre d'exemple, le cas général où les utilisateurs du système disposent de plusieurs types différents d'interfaces de communications avec le système : des interfaces classiques 11 de micro-ordinateurs personnels de type PC (clavier, souris, écran tactile, ...), des interfaces similaires 12 de micro-ordinateurs « de poche » (PDA) et des interfaces 13 à reconnaissance de parole auxquelles sont associés des dispositifs classiques de gestion de modèles acoustiques (14) et de modèles de langage (15) de configuration. Le système a été réduit aux services d'applications 16.1 à 16. N. Le conteneur CIPS 17 de l'invention, qui assure la communication entre les utilisateurs et le système, comporte, pour le cas de la figure 2, trois sous-ensembles fonctionnels : un sous-ensemble 18 d'analyse des événements que représentent les actions des utilisateurs sur les interfaces 11 à 13, un sous-ensemble 19 de prise en compte des actions des utilisateurs (telles que transmises par le sous-ensemble 18) et de gestion d'interaction, et un sous-ensemble 20 de communication avec les services 16.1 à 16.N.
Le sous-ensemble 18 comporte les fonctions suivantes : un analyseur 21 des informations fournies par le navigateur du PC et un analyseur 22 des informations transmises par les autres interfaces du PC, un analyseur 23 des informations transmises par l'interface 12 du PDA et un analyseur 24 des informations transmises par le dispositif 13 de reconnaissance de parole. L'analyseur 24 est associé, de façon classique, à une grammaire 25 et à un lexique 26. Bien entendu, dans le cas où les utilisateurs se serviraient d'autres types d'interfaces (Joystick, écran tactile, ...), le sous-ensemble 18 comporterait les analyseurs correspondants.
Il est également bien entendu qu'un système donné peut être associé à un nombre différent d'interfaces IHM, ou à un seul type d'IHM. Les analyseurs du sous-ensemble 18 produisent, à partir des événements créés par les différentes interfaces 11 à 13 des informations logiques événementielles gérées par le sous-ensemble 19. Tout d'abord, un gestionnaire multimodal 27, coopérant avec la base de données de modalités 9, convertit les informations logiques événementielles en signaux logiques qu'il transmet à un résolveur de référence 28 de type multimodal (de désignation directe, linguistique, gestuel, ...). Ce résolveur 28 fait appel à la base de données de domaine 5 et à l'historique 29 des actions passées, et il envoie à un interprète de fonctions 30 des informations sous forme propositionnelle. L'interprète 30, en se référant à la base de données de domaine 5, formule des propositions correspondantes sous forme fonctionnelle à un gestionnaire d'interaction 31 qui élabore, en se référant aux bases de données 7, 8 et 29, des appels de fonctions ou services de l'application qu'il envoie aux différents dispositifs de communication 20.
Pour le cheminement des informations fournies par les services 16.1 à 16. N aux utilisateurs (figure 3), les fonctions suivantes sont mises en oeuvre. Ces informations passent par les mêmes dispositifs de communication 20 et les données correspondantes sont envoyées au gestionnaire 31. Celui-ci coopère avec un planificateur de services 32, avec les bases de données 5, 7, 8 et avec des filtres 33. Ces filtres 33 comportent des filtres de tâches 34 (par exemple SQL) et des filtres 35 relatifs à l'utilisateur (filtres de texte, filtres audio, ...). Le gestionnaire 31 communique des informations sous forme logique à un sélecteur de modalités 36, chargé de mettre sous forme appropriée (texte, sons, images) les informations devant être présentées aux utilisateurs. A cet effet, le sélecteur 36 coopère avec les bases de données 9 et 10 et des adaptateurs 37 de conversion, sélection, mise en forme, pour fournir sous forme propositionnelle adéquate ces informations aux interfaces des utilisateurs. Ce sélecteur 36 aiguille les informations aux divers convertisseurs correspondants d'un ensemble 38 de convertisseurs. Cet ensemble 38 comprend : un convertisseur 39 pour le navigateur du PC, un convertisseur 40 pour les interfaces visuelles 11 du PC (écrans), un convertisseur 41 pour l'écran de l'interface 12 du PDA et un convertissur vocal 42 (générateur de langage naturel). Le convertisseur 42 coopère, tout comme l'analyseur 24, avec la grammaire 25 et le lexique 26, et fournit un texte en langage naturel à un dispositif spécialisé 43 de synthèse vocale et/ou à l'interface 11 du PC. Le dispositif 43 coopère avec un modèle acoustique 44.
Les moyens d'interaction ont pour fonction la réalisation effective des services d'interaction du CIPS. Ces services d'interaction implantent un ensemble de traitements intelligents qui se répartissent en quatre grandes classes, à savoir :
1 - Des services d'adaptation aux interfaces : ce sont tous les processus qui vont permettre l'utilisation des différents terminaux et modalités pour l'interaction avec le système. Ils comprennent : • La réduction du flux d'information pour adapter l'information aux possibilités d'expression des terminaux en fonction des descriptions de ces terminaux ; • La dissémination de l'information pour transmettre l'information aux différents terminaux, éventuellement sans fil et ou mobiles ;
• La gestion des différentes modalités - graphique, vocale, gestuelle, etc. - et de la multi-modalité qui consiste à formater l'information en sortie (perception) et reconstruire l'information en entrée (action) à l'aide des descriptions des modalités ; - Des services d'adaptation aux utilisateurs : ce sont tous les processus qui vont permettre une interaction personnalisée pour chaque classe d'utilisateurs particulière ou chaque utilisateur particulier. Ils comprennent :
• L'identification automatique des utilisateurs pour permettre de préserver la cohérence de leurs missions à travers les différents changements de contexte d'utilisation ;
• Le filtrage de l'information pour transmettre l'information pertinente aux utilisateurs en fonction des descriptions de ces utilisateurs et de la tâche ; • L'apprentissage du comportement des utilisateurs pour adapter dynamiquement et sur la durée les services d'interaction aux différents utilisateurs ; - Des services de support aux utilisateurs : ce sont tous les processus qui vont permettre aux utilisateurs une interaction plus efficace et moins contraignante avec le système. Ils comprennent :
• L'automatisation de certaines procédures d'interaction pour alléger la charge des utilisateurs ;
• L'explicitation des mécanismes d'interaction pour offrir aux utilisateurs le degré de transparence nécessaire pour comprendre et accepter le comportement du système ;
• L'aide aux utilisateurs pour les assister et les guider dans la réalisation de leur tâche ; 4 - Des services de support au travail en collaboration : ce sont tous les processus qui vont permettre une bonne gestion de l'interaction multi-utilisateurs dans le cadre du travail de groupe. A chacune de ces classes de traitements intelligents correspond un sous-ensemble de moyens d'interaction dont le fonctionnement repose sur une utilisation intensive des bases de connaissances identifiées ci- dessus ainsi que des données qui vont permettre d'obtenir des représentations particulières décrivant le contexte courant. En plus de ces données, les moyens d'interaction du CIPS maintiennent à jour et utilisent un historique du dialogue entre le ou les utilisateurs et le système qui représente l'évolution dans le temps de l'état du processus d'interaction.
Les moyens de communication ont pour fonction de fournir l'infrastructure nécessaire à la mise en œuvre des moyens de représentation et d'interaction. Ils permettent au CIPS de proposer les mêmes services d'interaction quels que soient les applications et les contextes d'utilisation. Les moyens de communication ont en charge la gestion des problèmes suivants :
L'aspect centralisé ou distribué de l'architecture sous-jacente au système ;
L'adaptation au réseaux filaires ou sans fils ; L'adaptation aux différents systèmes d'exploitations ; La mise en œuvre des protocoles de communication avec le serveur de l'application d'une part et les interfaces clients d'autre part (terminaux, périphériques, etc.).

Claims

REVENDICATIONS
1. Procédé permettant de rendre l'interaction utilisateur-système indépendante de l'application et des médias d'interaction, ce système comportant au moins une couche informatique supportant au moins une représentation de terminal et au moins une représentation d'application, et comportant au moins une interface utilisateur supportant elle-même un logiciel, caractérisé par le fait qu'on crée un conteneur (17) dans lequel on mémorise au moins l'une des représentations suivantes du contexte d'interaction : représentation des terminaux pouvant être utilisés par les usagers du système, représentations des modalités d'action, représentation des modalités de perception des échanges d'informations par les usagers, représentation d'activité des usagers, représentation de contexte, représentation des services attendus, et par le fait que le CIPS assure l'interaction en utilisant les représentations pour construire, adapter et manipuler des bases de connaissances constituant une représentation structurée du contexte d'utilisation du système, et qu'il établit à l'aide de cette représentation le dialogue entre les usagers et les services de l'application.
2. Procédé selon la revendication 1 , caractérisé par le fait que toutes les communications entre l'interface utilisateur (11 , 12, 13) et les fonctions de l'application (16.1 à 16. N) sont gérées par le conteneur (17).
3. Procédé selon la revendication 1 ou 2, caractérisé par le fait que les services d'interaction mis en oeuvre par le conteneur utilisent l'une au moins des bases de connaissances suivantes : le domaine d'application, l'application, le ou les utilisateur(s), la tâche, les modalités de perception et d'action offertes par le(s) terminal(naux).
4. Procédé selon l'une des revendications précédentes, caractérisé par le fait que le CIPS maintient à jour et utilise un historique du dialogue entre le (ou les) utilisateur(s) et le système.
5. Dispositif permettant de rendre l'interaction utilisateur-système indépendante de l'application et des médias d'interaction dans un système de type comportant au moins une interface homme-machine (3), au moins un serveur d'applications (2) et une base de données (1), caractérisé par le fait que l'on intercale entre l'interface et le serveur d'applications un dispositif conteneur (4) dans lequel sont inclus des systèmes de calcul intelligents établissant l'interaction bidirectionnelle entre l'(les) utilisateur(s) et le système.
6. Dispositif selon la revendication 5, caractérisé par le fait que le dispositif conteneur comporte un sous-ensemble d'analyse (8) des événements que représentent les actions des utilisateurs sur les interfaces, un sous-ensemble (19) de prise en compte des actions des utilisateurs et de gestion d'interaction, un sous-ensemble (20) de communication avec le serveur d'applications, un sous-ensemble de filtres (33), un sous-ensemble (37) sélecteur de modalités et adaptateur et un sous-ensemble (38) de convertisseurs pour les interfaces d'utilisation.
EP03775451A 2002-09-27 2003-09-29 Procede permettant de rendre l'interaction utilisateur systeme independante de l'application et des medias d'interaction Withdrawn EP1543413A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0212012 2002-09-27
FR0212012A FR2845174B1 (fr) 2002-09-27 2002-09-27 Procede permettant de rendre l'interaction utilisateur-systeme independante de l'application et des medias d'interaction
PCT/FR2003/002853 WO2004029799A1 (fr) 2002-09-27 2003-09-29 Procede permettant de rendre l'interaction utilisateur­ systeme independante de l'application et des medias d'interaction

Publications (1)

Publication Number Publication Date
EP1543413A1 true EP1543413A1 (fr) 2005-06-22

Family

ID=31985299

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03775451A Withdrawn EP1543413A1 (fr) 2002-09-27 2003-09-29 Procede permettant de rendre l'interaction utilisateur systeme independante de l'application et des medias d'interaction

Country Status (5)

Country Link
US (1) US8020174B2 (fr)
EP (1) EP1543413A1 (fr)
AU (1) AU2003283479A1 (fr)
FR (1) FR2845174B1 (fr)
WO (1) WO2004029799A1 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313282A1 (en) 2002-09-10 2008-12-18 Warila Bruce W User interface, operating system and architecture
FR2849515B1 (fr) * 2002-12-31 2007-01-26 Thales Sa Procede generique de production automatique d'interfaces de reconnaissance vocale pour un domaine d'application et dispositif de mise en oeuvre
US7613666B1 (en) 2004-04-23 2009-11-03 Microsoft Corporation Generating a class model from a business vocabulary to represent facts expressible in the business vocabulary
US7620935B2 (en) * 2004-04-30 2009-11-17 Microsoft Corporation Generating programmatic interfaces from natural language expressions of authorizations for request of information
US7802231B2 (en) * 2004-04-30 2010-09-21 Microsoft Corporation Generating programmatic interfaces from natural language expressions of authorizations for provision of information
US7499850B1 (en) 2004-06-03 2009-03-03 Microsoft Corporation Generating a logical model of objects from a representation of linguistic concepts for use in software model generation
US7613676B2 (en) 2004-07-27 2009-11-03 Microsoft Corporation Generating a database model from natural language expressions of business rules
US8050907B2 (en) * 2004-07-30 2011-11-01 Microsoft Corporation Generating software components from business rules expressed in a natural language
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US11316688B2 (en) 2006-12-29 2022-04-26 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9602880B2 (en) 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US8280978B2 (en) 2006-12-29 2012-10-02 Prodea Systems, Inc. Demarcation between service provider and user in multi-services gateway device at user premises
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US9569587B2 (en) 2006-12-29 2017-02-14 Kip Prod Pi Lp Multi-services application gateway and system employing the same
US20090326924A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Projecting Semantic Information from a Language Independent Syntactic Model
US20090326925A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Projecting syntactic information using a bottom-up pattern matching algorithm
US10452625B2 (en) * 2016-06-30 2019-10-22 Global Ids, Inc. Data lineage analysis
US11232463B2 (en) * 2018-08-21 2022-01-25 Nice Ltd. Systems and methods for finding an interaction subset within a set of interactions

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960200A (en) * 1996-05-03 1999-09-28 I-Cube System to transition an enterprise to a distributed infrastructure
US6470340B1 (en) * 1997-02-14 2002-10-22 Fujitsu Limited Inter-program linking system and method thereof
US7010536B1 (en) * 1998-01-30 2006-03-07 Pattern Intelligence, Inc. System and method for creating and manipulating information containers with dynamic registers
US6076108A (en) * 1998-03-06 2000-06-13 I2 Technologies, Inc. System and method for maintaining a state for a user session using a web system having a global session server
US6829603B1 (en) * 2000-02-02 2004-12-07 International Business Machines Corp. System, method and program product for interactive natural dialog
US6990513B2 (en) * 2000-06-22 2006-01-24 Microsoft Corporation Distributed computing services platform
WO2002003648A1 (fr) * 2000-07-04 2002-01-10 Cassiopeia Ag Systeme de communication
US7092928B1 (en) * 2000-07-31 2006-08-15 Quantum Leap Research, Inc. Intelligent portal engine
US6873990B2 (en) * 2001-02-07 2005-03-29 International Business Machines Corporation Customer self service subsystem for context cluster discovery and validation
FR2821186B1 (fr) * 2001-02-20 2003-06-20 Thomson Csf Dispositif d'extraction d'informations d'un texte a base de connaissances
WO2002073331A2 (fr) * 2001-02-20 2002-09-19 Semantic Edge Gmbh Environnement interactif en langage naturel, dependant du contexte et a base de connaissances pour applications dynamiques et flexibles de recherche et de presentation de produits, services et informations
US20020120571A1 (en) * 2001-02-23 2002-08-29 David Maung Wireless financial system
US20030028498A1 (en) * 2001-06-07 2003-02-06 Barbara Hayes-Roth Customizable expert agent
US7103644B1 (en) * 2001-06-29 2006-09-05 Bellsouth Intellectual Property Corp. Systems for an integrated data network voice-oriented service and non-voice-oriented service converged creation and execution environment
US6973174B1 (en) * 2001-07-25 2005-12-06 At & T Corp. Service interaction media in an intelligent network environment
US7058895B2 (en) * 2001-12-20 2006-06-06 Nokia Corporation Method, system and apparatus for constructing fully personalized and contextualized interaction environment for terminals in mobile use
GB2407737B (en) * 2002-08-30 2006-05-17 Ericsson Telefon Ab L M Intelligent peripheral for speech recognition in networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004029799A1 *

Also Published As

Publication number Publication date
US8020174B2 (en) 2011-09-13
AU2003283479A1 (en) 2004-04-19
FR2845174B1 (fr) 2005-04-08
US20050289560A1 (en) 2005-12-29
FR2845174A1 (fr) 2004-04-02
WO2004029799A1 (fr) 2004-04-08

Similar Documents

Publication Publication Date Title
EP1543413A1 (fr) Procede permettant de rendre l&#39;interaction utilisateur systeme independante de l&#39;application et des medias d&#39;interaction
US20030046401A1 (en) Dynamically determing appropriate computer user interfaces
US8099313B2 (en) Method and system for the orchestration of tasks on consumer electronics
EP1640839A1 (fr) Méthode et dispositif pour présenter des tâches utilisateurs pour commander des appareils électroniques
EP2369480A2 (fr) Infrastructure de mashup avec mécanisme d&#39;apprentissage
Sheth et al. Cognitive services and intelligent chatbots: current perspectives and special issue introduction
US20080313162A1 (en) Methods and systems for context based query formulation and information retrieval
US9632654B1 (en) System and method for augmented knowledge discovery
Khan et al. BlindSense: An Accessibility-inclusive Universal User Interface for Blind People.
Dahl The W3C multimodal architecture and interfaces standard
Epelde et al. Providing universally accessible interactive services through TV sets: implementation and validation with elderly users
Mayer et al. A comparative study of systems for the design of flexible user interfaces
EP3202116B1 (fr) Procédé et dispositif d&#39;aide à la décision
Masuwa-Morgan et al. Justification of the need for an ontology for accessibility requirements (Theoretic framework)
Zimmermann Context management and personalisation: a tool suite for context and user aware computing
Hanumansetty Model based approach for context aware and adaptive user interface generation
WO2002025513A2 (fr) Assistant personnel electronique intelligent
Chihani Enterprise context-awareness: empowering service users and developers
Emonet Semantic description of services and service factories for ambient intelligence
US20220300307A1 (en) Providing assistive user interfaces using execution blocks
Zhovtobryukh Context-aware web service composition
Olmstead et al. Usability driven open platform for mobile government (USE-ME. GOV)
EP2271051B1 (fr) Procédé d&#39;exécution d&#39;un service applicatif dans un environnement web
FR3110992A1 (fr) Application exécutable sur un Objet Intelligent et Communicant pour réserver une salle
FR3033425A1 (fr) Systeme de generation et de lecture d&#39;objets hybrides proceduraux

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050321

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20061102

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130403