WO2006061498A1 - Synchronous multimodal communication system - Google Patents

Synchronous multimodal communication system Download PDF

Info

Publication number
WO2006061498A1
WO2006061498A1 PCT/FR2005/003036 FR2005003036W WO2006061498A1 WO 2006061498 A1 WO2006061498 A1 WO 2006061498A1 FR 2005003036 W FR2005003036 W FR 2005003036W WO 2006061498 A1 WO2006061498 A1 WO 2006061498A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
state
user
processing unit
information
Prior art date
Application number
PCT/FR2005/003036
Other languages
French (fr)
Inventor
Samuel Loyson
Carole Manquillet
Farid Habbouche
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO2006061498A1 publication Critical patent/WO2006061498A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Definitions

  • the present invention relates to a synchronous multimodal communication system between a user and at least one data processing unit.
  • Multimodal communications generally include communications taking place on one or more channels or media with possible interactions simultaneously on these different channels.
  • a system capable of enabling simultaneous interactions on two channels is a synchronous multimodal system.
  • this type of system comprises one or more data input units by a user, each being. connected to data acquisition means.
  • It also comprises one or more data retrieval units to the user, each driven by control means, interface means being arranged between on the one hand, the processing unit and on the other hand, the means acquisition and management.
  • some of these systems include information transfer networks, a terminal comprising the input and data retrieval units and a remote server comprising the interface means and a processing unit, the terminal and the remote server being connected through the information transfer network.
  • the terminal user can thus establish a multimodal communication with the remote server and issue requests on one or more channels simultaneously and receive back, information on one or more channels simultaneously.
  • the object of the present invention is to solve these problems by defining a system and a synchronous multimodal communication device for informing the user of the operating state of the system.
  • the subject of the present invention is a synchronous multimodal communication system between a user and at least one data processing unit comprising one or more data input units by the user, each connected to means of communication.
  • system further comprises means for analyzing the operating state of the input units of the acquisition means and the interface means, said means analyzing the operating state being connected to means for determining a system status information, themselves linked to the control means of at least one reproduction unit for the return of system status information.
  • said analysis means comprise an input unit monitoring unit, a monitoring unit of the operating state of the acquisition means and a monitoring unit of the interface means;
  • said means for determining a system state information are adapted to select at least one state in the group consisting of:
  • said means for determining an operating state of the system are adapted to determine the operating state of the system as a function of a hierarchy of different simultaneous states of the elements of the system; the system further comprises means for synchronizing the data restitution;
  • said synchronization means comprise a synchronization unit for transmitting data from said processing unit to said interface means and a synchronization unit for the data restitution controlled by said control means;
  • the system comprises an information transfer network interposed between different elements of the system;
  • said information transfer network is interposed between said acquisition and control means on the one hand and said interface means on the other hand;
  • said interface means are adapted to be connected to several processing units through said information transfer network;
  • the invention also relates to a method for communicating information relating to the general operating state of a synchronous multimodal communication system, the system comprising at least one data processing unit, one or more input units. of data by a user, each connected to data acquisition means, one or more data retrieval units to the user, each driven by control means and interface means adapted to ensure the exchange of data between said processing unit on the one hand, and said acquisition and control means on the other hand, comprising the following steps:
  • the step of analyzing the operating states obtained is carried out by a hierarchy of the operating states obtained, the system state information is at least one state in the group consisting of:
  • the invention also relates to a synchronous multimodal communication terminal capable of establishing a communication between a user and at least one remote data processing unit, the terminal comprising one or more data input units by the user, each connected to data acquisition means, one or more data retrieval units to the user, each driven by control means, the data exchanges between said processing unit on the one hand, and said data transmission means; acquisition and control on the other hand being provided by remote interface means, the terminal further comprising means for obtaining the operating states of the input units, acquisition means and connected interface means operating state analysis means, said analysis means being connected to means for determining system status information, themselves related to the means; driving at least one rendering unit for the return of the system status information.
  • the invention also relates to a program that comprises code portions for performing an analysis of the general operating state of the system, determining system status information and controlling their restitution when the program is executed by a computer or a related device such as a PDA, a mobile phone or other ..
  • Fig.1 is a detailed block diagram of a first embodiment of the invention
  • FIG. 2 is a general block diagram of a second embodiment of the invention
  • FIG. 3 is an algorithmic diagram representing the main steps of a method according to the invention.
  • the system shown diagrammatically in FIG. 1 is suitable for multimodal synchronous communications on a touch channel, an audio channel and a visual channel.
  • the system comprises first a data input unit 2A formed of a touch screen and a data input unit 2B formed of a microphone.
  • the input units 2A and 2B are connected to acquisition means 4 for acquiring and processing the data entered on the units 2A and 2B.
  • the system also comprises a visual data reproduction unit 6A in the form of a screen and a audio data reproduction unit 6B in the form of a loudspeaker.
  • the reproduction units 6A and 6B are both driven by control means 8 to which they are connected.
  • the system comprises a processing unit 10 connected to the acquisition means 4 and the control means 8 through interface means 12, adapted for the conversion of data between the different formats of the different channels.
  • the processing unit 10 is adapted to operate in a single language and the interface means 12 are provided to allow the conversion of data between each of the incoming and outgoing channels and the language of the processing unit. 10.
  • system comprises means for analyzing its general operating state.
  • these means 20 comprise a unit 22 for monitoring the signals delivered by the input units 2A and 2B, a unit 24 for monitoring the operating status of the acquisition means 4 and a unit 26 for monitoring the means. interface 12.
  • the unit 24 makes it possible to distinguish three states of the acquisition means 4 respectively, solicitation, active and inactive.
  • the solicitation state corresponds for example to the activation of a commissioning button of an input unit.
  • the active state corresponds to the state in which the acquisition means 4 can actually receive data and the inactive state is the state in which the acquisition means 4 are neither used nor solicited.
  • the unit 22 receives the status information of the acquisition means 4 delivered by the unit 24 and directly monitors the signals delivered by the data input units 2A and 2B. Thus, the unit 22 makes it possible to distinguish three different states, namely a data entry monitoring state, a local processing waiting state corresponding to an inactive state of the acquisition means 4 conjugated to a processing in progress. of the received signal and finally, a state of non-reception corresponding to the absence of data entry detection on the input units.
  • the state of non-reception may in particular result from an input signal with a weak intensity. Indeed, the unit 22 makes it possible to monitor the signals so as to ensure their quality.
  • the means 20 comprise a unit 26 for monitoring the interface means 12 which can switch between states of information reception, information transmission, conversion processing and conversion failure.
  • the analysis means 20 are adapted to transmit the status information delivered by the unit 22 and the unit 26 to means 30 for determining a system status information.
  • the means 30 are adapted to determine an overall system status information which is selected, in the example described, from a waiting state, a data input state on a channel, a processing state of a data entry, a data input processing failure state, a processing unit interrogation status, a data download state from the processing unit, a data output status to a data input the user.
  • the means 30 are further adapted to perform a hierarchy and a grouping of the simultaneous states of the system, so as to to deliver a synthetic system status information to the control means 8 for the return of this system status information through the restitution units 6A and 6B.
  • the system comprises means for synchronizing the reproduction channels formed by a synchronization unit 4OA connected to the processing unit 10 and a synchronization unit 4OB connected to the control means 8.
  • This state information is determined by the means 30 and transmitted to the control means 8 which control, for example, the display on the screen 6A of a corresponding icon.
  • the user decides to make a voice input and activates a button to turn on the microphone 2B.
  • the unit 24 detects this action and goes into the request state of a data input, this status information is transmitted by the means 30, which causes the display on the screen 6A of an icon indicating that a data entry is required.
  • the acquisition means 4 are active a few moments later only, this active state being detected by the unit 24, the unit 22 then switching to a voice data input monitoring state.
  • This state information is transmitted to the means 30 which goes into a processing state of a data entry.
  • This state information is passed on to the control means 8 in order to allow, for example, the emission of a sound signal by the loudspeaker 6B and the simultaneous display of a visual index on the screen 6A.
  • the audible signal informs the user that the system is ready to receive voice data input.
  • the user can then initiate the input of voice data, for example the input of a voice command.
  • voice data for example the input of a voice command.
  • the unit 22 switches to a non-reception state, this state is detected through the unit 22, means 30 and the control unit. 8, and results in the emission of a new sound signal different from the previous one, reflecting the failure voice input and prompting the user to re-enter their voice data.
  • signal quality information delivered by the unit 22 is displayed through the screen 6A.
  • a signal strength graph is displayed along with a tolerance threshold, thus allowing the user to adapt his position and his speech to deliver a sufficiently powerful signal and avoid switching to a state of no - reception.
  • the acquisition means 4 detect a signal, the unit 24 transmits this state, so that the means 30 delivers a status information of the processing system of the voice command.
  • the input voice data is then transmitted by the acquisition means 4 to the interface means 12 which converts them into a format adapted to transmit them to the processing unit 10.
  • the interface means 12 convert this signal in text using a speech recognition unit.
  • the interface means 12 fails to convert the input data, for example in the case where the speech recognition unit fails to identify a voice command, the unit 26 for monitoring the means 30 flips into a state of failure. This is reflected as previously by the return of a failure state information of the processing of the voice command to the user.
  • the voice input data are converted and transmitted to the processing unit 10, they are processed and in the case of a recognized command, cause the execution of an application.
  • This execution is reflected, for example, by determining a response to be returned to the user.
  • this response is in the form of a multimodal content comprising visual information and audio information.
  • the data forming this response are transmitted by the processing unit 10 to the interface means 12, which convert each of the data streams into a suitable format before transmitting them to the control unit 8.
  • the unit 26 switches to the information download state, this status information being determined as previously by the means 30 and returned to the user.
  • the synchronization units 4OA and 4OB determine the order in which the different data must be transmitted from the processing unit 10 to the control means 8 and the order in which the control means 8 must control the restitution of the information on the data.
  • the restitution units 6A and 6B determine the order in which the different data must be transmitted from the processing unit 10 to the control means 8 and the order in which the control means 8 must control the restitution of the information on the data.
  • the system can simultaneously manage data download states and rendering states depending on the availability of the elements to be rendered.
  • the units 4OA and 40B make it possible to ensure a hierarchy between the transmission of audio and visual data and to synchronize the reproduction of visual and audiophonic data.
  • the system returns to a state of waiting, which is detected by the means 30, the status information being returned to the user.
  • each unit of the analysis means 20 is directly connected to the control unit 8 and delivers information relating to the operating state of a component of the system such as the means of acquisition or the interface means. This provides the user with detailed information on the status of each of the system components. For example, a system status information is visually reproduced, while a speech signal processing status information is sound reproduced.
  • FIG 2 there is shown generally another embodiment of a system of the invention articulated around an information transfer network.
  • a terminal 50 such as for example an electronic personal assistant or PDA, is connected to an information transfer network such as the Internet network 60 through which different servers are accessible.
  • an interface server 62 and an application server 64 are connected to the network 60.
  • the various elements of the system can be distributed between the equipment connected to the network 60.
  • the terminal 50 comprises the input units 2A, 2B, as well as the corresponding acquisition means 4, the restitution units 6A, 6B and the corresponding control means 8.
  • the terminal 50 also comprises the means 20 for analyzing, 30 determining a system operating state and 4OB synchronization.
  • the server 62 comprises the interface means 12 and the server 64 the processing unit 10.
  • each of the elements comprises conventional means for transmitting and receiving information on the network 60, not shown.
  • the operation of this system is substantially identical to that of the system described above with the only difference that the delays resulting from certain stages of downloading and transmission of information may be longer.
  • Intermediate states for each element can be defined accordingly.
  • analysis means may comprise different monitoring units depending on the system involved and different states may also be defined.
  • the invention may be adapted to take into account other methods of input and output of information that may be available.
  • FIG. 3 illustrates in the form of a flow chart the main steps of a method of communicating information relating to the general operating state of a synchronous multimodal communication system according to the invention.
  • This method is implemented in the terminal as described with reference to FIGS. 1 and 2.
  • the step E31 is a step of obtaining the operating states coming from different units of the communication system described with reference to FIGS.
  • the operating states relate to the operations of the input units (2A, 2B), the acquisition means 4 and the interface means 12. It is possible to receive other operating states according to the units available in the communication system.
  • operating states come from the monitoring unit of the input units, the monitoring unit of the acquisition means and the monitoring unit of the interface means.
  • examples of operating states input units are a data entry monitoring state, a local processing standby state, and a non-receiving state.
  • the operating states relating to the acquisition means are, for example, an active state, an inactive state and a bias state.
  • the operating states relating to the interface means are states relating to the state of processing of the data exchanged between the user and the data processing unit. These states are for example a state of information reception, information transmission, conversion processing and conversion failure.
  • step E31 is followed by the step E32 in which the operating states of the units are analyzed and in which a system general operating state information is determined, also called system state information as a function of the operating states. obtained in the previous step.
  • the state information of the system is for example:
  • a processing status of a data entry a failure state of processing a data entry
  • the system state information determination means (30) perform a hierarchy of the operating states obtained.
  • a first entry may be, for example, terminated (the acquisition means (4) associated with it are in an inactive state), the second entry, for its part, may be in the course of acquisition (active state) and the interface means (20) in the information receiving state (corresponds to the first input).
  • the system state will be in processing state of an entry. The state of the system will only enter the interrogation state of the processing unit when all the acquisition means (4) are again inactive and the interface means (20) are no longer in the reception state. information for any of the entries.
  • step E32 is followed by the step E33 in which the state information of the system thus determined is transmitted to the data restitution means (6A, 6B) to be restored to the step E34 to the user for example in the form of a display or an audible signal or the combination of the two via, in the latter case, synchronization means.
  • Such system status information thus enables the user to have a fine view of the state of progress of the different phases of the data processing at the time of the input of the user data and during the processing of the data. given by the processing unit. It can thus act accordingly, either for example by entering again data not received, or waiting for a restitution to come or a download of data.
  • This system status information helps the user to organize and plan the steps leading up to the task, a check being performed at each step.
  • information relating to the quality of the input signal is provided at the same time as the data input status information so that the user adapts his input signal.
  • the invention can be implemented by means of programs or parts of programs containing portions of code to perform the functions described above when the program is run on a computer or a related device such as a PDA, a mobile phone Or other.
  • a program must be adapted to perform an analysis of the general operating state of the system, determining system status information and controlling their return when the program is executed by a computer.
  • the computer program is adapted to implement a method as described with reference to Figure 3 when the program is loaded and executed by a computer.

Abstract

The invention relates to a system for synchronous multimodal communication between a user and at least one data-processing unit (10), comprising one or more data inputs (2A, 2B) which are connected to data-acquisition means (4), one or more data-recovery means (6A, 6B) which are controlled by control means (8) and interface means (12) which are designed to provide data exchanges between (i) the processing unit (10) and (ii) the acquisition (4) and control (8) means. The invention is characterised in that the system comprises means (20) which are used to analyse the general status of the system and which are connected to means (30) for determining a system status datum, which are in turn connected to means (8) for controlling at least one recovery unit (6A, 6B) for the recovery of system status information.

Description

Système de communication multimodal synchrone La présente invention concerne un système de communication multimodal synchrone entre un utilisateur et au moins une unité de traitement de données. Les communications multimodales regroupent de manière générale, les communications prenant place sur un ou plusieurs canaux ou médias avec des interactions possibles simultanément sur ces différents canaux. The present invention relates to a synchronous multimodal communication system between a user and at least one data processing unit. Multimodal communications generally include communications taking place on one or more channels or media with possible interactions simultaneously on these different channels.
Ainsi, un système apte à permettre des interactions simultanées sur deux canaux, tels qu'un canal audiophonique et un canal visuel, est un système multimodal synchrone.Thus, a system capable of enabling simultaneous interactions on two channels, such as an audio channel and a visual channel, is a synchronous multimodal system.
De manière classique, ce type de système comprend une ou plusieurs unités d'entrée de données par un utilisateur, chacune étant. reliée à des moyens d'acquisition de données.Typically, this type of system comprises one or more data input units by a user, each being. connected to data acquisition means.
Il comprend également une ou plusieurs unités de restitution de données à l'utilisateur, chacune pilotée par des moyens de pilotage, des moyens d'interface étant disposés entre d'une part, l'unité de traitement et d'autre part, les moyens d'acquisition et de pilotage.It also comprises one or more data retrieval units to the user, each driven by control means, interface means being arranged between on the one hand, the processing unit and on the other hand, the means acquisition and management.
A titre d'exemple, certains de ces systèmes incluent des réseaux de transfert d'informations, un terminal comprenant les unités d'entrée et de restitution de données et un serveur distant comprenant les moyens d'interface et une unité de traitement, le terminal et le serveur distant étant reliés au travers du réseau de transfert d'informations.By way of example, some of these systems include information transfer networks, a terminal comprising the input and data retrieval units and a remote server comprising the interface means and a processing unit, the terminal and the remote server being connected through the information transfer network.
L'utilisateur du terminal peut ainsi établir une communication multimodale avec le serveur distant et émettre des requêtes sur un ou plusieurs canaux simultanément et recevoir en retour, des informations sur un ou plusieurs canaux simultanément.The terminal user can thus establish a multimodal communication with the remote server and issue requests on one or more channels simultaneously and receive back, information on one or more channels simultaneously.
Cela pose cependant un problème de convivialité car la mise en œuvre des différents canaux est conditionnée par la disponibilité des éléments du système dont l'utilisateur n'est pas informé. Ainsi, l'utilisateur peut entreprendre certaines actions alors que le système n'est pas prêt à les traiter.However, this poses a problem of user-friendliness because the implementation of the different channels is conditioned by the availability of the elements of the system of which the user is not informed. Thus, the user can take certain actions while the system is not ready to process them.
Le but de la présente invention est de résoudre ces problèmes en définissant un système et un dispositif de communication multimodal synchrone permettant d'informer l'utilisateur de l'état de fonctionnement du système. A cet effet, la présente invention a pour objet un système de communication multimodal synchrone entre un utilisateur et au moins une unité de traitement de données comprenant une ou plusieurs unités d'entrée de données par l'utilisateur, chacune reliée à des moyens d'acquisition de données, une ou plusieurs unités de restitution de données à l'utilisateur, chacune pilotée par des moyens de pilotage et des moyens d'interface adaptés pour assurer les échanges de données entre ladite unité de traitement d'une part, et lesdits moyens d'acquisition et de pilotage d'autre part, caractérisé en ce que le système comprend en outre des moyens d'analyse de l'état de fonctionnement des unités d'entrée des moyens d'acquisition et des moyens d'interface, lesdits moyens d'analyse de l'état de fonctionnement étant reliés à des moyens de détermination d'une information d'état du système, eux-mêmes reliés aux moyens de pilotage d'au moins une unité de restitution pour la restitution d'informations d'état du système. Ainsi, grâce au retour d'informations vers l'utilisateur concernant l'état de fonctionnement du système, les problèmes de convivialité sont résolus. Suivant d'autres caractéristiques de l'invention :The object of the present invention is to solve these problems by defining a system and a synchronous multimodal communication device for informing the user of the operating state of the system. For this purpose, the subject of the present invention is a synchronous multimodal communication system between a user and at least one data processing unit comprising one or more data input units by the user, each connected to means of communication. acquisition of data, one or more data retrieval units to the user, each driven by control means and interface means adapted to ensure the exchange of data between said processing unit on the one hand, and said means acquisition and control system on the other hand, characterized in that the system further comprises means for analyzing the operating state of the input units of the acquisition means and the interface means, said means analyzing the operating state being connected to means for determining a system status information, themselves linked to the control means of at least one reproduction unit for the return of system status information. Thus, through the feedback to the user about the operating status of the system, the usability issues are solved. According to other features of the invention:
- lesdits moyens d'analyse comprennent une unité de surveillance des unités d'entrée, une unité de surveillance de l'état de fonctionnement des moyens d'acquisition et une unité de surveillance des moyens d'interface ;said analysis means comprise an input unit monitoring unit, a monitoring unit of the operating state of the acquisition means and a monitoring unit of the interface means;
- lesdits moyens de détermination d'une information d'état du système sont adaptés pour sélectionner au moins un état dans le groupe constitué de :said means for determining a system state information are adapted to select at least one state in the group consisting of:
- un état d'attente ;- a state of waiting;
- un état d'entrée de données ; - un état de traitement d'une entrée de données ;- a data entry state; a processing status of a data entry;
- un état d'échec de traitement d'une entrée de données ;a failure state of processing a data entry;
- un état d'interrogation de l'unité de traitement ;an interrogation state of the processing unit;
- un état de téléchargement des données depuis l'unité de traitement ; et - un état de restitution des données à l'utilisateur ;a state of downloading the data from the processing unit; and - a state of restitution of the data to the user;
- lesdits moyens de détermination d'un état de fonctionnement du système sont adaptés pour déterminer l'état de fonctionnement du système en fonction d'une hiérarchie de différents états simultanés des éléments du système ; -le système comprend en outre des moyens de synchronisation de la restitution de données ;said means for determining an operating state of the system are adapted to determine the operating state of the system as a function of a hierarchy of different simultaneous states of the elements of the system; the system further comprises means for synchronizing the data restitution;
- lesdits moyens de synchronisation comprennent une unité de synchronisation de la transmission de données depuis ladite unité de traitement vers lesdits moyens d'interface et une unité de synchronisation de la restitution de données pilotée par lesdits moyens de pilotage ;said synchronization means comprise a synchronization unit for transmitting data from said processing unit to said interface means and a synchronization unit for the data restitution controlled by said control means;
- le système comprend un réseau de transfert d'informations intercalé entre différents éléments du système ;the system comprises an information transfer network interposed between different elements of the system;
- ledit réseau de transfert d'informations est intercalé entre lesdits moyens d'acquisition et de pilotage d'une part et lesdits moyens d'interface d'autre part ;said information transfer network is interposed between said acquisition and control means on the one hand and said interface means on the other hand;
- lesdits moyens d'interface sont adaptés pour être reliés à plusieurs unités de traitement au travers dudit réseau de transfert d'informations ;said interface means are adapted to be connected to several processing units through said information transfer network;
- tous les éléments du système sont intégrés dans un même dispositif. L'invention a également pour objet un procédé de communication d'informations relatives à l'état de fonctionnement général d'un système de communication multimodal synchrone, le système comportant au moins une unité de traitement de données, une ou plusieurs unités d'entrée de données par un utilisateur, chacune reliée à des moyens d'acquisition de données, une ou plusieurs unités de restitution de données à l'utilisateur, chacune pilotée par des moyens de pilotage et des moyens d'interface adaptés pour assurer les échanges de données entre ladite unité de traitement d'une part, et lesdits moyens d'acquisition et de pilotage d'autre part, comportant les étapes suivantes:- all elements of the system are integrated in the same device. The invention also relates to a method for communicating information relating to the general operating state of a synchronous multimodal communication system, the system comprising at least one data processing unit, one or more input units. of data by a user, each connected to data acquisition means, one or more data retrieval units to the user, each driven by control means and interface means adapted to ensure the exchange of data between said processing unit on the one hand, and said acquisition and control means on the other hand, comprising the following steps:
-obtention des états de fonctionnement des unités d'entrée, des moyens d'acquisition et des moyens d'interface;obtaining the operating states of the input units, the acquisition means and the interface means;
- analyse des états de fonctionnement obtenus et détermination d'une information d'état de fonctionnement général du système dit information d'état du système en fonction des états de fonctionnement obtenus; etanalysis of the operating states obtained and determination of a general operating state information of the system, said system state information as a function of the operating states obtained; and
- transmission de l'information d'état du système aux moyens de restitution de données pour une restitution de l'information à l'utilisateur.transmission of the system status information to the data retrieval means for retrieval of the information to the user.
Suivant d'autres caractéristiques de cet objetAccording to other characteristics of this object
- l'étape d'analyse des états de fonctionnement obtenus s'effectue par une hiérarchisation des états de fonctionnement obtenus, - l'information d'état du système est au moins un état dans le groupe constitué de:the step of analyzing the operating states obtained is carried out by a hierarchy of the operating states obtained, the system state information is at least one state in the group consisting of:
- un état d'attente ;- a state of waiting;
- un état d'entrée de données ; - un état de traitement d'une entrée de données ;- a data entry state; a processing status of a data entry;
- un état d'échec de traitement d'une entrée de données ;a failure state of processing a data entry;
- un état d'interrogation de l'unité de traitement ;an interrogation state of the processing unit;
- un état de téléchargement des données depuis l'unité de traitement ; et - un état de restitution des données à l'utilisateur ; eta state of downloading the data from the processing unit; and - a state of restitution of the data to the user; and
- une information relative à la qualité du signal d'entrée de données est associée à l'information d'état d'entrée de données.- information relating to the quality of the data input signal is associated with the data input status information.
L'invention a également pour objet un terminal de communication multimodal synchrone apte à établir une communication entre un utilisateur et au moins une unité de traitement de données distante, le terminal comprenant une ou plusieurs unités d'entrée de données par l'utilisateur, chacune reliée à des moyens d'acquisition de données, une ou plusieurs unités de restitution de données à l'utilisateur, chacune pilotée par des moyens de pilotage, les échanges de données entre ladite unité de traitement d'une part, et lesdits moyens d'acquisition et de pilotage d'autre part étant assurés par des moyens d'interface distants, le terminal comprenant en outre des moyens d'obtention des états de fonctionnement des unités d'entrée, des moyens d'acquisition et des moyens d'interface reliés à des moyens d'analyse des états de fonctionnement, ces moyens d'analyse étant reliés à des moyens de détermination d'informations d'état du système, eux-mêmes reliés aux moyens de pilotage d'au moins une unité de restitution pour la restitution des informations d'état du système.The invention also relates to a synchronous multimodal communication terminal capable of establishing a communication between a user and at least one remote data processing unit, the terminal comprising one or more data input units by the user, each connected to data acquisition means, one or more data retrieval units to the user, each driven by control means, the data exchanges between said processing unit on the one hand, and said data transmission means; acquisition and control on the other hand being provided by remote interface means, the terminal further comprising means for obtaining the operating states of the input units, acquisition means and connected interface means operating state analysis means, said analysis means being connected to means for determining system status information, themselves related to the means; driving at least one rendering unit for the return of the system status information.
L'invention a également pour objet un programme qui comprend des portions de codes pour réaliser une analyse de l'état de fonctionnement général du système, déterminer des informations d'état du système et piloter leur restitution lorsque le programme est exécuté par un ordinateur ou un dispositif apparenté tel qu'un PDA, un téléphone mobile ou autre..The invention also relates to a program that comprises code portions for performing an analysis of the general operating state of the system, determining system status information and controlling their restitution when the program is executed by a computer or a related device such as a PDA, a mobile phone or other ..
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés, sur lesquels : - la Fig.1 est un schéma synoptique détaillé d'un premier mode de réalisation de l'invention ;The invention will be better understood on reading the description which follows, given solely by way of example and with reference to the appended drawings, in which: - Fig.1 is a detailed block diagram of a first embodiment of the invention;
- la Fig.2 est un schéma synoptique général d'un second mode de réalisation de l'invention; et - la Fig.3 est un schéma algorithmique représentant les étapes principales d'un procédé selon l'invention.FIG. 2 is a general block diagram of a second embodiment of the invention; and FIG. 3 is an algorithmic diagram representing the main steps of a method according to the invention.
Le système représenté de manière schématique sur la figure 1 est adapté pour les communications synchrones multimodales sur un canal tactile, un canal audiophonique et un canal visuel. Ainsi, le système comprend tout d'abord une unité d'entrée de données 2A formée d'un écran tactile et une unité d'entrée de données 2B formée d'un microphone.The system shown diagrammatically in FIG. 1 is suitable for multimodal synchronous communications on a touch channel, an audio channel and a visual channel. Thus, the system comprises first a data input unit 2A formed of a touch screen and a data input unit 2B formed of a microphone.
Les unités d'entrée 2A et 2B sont reliées à des moyens d'acquisition 4 permettant l'acquisition et le traitement des données entrées sur les unités 2A et 2B.The input units 2A and 2B are connected to acquisition means 4 for acquiring and processing the data entered on the units 2A and 2B.
Le système comprend également une unité de restitution de données visuelles 6A sous la forme d'un écran et une unité de restitution de données audiophoniques 6B sous la forme d'un haut-parleur.The system also comprises a visual data reproduction unit 6A in the form of a screen and a audio data reproduction unit 6B in the form of a loudspeaker.
Les unités de restitution 6A et 6B sont toutes deux pilotées par des moyens de pilotage 8 auxquelles elles sont reliées.The reproduction units 6A and 6B are both driven by control means 8 to which they are connected.
Par ailleurs, le système comprend une unité de traitement 10 reliée aux moyens d'acquisition 4 et aux moyens de pilotage 8 au travers de moyens d'interface 12, adaptés pour la conversion des données entre les différents formats des différents canaux. Dans l'exemple, l'unité de traitement 10 est adaptée pour fonctionner selon un unique langage et les moyens d'interface 12 sont prévus pour permettre la conversion des données entre chacun des canaux entrant et sortant et le langage de l'unité de traitement 10.Furthermore, the system comprises a processing unit 10 connected to the acquisition means 4 and the control means 8 through interface means 12, adapted for the conversion of data between the different formats of the different channels. In the example, the processing unit 10 is adapted to operate in a single language and the interface means 12 are provided to allow the conversion of data between each of the incoming and outgoing channels and the language of the processing unit. 10.
Par ailleurs, le système comprend des moyens 20 d'analyse de son état général de fonctionnement.In addition, the system comprises means for analyzing its general operating state.
Plus particulièrement, ces moyens 20 comprennent une unité 22 de surveillance des signaux délivrés par les unités d'entrée 2A et 2B, une unité 24 de surveillance de l'état de fonctionnement des moyens d'acquisition 4 et une unité 26 de surveillance des moyens d'interface 12. L'unité 24 permet de distinguer trois états des moyens d'acquisition 4 respectivement, sollicitation, actif et inactif.More particularly, these means 20 comprise a unit 22 for monitoring the signals delivered by the input units 2A and 2B, a unit 24 for monitoring the operating status of the acquisition means 4 and a unit 26 for monitoring the means. interface 12. The unit 24 makes it possible to distinguish three states of the acquisition means 4 respectively, solicitation, active and inactive.
L'état de sollicitation correspond par exemple à l'activation d'un bouton de mise en service d'une unité d'entrée. L'état actif correspond à l'état dans lequel les moyens d'acquisition 4 peuvent effectivement recevoir des données et l'état inactif est l'état dans lequel les moyens d'acquisition 4 ne sont ni utilisés, ni sollicités.The solicitation state corresponds for example to the activation of a commissioning button of an input unit. The active state corresponds to the state in which the acquisition means 4 can actually receive data and the inactive state is the state in which the acquisition means 4 are neither used nor solicited.
L'unité 22 reçoit l'information d'état des moyens d'acquisition 4 délivrée par l'unité 24 et effectue une surveillance directe des signaux délivrés par les unités d'entrée de données 2A et 2B. Ainsi, l'unité 22 permet de distinguer trois états différents, à savoir un état de surveillance d'entrée de données, un état d'attente de traitement local correspondant à un état inactif des moyens d'acquisition 4 conjugué à un traitement en cours du signal reçu et enfin, un état de non réception correspondant à l'absence de détection d'entrée de données sur les unités d'entrée.The unit 22 receives the status information of the acquisition means 4 delivered by the unit 24 and directly monitors the signals delivered by the data input units 2A and 2B. Thus, the unit 22 makes it possible to distinguish three different states, namely a data entry monitoring state, a local processing waiting state corresponding to an inactive state of the acquisition means 4 conjugated to a processing in progress. of the received signal and finally, a state of non-reception corresponding to the absence of data entry detection on the input units.
L'état de non réception peut en particulier résulter d'un signal d'entrée d'intensité trop faible. En effet, l'unité 22 permet de réaliser une surveillance des signaux de manière à s'assurer de leur qualité.The state of non-reception may in particular result from an input signal with a weak intensity. Indeed, the unit 22 makes it possible to monitor the signals so as to ensure their quality.
Enfin, les moyens 20 comprennent une unité 26 de surveillance des moyens d'interface 12 qui peut basculer entre des états de réception d'informations, d'émission d'informations, de traitement de conversion et d'échec de conversion.Finally, the means 20 comprise a unit 26 for monitoring the interface means 12 which can switch between states of information reception, information transmission, conversion processing and conversion failure.
Les moyens 20 d'analyse sont adaptés pour transmettre les informations d'état délivrées par l'unité 22 et par l'unité 26 à des moyens 30 de détermination d'une information d'état du système.The analysis means 20 are adapted to transmit the status information delivered by the unit 22 and the unit 26 to means 30 for determining a system status information.
Les moyens 30 sont adaptés pour déterminer une information d'état global du système qui est sélectionnée, dans l'exemple décrit, parmi un état d'attente, un état d'entrée de données sur un canal, un état de traitement d'une entrée de données, un état d'échec de traitement d'une entrée de données, un état d'interrogation de l'unité de traitement, un état de téléchargement des données depuis l'unité de traitement, un état de restitution des données vers l'utilisateur.The means 30 are adapted to determine an overall system status information which is selected, in the example described, from a waiting state, a data input state on a channel, a processing state of a data entry, a data input processing failure state, a processing unit interrogation status, a data download state from the processing unit, a data output status to a data input the user.
Les moyens 30 sont en outre adaptés pour effectuer une hiérarchisation et un regroupement des états simultanés du système, de manière à délivrer une information synthétique d'état du système aux moyens de pilotage 8 pour la restitution de cette information d'état du système par le biais des unités de restitution 6A et 6B.The means 30 are further adapted to perform a hierarchy and a grouping of the simultaneous states of the system, so as to to deliver a synthetic system status information to the control means 8 for the return of this system status information through the restitution units 6A and 6B.
Enfin, le système comprend des moyens de synchronisation des canaux de restitution formés d'une unité de synchronisation 4OA reliée à l'unité de traitement 10 et d'une unité de synchronisation 4OB reliée aux moyens de pilotage 8.Finally, the system comprises means for synchronizing the reproduction channels formed by a synchronization unit 4OA connected to the processing unit 10 and a synchronization unit 4OB connected to the control means 8.
On va maintenant décrire le fonctionnement de ce système.We will now describe the operation of this system.
Initialement, le système est dans un état d'attente. Cette information d'état est déterminée par les moyens 30 et transmise aux moyens de pilotage 8 qui commandent, par exemple, l'affichage sur l'écran 6A d'une icône correspondant.Initially, the system is in a waiting state. This state information is determined by the means 30 and transmitted to the control means 8 which control, for example, the display on the screen 6A of a corresponding icon.
L'utilisateur décide ensuite d'effectuer une entrée vocale et active un bouton de mise en service du microphone 2B. L'unité 24 détecte cette action et passe dans l'état de sollicitation d'une entrée de données, cette information d'état est transmise par les moyens 30, ce qui entraîne l'affichage sur l'écran 6A d'une icône indiquant qu'une entrée de données est requise.The user then decides to make a voice input and activates a button to turn on the microphone 2B. The unit 24 detects this action and goes into the request state of a data input, this status information is transmitted by the means 30, which causes the display on the screen 6A of an icon indicating that a data entry is required.
Eventuellement, les moyens d'acquisition 4 sont actifs quelques instants après seulement, cet état actif étant détecté par l'unité 24, l'unité 22 basculant alors dans un état de surveillance d'entrée de données vocales. Cette information d'état est transmise aux moyens 30 qui passent dans un état de traitement d'une entrée de données. Cette information d'état est répercutée aux moyens de pilotage 8 afin de permettre, par exemple, l'émission d'un signal sonore par le haut-parleur 6B et l'affichage simultané d'un indice visuel sur l'écran 6A. Le signal sonore permet d'indiquer à l'utilisateur que le système est prêt à recevoir l'entrée vocale de données.Optionally, the acquisition means 4 are active a few moments later only, this active state being detected by the unit 24, the unit 22 then switching to a voice data input monitoring state. This state information is transmitted to the means 30 which goes into a processing state of a data entry. This state information is passed on to the control means 8 in order to allow, for example, the emission of a sound signal by the loudspeaker 6B and the simultaneous display of a visual index on the screen 6A. The audible signal informs the user that the system is ready to receive voice data input.
L'utilisateur peut alors entamer l'entrée de données vocales, par exemple l'entrée d'une commande vocale. Eventuellement, si aucune donnée n'est détectée pendant un certain temps, l'unité 22 bascule dans un état de non-réception, cet état est détecté par le biais de l'unité 22, des moyens 30 et de l'unité de pilotage 8, et se traduit par l'émission d'un nouveau signal sonore différent du précédent, traduisant l'échec de la saisie vocale et invitant l'utilisateur à recommencer son entrée de données vocales.The user can then initiate the input of voice data, for example the input of a voice command. Optionally, if no data is detected for a certain time, the unit 22 switches to a non-reception state, this state is detected through the unit 22, means 30 and the control unit. 8, and results in the emission of a new sound signal different from the previous one, reflecting the failure voice input and prompting the user to re-enter their voice data.
Avantageusement, une information de qualité de signal délivrée par l'unité 22 est affichée par le biais de l'écran 6A. Par exemple, un graphique de puissance du signal est affiché en même temps qu'un seuil de tolérance, permettant ainsi à l'utilisateur d'adapter sa position et son élocution pour délivrer un signal suffisamment puissant et éviter de basculer dans un état de non- réception.Advantageously, signal quality information delivered by the unit 22 is displayed through the screen 6A. For example, a signal strength graph is displayed along with a tolerance threshold, thus allowing the user to adapt his position and his speech to deliver a sufficiently powerful signal and avoid switching to a state of no - reception.
Si les moyens d'acquisition 4 détectent un signal, l'unité 24 transmet cet état, de sorte que les moyens 30 délivrent une information d'état du système de traitement de la commande vocale.If the acquisition means 4 detect a signal, the unit 24 transmits this state, so that the means 30 delivers a status information of the processing system of the voice command.
Les données vocales entrées sont ensuite transmises par les moyens d'acquisition 4 aux moyens d'interface 12 qui les convertissent dans un format adapté pour les transmettre à l'unité de traitement 10. Par exemple, les moyens d'interface 12 convertissent ce signal en texte à l'aide d'une unité de reconnaissance de la parole.The input voice data is then transmitted by the acquisition means 4 to the interface means 12 which converts them into a format adapted to transmit them to the processing unit 10. For example, the interface means 12 convert this signal in text using a speech recognition unit.
Toutefois, si les moyens d'interface 12 échouent à convertir les données d'entrée, par exemple dans le cas où l'unité de reconnaissance de la parole ne parvient pas à identifier une commande vocale, l'unité 26 de surveillance des moyens 30 bascule dans un état d'échec. Cela se traduit comme précédemment par la restitution d'une information d'état d'échec du traitement de la commande vocale à l'utilisateur.However, if the interface means 12 fails to convert the input data, for example in the case where the speech recognition unit fails to identify a voice command, the unit 26 for monitoring the means 30 flips into a state of failure. This is reflected as previously by the return of a failure state information of the processing of the voice command to the user.
Dans le cas où les données d'entrée vocales sont converties et transmises à l'unité de traitement 10, elles sont traitées et dans le cas d'une commande reconnue, entraînent l'exécution d'une application.In the case where the voice input data are converted and transmitted to the processing unit 10, they are processed and in the case of a recognized command, cause the execution of an application.
Cette exécution se traduit, par exemple, par la détermination d'une réponse à restituer à l'utilisateur.This execution is reflected, for example, by determining a response to be returned to the user.
Dans le mode de réalisation décrit, cette réponse se présente sous la forme d'un contenu multimodal comprenant des informations visuelles et des informations audiophoniques. Les données formant cette réponse, sont transmises par l'unité de traitement 10 aux moyens d'interface 12, lesquels convertissent chacun des flux de données dans un format adapté avant de les transmettre à l'unité de pilotage 8. Au cours de cette transmission, l'unité 26 bascule dans l'état de téléchargement d'informations, cette information d'état étant déterminée comme précédemment par les moyens 30 et restituée à l'utilisateur.In the embodiment described, this response is in the form of a multimodal content comprising visual information and audio information. The data forming this response are transmitted by the processing unit 10 to the interface means 12, which convert each of the data streams into a suitable format before transmitting them to the control unit 8. During this transmission, the unit 26 switches to the information download state, this status information being determined as previously by the means 30 and returned to the user.
Les unités de synchronisation 4OA et 4OB déterminent l'ordre dans lequel les différentes données doivent être transmises de l'unité de traitement 10 vers les moyens de pilotage 8 et l'ordre dans lequel les moyens de pilotage 8 doivent piloter la restitution des informations sur les unités de restitution 6A et 6B.The synchronization units 4OA and 4OB determine the order in which the different data must be transmitted from the processing unit 10 to the control means 8 and the order in which the control means 8 must control the restitution of the information on the data. the restitution units 6A and 6B.
Lorsque les premiers éléments à restituer sont entièrement disponibles, c'est-à-dire que toutes les données les constituants ont été téléchargées depuis l'unité de traitement 10 vers les moyens de pilotage 8, la restitution débute. Ce qui se traduit par le basculement des moyens 30 dans un état de restitution en cours, cette information d'état étant restituée à l'utilisateur en même temps que les éléments disponibles.When the first elements to be restored are fully available, that is to say that all data constituents have been downloaded from the processing unit 10 to the control means 8, the restitution begins. This results in the switching of the means 30 in a state of restitution in progress, this status information being returned to the user at the same time as the available items.
Le système peut simultanément gérer des états de téléchargement de données et des états de restitution en fonction de la disponibilité des éléments à restituer.The system can simultaneously manage data download states and rendering states depending on the availability of the elements to be rendered.
Notamment, les unités 4OA et 40B permettent d'assurer une hiérarchie entre la transmission des données audiophoniques et visuelles et de synchroniser la restitution des données visuelles et audiophoniques. A. la fin des téléchargements et des restitutions, le système retourne dans un état d'attente, qui est détecté par les moyens 30, l'information d'état étant restituée à l'utilisateur.In particular, the units 4OA and 40B make it possible to ensure a hierarchy between the transmission of audio and visual data and to synchronize the reproduction of visual and audiophonic data. A. the end of downloads and renditions, the system returns to a state of waiting, which is detected by the means 30, the status information being returned to the user.
Dans un autre mode de réalisation, chaque unité des moyens d'analyse 20 est directement reliée à l'unité de pilotage 8 et délivre une information relative à l'état de fonctionnement d'un composant du système tels que les moyens d'acquisition ou les moyens d'interface. Ceci permet de délivrer à l'utilisateur des informations détaillées de l'état de chacun des composants du système. Par exemple, une information d'état générale du système est restituée de manière visuelle, tandis qu'une information d'état de traitement du signal vocal est restituée de manière sonore.In another embodiment, each unit of the analysis means 20 is directly connected to the control unit 8 and delivers information relating to the operating state of a component of the system such as the means of acquisition or the interface means. This provides the user with detailed information on the status of each of the system components. For example, a system status information is visually reproduced, while a speech signal processing status information is sound reproduced.
Ainsi, l'utilisateur est informé en permanence de l'état de fonctionnement du système et avantageusement de l'état de chaque élément. Sur la figure 2, on a représenté de manière générale un autre mode de réalisation d'un système de l'invention articulé autour d'un réseau de transfert d'informations.Thus, the user is constantly informed of the operating state of the system and advantageously of the state of each element. In Figure 2, there is shown generally another embodiment of a system of the invention articulated around an information transfer network.
Sur cette figure, un terminal 50, tel que par exemple un assistant personnel électronique ou PDA, est relié à un réseau de transfert d'informations tel que le réseau Internet 60 au travers duquel différents serveurs sont accessibles. Notamment un serveur 62 d'interface et un serveur 64 d'application sont connectés au réseau 60.In this figure, a terminal 50, such as for example an electronic personal assistant or PDA, is connected to an information transfer network such as the Internet network 60 through which different servers are accessible. In particular, an interface server 62 and an application server 64 are connected to the network 60.
Dans un tel mode de réalisation, les différents éléments du système peuvent être répartis entre les équipements connectés au réseau 60. Par exemple, le terminal 50 comprend les unités d'entrée 2A, 2B, ainsi que les moyens d'acquisition 4 correspondants, les unités de restitution 6A, 6B ainsi que les moyens de pilotage 8 correspondants. Le terminal 50 comprend également les moyens 20 d'analyse, 30 de détermination d'un état de fonctionnement du système et 4OB de synchronisation.In such an embodiment, the various elements of the system can be distributed between the equipment connected to the network 60. For example, the terminal 50 comprises the input units 2A, 2B, as well as the corresponding acquisition means 4, the restitution units 6A, 6B and the corresponding control means 8. The terminal 50 also comprises the means 20 for analyzing, 30 determining a system operating state and 4OB synchronization.
Le serveur 62 comprend les moyens d'interface 12 et le serveur 64 l'unité de traitement 10.The server 62 comprises the interface means 12 and the server 64 the processing unit 10.
Bien entendu, chacun des éléments comprend des moyens classiques d'émission et de réception d'informations sur le réseau 60, non représentés. Le fonctionnement de ce système est sensiblement identique à celui du système décrit précédemment à la seule différence que les délais résultants de certaines étapes de téléchargement et de transmission d'informations peuvent être plus longs. Des états intermédiaires pour chaque élément peuvent être définis en conséquence. Bien entendu, d'autres modes de réalisation et notamment d'autres répartitions des éléments peuvent être envisagés. De plus, des moyens d'analyse peuvent comprendre différentes unités de surveillance en fonction du système impliqué et des états différents peuvent également être définis. En particulier, l'invention peut être adaptée pour prendre en compte d'autres modalités d'entrée et de sortie d'informations qui peuvent être disponibles.Of course, each of the elements comprises conventional means for transmitting and receiving information on the network 60, not shown. The operation of this system is substantially identical to that of the system described above with the only difference that the delays resulting from certain stages of downloading and transmission of information may be longer. Intermediate states for each element can be defined accordingly. Of course, other embodiments and in particular other distributions of the elements can be envisaged. In addition, analysis means may comprise different monitoring units depending on the system involved and different states may also be defined. In particular, the invention may be adapted to take into account other methods of input and output of information that may be available.
La figure 3 illustre sous la forme d'un organigramme les étapes principales d'un procédé de communication d'informations relatives à l'état de fonctionnement général d'un système de communication multimodal synchrone, conforme à l'invention. Ce procédé est mis en œuvre dans le terminal tel que décrit en référence aux figures 1 et 2. L'étape E31 est une étape d'obtention des états de fonctionnement provenant de différentes unités du système de communication décrit en référence aux figures 1 et 2. Par exemple, les états de fonctionnements sont relatifs aux fonctionnements des unités d'entrées (2A, 2B), des moyens d'acquisition 4 et des moyens d'interface 12. Il est possible de recevoir d'autres états de fonctionnement selon les unités disponibles dans le système de communication.FIG. 3 illustrates in the form of a flow chart the main steps of a method of communicating information relating to the general operating state of a synchronous multimodal communication system according to the invention. This method is implemented in the terminal as described with reference to FIGS. 1 and 2. The step E31 is a step of obtaining the operating states coming from different units of the communication system described with reference to FIGS. For example, the operating states relate to the operations of the input units (2A, 2B), the acquisition means 4 and the interface means 12. It is possible to receive other operating states according to the units available in the communication system.
Ces états de fonctionnements proviennent de l'unité de surveillance des unités d'entrées, de l'unité de surveillance des moyens d'acquisition et de l'unité de surveillance des moyens d'interface.Ainsi, des exemples d'états de fonctionnement des unités d'entrée sont un état de surveillance d'entrée de données, un état d'attente de traitement local et un état de non réception.These operating states come from the monitoring unit of the input units, the monitoring unit of the acquisition means and the monitoring unit of the interface means. Thus, examples of operating states input units are a data entry monitoring state, a local processing standby state, and a non-receiving state.
Les états de fonctionnement relatifs aux moyens d'acquisition sont par exemple un état actif, un état inactif et un état de sollicitation.The operating states relating to the acquisition means are, for example, an active state, an inactive state and a bias state.
Les états de fonctionnement relatifs aux moyens d'interface sont des états relatifs à l'état de traitement des données échangées entre l'utilisateur et l'unité de traitement de données. Ces états sont par exemple un état de réception d'informations, d'émission d'informations, de traitement de conversion et d'échec de conversion.The operating states relating to the interface means are states relating to the state of processing of the data exchanged between the user and the data processing unit. These states are for example a state of information reception, information transmission, conversion processing and conversion failure.
L'étape E31 est suivie de l'étape E32 dans laquelle les états de fonctionnements des unités sont analysés et dans laquelle on détermine une information d'état de fonctionnement général du système appelé également information d'état du système en fonction des états de fonctionnements obtenus à l'étape précédente.The step E31 is followed by the step E32 in which the operating states of the units are analyzed and in which a system general operating state information is determined, also called system state information as a function of the operating states. obtained in the previous step.
L'information d'état du système est par exemple:The state information of the system is for example:
- un état d'attente;- a state of waiting;
- un état d'entrée de données;- a data entry state;
- un état de traitement d'une entrée de données; - un état d'échec de traitement d'une entrée de données;a processing status of a data entry; a failure state of processing a data entry;
- un état d'interrogation de l'unité de traitement;an interrogation state of the processing unit;
- un état de téléchargement des données depuis l'unité de traitement;a state of downloading the data from the processing unit;
- un état de restitution des données à l'utilisateur. Pour cela les moyens de détermination d'informations d'état du système (30) procèdent à une hiérarchisation des états de fonctionnement obtenus.a state of restitution of the data to the user. For this, the system state information determination means (30) perform a hierarchy of the operating states obtained.
Voici un exemple de hiérarchisation des états de fonctionnement dans le cas où il y a plusieurs entrées simultanées. Une première entrée peut être, par exemple, terminée (les moyens d'acquisition (4) lui étant associé sont dans un état inactif), la second entrée, quant à elle, peut être en cours d'acquisition (état actif) et les moyens d'interface (20) en état de réception d'informations (correspond à la première entrée). Dans cet exemple, l'état du système sera en état de traitement d'une entrée. L'état du système ne passera en état d'interrogation de l'unité de traitement que lorsque tous les moyens d'acquisition (4) seront à nouveau inactifs et que les moyens d'interface (20) ne seront plus en état de réception d'informations pour aucune des entrées.Here is an example of a hierarchy of operating states in case there are several simultaneous entries. A first entry may be, for example, terminated (the acquisition means (4) associated with it are in an inactive state), the second entry, for its part, may be in the course of acquisition (active state) and the interface means (20) in the information receiving state (corresponds to the first input). In this example, the system state will be in processing state of an entry. The state of the system will only enter the interrogation state of the processing unit when all the acquisition means (4) are again inactive and the interface means (20) are no longer in the reception state. information for any of the entries.
L'étape E32 est suivie de l'étape E33 dans laquelle l'information d'état du système ainsi déterminée est transmise aux moyens de restitution de données (6A, 6B) pour être restituée à l'étape E34 à l'utilisateur par exemple sous la forme d'un affichage ou d'un signal sonore ou la combinaison des deux via, dans ce dernier cas, des moyens de synchronisation.The step E32 is followed by the step E33 in which the state information of the system thus determined is transmitted to the data restitution means (6A, 6B) to be restored to the step E34 to the user for example in the form of a display or an audible signal or the combination of the two via, in the latter case, synchronization means.
Une telle information d'état du système permet ainsi à l'utilisateur d'avoir une vision fine sur l'état d'avancement des différentes phases du traitement des données à la fois lors de l'entrée des données utilisateur et lors du traitement des données par l'unité de traitement. Il peut ainsi agir en conséquence, soit par exemple en entrant à nouveau des données non reçues, soit en attendant une restitution à venir ou un téléchargement de données. Ces informations d'état du système aide l'utilisateur à organiser et à planifier les étapes le menant à réaliser sa tâche, un contrôle étant effectué à chaque étape. Dans un mode de réalisation possible, une information relative à la qualité du signal d'entrée est donnée en même temps que l'information d'état d'entrée de données afin que l'utilisateur adapte son signal d'entrée. Enfin, l'invention peut être mise en œuvre au moyen de programmes ou parties de programmes contenant des portions de code pour réaliser les fonctions décrites précédemment lorsque le programme est exécuté sur un ordinateurs ou un dispositif apparenté tel qu'un PDA, un téléphone mobile ou autre. Notamment, un tel programme doit être adapté pour réaliser une analyse de l'état de fonctionnement général du système, déterminer des informations d'état du système et piloter leur restitution lorsque le programme est exécuté par un ordinateur. Le programme d'ordinateur est adapté à la mise en œuvre d'un procédé tel que décrit en référence à la figure 3 lorsque le programme est chargé et exécuté par un ordinateur. Such system status information thus enables the user to have a fine view of the state of progress of the different phases of the data processing at the time of the input of the user data and during the processing of the data. given by the processing unit. It can thus act accordingly, either for example by entering again data not received, or waiting for a restitution to come or a download of data. This system status information helps the user to organize and plan the steps leading up to the task, a check being performed at each step. In one possible embodiment, information relating to the quality of the input signal is provided at the same time as the data input status information so that the user adapts his input signal. Finally, the invention can be implemented by means of programs or parts of programs containing portions of code to perform the functions described above when the program is run on a computer or a related device such as a PDA, a mobile phone Or other. In particular, such a program must be adapted to perform an analysis of the general operating state of the system, determining system status information and controlling their return when the program is executed by a computer. The computer program is adapted to implement a method as described with reference to Figure 3 when the program is loaded and executed by a computer.

Claims

REVENDICATIONS
1. Système de communication multimodal synchrone entre un utilisateur et au moins une unité de traitement de données (10) comprenant une ou plusieurs unités d'entrée de données (2A, 2B) par l'utilisateur, chacune reliée à des moyens d'acquisition de données (4), une ou plusieurs unités de restitution de données (6A, 6B) à l'utilisateur, chacune pilotée par des moyens de pilotage (8) et des moyens d'interface (12) adaptés pour assurer les échanges de données entre ladite unité de traitement (10) d'une part, et lesdits moyens d'acquisition (4) et de pilotage (8) d'autre part, caractérisé en ce que le système comprend en outre des moyens (20) d'analyse de l'état de fonctionnement des unités d'entrée, des moyens d'acquisition et des moyens d'interface, , ces moyens d'analyse (20) étant reliés à des moyens (30) de détermination d'informations d'état du système, eux-mêmes reliés aux moyens de pilotage (8) d'au moins une unité de restitution (6A, 6B) pour la restitution des informations d'état du système.A synchronous multimodal communication system between a user and at least one data processing unit (10) comprising one or more data input units (2A, 2B) by the user, each connected to acquisition means of data (4), one or more data retrieval units (6A, 6B) to the user, each driven by control means (8) and interface means (12) adapted to provide data exchange between said processing unit (10) on the one hand, and said acquisition (4) and control means (8) on the other hand, characterized in that the system further comprises analysis means (20) the operating state of the input units, the acquisition means and the interface means, said analysis means (20) being connected to means (30) for determining status information of the system, themselves connected to the control means (8) of at least one reproduction unit (6A, 6B) for the re setting the system status information.
2. Système selon la revendication 1 , caractérisé en ce que lesdits moyens d'analyse (20) comprennent une unité (22) de surveillance des unités d'entrée (2A, 2B), une unité (24) de surveillance de l'état de fonctionnement des moyens d'acquisition (4) et une unité (26) de surveillance des moyens d'interface (12).2. System according to claim 1, characterized in that said analysis means (20) comprise a unit (22) for monitoring the input units (2A, 2B), a unit (24) for monitoring the state. operating the acquisition means (4) and a unit (26) for monitoring the interface means (12).
3. Système selon l'une quelconque des revendications 1 et 2, caractérisé en ce que lesdits moyens (30) de détermination d'une information d'état du système sont adaptés pour sélectionner au moins un état dans le groupe constitué de : - un état d'attente ;3. System according to any one of claims 1 and 2, characterized in that said means (30) for determining a system status information are adapted to select at least one state in the group consisting of: - a waiting state;
- un état d'entrée de données ;- a data entry state;
- un état de traitement d'une entrée de données ;a processing status of a data entry;
- un état d'échec de traitement d'une entrée de données ;a failure state of processing a data entry;
- un état d'interrogation de l'unité de traitement ; - un état de téléchargement des données depuis l'unité de traitement ; et -an interrogation state of the processing unit; a state of downloading the data from the processing unit; and -
- un état de restitution des données à l'utilisateur.a state of restitution of the data to the user.
4. Système selon l'une quelconque des revendications 1 à 3, caractérisé en ce que lesdits moyens (30) de détermination d'un état de fonctionnement du système sont adaptés pour déterminer l'état de fonctionnement du système en fonction d'une hiérarchie de différents états simultanés des éléments du système.4. System according to any one of claims 1 to 3, characterized in that said means (30) for determining a state of System operation are adapted to determine the operating state of the system according to a hierarchy of different simultaneous states of the elements of the system.
5. Système selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'il comprend en outre des moyens (40A1 40B) de synchronisation de la restitution de données.5. System according to any one of claims 1 to 4, characterized in that it further comprises means (40A 1 40B) for synchronization of the data restitution.
6. Système selon la revendication 5, caractérisé en ce que lesdits moyens de synchronisation (4OA, 40B) comprennent une unité de synchronisation de la transmission de données depuis ladite unité de traitement (10) vers lesdits moyens d'interface (12) et une unité de synchronisation de la restitution de données pilotée par lesdits moyens de pilotage (8).6. System according to claim 5, characterized in that said synchronization means (40A, 40B) comprise a synchronization unit of the data transmission from said processing unit (10) to said interface means (12) and a synchronization unit of the data restitution driven by said control means (8).
7. Système selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comprend un réseau de transfert d'informations (60) intercalé entre différents éléments du système. 7. System according to any one of claims 1 to 6, characterized in that it comprises an information transfer network (60) interposed between different elements of the system.
8. Système selon la revendication 7, caractérisé en ce que ledit réseau de transfert d'informations (60) est intercalé entre lesdits moyens (4) d'acquisition et (8) de pilotage d'une part et lesdits moyens (12) d'interface d'autre part.8. System according to claim 7, characterized in that said information transfer network (60) is interposed between said acquisition means (4) and (8) on the one hand and said means (12) d interface on the other hand.
9. Système selon l'une quelconque des revendications 7 et 8, caractérisé en ce que lesdits moyens (12) d'interface sont adaptés pour être reliés à plusieurs unités de traitement au travers dudit réseau de transfert d'informations (60).9. System according to any one of claims 7 and 8, characterized in that said means (12) interface are adapted to be connected to a plurality of processing units through said information transfer network (60).
10. Système selon l'une quelconque des revendications 1 à 6, caractérisé en ce que tous les éléments du système sont intégrés dans un même dispositif. 10. System according to any one of claims 1 to 6, characterized in that all the elements of the system are integrated in the same device.
11. Procédé de communication d'informations relatives à l'état de fonctionnement général d'un système de communication multimodal synchrone, le système comportant au moins une unité de traitement de données (10), une ou plusieurs unités d'entrée de données (2A, 2B) par un utilisateur, chacune reliée à des moyens d'acquisition de données (4), une ou plusieurs unités de restitution de données (6A, 6B) à l'utilisateur, chacune pilotée par des moyens de pilotage (8) et des moyens d'interface (12) adaptés pour assurer les échanges de données entre ladite unité de traitement d'une part, et lesdits moyens d'acquisition (4) et de pilotage (8) d'autre part, caractérisé en ce qu'il comporte les étapes suivantes: -obtention des états de fonctionnement des unités d'entrée, des moyens d'acquisition et des moyens d'interface;11. A method of communicating information about the general operating state of a synchronous multimodal communication system, the system comprising at least one data processing unit (10), one or more data input units ( 2A, 2B) by a user, each connected to data acquisition means (4), one or more data restitution units (6A, 6B) to the user, each driven by control means (8) and interface means (12) adapted to ensure data exchange between said processing unit on the one hand, and said acquisition (4) and control (8) means on the other hand, characterized in that it includes the following steps: obtaining the operating states of the input units, the acquisition means and the interface means;
- analyse des états de fonctionnement obtenus et détermination d'une information d'état de fonctionnement général du système dit information d'état du système en fonction des états de fonctionnement obtenus;analysis of the operating states obtained and determination of a general operating state information of the system, said system state information as a function of the operating states obtained;
- transmission de l'information d'état du système aux moyens de restitution de données pour une restitution de l'information à l'utilisateur.transmission of the system status information to the data retrieval means for retrieval of the information to the user.
12. Procédé selon la revendication 11 , caractérisé en ce que l'étape d'analyse des états de fonctionnement obtenus s'effectue par une hiérarchisation des états de fonctionnement obtenus.12. The method as claimed in claim 11, characterized in that the step of analyzing the operating states obtained is performed by a hierarchy of the operating states obtained.
13. Procédé selon l'une quelconque des revendications 11 et 12, caractérisé en ce que l'information d'état du système est au moins un état dans le groupe constitué de:Method according to one of claims 11 and 12, characterized in that the system status information is at least one of the group consisting of:
- un état d'attente ; - un état d'entrée de données ;- a state of waiting; - a data entry state;
- un état de traitement d'une entrée de données ;a processing status of a data entry;
- un état d'échec de traitement d'une entrée de données ;a failure state of processing a data entry;
- un état d'interrogation de l'unité de traitement ;an interrogation state of the processing unit;
- un état de téléchargement des données depuis l'unité de traitement ; eta state of downloading the data from the processing unit; and
- un état de restitution des données à l'utilisateur.a state of restitution of the data to the user.
14. Procédé selon la revendication 13, caractérisé en ce qu'une information relative à la qualité du signal d'entrée de données est associée à l'information d'état d'entrée de données. The method of claim 13, characterized in that information relating to the quality of the data input signal is associated with the data input status information.
15. Terminal de communication multimodal synchrone apte à établir une communication entre un utilisateur et au moins une unité de traitement de données distante, le terminal comprenant une ou plusieurs unités d'entrée de données (2A, 2B) par l'utilisateur, chacune reliée à des moyens d'acquisition de données (4), une ou plusieurs unités de restitution de données (6A, 6B) à l'utilisateur, chacune pilotée par des moyens de pilotage (8), les échanges de données entre ladite unité de traitement (10) d'une part, et lesdits moyens d'acquisition (4) et de pilotage (8) d'autre part étant assurés par des moyens d'interface (12) distants, caractérisé en ce que le terminal comprend en outre des moyens d'obtention des états de fonctionnement des unités d'entrée, des moyens d'acquisition et des moyens d'interface reliés à des moyens (20) d'analyse des états de fonctionnement, ces moyens d'analyse (20) étant reliés à des moyens (30) de détermination d'informations d'état du système, eux-mêmes reliés aux moyens de pilotage (8) d'au moins une unité de restitution (6A, 6B) pour la restitution des informations d'état du système.15. Synchronous multimodal communication terminal capable of establishing communication between a user and at least one remote data processing unit, the terminal comprising one or more data input units (2A, 2B) by the user, each connected data acquisition means (4), one or more data retrieval units (6A, 6B) to the user, each driven by control means (8), data exchanges between said processing unit (10) on the one hand, and said acquisition means (4) and control means (8) on the other hand being provided by remote interface means (12), characterized in that the terminal further comprises means for obtaining operating states of the input units, means for acquisition and interface means connected to means (20) for analyzing the operating states, these analysis means (20) being connected to means (30) for determining system status information , themselves connected to the control means (8) of at least one reproduction unit (6A, 6B) for the return of the system status information.
16. Programme caractérisé en ce qu'il comprend des portions de codes pour réaliser une analyse de l'état de fonctionnement général du système, déterminer des informations d'état du système et piloter leur restitution correspondant aux étapes du procédé selon les revendications 11 à 14 lorsque le programme est exécuté par un ordinateur ou un dispositif apparenté tel qu'un PDA, un téléphone mobile ou autre. 16. Program characterized in that it comprises portions of codes for performing an analysis of the general operating state of the system, determining system status information and controlling their return corresponding to the steps of the method according to claims 11 to 14 when the program is executed by a computer or a related device such as a PDA, a mobile phone or the like.
PCT/FR2005/003036 2004-12-09 2005-12-05 Synchronous multimodal communication system WO2006061498A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0413154 2004-12-09
FR0413154 2004-12-09

Publications (1)

Publication Number Publication Date
WO2006061498A1 true WO2006061498A1 (en) 2006-06-15

Family

ID=34951575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2005/003036 WO2006061498A1 (en) 2004-12-09 2005-12-05 Synchronous multimodal communication system

Country Status (1)

Country Link
WO (1) WO2006061498A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040025115A1 (en) * 2002-08-05 2004-02-05 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
WO2004090713A1 (en) * 2003-04-07 2004-10-21 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
WO2004104778A2 (en) * 2003-05-19 2004-12-02 Modular Computing & Communications Corporation Apparatus and method for mobile personal computing and communications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040025115A1 (en) * 2002-08-05 2004-02-05 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
WO2004090713A1 (en) * 2003-04-07 2004-10-21 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
WO2004104778A2 (en) * 2003-05-19 2004-12-02 Modular Computing & Communications Corporation Apparatus and method for mobile personal computing and communications

Similar Documents

Publication Publication Date Title
EP1606795B1 (en) Distributed speech recognition system
WO2006090080A1 (en) Method and system for supplying information to participants in a telephone conversation
WO2009124955A9 (en) System and method of distributed and modular communication comprising a mobile terminal capable of communicating with a remote terminal linked in a network with a server
WO2006061498A1 (en) Synchronous multimodal communication system
WO2001045375A1 (en) Real time processing and management method for canceling out the echo between a loudspeaker and a microphone of a computer terminal
EP1672875A2 (en) Method of remotely controlling a fixed telephone handset
EP3219090B1 (en) Communication method and device
FR3086478A1 (en) MANAGEMENT OF THE OPERATION OF A REMOTE CONTROL WHEN RECEIVING A TELEPHONE CALL.
EP1287668A1 (en) Method and device for connection without telephone number disclosure
EP2351340B1 (en) Communication method using a digital image, and data transmission method
EP1508237B1 (en) Communication protocol between a voice application module and a voice platform in a voice server
WO2006100384A1 (en) Method and device for dynamic radio pairing between a peripheral station and an access point to a shared network
EP1739942B1 (en) Memorisation of data during a voice service
FR2919142A1 (en) METHOD FOR CONTROLLING A SERVICE PROVIDER FROM A MOBILE TERMINAL
WO2004051973A1 (en) Method for processing audio data on a network and device therefor
EP2100430B1 (en) Telecommunication method and system allowing at least two distinct users to access the same information set
EP1499090B1 (en) System and process for launching an application from a WAP terminal in shared mode
FR2871964A1 (en) METHOD FOR VALIDING A NUMBER IN AN ELECTRONIC APPARATUS AND ASSOCIATED ELECTRONIC APPARATUS
FR3120468A1 (en) Method for managing the configuration of a remote control.
FR3000357A1 (en) Method for transferring e.g. audio communication from e.g. smartphone to e.g. computer, involves receiving request for audio and/or video stream of communication and request for re-routing of stream from terminal to another terminal
EP1739889A1 (en) Method of accesing a document
EP1989845A1 (en) Managing a communication between a telecommunications system and a server
EP2134060A1 (en) Method and system of internet based communication wherein a called party can select the modality with which to be contacted
FR2888073A1 (en) Telephone conference controlling system for use with e.g. microphone, has conference controlling module communicating with telephone platform to lead to conference, and triggering automated processes of telephone linking of participant list
FR3079705A1 (en) COMMUNICATION BY VIDEO CONFERENCE

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05824606

Country of ref document: EP

Kind code of ref document: A1