FR2933225A1

FR2933225A1 - Information displaying method for e.g. terminal, involves displaying audio message and stored word respectively under chronological visual representation form and textual form at determined location with respect to position information

Info

Publication number: FR2933225A1
Application number: FR0854340A
Authority: FR
Inventors: Francois Toutain; Philippe Besombe
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2008-06-27
Filing date: 2008-06-27
Publication date: 2010-01-01

Abstract

The method involves storing a word extracted from an audio message by voice recognition, in association with a determined pertinence value for the word and with position information relative to chronological position of the word in the message. The audio message and the stored word that is selected based on the determined pertinence value, are respectively displayed under chronological visual representation form and textual form at a determined location with respect to the position information. The pertinence value is determined by semantic analysis of the message. Independent claims are also included for the following: (1) a device for displaying information relative to an audio message (2) a computer program comprising instructions to perform a method for displaying information relative to an audio message.

Description

-1- -1-

Procédé et dispositif de visualisation d'informations relatives à un message sonore, terminal associé Method and device for displaying information relating to a sound message, associated terminal

La présente invention concerne un procédé et un système de gestion de contenus sonores de type vocal. Des systèmes largement utilisés dans le domaine des communications, comme par exemple les services de type messagerie ou les boites vocales, comportent des enregistrements de messages vocaux. Ces services présentent chaque message vocal par le biais d'informations accessoires au message, telles que l'identité du correspondant, la date et l'heure du dépôt du message et fournissent un procédé permettant d'écouter le message. Par exemple, le contenu du message peut être entendu en cliquant sur une icône de haut-parleur affichée en association avec les informations accessoires au message. L'utilisateur n'a pas de moyens pour accéder aux informations pertinentes du message sans avoir à le parcourir en entier. La demande de brevet US 2002/0188453 décrit un procédé de traitement d'un fichier vocal dans le but de sélectionner une ou plusieurs parties du fichier et de transmettre cette ou ces parties à un ou plusieurs destinataires. Ce document divulgue notamment un mode de réalisation dans lequel un fichier vocal est retranscrit après analyse et affiché sur un écran pour permettre à un utilisateur de sélectionner une ou plusieurs parties du texte. Les parties sélectionnées sont ensuite transmises à un ou plusieurs destinataires. Chaque destinataire dispose alors d'informations pertinentes relatives au contenu du fichier vocal mais n'a pas accès directement au contenu initial. The present invention relates to a method and a system for managing voice-type sound content. Systems widely used in the field of communications, such as for example messaging services or voice mailboxes, include voice message records. These services present each voice message through information incidental to the message, such as the identity of the correspondent, the date and time of the message being posted, and provide a method for listening to the message. For example, the content of the message can be heard by clicking on a speaker icon displayed in conjunction with the information incidental to the message. The user does not have the means to access the relevant information of the message without having to browse it in full. The patent application US 2002/0188453 describes a method of processing a voice file for the purpose of selecting one or more parts of the file and of transmitting this or these parts to one or more recipients. This document notably discloses an embodiment in which a voice file is retranscribed after analysis and displayed on a screen to enable a user to select one or more parts of the text. The selected parts are then forwarded to one or more recipients. Each recipient then has relevant information about the contents of the voice file but does not have direct access to the original content.

La présente invention vient améliorer la situation. A cet effet, la présente invention propose un procédé de visualisation d'informations relatives à un message sonore caractérisé en ce que, au moins un mot extrait du message par reconnaissance vocale ayant été stocké en association avec une valeur de pertinence déterminée pour le mot et avec au moins une information de position relative à la position chronologique du mot dans le message, il comporte une 2933225 -2- The present invention improves the situation. For this purpose, the present invention proposes a method for displaying information relating to a sound message, characterized in that at least one word extracted from the voice recognition message has been stored in association with a value of relevance determined for the word and with at least one position information relating to the chronological position of the word in the message, it comprises a 2933225 -2-

étape d'affichage du message sonore sous forme d'une représentation visuelle chronologique et d'au moins un mot stocké sélectionné selon une valeur de pertinence prédéterminée sous forme textuelle à un emplacement déterminé en fonction de l'information de position 5 Ainsi, un utilisateur peut accéder de façon simple et rapide aux informations pertinentes d'un message sans avoir à le parcourir en entier tout en conservant le contenu dans son intégralité. L'utilisateur peut ainsi, se faire une idée rapide du contenu du message, par inspection visuelle, tout en ayant la possibilité de l'écouter. Ceci est particulièrement utile lorsque l'utilisateur a reçu plusieurs messages et qu'il 10 cherche à identifier le plus urgent. Selon un mode de réalisation du procédé de visualisation, la valeur de pertinence stockée est déterminée par analyse sémantique du message. L'utilisation d'une méthode d'analyse sémantique pour déterminer une valeur de pertinence permet de prendre en compte le contexte global du message. 15 Selon un autre mode de réalisation du procédé de visualisation utilisé seul ou en combinaison avec le mode de réalisation précédent, la valeur de pertinence stockée est déterminée par recherche dans une table de correspondance préétablie. L'utilisation d'une telle table permet une détermination rapide de la valeur de pertinence. Ce mode de réalisation est particulièrement adapté lorsque les messages à 20 visualiser ont trait à un domaine déterminé, par exemple un domaine scientifique particulier. Selon une caractéristique de l'invention, l'étape d'affichage comporte en outre, suite à une requête d'agrandissement de l'affichage du message, un affichage supplémentaire d'au moins un mot de valeur de pertinence inférieure en fonction du 25 degré d'agrandissement. Une requête d'agrandissement du message permet ainsi d'obtenir davantage de mots affichés sur une portion du message. L'utilisateur peut enchaîner les requêtes d'agrandissement jusqu'à obtenir l'affichage de l'intégralité du message sous forme textuelle. Selon une autre caractéristique, l'étape d'affichage comporte en outre 30 l'affichage d'au moins un mot précédent ledit mot stocké sélectionné. L'affichage 2933225 -3- step of displaying the sound message in the form of a chronological visual representation and at least one stored word selected according to a predetermined relevance value in textual form at a location determined according to the position information 5 Thus, a user can quickly and easily access relevant information from a message without having to browse it in full while retaining the content in its entirety. The user can thus get a quick idea of the content of the message, by visual inspection, while having the opportunity to listen to it. This is particularly useful when the user has received several messages and is trying to identify the most urgent. According to one embodiment of the visualization method, the stored relevance value is determined by semantic analysis of the message. The use of a semantic analysis method to determine a relevance value makes it possible to take into account the global context of the message. According to another embodiment of the visualization method used alone or in combination with the previous embodiment, the stored relevance value is determined by searching in a pre-established correspondence table. The use of such a table allows a quick determination of the relevance value. This embodiment is particularly suitable when the messages to be displayed relate to a specific field, for example a particular scientific field. According to a characteristic of the invention, the display step further comprises, following a request for enlargement of the display of the message, an additional display of at least one word of value of lesser relevance depending on the 25 degree of enlargement. A request for enlarging the message thus makes it possible to obtain more words displayed on a portion of the message. The user can chain the magnification requests until the entire message is displayed in textual form. According to another characteristic, the display step further comprises displaying at least one word preceding said selected stored word. The display 2933225 -3-

d'une portion de phrase contenant le mot affiché permet de présenter le mot dans son contexte. Dans un mode de réalisation, le mot est affiché sous forme de bulle. L'affichage sous forme de bulles permet un affichage séparé des différents mots et 5 permet d'attribuer à chaque mot un espace permettant une lecture aisée tout en pointant précisément sur la représentation visuelle chronologique. Selon un mode de réalisation, au moins un paramètre d'affichage varie en fonction du locuteur et/ou de la nature du message. Ainsi, un utilisateur peut facilement identifier le changement de locuteur ou une portion de message d'un type 10 différent, par exemple un morceau de musique. L'invention propose également un dispositif de visualisation d'informations relatives à un message sonore comprenant des moyens de stockage d'au moins un mot extrait du message par reconnaissance vocale en association avec une valeur de pertinence déterminée pour le mot et avec au moins une information de position 15 relative à la position chronologique du mot dans le message, et des moyens d'affichage du message sonore sous forme d'une représentation visuelle chronologique et d'au moins un mot stocké sélectionné selon une valeur de pertinence prédéterminée sous forme textuelle à un emplacement déterminé en fonction de l'information de position. 20 Les avantages du dispositif sont les mêmes que les avantages décrits pour le procédé qu'il met en oeuvre. Ainsi, le dispositif permet d'obtenir une représentation visuelle interactive d'un contenu sonore, par exemple de type parole, qui offre l'avantage de présenter conjointement le contenu audio, sous forme chronologique, et un sous-ensemble des 25 mots énoncés dans ce contenu. L'invention propose aussi un terminal comprenant un dispositif tel que décrit précédemment. L'invention propose enfin un produit programme d'ordinateur comprenant des instructions pour mettre en oeuvre les étapes du procédé de visualisation tel que 30 décrit précédemment lorsqu'il est chargé et exécuté par un processeur. 2933225 -4- a portion of a sentence containing the displayed word makes it possible to present the word in its context. In one embodiment, the word is displayed as a bubble. The display in the form of bubbles allows a separate display of the different words and 5 allows to assign each word a space for easy reading while pointing precisely on the chronological visual representation. According to one embodiment, at least one display parameter varies according to the speaker and / or the nature of the message. Thus, a user can easily identify the speaker change or a message portion of a different type, for example a piece of music. The invention also proposes a device for displaying information relating to a sound message comprising means for storing at least one word extracted from the message by voice recognition in association with a value of relevance determined for the word and with at least one position information 15 relating to the chronological position of the word in the message, and means for displaying the sound message in the form of a chronological visual representation and at least one stored word selected according to a predetermined value of relevance in textual form at a location determined according to the position information. The advantages of the device are the same as the advantages described for the process it implements. Thus, the device makes it possible to obtain an interactive visual representation of a sound content, for example of the speech type, which offers the advantage of jointly presenting the audio content, in chronological form, and a subset of the 25 words stated in this content. The invention also proposes a terminal comprising a device as described above. The invention finally provides a computer program product comprising instructions for implementing the steps of the visualization method as previously described when it is loaded and executed by a processor. 2933225 -4-

D'autres particularités et avantages de la présente invention apparaitront dans la description suivante d'un mode de réalisation donné à titre d'exemple non limitatif, en référence aux dessins annexés, dans lesquels : 5 - la figure 1 est un schéma illustrant un terminal selon un mode de réalisation de l'invention; - la figure 2 est un organigramme illustrant les étapes de configuration d'un mode de réalisation du procédé de l'invention; - la figure 3 est un organigramme illustrant un mode de réalisation des étapes 10 du procédé de l'invention; - la figure 4 est un organigramme illustrant un mode de réalisation de l'étape de détermination d'une valeur de pertinence d'un mot; - la figure 5 est un schéma bloc représentant un système selon un mode de réalisation de l'invention; 15 - La figure 6 est un schéma bloc représentant un dispositif selon un mode de réalisation de l'invention. Other features and advantages of the present invention will appear in the following description of an embodiment given by way of non-limiting example, with reference to the accompanying drawings, in which: - Figure 1 is a diagram illustrating a terminal according to one embodiment of the invention; FIG. 2 is a flowchart illustrating the configuration steps of one embodiment of the method of the invention; FIG. 3 is a flowchart illustrating an embodiment of the steps of the method of the invention; FIG. 4 is a flow chart illustrating an embodiment of the step of determining a relevance value of a word; FIG. 5 is a block diagram showing a system according to one embodiment of the invention; FIG. 6 is a block diagram showing a device according to one embodiment of the invention.

En référence à la figure 1, un terminal TU d'un utilisateur mettant en oeuvre le procédé de l'invention est par exemple un terminal de type PC (pour "Personnal 20 Computer"), un téléphone mobile, un agenda électronique ou lecteur de contenu numérique. Le terminal TU comporte un module d'affichage MA pour l'affichage sur un écran E du terminal TU et un module de restitution du son MS pour la diffusion de messages de type sonore. 25 Le terminal TU comporte également un module MM de traitement de messages qui permet l'enregistrement de messages sonores m, par exemple sous la forme de fichiers, dans une mémoire MEM du terminal TU. A titre d'alternative, la mémoire MEM est un espace de stockage distant, accessible par le terminal TU via un réseau de télécommunication. 30 Le module MM est par exemple un module d'une messagerie vocale. 2933225 -5- With reference to FIG. 1, a terminal TU of a user implementing the method of the invention is for example a terminal of PC type (for "Personnal 20 Computer"), a mobile telephone, an electronic organizer or a reader of digital content. The terminal TU comprises a display module MA for displaying on a screen E of the terminal TU and a sound reproduction module MS for the broadcasting of messages of the sound type. The terminal TU also comprises a message processing module MM which allows the recording of sound messages m, for example in the form of files, in a memory MEM of the terminal TU. As an alternative, the memory MEM is a remote storage space, accessible by the terminal TU via a telecommunications network. The module MM is for example a module of a voicemail. 2933225 -5-

Un mode de réalisation des étapes préalables sur le contenu des messages vocaux va maintenant être décrit en référence à la figure 2. Un message sonore m a été enregistré par le module MM de traitement de 5 messages dans la mémoire MEM. A titre d'alternative, le message sonore est un message vocal m enregistré dans la mémoire MEM par un appareil d'enregistrement tel qu'un magnétophone. A titre également d'alternative, des informations de contexte telles que par exemple, la date et l'heure de l'enregistrement ont été enregistrées dans la mémoire 10 MEM en association avec le message sonore m. Lors d'une première étape El, le contenu du message vocal m est lu par le terminal TU dans la mémoire MEM. Lors d'une étape E2, le contenu du message vocal m est soumis à un processus de reconnaissance vocale qui en extrait plusieurs mots reconnus mrl, mr2,...,mri,... 15 ainsi que, pour chaque mot reconnu mri, sa position chronologique di dans le contenu. La position chronologique di du mot mri dans le contenu m constitue une information de position. Le processus de reconnaissance vocale utilisé est de préférence un processus capable d'opérer sans a priori sur le contenu du message, c'est-à-dire utilisant un 20 vocabulaire très large. Dans ce cas, le processus de reconnaissance utilisé est par exemple un processus de reconnaissance vocale de type langage naturel. Dans le mode de réalisation décrit, le système de reconnaissance vocale utilisé est le système "Dragon Naturally Speaking" (marque déposée) de Nuance (marque déposée). 25 A titre d'alternative, un autre système de reconnaissance vocale peut être utilisé. Lors d'une étape E4 suivante, une valeur de pertinence pi est déterminée pour chaque mot reconnu mri. Des modes de réalisation de l'étape E4 sont détaillés dans la suite de la description. 2933225 -6- An embodiment of the prior steps on the content of the voice messages will now be described with reference to FIG. 2. A sound message m has been recorded by the message processing module MM in the memory MEM. As an alternative, the sound message is a voice message m recorded in the memory MEM by a recording apparatus such as a tape recorder. Also as an alternative, context information such as, for example, the date and time of the recording have been recorded in the memory MEM together with the sound message m. In a first step E1, the content of the voice message m is read by the terminal TU in the memory MEM. During a step E2, the content of the voice message m is subjected to a speech recognition process that extracts several recognized words mrl, mr2, ..., mri, ... 15 and for each recognized word mri, its chronological position di in the content. The chronological position di of the word mri in the content m constitutes a position information. The speech recognition process used is preferably a process capable of operating without a priori on the content of the message, ie using a very wide vocabulary. In this case, the recognition process used is for example a speech recognition process of natural language type. In the embodiment described, the voice recognition system used is the "Dragon Naturally Speaking" (registered trademark) system of Nuance (registered trademark). Alternatively, another voice recognition system may be used. In a next step E4, a value of relevance pi is determined for each word recognized mri. Embodiments of step E4 are detailed in the following description. 2933225 -6-

L'étape E4 est suivie d'une étape E6 lors de laquelle le terminal TU enregistre chaque mot reconnu mri en association avec la valeur de pertinence pi déterminée pour ce mot et avec la position chronologique di du mot dans le message. Ces informations, qui constituent les informations de visualisation, sont par 5 exemple enregistrées dans la mémoire MEM du terminal TU. A titre d'alternative, elles sont enregistrées dans un fichier dont le nom est en lien avec le nom du fichier sonore. Par exemple, le fichier sonore est enregistré sous le nom "sonl.wav" et le fichier contenant les informations stockées lors de l'étape E5 est nommé "sonl.txt". 10 Les informations de visualisation ainsi enregistrées sont destinées à être utilisées dans un procédé de visualisation de l'invention. The step E4 is followed by a step E6 in which the terminal TU stores each recognized word mri in association with the value of relevance pi determined for this word and with the chronological position di of the word in the message. This information, which constitutes the display information, is for example stored in the memory MEM of the terminal TU. Alternatively, they are saved in a file whose name is related to the name of the sound file. For example, the sound file is recorded under the name "sonl.wav" and the file containing the information stored in step E5 is named "sonl.txt". The display information thus recorded is intended to be used in a visualization method of the invention.

En référence à la figure 3, un mode de réalisation du procédé de visualisation va maintenant être décrit. 15 Lors d'une étape E10, le terminal TU lit le contenu sonore d'une part et des informations de visualisation associées à ce message m d'autre part. Plus précisément, l'étape E10 est une étape de lecture dans une mémoire, par exemple la mémoire MEM, du message m et d'au moins un mot mri associé à une valeur de pertinence et à une information de position. 20 L'étape E10 est suivie d'une étape E12 lors de laquelle le message vocal m est affiché sur l'écran du terminal TU par le module d'affichage MA du terminal TU sous forme d'une représentation visuelle chronologique. Le message sonore m est représenté sur l'écran E du terminal TU, sous forme d'une représentation graphique qui est une courbe d'amplitude de l'onde sonore en 25 fonction du temps. Une graduation temporelle est également affichée ainsi que la durée totale de la courbe affichée. En complément, des informations annexes peuvent également être affichées comme par exemple la nature du message (par exemple "conversation téléphonique"), l'horodatage, le type de contenu sonore, un lien vers une page contenant plus d'informations... 2933225 -7- With reference to FIG. 3, an embodiment of the visualization method will now be described. During a step E10, the terminal TU reads the sound content on the one hand and visualization information associated with this message m on the other hand. More precisely, the step E10 is a step of reading in a memory, for example the memory MEM, of the message m and at least one word mri associated with a value of relevance and a position information. Step E10 is followed by a step E12 in which the voice message m is displayed on the screen of the terminal TU by the display module MA of the terminal TU in the form of a chronological visual representation. The sound message m is represented on the screen E of the terminal TU, in the form of a graphical representation which is an amplitude curve of the sound wave as a function of time. A time scale is also displayed as well as the total duration of the displayed curve. In addition, additional information can also be displayed such as the nature of the message (eg "telephone conversation"), the timestamp, the type of sound content, a link to a page containing more information ... 2933225 -7-

Une interface de positionnement dans le contenu permet à l'utilisateur de visualiser l'activité sonore au cours du temps et de cliquer n'importe où dans le flux pour entendre immédiatement le contenu correspondant. A titre d'alternative, le message m est affiché sous forme d'une courbe 5 représentant le spectre fréquentiel du signal sonore. Lors de l'étape E14 suivante, le ou les mots mri lus (lors de la sous étape E10) et dont la valeur de pertinence pi est supérieure à une valeur de pertinence prédéterminée p sont sélectionnés. L'étape E14 est suivie d'une étape E16 au cours de laquelle le nombre de mots 10 obtenus est comparé à un nombre prédéterminé NBM de mots à afficher. Ce nombre de mots à afficher correspond au nombre de mots pouvant être affichés sur l'écran pour permettre une lecture visuelle aisée. Si le nombre de mots sélectionnés est très inférieur à cette valeur NBM, le nombre de mots sélectionnés est trop faible et l'étape E14 est réitérée avec une valeur 15 de pertinence prédéterminée plus faible. Par "très inférieur", on entend par exemple "inférieur de 2 unités". En revanche si le nombre de mots sélectionnés est supérieur à cette valeur NBM, le nombre de mots sélectionnés est trop important et l'étape E14 est réitérée avec une valeur de pertinence prédéterminée plus élevée. 20 L'étape E16 est suivie d'une sous-étape E18 lors de laquelle chaque mot sélectionné est affiché sous forme textuelle, à un emplacement déterminé en fonction de la position chronologique di du mot dans le message. Dans ce mode de réalisation, chaque mot est affiché dans une bulle graphique qui pointe sur la représentation graphique. Ainsi, l'utilisateur peut cliquer à cet 25 endroit pour écouter immédiatement la portion du contenu qui débute par le mot affiché dans la bulle graphique. Le positionnement de la bulle est déterminé par l'information de position associée au mot affiché et lue lors de l'étape E10. Une fonctionnalité d'agrandissement (ou "zoom" en anglais) permet 30 d'augmenter l'échelle de la représentation graphique. Suite à une requête de 2933225 -8- A content placement interface allows the user to view the sound activity over time and click anywhere in the stream to immediately hear the corresponding content. As an alternative, the message m is displayed as a curve representing the frequency spectrum of the sound signal. In the next step E14, the one or more words (in the substep E10) and whose relevance value pi is greater than a predetermined relevance value p are selected. Step E14 is followed by a step E16 in which the number of words obtained is compared with a predetermined number NBM of words to be displayed. This number of words to display corresponds to the number of words that can be displayed on the screen to allow easy visual reading. If the number of selected words is much less than this NBM value, the number of selected words is too small and step E14 is repeated with a lower predetermined relevance value. By "very lower" is meant for example "less than 2 units". On the other hand, if the number of selected words is greater than this NBM value, the number of selected words is too great and step E14 is repeated with a higher predetermined value of relevance. Step E16 is followed by a substep E18 in which each selected word is displayed in textual form, at a location determined according to the chronological position di of the word in the message. In this embodiment, each word is displayed in a graphical bubble that points to the graphical representation. Thus, the user can click here to listen immediately to the portion of the content that begins with the word displayed in the speech bubble. The positioning of the bubble is determined by the position information associated with the displayed word and read in step E10. An enlargement feature (or "zoom" in English) makes it possible to increase the scale of the graphical representation. Following a request from 2933225 -8-

l'utilisateur pour augmenter l'échelle de la représentation graphique, par exemple en appuyant sur une touche de fonction du terminal TU, l'étape E12 est réitérée avec une nouvelle graduation temporelle. Ce processus connu n'est pas décrit. Puis les étapes E14 à E18 sont réitérées avec une valeur de pertinence plus 5 faible. On obtient ainsi l'affichage de plus de mots pour un espace de temps diminué. A l'agrandissement maximum, l'intégralité du message est affichée. La fonction inverse qui permet de diminuer l'échelle de représentation peut être effectuée de façon similaire. Lorsque l'utilisateur positionne un marqueur, par exemple le curseur d'une 10 souris de l'équipement de visualisation ou en touchant l'icône dans le cas d'un écran tactile, sur une des bulles affichées, l'affichage du mot est remplacé par une portion du texte contenant le mot affiché et la bulle graphique est agrandie. Par exemple, la bulle agrandie contient le mot précédemment affiché ainsi qu'un ou deux mots du message situés avant et un ou deux mots situés après. 15 Dans le mode de réalisation décrit, l'information de position est une information sur la position chronologique du début d'un mot dans le contenu. A titre d'alternative, l'information de position peut également contenir une information sur la position chronologique de la fin d'un mot dans le contenu. Cette information peut permettre de définir la taille de la bulle à afficher. Elle peut aussi 20 être utilisée lors de l'étape E14 de sélection pour éviter la sélection de deux mots trop rapprochés et éviter ainsi l'affichage superposé de bulles. the user to increase the scale of the graphical representation, for example by pressing a function key of the terminal TU, the step E12 is reiterated with a new time scale. This known process is not described. Then steps E14 to E18 are reiterated with a lower relevance value. This results in the display of more words for a reduced space of time. At maximum magnification, the entire message is displayed. The inverse function which makes it possible to reduce the scale of representation can be carried out in a similar way. When the user positions a marker, for example the cursor of a mouse of the viewing equipment or by touching the icon in the case of a touch screen, on one of the bubbles displayed, the display of the word is replaced by a portion of the text containing the displayed word and the graphic bubble is enlarged. For example, the enlarged balloon contains the previously displayed word and one or two words of the message before and one or two words after. In the described embodiment, the position information is information on the chronological position of the beginning of a word in the content. Alternatively, the position information may also contain information on the chronological position of the end of a word in the content. This information can be used to define the size of the bubble to display. It can also be used during the selection step E14 to avoid the selection of two words that are too close together and thus avoid superimposed bubble display.

En référence à la figure 4, un premier mode de réalisation de l'étape E4 de détermination d'une valeur de pertinence, basé sur une analyse sémantique, va 25 maintenant être décrit. Lors d'une première étape E42, le contexte du message est déterminé par un processus d'analyse sémantique. Lors de l'étape E44 suivante, chaque mot est comparé au contexte déterminé pour déterminer la pertinence du mot par rapport au contexte. 2933225 -9- With reference to FIG. 4, a first embodiment of step E4 of determining a relevance value, based on a semantic analysis, will now be described. In a first step E42, the context of the message is determined by a semantic analysis process. In the next step E44, each word is compared to the determined context to determine the relevance of the word in relation to the context. 2933225 -9-

Puis, en fonction du résultat de la comparaison, une valeur, par exemple un chiffre entre 0 et 9, est attribuée au mot, lors d'une étape E46. Par exemple, la valeur est élevée si le mot est en rapport avec le contexte et proche de 0 si le mot est très éloigné du contexte. 5 Par exemple, pour la phrase " le soleil brille, la pluie va revenir en soirée", le contexte déterminé sera "météo". Le mot "soleil" aura une pertinence élevée car en rapport avec le contexte "météo" et le mot "revenir" aura une valeur de pertinence faible. Then, depending on the result of the comparison, a value, for example a digit between 0 and 9, is assigned to the word during a step E46. For example, the value is high if the word is related to the context and close to 0 if the word is very far from the context. 5 For example, for the phrase "the sun is shining, the rain will return in the evening", the determined context will be "weather". The word "sun" will have a high relevance because in relation to the context "weather" and the word "return" will have a value of low relevance.

10 Un deuxième mode de réalisation de l'étape E4 va maintenant être décrit. Dans ce mode de réalisation, la pertinence d'un mot est déterminée par lecture dans une table de pertinence préétablie et préenregistrée. La table de pertinence comporte une liste de mots et, pour chaque mot, une valeur de pertinence associée. La valeur de pertinence pour chaque mot a par exemple été déterminée par une 15 méthode statistique. Lors de l'étape E4, chaque mot extrait lors de l'étape E2 de reconnaissance vocale est recherché dans la table. Si le mot n'est pas dans la table, une valeur de pertinence 0 lui est affectée. Si le mot est dans la table, la valeur de pertinence associée à ce mot est lue dans la table. 20 Dans un autre mode de réalisation de l'étape E4, la valeur de pertinence est déterminée selon une méthode d'analyse grammaticale. Dans une première phase, le rôle du mot dans la phrase est déterminé. On détermine ainsi si le mot est un article, un verbe, un nom...Une valeur de pertinence est ensuite affectée au mot en fonction 25 de cet attribut. Une valeur de pertinence très faible, par exemple 0, est attribuée aux mots tels que les articles, les conjonctions, les prépositions... Une valeur de pertinence plus élevée, par exemple 2, est attribuée aux adjectifs, une valeur de pertinence 3 est attribuée aux verbes et une valeur de pertinence 4 est attribuée aux noms. 2933225 -10- A second embodiment of step E4 will now be described. In this embodiment, the relevance of a word is determined by reading in a pre-established and pre-recorded relevance table. The relevance table includes a list of words and, for each word, an associated relevance value. For example, the relevance value for each word has been determined by a statistical method. During step E4, each word extracted during the step E2 speech recognition is searched in the table. If the word is not in the table, a value of relevance 0 is assigned to it. If the word is in the table, the relevance value associated with that word is read from the table. In another embodiment of step E4, the relevance value is determined according to a grammatical analysis method. In a first phase, the role of the word in the sentence is determined. It is thus determined whether the word is an article, a verb, a name, etc. A relevance value is then assigned to the word according to this attribute. A value of very low relevance, for example 0, is attributed to words such as articles, conjunctions, prepositions ... A value of higher relevance, for example 2, is attributed to adjectives, a value of relevance 3 is attributed to verbs and a value of relevance 4 is attributed to the nouns. 2933225 -10-

A titre d'alternative, la valeur de pertinence peut être déterminée en utilisant d'autres méthodes de détermination et/ou en combinant plusieurs modes de réalisation. Ainsi, par exemple, l'analyse grammaticale peut être utilisée pour attribuer une 5 valeur de pertinence nulle aux mots de trois lettres et moins. Puis, la valeur de pertinence des mots de plus de trois lettres est déterminée par lecture de la valeur dans une table préenregistrée. Le procédé de visualisation peut également comporter une ou plusieurs 10 fonctionnalités supplémentaires qui vont maintenant être décrits. Dans un mode de réalisation particulier, l'étape E4 de détermination d'une valeur de pertinence est suivie d'une étape de classification des locuteurs. Lors de cette étape, le signal vocal est analysé pour déterminer les changements de locuteur et une information relative au locuteur est enregistrée en association avec chaque 15 mot reconnu. Lors de l'étape E18 d'affichage des mots, un affichage particulier dans les bulles sera réalisé pour permettre à l'utilisateur de visualiser cette information. Par exemple, le texte dans les bulles sera affiché en utilisant des couleurs différentes. A titre d'alternative, l'information est enregistrée en association avec le 20 message vocal m lors d'une phase préalable et cette information est affichée lors de l'étape E12 d'affichage de la représentation graphique. Dans un autre mode de réalisation particulier, l'étape E4 de détermination d'une valeur de pertinence est suivie d'une étape de détection de l'identité d'un 25 locuteur. Lors de cette étape, le signal vocal est analysé pour reconnaître l'identité du locuteur, par comparaison avec des empreintes vocales préenregistrées. Une information relative au locuteur est ensuite enregistrée en association avec chaque mot reconnu. Lors de l'étape E18 d'affichage des mots, un affichage particulier sera réalisé 30 pour permettre à l'utilisateur de visualiser cette information. Par exemple, le texte 2933225 -11- Alternatively, the relevance value can be determined using other methods of determination and / or by combining several embodiments. Thus, for example, grammatical analysis can be used to assign a value of zero relevance to words of three letters or less. Then, the relevance value of words of more than three letters is determined by reading the value in a prerecorded table. The visualization method may also include one or more additional features that will now be described. In a particular embodiment, the step E4 for determining a value of relevance is followed by a step of classifying the speakers. In this step, the voice signal is analyzed to determine speaker changes, and speaker information is recorded in association with each recognized word. During the E18 word display step, a particular display in the bubbles will be made to allow the user to view this information. For example, the text in the bubbles will be displayed using different colors. As an alternative, the information is recorded in association with the voice message m during a prior phase and this information is displayed in the step E12 of displaying the graphical representation. In another particular embodiment, the step E4 of determining a relevance value is followed by a step of detecting the identity of a speaker. During this step, the voice signal is analyzed to recognize the identity of the speaker, by comparison with prerecorded voice prints. Speaker information is then recorded in association with each recognized word. During the E18 word display step, a particular display will be made to allow the user to view this information. For example, the text 2933225 -11-

dans les bulles sera affiché en utilisant des couleurs différentes et une légende précisant l'information relative au locuteur sera affichée sur l'écran. A titre d'alternative, l'information est enregistrée en association avec le message vocal m lors d'une phase préalable et cette information est affichée lors de 5 lors de l'étape E12 d'affichage de la représentation graphique. in the bubbles will be displayed using different colors and a caption specifying the speaker information will be displayed on the screen. As an alternative, the information is recorded in association with the voice message m during a previous phase and this information is displayed during the step E12 of displaying the graphical representation.

Dans encore un autre mode de réalisation particulier utilisé seul ou en combinaison avec l'un des modes décrits précédemment, l'étape E2 de reconnaissance vocale est suivie d'une étape de classification du type de contenu. 10 Lors de cette étape, le signal vocal est analysé pour déterminer la nature du message sonore : message parlé, musique, bruit,...Une information relative au type de contenu est ensuite enregistrée en association avec chaque mot reconnu. Lors de l'étape E18 d'affichage des mots, un affichage particulier est réalisé pour permettre à l'utilisateur de visualiser cette information. Par exemple, un texte 15 contenant cette information est affiché sous la représentation graphique. A titre d'alternative, l'information est enregistrée en association avec le message vocal m lors d'une phase préalable et cette information est affichée lors de l'étape E12 d'affichage de la représentation graphique. In yet another particular embodiment used alone or in combination with one of the modes described above, the voice recognition step E2 is followed by a content type classification step. In this step, the voice signal is analyzed to determine the nature of the sound message: spoken message, music, noise, ... Information relating to the type of content is then recorded in association with each recognized word. During the E18 word display step, a particular display is made to allow the user to view this information. For example, a text containing this information is displayed under the graphical representation. As an alternative, the information is recorded in association with the voice message m during a previous phase and this information is displayed during the display step E12 of the graphical representation.

20 Dans le mode de réalisation décrit, l'invention est mise en oeuvre dans un terminal TU. A titre d'alternative, une partie des étapes peut être réalisée par un ou plusieurs serveurs distants. Par exemple, un serveur de reconnaissance vocale peut réaliser l'étape de reconnaissance vocale et un serveur de traitement peut réaliser l'étape de détermination d'une valeur de pertinence. 25 A titre d'exemple, l'invention peut être utilisée pour trier les messages enregistrés dans une boîte vocale. Dans une phase préliminaire de configuration, les informations liées à chaque message sont déterminées et enregistrées en association avec le fichier sonore. Cette phase peut être effectuée sur commande de l'utilisateur 30 ou lors de la réception d'un nouveau message dans la boîte vocale. 2933225 -12- In the embodiment described, the invention is implemented in a terminal TU. As an alternative, some of the steps may be performed by one or more remote servers. For example, a voice recognition server may perform the speech recognition step and a processing server may perform the step of determining a relevance value. By way of example, the invention can be used to sort the recorded messages in a voice mailbox. In a preliminary configuration phase, the information related to each message is determined and recorded in association with the sound file. This phase can be performed on the order of the user 30 or when receiving a new message in the mailbox. 2933225 -12-

Lors d'une phase ultérieure, l'utilisateur commande l'affichage de chaque message afin de se faire une idée rapide du contenu. Il peut ainsi sélectionner rapidement un certain nombre de messages qu'il juge importants, y répondre et traiter ensuite les autres messages. 5 L'invention peut également être utilisée dans tout autre cadre nécessitant la publication de contenu audio, par exemple sur une page du Web. In a later phase, the user controls the display of each message to get a quick idea of the content. He can quickly select a number of messages he deems important, respond to them and then process other messages. The invention can also be used in any other setting requiring the publication of audio content, for example on a web page.

La figure 5 représente un système SYS de visualisation d'informations relatives à un message sonore selon un mode de réalisation de l'invention. Ce 10 système comprend un module 100 de détermination d'informations de visualisation et un module 200 de visualisation d'affichage. Ce système comporte également une mémoire 120, par exemple une base de données, contenant des fichiers sonores acquis précédemment. Dans ce mode de réalisation, l'acquisition et le stockage des fichiers sonores ne font pas partie de 15 l'invention. Le module de détermination 100 comporte un module 102 d'acquisition d'un contenu sonore, un module 104 de reconnaissance vocale, un module 106 de détermination de la valeur de pertinence d'un mot et un module 108 de transmission de données. 20 Le module 102 d'acquisition est apte à lire un contenu sonore dans la mémoire 120. Dans un autre mode de réalisation, le contenu sonore est directement transmis au module d'acquisition, par exemple par le système de visualisation 200 ou par un système de messagerie vocale. 25 Le contenu sonore lu est temporairement stocké dans une mémoire de stockage temporaire 101. La mémoire 101 est par exemple une mémoire volatile de type RAM. Le module 104 de reconnaissance vocale est apte à extraire des mots du contenu sonore stocké dans la mémoire 101 et à enregistrer dans la mémoire 2933225 -13- FIG. 5 represents a system SYS for displaying information relating to a sound message according to one embodiment of the invention. This system comprises a display information determination module 100 and a display display module 200. This system also comprises a memory 120, for example a database, containing previously acquired sound files. In this embodiment, the acquisition and storage of the sound files are not part of the invention. The determination module 100 comprises a sound content acquisition module 102, a voice recognition module 104, a module 106 for determining the relevance value of a word and a data transmission module 108. The acquisition module 102 is able to read a sound content in the memory 120. In another embodiment, the sound content is directly transmitted to the acquisition module, for example by the display system 200 or by a system. voicemail. The sound content read is temporarily stored in a temporary storage memory 101. The memory 101 is for example a volatile memory type RAM. The voice recognition module 104 is able to extract words from the sound content stored in the memory 101 and to record in the memory 2933225 -13-

temporaire 101 chaque mot avec au moins une information de position relative à la position chronologique du mot dans le contenu sonore pour chaque mot. Le module de détermination 106 est apte à déterminer ensuite une valeur de pertinence pour chaque mot extrait et à enregistrer dans la mémoire temporaire 101 5 chaque valeur de pertinence déterminée en association avec le mot extrait. Les informations enregistrées par les modules 104 et 106 dans la mémoire temporaire 101 constituent les informations de visualisation. Le module de transmission 108 est apte à transmettre les informations de visualisation au module 200 de visualisation. 10 A titre d'alternative, le module de transmission de données 108 enregistre ces informations dans la mémoire 120. Le module de visualisation 200 comporte un module 220 d'obtention d'un contenu sonore et des informations de visualisation associées, un module de sélection 240, un module d'affichage 260 et un module de restitution sonore 280. 15 Le module d'obtention 220 est apte à recevoir les informations transmises par le module de transmission 108. Dans le mode de réalisation particulier où ces informations ont été enregistrées dans la mémoire 120 par le module de transmission 108, le module d'obtention est apte à lire ces données dans la mémoire 120. 20 Le module 220 d'obtention est également apte à lire le contenu du fichier sonore dans la mémoire 120. Les données lues sont enregistrées dans une mémoire temporaire 201 du module de visualisation. Le module de sélection 240 est apte à sélectionner au moins un mot parmi les 25 mots extraits par le module de reconnaissance 104 et enregistrés dans la mémoire temporaire 201 en fonction d'une valeur de pertinence prédéterminée Le module 260 d'affichage graphique est apte à afficher le contenu sonore sous forme d'une représentation visuelle chronologique et le ou les mots sélectionnés par le module de sélection 220, sous forme textuelle à un emplacement déterminé en 30 fonction de l'information de position associée à ces mots. 2933225 -14- temporary 101 each word with at least one position information relating to the chronological position of the word in the sound content for each word. The determination module 106 is then able to determine a value of relevance for each extracted word and to record in the temporary memory 101 each value of relevance determined in association with the extracted word. The information recorded by the modules 104 and 106 in the temporary memory 101 constitutes the display information. The transmission module 108 is able to transmit the display information to the display module 200. As an alternative, the data transmission module 108 stores this information in the memory 120. The display module 200 comprises a module 220 for obtaining a sound content and associated display information, a selection module 240, a display module 260 and a sound reproduction module 280. The obtaining module 220 is able to receive the information transmitted by the transmission module 108. In the particular embodiment where this information has been recorded in the memory 120 by the transmission module 108, the obtaining module is able to read these data in the memory 120. The obtaining module 220 is also able to read the contents of the sound file in the memory 120. read are stored in a temporary memory 201 of the display module. The selection module 240 is able to select at least one word from the 25 words extracted by the recognition module 104 and stored in the temporary memory 201 according to a predetermined value of relevance. The module 260 of graphic display is adapted to displaying the sound content in the form of a chronological visual representation and the word or words selected by the selection module 220, in textual form at a location determined according to the position information associated with those words. 2933225 -14-

Le module 280 de restitution sonore est apte à diffuser tout ou partie du contenu sonore sur requête de l'utilisateur. The sound reproduction module 280 is able to broadcast all or part of the sound content at the request of the user.

Selon un mode de réalisation choisi et représenté à la figure 6, un dispositif 5 mettant en oeuvre l'invention est par exemple un micro-ordinateur 210 qui comporte de façon connue, notamment une unité de traitement 220 équipée d'un microprocesseur, une mémoire morte de type ROM 230, une mémoire vive de type RAM 240, un écran 260, un haut-parleur 280. Le micro-ordinateur 210 peut comporter de manière classique et non exhaustive les éléments suivants: un clavier, 10 un microphone, une interface de communication, un lecteur de disque, un moyen de stockage... La mémoire morte 230 comporte des registres mémorisant un programme d'ordinateur PG comportant des instructions de programme adaptées à mettre en oeuvre un procédé de visualisation d'informations relatives à un message sonore m 15 selon l'invention tel que décrit en référence à la figure 3. Ce programme PG est ainsi adapté à obtenir un message vocal ainsi que au moins un mot extrait du message par reconnaissance vocale stocké en association avec une valeur de pertinence déterminée pour le mot et au moins une information de position relative à la position chronologique du mot dans le message, à afficher le message vocal sous forme d'une 20 représentation visuelle chronologique et au moins un mot parmi les mots obtenus sélectionné selon une valeur de pertinence prédéterminée. Le au moins un mot sélectionné est affiché sous forme textuelle à un emplacement déterminé en fonction de l'information de position associée. Dans un mode de réalisation particulier, le programme PG est également 25 apte à extraire au moins un mot du message vocal par reconnaissance vocale, à déterminer une valeur de pertinence pour ce mot et à stocker le mot en association avec une valeur de pertinence déterminée et au moins une information de position. Lors de la mise sous tension, le programme PG stocké dans la mémoire morte 230 est transféré dans la mémoire vive qui contiendra alors le code exécutable 2933225 -15- According to an embodiment chosen and shown in FIG. 6, a device 5 embodying the invention is for example a microcomputer 210 which comprises, in a known manner, notably a processing unit 220 equipped with a microprocessor, a memory ROM type ROM 230, a RAM type 240 RAM, a screen 260, a speaker 280. The microcomputer 210 may comprise in a conventional and non-exhaustive manner the following elements: a keyboard, a microphone, an interface communication device, a disk drive, storage means ... The read-only memory 230 includes registers storing a computer program PG including program instructions adapted to implement a method of displaying information relating to a message sound m 15 according to the invention as described with reference to Figure 3. This PG program is thus adapted to obtain a voice message and at least one word extracted from the message by recognizing voice store stored in association with a determined relevance value for the word and at least one position information relating to the chronological position of the word in the message, displaying the voice message in the form of a chronological visual representation and at least one word among the obtained words selected according to a predetermined value of relevance. The at least one selected word is displayed in textual form at a location determined according to the associated position information. In a particular embodiment, the program PG is also able to extract at least one word from the voice message by voice recognition, to determine a value of relevance for this word and to store the word in association with a value of determined relevance and at least one position information. When powering up, the PG program stored in the read-only memory 230 is transferred into the random access memory which will then contain the executable code 2933225 -15-

de l'invention ainsi que des registres pour mémoriser les variables nécessaires à la mise en oeuvre de l'invention. De manière plus générale un moyen de stockage, lisible par un ordinateur ou par un microprocesseur, intégré ou non au dispositif, éventuellement amovible, 5 mémorise un programme mettant en oeuvre le procédé de visualisation. of the invention as well as registers for storing the variables necessary for the implementation of the invention. More generally, a means of storage, readable by a computer or by a microprocessor, integrated or not to the device, possibly removable, memorizes a program implementing the visualization method.

Claims

REVENDICATIONS1. Method for displaying information relating to a sound message characterized in that at least one word extracted from the voice recognition message is stored in association with a value of relevance determined for the word and with at least one position information relating to the chronological position of the word in the message, and in that it comprises a step of displaying the sound message in the form of a chronological visual representation and of at least one stored word selected according to a predetermined value of relevance in textual form to a location determined according to the position information.

2. Viewing method according to claim 1 characterized in that the stored value of relevance is determined by semantic analysis of the message.

3. Viewing method according to claim 1 characterized in that the stored value of relevance is obtained by searching in a pre-established correspondence table.

4. Display method according to claim 1, characterized in that the display step further comprises, following a request for enlargement of the display of the message, an additional display of at least one value word of lower relevance depending on the degree of magnification.

5. Viewing method according to claim 1, characterized in that the display step further comprises displaying at least one word preceding said selected stored word.

6. Display method according to claim 1, characterized in that the word is displayed in the form of a bubble. 30 2933225 -17-

7. Viewing method according to claim 1, characterized in that at least one display parameter varies depending on the speaker and / or the nature of the message. 5

8. Device for displaying information relating to a sound message characterized in that it comprises: means for storing at least one word extracted from the message by voice recognition in association with a value of relevance determined for the word and with at least one position information relating to the chronological position of the word 10 in the message, means for displaying the sound message in the form of a chronological visual representation and at least one stored word selected according to a value of relevance predetermined in text form at a location determined according to the position information. 15

Terminal comprising a device according to claim 8.

A computer program product comprising instructions for carrying out the steps of the visualization method according to one of claims 1 to 7, when it is loaded and executed by a processor.