EP1285434A1 - Dynamic language models for speech recognition - Google Patents

Dynamic language models for speech recognition

Info

Publication number
EP1285434A1
EP1285434A1 EP01936519A EP01936519A EP1285434A1 EP 1285434 A1 EP1285434 A1 EP 1285434A1 EP 01936519 A EP01936519 A EP 01936519A EP 01936519 A EP01936519 A EP 01936519A EP 1285434 A1 EP1285434 A1 EP 1285434A1
Authority
EP
European Patent Office
Prior art keywords
node
branch
language model
voice recognition
development
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP01936519A
Other languages
German (de)
French (fr)
Inventor
Frédéric Thomson Multimedia Soufflet
Serge Thomson multimedia LE HUITOUZE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THOMSON LICENSING
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to EP01936519A priority Critical patent/EP1285434A1/en
Publication of EP1285434A1 publication Critical patent/EP1285434A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193—Formal grammars, e.g. finite state automata, context free grammars or word networks

Definitions

  • the present invention relates to the field of voice recognition. More specifically, the invention relates to wide vocabulary voice interfaces.
  • Information and control systems are increasingly using a voice interface to make interaction with the user quick and intuitive.
  • these systems become more complex, the styles of dialogue supported are becoming richer, and we are entering the field of continuous speech recognition, with a very wide vocabulary.
  • the language model therefore allows the voice processing module to construct the sentence (that is to say the sequence of words) most likely in relation to the acoustic signal presented to it. This sentence must then be analyzed by a comprehension module in order to transform it into a series of adequate actions at the level of the voice-controlled system.
  • This approach has the advantage of minimizing the apparent cost of execution, since the grammar is transformed once and for all before execution (by a compilation process) into an internal representation perfectly tailored for the needs of the processing module. voice.
  • it has the drawback of building a representation (automaton) which can become very memory-consuming in the case of complex grammars, which can pose resource problems on the computer system of execution, and may even slow execution if the paging mechanism for the virtual memory of the execution system becomes too frequent.
  • the invention aims in particular to overcome these drawbacks of the prior art.
  • an objective of the invention is to provide a system and a method of voice recognition optimizing the use of memory, in particular for applications with a large vocabulary.
  • the invention also aims to reduce the costs of implementation or use.
  • An additional objective of the invention is to provide a method allowing energy saving, in particular when the method is implemented in a device with an autonomous energy source (for example an infrared remote control or a mobile telephone).
  • an autonomous energy source for example an infrared remote control or a mobile telephone.
  • An objective of the invention is also to improve the speed of speech recognition.
  • the invention proposes a voice recognition method, remarkable in that it includes a voice recognition step taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from a series of vocal samples, the language model being associated with at least one state machine, finite or infinite, dynamically developed.
  • finite state machine (s) are developed dynamically as a function in particular of the needs, as opposed to statically developed machines which are developed completely, systematically.
  • the method is remarkable in that it comprises a step of dynamic development in width of the automaton (s) from at least one grammar defining a language model.
  • the method is remarkable in that it comprises a step of constructing at least part of an automaton comprising at least one branch, each branch comprising at least one node, the step of construction comprising a sub-step of selective development of the node (s), according to a predetermined rule.
  • the method does not allow the systematic development of all the nodes but selectively according to a predetermined rule.
  • the method is remarkable in that the algorithm includes a step of requesting the development of at least one undeveloped node allowing development of the node or nodes according to the predetermined rule.
  • the method advantageously allows the development of the nodes required by the algorithm itself according to its needs, linked in particular to the incoming acoustic information.
  • the algorithm will not require the development of this node.
  • a likely passage through this knot will lead to its development.
  • the method is remarkable in that, according to the predetermined rule, for each branch, each first node of the branch is developed.
  • the method systematically authorizes the development of the first node of each branch originating from a developed node.
  • the method is remarkable in that, for at least one branch comprising a first node and at least one node following the first node, the construction step comprises a substep for replacing the following node (s) by a special undeveloped knot.
  • the method advantageously only allows the development of necessary nodes, thus saving the resources of a device implementing the method.
  • the method is remarkable in that the decoding algorithm is a maximum likelihood decoding algorithm.
  • the method is advantageously compatible with a maximum likelihood algorithm, such as in particular the Viterbi algorithm, thus allowing reliable speech recognition and a reasonable complexity of implementation, in particular in the case of applications with a large vocabulary.
  • a maximum likelihood algorithm such as in particular the Viterbi algorithm
  • the invention also relates to a voice recognition device, remarkable in that it comprises voice recognition means taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from of a series of vocal samples, the language model being associated with a state machine, finite or infinite, dynamically developed.
  • the invention further relates to a computer program product comprising program elements, recorded on a medium readable by at least one microprocessor, remarkable in that the program elements control the microprocessor (s) so that they carry out a voice recognition step taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from a series of voice samples, the language model being associated with a PLC states, finite or infinite, dynamically developed.
  • the invention also relates to a computer program product, remarkable in that the program comprises sequences of instructions adapted to the implementation of the voice recognition method described above when the program is executed on a computer.
  • FIG. 1 shows a general block diagram of a system comprising a voice-controlled unit, in which the technique of the invention is implemented;
  • FIG. 2 shows a block diagram of the voice recognition unit of the system of Figure 1;
  • Figure 3 describes an electronic diagram of a voice recognition unit implementing the block diagram of Figure 2;
  • FIG. 5 shows a dynamic development algorithm in width of a node implemented by the housing of Figures 1 and 3;
  • FIGS. 6 to 10 illustrate requests for the development of a dynamic voice recognition network, according to the algorithm of FIG. 5.
  • the general principle of the invention is based on the replacement of the representation in the form of an automaton statically calculated by a dynamic representation allowing the progressive development of the grammar, which makes it possible to solve the problem of size.
  • the invention consists in using a representation making it possible to develop the primers of sentences in a progressive manner.
  • FIG. 1 a general block diagram of a system comprising a voice-controlled unit 102 implementing the technique of the invention.
  • this system notably includes:
  • a voice source 100 which may in particular consist of a microphone intended to pick up a voice signal produced by a speaker;
  • a voice recognition unit 102 - A control unit 105 intended to control an apparatus 107;
  • a controlled device 107 for example of the television or video recorder type.
  • the source 100 is connected to the voice recognition unit 102, via a link
  • the unit 102 can retrieve context information 104 (such as for example, the type of device 107 that can be controlled by the control unit 105 or the list of command codes) via a link 104 and send to the control unit 105 of commands via a link 103.
  • context information 104 such as for example, the type of device 107 that can be controlled by the control unit 105 or the list of command codes
  • the control unit 105 issues commands via a link 106, for example infrared, to the device 107.
  • a link 106 for example infrared
  • the source 100, the voice recognition unit 102 and the control unit 105 are part of the same device. and thus the links 101, 103 and 104 are links internal to the device.
  • the link 106 is typically a wireless link.
  • the elements 100, 102 and 105 are partly or completely separate and do not form part of the same device.
  • the links 101, 103 and 104 are external connections, wired or not.
  • the source 100, the boxes 102 and 105 and the device 107 are part of the same device and are connected to each other by internal buses (links 101, 103, 104 and 106).
  • This variant is particularly advantageous when the device is, for example, a telephone or portable telecommunication terminal.
  • FIG. 2 shows a block diagram of a voice-activated unit such as the unit
  • the box 102 receives from the outside the analog source wave 101 which is processed by an Acoustic-Phonetic Decoder 200 or DAP (called “front-end” in English).
  • the DAP 200 samples at regular intervals (typically every 10 ms) the source wave 101 to produce real vectors or those belonging to code books (or “code books” in English), typically representing oral resonances which are emitted via a link 201 to a recognition engine 203.
  • an acousto-phonetic decoder translates the digital samples into acoustic symbols chosen from a predetermined alphabet.
  • a linguistic decoder processes these symbols in order to determine, for a sequence A of symbols, the most probable sequence W of words, given the sequence A.
  • the linguistic decoder comprises a recognition engine using an acoustic model and a language.
  • the acoustic model is for example a model called "Hidden Markov Model" (HMM). It calculates from in a manner known per se the acoustic scores of the sequences of words considered.
  • HMM Hidden Markov Model
  • the language model implemented in this embodiment is based on a grammar described using syntax rules of Backus Naur form. The language model is used to determine a plurality of word sequence hypotheses and to calculate linguistic scores.
  • the recognition engine is based on a Viterbi type algorithm called "n-best".
  • the n-best algorithm determines at each stage of the analysis of a sentence the n most likely word sequences. At the end of the sentence, the most likely solution is chosen from among the n candidates, from the scores provided by the acoustic model and the language model.
  • the recognition engine uses a Viterbi type algorithm (n-best algorithm) to analyze a sentence composed of a sequence of acoustic symbols (vectors).
  • the algorithm determines the N most probable word sequences, given the sequence A of acoustic symbols observed up to the current symbol.
  • the most probable word sequences are determined through the stochastic grammar type language model.
  • HMM Hidden Markov Models or "Hidden Markov Models"
  • the Viterbi algorithm is implemented in parallel, but instead of retaining a single transition to each state during iteration i, we retain for each state the N most likely transitions.
  • Information concerning in particular the Viterbi, beam search and "n-best" algorithms is given in the work:
  • the analysis performed by the recognition engine stops when all of the acoustic symbols relating to a sentence have been processed.
  • the recognition engine then has a trellis consisting of the states at each previous iteration of the algorithm and the transitions between these states, up to the final states. Finally, we retain among the final states and their N associated transitions the N most likely transitions. By retracing the transitions from the final states, the N most probable word sequences corresponding to the acoustic symbols are determined. These sequences are then subjected to a processing using a parser in order to select the unique final sequence on grammatical criteria.
  • the recognition engine 203 analyzes the real vectors which it receives using in particular hidden Markov models or
  • HMM from the English Hidden Markov Models
  • language models which represent the probability that a word follows another word
  • the recognition engine 203 supplies words which it has identified from the vectors received to a means for translating these words into commands which can be understood by the apparatus 107.
  • This means uses an artificial intelligence translation method which itself even takes into account a context 104 provided by the control unit 105 before issuing one or more commands 103 to the control unit 105.
  • FIG. 3 schematically illustrates a voice recognition module or device 102 as illustrated with reference to FIG. 1, and implementing the block diagram of FIG. 2.
  • the housing 102 comprises interconnected by an address and data: a voice interface 301; an Analog-to-Digital converter 302 a processor 304; a non-volatile memory 305; - a random access memory 306; and an apparatus control interface 307.
  • a voice interface 301 a voice interface 301
  • an Analog-to-Digital converter 302 a processor 304
  • non-volatile memory 305 a non-volatile memory 305
  • - a random access memory 306 a random access memory
  • apparatus control interface 307 Each of the elements illustrated in Figure 3 is well known to those skilled in the art. These common elements are not described here.
  • register designates in each of the memories mentioned, both a low-capacity memory area (some binary data) and a high-capacity memory area
  • Non-volatile memory 305 stores in registers which, for convenience, have the same names as the data they store:
  • the RAM 306 stores data, variables and intermediate processing results and includes in particular: - an automaton 313;
  • FIG. 4 illustrates a static voice recognition automaton, known per se, which makes it possible to describe a Viterbi trellis used for voice recognition. According to the state of the art, the entirety of this trellis is taken into account.
  • the corresponding automaton is developed in extenso according to FIG. 4 and comprises: nodes represented in a rectangular form, which are expanded; and terminal nodes in an elliptical form, which are not expanded and which correspond to a word or an expression of the current language.
  • the basic node 400 "G" is expanded into four nodes 401, 403, 404 and
  • node 406 (“Chain") is developed as an alternative:
  • this automaton although corresponding to a small model, includes many developed states and leads to a Viterbi lattice already requiring a memory and significant computational resources relative to the size of the model (we note that the size of the trellis increases with the number of states of the automaton).
  • an automaton entirely statically calculated is replaced by an automaton calculated as and when the needs of the Viterbi algorithm seek to determine the best path in this automaton. This is what is called “dynamic development in width”, since the grammar is developed on all fronts deemed interesting in relation to the incoming acoustic information.
  • FIG. 5 describes an algorithm for dynamic development in width of a node capable of being expanded according to the invention. This algorithm is implemented by the processor 304 of the voice recognition device or module 102 as illustrated with reference to FIG. 3.
  • This algorithm is applied to the nodes to be developed (as chosen by the Viterbi algorithm) in a recursive manner to form an automaton comprising a developed node as a base, until all of the immediate successors are labeled by a Markovian model. , i.e. it is necessary to recursively develop all the non-terminals in the left part of an automaton (assuming that the automaton is built from left to right, the first element of a branch being therefore found to the left).
  • the processor 304 dynamically uses: - the dictionary 310 associated with the non-terminal nodes (which makes it possible to obtain their definition); and - the dictionary 309 associated with the words (which makes it possible to obtain their HMM). It should be noted that such dictionaries are known per se since they are also used in the static construction of complete automata according to the state of the art. Thus, according to the invention, the special nodes introduced (called “DynX” in the figures) also refer to portions of dictionary definitions and are expanded to the bare minimum of requirements.
  • the processor 304 initializes working variables related to the taking into account of the node considered, and in particular a branch counter i. Then, during a step 501, the processor 304 takes into account the i th branch originating from a first development of the node considered, which becomes the active branch to be developed.
  • the processor 304 determines whether the first node of the active branch is a terminal node.
  • the processor 304 develops the first node of the active branch, on the basis of the algorithm defined with reference to FIG. 5 according to a recursive mechanism.
  • the processor 304 determines whether the active branch comprises a single node.
  • the processor 304 groups the following nodes of the branch i into a single special node Dynx which will only be developed later if necessary.
  • the execution of the Viterbi algorithm can indeed lead to eliminating this branch, the probability of occurrence associated with the first node of the branch (materialized by the metric of node in the trellis developed from the automaton) can be too weak compared to one or more alternatives.
  • the development of the special node Dynx is not carried out which saves CPU computation time of microprocessor and memory.
  • the processor 304 determines whether the active branch is the last branch resulting from the first development of the node considered.
  • step 508 the branch counter i is incremented by one and step 501 is repeated.
  • this algorithm is applied to an acoustic input corresponds to the sentence "what is there this afternoon on FR3?" With the following grammar:
  • ⁇ Channel> the ⁇ Channel2>
  • the automaton will be built little by little, as and when the requests of the Viterbi algorithm are made.
  • the Viterbi algorithm requires dynamic development from a state of the automaton, the development must continue until all the immediate successors are labeled by a Markovian model, that is to say that is to say recursively develop all the non-terminals on the left side (example: in Figure 3, the development of ⁇ Date> is obviously necessary, but that of ⁇ Day> is also necessary in order to make visible words "this" and "tomorrow”).
  • FIG. 6 shows the automaton resulting from the application to a first base node "G" 600, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention.
  • node "G” 600 is broken down into a single branch.
  • the first node “what is it” 601 of this branch is a terminal node. It is therefore associated directly with the corresponding expression 603.
  • the branch contains at least one other node according to the grammar describing this node. We will therefore represent this branch in the form of a first node and a special Dynl node which is not developed.
  • the node 600 is broken down into a single branch. The development of the knot
  • the first "Date" node 700 of this branch is not a terminal node. It is therefore developed recursively according to the development algorithm illustrated with reference to FIG. 5.
  • the node 700 is broken down into a single branch.
  • the first "Day" node 702 of this branch is not a terminal node. It is therefore itself developed.
  • the node 702 is broken down into two branches symbolizing an alternative.
  • the first node of each of these two branches respectively "ce” 704 and "tomorrow” 706 is a terminal node. It is therefore directly associated with the corresponding expression 705 and 707 respectively.
  • FIG. 8 presents the automaton resulting from the application to the special node Dyn3 703, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention.
  • node 703 breaks down into a single branch.
  • the only “Day Complement" node 800 in this branch is not a terminal node. It is therefore developed recursively according to the development algorithm illustrated with reference to FIG. 5.
  • the node 800 is broken down into two branches symbolizing an alternative.
  • node of each of these two branches respectively "noon" 801 and “evening” 804 is a terminal node. It is therefore associated directly with the corresponding expression respectively 802 and 804.
  • FIG. 9 presents the automaton resulting from the application to the special node Dyn2 701, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention.
  • the Viterbi algorithm considering as likely the beginning of sentence "what is it this noon", will require the development of node 703.
  • the node 701 breaks down into a single branch.
  • the first node "on" 901 of this branch is a terminal node. It is therefore associated directly with the corresponding expression 903.
  • the branch contains more than one node, it is broken down into the terminal node "on" 901 developed and into a special node Dyn4 704.
  • node 701 The development of node 701 is ended in this way and, in summary, the automaton resulting from node 701 thus constructed is defined, according to the formalism previously used, in the following way:
  • FIG. 10 presents the automaton resulting from the application to the special node Dyn4 902, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention. Viterbi's algorithm considering the beginning of the sentence as likely
  • the node 902 is broken down into two branches symbolizing an alternative.
  • the first node of each of these two branches respectively "la" 1000 and "FR3" 1004 is a terminal node. It is therefore associated directly with the corresponding expression 1002 and 1004 respectively.
  • the Viterbi algorithm eliminates the possibility of having the word "the” corresponding to the node terminal 1002, its probability of occurrence being very low compared to the alternative represented by the terminal node "FR3". It will therefore not ask for the development of the special node Dyn5 1001 which follows the node "la" 1002 on the same branch.
  • the expansion of the automaton is limited as a function of the incoming acoustic data.
  • the vocabulary is relatively narrow for reasons of clarity, but, it is clear that the difference in size between an automaton dynamically constructed and a static automaton grows according to the width of the vocabulary.
  • the invention is not limited to the exemplary embodiments mentioned above.
  • the person skilled in the art can make any variant in dynamic development in width and in particular in determining the cases where a special node is inserted in an automaton.
  • many variants for this insertion are possible between the two extreme cases which are the embodiment of the invention described in FIG. 5 (a node is only developed if necessary), on the one hand, and the state of the art static case, on the other hand.
  • the voice recognition process is not limited to the case where a Viterbi algorithm is implemented but to all the algorithms using a Markov model, in particular in the case of algorithms based on trellises.
  • the invention is not limited to a purely material implementation but that it can also be implemented in the form of a sequence of instructions of a computer program or any form mixing a material part and a software part.
  • the corresponding sequence of instructions may be stored in a removable storage means (such as for example a floppy disk, a CD-ROM or a DVD-ROM) or no, this storage means being partially or totally readable by a computer or a microprocessor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

The invention concerns a voice recognition method, comprising a voice recognition step taking into account a grammar language model (310) and using a decoding algorithm for identifying a series of words from a series of voice samples (201), the language model being associated with at least a dynamically developed finite-state or infinite-state automaton (313).

Description

MODELES DE LANGUAGE DYNAMIQUES POUR LA RECONNAISSANCE DE LA PAROLE DYNAMIC LANGUAGE MODELS FOR SPEECH RECOGNITION
La présente invention se rapporte au domaine de la reconnaissance vocale. Plus précisément, l'invention concerne les interfaces vocales à large vocabulaire.The present invention relates to the field of voice recognition. More specifically, the invention relates to wide vocabulary voice interfaces.
Elle s'applique notamment dans le domaine de la télévision.It applies in particular in the field of television.
Les systèmes d'information ou de contrôle utilisent de plus en plus souvent une interface vocale pour rendre rapide et intuitive l'interaction avec l'utilisateur. Ces systèmes devenant plus complexes, les styles de dialogue supportés sont de plus en plus riches, et l'on entre dans le domaine de la reconnaissance vocale continue, à très large vocabulaire.Information and control systems are increasingly using a voice interface to make interaction with the user quick and intuitive. As these systems become more complex, the styles of dialogue supported are becoming richer, and we are entering the field of continuous speech recognition, with a very wide vocabulary.
On sait que la conception d'un système de reconnaissance vocale continue, à large vocabulaire, suppose de produire un modèle de langage qui définit ou approxime les enchaînements acceptables de mots, ces enchaînements constituant les phrases reconnues par le modèle de langage.We know that the conception of a continuous voice recognition system, with a large vocabulary, supposes to produce a language model which defines or approximates the acceptable sequences of words, these sequences constituting the sentences recognized by the language model.
Dans un système à large vocabulaire, le modèle de langage permet donc au module de traitement vocal de construire la phrase (c'est-à-dire la suite de mots) la plus probable par rapport au signal acoustique qui lui est présenté. Cette phrase doit ensuite être analysée par un module de compréhension afin de la transformer en une série d'actions adéquates au niveau du système commandé vocalement.In a system with a large vocabulary, the language model therefore allows the voice processing module to construct the sentence (that is to say the sequence of words) most likely in relation to the acoustic signal presented to it. This sentence must then be analyzed by a comprehension module in order to transform it into a series of adequate actions at the level of the voice-controlled system.
Actuellement, deux approches sont couramment utilisées, à savoir les modèles de type N-gram et les grammaires.Currently, two approaches are commonly used, namely N-gram type models and grammars.
On considère dans la suite les modèles de langage sous forme de grammaire, ce qui n'est pas limitatif, car les applications vocales devenant plus complexes, elles nécessitent de plus en plus des formalismes très expressifs pour le développement des modèles de langage.Language models are considered below in the form of grammar, which is not limiting, since vocal applications becoming more complex, they increasingly require very expressive formalisms for the development of language models.
Selon l'état de la technique, les systèmes de reconnaissance vocale utilisant des grammaires les compilent sous une forme d'automate à états fini.According to the state of the art, speech recognition systems using grammars compile them in the form of a state machine.
C'est cet automate qui est utilisé par le module de traitement vocal afin d'analyser les suites de mots conformes à la grammaire.It is this automaton which is used by the voice processing module in order to analyze the sequences of words conforming to grammar.
Une telle approche a l'avantage de minimiser le coût apparent à l'exécution, puisque la grammaire est transformée une fois pour toutes avant l'exécution (par un processus de compilation) en une représentation interne parfaitement taillée pour les besoins du module de traitement vocal. Par contre, elle a l'inconvénient de construire une représentation (automate) qui peut devenir très consommatrice de mémoire dans le cas de grammaires complexes, ce qui peut poser des problèmes de ressources sur le système informatique d'exécution, et peut même ralentir l'exécution si la sollicitation du mécanisme de pagination de la mémoire virtuelle du système d'exécution devient trop fréquente.This approach has the advantage of minimizing the apparent cost of execution, since the grammar is transformed once and for all before execution (by a compilation process) into an internal representation perfectly tailored for the needs of the processing module. voice. On the other hand, it has the drawback of building a representation (automaton) which can become very memory-consuming in the case of complex grammars, which can pose resource problems on the computer system of execution, and may even slow execution if the paging mechanism for the virtual memory of the execution system becomes too frequent.
De plus, comme indiqué plus haut, les grammaires se complexifient en taille et en expressivité au fur et à mesure de la généralisation des systèmes à commande vocale. Ceci ne fait qu'augmenter la taille de l'automate associé et donc aggraver les inconvénients mentionnés ci-dessus.In addition, as indicated above, grammars become more complex in size and expressiveness as the use of voice-controlled systems becomes more widespread. This only increases the size of the associated PLC and therefore aggravates the drawbacks mentioned above.
L'invention selon ses différents aspects a notamment pour objectif de pallier ces inconvénients de l'art antérieur.The invention according to its different aspects aims in particular to overcome these drawbacks of the prior art.
Plus précisément, un objectif de l'invention est de fournir un système et un procédé de reconnaissance vocale optimisant l'utilisation de la mémoire, notamment pour les applications à large vocabulaire.More specifically, an objective of the invention is to provide a system and a method of voice recognition optimizing the use of memory, in particular for applications with a large vocabulary.
L'invention a également pour objectif une réduction des coûts de mises en œuvre ou d'utilisation.The invention also aims to reduce the costs of implementation or use.
Un objectif complémentaire de l'invention est de fournir un procédé permettant une économie d'énergie, notamment lorsque le procédé est mis en œuvre dans un dispositif avec une source d'énergie autonome (par exemple une télécommande infrarouge ou un téléphone mobile).An additional objective of the invention is to provide a method allowing energy saving, in particular when the method is implemented in a device with an autonomous energy source (for example an infrared remote control or a mobile telephone).
Un objectif de l'invention est également une amélioration de la rapidité de la reconnaissance vocale. Dans ce but, l'invention propose un procédé de reconnaissance vocale, remarquable en ce qu'il comprend une étape de reconnaissance vocale prenant en compte au moins un modèle de langage grammatical et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux, le modèle de langage étant associé à au moins un automate à états, fini ou infini, développé dynamiquement.An objective of the invention is also to improve the speed of speech recognition. To this end, the invention proposes a voice recognition method, remarkable in that it includes a voice recognition step taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from a series of vocal samples, the language model being associated with at least one state machine, finite or infinite, dynamically developed.
On note qu'ici, le ou les automates à états finis sont développés dynamiquement en fonction notamment des besoins, par opposition aux automates développés statiquement qui sont développés de manière complète, systématiquement.It is noted that here, the finite state machine (s) are developed dynamically as a function in particular of the needs, as opposed to statically developed machines which are developed completely, systematically.
On note également que les automates infinis peuvent bénéficier de cette technique puisque seule une partie finie de l'automate est développée.We also note that infinite automata can benefit from this technique since only a finite part of the automaton is developed.
Selon une caractéristique particulière, le procédé est remarquable en ce qu'il comprend une étape de développement dynamique en largeur du ou des automates à partir d'au moins une grammaire définissant un modèle de langage.According to a particular characteristic, the method is remarkable in that it comprises a step of dynamic development in width of the automaton (s) from at least one grammar defining a language model.
Selon une caractéristique particulière, le procédé est remarquable en ce qu'il comprend une étape de construction d'au moins une partie d'un automate comprenant au moins une branche, chaque branche comprenant au moins un nœud, l'étape de construction comprenant une sous-étape de développement sélectif du ou des nœuds, selon une règle prédéterminée.According to a particular characteristic, the method is remarkable in that it comprises a step of constructing at least part of an automaton comprising at least one branch, each branch comprising at least one node, the step of construction comprising a sub-step of selective development of the node (s), according to a predetermined rule.
Ainsi, préférentiellement, le procédé ne permet pas le développement systématique de tous les nœuds mais sélectivement selon une règle prédéterminée. Selon une caractéristique particulière, le procédé est remarquable en ce que l'algorithme comprend une étape de requête de développement d'au moins un nœud non développé permettant un développement du ou des nœuds selon la règle prédéterminée. Ainsi, le procédé permet avantageusement le développement des nœuds requis par l'algorithme lui-même en fonction de ses besoins, liés notamment aux informations acoustiques entrantes. Ainsi, si un passage par un nœud donné non développé est peu vraisemblable, l'algorithme ne va pas requérir le développement de ce nœud. En revanche, un passage vraisemblable par ce nœud entraînera son développement.Thus, preferably, the method does not allow the systematic development of all the nodes but selectively according to a predetermined rule. According to a particular characteristic, the method is remarkable in that the algorithm includes a step of requesting the development of at least one undeveloped node allowing development of the node or nodes according to the predetermined rule. Thus, the method advantageously allows the development of the nodes required by the algorithm itself according to its needs, linked in particular to the incoming acoustic information. Thus, if a passage through a given undeveloped node is unlikely, the algorithm will not require the development of this node. On the other hand, a likely passage through this knot will lead to its development.
Selon une caractéristique particulière, le procédé est remarquable en ce que, selon la règle prédéterminée, pour chaque branche, chaque premier nœud de la branche est développé.According to a particular characteristic, the method is remarkable in that, according to the predetermined rule, for each branch, each first node of the branch is developed.
Ainsi, de façon avantageuse, le procédé autorise systématiquement le développement du premier nœud de chaque branche issue d'un nœud développé.Thus, advantageously, the method systematically authorizes the development of the first node of each branch originating from a developed node.
Selon une caractéristique particulière, le procédé est remarquable en ce que, pour au moins une branche comprenant un premier nœud et au moins un nœud suivant le premier nœud, l'étape de construction comprend une sous-étape de remplacement du ou des nœuds suivants par un nœud spécial non développé.According to a particular characteristic, the method is remarkable in that, for at least one branch comprising a first node and at least one node following the first node, the construction step comprises a substep for replacing the following node (s) by a special undeveloped knot.
Ainsi, le procédé ne permet avantageusement que les développements de nœuds nécessaires, économisant ainsi des ressources d'un dispositif mettant en œuvre le procédé. Selon une caractéristique particulière, le procédé est remarquable en ce que l'algorithme de décodage est un algorithme de décodage à maximum de vraisemblance.Thus, the method advantageously only allows the development of necessary nodes, thus saving the resources of a device implementing the method. According to a particular characteristic, the method is remarkable in that the decoding algorithm is a maximum likelihood decoding algorithm.
Ainsi, le procédé est avantageusement compatible avec un algorithme à maximum de vraisemblance, tel notamment l'algorithme de Viterbi permettant ainsi une reconnaissance vocale fiable et d'une complexité raisonnable de mise en œuvre, notamment dans le cas d'applications à large vocabulaire.Thus, the method is advantageously compatible with a maximum likelihood algorithm, such as in particular the Viterbi algorithm, thus allowing reliable speech recognition and a reasonable complexity of implementation, in particular in the case of applications with a large vocabulary.
L'invention concerne également un dispositif de reconnaissance vocale, remarquable en ce qu'il comprend des moyens de reconnaissance vocale prenant en compte au moins un modèle de langage grammatical et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux, le modèle de langage étant associé à un automate à états, fini ou infini, développé dynamiquement. L'invention concerne, en outre, un produit programme d'ordinateur comprenant des éléments de programme, enregistrés sur un support lisible par au moins un microprocesseur, remarquable en ce que les éléments de programme contrôlent le ou les microprocesseurs pour qu'ils effectuent une étape de reconnaissance vocale prenant en compte au moins un modèle de langage grammatical et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux, le modèle de langage étant associé à un automate à états, fini ou infini, développé dynamiquement.The invention also relates to a voice recognition device, remarkable in that it comprises voice recognition means taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from of a series of vocal samples, the language model being associated with a state machine, finite or infinite, dynamically developed. The invention further relates to a computer program product comprising program elements, recorded on a medium readable by at least one microprocessor, remarkable in that the program elements control the microprocessor (s) so that they carry out a voice recognition step taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from a series of voice samples, the language model being associated with a PLC states, finite or infinite, dynamically developed.
L'invention concerne, aussi, un produit programme d'ordinateur, remarquable en ce que le programme comprend des séquences d'instructions adaptées à la mise en œuvre du procédé de reconnaissance vocale décrit précédemment lorsque le programme est exécuté sur un ordinateur.The invention also relates to a computer program product, remarkable in that the program comprises sequences of instructions adapted to the implementation of the voice recognition method described above when the program is executed on a computer.
Les avantages du dispositif de reconnaissance vocale, et des produits programme d'ordinateur sont les mêmes que ceux du procédé de reconnaissance vocale, ils ne sont pas détaillés plus amplement.The advantages of the voice recognition device, and of the computer program products are the same as those of the voice recognition method, they are not described in more detail.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :Other characteristics and advantages of the invention will appear more clearly on reading the following description of a preferred embodiment, given by way of simple illustrative and nonlimiting example, and of the appended drawings, among which:
- la figure 1 présente un synoptique général d'un système comprenant un boîtier à commande vocale, dans lequel la technique de l'invention est mise en œuvre;- Figure 1 shows a general block diagram of a system comprising a voice-controlled unit, in which the technique of the invention is implemented;
- la figure 2 présente un synoptique du boîtier de reconnaissance vocale du système de la figure 1 ;- Figure 2 shows a block diagram of the voice recognition unit of the system of Figure 1;
- la figure 3 décrit un schéma électronique d'un boîtier de reconnaissance vocale mettant en œuvre le synoptique de la figure 2;- Figure 3 describes an electronic diagram of a voice recognition unit implementing the block diagram of Figure 2;
- la figure 4 décrit un automate statique de reconnaissance vocale, connu en soi ;- Figure 4 describes a static voice recognition machine, known per se;
- la figure 5 présente un algorithme de développement dynamique en largeur d'un nœud mis en œuvre par le boîtier des figures 1 et 3 ; - les figures 6 à 10 illustrent des demandes de développement d'un réseau dynamique de reconnaissance vocale, selon l'algorithme de la figure 5.- Figure 5 shows a dynamic development algorithm in width of a node implemented by the housing of Figures 1 and 3; FIGS. 6 to 10 illustrate requests for the development of a dynamic voice recognition network, according to the algorithm of FIG. 5.
Si l'on revient au fonctionnement standard d'un module de traitement vocal, l'on constate que pour une entrée acoustique donnée, seulement un infime sous-ensemble de l'automate représentant le modèle de langage est exploré, du fait de l'élagage important opéré par le module de traitement vocal. En effet, parmi tous les mots grammaticalement acceptables à une étape donnée du calcul, la très grande majorité sera disqualifiée, du fait de la trop grande différence phonético-acoustique avec le signal entrant dans le système.If we return to the standard operation of a voice processing module, we see that for a given acoustic input, only a tiny subset of the automaton representing the language model is explored, due to the significant pruning operated by the voice processing module. Indeed, among all the grammatically acceptable words at a given stage of the calculation, the vast majority will be disqualified, due to the too great phonetic-acoustic difference with the signal entering the system.
Partant de cette constatation, le principe général de l'invention repose sur le remplacement de la représentation sous forme d'un automate calculé statiquement par une représentation dynamique permettant le développement progressif de la grammaire, ce qui permet de résoudre le problème de taille.On the basis of this observation, the general principle of the invention is based on the replacement of the representation in the form of an automaton statically calculated by a dynamic representation allowing the progressive development of the grammar, which makes it possible to solve the problem of size.
Ainsi, l'invention consiste à utiliser une représentation permettant de développer les amorces de phrases de manière progressive.Thus, the invention consists in using a representation making it possible to develop the primers of sentences in a progressive manner.
Intuitivement, cela revient à remplacer une représentation en extension de l'automate (c'est-à-dire qui énumère tous ses états) associé à la grammaire, par une représentation en " intension ", c'est-à-dire une représentation qui permet de calculer au fur et à mesure des besoins les parties de l'automate potentiellement intéressantes pour la suite du processus de reconnaissance.Intuitively, this amounts to replacing a representation in extension of the automaton (that is to say which lists all its states) associated with grammar, by a representation in "intension", that is to say a representation which allows to calculate as and when needed the parts of the automaton potentially interesting for the rest of the recognition process.
Les techniques de programmation permettant d'exploiter cette représentation en " intension " sont basées, par exemple, sur :Programming techniques allowing to exploit this representation in "intension" are based, for example, on:
- des techniques de recherche de plus courts chemins dans les graphes, (décrites notamment dans l'ouvrage " Graphes et Algorithmes ", écrit par Michel Gondran et Michel Minoux et paru en 1990 aux éditions Eyrolles); des techniques d'évaluation paresseuse utilisées dans les compilateurs des langages fonctionnels (telles que décrites dans le livre " The Implementation of Functional- search techniques for shorter paths in graphs, (described in particular in the book "Graphs and Algorithms", written by Michel Gondran and Michel Minoux and published in 1990 by Eyrolles editions); lazy evaluation techniques used in functional language compilers (as described in the book "The Implementation of Functional
Programming Languages " ou, en français " l' implementation des langages de programmation fonctionnelles ", écrit par Simon Peyton Jones et paru en 1987 aux éditions Prentice Hall International Séries on Computer Science) ; ainsi queProgramming Languages "or, in French" the implementation of functional programming languages ", written by Simon Peyton Jones and published in 1987 by Prentice Hall International Series on Computer Science); as well as
- des techniques connues de démonstration automatique comme le " strucrure- sharing " (dont on trouvera une description dans le livre " Principles of Artificial- known techniques of automatic demonstration such as "strucrure-sharing" (a description of which can be found in the book "Principles of Artificial
Intelligence " ou, en français, " les principes de l'intelligence artificielle ", écrit par Nils Nilsson et paru en 1980 aux éditions Springer-Verlag).Intelligence "or, in French," the principles of artificial intelligence ", written by Nils Nilsson and published in 1980 by Springer-Verlag).
On présente, en relation avec la figure 1, un synoptique général d'un système comprenant un boîtier à commande vocale 102 mettant en œuvre la technique de l'invention.There is presented, in relation to FIG. 1, a general block diagram of a system comprising a voice-controlled unit 102 implementing the technique of the invention.
On note que ce système comprend notamment :We note that this system notably includes:
- une source vocale 100 pouvant notamment être constituée d'un microphone destiné à capter un signal vocal produit par un locuteur ;a voice source 100 which may in particular consist of a microphone intended to pick up a voice signal produced by a speaker;
- un boîtier de reconnaissance vocale 102 ; - un boîtier de commande 105 destiné à piloter un appareil 107 ;- a voice recognition unit 102; - A control unit 105 intended to control an apparatus 107;
- un appareil commandé 107, par exemple de type téléviseur ou magnétoscope. La source 100 est reliée au boîtier de reconnaissance vocale 102, via une liaisona controlled device 107, for example of the television or video recorder type. The source 100 is connected to the voice recognition unit 102, via a link
101 qui lui permet de transmettre une onde source analogique représentative d'un signal vocal vers le boîtier 102.101 which allows it to transmit an analog source wave representative of a voice signal to the housing 102.
Le boîtier 102 peut récupérer des informations 104 de contexte (telles que par exemple, le type d'appareil 107 pouvant être contrôlé par le boîtier de commande 105 ou la liste des codes de commandes) via une liaison 104 et émettre vers le boîtier de commande 105 des commandes via une liaison 103.The unit 102 can retrieve context information 104 (such as for example, the type of device 107 that can be controlled by the control unit 105 or the list of command codes) via a link 104 and send to the control unit 105 of commands via a link 103.
Le boîtier de commande 105 émet des commandes via une liaison 106 par exemple infrarouge vers l'appareil 107. Selon le mode de réalisation considéré la source 100, le boîtier de reconnaissance vocale 102 et le boîtier de commande 105 font partie d'un même dispositif et ainsi les liaisons 101, 103 et 104 sont des liaisons internes au dispositif. Par contre, la liaison 106 est typiquement une liaison sans fil.The control unit 105 issues commands via a link 106, for example infrared, to the device 107. According to the embodiment considered, the source 100, the voice recognition unit 102 and the control unit 105 are part of the same device. and thus the links 101, 103 and 104 are links internal to the device. On the other hand, the link 106 is typically a wireless link.
Selon une première variante de réalisation de l'invention décrite à la figure 1, les éléments 100, 102 et 105 sont en partie ou complètement séparés et ne font pas partie d'un même dispositif. Dans ce cas, les liaisons 101, 103 et 104 sont des liaisons externes filaires ou non.According to a first alternative embodiment of the invention described in FIG. 1, the elements 100, 102 and 105 are partly or completely separate and do not form part of the same device. In this case, the links 101, 103 and 104 are external connections, wired or not.
Selon une deuxième variante, la source 100, les boîtiers 102 et 105 ainsi que l'appareil 107 font partie d'un même dispositif et sont reliés entre eux par des bus internes (liaisons 101, 103, 104 et 106). Cette variante est particulièrement intéressante quand le dispositif est, par exemple, un téléphone ou terminal de télécommunication portable.According to a second variant, the source 100, the boxes 102 and 105 and the device 107 are part of the same device and are connected to each other by internal buses (links 101, 103, 104 and 106). This variant is particularly advantageous when the device is, for example, a telephone or portable telecommunication terminal.
La figure 2 présente un synoptique d'un boîtier à commande vocale tel le boîtierFigure 2 shows a block diagram of a voice-activated unit such as the unit
102 illustré en regard de la figure 1. On note que le boîtier 102 reçoit de l'extérieur l'onde source analogique 101 qui est traitée par un Décodeur Acoustico-Phonétique 200 ou DAP (appelé " front-end " en anglais). Le DAP 200 échantillonne à intervalles réguliers (typiquement toutes les 10ms) l'onde source 101 pour produire des vecteurs réels ou appartenant à des livres de code (ou " code books " en anglais), représentant typiquement des résonances buccales qui sont émises via une liaison 201 vers un moteur de reconnaissance 203.102 illustrated with reference to FIG. 1. It is noted that the box 102 receives from the outside the analog source wave 101 which is processed by an Acoustic-Phonetic Decoder 200 or DAP (called "front-end" in English). The DAP 200 samples at regular intervals (typically every 10 ms) the source wave 101 to produce real vectors or those belonging to code books (or "code books" in English), typically representing oral resonances which are emitted via a link 201 to a recognition engine 203.
On rappelle qu'un décodeur acoustico-phonétique traduit les échantillons numériques en symboles acoustiques choisis dans un alphabet prédéterminé.It will be recalled that an acousto-phonetic decoder translates the digital samples into acoustic symbols chosen from a predetermined alphabet.
Un décodeur linguistique traite ces symboles dans le but de déterminer, pour une séquence A de symboles, la séquence W de mots la plus probable, étant donné la séquence A. Le décodeur linguistique comporte un moteur de reconnaissance utilisant un modèle acoustique et un modèle de langage. Le modèle acoustique est par exemple un modèle dit " Markov caché " (" Hidden Markov Model " ou HMM). Il calcule de façon connue en soi les scores acoustiques des séquences de mots considérées. Le modèle de langage mis en œuvre dans le présent exemple de réalisation est basé sur une grammaire décrite à l'aide de règles de syntaxe de forme Backus Naur. Le modèle de langage est utilisé pour déterminer une pluralité d'hypothèses de séquences de mots et pour calculer des scores linguistiques.A linguistic decoder processes these symbols in order to determine, for a sequence A of symbols, the most probable sequence W of words, given the sequence A. The linguistic decoder comprises a recognition engine using an acoustic model and a language. The acoustic model is for example a model called "Hidden Markov Model" (HMM). It calculates from in a manner known per se the acoustic scores of the sequences of words considered. The language model implemented in this embodiment is based on a grammar described using syntax rules of Backus Naur form. The language model is used to determine a plurality of word sequence hypotheses and to calculate linguistic scores.
Le moteur de reconnaissance est basé sur un algorithme de type Viterbi appelé " n-best ". L'algorithme de type n-best détermine à chaque étape de l'analyse d'une phrase les n séquences de mots les plus probables. En fin de phrase, la solution la plus probable est choisie parmi les n candidats, à partir des scores fournis par le modèle acoustique et le modèle de langage.The recognition engine is based on a Viterbi type algorithm called "n-best". The n-best algorithm determines at each stage of the analysis of a sentence the n most likely word sequences. At the end of the sentence, the most likely solution is chosen from among the n candidates, from the scores provided by the acoustic model and the language model.
On décrit maintenant plus particulièrement le fonctionnement du moteur de reconnaissance. Comme mentionné, ce dernier utilise un algorithme de type Viterbi (algorithme n-best) pour analyser une phrase composée d'une séquence de symboles (vecteurs) acoustiques. L'algorithme détermine les N séquences de mots les plus probables, étant donné la séquence A de symboles acoustiques observée jusqu'au symbole courant. Les séquences de mots les plus probables sont déterminées à travers le modèle de langage de type grammaire stochastiques. En liaison avec les modèles acoustiques des éléments terminaux de la grammaire, qui sont basés sur des HMM (Modèles de Markov Cachés ou " Hidden Markov Models "), on produit alors un modèle de Markov caché global pour l'application, qui inclut donc le modèle de langage et par exemple les phénomènes de coarticulations entre éléments terminaux. L'algorithme de Viterbi est mis en œuvre en parallèle, mais au lieu de retenir une seule transition vers chaque état lors de l'itération i, on retient pour chaque état les N transitions les plus probables. Des informations concernant en particulier les algorithmes de Viterbi, de recherche par faisceau et de " n-best " sont donnés dans l'ouvrage :We will now describe more particularly the operation of the recognition engine. As mentioned, the latter uses a Viterbi type algorithm (n-best algorithm) to analyze a sentence composed of a sequence of acoustic symbols (vectors). The algorithm determines the N most probable word sequences, given the sequence A of acoustic symbols observed up to the current symbol. The most probable word sequences are determined through the stochastic grammar type language model. In connection with the acoustic models of the terminal elements of the grammar, which are based on HMM (Hidden Markov Models or "Hidden Markov Models"), we then produce a global hidden Markov model for the application, which therefore includes the language model and for example the phenomena of coarticulations between terminal elements. The Viterbi algorithm is implemented in parallel, but instead of retaining a single transition to each state during iteration i, we retain for each state the N most likely transitions. Information concerning in particular the Viterbi, beam search and "n-best" algorithms is given in the work:
" Statistical methods for speech récognition " par Frederik Jelinek, MIT press 1999 ISBN 0-262-10066-5 chapitres 2 et 5 en particulier."Statistical methods for speech recognition" by Frederik Jelinek, MIT press 1999 ISBN 0-262-10066-5 chapters 2 and 5 in particular.
L'analyse effectuée par le moteur de reconnaissance s'arrête lorsque l'ensemble des symboles acoustiques relatifs à une phrase a été traité. Le moteur de reconnaissance dispose alors d'un treillis constitué des états à chaque itération précédente de l'algorithme et des transitions entre ces états, jusqu'aux états finaux. En dernier lieu, on retient parmi les états finaux et leurs N transitions associées les N transitions les plus probables. En retraçant les transitions à partir des états finaux, on détermine les N séquences de mots les plus probables correspondant aux symboles acoustiques. Ces séquences sont alors soumises à un traitement utilisant un parseur dans un but de sélectionner l'unique séquence finale sur des critères grammaticaux. Ainsi, à l'aide de dictionnaires 202, le moteur de reconnaissance 203 analyse les vecteurs réels qu'il reçoit en utilisant notamment des modèles de Markov cachés ouThe analysis performed by the recognition engine stops when all of the acoustic symbols relating to a sentence have been processed. The recognition engine then has a trellis consisting of the states at each previous iteration of the algorithm and the transitions between these states, up to the final states. Finally, we retain among the final states and their N associated transitions the N most likely transitions. By retracing the transitions from the final states, the N most probable word sequences corresponding to the acoustic symbols are determined. These sequences are then subjected to a processing using a parser in order to select the unique final sequence on grammatical criteria. Thus, with the aid of dictionaries 202, the recognition engine 203 analyzes the real vectors which it receives using in particular hidden Markov models or
HMM (de l'anglais Hidden Markov Models) et des modèles de langage (qui représentent la probabilité pour qu'un mot suive un autre mot) selon un algorithme de Viterbi avec développement dynamique en largeur des états qui est détaillé plus loin.HMM (from the English Hidden Markov Models) and language models (which represent the probability that a word follows another word) according to a Viterbi algorithm with dynamic development in state width which is detailed below.
Le moteur de reconnaissance 203 fournit des mots qu'il a identifiés à partir des vecteurs reçus à un moyen de traduction de ces mots en commandes pouvant être comprises par l'appareil 107. Ce moyen utilise un procédé de traduction à intelligence artificielle qui lui-même prend en compte un contexte 104 fourni par le boîtier de commande 105 avant d'émettre une ou plusieurs commandes 103 vers le boîtier de commande 105.The recognition engine 203 supplies words which it has identified from the vectors received to a means for translating these words into commands which can be understood by the apparatus 107. This means uses an artificial intelligence translation method which itself even takes into account a context 104 provided by the control unit 105 before issuing one or more commands 103 to the control unit 105.
La figure 3 illustre schématiquement un module ou dispositif de reconnaissance vocale 102 tel qu'illustré en regard de la figure 1, et mettant en œuvre le synoptique de la figure 2. Le boîtier 102 comprend reliés entre eux par un bus d'adresses et de données : une interface vocale 301 ; un convertisseur Analogique-Numérique 302 un processeur 304 ; une mémoire non volatile 305 ; - une mémoire vive 306 ; et une interface 307 de commande d'un appareil. Chacun des éléments illustrés en figure 3 est bien connu de l'homme du métier. Ces éléments communs ne sont pas décrits ici.FIG. 3 schematically illustrates a voice recognition module or device 102 as illustrated with reference to FIG. 1, and implementing the block diagram of FIG. 2. The housing 102 comprises interconnected by an address and data: a voice interface 301; an Analog-to-Digital converter 302 a processor 304; a non-volatile memory 305; - a random access memory 306; and an apparatus control interface 307. Each of the elements illustrated in Figure 3 is well known to those skilled in the art. These common elements are not described here.
On observe en outre que le mot " registre " utilisé dans toute la description désigne dans chacune des mémoires mentionnées, aussi bien une zone de mémoire de faible capacité (quelques données binaires) qu'une zone mémoire de grande capacitéIt is further observed that the word "register" used throughout the description designates in each of the memories mentioned, both a low-capacity memory area (some binary data) and a high-capacity memory area
(permettant de stocker un programme entier ou l'intégralité d'une séquence de données de transactions).(used to store an entire program or an entire sequence of transaction data).
La mémoire non volatile 305 (ou ROM) conserve dans des registres qui par commodité possèdent les mêmes noms que les données qu'ils conservent :Non-volatile memory 305 (or ROM) stores in registers which, for convenience, have the same names as the data they store:
- le programme de fonctionnement du processeur 304 dans un registre "prog " 308 ;- the operating program of processor 304 in a "prog" register 308;
- un dictionnaire phonétique des mots devant être compris par le moteur de reconnaissance dans un registre 309 ; et un dictionnaire grammatical des nœuds non terminaux utilisé par le moteur de reconnaissance pour construire des automates, dans un registre 310.- a phonetic dictionary of the words to be understood by the recognition engine in a register 309; and a grammatical dictionary of non-terminal nodes used by the recognition engine to construct automata, in a register 310.
La mémoire vive 306 conserve des données, des variables et des résultats intermédiaires de traitement et comprend notamment : - un automate 313 ; etThe RAM 306 stores data, variables and intermediate processing results and includes in particular: - an automaton 313; and
- une représentation d'un treillis 314.- a representation of a trellis 314.
La figure 4 illustre un automate statique de reconnaissance vocale, connu en soi, qui permet de décrire un treillis de Viterbi utilisé pour la reconnaissance vocale. Selon l'état de l'art, l'intégralité de ce treillis est prise en compte.FIG. 4 illustrates a static voice recognition automaton, known per se, which makes it possible to describe a Viterbi trellis used for voice recognition. According to the state of the art, the entirety of this trellis is taken into account.
Par souci de clarté, on considère un modèle de petite taille qui correspond à la reconnaissance d'une question liée au programme de chaîne de télévision. Ainsi, on suppose qu'un boîtier de commande vocale doit reconnaître une phrase du type " Qu'est qu'il y a, à une certaine date, sur une certaine chaîne de télévision ? ". L'automate correspondant, selon l'état de l'art, est développé in extenso selon la figure 4 et comprend : des nœuds représentés sous une forme rectangulaire, qui sont expansés ; et des nœuds terminaux sous une forme elliptique, qui ne sont pas expansés et qui correspondent à un mot ou une expression du langage courant. Ainsi, le nœud de base 400 " G " est expansé en quatre nœuds 401, 403, 404 etFor the sake of clarity, we consider a small model that corresponds to the recognition of an issue related to the television channel program. Thus, it is assumed that a voice control unit must recognize a sentence of the type "What is there, on a certain date, on a certain television channel?". The corresponding automaton, according to the state of the art, is developed in extenso according to FIG. 4 and comprises: nodes represented in a rectangular form, which are expanded; and terminal nodes in an elliptical form, which are not expanded and which correspond to a word or an expression of the current language. Thus, the basic node 400 "G" is expanded into four nodes 401, 403, 404 and
406, conformément à la règle de grammaire:406, in accordance with the grammar rule:
<G> = qu' est-ce qu' il y a <Date> sur <Chaîne> Il n'y a qu'une possibilité pour les nœuds 401 et 404 qui correspondent donc à des nœuds terminaux respectivement 402 (" qu' est-ce qu' il y a ") et 405 (" sur ") .<G> = what is there <Date> on <Channel> There is only one possibility for nodes 401 and 404 which therefore correspond to terminal nodes respectively 402 ("what is -that there are ") and 405 (" on ").
En revanche, le nœud 403 (" Date ") est développé en deux nœuds 407 (" j our ") et 408 (" Complément Jour ") qui sont eux mêmes expansés suivant une alternative (respectivement 409 (" ce ") et 413 (" demain ") pour le jour et 410 (" midi ") et 411 (" soir ") pour le complément conformément aux règles : <Date> = <Jour> <Complément Jour>On the other hand, the node 403 ("Date") is developed into two nodes 407 ("day") and 408 ("Day Supplement") which are themselves expanded according to an alternative (respectively 409 ("this") and 413 ( "tomorrow") for the day and 410 ("noon") and 411 ("evening") for the complement according to the rules: <Date> = <Day> <Day Supplement>
<Jour> = ce | demain <Complément Jour> = midi | soir<Day> = this | tomorrow <Day Supplement> = noon | evening
Ainsi, la date peut être décodée selon quatre possibilités : " ce midi ", " ce soir ", " demain midi " et " demain soir ". De même, le nœud 406 (" Chaîne ") est développé en une alternative :Thus, the date can be decoded according to four possibilities: "this noon", "this evening", "tomorrow noon" and "tomorrow evening". Similarly, node 406 ("Chain") is developed as an alternative:
- deux nœuds successifs 417 (" la ") correspondant à un nœud terminal 419 et 418 ( " Chaînel2 ") qui est lui-même expansé selon une alternative comprenant les nœuds 420 (" une ") et 422 (" deux ") associés respectivement aux nœuds terminaux 421 et 423; ou - un nœud 424 (" FR3 ") qui correspond à un nœud terminal 425 ; conformément aux règles: <Chaîne> = la <Chaînel2> I FR3 <Chaînel2> = une | deux- two successive nodes 417 ("la") corresponding to a terminal node 419 and 418 ("Chaînel2") which is itself expanded according to an alternative comprising nodes 420 ("one") and 422 ("two") associated respectively at terminal nodes 421 and 423; or - a node 424 ("FR3") which corresponds to a terminal node 425; according to the rules: <Channel> = <Channel2> I FR3 <Channel2> = one | of them
On peut noter que cet automate, bien que correspondant à un modèle de petite taille, comprend de nombreux états développés et conduit à un treillis de Viterbi nécessitant déjà une mémoire et des ressources de calcul non négligeables relativement à la taille du modèle (on note que la taille du treillis croît avec le nombre d'états de l'automate).It can be noted that this automaton, although corresponding to a small model, includes many developed states and leads to a Viterbi lattice already requiring a memory and significant computational resources relative to the size of the model (we note that the size of the trellis increases with the number of states of the automaton).
Selon l'invention, on remplace un automate entièrement calculé statiquement par un automate calculé au fur et à mesure des besoins de l' algorithme de Viterbi qui cherche à déterminer le meilleur chemin dans cet automate. C'est ce que l'on nomme le " développement dynamique en largeur ", puisque la grammaire est développée sur tous les fronts jugés intéressants par rapport à l'information acoustique entrante.According to the invention, an automaton entirely statically calculated is replaced by an automaton calculated as and when the needs of the Viterbi algorithm seek to determine the best path in this automaton. This is what is called "dynamic development in width", since the grammar is developed on all fronts deemed interesting in relation to the incoming acoustic information.
Ainsi, la figure 5 décrit un algorithme de développement dynamique en largeur d'un nœud susceptible d'être expansé selon l'invention. Cet algorithme est mis en œuvre par le processeur 304 du dispositif ou module de reconnaissance vocale 102 tel qu'illustré en regard de la figure 3.Thus, FIG. 5 describes an algorithm for dynamic development in width of a node capable of being expanded according to the invention. This algorithm is implemented by the processor 304 of the voice recognition device or module 102 as illustrated with reference to FIG. 3.
Cet algorithme est appliqué aux nœuds à développer (tel que choisi par l'algorithme de Viterbi) d'une manière récursive pour former un automate comprenant pour base un nœud développé, jusqu'à ce que tous les successeurs immédiats soient étiquetés par un modèle markovien, c'est-à-dire qu'il faut développer récursivement tous les non-terminaux en partie gauche d'un automate (en supposant que l'automate est construit de gauche à droite, le premier élément d'une branche se trouvant donc à gauche).This algorithm is applied to the nodes to be developed (as chosen by the Viterbi algorithm) in a recursive manner to form an automaton comprising a developed node as a base, until all of the immediate successors are labeled by a Markovian model. , i.e. it is necessary to recursively develop all the non-terminals in the left part of an automaton (assuming that the automaton is built from left to right, the first element of a branch being therefore found to the left).
Pour construire les portions d'automate nécessaires issues du développement d'un nœud, le processeur 304 utilise dynamiquement : - le dictionnaire 310 associé aux nœuds non-terminaux (qui permet d'obtenir leur définition) ; et - le dictionnaire 309 associé aux mots (qui permet d'obtenir leur HMM). On note que de tels dictionnaires sont connus en soi puisque également utilisés dans la construction statique d'automates complets selon l'état de l'art. Ainsi, selon l'invention, les nœuds spéciaux introduits (appelés " DynX" dans les figures) font aussi référence à des portions de définitions du dictionnaire et sont expansés au strict minimum des besoins.To build the necessary automaton portions from the development of a node, the processor 304 dynamically uses: - the dictionary 310 associated with the non-terminal nodes (which makes it possible to obtain their definition); and - the dictionary 309 associated with the words (which makes it possible to obtain their HMM). It should be noted that such dictionaries are known per se since they are also used in the static construction of complete automata according to the state of the art. Thus, according to the invention, the special nodes introduced (called "DynX" in the figures) also refer to portions of dictionary definitions and are expanded to the bare minimum of requirements.
Selon l'algorithme de développement d'un nœud, au cours d'une première étape 500, le processeur 304 initialise des variables de travail liées à la prise en compte du nœud considéré, et notamment un compteur de branches i. Puis, au cours d'une étape 501, le processeur 304 prend en compte la ièms branche issue d'un premier développement du nœud considéré, qui devient la branche active à développer.According to the development algorithm of a node, during a first step 500, the processor 304 initializes working variables related to the taking into account of the node considered, and in particular a branch counter i. Then, during a step 501, the processor 304 takes into account the i th branch originating from a first development of the node considered, which becomes the active branch to be developed.
Ensuite, au cours d'un test 502, le processeur 304 détermine si le premier nœud de la branche active est un nœud terminal.Then, during a test 502, the processor 304 determines whether the first node of the active branch is a terminal node.
Dans la négative, au cours d'une étape 503, le processeur 304 développe le premier nœud de la branche active, sur base de l'algorithme défini en regard de la figure 5 selon un mécanisme récursif.If not, during a step 503, the processor 304 develops the first node of the active branch, on the basis of the algorithm defined with reference to FIG. 5 according to a recursive mechanism.
Si le résultat du test 502 est positif ou à la suite de l'étape 503, au cours d'un test 504, le processeur 304 détermine si la branche active comporte un seul nœud.If the result of the test 502 is positive or following the step 503, during a test 504, the processor 304 determines whether the active branch comprises a single node.
Dans la négative, le processeur 304 groupe les nœuds suivants de la branche i en un seul nœud spécial Dynx qui ne sera développé ultérieurement qu'en cas de nécessité. L'exécution de l'algorithme de Viterbi peut en effet conduire à éliminer cette branche, la probabilité d'occurrence associée au premier nœud de la branche (matérialisée par la métrique de nœud dans le treillis développé à partir de l'automate) pouvant être trop faible par rapport à une ou plusieurs alternatives. Ainsi, dans ce cas, le développement du nœud spécial Dynx n'est pas effectué ce qui permet d'économiser du temps de calcul CPU de microprocesseur et de la mémoire.If not, the processor 304 groups the following nodes of the branch i into a single special node Dynx which will only be developed later if necessary. The execution of the Viterbi algorithm can indeed lead to eliminating this branch, the probability of occurrence associated with the first node of the branch (materialized by the metric of node in the trellis developed from the automaton) can be too weak compared to one or more alternatives. Thus, in this case, the development of the special node Dynx is not carried out which saves CPU computation time of microprocessor and memory.
Si le résultat du test 504 est positif ou à la suite de l'étape 505, au cours d'un test 506, le processeur 304 détermine si la branche active est la dernière branche issue du premier développement du nœud considéré.If the result of the test 504 is positive or following step 505, during a test 506, the processor 304 determines whether the active branch is the last branch resulting from the first development of the node considered.
Dans l'affirmative, au cours d'une étape 507, l'algorithme de développement d'un nœud prend fin.If so, during a step 507, the algorithm for developing a node ends.
Dans la négative, au cours d'une étape 508, le compteur de branche i est incrémenté d'une unité et l'étape 501 est réitérée.If not, during a step 508, the branch counter i is incremented by one and step 501 is repeated.
A titre d'exemple, cet algorithme est appliqué à une entrée acoustique correspond à la phrase " qu' est-ce qu' il y a ce midi sur FR3? " avec la grammaire suivante :As an example, this algorithm is applied to an acoustic input corresponds to the sentence "what is there this afternoon on FR3?" With the following grammar:
<G> = qu'est-ce qu'il y a <Date> sur <Chaîne> <Date> = <Jour> <ComplémentJour><G> = what is <Date> on <Channel> <Date> = <Day> <DayIntake>
<Jour> = ce | demain<Day> = this | tomorrow
<ComplémentJour> = midi | soir<Day Complement> = noon | evening
<Chaîne> = la <Chaînel2> | FR3<Channel> = the <Channel2> | FR3
<Chaînel2> = une | deux Sous l'hypothèse que les modèles acoustiques sont suffisamment fins pour différencier tous les mots de la grammaire, les demandes successives de développement dynamique de l'algorithme de Viterbi conduiront aux états successifs de l'automate dynamique décrits dans les figures 6 à 10.<Channel2> = one | two Under the assumption that the acoustic models are sufficiently fine to differentiate all the words from the grammar, the successive requests for development dynamics of the Viterbi algorithm will lead to successive states of the dynamic automaton described in Figures 6 to 10.
Ainsi, selon l'invention, l'automate va se construire petit à petit, au fur et à mesure des demandes de l'algorithme de Viterbi. On note que, lorsque l'algorithme de Viterbi demande un développement dynamique à partir d'un état de l'automate, le développement doit se poursuivre jusqu'à ce que tous les successeurs immédiats soient étiquetés par un modèle markovien, c'est- à-dire qu'il faut développer récursivement tous les non-terminaux en partie gauche (exemple : à la figure 3, le développement de <Date> est évidemment nécessaire, mais celui de < Jour> l'est aussi afin de rendre visibles les mots " ce " et " demain ").Thus, according to the invention, the automaton will be built little by little, as and when the requests of the Viterbi algorithm are made. We note that, when the Viterbi algorithm requires dynamic development from a state of the automaton, the development must continue until all the immediate successors are labeled by a Markovian model, that is to say that is to say recursively develop all the non-terminals on the left side (example: in Figure 3, the development of <Date> is obviously necessary, but that of <Day> is also necessary in order to make visible words "this" and "tomorrow").
La figure 6 présente l'automate issu de l'application à un premier nœud de base " G " 600, de l'algorithme de développement d'un nœud présenté en regard de la figure 5, selon l'invention.FIG. 6 shows the automaton resulting from the application to a first base node "G" 600, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention.
On note que le nœud " G " 600 se décompose en une seule branche. Le premier nœud "qu' est ce qu' il y a " 601 de cette branche est un nœud terminal. Il est donc associé directement à l'expression 603 correspondante.Note that the node "G" 600 is broken down into a single branch. The first node "what is it" 601 of this branch is a terminal node. It is therefore associated directly with the corresponding expression 603.
La branche contient au moins un autre nœud selon la grammaire décrivant ce nœud. On va donc représenter cette branche sous la forme d'un premier nœud et d'un nœud spécial Dynl qui n'est pas développé. Le nœud 600 se décompose en une seule branche. Le développement du nœudThe branch contains at least one other node according to the grammar describing this node. We will therefore represent this branch in the form of a first node and a special Dynl node which is not developed. The node 600 is broken down into a single branch. The development of the knot
600 est donc terminé.600 is therefore finished.
En résumé, l'automate ainsi construit est défini, selon le formalisme précédemment utilisé, de la manière suivante :In summary, the automaton thus constructed is defined, according to the formalism previously used, as follows:
<G> = qu' est-ce qu' il y a <Dynl> La figure 7 présente l'automate issu de l'application au nœud spécial Dynl 602, de l'algorithme de développement d'un nœud présenté en regard de la figure 5, selon l'invention.<G> = what is there <Dynl> Figure 7 presents the automaton resulting from the application to the special node Dynl 602, from the algorithm for developing a node presented next to the Figure 5, according to the invention.
L'algorithme de Viterbi considérant comme vraisemblable le début de phrase " qu ' e s t - ce qu ' i 1 y a ", va requérir le développement du nœud 602. On note que le nœud 602 se décompose en une seule branche.The Viterbi algorithm considering as likely the beginning of the sentence "what is it that there is 1", will require the development of node 602. We note that node 602 is broken down into a single branch.
Le premier nœud "Date" 700 de cette branche n'est pas un nœud terminal. Il est donc développé de manière récursive selon l'algorithme de développement illustré en regard de la figure 5.The first "Date" node 700 of this branch is not a terminal node. It is therefore developed recursively according to the development algorithm illustrated with reference to FIG. 5.
Le nœud 700 se décompose en une seule branche. Le premier nœud "Jour" 702 de cette branche n'est pas un nœud terminal. Il est donc lui-même développé.The node 700 is broken down into a single branch. The first "Day" node 702 of this branch is not a terminal node. It is therefore itself developed.
Le nœud 702 se décompose en deux branches symbolisant une alternative. Le premier nœud de chacune de ces deux branches respectivement "ce" 704 et "demain" 706 est un nœud terminal. Il est donc associé directement à l'expression correspondante respectivement 705 et 707.The node 702 is broken down into two branches symbolizing an alternative. The first node of each of these two branches respectively "ce" 704 and "tomorrow" 706 is a terminal node. It is therefore directly associated with the corresponding expression 705 and 707 respectively.
Ces branches ne contenant qu'un seul nœud, le développement du nœud 702 est terminé.These branches containing only one node, the development of node 702 is finished.
La branche issue du nœud " Date " 703 contenant plus d'un nœud, elle se décompose en le nœud " Jour " 702 développé et en un nœud spécial DynS 703.The branch from the "Date" node 703 containing more than one node, it breaks down into the developed "Day" node 702 and a special DynS 703 node.
De même, la branche issue du nœud Dynl 602 contenant plus d'un nœud, elle se décompose en le nœud " Date " 700 développé et en un nœud spécial Dyn2 701. Le développement du nœud 600 est terminé de cette manière et, en résumé, l'automate issu du nœud 600 ainsi construit est défini, selon le formalisme précédemment utilisé, de la manière suivante :In the same way, the branch resulting from the node Dynl 602 containing more than one node, it is decomposed into the node "Date" 700 developed and into a special node Dyn2 701. The development of node 600 is finished in this way and, in summary , the automaton resulting from node 600 thus constructed is defined, according to the formalism previously used, in the following way:
<Dynl> = <Date> <Dyn2><Dynl> = <Date> <Dyn2>
<Date> = <Jour> <Dyn3> <Jour> = ce | demain<Date> = <Day> <Dyn3> <Day> = ce | tomorrow
La figure 8 présente l'automate issu de l'application au nœud spécial Dyn3 703, de l'algoritlime de développement d'un nœud présenté en regard de la figure 5, selon l'invention.FIG. 8 presents the automaton resulting from the application to the special node Dyn3 703, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention.
L'algorithme de Viterbi considérant comme vraisemblable le début de phrase " qu' est-ce qu' il y a ce", va requérir le développement du nœud 703.Viterbi's algorithm considering as likely the beginning of sentence "what is this", will require the development of node 703.
On note que le nœud 703 se décompose en une seule branche.We note that node 703 breaks down into a single branch.
Le seul nœud "Complément Jour" 800 de cette branche n'est pas un nœud terminal. Il est donc développé de manière récursive selon l'algorithme de développement illustré en regard de la figure 5. Le nœud 800 se décompose en deux branches symbolisant une alternative.The only "Day Complement" node 800 in this branch is not a terminal node. It is therefore developed recursively according to the development algorithm illustrated with reference to FIG. 5. The node 800 is broken down into two branches symbolizing an alternative.
Le seul nœud de chacune de ces deux branches respectivement "midi" 801 et "soir" 804 est un nœud terminal. Il est donc associé directement à l'expression correspondante respectivement 802 et 804.The only node of each of these two branches respectively "noon" 801 and "evening" 804 is a terminal node. It is therefore associated directly with the corresponding expression respectively 802 and 804.
Ces branches ne contenant qu'un seul nœud, le développement du nœud 703 est terminé et, en résumé, l'automate issu du nœud 703 ainsi construit est défini, selon le formalisme précédemment utilisé, de la manière suivante :These branches containing only one node, the development of node 703 is finished and, in summary, the automaton resulting from node 703 thus constructed is defined, according to the formalism previously used, in the following manner:
<Dyn3> = <Complément Jour><Dyn3> = <Day Supplement>
<Complément Jour> = midi | soir<Day Supplement> = noon | evening
La figure 9 présente l'automate issu de l'application au nœud spécial Dyn2 701, de l'algorithme de développement d'un nœud présenté en regard de la figure 5, selon l'invention. L'algorithme de Viterbi considérant comme vraisemblable le début de phrase " qu' est-ce qu' il y a ce midi", va requérir le développement du nœud 703.FIG. 9 presents the automaton resulting from the application to the special node Dyn2 701, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention. The Viterbi algorithm considering as likely the beginning of sentence "what is it this noon", will require the development of node 703.
Le nœud 701 se décompose en une seule branche.The node 701 breaks down into a single branch.
Le premier nœud "sur" 901 de cette branche est un nœud terminal. Il est donc associé directement à l'expression correspondante 903.The first node "on" 901 of this branch is a terminal node. It is therefore associated directly with the corresponding expression 903.
La branche contenant plus d'un nœud, elle se décompose en le nœud terminal "sur" 901 développé et en un nœud spécial Dyn4 704.Since the branch contains more than one node, it is broken down into the terminal node "on" 901 developed and into a special node Dyn4 704.
Le développement du nœud 701 est terminé de cette manière et, en résumé, l'automate issu du nœud 701 ainsi construit est défini, selon le formalisme précédemment utilisé, de la manière suivante :The development of node 701 is ended in this way and, in summary, the automaton resulting from node 701 thus constructed is defined, according to the formalism previously used, in the following way:
<Dyn2> = sur <Dyn4><Dyn2> = on <Dyn4>
La figure 10 présente l'automate issu de l'application au nœud spécial Dyn4 902, de l'algorithme de développement d'un nœud présenté en regard de la figure 5, selon l'invention. L'algorithme de Viterbi considérant comme vraisemblable le début de phraseFIG. 10 presents the automaton resulting from the application to the special node Dyn4 902, of the algorithm for developing a node presented with reference to FIG. 5, according to the invention. Viterbi's algorithm considering the beginning of the sentence as likely
" qu' est-ce qu' il y a ce midi sur", va requérir le développement du nœud 902."what is this noon on", will require the development of node 902.
Le nœud 902 se décompose en deux branches symbolisant une alternative.The node 902 is broken down into two branches symbolizing an alternative.
Le premier nœud de chacune de ces deux branches respectivement "la" 1000 et "FR3" 1004 est un nœud terminal. Il est donc associé directement à l'expression correspondante respectivement 1002 et 1004.The first node of each of these two branches respectively "la" 1000 and "FR3" 1004 is a terminal node. It is therefore associated directly with the corresponding expression 1002 and 1004 respectively.
La première branche issue du nœud Dyn4 902 contenant plus d'un nœud, elle se décompose en le nœud " la " 1000 et en un nœud spécial Dyn5 1001.The first branch coming from node Dyn4 902 containing more than one node, it is broken down into node "la" 1000 and a special node Dyn5 1001.
La deuxième branche ne contenant qu'un seul nœud, le développement du nœud 600 est terminé de cette manière et, en résumé, l'automate issu du nœud 902 ainsi construit est défini, selon le formalisme précédemment utilisé, de la manière suivante :The second branch containing only one node, the development of the node 600 is finished in this way and, in summary, the automaton resulting from the node 902 thus constructed is defined, according to the formalism previously used, in the following way:
<Dyn4> = la <Dyn5> | FR3<Dyn4> = the <Dyn5> | FR3
Selon l'exemple, si l'entrée acoustique correspond à la phrase " qu' est-ce qu' il y a ce midi sur FR3 ", l'algorithme de Viterbi élimine la possibilité d'avoir le mot " la " correspondant au nœud terminal 1002, sa probabilité d'occurrence étant très faible par rapport à l'alternative représentée par le nœud terminal " FR3 ". Il ne va donc pas demander le développement du nœud spécial Dyn5 1001 qui suit le nœud " la " 1002 sur la même branche.According to the example, if the acoustic input corresponds to the phrase "what is there this afternoon on FR3", the Viterbi algorithm eliminates the possibility of having the word "the" corresponding to the node terminal 1002, its probability of occurrence being very low compared to the alternative represented by the terminal node "FR3". It will therefore not ask for the development of the special node Dyn5 1001 which follows the node "la" 1002 on the same branch.
On note qu'ainsi, on limite l'expansion de l'automate en fonction des données acoustiques entrantes. Selon l'exemple décrit, le vocabulaire est relativement étroit pour des raisons de clarté, mais, il est clair que la différence de taille entre un automate construit dynamiquement et un automate statique croît en fonction de la largeur du vocabulaire.It is noted that thus, the expansion of the automaton is limited as a function of the incoming acoustic data. According to the example described, the vocabulary is relatively narrow for reasons of clarity, but, it is clear that the difference in size between an automaton dynamically constructed and a static automaton grows according to the width of the vocabulary.
Bien entendu, l'invention n'est pas limitée aux exemples de réalisation mentionnés ci-dessus. En particulier, l'homme du métier pourra apporter toute variante dans le développement dynamique en largeur et notamment dans la détermination des cas où un nœud spécial est inséré dans un automate. En effet, de nombreuses variantes pour cette insertion sont possibles entre les deux cas extrêmes que sont le mode de réalisation de l'invention décrit en figure 5 (un nœud n'est développé qu'en cas de nécessité), d'une part, et le cas statique de l'état de l'art, d'autre part.Of course, the invention is not limited to the exemplary embodiments mentioned above. In particular, the person skilled in the art can make any variant in dynamic development in width and in particular in determining the cases where a special node is inserted in an automaton. Indeed, many variants for this insertion are possible between the two extreme cases which are the embodiment of the invention described in FIG. 5 (a node is only developed if necessary), on the one hand, and the state of the art static case, on the other hand.
De même, le procédé de reconnaissance vocale ne se limite pas au cas où un algorithme de Viterbi est mis en œuvre mais à tous les algorithmes utilisant un modèle de Markov, notamment dans le cas des algorithmes basés sur des treillis.Likewise, the voice recognition process is not limited to the case where a Viterbi algorithm is implemented but to all the algorithms using a Markov model, in particular in the case of algorithms based on trellises.
On note aussi que l'invention ne se limite pas à une implantation purement matérielle mais qu'elle peut aussi être mise en œuvre sous la forme d'une séquence d'instructions d'un programme informatique ou toute forme mixant une partie matérielle et une partie logicielle. Dans le cas où l'invention est implantée partiellement ou totalement sous forme logicielle, la séquence d'instructions correspondante pourra être stockée dans un moyen de stockage amovible (tel que par exemple une disquette, un CD-ROM ou un DVD-ROM) ou non, ce moyen de stockage étant lisible partiellement ou totalement par un ordinateur ou un microprocesseur. We also note that the invention is not limited to a purely material implementation but that it can also be implemented in the form of a sequence of instructions of a computer program or any form mixing a material part and a software part. In the case where the invention is implemented partially or completely in software form, the corresponding sequence of instructions may be stored in a removable storage means (such as for example a floppy disk, a CD-ROM or a DVD-ROM) or no, this storage means being partially or totally readable by a computer or a microprocessor.

Claims

REVENDICATIONS
1. Procédé de reconnaissance vocale, caractérisé en ce qu'il comprend une étape de reconnaissance vocale prenant en compte au moins un modèle de langage grammatical (310) et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux (201), ledit modèle de langage étant associé à au moins un automate (313) à états, fini ou infini, développé dynamiquement.1. A voice recognition method, characterized in that it comprises a voice recognition step taking into account at least one grammatical language model (310) and implementing a decoding algorithm intended to identify a series of words from '' a series of voice samples (201), said language model being associated with at least one state machine, finite or infinite, dynamically developed.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une étape de développement dynamique en largeur dudit ou desdits automates à partir d'au moins une grammaire (310) définissant un modèle de langage.2. Method according to claim 1, characterized in that it comprises a step of dynamic development in width of said one or more automata from at least one grammar (310) defining a language model.
3. Procédé selon la revendication 2, caractérisé en ce qu'il comprend une étape de construction d'au moins une partie d'un automate comprenant au moins une branche, chaque branche comprenant au moins un nœud, ladite étape de construction comprenant une sous-étape de développement sélectif dudit ou desdits nœuds, selon une règle prédéterminée.3. Method according to claim 2, characterized in that it comprises a step of construction of at least part of an automaton comprising at least one branch, each branch comprising at least one node, said construction step comprising a sub step of selective development of said node or nodes, according to a predetermined rule.
4. Procédé selon la revendication 3, caractérisé en ce que ledit algorithme comprend une étape de requête de développement d'au moins un nœud non développé permettant un développement dudit ou desdits nœuds selon ladite règle prédéterminée.4. Method according to claim 3, characterized in that said algorithm comprises a step of requesting the development of at least one undeveloped node allowing development of said node or nodes according to said predetermined rule.
5. Procédé selon l'une quelconque des revendications 3 et 4, caractérisé en ce que, selon ladite règle prédéterminée, pour chaque branche, chaque premier nœud de ladite branche est développé (503).5. Method according to any one of claims 3 and 4, characterized in that, according to said predetermined rule, for each branch, each first node of said branch is developed (503).
6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce que, pour au moins une branche comprenant un premier nœud et au moins un nœud suivant ledit premier nœud, ladite étape de construction comprend une sous-étape de remplacement dudit ou desdits nœuds suivants par un nœud spécial non développé (505).6. Method according to any one of claims 3 to 5, characterized in that, for at least one branch comprising a first node and at least one node following said first node, said construction step comprises a substep of replacing said or of said subsequent nodes by a special undeveloped node (505).
7. Procédé selon l'une quelconque des revendications 1 à 6 caractérisé en ce que ledit algorithme de décodage est un algorithme de décodage à maximum de vraisemblance. 7. Method according to any one of claims 1 to 6 characterized in that said decoding algorithm is a maximum likelihood decoding algorithm.
8. Dispositif (102) de reconnaissance vocale, caractérisé en ce qu'il comprend des moyens de reconnaissance vocale (203) prenant en compte au moins un modèle de langage grammatical (202) et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux (201), ledit modèle de langage étant associé à un automate (313) à états, fini ou infini, développé dynamiquement.8. Device (102) for voice recognition, characterized in that it comprises voice recognition means (203) taking into account at least one grammatical language model (202) and implementing a decoding algorithm intended to identify a series of words from a series of vocal samples (201), said language model being associated with a state machine, finite or infinite, dynamically developed.
9. Produit programme d'ordinateur comprenant des éléments de programme, enregistrés sur un support lisible par au moins un microprocesseur, caractérisé en ce que lesdits éléments de programme contrôlent le ou lesdits microprocesseurs pour qu'ils effectuent une étape de reconnaissance vocale prenant en compte au moins un modèle de langage grammatical et mettant en œuvre un algorithme de décodage destiné à identifier une suite de mots à partir d'une suite d'échantillons vocaux, ledit modèle de langage étant associé à un automate à états, fini ou infini, développé dynamiquement. 9. Computer program product comprising program elements, recorded on a medium readable by at least one microprocessor, characterized in that said program elements control said microprocessor (s) so that they perform a voice recognition step taking into account at least one grammatical language model and implementing a decoding algorithm intended to identify a series of words from a series of voice samples, said language model being associated with a state machine, finite or infinite, dynamically developed.
10. Produit programme d'ordinateur, caractérisé en ce que ledit programme comprend des séquences d'instructions adaptées à la mise en œuvre d'un procédé de reconnaissance vocale selon l'une quelconque des revendications 1 à 7 lorsque ledit programme est exécuté sur un ordinateur. 10. Computer program product, characterized in that said program comprises sequences of instructions adapted to the implementation of a voice recognition method according to any one of claims 1 to 7 when said program is executed on a computer.
EP01936519A 2000-05-23 2001-05-15 Dynamic language models for speech recognition Withdrawn EP1285434A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP01936519A EP1285434A1 (en) 2000-05-23 2001-05-15 Dynamic language models for speech recognition

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP00401433 2000-05-23
EP00401433 2000-05-23
EP01936519A EP1285434A1 (en) 2000-05-23 2001-05-15 Dynamic language models for speech recognition
PCT/FR2001/001469 WO2001091107A1 (en) 2000-05-23 2001-05-15 Dynamic language models for speech recognition

Publications (1)

Publication Number Publication Date
EP1285434A1 true EP1285434A1 (en) 2003-02-26

Family

ID=8173699

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01936519A Withdrawn EP1285434A1 (en) 2000-05-23 2001-05-15 Dynamic language models for speech recognition

Country Status (4)

Country Link
US (1) US20040034519A1 (en)
EP (1) EP1285434A1 (en)
AU (1) AU2001262407A1 (en)
WO (1) WO2001091107A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003005345A1 (en) * 2001-07-05 2003-01-16 Speechworks International, Inc. Speech recognition with dynamic grammars
US7149688B2 (en) 2002-11-04 2006-12-12 Speechworks International, Inc. Multi-lingual speech recognition with cross-language context modeling
FR2857528B1 (en) * 2003-07-08 2006-01-06 Telisma VOICE RECOGNITION FOR DYNAMIC VOCABULAR LARGES
US7849855B2 (en) * 2005-06-17 2010-12-14 Nellcor Puritan Bennett Llc Gas exhaust system for a gas delivery mask
US7827987B2 (en) * 2005-06-17 2010-11-09 Nellcor Puritan Bennett Llc Ball joint for providing flexibility to a gas delivery pathway
US7600514B2 (en) * 2005-06-17 2009-10-13 Nellcor Puritan Bennett Llc System and method for securing a gas delivery mask onto a subject's head
US7900630B2 (en) * 2005-06-17 2011-03-08 Nellcor Puritan Bennett Llc Gas delivery mask with flexible bellows
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20080053450A1 (en) * 2006-08-31 2008-03-06 Nellcor Puritan Bennett Incorporated Patient interface assembly for a breathing assistance system
JP5837341B2 (en) * 2011-06-24 2015-12-24 株式会社ブリヂストン Road surface condition determination method and apparatus
JP5875569B2 (en) * 2013-10-31 2016-03-02 日本電信電話株式会社 Voice recognition apparatus, method, program, and recording medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2151370C (en) * 1992-12-31 2005-02-15 Robert Don Strong A speech recognition system
US5699456A (en) * 1994-01-21 1997-12-16 Lucent Technologies Inc. Large vocabulary connected speech recognition system and method of language representation using evolutional grammar to represent context free grammars
IT1279171B1 (en) * 1995-03-17 1997-12-04 Ist Trentino Di Cultura CONTINUOUS SPEECH RECOGNITION SYSTEM
US6249761B1 (en) * 1997-09-30 2001-06-19 At&T Corp. Assigning and processing states and arcs of a speech recognition model in parallel processors
US6594393B1 (en) * 2000-05-12 2003-07-15 Thomas P. Minka Dynamic programming operation with skip mode for text line image decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0191107A1 *

Also Published As

Publication number Publication date
WO2001091107A1 (en) 2001-11-29
AU2001262407A1 (en) 2001-12-03
US20040034519A1 (en) 2004-02-19

Similar Documents

Publication Publication Date Title
EP3373293B1 (en) Speech recognition method and apparatus
US11776533B2 (en) Building a natural language understanding application using a received electronic record containing programming code including an interpret-block, an interpret-statement, a pattern expression and an action statement
US7720683B1 (en) Method and apparatus of specifying and performing speech recognition operations
KR101970041B1 (en) Methods for Hybrid GPU/CPU Data Processing
EP0838073A2 (en) Method and apparatus for dynamic adaptation of a large vocabulary speech recognition system and for use of constraints from a database in a large vocabulary speech recognition system
EP1669886A1 (en) Construction of an automaton compiling grapheme/phoneme transcription rules for a phonetiser
US20030009331A1 (en) Grammars for speech recognition
EP1285434A1 (en) Dynamic language models for speech recognition
EP1234303A1 (en) Method and device for speech recognition with disjoint language models
EP1236198B1 (en) Speech recognition with a complementary language model for typical mistakes in spoken dialogue
EP1642264B1 (en) Voice recognition for large dynamic vocabularies
Buchsbaum et al. Algorithmic aspects in speech recognition: An introduction
EP1285435B1 (en) Syntactic and semantic analysis of voice commands
EP1803116B1 (en) Voice recognition method comprising a temporal marker insertion step and corresponding system
JP2003208195A5 (en)
FR2801716A1 (en) Speech recognition device implementing a syntactic permutation rule using an audio processor for acquisition of an audio signal and a linguistic device for decoding
FR3031823A1 (en) SEMANTIC EMITTER BASED ON ONTOLOGICAL DICTIONARIES.
EP1981020A1 (en) Method and system for automatic speech recognition adapted for detecting utterances out of context
Seward Efficient methods for automatic speech recognition
Shinozaki et al. Compact speech decoder based on pure functional programming
FR2878990A1 (en) Grapheme/phoneme transcription rules compiling automaton constructing method for e.g. server, involves constructing and storing automaton with states and state transitions got from rules listed from grapheme/phoneme correspondences, in base
FR2837969A1 (en) DATA TRANSLATION METHOD AUTHORIZING SIMPLIFIED MEMORY MANAGEMENT
EP1428205A1 (en) Grammars for speech recognition
WO2007026094A1 (en) Tolerance-based concept identification

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20021203

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RBV Designated contracting states (corrected)

Designated state(s): AT BE CH CY DE DK ES FR GB IT LI NL

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060607