EP1710788B1 - Procédé et dispositif de conversion de la voix - Google Patents

Procédé et dispositif de conversion de la voix Download PDF

Info

Publication number
EP1710788B1
EP1710788B1 EP05102714A EP05102714A EP1710788B1 EP 1710788 B1 EP1710788 B1 EP 1710788B1 EP 05102714 A EP05102714 A EP 05102714A EP 05102714 A EP05102714 A EP 05102714A EP 1710788 B1 EP1710788 B1 EP 1710788B1
Authority
EP
European Patent Office
Prior art keywords
diction
excitation
fundamental frequency
signal
original excitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP05102714A
Other languages
German (de)
English (en)
Other versions
EP1710788A1 (fr
Inventor
Rolf Vetter
Jérôme Cornuz
Philippe Vuadens
Josep Sola I Caros
Philippe Renevey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre Suisse dElectronique et Microtechnique SA CSEM
Original Assignee
Centre Suisse dElectronique et Microtechnique SA CSEM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre Suisse dElectronique et Microtechnique SA CSEM filed Critical Centre Suisse dElectronique et Microtechnique SA CSEM
Priority to EP05102714A priority Critical patent/EP1710788B1/fr
Priority to DE602005015419T priority patent/DE602005015419D1/de
Publication of EP1710788A1 publication Critical patent/EP1710788A1/fr
Application granted granted Critical
Publication of EP1710788B1 publication Critical patent/EP1710788B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/057—Time compression or expansion for improving intelligibility
    • G10L2021/0575—Aids for the handicapped in speaking

Definitions

  • the present invention relates to a voice aid device and method for persons having ablation of the larynx.
  • Laryngectomy an operation often performed for laryngeal cancer, deprives the patient of his ability to speak. Indeed, the partial or total removal of the vocal cords prevents the generation of a harmonic excitation necessary for the production of vowels or voiced consonants.
  • the present invention overcomes this disadvantage, by proposing a portable device and an altered speech processing method, allowing, on the one hand, the restoration of a voice perceived as natural and, on the other hand, the reduction of the efforts to generate it.
  • the invention also makes it possible to avoid any additional surgical procedure, and proposes a compact, portable device permitting its use in all circumstances.
  • the processor is furthermore programmed to estimate the probability of a voiced sound, in parallel with the extraction of the excitation and the parameters of the articulation and the restoration of the original excitation, and to mix the original excitement restored and the original excitement from the probability of a voiced sound.
  • the present invention is based on the assumption that the subject is, of Preferably, already capable, after carrying out the necessary training, to produce, by modulation of the emitted air flow, an altered speech, for example of the esophageal type, expressing the message that it wishes to transmit.
  • the sounds that it emits are picked up by an external microphone whose output signals are processed by a processing circuit responsible for restoring the original voice, then emitted, for example, by a loudspeaker.
  • esophageal speech there are other types of altered speech than esophageal speech. For example, tracheoesophageal speech, supraglottal elocution, etc. may be mentioned.
  • the designation esophageal speech will be assumed to designate any other type of speech impairment resulting from the total or partial removal of the larynx.
  • the principle, according to the invention, of restoration of esophageal speech is based on a known model of speech production, schematized on the figure 1 and described in detail in the article of G. Fant (Q. Prog Status Rep. Speech Transmiss. Lab.1, 21-37 ). According to this model, the generation of a sound is decomposed into two distinct blocks.
  • excitation 1 is of two types, depending on the configuration of the larynx.
  • the air In open configuration, the air generates turbulence in the vocal cavities, without vibrating the vocal cords.
  • the excitation produced is similar to a noisy signal 3 and is used to generate unvoiced consonants (p, t, s, etc.).
  • the vibrations of the larynx excite the vocal cords that produce a harmonic acoustic wave, also called glottal wave 4, whose pattern and the fundamental fundamental frequency, located between 100 and 250Hz, are characteristic of each individual.
  • This excitement allows to produce voiced vowels and consonants (b, d, z, etc ).
  • the excitation 1 is therefore in the form of a sequence of harmonic signals 4 alternating or mingling with noisy signals 3.
  • the excitation, in a subject without a larynx is in the form of a sequence of quasi-harmonic signals alternating or mingling with noisy signals.
  • the voice apparatus of a person having undergone laryngeal ablation is functional, the articulation 2, which constitutes the second block of speech generation, is slightly impaired.
  • altered speech for example of the esophageal type, although deficient in the production of a harmonic acoustic wave, is capable of producing the subtle modulations of frequency and amplitude characteristic of the human voice.
  • the restoration of the esophageal-type altered speech requires mainly the restoration of the excitation during the voiced alternations of the speech, ie the restoration of the glottal wave 4, the unvoiced alternans and the joint being relatively unaffected by the removal of the larynx.
  • FIG. 2 illustrates the method of reconstruction of the voice according to the invention, based on the model explained above. It comprises various steps of processing of the signal delivered by the microphone, which are conducted in parallel or in series, and allow to move from the esophageal voice to a laryngeal voice expressed by the speaker.
  • the incoming signal is a digitized electrical signal representing the esophageal voice.
  • this original signal undergoes signal enhancement processing (see in particular the European patent EP 1'253'581 of the Applicant entitled “Method and System for Enhancing Speech in a noisy Environment"), then the signal obtained is directed in parallel to a block for estimating the probability of a voiced sound 12 and a series of three blocks 14, 16 and 18 to reconstruct the two types of excitations according to the speech pattern described with regard to the figure 1 .
  • the block 12 makes an estimate of the probability of a voiced sound, using automatic classification modules known to those skilled in the art and as described in the article of JM Solà et al ("Environmental Robust Features for Speech Detection", INTERSPEECH-ICSLP'04, Jeju Island, Korea, October 2004 ). This estimate, in the form of a number between zero and one, is then directed to a block 20 for mixing between harmonic excitation and noisy excitation, as explained later.
  • Blocks 14 and 16 common to both paths, respectively perform the subband decomposition and the identification of the parameters of the joint, operations known to those skilled in the art.
  • the subband decomposition consists of a band division of the frequency spectrum obtained by Fourier transform of the signal, and a rebalancing of this spectrum by the increase in amplitude of the less noisy bands compared to the others. This operation, although effective for filtering the signal, is optional.
  • the identification of the parameters of the articulation is a crucial step to separate, within the incoming signal, the excitation of the parameters of the articulation.
  • a description of the method used is given in an article by Yingyong Qi (J. Acoust, Am., 88 (3), September 1990 ).
  • the original excitation in the form of a signal amplitude as a function of time
  • the parameters of the articulation in the form of a vector At the output of the block 16, one thus finds, on the one hand, the original excitation in the form of a signal amplitude as a function of time and, on the other hand, the parameters of the articulation in the form of a vector.
  • the original excitation is then directed, on the one hand, to the restoration block of the glottal wave 18 and, on the other hand, to the mixing block 20 of the two excitations.
  • Block 18 which constitutes the heart of the invention, is dissociated into different blocks represented in FIG. figure 3 and is the subject of a complete description later. Its role is to restore greatly altered harmonic excitement in the subject who has undergone laryngectomy. Once this restoration is completed, the signal is directed to the blur mixing block 20.
  • the restored unchanged original harmonic excitations are mixed in proportions fixed by the probability estimate of a voiced sound. If the excitation is estimated purely noisy, only the original excitation will be preserved at the output of the block 20. On the other hand, if the excitation is considered purely harmonic, only the harmonic excitation restored will be preserved at the output of the block 20. In intermediate cases, the block 20 will perform a mixture between restored harmonic excitation and excitation original unchanged, the last signal is not a purely noisy signal but a superposition of noisy and quasi-harmonic signals. At the output of block 20, the restored excitation is of the laryngeal type.
  • the vector of articulation parameters is, at the output of the identification block of the voice apparatus 16, to a block 22 intended for the restoration of these parameters. Indeed, although satisfactory in a larynctomised subject, the joint must be somewhat corrected to match that of a healthy subject. A description of this operation is given in the article " Replacing tracheoesophageal voicing sources using LPC synthesis, Yingyong Qi, J. Acoust, Am., 88 (3), September 1990 .
  • the parameters of the joint thus restored and the reconstituted excitation are directed to a block 24 which convolves the excitation by the parameters of the articulation in order to reconstitute the speech.
  • a last correction is made by a block 26 which performs a signal recovery to correct a decrease in power observed on long vowels.
  • FIG. 3 illustrates in detail the harmonic excitation restoration operations carried out by block 18 and constituting the core of the present invention.
  • the restoration operations of the harmonic excitation according to the invention therefore aim at restoring the basic pattern, while introducing a variability, restoring the fundamental fundamental frequency, introducing also a variability, and modulating the signal obtained in amplitude and frequency. .
  • a first operation, performed by the identification block of the harmonic parameters 18a, therefore consists in estimating and extracting from the incoming signal the mean fundamental frequency and instantaneous average power, calculated over a given time interval, for example 20ms. This operation is more complex than in a healthy subject, due to the deformation of the quasi-harmonic wave.
  • a method, based on the histogram of the detected upper and lower envelopes, is used to determine, at regular intervals, for example every 8ms, this instantaneous average fundamental frequency. For more details on the method used, refer to the article of V. Parsa et al. (Journal of Speech, Langauge and Hearing Research, Vol42, 112-126, February 1999 ).
  • a reference table has been formed beforehand from a sound voice, preferably that of the subject before its operation.
  • This table represented by block 18c, contains a large number of basic patterns recorded during speech and having a characteristic variability of the human voice. It also contains statistics on the variability of the fundamental fundamental frequency, also characteristic of the recorded human voice, and calculated from the recording.
  • Block 18b is thus connected to block 18c so as to receive the fundamental frequency variability information as contained in the reference table.
  • the signal from block 18b therefore contains all the data necessary to reconstruct an amplitude modulated harmonic signal, whose instantaneous average fundamental frequency and the variability in fundamental frequency correspond to those of a healthy subject.
  • the basic pattern of the signal is still characteristic of esophageal speech.
  • the signals from the blocks 18b and 18c are then directed to the block 18d reconstruction of the glottal wave.
  • a glottal wave having all the characteristics of the human glottal wave is reconstituted from the healthy basic patterns and the parameters of the harmonic wave, corrected or not, at the level of the block 18b.
  • the perception of the excitation emitted at the end of the block 18d is that of a human voice, where the emotions are expressed thanks to the modulation in amplitude and in frequency, carried out by the larynctomised subject.
  • the invention also relates to the voice aid device for implementing the method described above.
  • This system schematically represented in figure 4 , essentially comprises a voice acquisition device 30, such as a microphone, for capturing the oesophageal acoustic signal emitted by the patient and transforming it into an electrical signal.
  • This microphone is connected to a first amplifier module 32 responsible for adjusting the dynamic scale and itself connected to an output A / D module 34 for converting the analog signal into a digital signal.
  • DSP 36 Digital Signal Processing English
  • the digital signals from the processor 36 are received by a D / A module 38 for transforming the digital signal into an analog signal, itself connected to a second amplification module 40.
  • a loudspeaker 42 transforms the electric signal in acoustic signal.
  • the signal can be processed by a suitable telephone apparatus.
  • the microphone 30 may be of portable type, for everyday use, or fixed, for example for a public address.
  • the modules 32 to 40 are, for example, integrated in a single housing, portable or not, and the speaker 42 can be attached to the shoulders of the patient or in any other strategic position.
  • a speaker 42 in combination with a digital signal processor 36 further allows the compensation of the acoustic signal emitted by the subject. This possibility can be very useful for a small group discussion in which the voice of the laryngectomee is superimposed on the voice corrected by the device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Prostheses (AREA)

Description

  • La présente invention concerne un dispositif et un procédé d'aide vocale pour des personnes ayant subi une ablation du larynx.
  • La laryngectomie, opération souvent pratiquée en cas de cancer du larynx, prive le patient de sa faculté de parler. En effet, l'enlèvement partiel ou total des cordes vocales empêche la génération d'une excitation harmonique nécessaire pour la production de voyelles ou de consonnes voisées.
  • Traditionnellement, une rééducation longue et pénible est nécessaire pour permettre au patient de remplacer la source d'excitation manquante, c'est-à-dire le larynx. Dans ce cas, il doit apprendre à emmagasiner de l'air dans l'oesophage, puis à le libérer. L'oesophage et le pharynx produisent ainsi une vibration basse fréquence remplaçant celle du larynx. L'élocution oesophagienne obtenue se caractérise toutefois par une faible intensité, une médiocre stabilité en fréquence et une fréquence fondamentale anormalement basse comparée à celle de l'élocution laryngienne. En outre, les difficultés d'apprentissage sont importantes, et les efforts pour parler, considérables.
  • Une solution à ces problèmes est le recours à un larynx artificiel. Une source d'excitation synthétique est alors créée par un dispositif inséré dans l'oesophage du patient ou porté sur la gorge. L'utilisation de ce type de larynx artificiel réduit, certes, l'effort à fournir et la durée d'apprentissage, mais elle résulte en une voix artificielle où toutes les caractéristiques de la voix humaine ont été éliminées, rendant impossible l'expression des divers sentiments et émotions. Une telle excitation électronique n'est donc pas idéale.
  • La présente invention pallie cet inconvénient, en proposant un dispositif portable et un procédé de traitement de l'élocution altérée, permettant, d'une part, le rétablissement d'une voix perçue comme naturelle et, d'autre part, la diminution des efforts pour la générer. L'invention permet, par ailleurs, d'éviter toute intervention chirurgicale supplémentaire, et propose un dispositif compact, portable, permettant son utilisation en toutes circonstances.
  • La publication de D. Rentzos et Al. « Transformation of speaker characteristics for voice conversion », Automatic speech recognition and understanding, 2003. ASRU '03. 2003 IEEE Workshop on St. Thomas, VI, USA, Nov. 30-Dec. 3, 2003, divulgue, certes, un procédé de restauration d'une élocution altérée, qui consiste à extraire l'excitation originale et les paramètres de l'articulation, à restaurer l'excitation originale à partir d'éléments issus de l'élocution altérée et d'éléments issus d'une élocution saine, puis à reconstruire l'élocution à partir des paramètres de l'articulation et de l'excitation originale restaurée. Il faut noter cependant que cette publication décrit essentiellement un procédé et ne suggère pas sa mise en oeuvre dans un dispositif portable de restauration d'une élocution altérée.
  • Certes, la publication de K. Matsui et Al. « Enhancement of esophageal speech using formant synthesis » propose un dispositif de restauration de l'élocution, mais il ne suggère, d'aucune manière, le recours aux éléments issus de l'élocution altérée et d'une élocution saine qui permettent une restauration optimale.
  • La présente invention concerne un tel dispositif, qui comprend :
    • un système d'acquisition de l'élocution altérée produisant un signal électrique qui la représente, ledit signal, qui provient d'un microphone, étant sensiblement périodique et possédant un motif de base,
    • un processeur de ce signal, programmé pour effectuer l'extraction et la séparation de l'excitation originale et des paramètres de l'articulation, la restauration de l'excitation originale à partir d'éléments issus de ladite élocution altérée, comportant l'amplitude moyenne instantanée et la fréquence fondamentale moyenne instantanée, et d'éléments issus d'une élocution saine, comportant la variabilité en fréquence, la forme du motif et sa variabilité, et la reconstruction de l'élocution à partir desdits paramètres de l'articulation et de ladite excitation originale restaurée, afin de produire un signal représentatif de l'élocution reconstruite, et
    • un système de haut-parleur transformant le signal délivré par ledit processeur en signal acoustique.
  • De façon avantageuse le processeur est, en outre, programmé pour estimer la probabilité d'un son voisé, en parallèle avec l'extraction de l'excitation et des paramètres de l'articulation et la restauration de l'excitation originale, et pour mélanger l'excitation originale restaurée et l'excitation originale à partir de la probabilité d'un son voisé.
  • La présente invention concerne également un procédé de restauration d'une élocution altérée par traitement d'un signal électrique, provenant d'un microphone, représentatif de ladite élocution, ledit signal étant sensiblement périodique et possédant un motif de base. Ce procédé comporte les principales étapes suivantes:
    • extraction et séparation de l'excitation originale et des paramètres de l'articulation,
    • restauration de l'excitation originale à partir d'éléments issus de l'élocution altérée, comportant la fréquence fondamentale moyenne instantanée et l'amplitude moyenne instantanée, et d'éléments issus d'une élocution saine, comportant la variabilité en fréquence, la forme du motif et sa variabilité, et
    • reconstruction de l'élocution à partir desdits paramètres de l'articulation et de ladite excitation originale restaurée afin de produire un signal acoustique représentatif de l'élocution reconstruite.
  • D'autres caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description qui suit, faite en référence aux dessins annexés, dans lesquels :
    • la figure 1 illustre un modèle de production de la parole,
    • la figure 2 illustre schématiquement les étapes du procédé de restauration de l'élocution selon l'invention,
    • la figure 3 détaille une étape clé de ce procédé, et
    • la figure 4 représente schématiquement un mode de réalisation du système d'aide vocale selon l'invention.
  • La présente invention repose sur la supposition que le sujet est, de préférence, déjà capable, après avoir effectué l'entraînement nécessaire, de produire, par modulation du flux d'air émis, une élocution altérée, par exemple de type oesophagienne, exprimant le message qu'il souhaite transmettre. Les sons qu'il émet sont captés par un microphone extérieur dont les signaux de sortie sont traités par un circuit de traitement chargé de restaurer la voix originale, émise alors, par exemple, par un haut-parleur. Il convient de noter qu'il existe d'autres types d'élocution altérée que l'élocution oesophagienne. On peut mentionner, à titre d'exemple, l'élocution trachéoesophagienne, l'élocution supraglottale, etc. Dans la suite de la description, la désignation d'élocution oesophagienne sera supposée désigner tout autre type d'altération de l'élocution résultant de l'ablation total ou partielle du larynx.
  • Le principe, selon l'invention, de restauration de l'élocution oesophagienne repose sur un modèle connu de production de la parole, schématisé sur la figure 1 et décrit en détail dans l'article de G. Fant (Q. Prog. Status Rep. Speech Transmiss. Lab.1, 21-37). Selon ce modèle, la génération d'un son est décomposée en deux blocs distincts. Ceux-ci sont constitués, d'une part, de l'excitation 1 générée par la source, les poumons et le larynx chez le sujet sain, ou l'oesophage et le pharynx chez le sujet laryngectomisé, et, d'autre part, de l'articulation 2 réalisée par l'appareil vocal constitué de la glotte, l'épiglotte, le pharynx, la bouche et le nez.
  • Chez un sujet sain, l'excitation 1 est de deux types, en fonction de la configuration du larynx.
  • En configuration ouverte, l'air génère des turbulences dans les cavités vocales, sans faire vibrer les cordes vocales. L'excitation produite s'apparente à un signal bruité 3 et est utilisée pour générer des consonnes non voisées (p, t, s, etc...).
  • En configuration tendue, les vibrations du larynx excitent les cordes vocales qui produisent une onde acoustique harmonique, appelée encore onde glottale 4, dont le motif et la fréquence fondamentale moyenne, située entre 100 et 250Hz, sont caractéristiques de chaque individu. Cette excitation permet de produire les voyelles et consonnes voisées (b, d, z, etc...).
  • Chez un sujet sain, l'excitation 1 se présente donc sous la forme d'une suite de signaux harmoniques 4 alternant ou se mêlant avec des signaux bruités 3. En outre, l'expression des émotions, du stress et de divers sentiments, se traduit par de subtiles modulations de la fréquence fondamentale et de l'amplitude du signal harmonique 4 émis.
  • Chez un sujet ayant subi une laryngectomie, le premier type d'excitation, produit par des turbulences d'air dans les cavités vocales, n'est pas affecté. L'élocution de consonnes non voisées, à l'aide d'un signal bruité 3, est, par conséquent, satisfaisante.
  • Il en va tout autrement de l'élocution des voyelles et consonnes voisées. En effet, l'excitation par le larynx en configuration tendue est remplacée par un enchaînement d'éructations générées par l'oesophage. L'onde acoustique produite présente une fréquence fondamentale particulièrement instable, déplacée vers les valeurs basses, puisqu'elle se situe autour de 70Hz, et dont le motif est déformé. La production de voyelles et consonnes voisées en est fortement perturbée.
  • Il en résulte que l'excitation, chez un sujet sans larynx, se présente sous la forme d'une suite de signaux quasi-harmoniques alternant ou se mêlant avec des signaux bruités.
  • Par ailleurs, l'appareil vocal d'une personne ayant subi une ablation du larynx étant fonctionnel, l'articulation 2, qui constitue le deuxième bloc de la génération de la parole, est faiblement altérée. On notera également que l'élocution altérée, par exemple de type oesophagienne, bien que déficiente au niveau de la production d'une onde acoustique harmonique, est capable de réaliser les subtiles modulations de fréquence et d'amplitude caractéristiques de la voix humaine.
  • Il s'ensuit que la restauration de l'élocution altérée de type oesophagienne requiert principalement la restauration de l'excitation durant les alternances voisées de la parole, c'est à dire la restauration de l'onde glottale 4, les alternances non voisées et l'articulation n'étant relativement pas affectées par l'ablation du larynx.
  • On se référera maintenant à la figure 2 qui illustre le procédé de reconstruction de la voix selon l'invention, basé sur le modèle exposé ci-dessus. Il comprend diverses étapes de traitement du signal délivré par le microphone, qui sont menées en parallèle ou en série, et permettent de passer de la voix oesophagienne, à une voix de type laryngienne exprimée par le haut-parleur.
  • Le signal entrant est un signal électrique numérisé représentant la voix oesophagienne. Dans un premier bloc 10, ce signal original subit un traitement de rehaussement du signal (voir en particulier le brevet européen EP 1'253'581 de la demanderesse intitulé "Method and System for Enhancing Speech in a Noisy Environnement"), puis le signal obtenu est dirigé en parallèle vers un bloc d'estimation de la probabilité d'un son voisé 12 et une série de trois blocs 14, 16 et 18 visant à reconstituer les deux types d'excitations selon le modèle d'élocution décrit en regard de la figure 1.
  • Comme exposé plus haut, un son d'origine laryngienne est de type voisé ou non voisé ou un mélange des deux. Dans le cas de l'élocution oesophagienne, il est parfois difficile de distinguer clairement entre les deux types de sons. C'est pourquoi, le bloc 12 réalise une estimation de la probabilité d'un son voisé, à l'aide de modules de classification automatique connus de l'homme de métier et tels que décrits dans l'article de J.M. Solà et al ("Environmental Robust Features for Speech Detection", Proc. INTERSPEECH-ICSLP'04, Jeju Island, Korea, October 2004). Cette estimation, sous la forme d'un nombre compris entre zéro et un, est ensuite dirigée vers un bloc 20 destiné à effectuer un mélange entre excitation harmonique et excitation bruitée, comme explicité ultérieurement.
  • Parallèlement à l'étape décrite précédemment, les blocs en série 14 et 16, d'une part, et 14, 16 et 18, d'autre part, visent à produire une excitation respectivement originale et harmonique.
  • Les blocs 14 et 16, communs aux deux chemins, réalisent respectivement la décomposition en sous-bandes et l'identification des paramètres de l'articulation, opérations connues de l'homme de métier.
  • La décomposition en sous-bandes consiste en un découpage en bandes du spectre en fréquences obtenu par transformée de Fourrier du signal, et un rééquilibrage de ce spectre par l'augmentation en amplitude des bandes les moins bruitées par rapport aux autres. Cette opération, bien qu'efficace pour filtrer le signal, est facultative.
  • L'identification des paramètres de l'articulation, par contre, est une étape cruciale visant à séparer, au sein du signal entrant, l'excitation des paramètres de l'articulation. Une description de la méthode utilisée est donnée dans un article de Yingyong Qi (J. Acoust. Soc. Am. 88 (3), September 1990). En sortie du bloc 16, on trouve donc, d'une part, l'excitation originale sous forme d'un signal amplitude en fonction du temps et, d'autre part, les paramètres de l'articulation sous forme d'un vecteur.
  • L'excitation originale est ensuite dirigée, d'une part, vers le bloc de restauration de l'onde glottale 18 et, d'autre part, vers le bloc 20 de mélange des deux excitations.
  • Le bloc 18, qui constitue le coeur de l'invention, est dissocié en différents blocs représentés en figure 3 et fait l'objet d'une description complète ultérieure. Son rôle est de restaurer l'excitation harmonique fortement altérée chez le sujet ayant subi une laryngectomie. Une fois cette restauration réalisée, le signal est dirigé vers le bloc de mélange flou 20.
  • Dans le bloc 20, les excitations harmonique restaurée et originale inchangée sont mélangées dans des proportions fixées par l'estimation de probabilité d'un son voisé. Si l'excitation est estimée purement bruitée, seule l'excitation originale sera conservée en sortie du bloc 20. En revanche, si l'excitation est estimée purement harmonique, seule l'excitation harmonique restaurée sera conservée en sortie du bloc 20. Dans les cas intermédiaires, le bloc 20 effectuera un mélange entre excitation harmonique restaurée et excitation originale inchangée, le dernier signal n'étant pas un signal purement bruité mais une superposition des signaux bruités et quasi-harmoniques. En sortie du bloc 20, l'excitation restaurée est de type laryngienne.
  • En parallèle à ces opérations de restauration de l'excitation, le vecteur de paramètres d'articulation est, à la sortie du bloc d'identification de l'appareil vocal 16, vers un bloc 22 destiné à la restauration de ces paramètres. En effet, bien que satisfaisante chez un sujet larynctomisé, l'articulation doit être quelque peu corrigée pour correspondre à celle d'un sujet sain. Une description de cette opération est donnée dans l'article "Replacing tracheoesophageal voicing sources using LPC synthesis", Yingyong Qi, J. Acoust. Soc. Am. 88 (3), September 1990.
  • Les paramètres de l'articulation ainsi restaurés et l'excitation reconstituée sont dirigés vers un bloc 24 qui procède à une convolution de l'excitation par les paramètres de l'articulation afin de reconstituer la parole.
  • Enfin, une dernière correction est apportée par un bloc 26 qui effectue un redressement du signal afin de corriger une décroissance de la puissance observée sur les voyelles longues.
  • Ainsi est proposé un procédé de reconstitution de la parole pour un sujet laryngectomisé. On notera que cet algorithme peut être également utile à d'autres sujets, présentant des pathologies différentes, mais ayant des difficultés à émettre un son voisé.
  • On se référera maintenant à la figure 3 qui illustre en détail les opérations de restauration de l'excitation harmonique, réalisées par le bloc 18 et constituant le coeur de la présente invention.
  • Le bloc 18 est constitué de 4 sous-blocs 18a, 18b, 18c et 18d assurant les différentes fonctions nécessaires à la restauration de l'excitation harmonique. Comme déjà exposé, l'excitation harmonique se présente sous la forme d'un signal sensiblement périodique possédant un motif de base, dont la forme dépend uniquement de la physiologie de la source d'excitation, et une fréquence fondamentale moyenne, caractéristiques d'un individu. Chez un sujet larynctomisé, la restauration du signal glottal consiste principalement en une restauration du motif de base, fortement déformé, un décalage vers le haut et une stabilisation de la fréquence fondamentale moyenne. Toutefois, ces trois opérations, à elles seules, ne suffisent pas à restituer une voix devant être perçue comme humaine. En effet, chez un sujet sain, le caractère humain de la voix, par opposition à une voix robotisée, est donné par ses imperfections et par l'émotion qu'elle véhicule. Au niveau du signal acoustique, les particularités de la voix humaine se traduisent par plusieurs éléments.
    • Premièrement, la variabilité de la fréquence fondamentale moyenne, c'est-à-dire les très faibles variations du laps de temps entre deux motifs de base consécutifs. Un écart constant entre deux motifs de base résulte en une voix robotisée.
    • Deuxièmement, la variabilité du motif, c'est-à-dire les très faibles variations de forme et d'amplitude du motif de base au cours du temps. Comme précédemment, la reproduction à l'identique d'un motif de base conduit à une voix robotisée.
    • Troisièmement, la modulation en amplitude et en fréquence du signal harmonique, qui introduisent de l'émotion dans la voix. On notera que la modulation en fréquence et en amplitude n'est pas la variabilité de ces grandeurs, mais est une variation, plus lente dans le temps et contrôlée, de la fréquence fondamentale moyenne et de l'amplitude moyenne.
  • Les trois éléments énumérés ci-dessus doivent se retrouver sur l'excitation harmonique restaurée afin de donner l'illusion d'une voix humaine. Les opérations de restauration de l'excitation harmonique selon l'invention visent donc à restaurer le motif de base, tout en introduisant une variabilité, restaurer la fréquence fondamentale moyenne, en introduisant également une variabilité, et moduler le signal obtenu en amplitude et en fréquence.
  • Une première opération, réalisée par le bloc d'identification des paramètres harmoniques 18a, consiste donc à estimer et extraire du signal entrant la fréquence fondamentale moyenne et la puissance moyenne instantanées, calculées sur un intervalle de temps donné, par exemple 20ms. Cette opération est plus complexe que chez un sujet sain, en raison de la déformation de l'onde quasi-harmonique. Une méthode, basée sur l'histogramme des enveloppes supérieures et inférieures détectées, est utilisée pour déterminer, à intervalle régulier, par exemple toutes les 8ms, cette fréquence fondamentale moyenne instantanée. Pour plus de précisions sur la méthode utilisée, on se référera à l'article de V. Parsa et al. (Journal of Speech, Langauge and Hearing Research, Vol42, 112-126, February 1999).
  • Puis, le bloc 18b procède à la correction de ces paramètres harmoniques selon le processus suivant:
    • La puissance moyenne instantanée est conservée sans être modifiée puisque le sujet ayant subi une ablation du larynx est capable d'effectuer des modulations en amplitude exprimant ses émotions.
    • Puis, un décalage de la fréquence fondamentale moyenne instantanée vers les valeurs hautes est réalisé afin de la ramener dans la fourchette standard.
    • Enfin, une variabilité issue d'une voix saine est introduite au niveau de cette même fréquence.
  • Pour ce faire, une table de référence a été constituée au préalable à partir d'une voix saine, de préférence celle du sujet avant son opération. Cette table, figurée par le bloc 18c, contient un grand nombre de motifs de base enregistrés au cours de la parole et présentant une variabilité caractéristique de la voix humaine. Elle contient aussi des statistiques sur la variabilité de la fréquence fondamentale moyenne, également caractéristique de la voix humaine enregistrée, et calculées à partir de l'enregistrement. Le bloc 18b est ainsi connecté au bloc 18c de façon à recevoir les informations sur la variabilité en fréquence fondamentale telles que contenues dans la table de référence. Le signal issu du bloc 18b contient donc toutes les données nécessaires pour reconstituer un signal harmonique modulé en amplitude, dont la fréquence fondamentale moyenne instantanée et la variabilité en fréquence fondamentale correspondent à celles d'un sujet sain. A ce stade de la restauration, par contre, le motif de base du signal est encore caractéristique d'une élocution oesophagienne.
  • Les signaux issus des blocs 18b et 18c sont alors dirigés vers le bloc 18d de reconstruction de l'onde glottale. Là, une onde glottale possédant toutes les caractéristiques de l'onde glottale humaine est reconstituée à partir des motifs de base sains et des paramètres de l'onde harmonique, corrigés ou non, au niveau du bloc 18b. La perception de l'excitation émise à l'issu du bloc 18d est celle d'une voix humaine, où les émotions sont exprimées grâce à la modulation en amplitude et en fréquence, réalisée par le sujet larynctomisé.
  • Ainsi est proposé un algorithme particulièrement efficace de reconstruction d'une onde glottale humaine expressive.
  • L'invention porte également sur le dispositif d'aide vocale permettant la mise en oeuvre du procédé décrit précédemment. Ce système, représenté schématiquement en figure 4, comporte essentiellement un dispositif d'acquisition de la voix 30, tel qu'un microphone, destiné à capter le signal acoustique oesophagien émis par le patient et le transformer en un signal électrique. Ce microphone est relié à un premier module d'amplification 32 chargé de régler l'échelle dynamique et lui-même connecté en sortie à un module A/D 34 de conversion du signal analogique en signal digital.
  • En sortie du convertisseur 34, le signal est appliqué à un processeur de signal digital DSP 36 (de l'anglais Digital Signal Processing) qui effectue les différentes opérations de restauration de la voix décrites précédemment.
  • Les signaux digitaux issus du processeur 36 sont reçus par un module D/A 38 de transformation du signal digital en signal analogique, lui même relié à un deuxième module d'amplification 40. En sortie de ce dernier, un haut-parleur 42 transforme le signal électrique en signal acoustique. Il convient de noter que tout type d'appareil de restitution du son est également applicable. En particulier, le signal peut être traité par un appareil téléphonique adapté.
  • Le microphone 30 peut être de type portable, pour une utilisation quotidienne, ou fixe, par exemple pour un discours en public. Les modules 32 à 40 sont, par exemple, intégrés dans un seul et même boîtier, portable ou non, et le haut-parleur 42 peut être fixé aux épaules du patient ou en toute autre position stratégique.
  • L'utilisation d'un haut-parleur 42 en association avec un processeur de signal digital 36 permet, en outre, la compensation du signal acoustique émis par le sujet. Cette possibilité peut s'avérer très utile pour une discussion en petit comité, dans laquelle la voix du laryngectomisé se superpose à la voix corrigée par le dispositif. Un module actif d'annulation de la première voix, faisant partie du processeur de signal digital, permet alors d'éliminer la gêne causée par cette superposition, et accroît le confort des auditeurs comme de l'orateur.

Claims (8)

  1. Dispositif portable de restauration d'une élocution altérée, caractérisé en ce qu'il comprend :
    - un système d'acquisition de cette élocution altérée (30) produisant un signal électrique qui la représente, ledit signal, qui provient d'un microphone,
    - un processeur (36) de ce signal, programmé pour effectuer l'extraction et la séparation de l'excitation originale et des paramètres de l'articulation, la dite excitation originale étant sensiblement périodique et possédant un motif de base, la restauration de l'excitation originale à partir de paramètres issus de ladite élocution altérée, comportant la puissance moyenne instantanée et la fréquence fondamentale moyenne instantanée de l'excitation originale, et d'éléments prédéterminés issus d'une élocution saine, comportant des informations sur la variabilité en fréquence fondamentale, la forme du motif et sa variabilité, et la reconstruction de l'élocution à partir desdits paramètres de l'articulation et de ladite excitation originale restaurée, afin de produire un signal représentatif de l'élocution reconstruite, et
    - un système de haut-parleur (42) transformant le signal délivré par ledit processeur en signal acoustique.
  2. Dispositif selon la revendication 1, caractérisé en ce que ledit processeur (36) est, en outre, programmé pour estimer la probabilité d'un son voisé, en parallèle avec l'extraction de l'excitation et des paramètres de l'articulation et la restauration de l'excitation originale, et pour mélanger l'excitation originale restaurée et l'excitation originale à partir de ladite probabilité d'un son voisé.
  3. Dispositif selon l'une des revendications 1 et 2, caractérisé en ce que, pour réaliser la restauration de l'excitation originale, ledit processeur (36) est programmé pour :
    - calculer la puissance moyenne instantanée et la fréquence fondamentale moyenne instantanée de l'excitation originale,
    - décaler la fréquence fondamentale moyenne instantanée et introduire une variabilité en fréquence fondamentale issue d'une élocution saine, et
    - reconstruire une excitation harmonique présentant le motif issu d'une élocution saine et sa variabilité caractéristique, la puissance moyenne instantanée calculée, la fréquence fondamentale moyenne instantanée décalée et la variabilité de fréquence fondamentale issue d'une élocution saine.
  4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce qu'il comprend, en outre :
    - un premier module d'amplification (32) en sortie du système d'acquisition de la parole (30),
    - un module de transformation du signal analogique en signal digital (34) entre le premier module d'amplification (32) et le processeur de signal (36),
    - un module de transformation du signal digital en signal analogique (38) en sortie du processeur de signal (36), et
    - un deuxième module d'amplification (40) entre le module de transformation du signal digital en signal analogique (38) et le système de haut-parleur (42).
  5. Dispositif selon l'une des revendications 1 à 4, caractérisé en ce qu'il comporte, en outre, un module de compensation de l'élocution altérée.
  6. Procédé de restauration d'une élocution altérée par traitement d'un signal électrique, provenant d'un microphone, représentatif de ladite élocution,
    caractérisé en ce qu'il comporte les principales étapes suivantes:
    - extraction et séparation (16) de l'excitation originale et des paramètres de l'articulation, la dite excitation originale étant sensiblement périodique et possédant un motif de base
    - restauration (18) de l'excitation originale à partir de paramètres issus de ladite élocution altérée, comportant la fréquence fondamentale moyenne instantanée et la puissance moyenne instantanée de l'excitation originale, et d'éléments prédéterminés issus d'une élocution saine, comportant des informations sur la variabilité en fréquence fondamentale, la forme du motif et sa variabilité, et
    - reconstruction de l'élocution (24) à partir desdits paramètres de l'articulation et de ladite excitation originale restaurée afin de produire un signal acoustique représentatif de l'élocution reconstruite.
  7. Procédé selon la revendication 6, caractérisé en ce qu'il comporte, en outre :
    - une étape d'estimation de la probabilité d'un son voisé (12), effectuée en parallèle avec les étapes d'extraction de l'excitation et des paramètres de l'articulation (16), et de restauration de l'excitation originale (18), et
    - une étape de mélange de l'excitation originale restaurée et de l'excitation originale (20) à partir de ladite probabilité d'un son voisé.
  8. Procédé selon l'une des revendications 6 et 7, caractérisé en ce que l'étape de restauration de l'excitation originale comprend les opérations suivantes :
    - calcul de la puissance moyenne instantanée et de la fréquence fondamentale moyenne instantanée de l'excitation originale (18a),
    - décalage de la fréquence fondamentale moyenne instantanée et introduction d'une variabilité en fréquence fondamentale issue d'une élocution saine (18c), et
    - reconstruction d'une excitation harmonique (18d) présentant le motif issu d'une élocution saine et sa variabilité caractéristique, la puissance moyenne instantanée calculée, la fréquence fondamentale moyenne instantanée décalée et la variabilité de fréquence fondamentale issue d'une élocution saine.
EP05102714A 2005-04-07 2005-04-07 Procédé et dispositif de conversion de la voix Not-in-force EP1710788B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP05102714A EP1710788B1 (fr) 2005-04-07 2005-04-07 Procédé et dispositif de conversion de la voix
DE602005015419T DE602005015419D1 (de) 2005-04-07 2005-04-07 Verfahren und Vorrichtung zur Sprachkonversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP05102714A EP1710788B1 (fr) 2005-04-07 2005-04-07 Procédé et dispositif de conversion de la voix

Publications (2)

Publication Number Publication Date
EP1710788A1 EP1710788A1 (fr) 2006-10-11
EP1710788B1 true EP1710788B1 (fr) 2009-07-15

Family

ID=35355638

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05102714A Not-in-force EP1710788B1 (fr) 2005-04-07 2005-04-07 Procédé et dispositif de conversion de la voix

Country Status (2)

Country Link
EP (1) EP1710788B1 (fr)
DE (1) DE602005015419D1 (fr)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6336092B1 (en) * 1997-04-28 2002-01-01 Ivl Technologies Ltd Targeted vocal transformation
US6359988B1 (en) * 1999-09-03 2002-03-19 Trustees Of Boston University Process for introduce realistic pitch variation in artificial larynx speech
DE60104091T2 (de) 2001-04-27 2005-08-25 CSEM Centre Suisse d`Electronique et de Microtechnique S.A. - Recherche et Développement Verfahren und Vorrichtung zur Sprachverbesserung in verrauschte Umgebung
US7275030B2 (en) * 2003-06-23 2007-09-25 International Business Machines Corporation Method and apparatus to compensate for fundamental frequency changes and artifacts and reduce sensitivity to pitch information in a frame-based speech processing system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUI K.; HARA N.: "Enhancement of esophageal speech using formant synthesis", PROCEEDINGS OF ICASSP 1999, 15 March 1999 (1999-03-15) - 19 March 1999 (1999-03-19), PHOENIX (AZ), pages 81 - 84, XP000898268 *

Also Published As

Publication number Publication date
DE602005015419D1 (de) 2009-08-27
EP1710788A1 (fr) 2006-10-11

Similar Documents

Publication Publication Date Title
EP1901286B1 (fr) Appareil d'amélioration de la parole, appareil d'enregistrement de la parole, programme d'amélioration de la parole, programme d'enregistrement de la parole, procédé d'amélioration de la parole et procédé d'enregistrement de la parole
Bachorowski et al. The acoustic features of human laughter
Kong et al. Speech and melody recognition in binaurally combined acoustic and electric hearing
EP1006511B1 (fr) Procédé et dispositif pour le traitement des sons pour correction auditive des malentendants
EP0745363A1 (fr) Prothèse auditive comportant un implant cochléaire à ondelettes
EP2518724B1 (fr) Combiné audio micro/casque comprenant des moyens de débruitage d'un signal de parole proche, notamment pour un système de téléphonie "mains libres"
US20030185411A1 (en) Single channel sound separation
EP1593116B1 (fr) Procédé pour le traitement numérique différencié de la voix et de la musique, le filtrage de bruit, la création d'effets spéciaux et dispositif pour la mise en oeuvre dudit procédé
CN103390408B (zh) 用于处理音频信号的方法和装置
KR101475894B1 (ko) 장애 음성 개선 방법 및 장치
US9936308B2 (en) Hearing aid apparatus with fundamental frequency modification
Keller The analysis of voice quality in speech processing
EP0594480A1 (fr) Procédé de détection de la parole
WO2004068467A1 (fr) Systeme sonore ameliorant l'intelligibilite de la parole
WO2004015652A1 (fr) Procede de calibrage d'audio-intonation
Fogerty et al. Sentence intelligibility during segmental interruption and masking by speech-modulated noise: Effects of age and hearing loss
WO2001084537A1 (fr) Parametres robustes pour la reconnaissance de parole bruitee
EP1710788B1 (fr) Procédé et dispositif de conversion de la voix
Gaudrain et al. Streaming of vowel sequences based on fundamental frequency in a cochlear-implant simulation
CN115985303A (zh) 基于声音的数字人形象生成方法及其相关装置
Hu et al. Effects of introducing low-frequency harmonics in the perception of vocoded telephone speech
Clavel Analyse et reconnaissance des manifestations acoustiques des émotions de type peur en situations anormales
Liu et al. N-hans: Introducing the augsburg neuro-holistic audio-enhancement system
Hu A simulation study of harmonics regeneration in noise reduction for electric and acoustic stimulation
Xiao et al. Reconstruction of mandarin electrolaryngeal fricatives with hybrid noise source

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR LV MK YU

17P Request for examination filed

Effective date: 20070314

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20071106

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 602005015419

Country of ref document: DE

Date of ref document: 20090827

Kind code of ref document: P

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: GLN S.A.

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091115

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091026

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091015

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091115

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

26N No opposition filed

Effective date: 20100416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091016

BERE Be: lapsed

Owner name: CSEM CENTRE SUISSE D'ELECTRONIQUE ET DE MICROTECH

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20100407

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20101230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20101103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100407

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100407

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100116

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090715

REG Reference to a national code

Ref country code: CH

Ref legal event code: PCAR

Free format text: NEW ADDRESS: AVENUE EDOUARD-DUBOIS 20, 2000 NEUCHATEL (CH)

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20140428

Year of fee payment: 10

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430