EP1006511B1 - Procédé et dispositif pour le traitement des sons pour correction auditive des malentendants - Google Patents
Procédé et dispositif pour le traitement des sons pour correction auditive des malentendants Download PDFInfo
- Publication number
- EP1006511B1 EP1006511B1 EP99403027A EP99403027A EP1006511B1 EP 1006511 B1 EP1006511 B1 EP 1006511B1 EP 99403027 A EP99403027 A EP 99403027A EP 99403027 A EP99403027 A EP 99403027A EP 1006511 B1 EP1006511 B1 EP 1006511B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- modified
- parameters
- synthesis
- speech signal
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 208000032041 Hearing impaired Diseases 0.000 title claims description 19
- 230000013707 sensory perception of sound Effects 0.000 title description 13
- 238000003672 processing method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000006835 compression Effects 0.000 claims abstract description 14
- 238000007906 compression Methods 0.000 claims abstract description 14
- 230000003595 spectral effect Effects 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 30
- 238000003786 synthesis reaction Methods 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 206010011878 Deafness Diseases 0.000 description 21
- 230000009466 transformation Effects 0.000 description 13
- 231100000895 deafness Toxicity 0.000 description 11
- 208000016354 hearing loss disease Diseases 0.000 description 11
- 230000008901 benefit Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 102100030771 Ferrochelatase, mitochondrial Human genes 0.000 description 4
- 101000843611 Homo sapiens Ferrochelatase, mitochondrial Proteins 0.000 description 4
- SLVOKEOPLJCHCQ-SEYXRHQNSA-N [(z)-octadec-9-enyl] 2-(trimethylazaniumyl)ethyl phosphate Chemical compound CCCCCCCC\C=C/CCCCCCCCOP([O-])(=O)OCC[N+](C)(C)C SLVOKEOPLJCHCQ-SEYXRHQNSA-N 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 206010048865 Hypoacusis Diseases 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 101500021172 Aplysia californica Myomodulin-C Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/35—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
- H04R25/356—Amplitude, e.g. amplitude shift or compression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L2021/065—Aids for the handicapped in understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
Definitions
- the multiplexing operation allows monophonic (for example a signal processed alone) or stereophonic (for example a signal processed on one channel and an unprocessed signal on another) reproduction.
- the stereophonic reproduction allows the hearing impaired to adapt the treatment for each of his ears (two linear equalizers to compensate for two different audiograms for example), and possibly to keep intact on one ear a form of signal to which he is accustomed and on which he can lean on, for example, to synchronize.
- the device for implementing the method according to the invention which is shown in FIG. 5 comprises a first channel composed of an analysis device 8, a synthesis device 9 and a first equalizer 10 and a second channel comprising a second equalizer 11, the assembly of the two channels being coupled between a sound pickup device 13 and a pair of headphones 12 a , 12 b .
- the analysis 8 and synthesis devices 9 can be implemented using the known techniques for producing vocoders and in particular that of the HSX vocoders mentioned above.
- the outputs of the equalizers of the two channels are multiplexed by a multiplexer 14 to allow reproduction of the monophonic or stereophonic sound.
- a processing device 15 formed by a microprocessor or any equivalent device is coupled to the synthesis device 9 to ensure the modification of the parameters supplied by the analysis device 8.
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Percussion Or Vibration Massage (AREA)
- Auxiliary Devices For Music (AREA)
Description
- La présente invention concerne un procédé et un dispositif de correction des sons pour malentendants. Elle s'applique aussi bien à la réalisation de prothèses auditives, que de logiciels exécutables sur des ordinateurs personnels ou des répondeurs téléphoniques et de manière générale à tous dispositifs destinés à améliorer le confort d'écoute et la compréhension de la parole des personnes atteintes de surdité.
- Le problème posé par les malentendants provient essentiellement du caractère spécifique et dégradé de leur perception auditive.
- Dans son besoin de communiquer, l'homme a depuis l'aube des temps construit un mode de communication oral, la parole, qui s'appuie sur les caractéristiques moyennes de production (la voix) et de perception (l'oreille) du signal sonore. Le langage courant est donc celui du plus grand nombre. A contrario l'audition du malentendant est très éloignée de la moyenne et le langage courant lui est difficilement, voire pas du tout, accessible.
- La compréhension du langage courant est un passage obligé pour l'intégration du malentendant dans sa communauté. Dans ce qui peut être considéré comme un réflexe de survie sociale, tout malentendant est amené naturellement à se constituer un langage à lui et à mettre en oeuvre des procédés, des techniques, et une stratégie de communication lui permettant de transposer le langage commun vers son langage particulier. Un exemple connu et spectaculaire est celui de la lecture labiale, qui permet d'accéder à la parole normale au travers d'un alphabet visuel de position des lèvres.
- Le vingtième siècle a vu un effort continu dans la conception de machines destinées à soulager les malentendants et à les aider.
- Deux classes de machines ont été développées.
- Une première classe s'adresse aux surdités « légères » et vise à corriger l'audition et à la rendre normale, autant que possible. C'est ce que font les prothèses usuelles largement disponibles sur le marché.
- Une deuxième classe s'adresse aux surdités plus lourdes et vise à réaliser une transformation de la parole en une parole de synthèse accessible à la personne malentendante. Dans cette catégorie la plupart des réalisations s'adressent aux "sourds profonds". Un exemple remarquable est celui de l'implant cochléaire qui agit au moyen d'électrodes par stimulation directe du nerf auditif.
- La présente invention vise à proposer une solution pour les personnes souffrant de surdité dites « intermédiaires ». Ces personnes n'ont actuellement pas d'aide technique adaptée. Elles sont trop touchées pour être servies par les prothèses usuelles, mais leur acquis auditif est suffisant pour pouvoir se passer des dispositifs pour sourds profonds.
- Les prothèses usuelles mettent généralement en oeuvre un procédé d'amplification sélective de la parole en fonction de la fréquence. Dans sa mise en oeuvre un automatisme de régulation du niveau sonore agit sur le gain d'amplification, le but étant de donner le meilleur confort d'écoute et une protection contre les pics de puissance instantanés.
- Pour des raisons de stratégie commerciale et en réponse à la demande des patients, ces prothèses sont miniaturisées pour être portées en contour d'oreille ou en insert, ce qui conduit à des performances relativement médiocres ne pouvant satisfaire que des corrections auditives très grossières. Typiquement, il est défini seulement trois bandes de fréquences pour la correction fréquencielle. Ces prothèses s'adressent sans ambiguïté aux surdités "légères" les plus fréquentes. Des surdités plus lourdes peuvent être soulagées, mais au prix d'inconvénients pénibles causés notamment par l'amplification du bruit de fond, et le phénomène du Larsen. D'autre part il n'y a pas de possibilité de correction dans les zones fréquencielles pour lesquelles il n'existe pas d'audition.
- Sur l'historique des prothèses pour sourds profond on peut se reporter utilement aux travaux de M.J.M.TATO professeur d'ORL et MM VIGNERON et LAMOTTE cités dans l'article M J C LAFON ayant pour titre "Transposition et modulation", publié au bulletin d'audiophonologie annales scientifiques de Franche Comté, Volume XII, N°3&4, monographie 164, 1996. Ces prothèses exploitent le fait que les sourds sont rarement complètement sourds, et qu'un très faible reliquat de perception persiste, souvent dans les graves, dont il a souvent été essayé de tirer parti.
- C'est ainsi qu'il est possible de redonner de manière très rustique, une perception du son aux sourds par des procédés dits de «transposition » des aiguës vers les graves. Malheureusement la compréhension du langage exige plus qu'une simple perception et il s'avère que la transmission de l'intelligibilité est inséparable d'une nécessaire « richesse " du son. Redonner cette « richesse » est devenu un des principaux sujets de préoccupation. C'est ainsi qu'il a été envisagé de créer une parole de synthèse dans le but de restituer les éléments structurels qui forment le support à l'intelligibilité du langage courant.
- La technique mise en oeuvre en 1952 par M J.M. TATO, consiste à enregistrer la parole dite très rapidement et à la restituer à vitesse moitié. Ceci permet d'effectuer une transposition d'un octave dans les graves, tout en conservant la structure de la parole initiale. Des essais ont montré un certain avantage pour les sourds.
- Mais le procédé présente l'inconvénient de ne pouvoir être utilisée qu'en temps différé. La technique développée en 1971 par MM C.VIGNERON et M.LAMOTTE permet d'effectuer une adaptation en «temps réel »par une découpe du temps en intervalles de 1/100 de secondes en supprimant un intervalle sur deux, et en appliquant le procédé de M J.M.TATO sur les intervalles restants. Mais ce système présente malheureusement un bruit de fond important.
- L'idée de construire des sons « naturels » est également présente dans une prothèse également citée sous le nom GALAXIE dans l'article de M JC LAFON. Cette prothèse met en oeuvre une batterie de filtres et de mélangeurs répartis sur six sous bandes et réalise une transposition dans les graves utilisables pour les sourds profonds.
- Malheureusement, ces procédés qui interviennent au niveau du signal présentent trop de distorsions et un inconfort d'écoute trop important pour pouvoir être utilisés par les personnes souffrant de surdités intermédiaires.
- De l'article de M Jean Claude LAFON se dégagent trois orientations qui peuvent être retenues dans la réalisation d'un bon traitement prothétique.
- 1- Il parait important de pouvoir transposer la globalité de la structure acoustique c'est à dire de ramener les éléments structurels de la parole porteurs de l'intelligibilité dans la zone de perception du malentendant.
- 2- Il parait aussi important de produire des sons « naturels »c'est à dire de reproduire une parole synthétique porteuse de l'information qui a une structure en harmonie avec l'acquis auditif du malentendant.
Le brevet US 4 051 331 divulgue un procédé de correction auditive des malentendants où la restitution de la parole s'appuie sur des sources oscillatrices chacune centrées sur la fréquence centrale des formants. - 3- Enfin il faut veiller à conserver la temporalité du signal de parole car le rythme est porteur d'information accessible au malentendant. L'idée à l'origine de l'invention est de pallier les inconvénients précités en utilisant un modèle paramétrique du signal de parole capable d'effectuer des transformations pertinentes en vue d'une correction auditive pour des malentendants en mettant en oeuvre une méthode capable de satisfaire les trois contraintes citées précédemment.
- A cet effet l'invention a pour objet, un procédé pour la correction auditive des malentendants, du type consistant à analyser un signal de parole pour en extraire des paramètres caractérisant le pitch, le voisement, l'énergie et le spectre du signal de parole, à modifier les paramètres pour rendre la parole intelligible à un malentendant, et à synthétiser un signal de parole perceptible par le malentendant à partir des paramètres modifiés de la manière suivante :
- Le paramètre caractérisant le pitch est modifié en appliquant à la valeur du pitch extrait un facteur multiplicateur,
- Le paramètre caractérisant l'énergie est modifié par une fonction de compression,
- Le paramètre caractérisant l'enveloppe spectrale est modifié par une compression homothétique de l'échelle des fréquences
- Le paramètre caractérisant le voisement est donné sous la forme d'une fréquence de transition entre une bande voisée et une bande haute non voisée, qui est modifiée par un facteur multiplicateur afin de créer une bande haute modifiée sur laquelle on génère un bruit blanc pseudo aléatoire lors de la phase de synthèse ; et en ce que
- La durée de l'intervalle de temps pris en compte pour la phase de synthèse est modifié en multipliant l'intervalle de temps par un facteur temps.
- L'invention a également pour objet , un dispositif pour la mise en oeuvre du procédé précité.
- Le procédé et le dispositif selon l'invention ont pour avantages de mettre en oeuvre les modèles paramétriques qui sont couramment utilisés dans les vocodeurs pour les adaptateur à l'audition des malentendants. Ceci permet de travailler non plus au niveau du signal sonore, comme le font les techniques antérieures mais au niveau de la structure symbolique du signal de parole afin d'en préserver son intelligibilité Les vocodeurs présentent en effet l'avantage d'utiliser un alphabet qui intègre les notions de « pitch », « spectre », « voisement » et « énergie » qui sont très proches du modèle physiologique de la bouche et de l'oreille. En vertu de la théorie de SHANNON, l'information transmise est alors bien porteuse de l'intelligibilité de la parole. La matérialisation de l'intelligibilité de la parole sous une forme informatique ouvre ainsi une perspective nouvelle. L'intelligibilité peut ainsi être acquise lors de l'opération d'analyse, et elle est restituée lors de la synthèse.
- Grâce à l'invention, l'opération de synthèse d'un vocodeur paramétrique peut dès lors être adaptée aux caractéristiques auditives des malentendants. Cette technique, associée à des procédés plus conventionnels, permet d'envisager un procédé prothétique particulièrement général pouvant servir une population très large, et notamment les personnes souffrant de surdité intermédiaire.
- Comme autre avantage le procédé et le dispositif selon l'invention offrent une grande liberté dans les réglages, chaque paramètre pouvant être modifié indépendamment des autres sans impact réciproque, avec un réglage spécifique pour chaque oreille.
- D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit faite en regard des dessins annexés qui représentent:
- La figure 1, les paramètres de modélisation du signal de parole utilisés dans la mise en oeuvre de l'invention.
- La figure 2, un modèle paramétrique de production du signal de parole.
- La figure 3, les différentes étapes nécessaires à la mise en oeuvre du procédé selon l'invention sous la forme d'un organigramme.
- La figure 4, une courbe de transformation lors de la synthèse du signal de parole de l'énergie du signal de parole mesurée lors du processus d'analyse du signal de parole.
- La figure 5, un mode de réalisation d'un dispositif pour la mise en oeuvre du procédé selon l'invention.
- Le procédé de traitement du signal de parole selon l'invention est basé sur une modélisation paramétrique du signal de parole du type de celle couramment mises en oeuvre dans la technique de réalisation des vocodeurs numériques HSX et dont une description peut être trouvée dans l'article de MM P.Goumay, F. Charité, intitulé "A 1200 bits/s HSX speech coder for very low bit rate communications", et publié dans IEEE Proceedings Workshop on Signal Processing System (Sips'98), Boston, 8-10 Octobre 1998.
- Ce modèle est défini principalement par quatre paramètres :
- un paramètre de voisement qui décrit le caractère plus ou moins périodique des sons voisés ou aléatoire des sons non voisés du signal de parole,
- un paramètre définissant la fréquence fondamentale ou « PITCH » des sons voisés,
- un paramètre représentatif de l'évolution temporelle de l'énergie,
- et un paramètre représentatif de l'enveloppe spectrale du signal de parole.
- L'enveloppe spectrale du signal, ou « spectre », peut être obtenue par une modélisation autorégressive à l'aide d'un filtre de prédiction linéaire ou par une analyse de Fourier à court terme synchrone avec le pitch. Ces quatre paramètres sont estimés périodiquement sur le signal de parole de une à plusieurs fois par trame selon le paramètre, pour une durée trame typiquement comprise entre 10 et 30 ms.
- La restitution du signal de parole s'effectue de la façon représentée à la figure 2, en excitant par le pitch ou par un bruit stochastique, un filtre numérique de synthèse 1 qui modélise par sa fonction de transfert le conduit vocal selon que respectivement le son est voisé ou non voisé.
- Un commutateur 2 assure la transmission du pitch ou du bruit à l'entrée du filtre de synthèse 1.
- Un amplificateur 3 de gain variable en fonction de l'énergie du signal de parole est placé en sortie du filtre de synthèse 1.
- Dans le cas d'un modèle paramétrique simple comportant une décision binaire son voisé / son non voisé, la procédure de synthèse peut se résumer à celle représentée sur la figure 2. Cependant le procédé selon l'invention qui est représenté à la figure 3 sous la forme d'un organigramme, est plus complexe et se déroule en quatre étapes, se décomposant en une étape 4 de prétraitement, une étape 5 d'analyse du signal obtenu à l'étape 4 pour l'extraction des paramètres caractérisant le pitch, le voisement, l'énergie, et le spectre du signal de parole, une étape 6 durant laquelle les paramètres obtenus à l'étape 5 sont modifiés et une étape 7 de synthèse d'un signal de parole composé à partir des paramètres modifiés de l'étape 6.
- L'étape 4 est celle qui est classiquement mise en oeuvre dans les vocodeurs. Elle consiste notamment, après avoir converti le signal de parole en un signal numérique, à réduire le bruit de fond en utilisant par exemple la méthode décrite par M.D.Malah, publié dans IEEE trans.Acoust.,Speech Processing, Volume-12 N.6, pp.1109-1121 1984, ayant pour titre "Speech enhancement using a minimum square error short time spectral amplitude estimator", à annuler les échos acoustique en utilisant par exemple la méthode décrite dans l'article de MM.K.Murano, S. Unjani et F. Amano ayant pour titre: "Echo cancellation and applications" publié dans la revue IEEE Com. May, 28 (1), pp 49-55, janvier 1990, à réaliser une commande automatique de gain, ou encore à préaccentuer le signal.
- Le traitement paramétrique du signal de parole obtenu en fin de l'étape 4 est effectué à l'étape 5. Il consiste à découper le signal de parole en échantillons de durée constante Tanalyse (typiquement 5 à 30 millisecondes) pour réaliser sur chacun d'eux l'estimation des paramètres du modèle de signal de parole. En utilisant le modèle d'analyse HSX décrite dans l'article de MM.Gournay et F.Chartier cité précédemment, le pitch et le voisement sont estimés toutes les 22,5 millisecondes. L'information de voisement est donnée sous la forme d'une fréquence de transition entre une bande basse voisée et une bande haute non voisée. L'énergie du signal est estimée toutes les 5,625 millisecondes. Lors des périodes non voisées du signal, elle est estimée sur une durée de 45 échantillons (5,625 ms) et exprimée en dB par échantillon. Lors des périodes voisées du signal, elle est estimée sur un nombre entier de périodes fondamentales au minimum égal à 45 et exprimée en dB par échantillon. L'enveloppe spectrale S(ω) est estimée toutes les 11,25 millisecondes. Elle est obtenue par prédiction linéaire (LPC) par une modélisation auto-régressive d'un filtre d'ordre OLPC= 16 de fonction de transfert :
- Dans ce qui suit les paramètres issus de l'analyse sont notés :
- PitchAnalyse ;
- VoisementAnalyse ;
- EnergieAnalyse[i], i=O à 3 ;
- LpcAnalyse[k], k=I à 16.
- La procédure de synthèse consiste, pour chaque intervalle de durée Tanalyse, à stimuler le filtre de synthèse donnant S(ω) par la somme pondérée en fréquence (bande basse/ bande haute définie par la fréquence de voisement), d'un bruit blanc pseudo aléatoire pour la bande haute et d'un signal périodique en peigne de Dirac de fréquence fondamentale égale au pitch pour ia bande basse.
- Selon l'invention de nombreuses transformations peuvent être appliquées aux paramètres issus de l'analyse de l'étape 5. Chaque paramètre peut en effet être modifié indépendamment des autres, sans interaction réciproque. De plus, ces transformations peuvent être constantes ou n'être activées que dans des conditions particulières (par exemple, déclenchement de la modification de l'enveloppe spectrale pour certaines configurations de répartition de l'énergie en fonction de la fréquence,... ).
- Ces modifications sont effectuées aux étapes 6 1 à 64 et elles portent essentiellement sur la valeur du pitch qui caractérise la fréquence fondamentale, le voisement, l'énergie et l'enveloppe spectrale.
- Pour le déroulement de l'étape 6 1 toute transformation définissant une nouvelle valeur de « pitch » à partir de la valeur du pitch d'analyse obtenue à l'étape 5 est applicable.
- La transformation élémentaire est l'homothétie, définie par la relation :
- Le facteur Facteur Pitch est ajustable pour le type de surdité considéré.
- Comme pour le pitch la fréquence de voisement peut être modifiée par toute transformation définissant une « fréquence de voisement » pour chaque valeur de la fréquence de voisement analysée à l'étape 5.
- Dans l'exemple de mise en oeuvre de l'invention la transformation choisie est une homothétie, définie par la relation :
- Lorsque la fréquence de transition de voisement issue de l'analyse VoisementAnalyse est maximum (signal entièrement voisé, VoisementAnalyse = VoisementMaximum) la fréquence de voisement utilisée en synthèse est inchangée (VoisementSynthèse = VoisementMaximum). Lui appliquer un facteur multiplicatif serait en effet totalement arbitraire (VoisementAnalyse = VoisementMaximum ne signifie pas une absence de voisement au dessus de VoisementMaxmum). A titre d'exemple VoisementMaximum peut être fixé à 3625 Hz.
- Le facteur Facteur Voisement est ajustable pour le type de surdité considéré.
- Le traitement de l'énergie est effectué à l'étape 6 3 Comme précédemment toute transformation définissant une énergie à partir de l'énergie du signal de parole analysé à l'étape 6 3 est applicable. Dans l'exemple décrit ci après le procédé selon l'invention applique à l'énergie une fonction de compression à quatre segments linéaires de la manière représentée sur le graphe de la figure 4.
- L'énergie utilisée en synthèse est donnée par la relation :
- Le traitement de l'enveloppe spectrale a lieu à l'étape 6 4 Dans cette étape toute transformation définissant un spectre S'(ω) à partir du spectre S(ω) analysé à l'étape 5 est applicable.
- Dans le mode de réalisation de l'invention décrit ci après la transformation élémentaire sur le spectre qui est mise en oeuvre est une compression homothétique de l'échelle des fréquences.
- L'échelle des fréquences est comprimée d'un facteur FacteurSpectre de sorte que les bandes utiles avant et après le traitement soient respectivement égales à [O..FECH/2] et à [O..FECH/(2*FacteurSpectre)], où FECH est la fréquence d'échantillonnage du système.
- La mise en oeuvre de cette compression homothétique est très simple lorsque le facteur de compression est une valeur entière. Il suffit alors de remplacer z par zFacteurSpectre dans l'expression du filtre tout pôle de synthèse, puis d'appliquer au signal synthétisé un filtrage passe-bas de fréquence de coupure FECH/(2*FacteurSpectre).
- Une première justification théorique de la validité du procédé décrit ci-dessus consiste à dire que cette opération équivaut à opérer un suréchantillonnage d'un facteur FacteurSpectre de la réponse impulsionnelle du conduit vocal, par insertion de FacteurSpectre-1 échantillons nuls entre chaque échantillons de la réponse impulsionnelle du conduit vocal d'origine puis par filtrage passe-bas du signal synthétisé avec une fréquence de coupure égale à FECHI(2*FacteurSpectre).
- Une seconde justification théorique consiste à considérer que cette opération équivaut à dupliquer et déplacer les pôles de la fonction de transfert.
- En effet, en considérant que les OLPC pôles uniques notés zi=pi.exp(2iπFi) de la fonction de transfert 1/A(z), les "FacteurSpectre*OLPC pôles" de 1/A(ZFacteurSPectre) sont alors les "FacteurSpectre" racines complexes de chacun des zi. Les pôles conservés par l'opération de filtrage passe-bas sont du type z'i = pi I/FacteurSpectre exp(2. i.π.Fi/FacteurSpectre) ce qui montre que leur fréquence de résonance a effectivement subi une compression homothétique d'un facteur "FacteurSpectre".
- Le filtre LPC utilisé en synthèse peut donc s'exprimer sous la forme;
- LpcSynthèse[k] = 0 pour k=I à OLPC2, k non multiple de FacteurSpectre.
- LpcSynthèse [FacteurSpectre * k] = LpcAnalyse[k] pour k=I à OLPC ;
- Il est possible de restreindre le facteur de compression de l'enveloppe spectrale à être un entier compris entre 1 et 4 tel que :
- La parole restituée à l'étape 7 peut encore être accélérée ou ralentie par simple modification de la durée de l'intervalle de temps pris en compte pour la phase de synthèse.
- En pratique, cette opération peut avoir lieu en implémentant une procédure de transformation homothétique définie par la relation :
- Si FacteurTemps > 1, alors il s'agit d'un ralentissement de la parole. Si FacteurTemps < 1, alors il s'agit d'une accélération de la parole.
- En plus des traitements précédents un certain nombre de post-traitements peuvent être envisagés consistant par exemple à effectuer un filtrage passe bande et une égalisation linéaire du signal synthétisé, ou encore un multiplexage du son sur les deux oreilles.
- L'opération d'égalisation linéaire à pour objectif de compenser l'audiogramme du patient en amplifiant ou en atténuant certaines bandes de fréquences. Dans le cadre du prototype, le gain à 7 fréquences (0, 125, 250, 500, 1000, 2000 et 4000 Hz) peut être ajusté au cours du temps entre -80 et +10 dB selon les besoins du patient ou les spécificités de son audiogramme. Cette opération peut être réalisée par exemple par filtrage par une transformée de Fourier rapide (FFT) de la manière décrite par exemple dans le livre de M.D Elliott ayant pour titre "Handbook of Digital signal processing" publié en 1987 chez Academic Press.
- L'opération de multiplexage permet une restitution monophonique (par exemple un signal traité seul) ou stéréophonique (par exemple un signal traité sur une voie et un signal non traité sur une autre). La restitution stéréophonique permet au malentendant d'adapter le traitement pour chacune de ses oreilles (deux égaliseurs linéaires pour compenser deux audiogrammes différents par exemple), et de conserver éventuellement intact sur une oreille une forme de signal auquel il est habitué et sur laquelle il peut s'appuyer pour, par exemple, se synchroniser.
- Le dispositif pour la mise en oeuvre du procédé selon l'invention qui est représenté à la figure 5 comporte une première voie composée d'un dispositif d'analyse 8, d'un dispositif de synthèse 9 et d'un premier égaliseur 10 et d'une deuxième voie comportant un deuxième égaliseur 11, l'ensemble des deux voies étant couplé entre un dispositif de prise de son 13 et une paire d'écouteurs 12a, 12b .Les dispositifs d'analyse 8 et de synthèse 9 peuvent être mis en oeuvre en empruntant les techniques connues de réalisation des vocodeurs et notamment celle des vocodeurs HSX précitée. Les sorties des égaliseurs des deux voies sont multiplexées par un multiplexeur 14 pour permettre une restitution du son monophonique ou stéréophonique. Un dispositif de traitement 15 formé par un microprocesseur ou tout dispositif équivalent est couplé au dispositif de synthèse 9 pour assurer la modification des paramètres fournis par le dispositif d'analyse 8.
- Un dispositif de prétraitement 16 interposé entre le dispositif de prise de son 13 et chacune des deux voies assure le débruitage et la conversion du signal de parole en échantillons numériques Les échantillons numériques débruités sont appliqués respectivement à l'entrée de l'égaliseur 11 et à l'entrée du dispositif d'analyse 8.
- Suivant d'autres modes de réalisation du dispositif selon l'invention, le dispositif de traitement 15 peut être intégré au dispositif de synthèse 9, comme il est aussi possible d'intégrer l'ensemble des traitements d'analyse et de synthèse dans un même logiciel exécutable sur un ordinateur personnel ou sur un répondeur téléphonique par exemple.
Claims (3)
- Procédé pour la correction auditive des malentendants, du type consistant à analyser un signal de parole (5) pour en extraire des paramètres caractérisant le pitch, le voisement, l'énergie et le spectre du signal de parole, à modifier (6) les paramètres pour rendre la parole intelligible à un malentendant, et à synthétiser (7) un signal de parole perceptible par le malentendant à partir des paramètres modifiés de la manière suivante :• Le paramètre caractérisant le pitch est modifié (61) en appliquant à la valeur du pitch extrait un facteur multiplicateur,• Le paramètre caractérisant l'énergie est modifié (63) par une fonction de compression,• Le paramètre caractérisant l'enveloppe spectrale est modifié (64) par une compression homothétique de l'échelle des fréquencesCaractérisé en ce que• Le paramètre caractérisant le voisement est donné sous la forme d'une fréquence de transition entre une bande voisée et une bande haute non voisée, qui est modifiée (62) par un facteur multiplicateur afin de créer une bande haute modifiée sur laquelle on génère un bruit blanc pseudo aléatoire lors de la phase de synthèse ; et en ce que• La durée de l'intervalle de temps pris en compte pour la phase de synthèse est modifié (7) en multipliant l'intervalle de temps par un facteur temps.
- Dispositif pour la mise en oeuvre du procédé selon la revendication 1, caractérisé en ce qu'il comprend un dispositif d'analyse (8) pour l'extraction des paramètres du signal de parole couplé à un dispositif de synthèse (9) ainsi qu'un dispositif de traitement (14) couplé au dispositif de synthèse (9) arrangé pour modifier les paramètres fournis par le dispositif d'analyse (8) selon les caractéristiques de la revendication 1 et appliquer les paramètres modifiés au dispositif de synthèse(9) afin de reconstituer un signal de parole avec les paramètres modifiés.
- Dispositif selon la revendication 2, caractérisé en ce que le dispositif d'analyse (8) et le dispositif de synthèse (9) comportent un dispositif d'analyse et de synthèse de vocodeur à prédiction linéaire.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9815354A FR2786908B1 (fr) | 1998-12-04 | 1998-12-04 | Procede et dispositif pour le traitement des sons pour correction auditive des malentendants |
FR9815354 | 1998-12-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1006511A1 EP1006511A1 (fr) | 2000-06-07 |
EP1006511B1 true EP1006511B1 (fr) | 2004-04-28 |
Family
ID=9533606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP99403027A Expired - Lifetime EP1006511B1 (fr) | 1998-12-04 | 1999-12-03 | Procédé et dispositif pour le traitement des sons pour correction auditive des malentendants |
Country Status (5)
Country | Link |
---|---|
US (1) | US6408273B1 (fr) |
EP (1) | EP1006511B1 (fr) |
AT (1) | ATE265733T1 (fr) |
DE (1) | DE69916756T2 (fr) |
FR (1) | FR2786908B1 (fr) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2784218B1 (fr) * | 1998-10-06 | 2000-12-08 | Thomson Csf | Procede de codage de la parole a bas debit |
US7110951B1 (en) * | 2000-03-03 | 2006-09-19 | Dorothy Lemelson, legal representative | System and method for enhancing speech intelligibility for the hearing impaired |
DE10031832C2 (de) * | 2000-06-30 | 2003-04-30 | Cochlear Ltd | Hörgerät zur Rehabilitation einer Hörstörung |
FR2815457B1 (fr) * | 2000-10-18 | 2003-02-14 | Thomson Csf | Procede de codage de la prosodie pour un codeur de parole a tres bas debit |
US6823312B2 (en) * | 2001-01-18 | 2004-11-23 | International Business Machines Corporation | Personalized system for providing improved understandability of received speech |
US6829355B2 (en) * | 2001-03-05 | 2004-12-07 | The United States Of America As Represented By The National Security Agency | Device for and method of one-way cryptographic hashing |
US6950799B2 (en) | 2002-02-19 | 2005-09-27 | Qualcomm Inc. | Speech converter utilizing preprogrammed voice profiles |
US7660715B1 (en) | 2004-01-12 | 2010-02-09 | Avaya Inc. | Transparent monitoring and intervention to improve automatic adaptation of speech models |
US7680652B2 (en) | 2004-10-26 | 2010-03-16 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
US7949520B2 (en) | 2004-10-26 | 2011-05-24 | QNX Software Sytems Co. | Adaptive filter pitch extraction |
US8306821B2 (en) | 2004-10-26 | 2012-11-06 | Qnx Software Systems Limited | Sub-band periodic signal enhancement system |
US8543390B2 (en) * | 2004-10-26 | 2013-09-24 | Qnx Software Systems Limited | Multi-channel periodic signal enhancement system |
US7610196B2 (en) * | 2004-10-26 | 2009-10-27 | Qnx Software Systems (Wavemakers), Inc. | Periodic signal enhancement system |
US7716046B2 (en) * | 2004-10-26 | 2010-05-11 | Qnx Software Systems (Wavemakers), Inc. | Advanced periodic signal enhancement |
US8170879B2 (en) * | 2004-10-26 | 2012-05-01 | Qnx Software Systems Limited | Periodic signal enhancement system |
KR100707339B1 (ko) * | 2004-12-23 | 2007-04-13 | 권대훈 | 청력도 기반 이퀄라이제이션 방법 및 장치 |
ATE449512T1 (de) * | 2005-06-27 | 2009-12-15 | Widex As | Höhrapparat mit verbesserte hochfrequenzwiedergabe und verfahren zur bearbeitung eines tonsignal |
US7653543B1 (en) * | 2006-03-24 | 2010-01-26 | Avaya Inc. | Automatic signal adjustment based on intelligibility |
US7831420B2 (en) * | 2006-04-04 | 2010-11-09 | Qualcomm Incorporated | Voice modifier for speech processing systems |
DE102006019694B3 (de) * | 2006-04-27 | 2007-10-18 | Siemens Audiologische Technik Gmbh | Verfahren zum Einstellen eines Hörgeräts mit Hochfrequenzverstärkung |
US7962342B1 (en) | 2006-08-22 | 2011-06-14 | Avaya Inc. | Dynamic user interface for the temporarily impaired based on automatic analysis for speech patterns |
US7925508B1 (en) | 2006-08-22 | 2011-04-12 | Avaya Inc. | Detection of extreme hypoglycemia or hyperglycemia based on automatic analysis of speech patterns |
US20080231557A1 (en) * | 2007-03-20 | 2008-09-25 | Leadis Technology, Inc. | Emission control in aged active matrix oled display using voltage ratio or current ratio |
US8041344B1 (en) | 2007-06-26 | 2011-10-18 | Avaya Inc. | Cooling off period prior to sending dependent on user's state |
US8850154B2 (en) | 2007-09-11 | 2014-09-30 | 2236008 Ontario Inc. | Processing system having memory partitioning |
US8904400B2 (en) * | 2007-09-11 | 2014-12-02 | 2236008 Ontario Inc. | Processing system having a partitioning component for resource partitioning |
US8694310B2 (en) | 2007-09-17 | 2014-04-08 | Qnx Software Systems Limited | Remote control server protocol system |
US8209514B2 (en) * | 2008-02-04 | 2012-06-26 | Qnx Software Systems Limited | Media processing system having resource partitioning |
EP2151822B8 (fr) * | 2008-08-05 | 2018-10-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Appareil et procédé de traitement d'un signal audio pour amélioration de la parole utilisant une extraction de fonction |
WO2012003602A1 (fr) * | 2010-07-09 | 2012-01-12 | 西安交通大学 | Procédé de reconstitution de la parole d'un larynx électronique et système associé |
CN103250209B (zh) * | 2010-12-08 | 2015-08-05 | 唯听助听器公司 | 改善音频重现的助听器和方法 |
US9570066B2 (en) * | 2012-07-16 | 2017-02-14 | General Motors Llc | Sender-responsive text-to-speech processing |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4051331A (en) * | 1976-03-29 | 1977-09-27 | Brigham Young University | Speech coding hearing aid system utilizing formant frequency transformation |
US4791672A (en) * | 1984-10-05 | 1988-12-13 | Audiotone, Inc. | Wearable digital hearing aid and method for improving hearing ability |
FR2572535B1 (fr) | 1984-10-30 | 1986-12-19 | Thomson Csf | Analyseur de spectre a filtres dispersifs a ondes de surface |
US5765127A (en) * | 1992-03-18 | 1998-06-09 | Sony Corp | High efficiency encoding method |
US5933801A (en) * | 1994-11-25 | 1999-08-03 | Fink; Flemming K. | Method for transforming a speech signal using a pitch manipulator |
US5737719A (en) * | 1995-12-19 | 1998-04-07 | U S West, Inc. | Method and apparatus for enhancement of telephonic speech signals |
WO1999010719A1 (fr) * | 1997-08-29 | 1999-03-04 | The Regents Of The University Of California | Procede et appareil de codage hybride de la parole a 4kbps |
-
1998
- 1998-12-04 FR FR9815354A patent/FR2786908B1/fr not_active Expired - Fee Related
-
1999
- 1999-12-02 US US09/453,085 patent/US6408273B1/en not_active Expired - Fee Related
- 1999-12-03 EP EP99403027A patent/EP1006511B1/fr not_active Expired - Lifetime
- 1999-12-03 AT AT99403027T patent/ATE265733T1/de not_active IP Right Cessation
- 1999-12-03 DE DE69916756T patent/DE69916756T2/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
FR2786908A1 (fr) | 2000-06-09 |
FR2786908B1 (fr) | 2001-06-08 |
DE69916756D1 (de) | 2004-06-03 |
ATE265733T1 (de) | 2004-05-15 |
EP1006511A1 (fr) | 2000-06-07 |
US6408273B1 (en) | 2002-06-18 |
DE69916756T2 (de) | 2005-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1006511B1 (fr) | Procédé et dispositif pour le traitement des sons pour correction auditive des malentendants | |
Drullman et al. | Effect of temporal envelope smearing on speech reception | |
EP0745363A1 (fr) | Prothèse auditive comportant un implant cochléaire à ondelettes | |
EP2518724B1 (fr) | Combiné audio micro/casque comprenant des moyens de débruitage d'un signal de parole proche, notamment pour un système de téléphonie "mains libres" | |
US7243060B2 (en) | Single channel sound separation | |
EP2113913B1 (fr) | Procédé et système de reconstitution de basses fréquences dans un signal audio | |
EP0623238B1 (fr) | Appareil convertisseur audiofrequence perfectionne, installation pour le traitement de sujets comprenant un tel appareil et procede mettant en uvre une telle installation | |
EP0054450B1 (fr) | Perfectionnements aux dispositifs de prothèse auditive | |
WO2021114545A1 (fr) | Procédé d'amélioration de son et système d'amélioration de son | |
Nogaki et al. | Effect of training rate on recognition of spectrally shifted speech | |
CH631853A5 (fr) | Appareil integrateur audio-vocal. | |
CA2494697A1 (fr) | Procede de calibrage d'audio-intonation | |
WO2015059425A1 (fr) | Methode electrophysiologique d'evaluation de l'efficacite d'une prothese auditive | |
EP0246970B1 (fr) | Perfectionnements aux dispositifs de prothèse auditive | |
Kuk et al. | Improving hearing aid performance in noise: Challenges and strategies | |
CN100440317C (zh) | 数字助听器语音频率压缩方法 | |
Grant et al. | Auditory supplements to speechreading: Combining amplitude envelope cues from different spectral regions of speech | |
FR2695750A1 (fr) | Dispositif de traitement d'un signal sonore et appareil comportant un tel dispositif. | |
Muñoz et al. | Frequency lowering processing for listeners with significant hearing loss | |
JPH07146700A (ja) | ピッチ強調方法および装置ならびに聴力補償装置 | |
FR3073694A1 (fr) | Procede de sonorisation live, au casque, tenant compte des caracteristiques de perception auditive de l’auditeur | |
Yasu et al. | Critical-band compression method for digital hearing aids | |
WO1998007130A1 (fr) | Procede et dispositif pour l'enseignement des langues | |
CA2548949C (fr) | Dispositif de traitement de signaux audio, notamment pour le traitement des troubles audiophonatoires | |
Cheeran et al. | Dichotic presentation for binaural hearing aids using perceptually balanced critical bandwidth based comb filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE |
|
AX | Request for extension of the european patent |
Free format text: AL;LT;LV;MK;RO;SI |
|
17P | Request for examination filed |
Effective date: 20000816 |
|
AKX | Designation fees paid |
Free format text: AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: THALES |
|
17Q | First examination report despatched |
Effective date: 20030211 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040428 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED. Effective date: 20040428 Ref country code: IE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040428 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040428 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040428 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040428 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: FRENCH |
|
REF | Corresponds to: |
Ref document number: 69916756 Country of ref document: DE Date of ref document: 20040603 Kind code of ref document: P |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040728 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040728 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040728 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20040808 |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 20040831 |
|
NLV1 | Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act | ||
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20041203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20041231 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20041231 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20041231 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20041231 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20050131 |
|
BERE | Be: lapsed |
Owner name: *THALES Effective date: 20041231 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20061129 Year of fee payment: 8 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20061130 Year of fee payment: 8 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20061208 Year of fee payment: 8 |
|
BERE | Be: lapsed |
Owner name: *THALES Effective date: 20041231 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20040928 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20071203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20080701 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20081020 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20071203 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20071231 |