EP3381204B1 - Procede et dispositif pour estimer la reverberation acoustique - Google Patents
Procede et dispositif pour estimer la reverberation acoustique Download PDFInfo
- Publication number
- EP3381204B1 EP3381204B1 EP16819332.4A EP16819332A EP3381204B1 EP 3381204 B1 EP3381204 B1 EP 3381204B1 EP 16819332 A EP16819332 A EP 16819332A EP 3381204 B1 EP3381204 B1 EP 3381204B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- characteristic
- acoustic
- reverberation
- determined
- decay rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000009826 distribution Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000607056 Stenodus leucichthys Species 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000021183 entrée Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
Definitions
- the present invention relates to methods and devices for estimating acoustic reverberation.
- Estimating the acoustic reverberation of a medium is essential for capturing acoustic signals such as speech in a reverberant medium such as, for example, a room in a building.
- the microphone When a sound is emitted and picked up by a microphone in a reverberant environment, the microphone picks up not only the received signal directly, but also reverberant signals in the medium.
- This reverberation is reflected by the impulse response of the medium, from which various known parameters, including the reverberation time, flow.
- the impulse response can be measured directly by emitting an acoustic pulse in the medium, but this method is cumbersome and difficult to envisage for performing repeated measurements while one or more speakers are speaking in the room.
- the reverberation time can be estimated blindly, for example while one or more speakers are speaking.
- the most common parameter used to represent the reverberation time is the 60 dB RT 60 reverberation time.
- the document US2014169575 describes a method for blind estimation of the reverberation time in a room.
- the reverberation time is not representative of the distance between the transmitter and the microphone, which however has a significant impact on the reverb level.
- the aforementioned known methods of the type do not therefore make it possible to process the acoustic signals sensed satisfactorily.
- the present invention therefore aims to provide a method for estimating acoustic reverberation, which avoids this disadvantage.
- the aim of the invention is to estimate the acoustic reverberation of a medium 7, for example a room in a building as schematized on the figure 1 , so as to process the acoustic signals picked up by an electronic device 1 provided with a microphone 2.
- the electronic device 1 can be for example a telephone in the example shown, or a computer or other.
- the electronic device 1 may comprise for example an electronic central unit 8 such as a processor or the like, connected to the microphone 2 and various other elements, including for example a speaker 9, a keyboard 10, a screen 11.
- L electronic central unit 8 can communicate with an external network 12, for example a telephone network.
- These parameters can be used to suppress the effects of echoes or more generally to optimize the sound signals picked up by the microphone 2.
- the parameters in question are estimated in a repetitive way, so that the device 1 is adapted for example to changes in speakers 3, to movements of speakers 3, to movements of the device 1 or other objects in the medium 7.
- RT 60 is the time at the time index n required for EDC (n) to decrease by 60 dB.
- RT 60 reverberation time is the most commonly used, we could estimate another reverberation time characteristic of the medium 7.
- ⁇ The two most commonly used values of ⁇ are 50 ms and 80 ms, in particular 50 ms (indices C 50 and D 50 ), but other durations are possible and more generally other indices reflecting the ratio of the direct sound to the sound. reverberation could be estimated in the method according to the invention, implemented for example by the aforementioned electronic central unit 8.
- the microphone 2 captures "blind" (that is to say, without prior knowledge of the signals transmitted), an acoustic signal broadcast in the medium 7, for example when the speaker 3 speaks. This signal is sampled and stored in processor 8 or an ancillary memory (not shown).
- an acoustic energy decay rate distribution is determined from the acoustic signal measured in step (a).
- ⁇ s and ⁇ h are respectively the rate of energy decay of the emitted anechoic signal and medium 7 (the signal picked up is a convolution of the emitted anechoic signal (speech) with the impulse response of the medium between the speaker 3 and the microphone 2, n being the temporal index defined above).
- the energy decay rate of the reverberated signal ⁇ x can be approximated by: ⁇ x ⁇ max ⁇ h ⁇ s which justifies formula (5) above.
- the calculation of ⁇ (m) can typically be done on a number M of frames of at least 2000, corresponding to at least 1 min of signal according to the selected analysis parameters.
- the frames can have an individual duration of 10 to 100 ms, in particular of the order of 32 ms.
- the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
- the characteristic function can be calculated for angular frequencies f ranging for example from 0 to 0.4, in increments of 0.001.
- p can be for example between 256 and 2048.
- the characteristic function is a complex number, it can be represented by a vector of X belonging to R p constituting the random input vector x of the estimator used.
- the random output vector y of the estimator, belonging to R 2 has as component the two estimated parameters, for example (RT 60 , C 50 ) or (RT 60 , D 50 ).
- the estimator used may advantageously be a kernel function estimator, for example a Nadaraya-Watson estimator.
- a kernel function estimator for example a Nadaraya-Watson estimator.
- Such an estimator has the advantage of simultaneously determining the characteristic reverberation time and the characteristic reverberation level.
- the estimator in question can be determined in advance in an initial calibration phase, where at least one initial step of determination of reference signals (a ') and at least one initial observation step (b') is implemented.
- a plurality of reference acoustic signals and reference characteristic reverberation times and corresponding reference characteristic reverb levels are determined.
- the acoustic energy decay rate distribution and the reference characteristic function for each reference acoustic signal are determined identically or similarly to the observation step (b). ) above.
- the acoustic reference signals are generally vocal signals of the number of N and correspond to N cases of different figures (different speakers, different positions, different media 7). N can be several hundred or even thousands.
- the aforementioned synthetic acoustic signals can be calculated by convolving pre-recorded impulse responses with pre-recorded speech anechoic signals from different speakers.
- the prerecorded impulse responses may for example come from impulse response databases, for example from open access databases such as Aachen Impulse Response databases. (http://www.openairlib.net/auralizationdb), MARDY ( Wen et al., Evaluation of speech dereverberation algorithms using the Mardy database, Sept. IWAENC 2006, By is), QueenMary ( R. Stewart and M. Sandler, Database of omnidirectional and b-format room impulse responses, In Acoustics Speech and Signal Processing (ICASSP).
- IASSP Acoustics Speech and Signal Processing
- Anechoic speech signals may be signals recorded from various speakers, for example of different ages and sexes, with for example recording times for example of a few minutes, for example of the order of 5 minutes.
- the energy decay rate distributions can for example be calculated over frames of 10 to 100 ms, in particular of the order of 32 ms.
- the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
- the characteristic functions can be calculated for angular frequencies ranging for example from 0 to 0.4, in increments of 0.001.
- the kernel function K ⁇ (x, x i ) is a function of x and x i as defined in particular by Scholkopf et al. ( B. Scholkopf and AJ Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001 ).
- the tests carried out show that the method of the invention is more accurate than the methods of the prior art for determining the reverberation time, and it also makes it possible to determine the reverberation level at the same time as the reverberation time, which is a big gain.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
- La présente invention est relative aux procédés et dispositifs pour estimer la réverbération acoustique.
- L'estimation de la réverbération acoustique d'un milieu est essentielle pour capter des signaux acoustiques tels que la parole dans un milieu réverbérant tel que par exemple une pièce dans un bâtiment.
- Lorsqu'un son est émis puis capté par un microphone dans un milieu réverbérant, le microphone capte non seulement le signal reçu directement, mais également des signaux réverbérés dans le milieu.
- Cette réverbération est reflétée par la réponse impulsionnelle du milieu, dont découlent divers paramètres connus, notamment le temps de réverbération. La réponse impulsionnelle est mesurable directement en émettant une impulsion acoustique dans le milieu, mais cette méthode est lourde et difficilement envisageable pour effectuer des mesures répétées pendant qu'un ou des locuteurs parlent dans la pièce.
- Le temps de réverbération peut être estimé à l'aveugle, par exemple pendant qu'un ou des locuteurs parlent. Le paramètre le plus couramment utilisé pour représenter le temps de réverbération est le temps de réverbération à 60 dB RT60.
- A titre d'exemple, le document
US2014169575 décrit un procédé d'estimation à l'aveugle du temps de réverbération dans une pièce. - Toutefois, le temps de réverbération n'est pas représentatif de la distance entre l'émetteur et le microphone, qui pourtant a un impact important sur le niveau de réverbération. Les procédés connus du type susmentionnés ne permettent donc pas de traiter les signaux acoustiques captés de façon satisfaisante.
- Les documents suivants font partie de l'état de l'art lié à la présente invention:
- JIMI Y C WEN ET AL: "Blind estimation of reverberation time based on the distribution of signal decay rates", IEEE ICASSP 2008, p. 329-332.
- FALK T H ET AL: "Temporal Dynamics for Blind Measurement of Room Acoustical Parameters",IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, vol. 59, no. 4, 2010, p. 978-989.
- EATON JAMES ET AL: "Noise-robust reverberation time estimation using spectral decay distributions with reduced computational cost",2013 IEEE ICASSP, 2013, p. 161-165.
- La présente invention a donc pour objet de proposer un procédé pour estimer la réverbération acoustique, qui permette d'éviter cet inconvénient.
- A cet effet, l'invention propose un procédé pour estimer la réverbération acoustique dans un milieu, comprenant les étapes suivantes :
- (a) une étape de mesure dans laquelle on capte au moins un signal acoustique dans le milieu,
- (b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
- (c) une étape d'estimation au cours de laquelle on estime un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b), la régression étant faite en référence à :
- des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
- des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
- Grâce à ces dispositions, et notamment grâce au fait que l'on applique la méthode d'estimation à la distribution de taux de décroissance d'énergie acoustique, on peut déterminer à la fois un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu, de façon fiable. Ces deux paramètres permettent de traiter de façon satisfaisante les signaux sonores captés.
- Dans divers modes de réalisation du procédé selon l'invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes :
- au cours de l'étape d'estimation (c), on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique ;
- au cours de l'étape d'estimation (c), on utilise un estimateur de Nadaraya-Watson ;
- au cours de l'étape d'estimation (c), le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté Cτ et l'indice de définition Dτ ;
- au cours de l'étape d'observation (b), on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives :
- le procédé comporte en outre une phase préliminaire de calibrage comprenant les étapes suivantes :
- (a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,
- (b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence ;
- au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles ;
- au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
- le procédé comporte en outre une phase préliminaire de calibrage comprenant les étapes suivantes :
- Par ailleurs, l'invention a également pour objet un dispositif pour estimer la réverbération acoustique dans un milieu, comprenant :
- (a) des moyens de mesure pour capter au moins un signal acoustique émis dans le milieu,
- (b) des moyens pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
- (c) des moyens pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :
- des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
- des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
- D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la description suivante d'un de ses modes de réalisation, donné à titre d'exemple non limitatif, en regard des dessins joints.
- Sur les dessins :
- la
figure 1 est une vue schématique illustrant la réverbération du son dans une pièce lorsqu'un sujet parle de façon que ses paroles soient captées par un dispositif selon une forme de réalisation de l'invention, - la
figure 2 est un schéma de principe du dispositif de lafigure 1 . - Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
- L'invention a pour but d'estimer la réverbération acoustique d'un milieu 7, par exemple une pièce dans un bâtiment telle que schématisée sur la
figure 1 , de façon à traiter les signaux acoustiques captés par un dispositif électronique 1 pourvu d'un microphone 2. Le dispositif électronique 1 peut être par exemple un téléphone dans l'exemple représenté, ou un ordinateur ou autre. - Lorsqu'un son est émis dans le milieu 7, par exemple par une personne 3, ce son se propage jusqu'au microphone 2 selon divers trajets 4, soit directs, soit après réflexion sur une ou plusieurs parois 5, 6 du milieu 7.
- Comme représenté sur la
figure 2 , le dispositif électronique 1 peut comporter par exemple une unité centrale électronique 8 telle qu'un processeur ou autre, reliée au microphone 2 et à divers autre éléments, incluant par exemple un haut-parleur 9, un clavier 10, un écran 11. L'unité centrale électronique 8 peut communiquer avec un réseau externe 12, par exemple un réseau téléphonique. - L'invention permet au dispositif électronique 1 de mesurer à l'aveugle, deux paramètres caractéristiques de la réverbération du milieu 7 :
- un temps de réverbération caractéristique, par exemple le temps de réverbération à 60 dB RT60,
- et un niveau de réverbération caractéristique (par exemple indice de clarté ou de définition, ou indice de signal direct sur signal réverbéré).
- Ces paramètres peuvent être utilisés pour supprimer les effets d'échos ou plus généralement pour optimiser les signaux sonores captés par le microphone 2. Les paramètres en question sont estimés de façon répétitive, de façon que le dispositif 1 s'adapte par exemple à des changements de locuteurs 3, à des déplacements de locuteurs 3, à des déplacements du dispositif 1 ou d'autres objets dans le milieu 7.
- Le temps de réverbération à 60dB RT60 peut être défini par la méthode d'intégration inverse de Manfred R. Schroeder (New Method of Measuring Reverberation Time, The Journal of the Acoustical Society of America, 37(3) :409, 1965) par la courbe de décroissance d'énergie (Energy Decay Curve) EDC :
- h est la réponse impulsionnelle du milieu de longueur Nh ,
- n est un indice temporel, par exemple un nombre d'échantillons obtenus par un échantillonnage de pas temporel constant, n étant compris entre 1 et Nh.
- RT60 est le temps à l'indice temporel n requis pour que EDC(n) diminue de 60 dB.
- Bien que le temps de réverbération RT60 soit le plus couramment utilisé, on pourrait estimer un autre temps de réverbération caractéristique du milieu 7.
-
- N τ est le nombre d'échantillons à pas temporels constant correspondant au temps τ, généralement compris entre 0.1 ms et 1 s,
- n est un indice temporel compris entre 1 et N τ , représentatif d'un nombre d'échantillons de pas temporel constant,
- h(n) est la réponse impulsionnelle du milieu 7.
- Ces indices ont été décrits notamment par P. A. Naylor et N. D. Gaubitch (Speech Dereverberation, Springer, eds édition, 2010).
- Les deux valeurs les plus couramment utilisées de τ sont 50 ms et 80 ms, notamment 50 ms (indices C50 et D50), mais d'autres durées sont possibles et plus généralement d'autres indices reflétant le rapport du son direct au son réverbéré pourraient être estimés dans le procédé selon l'invention, mis en œuvre par exemple par l'unité centrale électronique 8 susmentionnée.
- Ce procédé comporte les étapes suivantes :
- (a) une étape de mesure de signal acoustique,
- (b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir des signaux acoustiques mesurés à l'étape (a),
- (c) une étape d'estimation au cours de laquelle on estime, par régression à partir de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b), un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu 7.
- Au cours de cette étape, le microphone 2 capte « à l'aveugle » (c'est-à-dire sans connaissance préalable des signaux émis), un signal acoustique diffusé dans le milieu 7, par exemple lorsque le locuteur 3 parle. Ce signal est échantillonné et stocké dans le processeur 8 ou une mémoire annexe (non représentée).
- Au cours de cette étape, on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a).
- Pour cela, on détermine d'abord l'enveloppe d'énergie du signal réverbéré dx(n) telle que décrit notamment par Wen et al. (J.Y.C. Wen, E.A.P. Habets, and P.A. Naylor, Blind estimation of reverberation time based on the distribution of signal decay rates, Acoustics, Speech. and Signal Processing, 2008, ICASSP 2008, IEEE International Conférence pages 329-332, Mars 2008).
- En faisant un calcul sur des trames de Nω , échantillons de signal séparées par des sauts de R échantillons de signal, on peut calculer une énergie totale de la trame m par la formule :
- En effet, l'enveloppe d'énergie dx(n) peut être exprimée par la formule :
-
- Le calcul de ρ(m) peut typiquement être fait sur un nombre M de trames d'au moins 2000, correspondant à au moins 1 mn de signal selon les paramètres d'analyse choisis. Les trames peuvent avoir une durée individuelle de 10 à 100 ms, notamment de l'ordre de 32 ms. Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives.
- On obtient ainsi différentes valeurs du taux de décroissance d'énergie ρ(m), qui présentent une certaine distribution statistique (nombre de réalisations ou probabilité de réalisation en fonction du taux de décroissance d'énergie ρ(m), comme explicité par exemple dans l'article de Wen et al. ci-dessus).
- On détermine ensuite la fonction caractéristique de la distribution de taux de décroissance d'énergie, par la formule suivante (voir Audrey Feuerverger et Roman A. Mureika [The empirical characteristic function and its applications, Ann. Statist., 5(1):88-97, 01 1977]):
- La fonction caractéristique peut être calculée pour des fréquences angulaires f allant par exemple de 0 à 0,4, par incrément de 0,001.
- On part de la fonction caractéristique Φρ(m)(f), calculée pour p/2 fréquences f (p étant un entier naturel pair), la gamme de fréquences f et leur échantillonnage étant prévus pour que |Φρ(m) (f)| soit compris préférentiellement entre 0.1 et 1.
- Typiquement, p peut être compris par exemple entre 256 et 2048.
- La fonction caractéristique étant un nombre complexe, elle peut être représentée par un vecteur de X appartenant à Rp, constituant le vecteur d'entrée aléatoire x de l'estimateur utilisé. Le vecteur de sortie aléatoire y de l'estimateur, appartenant à R2, a pour composante les deux paramètres estimés, par exemple (RT60, C50) ou (RT60, D50).
- L'estimateur utilisé peut être avantageusement un estimateur à fonction noyau, par exemple un estimateur de Nadaraya-Watson. Un tel estimateur présente l'avantage de déterminer simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique.
- L'estimateur en question peut être déterminé préalablement dans une phase initiale de calibrage, où on met en œuvre au moins une étape initiale de détermination de signaux de référence (a') et au moins une étape initiale d'observation (b').
- Au cours de l'étape initiale de détermination de signaux de référence, on détermine une pluralité de signaux acoustiques de référence et des temps de réverbération caractéristiques de référence et niveaux de réverbération caractéristiques de référence correspondants.
- Au cours de l'étape initiale d'observation, on détermine la distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence pour chaque signal acoustique de référence, de façon identique ou similaire à l'étape d'observation (b) susmentionnée.
- Les signaux acoustiques de référence sont des signaux généralement vocaux au nombre de N et correspondent à N cas de figures différents (locuteurs différents, positions différentes, milieux 7 différents). N peut être de plusieurs centaines, voire plusieurs milliers.
- L'étape initiale de détermination de signaux de référence peut être effectuée :
- avec des mesures réelles nouvelles effectuées par exemple avec un dispositif électronique 1 d'un modèle déterminé (dans ce cas, le temps de réverbération caractéristique et le niveau de réverbération caractéristique peuvent être également mesurés) ;
- et / ou avec des signaux acoustiques synthétiques.
- Dans le cas des mesures réelles, celles-ci ne seront généralement pas faites dans le milieu 7 particulier ou le dispositif électronique 1 sera utilisé, bien que ce cas de figure puisse être envisagé.
- Les signaux acoustiques synthétiques susmentionnés peuvent être calculés en convoluant des réponses impulsionnelles préenregistrées avec des signaux anéchoïques de parole également préenregistrés provenant de locuteurs différents. Les réponses impulsionnelles préenregistrées peuvent par exemple provenir de bases de données de réponses impulsionnelles, par exemple provenant de bases de données en accès libre telles que les bases de données Aachen Impulse Response (http://www.openairlib.net/auralizationdb), MARDY (Wen et al., Evaluation of speech dereverberation algorithms using the Mardy database, Sept. IWAENC 2006, Paris), QueenMary (R. Stewart and M. Sandler, Database of omnidirectional and b-format room impulse responses, In Acoustics Speech and Signal Processing (ICASSP). 2010 IEEE International Conférence on., pages 165-168, March 2010), par exemple avec des temps de réverbération RT60 allant de 0.3 s à 8 s et des indices de clarté C50 de -10 dB à 25 dB. Les signaux anéchoïques de parole peuvent être des signaux enregistrés à partir de locuteurs divers, par exemple d'âges et sexes différents, avec par exemple des durées d'enregistrement par exemple de quelques minutes, par exemple de l'ordre de 5 minutes.
- Les distributions de taux de décroissance d'énergie peuvent par exemple être calculées sur des trames de 10 à 100 ms, notamment de l'ordre de 32 ms. Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives. Les fonctions caractéristiques peuvent être calculées pour des fréquences angulaires allant par exemple de 0 à 0,4, par incrément de 0,001.
-
- xi, yi, i = 1 à N, sont les N réalisations des vecteurs x, y utilisées pour l'étape de calibration,
- Kλ(x, xi) est une fonction noyau (kernel) de fenêtre λ (λ est une constante également appelée paramètre de lissage),
- x est le vecteur d'entrée inconnu (mesure effectuée à l'étape de mesure (a) en vue d'estimer le vecteur y par la formule y = f̂(x)).
- La fonction noyau Kλ(x, xi) est une fonction de x et xi telle que définie notamment par Scholkopf et al. (B. Scholkopf and A. J. Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001).
-
- Les tests effectués montrent que le procédé de l'invention est plus précis que les procédés de l'art antérieur pour la détermination du temps de réverbération, et il permet en outre de déterminer le niveau de réverbération en même temps que le temps de réverbération, ce qui est un gain important.
Claims (9)
- Procédé pour estimer la réverbération acoustique dans un milieu (7), comprenant les étapes suivantes :(a) une étape de mesure dans laquelle on capte au moins un signal acoustique émis dans le milieu (7),(b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,(c) une étape d'estimation au cours de laquelle on estime, par régression un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu (7) à partir de ladite fonction caractéristique déterminée à l'étape (b), la régression étant faite en référence à :- des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,- des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
- Procédé selon la revendication 1, dans lequel, au cours de l'étape d'estimation (c), on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique.
- Procédé selon la revendication 2, dans lequel, au cours de l'étape d'estimation (c), on utilise un estimateur de Nadaraya-Watson.
- Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape d'estimation (c), le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté Cτ et l'indice de définition Dτ.
- Procédé selon l'une quelconque des revendications précédentes, dans lequel au cours de l'étape d'observation (b), on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives :
- Procédé selon l'une quelconque des revendications précédentes, comportant en outre une phase préliminaire de calibrage comprenant les étapes suivantes :(a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,(b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence.
- Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles.
- Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
- Dispositif pour estimer la réverbération acoustique dans un milieu (7), comprenant :(a) des moyens de mesure (2) pour capter au moins un signal acoustique émis dans le milieu (7),(b) des moyens (8) pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,(c) des moyens (8) pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :- des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,- des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,- et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1561404A FR3044509B1 (fr) | 2015-11-26 | 2015-11-26 | Procede et dispositif pour estimer la reverberation acoustique |
PCT/FR2016/053034 WO2017089688A1 (fr) | 2015-11-26 | 2016-11-21 | Procede et dispositif pour estimer la reverberation acoustique |
Publications (2)
Publication Number | Publication Date |
---|---|
EP3381204A1 EP3381204A1 (fr) | 2018-10-03 |
EP3381204B1 true EP3381204B1 (fr) | 2019-11-13 |
Family
ID=55236682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP16819332.4A Active EP3381204B1 (fr) | 2015-11-26 | 2016-11-21 | Procede et dispositif pour estimer la reverberation acoustique |
Country Status (4)
Country | Link |
---|---|
US (1) | US10313809B2 (fr) |
EP (1) | EP3381204B1 (fr) |
FR (1) | FR3044509B1 (fr) |
WO (1) | WO2017089688A1 (fr) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7449856B2 (ja) | 2017-10-17 | 2024-03-14 | マジック リープ, インコーポレイテッド | 複合現実空間オーディオ |
CN109754821B (zh) * | 2017-11-07 | 2023-05-02 | 北京京东尚科信息技术有限公司 | 信息处理方法及其系统、计算机系统和计算机可读介质 |
US11477510B2 (en) | 2018-02-15 | 2022-10-18 | Magic Leap, Inc. | Mixed reality virtual reverberation |
WO2021081435A1 (fr) | 2019-10-25 | 2021-04-29 | Magic Leap, Inc. | Estimation d'empreinte de réverbération |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040213415A1 (en) * | 2003-04-28 | 2004-10-28 | Ratnam Rama | Determining reverberation time |
US7813499B2 (en) | 2005-03-31 | 2010-10-12 | Microsoft Corporation | System and process for regression-based residual acoustic echo suppression |
EP1885154B1 (fr) | 2006-08-01 | 2013-07-03 | Nuance Communications, Inc. | Déreverbération des signaux d'un microphone |
DE102007031677B4 (de) * | 2007-07-06 | 2010-05-20 | Sda Software Design Ahnert Gmbh | Verfahren und Vorrichtung zum Ermitteln einer raumakustischen Impulsantwort in der Zeitdomäne |
EP2058804B1 (fr) | 2007-10-31 | 2016-12-14 | Nuance Communications, Inc. | Procédé de déréverbération d'un signal acoustique et système associé |
US9407992B2 (en) | 2012-12-14 | 2016-08-02 | Conexant Systems, Inc. | Estimation of reverberation decay related applications |
US10869140B2 (en) * | 2014-09-26 | 2020-12-15 | Med-El Elektromedizinische Geraete Gmbh | Determination of room reverberation for signal enhancement |
US9607627B2 (en) * | 2015-02-05 | 2017-03-28 | Adobe Systems Incorporated | Sound enhancement through deverberation |
-
2015
- 2015-11-26 FR FR1561404A patent/FR3044509B1/fr not_active Expired - Fee Related
-
2016
- 2016-11-21 EP EP16819332.4A patent/EP3381204B1/fr active Active
- 2016-11-21 WO PCT/FR2016/053034 patent/WO2017089688A1/fr unknown
- 2016-11-21 US US15/778,146 patent/US10313809B2/en active Active
Non-Patent Citations (1)
Title |
---|
None * |
Also Published As
Publication number | Publication date |
---|---|
WO2017089688A1 (fr) | 2017-06-01 |
FR3044509B1 (fr) | 2017-12-15 |
FR3044509A1 (fr) | 2017-06-02 |
EP3381204A1 (fr) | 2018-10-03 |
US10313809B2 (en) | 2019-06-04 |
US20180359582A1 (en) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3381204B1 (fr) | Procede et dispositif pour estimer la reverberation acoustique | |
EP3807669B1 (fr) | Localisation de sources sonores dans un environnement acoustique donné | |
EP2788980B1 (fr) | Estimation d'une qualité de parole à canal unique basée sur l'harmonicité | |
EP3111667B1 (fr) | Procede et systeme d'egalisation acoustique automatise | |
US20080181430A1 (en) | Multi-sensor sound source localization | |
EP1707970A1 (fr) | Procédé de detection de la position d'un front d'onde dans un signal reçu par un detecteur | |
EP4046390B1 (fr) | Localisation perfectionnee d'une source acoustique | |
EP3040989B1 (fr) | Procédé de séparation amélioré et produit programme d'ordinateur | |
EP3295212B1 (fr) | Procédé et dispositif de sondage par propagation d'ondes | |
EP3583403B1 (fr) | Procédé d'estimation de l'intensité d'une onde émise par une source émettrice | |
EP1258168B1 (fr) | Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs | |
EP3044580B1 (fr) | Procédé de contrôle non-destructif par ultrasons d'une pièce par analyses d'échos | |
EP4248231A1 (fr) | Localisation perfectionnée d'une source acoustique | |
EP3025342B1 (fr) | Procédé de suppression de la réverbération tardive d'un signal sonore | |
Bilbao et al. | Directional reverberation time and the image source method for rectangular parallelepipedal rooms | |
FR3065079B1 (fr) | Procede et dispositif de sondage ultrasonore pour l'obtention de courbes de dispersion d'un milieu sonde | |
FR3051959A1 (fr) | Procede et dispositif pour estimer un signal dereverbere | |
EP0741471A1 (fr) | Procédé et dispositif de mesure sans intrusion de la qualité de transmission d'une ligne téléphonique | |
EP2452293A1 (fr) | Localisation de sources | |
EP0015363A1 (fr) | Détecteur de parole à niveau de seuil variable | |
FR3137453A1 (fr) | Procédé d’identification automatique d’une source acoustique a partir d’un signal acoustique produit | |
FR2875633A1 (fr) | Procede et dispositif d'evaluation de l'efficacite d'une fonction de reduction de bruit destinee a etre appliquee a des signaux audio | |
Jiang et al. | Investigating the feasibility of using direct-to-reverberant energy ratio to estimate birdcall distances | |
FR2736490A1 (fr) | Dispositif de test pour la prise de son d'un radiotelephone, notamment destine a etre installe dans un vehicule automobile | |
FR3143171A1 (fr) | Restitution audio optimisée en temps réel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20180515 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) | ||
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R079 Ref document number: 602016024438 Country of ref document: DE Free format text: PREVIOUS MAIN CLASS: H04R0029000000 Ipc: G10L0025210000 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 29/00 20060101ALI20190514BHEP Ipc: G10L 25/21 20130101AFI20190514BHEP Ipc: H04S 7/00 20060101ALI20190514BHEP |
|
INTG | Intention to grant announced |
Effective date: 20190618 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP Ref country code: AT Ref legal event code: REF Ref document number: 1202500 Country of ref document: AT Kind code of ref document: T Effective date: 20191115 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: VALIPAT S.A. C/O BOVARD SA NEUCHATEL, CH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602016024438 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20191113 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200213 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200213 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200214 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200313 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200313 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602016024438 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1202500 Country of ref document: AT Kind code of ref document: T Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20200814 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20161121 Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191113 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: MC Payment date: 20221020 Year of fee payment: 7 Ref country code: LU Payment date: 20221021 Year of fee payment: 7 Ref country code: IE Payment date: 20221014 Year of fee payment: 7 Ref country code: GB Payment date: 20221121 Year of fee payment: 7 Ref country code: DE Payment date: 20221114 Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20221129 Year of fee payment: 7 Ref country code: BE Payment date: 20221125 Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602016024438 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231130 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231121 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231130 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20231121 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231130 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231121 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231130 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240603 Year of fee payment: 8 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20231130 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |