EP3381204B1 - Procede et dispositif pour estimer la reverberation acoustique - Google Patents

Procede et dispositif pour estimer la reverberation acoustique Download PDF

Info

Publication number
EP3381204B1
EP3381204B1 EP16819332.4A EP16819332A EP3381204B1 EP 3381204 B1 EP3381204 B1 EP 3381204B1 EP 16819332 A EP16819332 A EP 16819332A EP 3381204 B1 EP3381204 B1 EP 3381204B1
Authority
EP
European Patent Office
Prior art keywords
characteristic
acoustic
reverberation
determined
decay rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP16819332.4A
Other languages
German (de)
English (en)
Other versions
EP3381204A1 (fr
Inventor
Arthur BELHOMME
Yves Grenier
Roland Badeau
Eric Humbert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Invoxia SAS
Original Assignee
Invoxia SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Invoxia SAS filed Critical Invoxia SAS
Publication of EP3381204A1 publication Critical patent/EP3381204A1/fr
Application granted granted Critical
Publication of EP3381204B1 publication Critical patent/EP3381204B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to methods and devices for estimating acoustic reverberation.
  • Estimating the acoustic reverberation of a medium is essential for capturing acoustic signals such as speech in a reverberant medium such as, for example, a room in a building.
  • the microphone When a sound is emitted and picked up by a microphone in a reverberant environment, the microphone picks up not only the received signal directly, but also reverberant signals in the medium.
  • This reverberation is reflected by the impulse response of the medium, from which various known parameters, including the reverberation time, flow.
  • the impulse response can be measured directly by emitting an acoustic pulse in the medium, but this method is cumbersome and difficult to envisage for performing repeated measurements while one or more speakers are speaking in the room.
  • the reverberation time can be estimated blindly, for example while one or more speakers are speaking.
  • the most common parameter used to represent the reverberation time is the 60 dB RT 60 reverberation time.
  • the document US2014169575 describes a method for blind estimation of the reverberation time in a room.
  • the reverberation time is not representative of the distance between the transmitter and the microphone, which however has a significant impact on the reverb level.
  • the aforementioned known methods of the type do not therefore make it possible to process the acoustic signals sensed satisfactorily.
  • the present invention therefore aims to provide a method for estimating acoustic reverberation, which avoids this disadvantage.
  • the aim of the invention is to estimate the acoustic reverberation of a medium 7, for example a room in a building as schematized on the figure 1 , so as to process the acoustic signals picked up by an electronic device 1 provided with a microphone 2.
  • the electronic device 1 can be for example a telephone in the example shown, or a computer or other.
  • the electronic device 1 may comprise for example an electronic central unit 8 such as a processor or the like, connected to the microphone 2 and various other elements, including for example a speaker 9, a keyboard 10, a screen 11.
  • L electronic central unit 8 can communicate with an external network 12, for example a telephone network.
  • These parameters can be used to suppress the effects of echoes or more generally to optimize the sound signals picked up by the microphone 2.
  • the parameters in question are estimated in a repetitive way, so that the device 1 is adapted for example to changes in speakers 3, to movements of speakers 3, to movements of the device 1 or other objects in the medium 7.
  • RT 60 is the time at the time index n required for EDC (n) to decrease by 60 dB.
  • RT 60 reverberation time is the most commonly used, we could estimate another reverberation time characteristic of the medium 7.
  • The two most commonly used values of ⁇ are 50 ms and 80 ms, in particular 50 ms (indices C 50 and D 50 ), but other durations are possible and more generally other indices reflecting the ratio of the direct sound to the sound. reverberation could be estimated in the method according to the invention, implemented for example by the aforementioned electronic central unit 8.
  • the microphone 2 captures "blind" (that is to say, without prior knowledge of the signals transmitted), an acoustic signal broadcast in the medium 7, for example when the speaker 3 speaks. This signal is sampled and stored in processor 8 or an ancillary memory (not shown).
  • an acoustic energy decay rate distribution is determined from the acoustic signal measured in step (a).
  • ⁇ s and ⁇ h are respectively the rate of energy decay of the emitted anechoic signal and medium 7 (the signal picked up is a convolution of the emitted anechoic signal (speech) with the impulse response of the medium between the speaker 3 and the microphone 2, n being the temporal index defined above).
  • the energy decay rate of the reverberated signal ⁇ x can be approximated by: ⁇ x ⁇ max ⁇ h ⁇ s which justifies formula (5) above.
  • the calculation of ⁇ (m) can typically be done on a number M of frames of at least 2000, corresponding to at least 1 min of signal according to the selected analysis parameters.
  • the frames can have an individual duration of 10 to 100 ms, in particular of the order of 32 ms.
  • the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
  • the characteristic function can be calculated for angular frequencies f ranging for example from 0 to 0.4, in increments of 0.001.
  • p can be for example between 256 and 2048.
  • the characteristic function is a complex number, it can be represented by a vector of X belonging to R p constituting the random input vector x of the estimator used.
  • the random output vector y of the estimator, belonging to R 2 has as component the two estimated parameters, for example (RT 60 , C 50 ) or (RT 60 , D 50 ).
  • the estimator used may advantageously be a kernel function estimator, for example a Nadaraya-Watson estimator.
  • a kernel function estimator for example a Nadaraya-Watson estimator.
  • Such an estimator has the advantage of simultaneously determining the characteristic reverberation time and the characteristic reverberation level.
  • the estimator in question can be determined in advance in an initial calibration phase, where at least one initial step of determination of reference signals (a ') and at least one initial observation step (b') is implemented.
  • a plurality of reference acoustic signals and reference characteristic reverberation times and corresponding reference characteristic reverb levels are determined.
  • the acoustic energy decay rate distribution and the reference characteristic function for each reference acoustic signal are determined identically or similarly to the observation step (b). ) above.
  • the acoustic reference signals are generally vocal signals of the number of N and correspond to N cases of different figures (different speakers, different positions, different media 7). N can be several hundred or even thousands.
  • the aforementioned synthetic acoustic signals can be calculated by convolving pre-recorded impulse responses with pre-recorded speech anechoic signals from different speakers.
  • the prerecorded impulse responses may for example come from impulse response databases, for example from open access databases such as Aachen Impulse Response databases. (http://www.openairlib.net/auralizationdb), MARDY ( Wen et al., Evaluation of speech dereverberation algorithms using the Mardy database, Sept. IWAENC 2006, By is), QueenMary ( R. Stewart and M. Sandler, Database of omnidirectional and b-format room impulse responses, In Acoustics Speech and Signal Processing (ICASSP).
  • IASSP Acoustics Speech and Signal Processing
  • Anechoic speech signals may be signals recorded from various speakers, for example of different ages and sexes, with for example recording times for example of a few minutes, for example of the order of 5 minutes.
  • the energy decay rate distributions can for example be calculated over frames of 10 to 100 ms, in particular of the order of 32 ms.
  • the frames may overlap each other, for example with a recovery rate of the order of 50% between successive frames.
  • the characteristic functions can be calculated for angular frequencies ranging for example from 0 to 0.4, in increments of 0.001.
  • the kernel function K ⁇ (x, x i ) is a function of x and x i as defined in particular by Scholkopf et al. ( B. Scholkopf and AJ Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001 ).
  • the tests carried out show that the method of the invention is more accurate than the methods of the prior art for determining the reverberation time, and it also makes it possible to determine the reverberation level at the same time as the reverberation time, which is a big gain.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

    DOMAINE DE L'INVENTION
  • La présente invention est relative aux procédés et dispositifs pour estimer la réverbération acoustique.
  • ARRIERE PLAN DE L'INVENTION
  • L'estimation de la réverbération acoustique d'un milieu est essentielle pour capter des signaux acoustiques tels que la parole dans un milieu réverbérant tel que par exemple une pièce dans un bâtiment.
  • Lorsqu'un son est émis puis capté par un microphone dans un milieu réverbérant, le microphone capte non seulement le signal reçu directement, mais également des signaux réverbérés dans le milieu.
  • Cette réverbération est reflétée par la réponse impulsionnelle du milieu, dont découlent divers paramètres connus, notamment le temps de réverbération. La réponse impulsionnelle est mesurable directement en émettant une impulsion acoustique dans le milieu, mais cette méthode est lourde et difficilement envisageable pour effectuer des mesures répétées pendant qu'un ou des locuteurs parlent dans la pièce.
  • Le temps de réverbération peut être estimé à l'aveugle, par exemple pendant qu'un ou des locuteurs parlent. Le paramètre le plus couramment utilisé pour représenter le temps de réverbération est le temps de réverbération à 60 dB RT60.
  • A titre d'exemple, le document US2014169575 décrit un procédé d'estimation à l'aveugle du temps de réverbération dans une pièce.
  • Toutefois, le temps de réverbération n'est pas représentatif de la distance entre l'émetteur et le microphone, qui pourtant a un impact important sur le niveau de réverbération. Les procédés connus du type susmentionnés ne permettent donc pas de traiter les signaux acoustiques captés de façon satisfaisante.
  • Les documents suivants font partie de l'état de l'art lié à la présente invention:
  • OBJETS ET RESUME DE L'INVENTION
  • La présente invention a donc pour objet de proposer un procédé pour estimer la réverbération acoustique, qui permette d'éviter cet inconvénient.
  • A cet effet, l'invention propose un procédé pour estimer la réverbération acoustique dans un milieu, comprenant les étapes suivantes :
    1. (a) une étape de mesure dans laquelle on capte au moins un signal acoustique dans le milieu,
    2. (b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
    3. (c) une étape d'estimation au cours de laquelle on estime un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b), la régression étant faite en référence à :
      • des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
      • des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
      • et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
  • Grâce à ces dispositions, et notamment grâce au fait que l'on applique la méthode d'estimation à la distribution de taux de décroissance d'énergie acoustique, on peut déterminer à la fois un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu, de façon fiable. Ces deux paramètres permettent de traiter de façon satisfaisante les signaux sonores captés.
  • Dans divers modes de réalisation du procédé selon l'invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes :
    • au cours de l'étape d'estimation (c), on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique ;
    • au cours de l'étape d'estimation (c), on utilise un estimateur de Nadaraya-Watson ;
    • au cours de l'étape d'estimation (c), le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté Cτ et l'indice de définition Dτ ;
    • au cours de l'étape d'observation (b), on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives : ρ m = log E m E m 1
      Figure imgb0001
      • le procédé comporte en outre une phase préliminaire de calibrage comprenant les étapes suivantes :
        • (a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,
        • (b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence ;
      • au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles ;
      • au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
  • Par ailleurs, l'invention a également pour objet un dispositif pour estimer la réverbération acoustique dans un milieu, comprenant :
    1. (a) des moyens de mesure pour capter au moins un signal acoustique émis dans le milieu,
    2. (b) des moyens pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
    3. (c) des moyens pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :
      • des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
      • des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
      • et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
    BREVE DESCRIPTION DES DESSINS
  • D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la description suivante d'un de ses modes de réalisation, donné à titre d'exemple non limitatif, en regard des dessins joints.
  • Sur les dessins :
    • la figure 1 est une vue schématique illustrant la réverbération du son dans une pièce lorsqu'un sujet parle de façon que ses paroles soient captées par un dispositif selon une forme de réalisation de l'invention,
    • la figure 2 est un schéma de principe du dispositif de la figure 1.
    DESCRIPTION PLUS DETAILLEE
  • Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires.
  • L'invention a pour but d'estimer la réverbération acoustique d'un milieu 7, par exemple une pièce dans un bâtiment telle que schématisée sur la figure 1, de façon à traiter les signaux acoustiques captés par un dispositif électronique 1 pourvu d'un microphone 2. Le dispositif électronique 1 peut être par exemple un téléphone dans l'exemple représenté, ou un ordinateur ou autre.
  • Lorsqu'un son est émis dans le milieu 7, par exemple par une personne 3, ce son se propage jusqu'au microphone 2 selon divers trajets 4, soit directs, soit après réflexion sur une ou plusieurs parois 5, 6 du milieu 7.
  • Comme représenté sur la figure 2, le dispositif électronique 1 peut comporter par exemple une unité centrale électronique 8 telle qu'un processeur ou autre, reliée au microphone 2 et à divers autre éléments, incluant par exemple un haut-parleur 9, un clavier 10, un écran 11. L'unité centrale électronique 8 peut communiquer avec un réseau externe 12, par exemple un réseau téléphonique.
  • L'invention permet au dispositif électronique 1 de mesurer à l'aveugle, deux paramètres caractéristiques de la réverbération du milieu 7 :
    • un temps de réverbération caractéristique, par exemple le temps de réverbération à 60 dB RT60,
    • et un niveau de réverbération caractéristique (par exemple indice de clarté ou de définition, ou indice de signal direct sur signal réverbéré).
  • Ces paramètres peuvent être utilisés pour supprimer les effets d'échos ou plus généralement pour optimiser les signaux sonores captés par le microphone 2. Les paramètres en question sont estimés de façon répétitive, de façon que le dispositif 1 s'adapte par exemple à des changements de locuteurs 3, à des déplacements de locuteurs 3, à des déplacements du dispositif 1 ou d'autres objets dans le milieu 7.
  • Le temps de réverbération à 60dB RT60 peut être défini par la méthode d'intégration inverse de Manfred R. Schroeder (New Method of Measuring Reverberation Time, The Journal of the Acoustical Society of America, 37(3) :409, 1965) par la courbe de décroissance d'énergie (Energy Decay Curve) EDC : EDC n = k = n N h h k 2
    Figure imgb0002
    Où :
    • h est la réponse impulsionnelle du milieu de longueur Nh ,
    • n est un indice temporel, par exemple un nombre d'échantillons obtenus par un échantillonnage de pas temporel constant, n étant compris entre 1 et Nh.
  • RT60 est le temps à l'indice temporel n requis pour que EDC(n) diminue de 60 dB.
  • Bien que le temps de réverbération RT60 soit le plus couramment utilisé, on pourrait estimer un autre temps de réverbération caractéristique du milieu 7.
  • Le niveau de réverbération est le plus couramment représenté par l'indice de clarté : C τ = 10 log 10 n = 0 N τ h 2 n n = N τ + 1 h 2 n dB ,
    Figure imgb0003
    ou par l'indice de définition : D τ = 10 log 10 n = 0 N τ h 2 n n = 0 h 2 n dB ,
    Figure imgb0004
    où :
    • N τ est le nombre d'échantillons à pas temporels constant correspondant au temps τ, généralement compris entre 0.1 ms et 1 s,
    • n est un indice temporel compris entre 1 et N τ , représentatif d'un nombre d'échantillons de pas temporel constant,
    • h(n) est la réponse impulsionnelle du milieu 7.
  • Ces indices ont été décrits notamment par P. A. Naylor et N. D. Gaubitch (Speech Dereverberation, Springer, eds édition, 2010).
  • Les deux valeurs les plus couramment utilisées de τ sont 50 ms et 80 ms, notamment 50 ms (indices C50 et D50), mais d'autres durées sont possibles et plus généralement d'autres indices reflétant le rapport du son direct au son réverbéré pourraient être estimés dans le procédé selon l'invention, mis en œuvre par exemple par l'unité centrale électronique 8 susmentionnée.
  • Ce procédé comporte les étapes suivantes :
    1. (a) une étape de mesure de signal acoustique,
    2. (b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir des signaux acoustiques mesurés à l'étape (a),
    3. (c) une étape d'estimation au cours de laquelle on estime, par régression à partir de la distribution de taux de décroissance d'énergie acoustique déterminée à l'étape (b), un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu 7.
    (a)Etape de mesure :
  • Au cours de cette étape, le microphone 2 capte « à l'aveugle » (c'est-à-dire sans connaissance préalable des signaux émis), un signal acoustique diffusé dans le milieu 7, par exemple lorsque le locuteur 3 parle. Ce signal est échantillonné et stocké dans le processeur 8 ou une mémoire annexe (non représentée).
  • (b)Etape d'observation :
  • Au cours de cette étape, on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a).
  • Pour cela, on détermine d'abord l'enveloppe d'énergie du signal réverbéré dx(n) telle que décrit notamment par Wen et al. (J.Y.C. Wen, E.A.P. Habets, and P.A. Naylor, Blind estimation of reverberation time based on the distribution of signal decay rates, Acoustics, Speech. and Signal Processing, 2008, ICASSP 2008, IEEE International Conférence pages 329-332, Mars 2008).
  • En faisant un calcul sur des trames de Nω , échantillons de signal séparées par des sauts de R échantillons de signal, on peut calculer une énergie totale de la trame m par la formule : E m = i = 0 N ω 1 d x mR + i
    Figure imgb0005
    et ensuite estimer le taux de décroissance d'énergie en calculant le rapport logarithmique entre deux trames successives : λ x ρ m = log E m E m 1 .
    Figure imgb0006
  • En effet, l'enveloppe d'énergie dx(n) peut être exprimée par la formule : d x n = { e λ h n e λ s n / λ h λ s si λ h λ s ne λ h n S si λ h = λ s
    Figure imgb0007
    λs and λh sont respectivement le taux de décroissance d'énergie du signal anéchoïque émis et du milieu 7 (le signal capté est une convolution du signal anéchoïque émis (parole) avec la réponse impulsionnelle du milieu entre le locuteur 3 et le microphone 2, n étant l'indice temporel défini précédemment).
  • Comme la somme est dominée par le terme exponentiel correspondant à la plus grande valeur de λ, le taux de décroissance d'énergie du signal réverbéré λ x peut être approximé par : λ x max λ h λ s
    Figure imgb0008
    ce qui justifie la formule (5) ci-dessus.
  • Le calcul de ρ(m) peut typiquement être fait sur un nombre M de trames d'au moins 2000, correspondant à au moins 1 mn de signal selon les paramètres d'analyse choisis. Les trames peuvent avoir une durée individuelle de 10 à 100 ms, notamment de l'ordre de 32 ms. Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives.
  • On obtient ainsi différentes valeurs du taux de décroissance d'énergie ρ(m), qui présentent une certaine distribution statistique (nombre de réalisations ou probabilité de réalisation en fonction du taux de décroissance d'énergie ρ(m), comme explicité par exemple dans l'article de Wen et al. ci-dessus).
  • On détermine ensuite la fonction caractéristique de la distribution de taux de décroissance d'énergie, par la formule suivante (voir Audrey Feuerverger et Roman A. Mureika [The empirical characteristic function and its applications, Ann. Statist., 5(1):88-97, 01 1977]): ϕ X f = e ifx dF X x = E e ifX
    Figure imgb0009
    où X représente ici le taux de décroissance d'énergie ρ(m) susmentionné estimé pour diverses valeurs de m (formule (5)), Fx la distribution cumulée de X et f est une variable sans dimension généralement appelée fréquence angulaire.
  • La fonction caractéristique peut être calculée pour des fréquences angulaires f allant par exemple de 0 à 0,4, par incrément de 0,001.
  • (c) Etape d'estimation :
  • On part de la fonction caractéristique Φρ(m)(f), calculée pour p/2 fréquences f (p étant un entier naturel pair), la gamme de fréquences f et leur échantillonnage étant prévus pour que |Φρ(m) (f)| soit compris préférentiellement entre 0.1 et 1.
  • Typiquement, p peut être compris par exemple entre 256 et 2048.
  • La fonction caractéristique étant un nombre complexe, elle peut être représentée par un vecteur de X appartenant à Rp, constituant le vecteur d'entrée aléatoire x de l'estimateur utilisé. Le vecteur de sortie aléatoire y de l'estimateur, appartenant à R2, a pour composante les deux paramètres estimés, par exemple (RT60, C50) ou (RT60, D50).
  • L'estimateur utilisé peut être avantageusement un estimateur à fonction noyau, par exemple un estimateur de Nadaraya-Watson. Un tel estimateur présente l'avantage de déterminer simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique.
  • L'estimateur en question peut être déterminé préalablement dans une phase initiale de calibrage, où on met en œuvre au moins une étape initiale de détermination de signaux de référence (a') et au moins une étape initiale d'observation (b').
  • Au cours de l'étape initiale de détermination de signaux de référence, on détermine une pluralité de signaux acoustiques de référence et des temps de réverbération caractéristiques de référence et niveaux de réverbération caractéristiques de référence correspondants.
  • Au cours de l'étape initiale d'observation, on détermine la distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence pour chaque signal acoustique de référence, de façon identique ou similaire à l'étape d'observation (b) susmentionnée.
  • Les signaux acoustiques de référence sont des signaux généralement vocaux au nombre de N et correspondent à N cas de figures différents (locuteurs différents, positions différentes, milieux 7 différents). N peut être de plusieurs centaines, voire plusieurs milliers.
  • L'étape initiale de détermination de signaux de référence peut être effectuée :
    • avec des mesures réelles nouvelles effectuées par exemple avec un dispositif électronique 1 d'un modèle déterminé (dans ce cas, le temps de réverbération caractéristique et le niveau de réverbération caractéristique peuvent être également mesurés) ;
    • et / ou avec des signaux acoustiques synthétiques.
  • Dans le cas des mesures réelles, celles-ci ne seront généralement pas faites dans le milieu 7 particulier ou le dispositif électronique 1 sera utilisé, bien que ce cas de figure puisse être envisagé.
  • Les signaux acoustiques synthétiques susmentionnés peuvent être calculés en convoluant des réponses impulsionnelles préenregistrées avec des signaux anéchoïques de parole également préenregistrés provenant de locuteurs différents. Les réponses impulsionnelles préenregistrées peuvent par exemple provenir de bases de données de réponses impulsionnelles, par exemple provenant de bases de données en accès libre telles que les bases de données Aachen Impulse Response (http://www.openairlib.net/auralizationdb), MARDY (Wen et al., Evaluation of speech dereverberation algorithms using the Mardy database, Sept. IWAENC 2006, Paris), QueenMary (R. Stewart and M. Sandler, Database of omnidirectional and b-format room impulse responses, In Acoustics Speech and Signal Processing (ICASSP). 2010 IEEE International Conférence on., pages 165-168, March 2010), par exemple avec des temps de réverbération RT60 allant de 0.3 s à 8 s et des indices de clarté C50 de -10 dB à 25 dB. Les signaux anéchoïques de parole peuvent être des signaux enregistrés à partir de locuteurs divers, par exemple d'âges et sexes différents, avec par exemple des durées d'enregistrement par exemple de quelques minutes, par exemple de l'ordre de 5 minutes.
  • Les distributions de taux de décroissance d'énergie peuvent par exemple être calculées sur des trames de 10 à 100 ms, notamment de l'ordre de 32 ms. Les trames peuvent se recouvrir mutuellement, par exemple avec un taux de recouvrement de l'ordre de 50 % entre trames successives. Les fonctions caractéristiques peuvent être calculées pour des fréquences angulaires allant par exemple de 0 à 0,4, par incrément de 0,001.
  • On obtient ainsi N réalisations des vecteurs x et y susmentionnés, et l'estimateur de Nadaraya-Watson peut alors être déterminé par la formule : f ^ x = i = 1 N y i K λ x x i i = 1 N K λ x x i .
    Figure imgb0010
    où :
    • xi, yi, i = 1 à N, sont les N réalisations des vecteurs x, y utilisées pour l'étape de calibration,
    • Kλ(x, xi) est une fonction noyau (kernel) de fenêtre λ (λ est une constante également appelée paramètre de lissage),
    • x est le vecteur d'entrée inconnu (mesure effectuée à l'étape de mesure (a) en vue d'estimer le vecteur y par la formule y = (x)).
  • La fonction noyau Kλ(x, xi) est une fonction de x et xi telle que définie notamment par Scholkopf et al. (B. Scholkopf and A. J. Smola, Learning with Kernels, MIT Press, Cambridge, MA, 2001).
  • On peut notamment utiliser un noyau gaussien, par exemple avec une fenêtre de λ = 5.10-4 (exemple non limitatif) : K λ x x i = 1 λ e x x i 2 2 λ .
    Figure imgb0011
  • Les tests effectués montrent que le procédé de l'invention est plus précis que les procédés de l'art antérieur pour la détermination du temps de réverbération, et il permet en outre de déterminer le niveau de réverbération en même temps que le temps de réverbération, ce qui est un gain important.

Claims (9)

  1. Procédé pour estimer la réverbération acoustique dans un milieu (7), comprenant les étapes suivantes :
    (a) une étape de mesure dans laquelle on capte au moins un signal acoustique émis dans le milieu (7),
    (b) une étape d'observation au cours de laquelle on détermine une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique mesuré à l'étape (a) et on détermine la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
    (c) une étape d'estimation au cours de laquelle on estime, par régression un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu (7) à partir de ladite fonction caractéristique déterminée à l'étape (b), la régression étant faite en référence à :
    - des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
    - des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
    - et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
  2. Procédé selon la revendication 1, dans lequel, au cours de l'étape d'estimation (c), on utilise un estimateur à fonction noyau et on détermine simultanément le temps de réverbération caractéristique et le niveau de réverbération caractéristique.
  3. Procédé selon la revendication 2, dans lequel, au cours de l'étape d'estimation (c), on utilise un estimateur de Nadaraya-Watson.
  4. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape d'estimation (c), le niveau de réverbération caractéristique du son dans le milieu (7) est choisi parmi l'indice de clarté Cτ et l'indice de définition Dτ.
  5. Procédé selon l'une quelconque des revendications précédentes, dans lequel au cours de l'étape d'observation (b), on détermine les taux de décroissance d'énergie en calculant l'énergie Em du signal acoustique sur des trames successives m de signal, puis en calculant un rapport logarithmique entre l'énergie de deux trames successives : ρ m = log E m E m 1
    Figure imgb0012
  6. Procédé selon l'une quelconque des revendications précédentes, comportant en outre une phase préliminaire de calibrage comprenant les étapes suivantes :
    (a') au moins une étape initiale de détermination de signaux de référence dans laquelle on détermine une pluralité de signaux acoustiques de référence correspondant auxdits temps de réverbération caractéristiques de référence et auxdits niveaux de réverbération caractéristiques de référence,
    (b') au moins une étape initiale d'observation au cours de laquelle, pour chaque signal acoustique de référence, on détermine une distribution de taux de décroissance d'énergie acoustique et la fonction caractéristique de référence.
  7. Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par calcul au moins une partie des signaux acoustiques de référence et les temps de réverbération caractéristiques et niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence, à partir d'un ensemble prédéterminé de réponses impulsionnelles.
  8. Procédé selon la revendication 6, dans lequel au cours de ladite étape de détermination de signaux de référence, on détermine par mesure au moins une partie des signaux acoustiques de référence, les temps de réverbération caractéristiques et les niveaux de réverbération caractéristiques de référence correspondant auxdits signaux acoustiques de référence.
  9. Dispositif pour estimer la réverbération acoustique dans un milieu (7), comprenant :
    (a) des moyens de mesure (2) pour capter au moins un signal acoustique émis dans le milieu (7),
    (b) des moyens (8) pour déterminer une distribution de taux de décroissance d'énergie acoustique à partir du signal acoustique capté par les moyens de mesure, et pour déterminer la fonction caractéristique de la distribution de taux de décroissance d'énergie acoustique,
    (c) des moyens (8) pour estimer un temps de réverbération caractéristique et un niveau de réverbération caractéristique du son dans le milieu à partir de données représentatives de la distribution de taux de décroissance d'énergie acoustique, la régression étant faite en référence à :
    - des fonctions caractéristiques de référence représentatives respectivement de plusieurs distributions de taux de décroissance d'énergie acoustique,
    - des temps de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence,
    - et des niveaux de réverbération caractéristiques de référence correspondant auxdites fonctions caractéristiques de référence.
EP16819332.4A 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique Active EP3381204B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1561404A FR3044509B1 (fr) 2015-11-26 2015-11-26 Procede et dispositif pour estimer la reverberation acoustique
PCT/FR2016/053034 WO2017089688A1 (fr) 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique

Publications (2)

Publication Number Publication Date
EP3381204A1 EP3381204A1 (fr) 2018-10-03
EP3381204B1 true EP3381204B1 (fr) 2019-11-13

Family

ID=55236682

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16819332.4A Active EP3381204B1 (fr) 2015-11-26 2016-11-21 Procede et dispositif pour estimer la reverberation acoustique

Country Status (4)

Country Link
US (1) US10313809B2 (fr)
EP (1) EP3381204B1 (fr)
FR (1) FR3044509B1 (fr)
WO (1) WO2017089688A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7449856B2 (ja) 2017-10-17 2024-03-14 マジック リープ, インコーポレイテッド 複合現実空間オーディオ
CN109754821B (zh) * 2017-11-07 2023-05-02 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
US11477510B2 (en) 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
WO2021081435A1 (fr) 2019-10-25 2021-04-29 Magic Leap, Inc. Estimation d'empreinte de réverbération

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213415A1 (en) * 2003-04-28 2004-10-28 Ratnam Rama Determining reverberation time
US7813499B2 (en) 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
EP1885154B1 (fr) 2006-08-01 2013-07-03 Nuance Communications, Inc. Déreverbération des signaux d'un microphone
DE102007031677B4 (de) * 2007-07-06 2010-05-20 Sda Software Design Ahnert Gmbh Verfahren und Vorrichtung zum Ermitteln einer raumakustischen Impulsantwort in der Zeitdomäne
EP2058804B1 (fr) 2007-10-31 2016-12-14 Nuance Communications, Inc. Procédé de déréverbération d'un signal acoustique et système associé
US9407992B2 (en) 2012-12-14 2016-08-02 Conexant Systems, Inc. Estimation of reverberation decay related applications
US10869140B2 (en) * 2014-09-26 2020-12-15 Med-El Elektromedizinische Geraete Gmbh Determination of room reverberation for signal enhancement
US9607627B2 (en) * 2015-02-05 2017-03-28 Adobe Systems Incorporated Sound enhancement through deverberation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
WO2017089688A1 (fr) 2017-06-01
FR3044509B1 (fr) 2017-12-15
FR3044509A1 (fr) 2017-06-02
EP3381204A1 (fr) 2018-10-03
US10313809B2 (en) 2019-06-04
US20180359582A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
EP3381204B1 (fr) Procede et dispositif pour estimer la reverberation acoustique
EP3807669B1 (fr) Localisation de sources sonores dans un environnement acoustique donné
EP2788980B1 (fr) Estimation d'une qualité de parole à canal unique basée sur l'harmonicité
EP3111667B1 (fr) Procede et systeme d'egalisation acoustique automatise
US20080181430A1 (en) Multi-sensor sound source localization
EP1707970A1 (fr) Procédé de detection de la position d'un front d'onde dans un signal reçu par un detecteur
EP4046390B1 (fr) Localisation perfectionnee d'une source acoustique
EP3040989B1 (fr) Procédé de séparation amélioré et produit programme d'ordinateur
EP3295212B1 (fr) Procédé et dispositif de sondage par propagation d'ondes
EP3583403B1 (fr) Procédé d'estimation de l'intensité d'une onde émise par une source émettrice
EP1258168B1 (fr) Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs
EP3044580B1 (fr) Procédé de contrôle non-destructif par ultrasons d'une pièce par analyses d'échos
EP4248231A1 (fr) Localisation perfectionnée d'une source acoustique
EP3025342B1 (fr) Procédé de suppression de la réverbération tardive d'un signal sonore
Bilbao et al. Directional reverberation time and the image source method for rectangular parallelepipedal rooms
FR3065079B1 (fr) Procede et dispositif de sondage ultrasonore pour l'obtention de courbes de dispersion d'un milieu sonde
FR3051959A1 (fr) Procede et dispositif pour estimer un signal dereverbere
EP0741471A1 (fr) Procédé et dispositif de mesure sans intrusion de la qualité de transmission d'une ligne téléphonique
EP2452293A1 (fr) Localisation de sources
EP0015363A1 (fr) Détecteur de parole à niveau de seuil variable
FR3137453A1 (fr) Procédé d’identification automatique d’une source acoustique a partir d’un signal acoustique produit
FR2875633A1 (fr) Procede et dispositif d'evaluation de l'efficacite d'une fonction de reduction de bruit destinee a etre appliquee a des signaux audio
Jiang et al. Investigating the feasibility of using direct-to-reverberant energy ratio to estimate birdcall distances
FR2736490A1 (fr) Dispositif de test pour la prise de son d'un radiotelephone, notamment destine a etre installe dans un vehicule automobile
FR3143171A1 (fr) Restitution audio optimisée en temps réel

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180515

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602016024438

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04R0029000000

Ipc: G10L0025210000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: H04R 29/00 20060101ALI20190514BHEP

Ipc: G10L 25/21 20130101AFI20190514BHEP

Ipc: H04S 7/00 20060101ALI20190514BHEP

INTG Intention to grant announced

Effective date: 20190618

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1202500

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191115

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: VALIPAT S.A. C/O BOVARD SA NEUCHATEL, CH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20191113

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200213

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200213

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200214

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200313

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200313

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1202500

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20200814

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20161121

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191113

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MC

Payment date: 20221020

Year of fee payment: 7

Ref country code: LU

Payment date: 20221021

Year of fee payment: 7

Ref country code: IE

Payment date: 20221014

Year of fee payment: 7

Ref country code: GB

Payment date: 20221121

Year of fee payment: 7

Ref country code: DE

Payment date: 20221114

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20221129

Year of fee payment: 7

Ref country code: BE

Payment date: 20221125

Year of fee payment: 7

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602016024438

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20231121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231121

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20231130

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240603

Year of fee payment: 8

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20231130

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A