EP1258168B1 - Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs - Google Patents

Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs Download PDF

Info

Publication number
EP1258168B1
EP1258168B1 EP01907816A EP01907816A EP1258168B1 EP 1258168 B1 EP1258168 B1 EP 1258168B1 EP 01907816 A EP01907816 A EP 01907816A EP 01907816 A EP01907816 A EP 01907816A EP 1258168 B1 EP1258168 B1 EP 1258168B1
Authority
EP
European Patent Office
Prior art keywords
sound
loudspeaker
information
microphone
microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP01907816A
Other languages
German (de)
English (en)
Other versions
EP1258168A1 (fr
Inventor
Jean-Philippe Thomas
Marc Emerit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1258168A1 publication Critical patent/EP1258168A1/fr
Application granted granted Critical
Publication of EP1258168B1 publication Critical patent/EP1258168B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems

Description

  • L'invention concerne un procédé de comparaison automatique entre des informations caractérisant des valeurs de référence et des informations caractérisant des valeurs courantes de chaînes sonores d'un système de microphones et de haut-parleurs pour le contrôle de la chaîne sonore.
  • Le domaine de l'invention est celui du contrôle automatique des gains, du fonctionnement et de la position de plusieurs microphones et de plusieurs haut-parleurs dans le contexte d'un système de visioconférence entre des participants localisés sur des sites distincts généralement distants. L'invention s'applique également au contrôle de microphones et de haut-parleurs installés dans une même salle telle qu'une scène de théâtre, de concert, de cinéma, .... Elle permet de contrôler le rendu sonore spatialisé de la scène qui assure une concordance entre les images visuelles et sonores. Dans le contexte de la visioconférence, l'invention permet de se rapprocher d'une situation de communication naturelle : lorsqu'un participant change de place dans une salle distante en cours de réunion, le son le suit dans la salle ou les salles où il est écouté en passant par exemple d'un haut-parleur à l'autre en fonction de son déplacement. On désignera indifféremment les microphones et les haut-parleurs par transducteurs.
  • Le document EP 0335468 décrit un procédé et un système électro-acoustique de traitement de signaux sonores selon le principe de l'holographie acoustique ou de l'extrapolation du champ de l'onde sonore.
  • Le document DE 19612981 décrit un dispositif de contrôle acoustique de haut-parleurs.
  • Le problème consiste à détecter les changements intervenus au niveau des transducteurs entre leur installation et les moments auxquels on effectue le contrôle.
  • La présente invention a donc pour objet un procédé de de détection selon la revendication 1. L'invention a également pour objet un dispositif de détection selon la revendication indépendante amorcé.
  • L'invention a aussi pour objet un système de contrôle de chaînes sonores comprenant plusieurs dispositifs tels que mentionnés ci-dessus, caractérisé en ce que les dispositifs sont répartis dans plusieurs salles et en ce qu'il comprend un réseau de télécommunication à haut débit reliant lesdites salles et des moyens pour centraliser la gestion des dispositifs.
  • D'autres particularités et avantages de l'invention apparaîtront clairement à la lecture de la description faite à titre d'exemple non limitatif et en regard des dessins annexés sur lesquels :
    • la figure 1a) représente une vue schématique d'une salle de visioconférence selon l'invention,
    • la figure 1b) est une représentation schématique des trajets directs entre haut-parleurs et microphones,
    • les figures 2a) et 2b) sont des représentations de chaînes sonores respectivement dans le cas d'un traitement local et dans le cas où le traitement est effectué dans le réseau,
    • les figures 3a) et 3b) représentent respectivement des exemples de courbes de bruit blanc, de bruit USASI d'une part et de bruit rose et de séquence binaire pseudo aléatoire d'autre part,
    • la figure 4 représente la réponse impulsionnelle d'un microphone suite à l'envoi par un haut-parleur d'une séquence binaire pseudc aléatoire,
    • la figure 5 représente une vue schématique de la configuration de la carte de traitement numérique du signal,
    • la figure 6 est une représentation schématique d'un système de microphones et de haut-parleurs répartis dans plusieurs salles reliées entre elles par un pont multipoint.
  • Une visioconférence s'établit entre des participants répartis dans plusieurs salles, un réseau de télécommunications à haut-débit tel qu'un réseau ATM étant utilisé pour le transport des informations visuelles et sonores. Une salle de visioconférence représentée figure la, est dotée d'un écran de visualisation E, de plusieurs microphones mi et de plusieurs haut-parleurs hpj permettant un rendu spatialisé de la scène audiovisuelle de la (ou des) salle(s) distante(s). Les haut-parleurs peuvent se situer indifféremment tous en dessous de l'écran, tous au-dessus ou répartis comme indiqué sur la figure la, voire même selon une toute autre disposition. A titre indicatif, la salle de visioconférence utilisée pour l'invention est équipée de six microphones et de six haut-parleurs, la distance entre microphones et haut-parleurs étant typiquement comprise entre trois et cinq mètres.
  • Les chaînes sonores entre les microphones mi et les haut-parleurs hpj d'un système à traitement local représenté figure 2a), comprennent les microphones m1, les préamplificateurs microphoniques ami, les convertisseurs analogiques numériques CANi, la carte de traitement numérique, les convertisseurs numériques analogiques CNAj, les amplificateurs des haut-parleurs ahpj, les haut-parleurs hpj et la salle.
  • Selon un autre mode de réalisation, les chaînes sonores entre les microphones mi et les haut-parleurs hpj d'un système à traitement à distance représenté figure 2b), comprennent les microphones mi, les préamplificateurs microphoniques ami, les convertisseurs analogiques numériques CANi, les codeurs Ci, le réseau de transport R, le décodeur D, la carte de traitement numérique, le codeur C, le réseau de transport R, les décodeurs D-, les convertisseurs numériques analogiques CNAj, les amplificateurs des haut-parleurs ahpj, les haut-parleurs hpj et la salle.
  • Un système d'aiguillage A obtenu par un multiplexeur /démultiplexeur dénommé également matrice de commutation que l'on trouve dans le commerce, peut éventuellement être inséré dans les chaînes soncres entre d'une part les convertisseurs analogiques-numériques CANi et les codeurs Ci et d'autre part les décodeurs Dj et les convertisseurs numériques-analogiques CNAj. Un tel système A, pilotable à distance permet à ce niveau de la chaîne sonore, d'aiguiller d'un transducteur à l'autre les informations caractérisant un transducteur.
  • Chaque élément de ces chaînes doit être réglé pour assurer une bonne transmission sonore. Lors de l'installation de ces éléments, aussi appelée alignement, les gains, les câblages et les positions des transducteurs de chaque salle sont réglés, et ces paramètres sont mémorisés dans un fichier d'une carte de traitement numérique du signal.
  • Pour simplifier le propos, on désignera par transducteur (respectivement haut-parleur ou microphone), le transducteur (respectivement haut-parleur ou microphone) et les éléments de la chaîne sonore compris entre la carte de traitement numérique et le transducteur (respectivement haut-parleur ou microphone).
  • Par la suite, lors de l'utilisation de la salle de visioconférence une semaine, un mois plus tard par exemple, on pourra contrôler les modifications éventuellement intervenues sur ces paramètres pour apporter les corrections nécessaires. Les transducteurs ont peut-être été déplacés, sont dans certains cas devenus défectueux ; la configuration de la salle a éventuellement été changée ; les amplificateurs peuvent aussi avoir subi une grande dispersion au cours du temps éventuellement provoquée par l'échauffement ces composants électroniques. On peut parfois préférer intervenir sur les transducteurs pour compenser une défaillance d'un autre élément de la chaîne sonore.
  • On entend par signal sonore un signal pouvant être émis par les haut-parleurs et détectés par les microphones. Comme indiqué figures 2a) et 2b), un signal sonore S est envoyé sur tous les p haut-parleurs hpj, l'un après l'autre à tl, ...,tj, ..., tp, chacun à leur tour et récupéré sur les n microphones mi. On note hpjmi l'information caractérisant la chaîne sonore comprenant le haut-parleur hpj et le microphone mi.
  • L'ensemble de ces hpjmi constitue une matrice de dimension n*p, une ligne de la matrice correspondant à un haut-parleur et une colonne à un microphone.
  • La première fois que cette matrice est constituée après l'alignement, ou à un autre moment préféré, elle est sauvegardée en mémoire : on la dénomme matrice de référence Qr, les éléments hpjmi de cette matrice étant des valeurs de référence. Lorsque par la suite, on souhaite réaliser un contrôle des paramètres de ces transducteurs, on réitère ces étapes avec un signal S' pour obtenir des valeurs courantes hpjmi et constituer une matrice Q que l'on compare à la matrice Qr.
  • Dans certains cas, il est plus simple de choisir un signal S' identique au signal S en particulier lorsque l'on souhaite comparer des gains correspondant au rapport entre l'énergie du signal émis et l'énergie du signal reçu. Dans d'autres cas, S est différent de S' et les éléments des matrices Qr et Q à comparer sont de nature différente. En sauvegardant S et S' et en appliquant un traitement adéquat aux éléments de Q, on peut en déduire des éléments comparables à ceux de Qr. Connaissant S, on peut choisir un signal S' permettant par exemple de mesurer la réponse impulsionnelle ou la fonction de transfert hpjmi entre le point d'émission hpj et le point de réception mi ; compte tenu de S et des caractéristiques de hpjmi, on peut déduire des éléments hpjmi de Q, des éléments comparables à ceux de Qr en appliquant un traitement adéquat (transformée de Fourier, ...).
  • On peut également établir plusieurs matrices Qr en considérant plusieurs types de signaux S puis établir plusieurs matrices Q correspondantes. Si le signal S est par exemple un bruit blanc filtré dans différentes octaves, on pourra établir une matrice Qr pour chaque octave.
  • En général les éléments hpjmi sont établis à partir de signaux S et S' considérés dans le domaine temporel, mais on peut se situer dans le domaine des fréquences et établir les matrices Q et/ou Qr à partir des réponses spectrales hpjmi des microphones mi à une bande de fréquences envoyée par les haut-parleurs hpj : quelle que soit la largeur de la bande de fréquences des signaux S et S' envoyés par les haut-parleurs hpj, seule une bande de fréquence déterminée sera reçue par les microphones mi. Il pourra s'agir d'une bande de fréquence d'une largeur d'environ 200 Hz, d'une bande d'octave ou de tiers d'octave. On fera ensuite glisser cette bande de fréquence pour balayer un spectre de 0 Hz à 1000 Hz par exemple.
  • Lors de l'alignement, on vérifie la planitude du spectre de chaque transducteur, c'est-à-dire qu'on vérifie que toutes les fréquences passent sur chaque transducteur. Si l'un d'eux présente des irrégularités, on apporte les corrections nécessaires. Les microphones présentent parfois des irrégularités liées à l'effet de table (aux réflexions par la table), l'onde réfléchie par la table pouvant se trouver en opposition de phase avec l'onde directe, provoquant alors des plages noires dans la réponse spectrale : on augmentera alors le gain du microphone dans la bande de fréquences correspondante. Lors des contrôles ultérieurs, on vérifiera les réponses spectrales des transducteurs par bande de fréquences. La comparaison entre les matrices Q et Qr permet notamment d'obtenir une information sur le déplacement éventuel des transducteurs, ceux-ci étant directifs et leur directivité dépendant de la fréquence. On peut également, en fonction des résultats des comparaisons, apporter une correction spectrale aux transducteurs afin de réduire le couplage entre haut-parleurs et microphones et de moins déformer les signaux sonores émis par les participants. L'exploitation des résultats est parfois plus complexe que lorsque l'on se situe dans le domaine temporel.
  • Les signaux sonores S et S' sont généralement enregistrés dans la mémoire interne de la carte de traitement numérique du signal. Ils peuvent éventuellement être calculés(générés) dans cette carte.
  • Ces signaux sonores peuvent être par exemple un bruit blanc, un bruit rose, un bruit USASI, une séquence binaire pseudo aléatoire respectivement représentés figure 3a) et 3b) ou un balayage fréquentiel de sinusoïde, un bruit filtré par octave ou tiers d'octave, ou encore un autre signal sonore. A la différence d'un bruit aléatoire, une séquence binaire pseudo aléatoire est purement déterministe ; c'est une séquence de 1 et de -1 de longueur N. Ces séquences ont pour caractéristique que leur fonction de corrélation vaut N en 0 et -1 ailleurs. Cette dernière est donc très proche d'une distribution de Dirac.
  • Le procédé selon l'invention a été réalisé avec un bruit rose envoyé successivement sur chacun des haut-parleurs pendant une seconde. Entre deux envois sur deux haut-parleurs consécutifs, on attend un certain temps (période de silence) pour que le signal sonore suivant démarre dans un état a priori stable de la chaîne sonore. L'invention a été réalisée avec une période de silence de deux secondes. Les éléments hpjmi sont déterminés pour chaque hpj au même instant t du signal sonore. Si par exemple, hp1m1, hp1m2, ..., hp1mn sont déterminés à t= début du signal sonore + 0.9 seconde, hp2m1, ..., hp2mn le seront à t + 3 secondes, hp3m1, ..., hp3mn à t+ 6 secondes, etc.
  • En sommant et moyennant chaque ligne et chaque colonne des matrices Qr et Q, éventuellement après traitement des éléments d'une matrice pour obtenir des éléments directement comparables à ceux de l'autre matrice, on obtient respectivement une valeur moyenne HPjQr, HPjQ pour chaque haut-parleur hpj et MiQr, MiQ pour chaque microphone mi. En calculant HPjQ/HPjQr, on obtient l'écart du haut-parleur considéré par rapport à sa valeur de référence. De même en calculant MiQ/MiQr, on obtient l'écart du microphone considéré par rapport à sa valeur de référence. Si pour les haut-parleurs ainsi que pour les microphones, cet écart est compris dans une fourchette prédéterminée notée FHP pour les haut-parleurs et FM pour les microphones, on n'applique pas de correction, l'écart étant tolérable. Un seuil de 3 dB est par exemple couramment admis pour une salle de visioconférence. Pour des écarts en dehors de la fourchette prédéterminée, on applique comme correction au transducteur, au niveau de la carte de traitement numérique du signal, un écart correspondant. La correction pourra éventuellement s'appliquer au gain du transducteur lui-même. Dans certains cas, la correction consistera à repositionner le transducteur ; dans d'autres cas la correction ne pourra pas être appliquée en raison d'une panne du transducteur et le transducteur défectueux sera alors changé.
  • Les caractéristiques des séquences binaires pseudo aléatoires en font un signal privilégié pour mesurer avec une bonne précision la réponse impulsionnelle d'un système selon l'invention. L'utilisation d'une séquence binaire pseudo aléatoire comme signal sonore envoyé sur les haut-parleurs hpj permet donc de mesurer les réponses impulsionnelles en fonction du temps Rji de tous les microphones mi. Selon l'instant auquel on considère la réponse impulsionnelle, chaque réponse impulsionnelle Rji fournit des informations concernant le retard c'est-à-dire le temps de propagation entre un haut-parleur hpj et un microphone mi, l'onde directe correspondant aux trajets directs entre haut-parleur hpj et microphone mi, ou encore l'effet de salle correspondant aux trajets avec une ou plusieurs réflexions.
  • Sur la figure 4 sont notés t0j l'instant auquel le signal sonore est envoyé d'un haut-parleur hpj, t1ji l'instant auquel le microphone mi reçoit l'onde directe et t2ji l'instant auquel débute l'effet de salle pour le microphone mi.
  • On peut mesurer les retards pour vérifier la position respective des transducteurs eux-mêmes. On calcule la matrice Qr en mesurant une première fois les retards (hpjmi)Qr. Par triangulation on déduit de ces retards la position des transducteurs : si connaissant par exemple la position de hp1 et hpj, on considère les retards (hp1m1) Qr et (hpjm1)Qr, on en déduit la position du microphone m1 au moment de l'établissement de la matrice de référence. Ainsi de suite pour les autres microphones. On peut appliquer le même raisonnement pour déterminer la position des haut-parleurs à partir de celles des microphones. Lorsque l'on calcule ultérieurement les retards (hpjmi)Q de la matrice Q, on identifiera par comparaison avec les retards de la matrice Qr, le transducteur ayant changé de position. Dans certains cas, on appliquera une correction au transducteur, au niveau de la carte de traitement numérique du signal, pour compenser le changement de position, dans d'autres cas, la correction consistera à repositionner le transducteur lui-même.
  • On peut aussi évaluer l'onde directe résultant du trajet direct entre le haut-parleur hpj et le microphone mi. Chaque élément hpjmi des matrices Q et Qr représente alors le premier pic de la réponse impulsionnelle.
  • Lorsqu'il s'agira d'évaluer l'effet de salle dû aux trajets indirects entre le haut-parleur hpj et le microphone mi, c'est-à-dire les trajets des signaux ayant subi diverses réflexions sur les murs de la salle, sur les meubles ou tout autre obstacle, chaque élément hpjm1 des matrices Q et Qr représentera la partie de la réponse impulsionnelle succédant au premier pic et débutant à t2ji.
  • Une application de l'invention consiste à évaluer le rapport signal sur bruit des microphones m1 en comparant les valeurs moyennes des microphones calculées à partir de la matrice Qr établie en considérant un signal sonore S avec celles des microphones calculées à partir de la matrice Q établie en considérant un signal S' de silence.
  • Le signal S peut être en particulier un bruit blanc, rose, USASI ou une séquence binaire pseudo aléatoire. Si le signal S est entrecoupé de silences, dans la pratique, on mesurera le rapport signal sur bruit pendant une phase de silence.
  • On peut également traiter à distance les informations caractérisant les signaux provenant d'une salle locale, un réseau de télécommunication ou informatique reliant les salles entre elles. Le traitement des informations inclut notamment les mesures, les calculs, les sauvegardes et les corrections à apporter. Le traitement à distance peut être effectué par un ordinateur pilotant à distance via le réseau, un autre ordinateur situé dans une salle locale.
  • On peut également traiter dans la salle locale, le cas de la (ou des) salle(s) distante(s) en envoyant via le réseau de télécommunication les signaux S et S' et récupérer dans la salle locale via le réseau des informations caractérisant le résultat de ces signaux dans la (ou les) salle(s) distante(s). On utilise le même procédé que décrit précédemment et on affecte, au niveau de la carte de traitement numérique du signal, des coefficients aux informations caractérisant les signaux transmis et récupérés pour avoir un système équilibré.
  • Un phénomène d'écho survient parfois : lorsqu'un participant parle dans une salle A, le signal sonore correspondant est transmis aux participants situés dans une salle B par les haut-parleurs de cette salle B, les microphones de cette salle B reprenant le signal issu de ces haut-parleurs pour les retransmettre vers la salle A. Le locuteur de la salle A se réentend avec de l'écho. On peut évaluer cet écho en mesurant le niveau du signal de retour par rapport au niveau du signal envoyé. On règle alors les paramètres de contrôle des algorithmes de variation de gain des transducteurs ou d'annulation d'écho.
  • On peut également traiter globalement les informations hpjmi dans le réseau de télécommunication, par exemple au niveau d'un pont multi-point PMP reliant plusieurs salles Sa distantes entre elles, représentés figure 6. Les signaux S et S' sont envoyés de ce pont vers chaque salle Sa via le réseau et récupérés en ce pont via le réseau. On ne dispose pas toujours d'informations précises sur les équipements de chaque salle. Les éléments hpjmi ne sont donc plus directement liés aux transducteurs mais aux chaînes sonores comprenant les canaux de transmission k existant entre le pont PMP et chaque salle Sa, ces chaînes sonores résultant cependant pour chaque salle des chaînes sonores internes à ces salles et comprenant les haut-parleurs hpj et les microphones mi. Chaque salle Sa peut être reliée au pont PMP par un ou plusieurs canaux de transmission k. On pourra par exemple utiliser pour une salle deux canaux pour obtenir un rendu stéréophonique ou quatre pour un rendu quadriphonique. Si les canaux de transmission k sont numérotés de 1 à K, on désignera par exemple par rk la chaîne sonore comprenant un canal de transmission k transmettant de la salle à laquelle il est relié vers le pont PMP et par ek' la chaîne sonore comprenant un canal de transmission k' transmettant du pont PMP vers la salle à laquelle il est relié, k pouvant être égal à k'. Les éléments hpjmi seront alors remplacés par rkek'.
  • Le dispositif selon l'invention comprend une carte de traitement numérique du signal CTN présentée figure 5. Cette carte comprend des moyens de mesure Mes des informations hpjmi, des moyens de traitement T et des moyens de sauvegarde de fichiers SF tels qu'une mémoire interne dans laquelle est enregistré un signal sonore voire plusieurs. Ce signal sonore peut également être calculé par les moyens de traitement T. Les éléments matriciels hpjmi de la (ou des) matrice(s) Qr et éventuellement d'une ou de plusieurs matrices Q sont aussi sauvegardés dans la mémoire interne, ainsi que les paramètres des divers éléments de chacune des chaînes sonores obtenus lors du réglage de la (ou des) salle(s). Les moyens de traitement permettent de comparer des éléments hpjmi ou des combinaisons de creux-ci d'une même matrice Q ou de plusieurs matrices. Ils permettent également de calculer les corrections à apporter à un ou plusieurs éléments de la chaîne sonore et de les appliquer. Ils pourront par exemple corriger le gain d'un haut-parleur hpj et/ou d'un microphone mi. Ils permettent aussi de générer un signal sonore. Ces moyens de traitement T seront réalisés de manière classique par un microprocesseur P et une mémoire programme M associée comportant un programme apte à effectuer les mesures, les comparaisons, les calculs et les corrections à apporter.

Claims (28)

  1. Procédé de détection de changements intervenus au cours du temps dans les chaines sonores d'un système de n microphones mi et de p haut- arleurs hpj entre un état de référence et un état courant du système par comparaison entre des informations caractérisant des valeurs de référence et des informations caractérisant des valeurs courantes de chaînes sonores du système,
    caractérisé en ce que .
    - A : - lorsque le système est dans son état de référence, on envoie successivement sur chaque haut-parleur hpj au moins un signal sonore S, et
    - on détermine pour chaque haut-parleur hpj et pour chaque microphone mi, une information de référence notée hpjmi caractérisant la chaîne sonore comprenant le haut-parleur hpj et le microphone mi, à partir des signaux récupérés par les n microphones mi suite à l'envoi du signal S sur chaque haut-parleur hpj ;
    - B : on sauvegarde une matrice de référence Qr constituée par l'ensemble des informations de référence hpjmi obtenues suite à l'envoi du signal sonore S,
    - C : lorsque le système est dans son état courant, on envoie successivement sur chaque haut-parleur hpj au moins un signal sonore S', et
    - on détermine pour chaque haut-parleur hpj et pour chaque microphone mi, une information courante notée hpjmi caractérisant la chaîne sonore comprenant le haut-parleur hpj et le microphone mi, à partir des signaux récupérés par les n microphones mi suite à l'envoi du signal S' sur chaque haut-parleur hpj :
    - C' : on obtient une matrice Q constituée par l'ensemble des informations courantes hpjmi obtenues suite à l'envoi du signal sonore S',
    - D : on détecte des changements intervenus au cours du temps dans les chaines sonores du système en comparant les matrices Q et Qr, et
    - E : on détermine des corrections à appliquer aux chaines sonores du système en fonction des changements détectés et on applique les corrections déterminées si les changements détectés représentent un écart en dehors d'une fourchette prédéterminée.
  2. Procédé selon la revendication 1, caractérisé en ce que lorsque les informations hpjmi de Q ne sont pas directement comparables aux informations de Qr, on applique aux hpjmi de Q ou de Qr au choix, avant l'étape D, un traitement apte à les convertir en des informations directement comparables aux informations de l'autre matrice.
  3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que les informations hpjmi de Qr et/ou de Q sont les réponses spectrales de chaque sous-système incluant un haut-parleur hpj et un microphone mi.
  4. Procédé selon la revendication 3, caractérisé en ce que les signaux envoyés par haut-parleurs hpj sont émis dans une bande de fréquences d'une largeur déterminée, et en ce qu'on fait glisser ladite bande de fréquences pour balayer le spectre de fréquences souhaité.
  5. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que les informations hpjmi de Qr et/ou de Q sont les réponses impulsionnelles de chaque sous-système incluant un haut-parleur hpj et un microphone mi.
  6. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que les informations hpjmi de Qr et/ou de Q sont les fonctions de transfert de chaque sous-système incluant un haut-parleur hpj et un microphone mi.
  7. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que les informations hpjmi de Qr et/ou de Q sont les gains entre les microphones mi et les haut-parleurs hpj suite aux signaux envoyés par les haut-parleurs hpj.
  8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce qu'à partir des matrices Q et Qr,
    - on calcule respectivement les valeurs moyennes des haut-parleurs hpj, notées HPjQ et HPjQr en calculant : 1 / n * i hp j m i ,
    Figure imgb0001
    - et lorsque la valeur HPjQ/HPjQr est en dehors d'une fourchette pour haut-parleur FHP prédéterminée, on corrige la chaîne sonore comprenant un haut-parleur hpj d'un écart correspondant à HPjQr/HPjQ.
  9. Procédé selon la revendication 8, caractérisé en ce que dans la chaîne sonore comprenant le haut-parleur hpj, on corrige le gain du haut-parleur hpj.
  10. Procédé selon l'une des revendications 1 à 7, caractérisé en ce qu'à partir des matrices Q et Qr,
    - on calcule respectivement les valeurs moyennes des microphones mi, notées MiQ et MiQr en calculant : 1 / p * j hp j m i ,
    Figure imgb0002
    - et lorsque la valeur MiQ/MiQr est en dehors d'une fourchette pour microphone FM prédéterminée, on corrige la chaîne sonore comprenant le microphone mi d'un écart correspondant à MiQr/MiQ.
  11. Procédé selon la revendication 10, caractérisé en ce que dans la chaîne sonore comprenant le microphone mi, on corrige le gain du microphone mi.
  12. Procédé selon l'une des revendications 1 à 11, caractérisé en ce que les informations hpjmi des matrices Q et Qr à comparer représentent des retards entre l'émission du signal sonore par chaque haut-parleur hpj et la réception dudit signal sonore par les microphones mi.
  13. Procédé selon l'une des revendications 8 à 11, les informations hpjmi de Qr et de Q étant les réponses impulsionnelles de chaque sous-système incluant un haut-parleur hpj et un microphone mi, caractérisé en ce que les informations hpjmi représentent les signaux reçus par le microphone mi et ayant parcouru le trajet direct entre le haut-parleur hpj et le microphone mi.
  14. Procédé selon l'une des revendications 8 à 11, les informations hpjmi de Qr et de Q étant les réponses impulsionnelles de chaque sous-système incluant un haut-parleur hpj et un microphone mi, caractérisé en ce que les informations hpjmi représentent les signaux reçus par le microphone mi et ayant parcouru entre le haut-parleur hpj et le microphone mi, les trajets avec une ou plusieurs réflexions.
  15. Procédé selon l'une des revendications 1 à 14, caractérisé en ce que le signal S' est un signal de silence et en ce qu'à partir des matrices Q et Qr, on calcule respectivement les valeurs moyennes des microphones mi, notées MiQ et MiQ, en calculant : 1/p * ∑j hpjmi, pour ainsi obtenir le rapport signal/bruit MiQr/MiQ des microphones mi.
  16. Procédé selon l'une des revendications précédentes, caractérisé en ce que les informations hpjmi sont traitées à distance via un réseau de télécommunication ou informatique.
  17. Procédé selon l'une des revendications 1 à 15, caractérisé en ce que les signaux S et S' proviennent d'une salle distante reliée à une salle locale via un réseau de télécommunication et en ce que les informations hpjmi sont traitées dans la salle locale.
  18. Procédé selon l'une des revendications 1 à 11, caractérisé en ce que les informations hpjmi de Qr et Q à comparer représentent l'écho et en ce que les signaux S et S' proviennent d'une salle distante reliée à une salle locale via un réseau de télécommunication.
  19. Procédé de comparaison d'informations caractérisant des chaînes sonores, en un point d'un réseau de télécommunication reliant des salles distantes équipées d'un système de n microphones mi et de p haut-parleurs hpj, chaque salle étant reliée au point du réseau par un ou plusieurs canaux de transmission k, caractérisé en ce que les chaînes sonores rkek' comprenant un canal de transmission k et un canal de transmission k', résultent d'une ou plusieurs chaînes sonores hpjmi internes à chaque salle traitées selon l'une des revendications 1 à 18, et en ce que les éléments des matrices Q et Qr représentent des informations caractérisant les chaînes sonores rkek'.
  20. Procédé selon l'une des revendications précédentes, caractérisé en ce que les signaux S et/ou S' sont constitués par un bruit blanc ou un bruit rose ou un bruit USASI ou une séquence binaire pseudo aléatoire.
  21. Procédé selon l'une des revendications 1 à 20, caractérisé en ce qu'il consiste à utiliser le même signal S pour obtenir les matrices Qr et Q.
  22. Dispositif de détection de changements intervenus au cours du temps dans les chaines sonores d'un système de n microphones mi et de p haut-parleurs hpj entre un état de référence et un état courant du système par comparaison entre des informations caractérisant des valeurs de référence et des informations caractérisant des valeurs courantes de chaînes sonores du système,
    caractérisé en ce qu'il comprend :
    - des moyens de traitement numérique pour envoyer, lorsque le système est dans son état de référence, successivement sur chaque haut-parleur hpj, au moins un signal sonore S,
    - des moyens de mesure pour déterminer, pour chaque haut-parleur hpj et pour chaque microphone mi, une information de référence hpjmi caractérisant la chaîne sonore comprenant le haut-parleur hpj et le microphone mi, à partir des signaux récupérés par les n microphones mi suite à l'envoi du signal S sur chaque haut-parleur hpj,
    - des moyens de sauvegarde de la matrice Qr constituée par l'ensemble des informations de référence hpjmi,
    lesdits moyens de traitement numérique étant adaptés à envoyer, lorsque le système est dans son état courant successivement sur chaque haut-parleur hpj au moins un signal sonore S',
    les moyens de mesure étant adaptés pour déterminer, pour chaque haut-parleur hpj et pour chaque microphone mi, une information courante hpjmi caractérisant la chaîne sonore comprenant le haut-parleur hpi et le microphone mi, à partir des signaux récupérés par les n microphones mi suite à l'envoi du signal S' sur chaque haut-parleur hpj,
    le dispositif de détection comprenant en outre :
    - des moyens d'obtention d'une matrice Q constituée par l'ensemble des informations courantes hpjmi, des moyens de détection des changements intervenus dans les chaines sonores du système par comparaison de la matrice Qr et de la matrice Q, et
    - des moyens adaptés pour déterminer des corrections à appliquer aux chaines sonores du système en fonction des changements détectés et pour appliquer les corrections déterminées si les changements détectés représentent un écart en dehors d'une fourchette prédéterminée.
  23. Dispositif selon la revendication 22, caractérisé en ce que les signaux sonores (S) peuvent être un bruit blanc ou un bruit rose ou un bruit USASI ou une séquence binaire pseudo aléatoire.
  24. Dispositif selon la revendication 22 ou 23, caractérisé en ce que les moyens de traitement comprennent des moyens pour corriger la chaîne sonore comprenant un haut-parleur hpj et un microphone mi.
  25. Dispositif selon la revendication 24, caractérisé en ce que dans la chaîne sonore comprenant le haut-parleur hpj, on corrige le gain du haut-parleur hpj.
  26. Dispositif selon la revendication 24, caractérisé en ce que dans la chaîne sonore comprenant le microphone mi, on corrige le gain du microphone mi.
  27. Système de contrôle de chaînes sonores comprenant plusieurs dispositifs selon l'une des revendications 22 à 26, caractérisé en ce que les dispositifs sont répartis dans plusieurs salles et en ce qu'il comprend un réseau de télécommunication à haut débit reliant lesdites salles et des moyens pour centraliser la gestion des dispositifs.
  28. Système selon la revendication 27, caractérisé en ce que les moyens pour centraliser la gestion des dispositifs sont situés en un point du réseau de télécommunication reliant les salles distantes, chaque salle étant reliée au point du réseau par un ou plusieurs canaux de transmission k, en ce que les chaînes sonores rkek' comprenant un canal de transmission k et un canal de transmission k' résultent d'une ou plusieurs chaînes sonores hpjmi internes à chaque salle et en ce qu'il comprend des moyens pour corriger les chaînes sonores rkek'.
EP01907816A 2000-02-17 2001-02-15 Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs Expired - Lifetime EP1258168B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0001976A FR2805433A1 (fr) 2000-02-17 2000-02-17 Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs
FR0001976 2000-02-17
PCT/FR2001/000457 WO2001062044A1 (fr) 2000-02-17 2001-02-15 Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs

Publications (2)

Publication Number Publication Date
EP1258168A1 EP1258168A1 (fr) 2002-11-20
EP1258168B1 true EP1258168B1 (fr) 2011-04-13

Family

ID=8847099

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01907816A Expired - Lifetime EP1258168B1 (fr) 2000-02-17 2001-02-15 Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs

Country Status (8)

Country Link
US (2) US20030108208A1 (fr)
EP (1) EP1258168B1 (fr)
JP (1) JP4691304B2 (fr)
AT (1) ATE505911T1 (fr)
AU (1) AU2001235692A1 (fr)
DE (1) DE60144420D1 (fr)
FR (1) FR2805433A1 (fr)
WO (1) WO2001062044A1 (fr)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336793B2 (en) * 2003-05-08 2008-02-26 Harman International Industries, Incorporated Loudspeaker system for virtual sound synthesis
ATE488002T1 (de) * 2005-09-07 2010-11-15 Biloop Tecnologic S L Mikrocontroller-implementiertes verfahren zur erkennung eines tonsignals
US8208645B2 (en) * 2006-09-15 2012-06-26 Hewlett-Packard Development Company, L.P. System and method for harmonizing calibration of audio between networked conference rooms
US8620976B2 (en) 2009-11-12 2013-12-31 Paul Reed Smith Guitars Limited Partnership Precision measurement of waveforms
WO2011060145A1 (fr) * 2009-11-12 2011-05-19 Paul Reed Smith Guitars Limited Partnership Mesure de précision de formes d'onde à l'aide d'une déconvolution et d'un fenêtrage
WO2011060130A1 (fr) * 2009-11-12 2011-05-19 Paul Reed Smith Guitars Limited Partnership Identification et séparation de domaines pour mesure précise de formes d'ondes
US10295434B2 (en) * 2011-05-27 2019-05-21 Marcos Underwood Direct field acoustic testing system, controls, and method
CN104854449B (zh) * 2011-10-27 2017-09-08 Msi蒂法特公司 用于直接场声学测试的驱动信号分配
US8873821B2 (en) 2012-03-20 2014-10-28 Paul Reed Smith Guitars Limited Partnership Scoring and adjusting pixels based on neighborhood relationships for revealing data in images
US9596553B2 (en) * 2013-07-18 2017-03-14 Harman International Industries, Inc. Apparatus and method for performing an audio measurement sweep
WO2015073985A2 (fr) 2013-11-15 2015-05-21 Msi Dfat Llc Réduction des ondes stationnaires lors d'essais acoustiques en champ direct
JP6518530B2 (ja) * 2015-06-26 2019-05-22 京セラ株式会社 電子機器
US10306129B1 (en) * 2016-06-28 2019-05-28 Amazon Technologies, Inc. Local and remote video-camera control
US9837064B1 (en) 2016-07-08 2017-12-05 Cisco Technology, Inc. Generating spectrally shaped sound signal based on sensitivity of human hearing and background noise level

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4090032A (en) * 1976-05-05 1978-05-16 Wm. A. Holmin Corporation Control system for audio amplifying system having multiple microphones
NL8800745A (nl) * 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
US5046101A (en) * 1989-11-14 1991-09-03 Lovejoy Controls Corp. Audio dosage control system
US5091953A (en) * 1990-02-13 1992-02-25 University Of Maryland At College Park Repetitive phenomena cancellation arrangement with multiple sensors and actuators
JPH07506908A (ja) * 1992-05-20 1995-07-27 インダストリアル リサーチ リミテッド 広帯域残響支援システム
FR2696036B1 (fr) * 1992-09-24 1994-10-14 France Telecom Procédé de mesure de ressemblance entre échantillons sonores et dispositif de mise en Óoeuvre de ce procédé.
JP2737595B2 (ja) * 1993-03-26 1998-04-08 ヤマハ株式会社 音場制御装置
JP3147618B2 (ja) * 1993-09-21 2001-03-19 ヤマハ株式会社 音響特性補正装置
JPH0684499U (ja) * 1993-05-14 1994-12-02 セイコー電子工業株式会社 車載用オーディオ装置
US6760451B1 (en) * 1993-08-03 2004-07-06 Peter Graham Craven Compensating filters
JPH0750900A (ja) * 1993-08-05 1995-02-21 Mitsubishi Electric Corp 音響再生装置
US5729613A (en) * 1993-10-15 1998-03-17 Industrial Research Limited Reverberators for use in wide band assisted reverberation systems
DE19612981A1 (de) * 1995-03-31 1996-11-21 Fraunhofer Ges Forschung Akustische Prüfung von Lautsprechern
DE69628618T2 (de) * 1995-09-26 2004-05-13 Nippon Telegraph And Telephone Corp. Verfahren und Einrichtung zur mehrkanaligen Kompensation eines akustischen Echos
JPH09330094A (ja) * 1996-06-10 1997-12-22 Takako Ito テンポ可変機能付き音声再生装置
JP3388570B2 (ja) * 1997-03-14 2003-03-24 日本電信電話株式会社 多チャネル音響結合評価方法
US5991385A (en) * 1997-07-16 1999-11-23 International Business Machines Corporation Enhanced audio teleconferencing with sound field effect
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
JPH11167383A (ja) * 1997-12-03 1999-06-22 Alpine Electron Inc 適応等化システムの接続確認方式
JP3299712B2 (ja) * 1998-03-13 2002-07-08 松下電器産業株式会社 明瞭度改善方法および音場制御装置
JP3347664B2 (ja) * 1998-03-17 2002-11-20 日本電信電話株式会社 音声通信会議方法及びシステム装置
JPH11285100A (ja) * 1998-03-30 1999-10-15 Sony Corp 音響診断装置

Also Published As

Publication number Publication date
EP1258168A1 (fr) 2002-11-20
FR2805433A1 (fr) 2001-08-24
US20030108208A1 (en) 2003-06-12
JP2003523674A (ja) 2003-08-05
ATE505911T1 (de) 2011-04-15
DE60144420D1 (de) 2011-05-26
AU2001235692A1 (en) 2001-08-27
US20070286430A1 (en) 2007-12-13
WO2001062044A1 (fr) 2001-08-23
JP4691304B2 (ja) 2011-06-01
US7804963B2 (en) 2010-09-28

Similar Documents

Publication Publication Date Title
EP1258168B1 (fr) Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs
EP0790753B1 (fr) Système de spatialisation sonore, et procédé pour sa mise en oeuvre
FR2473233A1 (fr) Systeme d'egalisation perfectionne
CH702399A2 (fr) Appareil et procédé pour la saisie et le traitement de la voix.
CH630208A5 (fr) Installation d'audioconference par liaison telephonique.
FR2688895A1 (fr) Dispositif et methode d'exploration sismique.
EP1403962B1 (fr) Procédé et dispositif de tarage-égalisation d'un système de réception.
FR2997257A1 (fr) Systeme et procede de test d'un equipement audio
EP1230784B1 (fr) Procede et dispositif de reduction d'echo
EP0884926B1 (fr) Procédé et dispositif de traitement optimisé d'un signal perturbateur lors d'une prise de son
FR3044509A1 (fr) Procede et dispositif pour estimer la reverberation acoustique
EP0789233B1 (fr) Procédé de test d'une antenne acoustique en réseau
WO2023081535A1 (fr) Procédure automatisée de réglage et de compensation audio
EP0741471B1 (fr) Procédé et dispositif de mesure sans intrusion de la qualité de transmission d'une ligne téléphonique
EP0983678B1 (fr) Procede et dispositif de reduction d' echo acoustique multivoies et de spatialisation sonore
FR3112017A1 (fr) Equipement électronique comprenant un simulateur de distorsion
FR2580882A1 (fr) Dispositif de commande d'activation de microphones pour des systemes de teleconference
FR2840759A1 (fr) Procede de sonorisation
WO2023081534A1 (fr) Procédure de lancement de réglage audio automatisé et rapport
FR3107982A1 (fr) Procédé et système de détermination de filtres d’égalisation sonore d’un système audio
EP0066515A1 (fr) Appareil générateur de bruit et dispositif de contrôle de l'isolement phonique dans des bâtiments
FR2828326A1 (fr) Procede et dispositif de reduction d'echo a la prise de son
EP1944909A1 (fr) Procédé de mesure de la sensibilité d'un terminal de réception de services numériques
FR2664446A1 (fr) Codeur differentiel a filtre predicteur auto-adaptatif a adaptation rapide de gain et decodeur correspondant.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20020820

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17Q First examination report despatched

Effective date: 20071213

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 60144420

Country of ref document: DE

Date of ref document: 20110526

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 60144420

Country of ref document: DE

Effective date: 20110526

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110816

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110714

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

26N No opposition filed

Effective date: 20120116

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 60144420

Country of ref document: DE

Effective date: 20120116

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20120228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120215

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20200123

Year of fee payment: 20

Ref country code: DE

Payment date: 20200121

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20200122

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 60144420

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20210214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20210214