EP3987822A1 - Dispositif de captation sonore a réseau de microphones perfectionné - Google Patents

Dispositif de captation sonore a réseau de microphones perfectionné

Info

Publication number
EP3987822A1
EP3987822A1 EP20739743.1A EP20739743A EP3987822A1 EP 3987822 A1 EP3987822 A1 EP 3987822A1 EP 20739743 A EP20739743 A EP 20739743A EP 3987822 A1 EP3987822 A1 EP 3987822A1
Authority
EP
European Patent Office
Prior art keywords
sphere
capsules
planes
spherical harmonics
ambisonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20739743.1A
Other languages
German (de)
English (en)
Other versions
EP3987822B1 (fr
Inventor
Pierre Lecomte
Rozenn Nicol
Laurent Simon
Manuel MELON
Katell PERON
Cyril Plapous
Kais HASSAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Le Mans Universite
Original Assignee
Orange SA
Le Mans Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA, Le Mans Universite filed Critical Orange SA
Publication of EP3987822A1 publication Critical patent/EP3987822A1/fr
Application granted granted Critical
Publication of EP3987822B1 publication Critical patent/EP3987822B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Definitions

  • the invention relates to acoustic capture equipment intended to be integrated into a building, for domestic use (home automation context - connected home) or professional (business context).
  • this equipment aims to capture the sounds present in a room in order to feed an ambient intelligence system composed of a set of sensors and actuators making it possible to control the parameters (for example temperature, light, or others) and the corresponding building devices (connected objects in particular such as a connected heating installation, connected lamps, etc.).
  • the parameters for example temperature, light, or others
  • the corresponding building devices connected objects in particular such as a connected heating installation, connected lamps, etc.
  • the sounds to be captured can be located anywhere in a room. It is not possible to know their position a priori and to position the sound recording equipment accordingly. It is therefore necessary to have capture equipment capable of covering the entire space homogeneously.
  • the visual appearance of the part can also be a constraint parameter.
  • the aesthetics of the room should not be degraded by a multitude of capture equipment. It is therefore necessary to favor discreet and compact capture equipment.
  • Voice assistants are also known today exhibiting good voice recognition performance in order to improve the quality of interaction with the user. They are equipped with an array of microphones (often circular) in order to be able to focus the capture on the source of interest (i.e. the user) by applying an antenna processing (typically training methods). of tracks or "beamforming"). This improves the quality of the signals received, and eliminates interactions with surrounding noise and the room effect.
  • the microphone arrays which can be designed for the context of audio ambient intelligence are conventionally of the linear or spherical type.
  • Linear geometry is not optimal because it requires a large number of sensors for efficient capture.
  • this type of geometry (linear or spherical) requires placing the antenna in the middle of the room to take advantage of its omnidirectional coverage, which is incompatible with the constraint of discretion of the equipment.
  • the geometry is suboptimal in the sense that the microphones pointed towards the wall are useless, and can even be a source of disturbance (capture of unwanted reflections by example).
  • a sound pickup device comprising at least:
  • processing unit connected to the capsules to receive the signals picked up by the capsules, said processing unit being arranged to:
  • such a device can be inserted, for example, in an upper corner of a room or between a wall and a ceiling, discreetly.
  • an advantage of such an embodiment is that the number of capsules to be provided can be reduced, compared to what usually requires an embodiment based on a solid sphere.
  • the reflections from the ceiling and from the wall (s) are used here to limit the number of spherical harmonics to be taken into account and thus retain a limited number of ambisonic components. Indeed, the supposedly rigid walls induce a large number of zero components. Only harmonics respecting symmetry can be used.
  • the retained ambisonic components are associated with spherical harmonics symmetrical with respect to each of the three perpendicular planes and intersecting each other at the center of the sphere S. It is thus possible to select only the harmonics having such symmetries.
  • the device may further comprise a fixing support suitable for fixing the device in an upper corner of a room defined by two perpendicular walls and a ceiling overhanging the walls, the walls and the ceiling coinciding with the three aforementioned perpendicular planes and acting as reflective walls of sound waves.
  • the ambisonic components retained are associated with spherical harmonics having a degree I and an order m (couples ⁇ l, m ⁇ of Figure 3 described below), such as:
  • the number of ambisonic components selected is equal to (A + 1) (A + 2) / 2 where A is the integer part of half of a maximum degree L of the spherical harmonics with which are associated the ambisonic components selected.
  • the aforementioned maximum degree L is greater than 4 and preferably greater than 6.
  • the ambisonic components retained are associated with spherical harmonics symmetrical with respect to two perpendicular planes and intersecting each other in a straight line passing through the center of the sphere S.
  • the device may further comprise a fixing support suitable for fixing the device in a corner of a room defined by a wall and a ceiling, perpendicular to each other, the wall and the ceiling coinciding with said two perpendicular planes and acting as reflecting walls of sound waves.
  • the capsules can be positioned on a Gauss-Legendre spherical mesh, and in this case, the device preferably comprises a number N of capsules given by :
  • the processing unit can be configured to break down signals from the microphone capsules, on the spherical harmonics associated with the ambisonic components selected, using a matrix of the type:
  • - b is a vector matrix containing the selected ambisonic components
  • - E is a diagonal matrix containing radial equalization filters of each capsule
  • - Y is a matrix containing the spherical harmonics with which the selected ambisonic components are associated
  • - G is a diagonal matrix containing integration weights of a Gauss-Legendre mesh for each of the capsules
  • the processing unit can be further configured to then weight the vector b by a steering vector given in azimuth and in elevation with respect to a mark defined by the center of the sphere S and the three intersections between the three planes. For example, it is possible to provide for a sweep of this angle of the steering vector to probe the different sources of a part.
  • the invention also relates to a method implemented by a processing unit of a device of the above type, in which:
  • the signals picked up by the capsules are matrixed according to an ambisonic representation in which only the ambisonic components associated with spherical harmonics, symmetrical with respect to at least two of the aforementioned planes, are retained, and
  • the matrix thus obtained (typically a vector of ambisonic components for example) is processed to identify at least one sound source in a space surrounding the portion of the sphere, and to interpret a sound signal from this source. It is thus possible, for example, to focus the listening in a given direction.
  • Such an embodiment can be illustrated by way of example by the flowchart of FIG. 6, on which, following the obtaining of the signals from the capsules in step SO, a matrixing of these is carried out.
  • This vector b can be weighted in step S2 by a steering vector as presented above.
  • Such an embodiment makes it possible to refine the detection of source (s) in step S4 for a better interpretation of the sound signal SIG coming from this (or these) source (s).
  • the device is used as a voice assistant to distinctly recognize a COM command in step S5.
  • the present invention is also aimed at a computer program comprising instructions for implementing the above method when this program is executed by a processor.
  • This may typically be the PROC processor of a processing unit UT such as illustrated by way of example in FIG. 7 further comprising:
  • an output interface OUT able to deliver, for example, the interpreted COM control signal (or alternatively the sound signal from the detected source, or alternatively also processed ambisonic signals making it possible to identify a sound source generating the SIG signal).
  • the OUT output can deliver the interpretation of the sound event (s) (alarm, dog barking, person falling, etc., or any other situation characterized by the identified sounds), and any information associated with this event (temporal and / or spatial localization).
  • the sound event s
  • the OUT output can deliver the interpretation of the sound event (s) (alarm, dog barking, person falling, etc., or any other situation characterized by the identified sounds), and any information associated with this event (temporal and / or spatial localization).
  • the present invention also relates to a non-transient recording medium readable by a computer on which a program is recorded for the implementation of the above method when this program is executed by a processor.
  • FIG. 1 shows embodiments of portions of a sphere.
  • FIG. 3 illustrates the principle of a source and an image microphone in the case of acoustic reflection (on a wall such as a wall, a ceiling).
  • FIG. 4 illustrates an array of real microphones on a fraction of 1/8 sphere and image microphones (grayed out) generated by reflections on rigid walls.
  • FIG. 5 shows an example of channel formation using spherical harmonics.
  • FIG. 6 shows an example of a flowchart defining a succession of steps of a method according to one embodiment.
  • FIG. 7 shows an example of the structure of a processing unit UT of a device according to one embodiment.
  • FIG. 1 a device within the meaning of the invention DIS is in the form of a quarter sphere (upper part of Figure 1) or in the form of an eighth sphere (lower part of figure 1).
  • the surface of these portions of sphere is meshed (in a chosen way which can correspond to the Gauss-Legendre spherical mesh as described later) and microphone capsules MIC are arranged on this mesh in a number which can also be determined by the aforementioned Gauss-Legendre mesh.
  • These MIC capsules are connected to a processing unit UT (visible in the upper part of FIG. 1) to receive the picked up sound signals and process them by matrixing in ambisonic representation as described in detail below.
  • the DIS device may further include a SUP fixing support to be fixed for example:
  • the invention thus proposes a capture device consisting of one or more elementary networks of PCM capsules which can be distributed for example in a building room.
  • the geometry of an elementary lattice is a fraction of a sphere (1/8 or 1/4) which naturally fits into the upper corners of a room so as to match its architecture, or even on an edge of a room. '' intersection between a ceiling and a wall, in order to take advantage of reflections on such walls.
  • the set of capture systems obtained is thus very discreet, considerably reduces the number of microphones while maintaining high directivity, and offers wide coverage of ambient sounds in the room. Indeed, the microphones being located in height, they benefit from a privileged point of capture on the whole of the room without being obstructed by the furniture or the users nearby.
  • the choice of a spherical geometry is advantageous in the sense that it makes it possible to obtain (by associating the microphones with an appropriate processing of antenna signals) a high directivity with a low number of sensors.
  • the processing of the antenna signals uses spherical harmonic functions in a so-called "ambisonic" context.
  • the conventional harmonic functions cannot be applied directly and they should be adapted to the geometry chosen for the array of microphones, according to one embodiment.
  • the choice of the positions of the microphones on the fraction of a sphere is to be optimized.
  • the optimal mesh must satisfy the best compromise between the number of sensors (to be minimized) and the quality of the information captured (which requires a minimum number of sensors). This is a problem of spatial sampling to adapt to a fraction of a sphere.
  • each spherical harmonic is described by its degree I and its order m. At degree I, there is (2I +1) spherical harmonics. Up to the maximum degree L, there are (L + 1) 2 harmonics.
  • a spherical array of microphones is usually used to decompose a sound pressure field on the basis of the spherical harmonics, a representation of which is then illustrated in figure 2.
  • the pressure received by the image sensor is assumed to be the same as that received by the real sensor without the wall.
  • this is an example of an embodiment where the device is fixed between a wall and the ceiling, for example the Oxy and Oyz plans. It can also be fixed between two walls Oyz and Oxz and it is advisable to add the condition of symmetry m greater than or equal to 0, which is specific to Oxz, to the previous condition relating to Oyz (m greater than or equal to 0 AND m is even, OR m ⁇ 0 AND m is odd),
  • the signals of the microphones S1, S2, ..., SN are broken down (for example in the frequency domain) on the spherical harmonics, using an equation of the type :
  • - b is a vector containing the ambisonic components associated with the spherical harmonics respecting the aforementioned symmetries
  • - E is a diagonal (square) matrix containing radial equalization filters of each microphone
  • - Y is a matrix (not square because processing more signals from the capsules than ambisonic components at the output) containing the spherical harmonics respecting the aforementioned symmetries evaluated at the different directions of the microphones, and
  • - G is a diagonal (square) matrix containing integration weights of the Gauss-Legendre quadrature for each of the microphones of the eighth of a sphere,
  • s being a vector containing the signals coming from the microphones.
  • Such an embodiment amounts to applying a spherical Fourier transform (referenced SFT in FIG. 5).
  • the Spherical harmonic components are first estimated using the matrix equation above.
  • the vector obtained b is then weighted by a steering vector (or “steering vector”) which makes it possible to describe the listening in a steering direction.
  • the weighted components are summed to obtain the output signal.
  • Weightings wi m can be provided for a regular directivity function given by the following equation:
  • wim Y im (tetaO, phiO)
  • An example of a steering angle can be such that tetaO and phiO are 45 and 135 ° respectively (pointing in this example towards the interior of the room). These respective azimuth and elevation coordinates are given relative to the base formed by the intersections of the three planes Oxy, Oxz, Oyz.
  • the directivity function obtained is the superposition of eight directivity functions of a complete sphere pointing in symmetrical directions with respect to the Oxy, Oxz, Oyz planes together.
  • the invention finds many applications, in particular in:
  • an audio ambient intelligence system allowing from the analysis and recognition of ambient sounds to infer actions and to offer services to the inhabitants of a house or to people of a business (potentially applicable to any place of life);

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

L'invention concerne un dispositif de captation sonore, comportant au moins : - une pluralité de capsules de microphone, réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1,2, - une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour : * matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et * traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.

Description

Description
Titre : Dispositif de captation sonore à réseau de
microphones perfectionné
[0001] L’invention concerne un équipement de captation acoustique destiné à être intégré dans un bâtiment, à usage domestique (contexte domotique - maison connectée) ou professionnel (contexte en entreprise).
[0002] Par exemple, cet équipement vise à capter les sons présents dans une pièce afin d’alimenter un système d’intelligence ambiante composé d’un ensemble de capteurs et d’actionneurs permettant de contrôler les paramètres (par exemple température, lumière, ou autres) et les appareils correspondants du bâtiment (objets connectés notamment tels qu’une installation de chauffage connectée, des lampes connectées, etc.).
[0003] La captation de sons ambiants dans ce contexte soulève plusieurs problèmes.
[0004] Les sons à capter peuvent être situés n’importe où dans une pièce. Il n’est pas possible de connaître leur position a priori et de positionner en conséquence l’équipement de captation sonore. Il faut donc disposer d’un équipement de captation capable de couvrir l’ensemble de l’espace de façon homogène.
[0005] Pour autant, pour des raisons de coût et d’encombrement, il n’est pas envisageable de tapisser les surfaces de la pièce de microphones. Il faut donc aussi chercher à minimiser le nombre total de capteurs.
[0006] L’aspect visuel de la pièce peut aussi être un paramètre de contrainte. Il convient de ne pas dégrader l’esthétique de la pièce par une multitude d’équipements de captation. Il faut donc privilégier des équipements de captation discrets et compacts.
[0007] Aujourd’hui les solutions de captation acoustique ne répondent pas à l’ensemble de ces contraintes. Il s’agit d’une problématique de l’intelligence ambiante audio.
[0008] Concernant les objets connectés en général typiquement équipés de dispositifs de suivi (ou « monitoring ») audiovisuel embarquant une caméra et des microphones, le nombre de capteurs est insuffisant pour offrir une large couverture de captation acoustique. Ils sont limités aux sources sonores proches. Du moins pour les sources éloignées, le rapport signal à bruit (en raison du bruit ambiant et de la réverbération) est défavorable et ne permet pas une analyse fiable des signaux captés.
[0009] On connaît également des assistants vocaux présentant aujourd’hui de bonnes performances de reconnaissance vocale afin d’améliorer la qualité d’interaction avec l’utilisateur. Ils sont dotés d’un réseau de microphones (souvent circulaire) afin de pouvoir focaliser la captation sur la source d’intérêt (c’est-à-dire l’utilisateur) en appliquant un traitement d’antenne (typiquement des méthodes de formation de voies ou « beamforming »). Ceci permet d’améliorer la qualité des signaux captés, et de s’affranchir des interactions avec les bruits environnants et de l’effet de salle.
[0010] Ce type de solutions n’est pas satisfaisant car il est optimisé pour une catégorie spécifique de sources: signaux vocaux, sources limitées à une portion de l’espace. Il n’est pas adapté à la captation de signaux large bande (ou hors de la bande passante de la voix). De plus, les assistants vocaux sont en général placés à hauteur d’homme (sur une table, typiquement) et leur captation est dégradée par la présence de sources de bruit à leur voisinage (télévision, radio, etc.) et par les meubles qui font obstacle à la propagation des sons.
[0011] De manière plus générale, les réseaux de microphones qui peuvent être conçus pour le contexte de l’intelligence ambiante audio sont classiquement de type linéaire ou sphérique. La géométrie linéaire n’est pas optimale du fait qu’elle nécessite un nombre important de capteurs pour une captation efficace. De plus, ce type de géométrie (linéaire ou sphérique) impose de placer l’antenne au milieu de la pièce pour tirer profit de sa couverture omnidirectionnelle, ce qui est incompatible avec la contrainte de discrétion de l’équipement. D’un autre côté, en plaçant l’antenne acoustique près d’un mur, la géométrie est sous-optimale au sens où les microphones pointés vers le mur sont inutiles, et peuvent même être une source de perturbation (captation de réflexions indésirables par exemple).
[0012] L’invention vient améliorer la situation. [0013] Il est proposé un dispositif de captation sonore, comportant au moins :
- une pluralité de capsules de microphone (par exemple des capsules électrostatiques ou piézoélectriques, des électrets ou des MEMS), réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1 ,2,
- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour :
* matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et
* traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
[0014] Ainsi, un tel dispositif peut s’insérer par exemple dans un coin supérieur d’une pièce ou entre un mur et un plafond, de façon discrète. En outre, un avantage que présente une telle réalisation est que le nombre de capsules à prévoir peut être réduit, par rapport à ce que requiert habituellement une réalisation basée sur une sphère pleine. En particulier, on utilise ici les réflexions du plafond et du ou des murs pour limiter le nombre d’harmoniques sphériques à prendre en compte et retenir ainsi un nombre limité de composantes ambisoniques. En effet, les parois supposées rigides induisent un grand nombre de composantes nulles. Seules les harmoniques respectant la symétrie peuvent être exploitées.
[0015] Dans une réalisation où n=1 et les capsules sont alors réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S. [0016] Il est possible ainsi de ne sélectionner que les harmoniques présentant de telles symétries.
[0017] Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec les trois plans perpendiculaires précités et agissant comme des parois réfléchissantes d’ondes sonores.
[0018] Comme on le verra plus loin en référence à la figure 3, ces réflexions permettent de considérer des sources virtuelles, miroirs de sources réelles, qui peuvent contribuer à augmenter la finesse de détection d’une source par exemple. On a ainsi à la fois des sources virtuelles et des microphones virtuels qui viennent compléter les microphones réels et constituer alors une sphère complète.
[0019] Avec un huitième de sphère à considérer, les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré I et un ordre m (couples {l,m} de la figure 3 décrite plus loin), tels que :
I et m sont pairs ET m supérieur ou égal à 0.
[0020] Dans une telle réalisation, le nombre de composantes ambisoniques retenues est égal à (A+1 )(A+2)/2 où A est la partie entière de la moitié d’un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues.
[0021] Comme on le verra dans les exemples de réalisation présentés plus loin, le degré maximum précité L est supérieur à 4 et de préférence supérieur à 6.
[0022] Dans la réalisation où n=2 et donc les capsules sont réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S.
[0023] Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores.
[0024] Dans l’une ou l’autre des réalisations précitées (n=1 ou 2), les capsules peuvent être positionnées sur un maillage sphérique de Gauss-Legendre, et dans ce cas, le dispositif comporte préférentiellement un nombre N de capsules donné par :
N = 2n/8 (L+1 )2 (ou N=n/4 (L+1 )2), où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues.
[0025] Dans une telle réalisation, l’unité de traitement peut être configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d’un matriçage du type :
b = C EYGs, où:
- b est une matrice vecteur contenant les composantes ambisoniques retenues,
- C est une constante réelle (par exemple C=8 dans le cas d’un huitième de sphère présenté plus loin),
- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule,
- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et
- G est une matrice diagonale contenant des poids d'intégration d’un maillage de Gauss-Legendre pour chacune des capsules,
s étant un vecteur contenant des signaux issus des capsules. [0026] Dans une telle réalisation, l’unité de traitement peut être configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans. Par exemple, on peut prévoir un balayage de cet angle du vecteur de braquage pour sonder les différentes sources d’une pièce.
[0027] Dans une réalisation, le dispositif peut comporter une pluralité de portions de sphères P = n S/8, avec n=1 ,2 (compactes ou séparées en formant une installation par exemple à plusieurs coques de portions de sphère), comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et l’unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l’identification d’au moins une source sonore dans un espace environnant les portions de sphère.
[0028] En effet, une telle réalisation basée sur plusieurs portions de sphère permet d’augmenter le rapport signal à bruit en recoupant les différents signaux traités issus des capsules de ces portions de sphère. Il est alors possible typiquement d’affiner une détection de source par exemple, ou encore de lever des ambiguïtés, ou pouvoir tirer parti d’un meilleur point de vue (plus exactement « point d’écoute ») sur la source cible.
[0029] L’invention vise aussi un procédé mis en oeuvre par une unité de traitement d’un dispositif du type ci-avant, dans lequel :
- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques, symétriques par rapport à au moins deux des plans précités, et
* la matrice ainsi obtenue (typiquement un vecteur des composantes ambisoniques par exemple) est traitée pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source. On peut ainsi focaliser par exemple l’écoute dans une direction donnée.
[0030] Une telle réalisation peut être illustrée à titre d’exemple par l’ordinogramme de la figure 6, sur laquelle, suite à l’obtention des signaux issus des capsules à l’étape SO, il est procédé à un matriçage de ces signaux pour obtenir le vecteur b précité des composantes ambisoniques à l’étape S1. Ce vecteur b peut être pondéré à l’étape S2 par un vecteur de braquage comme présenté plus haut. Optionnellement, il est possible de prévoir à l’étape S3 un traitement de signaux issus de plusieurs portions de sphère P pour produire les vecteurs pondérés b(A), b(B), etc. propres à chaque portion A, B, etc. Une telle réalisation permet d’affiner la détection de source(s) à l’étape S4 pour une meilleure interprétation du signal sonore SIG issu de cette (ou ces) source(s). Ainsi, il est possible par exemple dans une réalisation où le dispositif est employé en tant qu’assistant vocal de reconnaître distinctement une commande COM à l’étape S5.
[0031] La présente invention vise aussi un programme informatique comportant des instructions pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.
[0032] Il peut s’agir typiquement du processeur PROC d’une unité de traitement UT telle qu’illustrée à titre d’exemple sur la figure 7 comportant en outre :
- une interface d’entrée IN pour recevoir les signaux issus des capsules,
- une mémoire MEM stockant au moins les données d’instructions d’un tel programme informatique au sens de l’invention,
- le processeur PROC apte à coopérer avec la mémoire MEM pour lire ces instructions et exécuter ainsi le procédé illustré à titre d’exemple sur la figure 6,
- et une interface de sortie OUT apte à délivrer par exemple le signal de commande COM interprété (ou alternativement le signal sonore issu de la source détectée, ou alternativement encore des signaux ambisoniques traités permettant d’identifier une source sonore générant le signal SIG).
Alternativement, la sortie OUT peut délivrer l’interprétation de(s) l’événement(s) sonore(s) (alarme, aboiement de chien, chute de personne, etc., ou toute autre situation caractérisée par les sons identifiés), et toute information associée à cet événement (localisation temporelle et/ou spatiale).
[0033] La présente invention vise aussi un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.
[0034] Comme indiqué précédemment, il peut s’agir de la mémoire MEM précitée.
Brève description des dessins
[0035] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
Fig. 1
[0036] [Fig. 1 ] montre des exemples de réalisation de portions de sphère.
Fig. 2
[0037] [Fig. 2] montre les directivités des harmoniques sphériques jusqu'au degré maximum L= 5, les deux nuances de couleur représentent les valeurs positives et négatives respectivement.
Fig. 3
[0038] [Fig. 3] illustre le principe d'une source et d'un microphone image dans le cas d’une réflexion acoustique (sur une paroi telle qu’un mur, un plafond).
Fig. 4
[0039] [Fig. 4] illustre un réseau de microphones réels sur une fraction de 1/8 sphère et des microphones images (grisés) générés grâce aux réflexions sur parois rigides.
Fig. 5
[0040] [Fig. 5] montre un exemple de formation de voies utilisant les harmoniques sphériques.
Fig. 6 [0041] [Fig. 6] montre un exemple d’ordinogramme définissant une succession d’étapes d’un procédé selon un mode de réalisation.
Fig. 7
[0042] [Fig. 7] montre un exemple de structure d’une unité de traitement UT d’un dispositif selon un mode de réalisation.
Description des modes de réalisation
[0043] Il est maintenant fait référence à la figure 1 sur laquelle un dispositif au sens de l’invention DIS se présente sous la forme d’un quart de sphère (partie supérieure de la figure 1 ) ou sous la forme d’un huitième de sphère (partie inférieure de la figure 1 ). La surface de ces portions de sphère est maillée (d’une façon choisie qui peut correspondre au maillage sphérique de Gauss-Legendre comme décrit plus loin) et des capsules de microphone MIC sont disposées sur ce maillage en un nombre qui peut être déterminé aussi par le maillage précité de Gauss-Legendre. Ces capsules MIC sont reliées à une unité de traitement UT (visible sur la partie supérieure de la figure 1 ) pour recevoir les signaux sonores captés et les traiter par matriçage en représentation ambisonique comme décrit en détails plus loin.
[0044] Par ailleurs, comme visible aussi sur la figure 1 , le dispositif DIS peut comporter en outre un support de fixation SUP pour être fixé par exemple :
- dans un coin supérieur d’une pièce (entre deux murs perpendiculaires et un plafond) pour un huitième de sphère tel qu’illustré au bas de la figure 1 , ou encore
- sur une arête entre un mur et le plafond pour un quart de sphère tel qu’illustré en haut de la figure 1.
[0045] L’invention propose ainsi un dispositif de captation constitué d’un ou de plusieurs réseaux élémentaires de capsules MIC qui peuvent être distribués par exemple dans une pièce de bâtiment. La géométrie d’un réseau élémentaire est une fraction de sphère (1/8 ou 1/4) qui vient naturellement s’insérer dans les coins supérieurs d’une pièce de façon à en épouser l’architecture, ou encore sur une arête d’intersection entre un plafond et un mur, afin de tirer avantage des réflexions sur de telles parois. L’ensemble des systèmes de captation obtenu est ainsi très discret, permet de réduire considérablement le nombre de microphones tout en maintenant une directivité élevée, et offre une couverture large des sons ambiants de la pièce. En effet les microphones étant situés en hauteur, ils bénéficient d’un point de captation privilégié sur l’ensemble de la pièce sans être gênés par les meubles ou les utilisateurs à proximité.
[0046] Même si le positionnement en hauteur améliore la couverture de la pièce, il faut prévoir qu’un seul réseau ne peut couvrir toute la pièce. Notamment si cette dernière présente une géométrie complexe (présence de recoins, zones d’ombre acoustique sans onde directe), il est préférable de disposer plusieurs réseaux. Un mode de réalisation porte alors sur un traitement exploitant de façon conjointe les informations issues des différents réseaux de capteurs pour acquérir une représentation fiable et complète de la scène sonore captée. Obtenir plusieurs résultats de présence de source(s) sonore(s) possible(s) permet de recouper ces informations et améliorer ainsi in fine un rapport signal à bruit de la détection de source(s).
[0047] De plus, le choix d’une géométrie sphérique est avantageux au sens où il permet d’obtenir (en associant les microphones à un traitement approprié de signaux d’antenne) une directivité élevée avec un faible nombre de capteurs. En effet, dans le cas d’une géométrie sphérique, le traitement des signaux d’antenne utilise des fonctions harmoniques sphériques en contexte dit « ambisonique ». Dans le cas où on se limite à une fraction de sphère, les fonctions harmoniques conventionnelles ne peuvent pas être appliquées directement et il convient de les adapter à la géométrie choisie pour le réseau de microphones, selon un mode de réalisation.
[0048] En outre, le choix des positions des microphones sur la fraction de sphère est à optimiser. Le maillage optimal doit satisfaire le meilleur compromis entre le nombre de capteurs (à minimiser) et la qualité de l’information captée (qui impose un nombre minimal de capteurs). Il s’agit d’un problème d’échantillonnage spatial à adapter à une fraction de sphère.
[0049] La famille des harmoniques sphériques forme une base. Chaque harmonique sphérique est décrite par son degré I et son ordre m. Au degré I, il y a (2I +1 ) harmoniques sphériques. Jusqu’au degré maximum L, il y a (L+1 )2 harmoniques. En contexte ambisonique, un réseau sphérique de microphones sert habituellement à décomposer un champ de pression acoustique sur la base des harmoniques sphériques dont une représentation est alors illustrée sur la figure 2. Chaque ligne de la figure 2 est relative à un degré I et la représentation jusqu’au degré L qui inclut toutes les composantes jusqu’à ce degré. Ainsi, pour le degré l=0 on a une composante seulement. Pour le degré 1=1 , on a 1 (première ligne) + 3 (deuxième ligne) = 4 composantes ambisoniques. Pour le degré l=2, on a 9 composantes, etc.
[0050] En règle générale, si le réseau est conçu pour effectuer une décomposition jusqu'au degré maximum L des composantes ambisoniques), il doit être capable d'estimer Q = (L+1 )2 composantes. Pour une décomposition précise, le nombre de microphones, N, doit être supérieur ou égal au nombre Q de composantes à estimer.
[0051] La figure 2 présente les directivités des harmoniques sphériques jusqu'au degré maximum L = 5. Elles sont arrangées en pyramide par ordre croissant de degré I et d’ordre m : {I ; m}.
[0052] Pour la mise en oeuvre du mode de réalisation décrit ici, seules sont retenues les composantes des harmoniques présentant une symétrie par rapport à un plan de réflexion de l’onde sonore (un mur ou le plafond). On note ces différents plans Oxy (le plafond), Oxz (un mur) et Oyz (un autre mur dans le cas où 1/8ème de sphère est utilisé, plutôt qu’un quart de sphère).
[0053] La raison de cette sélection de composantes s’explique comme suit, en référence à la figure 3. La situation à gauche de la figure 3 où une source (par exemple un haut-parleur HP) et un capteur (un microphone MIC) sont placés à proximité d'une paroi acoustiquement rigide (référencée MUR sur la figure 3). La pression acoustique au capteur est la somme de :
- la pression rayonnée par la source sans la paroi, et
- la pression issue de la réflexion sur la paroi rigide.
[0054] Il est également possible de résoudre mathématiquement les équations liées à cette configuration en supprimant la paroi et en ajoutant une source et un microphone image, symétriques par rapport à la paroi, comme montré sur la partie droite de la figure 3. Il s’agit alors d’ « images acoustiques », la paroi agissant comme un « miroir » de l’onde sonore.
[0055] La pression reçue par le capteur image est supposée la même que celle reçue par le capteur réel sans la paroi.
[0056] La symétrie par rapport au plan Oyz (un mur typiquement) impose que les harmoniques sphériques de degré I et d'ordre m tels que:
m supérieur ou égal à 0 ET m est pair, OU
m < 0 ET m est impair
(et présentant donc une symétrie par rapport au plan Oyz) soient déjà une première sélection des harmoniques dont les composantes sont retenues.
[0057] En outre, la symétrie par rapport au plan Oxy (le plafond typiquement) impose que les harmoniques sphériques de degré I et d'ordre m tels que :
la somme I + m est paire
(et présentant donc une symétrie par rapport au plan Oxy) soient ensuite une deuxième sélection des harmoniques dont les composantes sont à retenir.
[0058] Ainsi, pour un quart de sphère (s’insérant dans une intersection entre deux plans), les conditions peuvent être :
m supérieur ou égal à 0 ET m est pair OU m < 0 ET m est impair
ET (I + m) est pair.
[0059] Bien entendu, il s’agit d’un exemple de réalisation où le dispositif est fixé entre un mur et le plafond, comme par exemple les plans Oxy et Oyz. Il peut être fixé aussi entre deux murs Oyz et Oxz et il convient d’ajouter la condition de symétrie m supérieur ou égal à 0, qui est propre à Oxz, à la condition précédente portant sur Oyz (m supérieur ou égal à 0 ET m est pair, OU m < 0 ET m est impair),
ce qui revient finalement à m supérieur ou égal à 0 ET m est pair.
[0060] En tout état de cause, on retrouve le même nombre d’harmoniques sphériques à retenir, quels que soient les deux plans de symétrie choisis. [0061] Pour un huitième de sphère, il est possible de tenir compte en outre de la symétrie par rapport au plan Oxz (un autre mur typiquement), ce qui impose que les harmoniques sphériques de degré I et d'ordre m tels que:
m supérieur ou égal à 0
(et présentant donc une symétrie par rapport au plan Oxz) soient, avec les conditions ci-dessus, les harmoniques dont les composantes sont retenues.
[0062] Ces conditions pour un huitième de sphère se résument, in fine, comme suit:
I est pair ET m supérieur ou égal à 0 ET m est pair.
[0063] Pour un degré maximum fixé et noté L, le nombre total d'harmoniques respectant les symétries par rapport aux plans Oxy, Oxz, Oyz conjointement est donné par: [Math. 1 ]
[0064]
[0065] [L/2] désignant la partie entière de L/2.
[0066] Ainsi, en suivant un raisonnement d'images acoustiques (comme vu précédemment en référence à la figure 3), il est possible d’utiliser une fraction de sphère 1/8 ou 1/4 (ou encore possiblement 1/2 mais sans réel intérêt pour une application dans un bâtiment comme présenté plus haut), et de placer des parois acoustiquement rigides dans les plans appropriés pour générer des microphones images. On peut alors utiliser le réseau sphérique de microphones résultant pour décomposer sur la base des harmoniques sphériques encore représentés dans cette configuration, c’est-à-dire ceux respectant les conditions énoncées précédemment sur I et m. Par ailleurs, les microphones images reçoivent la même pression que les microphones réels correspondants. En conséquence, lors de la projection, les composantes sur les harmoniques sphériques qui ne respectent pas les symétries ci-dessus (conditions sur I et m) sont considérées nulles. Par exemple, sur la figure 2, jusqu'au degré maximum L=5, on a seulement six harmoniques sphériques qui respectent ces conditions et qui sont symétriques par rapport aux plans Oxy, Oxz, Oyz conjointement et il suffirait alors au minimum de N = 6 microphones sur 1/8 de sphère (en baffle) pour pouvoir estimer les composantes du champ acoustique sur ces harmoniques.
[0067] Dans le contexte de portions de sphère avec réflexions, il est choisi en particulier d’effectuer un maillage comme illustré sur la figure 4, dit « maillage sphérique de Gauss-Legendre », lequel donne le nombre et la position des microphones sur une sphère pour estimer la décomposition jusqu'à un degré maximum choisi L. En choisissant L impair, le maillage résultant respecte les symétries par rapport aux plans Oxy, Oxz, Oyz conjointement. Par exemple, la figure 4 montre un maillage à N = 72 microphones, capable de faire une décomposition précise jusqu'au degré maximum L = 5 (avec N=2(L+1 )2 pour respecter le maillage précité de Gauss-Legendre qui impose le double du nombre de capsules, minimal, requis (L+1 )2).
[0068] Ici, en utilisant seulement les neuf microphones (neuf points illustrés par une nuance différente sur la figure 4) et à l'aide des parois en grisées sur la figure, il est possible de générer soixante-trois microphones images. Du fait des symétries, seules six composantes sont ici non nulles.
[0069] Comme illustré sur la figure 5, les signaux des microphones S1 , S2, ..., SN, sont décomposés (par exemple dans le domaine des fréquences) sur les harmoniques sphériques, à l'aide d’une équation du type :
b = 8 EYGs, où:
- b est un vecteur contenant les composantes ambisoniques associées aux harmoniques sphériques respectant les symétries précitées,
- E est une matrice diagonale (carrée) contenant des filtres d'égalisation radiale de chaque microphone,
- Y est une matrice (non carrée car traitant plus de signaux issus des capsules que de composantes ambisoniques en sortie) contenant les harmoniques sphériques respectant les symétries précitées évaluées aux différentes directions des microphones, et
- G est une matrice diagonale (carrée) contenant des poids d'intégration de la quadrature de Gauss-Legendre pour chacun des microphones du huitième de sphère,
s étant un vecteur contenant les signaux issus des microphones. [0070] Une telle réalisation revient à appliquer une transformée de Fourier sphérique (référencée SFT sur la figure 5).
[0071] Pour la formation de voie (ou « beamforming ») dans le domaine des harmoniques sphériques afin d’identifier une ou plusieurs sources sonores dans un espace environnant la portion de sphère, et ainsi interpréter un signal sonore issu de cette source, les composantes harmoniques sphériques sont tout d'abord estimées à l'aide de l’équation matricielle ci-dessus. Le vecteur obtenu b est ensuite pondéré par un vecteur de braquage (ou « steering vector ») qui permet de décrire l'écoute dans une direction de braquage. Finalement, les composantes pondérées sont sommées pour obtenir le signal de sortie.
[0072] On peut prévoir des pondérations wim pour une fonction de directivité régulière données par l'équation suivante:
[Math. 2]
[0073] wim = Y im (tétaO, phiO)
[0074] Un exemple d’angle de braquage peut être tel que tétaO et phiO sont 45 et 135° respectivement (pointant dans cet exemple vers l’intérieur de la pièce). Ces coordonnées respectives d’azimut et d’élévation sont données relativement à la base formée par les intersections des trois plans Oxy,Oxz,Oyz.
[0075] Pour l’exemple du huitième de sphère, la fonction de directivité obtenue est la superposition de huit fonctions de directivités d'une sphère complète pointant dans les directions symétriques par rapports aux plans Oxy,Oxz,Oyz conjointement. Cette superposition peut toutefois se présenter comme un désavantage pour des degrés L faibles (L<6) et L = 7 peut se présenter comme un bon compromis entre nombre de capsules d’une part et qualité de la décomposition sur harmoniques sphériques.
[0076] Dans ce cas, on prévoit habituellement au minimum N=(L+1 )2 capsules pour une qualité de captation correcte, soit N=64. Néanmoins, sur un huitième de sphère seulement, il convient de diviser par 8 ce nombre, soit le nombre utile N=8.
[0077] Néanmoins, pour respecter le maillage sphérique de Gauss-Legendre précité, il convient de multiplier ce nombre N par 2, de sorte que dans l’exemple de réalisation précité à L=7, on peut prévoir préférentiellement N=16 capsules ou plus.
[0078] Dans ce cas, comme indiqué plus haut, le nombre de composantes ambisoniques retenues est Q=(3+1 ) (3+2)/2 = 10.
[0079] Ainsi l’invention réunit les avantages suivants:
- une prise de son homogène sur l’ensemble d’une pièce,
- la capacité d’extraire une source sonore dans une direction donnée grâce au traitement de signaux d’antenne (débruitage et déréverbération pour améliorer le rapport signal-utile-à-bruit),
- un dispositif résultant de cette conception qui se présente compact et discret, intégré et s’adaptant à la configuration d’une pièce classique.
[0080] L’invention trouve de nombreuses applications, notamment dans :
- la domotique utilisant des objectés connectés notamment pour un système d’intelligence ambiante audio permettant à partir de l’analyse et reconnaissance des sons ambiants d’inférer des actions et de proposer des services aux habitants d’une maison ou de personnes d’une entreprise (potentiellement applicable à n’importe quel lieu de vie) ;
- les assistants vocaux avec un dispositif de captation de sons ambiants possiblement utilisé pour capter la voix des utilisateurs et ainsi alimenter un assistant vocal ;
- les systèmes de surveillance audio pour la détection d’intrusions (bris de glace), des alarmes, les bruits de chute de personnes, ou autres.

Claims

Revendications
[Revendication 1] Dispositif de captation sonore, comportant au moins :
- une pluralité de capsules de microphone, réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1 ,2,
- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour :
* matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et
* traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
[Revendication 2] Dispositif selon la revendication 1 , dans lequel, pour n=1 , les capsules étant réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S.
[Revendication 3] Dispositif selon la revendication 2, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec lesdits trois plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores.
[Revendication 4] Dispositif selon l’une des revendications 2 et 3, dans lequel les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré I et un ordre m tels que : I et m sont pairs ET m supérieur ou égal à 0.
[Revendication 5] Dispositif selon la revendication 4, dans lequel le nombre de composantes ambisoniques retenues est supérieur ou égal à (A+1 )(A+2)/2 où A est la partie entière de la moitié d’un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues.
[Revendication 6] Procédé selon la revendication 5, dans lequel le degré maximum L est supérieur à 4, et de préférence supérieur à 6.
[Revendication 7] Dispositif selon la revendication 1 , dans lequel, pour n=2, les capsules étant réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S.
[Revendication 8] Dispositif selon la revendication 7, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores.
[Revendication 9] Dispositif selon l'une des revendications précédentes, dans lequel les capsules sont positionnées sur un maillage sphérique de Gauss- Legendre, et le dispositif comporte un nombre N de capsules donné par
N = 2n/8 (L+1 )2, où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues.
[Revendication 10] Dispositif selon la revendication 9, dans lequel l’unité de traitement est configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d’un matriçage du type :
b = C EYGs, où:
- b est une matrice vecteur contenant les composantes ambisoniques retenues,
- C est une constante réelle,
- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule,
- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et
- G est une matrice diagonale contenant des poids d'intégration d’un maillage de Gauss-Legendre pour chacune des capsules,
s étant un vecteur contenant des signaux issus des capsules.
[Revendication 11] Dispositif selon la revendication 10, pris en combinaison avec la revendication 6, dans lequel l’unité de traitement est configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans.
[Revendication 12] Dispositif selon l'une des revendications précédentes, comportant une pluralité de portions de sphères P = n S/8, avec n=1 ,2, comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et dans lequel l’unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l’identification d’au moins une source sonore dans un espace environnant les portions de sphère.
[Revendication 13] Procédé mis en œuvre par une unité de traitement d’un dispositif selon l'une des revendications précédentes, dans lequel :
- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et
* la matrice ainsi obtenue est traitée pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
[Revendication 14] Programme informatique comportant des instructions pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par un processeur.
[Revendication 15] Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par un processeur.
EP20739743.1A 2019-06-24 2020-05-20 Dispositif de captation sonore a réseau de microphones perfectionné Active EP3987822B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1906840A FR3096550B1 (fr) 2019-06-24 2019-06-24 Dispositif de captation sonore à réseau de microphones perfectionné
PCT/FR2020/050852 WO2020260780A1 (fr) 2019-06-24 2020-05-20 Dispositif de captation sonore a réseau de microphones perfectionné

Publications (2)

Publication Number Publication Date
EP3987822A1 true EP3987822A1 (fr) 2022-04-27
EP3987822B1 EP3987822B1 (fr) 2023-07-05

Family

ID=68425020

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20739743.1A Active EP3987822B1 (fr) 2019-06-24 2020-05-20 Dispositif de captation sonore a réseau de microphones perfectionné

Country Status (4)

Country Link
US (1) US11895478B2 (fr)
EP (1) EP3987822B1 (fr)
FR (1) FR3096550B1 (fr)
WO (1) WO2020260780A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041856A (zh) * 2021-03-05 2023-11-10 华为技术有限公司 Hoa系数的获取方法和装置
US11728906B1 (en) * 2022-04-20 2023-08-15 The United States Of America As Represented By The Secretary Of The Navy Constant beam width acoustic transducer design method
FR3154180A1 (fr) 2023-10-16 2025-04-18 Orange Système et procédé de captation de signaux acoustiques, terminal de communication et système de réalité immersive l’utilisant

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US7782710B1 (en) * 2005-08-09 2010-08-24 Uzes Charles A System for detecting, tracking, and reconstructing signals in spectrally competitive environments
WO2015013058A1 (fr) * 2013-07-24 2015-01-29 Mh Acoustics, Llc Formation de faisceaux adaptative pour réseaux de microphones de formation de faisceaux propres
US10770087B2 (en) * 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
FR3060830A1 (fr) * 2016-12-21 2018-06-22 Orange Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne
US10657974B2 (en) * 2017-12-21 2020-05-19 Qualcomm Incorporated Priority information for higher order ambisonic audio data
JP7072186B2 (ja) * 2018-02-08 2022-05-20 株式会社オーディオテクニカ マイクロホン装置及びマイクロホン装置用ケース
US10721559B2 (en) * 2018-02-09 2020-07-21 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for audio sound field capture

Also Published As

Publication number Publication date
FR3096550A1 (fr) 2020-11-27
US11895478B2 (en) 2024-02-06
US20220256302A1 (en) 2022-08-11
EP3987822B1 (fr) 2023-07-05
WO2020260780A1 (fr) 2020-12-30
FR3096550B1 (fr) 2021-06-04

Similar Documents

Publication Publication Date Title
EP3807669B1 (fr) Localisation de sources sonores dans un environnement acoustique donné
US11190900B2 (en) Spatial audio array processing system and method
Cao et al. Acoustic vector sensor: reviews and future perspectives
Xenaki et al. Sound source localization and speech enhancement with sparse Bayesian learning beamforming
CN104106267B (zh) 在增强现实环境中的信号增强波束成形
JP6109927B2 (ja) 源信号分離のためのシステム及び方法
US9191738B2 (en) Sound enhancement method, device, program and recording medium
Markovic et al. Soundfield imaging in the ray space
EP3987822B1 (fr) Dispositif de captation sonore a réseau de microphones perfectionné
US10708687B1 (en) System and method for including soundscapes in online mapping utilities
CN103181190A (zh) 用于远场多源追踪和分离的系统、方法、设备和计算机可读媒体
MXPA05002370A (es) Un sistema y un metodo para formacion de haz usando una disposicion ordenada de microfonos.
US11997474B2 (en) Spatial audio array processing system and method
Crocco et al. Audio tracking in noisy environments by acoustic map and spectral signature
Nair et al. Audiovisual zooming: What you see is what you hear
EP4248231A1 (fr) Localisation perfectionnée d&#39;une source acoustique
Zhu et al. Gaussian filter for TDOA based sound source localization in multimedia surveillance
EP1230784A1 (fr) Procede et dispositif de reduction d&#39;echo
Bountourakis et al. Parametric spatial post-filtering utilising high-order circular harmonics with applications to underwater sound-field visualisation
WO2022207994A1 (fr) Estimation d&#39;un masque optimise pour le traitement de donnees sonores acquises
Bianchi et al. High resolution imaging of acoustic reflections with spherical microphone arrays
Bountourakis et al. Spatial post-filter for linear hydrophone arrays with applications to underwater source localisation
Mathews Development and evaluation of spherical microphone array-enabled systems for immersive multi-user environments
US12548548B2 (en) Baffle structure induced amplitude and phase differences
Riaz Adaptive blind source separation based on intensity vector statistics

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211221

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230126

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTC Intention to grant announced (deleted)
INTG Intention to grant announced

Effective date: 20230414

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1585914

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602020013377

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230705

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1585914

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231105

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231106

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231005

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231105

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231006

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602020013377

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

26N No opposition filed

Effective date: 20240408

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240520

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240531

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602020013377

Country of ref document: DE

Representative=s name: PLASSERAUD IP GMBH, DE

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20240531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240531

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250513

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250521

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20200520

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260316

Year of fee payment: 7