EP3987822B1 - Dispositif de captation sonore a réseau de microphones perfectionné - Google Patents
Dispositif de captation sonore a réseau de microphones perfectionné Download PDFInfo
- Publication number
- EP3987822B1 EP3987822B1 EP20739743.1A EP20739743A EP3987822B1 EP 3987822 B1 EP3987822 B1 EP 3987822B1 EP 20739743 A EP20739743 A EP 20739743A EP 3987822 B1 EP3987822 B1 EP 3987822B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- sphere
- capsules
- spherical harmonics
- ambisonic
- planes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers
- H04R3/005—Circuits for transducers for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Definitions
- the invention relates to acoustic capture equipment intended to be integrated into a building, for domestic use (domestic context - connected house) or professional use (company context).
- this equipment aims to capture the sounds present in a room in order to feed an ambient intelligence system composed of a set of sensors and actuators making it possible to control the parameters (for example temperature, light, or others) and the corresponding building devices (connected objects in particular such as a connected heating installation, connected lamps, etc.).
- the parameters for example temperature, light, or others
- the corresponding building devices connected objects in particular such as a connected heating installation, connected lamps, etc.
- the sounds to be captured can be located anywhere in a room. It is not possible to know their position a priori and to position the sound recording equipment accordingly. It is therefore necessary to have capture equipment capable of covering the entire space in a homogeneous manner.
- the visual appearance of the part can also be a constraint parameter.
- the aesthetics of the room should not be degraded by a multitude of capture equipment. It is therefore necessary to favor discreet and compact capture equipment.
- voice assistants that today have good voice recognition performance in order to improve the quality of interaction with the user. They have a microphone array (often circular) so that they can focus the pickup on the source of interest (i.e. the user) by applying antenna processing (typically training methods of tracks or “beamforming”). This makes it possible to improve the quality of the signals captured, and to overcome interactions with surrounding noise and the room effect.
- voice assistants are generally placed at head height (on a table, typically) and their capture is degraded by the presence of noise sources in their vicinity (television, radio, etc.) and by furniture that impede the propagation of sound.
- the microphone arrays that can be designed for the audio ambient intelligence context are typically of the linear or spherical type.
- the linear geometry is not optimal because it requires a large number of sensors for effective capture.
- this type of geometry (linear or spherical) requires placing the antenna in the middle of the room to take advantage of its omnidirectional coverage, which is incompatible with the discretion constraint of the equipment.
- the geometry is sub-optimal in the sense that the microphones pointed towards the wall are useless, and can even be a source of disturbance (capture of unwanted reflections by example).
- the invention improves the situation.
- such a device can be inserted for example in an upper corner of a room or between a wall and a ceiling, discreetly.
- one advantage of such an embodiment is that the number of capsules to be provided can be reduced, compared with what is usually required for an embodiment based on a solid sphere.
- the reflections of the ceiling and of the wall(s) are used here to limit the number of spherical harmonics to be taken into account and thus retain a limited number of ambisonic components. Indeed, the supposedly rigid walls induce a large number of zero components. Only the harmonics respecting the symmetry can be exploited.
- the ambisonic components retained are associated with spherical harmonics symmetrical with respect to each of the three perpendicular planes and intersecting with each other at the center of the sphere S.
- the device may further comprise a fixing support suitable for fixing the device in an upper corner of the room defined by two perpendicular walls and a ceiling overhanging the walls, the walls and the ceiling coinciding with the three perpendicular planes mentioned above and acting as reflective walls of sound waves.
- the ambisonic components retained are associated with spherical harmonics having a degree l and an order m (couples ⁇ l,m ⁇ of the picture 3 described later), such as: l and m are even AND m greater than or equal to 0.
- the number of ambisonic components retained is equal to (A+1)(A+2)/2 where A is the integer part of half of a maximum degree L of the spherical harmonics with which the ambisonic components are associated retained.
- the aforementioned maximum degree L is greater than 4 and preferably greater than 6.
- the ambisonic components selected are associated with spherical harmonics symmetrical with respect to two perpendicular planes and intersecting each other in a straight line passing through the center of the sphere S.
- the device may further comprise a fixing support suitable for fixing the device in a corner of a room defined by a wall and a ceiling, perpendicular to each other, the wall and the ceiling coinciding with said two perpendicular planes and acting as reflective walls of sound waves.
- the processing unit can also be configured to then weight the vector b by a deflection vector given in azimuth and elevation with respect to a reference frame defined by the center of the sphere S and the three intersections between the three planes. For example, it is possible to provide a sweep of this angle of the deflection vector to probe the various sources of a room.
- such an embodiment based on several sphere portions makes it possible to increase the signal-to-noise ratio by cross-checking the various processed signals originating from the capsules of these sphere portions. It is then typically possible to refine a source detection for example, or even to remove ambiguities, or to be able to take advantage of a better point of view (more exactly “listening point”) on the target source.
- step S3 a processing of signals originating from several portions of sphere P to produce the weighted vectors b(A), b(B), etc. specific to each portion A, B, etc.
- step S4 makes it possible to refine the detection of source(s) in step S4 for a better interpretation of the sound signal SIG coming from this (or these) source(s).
- the device is used as a voice assistant to distinctly recognize a COM command in step S5.
- the present invention also relates to a computer program comprising instructions for implementing the above method when this program is executed by a processor.
- the present invention also relates to a non-transitory recording medium readable by a computer on which is recorded a program for the implementation of the above method when this program is executed by a processor.
- FIG. 1 a device within the meaning of the DIS invention is in the form of a quarter of a sphere (upper part of the figure 1 ) or in the form of an eighth of a sphere (lower part of the figure 1 ).
- the surface of these sphere portions is meshed (in a chosen way which may correspond to the Gauss-Legendre spherical mesh as described later) and MIC microphone capsules are placed on this mesh in a number which can also be determined by the aforementioned Gauss-Legendre mesh.
- These MIC capsules are connected to a processing unit UT (visible on the upper part of the figure 1 ) to receive the sound signals picked up and process them by matrixing in Ambisonic representation as described in detail later.
- the invention thus proposes a capture device consisting of one or more elementary networks of PCM capsules which can be distributed for example in a building room.
- the geometry of an elementary network is a fraction of a sphere (1/8 or 1/4) which is naturally inserted into the upper corners of a room so as to match the architecture, or even on an edge of intersection between a ceiling and a wall, in order to take advantage of reflections on such walls.
- the set of capture systems obtained is thus very discreet, makes it possible to considerably reduce the number of microphones while maintaining high directivity, and offers wide coverage of ambient sounds in the room. In fact, the microphones being located high up, they benefit from a privileged pick-up point over the entire room without being bothered by furniture or nearby users.
- One embodiment then relates to a processing jointly exploiting the information coming from the various networks of sensors to acquire a reliable and complete representation of the sound scene captured. Obtaining several results of the presence of possible sound source(s) makes it possible to cross-check this information and thus ultimately improve a signal-to-noise ratio of source(s) detection.
- the choice of a spherical geometry is advantageous in the sense that it makes it possible to obtain (by associating the microphones with an appropriate processing of antenna signals) a high directivity with a small number of sensors.
- the processing of the antenna signals uses spherical harmonic functions in a so-called “ambisonic” context.
- the conventional harmonic functions cannot be applied directly and they should be adapted to the geometry chosen for the array of microphones, according to one embodiment.
- the choice of the positions of the microphones on the sphere fraction is to be optimized.
- the optimal mesh must satisfy the best compromise between the number of sensors (to be minimized) and the quality of the information captured (which imposes a minimum number of sensors). This is a spatial sampling problem to be fitted to a fraction of a sphere.
- the family of spherical harmonics forms a base.
- Each spherical harmonic is described by its degree l and its order m.
- At degree l there is (2l+1) spherical harmonics.
- Up to the maximum degree L there are (L+1) 2 harmonics.
- a spherical array of microphones is usually used to decompose a sound pressure field on the basis of spherical harmonics, a representation of which is then illustrated on the figure 2 .
- Each line of the picture 2 is relative to a degree l and the representation up to degree L which includes all the components up to this degree.
- For the degree l 2, we have 9 components, etc.
- the number of microphones, N For an accurate decomposition, the number of microphones, N, must be greater than or equal to the number Q of components to be estimated.
- the pressure received by the image sensor is assumed to be the same as that received by the real sensor without the wall.
- this is an embodiment where the device is fixed between a wall and the ceiling, such as for example the Oxy and Oyz planes. It can also be fixed between two walls Oyz and Oxz and the symmetry condition m greater than or equal to 0, which is specific to Oxz, should be added to the previous condition relating to Oyz (m greater than or equal to 0 AND m is even, OR m ⁇ 0 AND m is odd), which ultimately amounts to m greater than or equal to 0 AND m is even.
- Such a realization amounts to applying a spherical Fourier transform (referenced SFT on the figure 5 ).
- the spherical harmonic components are first estimated using the matrix equation above.
- the obtained vector b is then weighted by a steering vector (or “steering vector”) which makes it possible to describe listening in a steering direction.
- the weighted components are summed to obtain the output signal.
- An example steering angle can be such that theta0 and phi0 are 45 and 135° respectively (pointing in this example towards the inside of the room). These respective azimuth and elevation coordinates are given relative to the base formed by the intersections of the three planes Oxy, Oxz, Oyz.
- the directivity function obtained is the superposition of eight directivity functions of a complete sphere pointing in directions symmetrical with respect to the planes Oxy, Oxz, Oyz jointly.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
- L'invention concerne un équipement de captation acoustique destiné à être intégré dans un bâtiment, à usage domestique (contexte domotique - maison connectée) ou professionnel (contexte en entreprise).
- Par exemple, cet équipement vise à capter les sons présents dans une pièce afin d'alimenter un système d'intelligence ambiante composé d'un ensemble de capteurs et d'actionneurs permettant de contrôler les paramètres (par exemple température, lumière, ou autres) et les appareils correspondants du bâtiment (objets connectés notamment tels qu'une installation de chauffage connectée, des lampes connectées, etc.).
- La captation de sons ambiants dans ce contexte soulève plusieurs problèmes.
- Les sons à capter peuvent être situés n'importe où dans une pièce. Il n'est pas possible de connaître leur position a priori et de positionner en conséquence l'équipement de captation sonore. Il faut donc disposer d'un équipement de captation capable de couvrir l'ensemble de l'espace de façon homogène.
- Pour autant, pour des raisons de coût et d'encombrement, il n'est pas envisageable de tapisser les surfaces de la pièce de microphones. Il faut donc aussi chercher à minimiser le nombre total de capteurs.
- L'aspect visuel de la pièce peut aussi être un paramètre de contrainte. Il convient de ne pas dégrader l'esthétique de la pièce par une multitude d'équipements de captation. Il faut donc privilégier des équipements de captation discrets et compacts.
- Aujourd'hui les solutions de captation acoustique ne répondent pas à l'ensemble de ces contraintes. Il s'agit d'une problématique de l'intelligence ambiante audio.
- Concernant les objets connectés en général typiquement équipés de dispositifs de suivi (ou « monitoring ») audiovisuel embarquant une caméra et des microphones, le nombre de capteurs est insuffisant pour offrir une large couverture de captation acoustique. Ils sont limités aux sources sonores proches. Du moins pour les sources éloignées, le rapport signal à bruit (en raison du bruit ambiant et de la réverbération) est défavorable et ne permet pas une analyse fiable des signaux captés.
- On connaît également des assistants vocaux présentant aujourd'hui de bonnes performances de reconnaissance vocale afin d'améliorer la qualité d'interaction avec l'utilisateur. Ils sont dotés d'un réseau de microphones (souvent circulaire) afin de pouvoir focaliser la captation sur la source d'intérêt (c'est-à-dire l'utilisateur) en appliquant un traitement d'antenne (typiquement des méthodes de formation de voies ou « beamforming »). Ceci permet d'améliorer la qualité des signaux captés, et de s'affranchir des interactions avec les bruits environnants et de l'effet de salle.
- Ce type de solutions n'est pas satisfaisant car il est optimisé pour une catégorie spécifique de sources: signaux vocaux, sources limitées à une portion de l'espace. Il n'est pas adapté à la captation de signaux large bande (ou hors de la bande passante de la voix). De plus, les assistants vocaux sont en général placés à hauteur d'homme (sur une table, typiquement) et leur captation est dégradée par la présence de sources de bruit à leur voisinage (télévision, radio, etc.) et par les meubles qui font obstacle à la propagation des sons.
- De manière plus générale, les réseaux de microphones qui peuvent être conçus pour le contexte de l'intelligence ambiante audio sont classiquement de type linéaire ou sphérique. La géométrie linéaire n'est pas optimale du fait qu'elle nécessite un nombre important de capteurs pour une captation efficace. De plus, ce type de géométrie (linéaire ou sphérique) impose de placer l'antenne au milieu de la pièce pour tirer profit de sa couverture omnidirectionnelle, ce qui est incompatible avec la contrainte de discrétion de l'équipement. D'un autre côté, en plaçant l'antenne acoustique près d'un mur, la géométrie est sous-optimale au sens où les microphones pointés vers le mur sont inutiles, et peuvent même être une source de perturbation (captation de réflexions indésirables par exemple).
- L'invention vient améliorer la situation.
- Il est proposé un dispositif de captation sonore, comportant au moins :
- une pluralité de capsules de microphone (par exemple des capsules électrostatiques ou piézoélectriques, des électrets ou des MEMS), réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1,2,
- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour :
- * matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et
- * traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
- Ainsi, un tel dispositif peut s'insérer par exemple dans un coin supérieur d'une pièce ou entre un mur et un plafond, de façon discrète. En outre, un avantage que présente une telle réalisation est que le nombre de capsules à prévoir peut être réduit, par rapport à ce que requiert habituellement une réalisation basée sur une sphère pleine. En particulier, on utilise ici les réflexions du plafond et du ou des murs pour limiter le nombre d'harmoniques sphériques à prendre en compte et retenir ainsi un nombre limité de composantes ambisoniques. En effet, les parois supposées rigides induisent un grand nombre de composantes nulles. Seules les harmoniques respectant la symétrie peuvent être exploitées.
- Dans une réalisation où n=1 et les capsules sont alors réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S.
- Il est possible ainsi de ne sélectionner que les harmoniques présentant de telles symétries.
- Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec les trois plans perpendiculaires précités et agissant comme des parois réfléchissantes d'ondes sonores.
- Comme on le verra plus loin en référence à la
figure 3 , ces réflexions permettent de considérer des sources virtuelles, miroirs de sources réelles, qui peuvent contribuer à augmenter la finesse de détection d'une source par exemple. On a ainsi à la fois des sources virtuelles et des microphones virtuels qui viennent compléter les microphones réels et constituer alors une sphère complète. - Avec un huitième de sphère à considérer, les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré l et un ordre m (couples {l,m} de la
figure 3 décrite plus loin), tels que :
l et m sont pairs ET m supérieur ou égal à 0. - Dans une telle réalisation, le nombre de composantes ambisoniques retenues est égal à (A+1)(A+2)/2 où A est la partie entière de la moitié d'un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues.
- Comme on le verra dans les exemples de réalisation présentés plus loin, le degré maximum précité L est supérieur à 4 et de préférence supérieur à 6.
- Dans la réalisation où n=2 et donc les capsules sont réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S.
- Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d'ondes sonores.
- Dans l'une ou l'autre des réalisations précitées (n=1 ou 2), les capsules peuvent être positionnées sur un maillage sphérique de Gauss-Legendre, et dans ce cas, le dispositif comporte préférentiellement un nombre N de capsules donné par :
N = 2n/8 (L+1)2 (ou N=n/4 (L+1)2), où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues. - Dans une telle réalisation, l'unité de traitement peut être configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d'un matriçage du type :
b = C EYGs, où: - b est une matrice vecteur contenant les composantes ambisoniques retenues,
- C est une constante réelle (par exemple C=8 dans le cas d'un huitième de sphère présenté plus loin),
- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule,
- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et
- G est une matrice diagonale contenant des poids d'intégration d'un maillage de Gauss-Legendre pour chacune des capsules,
- Dans une telle réalisation, l'unité de traitement peut être configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans. Par exemple, on peut prévoir un balayage de cet angle du vecteur de braquage pour sonder les différentes sources d'une pièce.
- Dans une réalisation, le dispositif peut comporter une pluralité de portions de sphères P = n S/8, avec n=1,2 (compactes ou séparées en formant une installation par exemple à plusieurs coques de portions de sphère), comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et l'unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l'identification d'au moins une source sonore dans un espace environnant les portions de sphère.
- En effet, une telle réalisation basée sur plusieurs portions de sphère permet d'augmenter le rapport signal à bruit en recoupant les différents signaux traités issus des capsules de ces portions de sphère. Il est alors possible typiquement d'affiner une détection de source par exemple, ou encore de lever des ambiguïtés, ou pouvoir tirer parti d'un meilleur point de vue (plus exactement « point d'écoute ») sur la source cible.
- L'invention vise aussi un procédé mis en oeuvre par une unité de traitement d'un dispositif du type ci-avant, dans lequel :
- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques, symétriques par rapport à au moins deux des plans précités, et
- Une telle réalisation peut être illustrée à titre d'exemple par l'ordinogramme de la
figure 6 , sur laquelle, suite à l'obtention des signaux issus des capsules à l'étape sa, il est procédé à un matriçage de ces signaux pour obtenir le vecteur b précité des composantes ambisoniques à l'étape S1. Ce vecteur b peut être pondéré à l'étape S2 par un vecteur de braquage comme présenté plus haut. Optionnellement, il est possible de prévoir à l'étape S3 un traitement de signaux issus de plusieurs portions de sphère P pour produire les vecteurs pondérés b(A), b(B), etc. propres à chaque portion A, B, etc. Une telle réalisation permet d'affiner la détection de source(s) à l'étape S4 pour une meilleure interprétation du signal sonore SIG issu de cette (ou ces) source(s). Ainsi, il est possible par exemple dans une réalisation où le dispositif est employé en tant qu'assistant vocal de reconnaitre distinctement une commande COM à l'étape S5. - La présente invention vise aussi un programme informatique comportant des instructions pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.
- Il peut s'agir typiquement du processeur PROC d'une unité de traitement UT telle qu'illustrée à titre d'exemple sur la
figure 7 comportant en outre : - une interface d'entrée IN pour recevoir les signaux issus des capsules,
- une mémoire MEM stockant au moins les données d'instructions d'un tel programme informatique au sens de l'invention,
- le processeur PROC apte à coopérer avec la mémoire MEM pour lire ces instructions et exécuter ainsi le procédé illustré à titre d'exemple sur la
figure 6 , - et une interface de sortie OUT apte à délivrer par exemple le signal de commande COM interprété (ou alternativement le signal sonore issu de la source détectée, ou alternativement encore des signaux ambisoniques traités permettant d'identifier une source sonore générant le signal SIG).
- La présente invention vise aussi un support d'enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur.
- Comme indiqué précédemment, il peut s'agir de la mémoire MEM précitée.
- D'autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l'analyse des dessins annexés, sur lesquels :
-
Fig. 1
[Fig. 1 ] montre des exemples de réalisation de portions de sphère. -
Fig. 2
[Fig. 2 ] montre les directivités des harmoniques sphériques jusqu'au degré maximum L= 5, les deux nuances de couleur représentent les valeurs positives et négatives respectivement. -
Fig. 3
[Fig. 3 ] illustre le principe d'une source et d'un microphone image dans le cas d'une réflexion acoustique (sur une paroi telle qu'un mur, un plafond). -
Fig. 4
[Fig. 4 ] illustre un réseau de microphones réels sur une fraction de 1/8 sphère et des microphones images (grisés) générés grâce aux réflexions sur parois rigides. -
Fig. 5
[Fig. 5 ] montre un exemple de formation de voies utilisant les harmoniques sphériques. -
Fig. 6
[Fig. 6 ] montre un exemple d'ordinogramme définissant une succession d'étapes d'un procédé selon un mode de réalisation. -
Fig. 7
[Fig. 7 ] montre un exemple de structure d'une unité de traitement UT d'un dispositif selon un mode de réalisation. - Il est maintenant fait référence à la
figure 1 sur laquelle un dispositif au sens de l'invention DIS se présente sous la forme d'un quart de sphère (partie supérieure de lafigure 1 ) ou sous la forme d'un huitième de sphère (partie inférieure de lafigure 1 ). La surface de ces portions de sphère est maillée (d'une façon choisie qui peut correspondre au maillage sphérique de Gauss-Legendre comme décrit plus loin) et des capsules de microphone MIC sont disposées sur ce maillage en un nombre qui peut être déterminé aussi par le maillage précité de Gauss-Legendre. Ces capsules MIC sont reliées à une unité de traitement UT (visible sur la partie supérieure de lafigure 1 ) pour recevoir les signaux sonores captés et les traiter par matriçage en représentation ambisonique comme décrit en détails plus loin. - Par ailleurs, comme visible aussi sur la
figure 1 , le dispositif DIS peut comporter en outre un support de fixation SUP pour être fixé par exemple : - dans un coin supérieur d'une pièce (entre deux murs perpendiculaires et un plafond) pour un huitième de sphère tel qu'illustré au bas de la
figure 1 , ou encore - sur une arête entre un mur et le plafond pour un quart de sphère tel qu'illustré en haut de la
figure 1 . - L'invention propose ainsi un dispositif de captation constitué d'un ou de plusieurs réseaux élémentaires de capsules MIC qui peuvent être distribués par exemple dans une pièce de bâtiment. La géométrie d'un réseau élémentaire est une fraction de sphère (1/8 ou 1/4) qui vient naturellement s'insérer dans les coins supérieurs d'une pièce de façon à en épouser l'architecture, ou encore sur une arête d'intersection entre un plafond et un mur, afin de tirer avantage des réflexions sur de telles parois. L'ensemble des systèmes de captation obtenu est ainsi très discret, permet de réduire considérablement le nombre de microphones tout en maintenant une directivité élevée, et offre une couverture large des sons ambiants de la pièce. En effet les microphones étant situés en hauteur, ils bénéficient d'un point de captation privilégié sur l'ensemble de la pièce sans être gênés par les meubles ou les utilisateurs à proximité.
- Même si le positionnement en hauteur améliore la couverture de la pièce, il faut prévoir qu'un seul réseau ne peut couvrir toute la pièce. Notamment si cette dernière présente une géométrie complexe (présence de recoins, zones d'ombre acoustique sans onde directe), il est préférable de disposer plusieurs réseaux. Un mode de réalisation porte alors sur un traitement exploitant de façon conjointe les informations issues des différents réseaux de capteurs pour acquérir une représentation fiable et complète de la scène sonore captée. Obtenir plusieurs résultats de présence de source(s) sonore(s) possible(s) permet de recouper ces informations et améliorer ainsi in fine un rapport signal à bruit de la détection de source(s).
- De plus, le choix d'une géométrie sphérique est avantageux au sens où il permet d'obtenir (en associant les microphones à un traitement approprié de signaux d'antenne) une directivité élevée avec un faible nombre de capteurs. En effet, dans le cas d'une géométrie sphérique, le traitement des signaux d'antenne utilise des fonctions harmoniques sphériques en contexte dit « ambisonique ». Dans le cas où on se limite à une fraction de sphère, les fonctions harmoniques conventionnelles ne peuvent pas être appliquées directement et il convient de les adapter à la géométrie choisie pour le réseau de microphones, selon un mode de réalisation.
- En outre, le choix des positions des microphones sur la fraction de sphère est à optimiser. Le maillage optimal doit satisfaire le meilleur compromis entre le nombre de capteurs (à minimiser) et la qualité de l'information captée (qui impose un nombre minimal de capteurs). Il s'agit d'un problème d'échantillonnage spatial à adapter à une fraction de sphère.
- La famille des harmoniques sphériques forme une base. Chaque harmonique sphérique est décrite par son degré l et son ordre m. Au degré l, il y a (2l +1) harmoniques sphériques. Jusqu'au degré maximum L, il y a (L+1)2 harmoniques. En contexte ambisonique, un réseau sphérique de microphones sert habituellement à décomposer un champ de pression acoustique sur la base des harmoniques sphériques dont une représentation est alors illustrée sur la
figure 2 . Chaque ligne de lafigure 2 est relative à un degré l et la représentation jusqu'au degré L qui inclut toutes les composantes jusqu'à ce degré. Ainsi, pour le degré l=0 on a une composante seulement. Pour le degré l=1, on a 1 (première ligne) + 3 (deuxième ligne) = 4 composantes ambisoniques. Pour le degré l=2, on a 9 composantes, etc. - En règle générale, si le réseau est conçu pour effectuer une décomposition jusqu'au degré maximum L des composantes ambisoniques), il doit être capable d'estimer Q = (L+1)2 composantes. Pour une décomposition précise, le nombre de microphones, N, doit être supérieur ou égal au nombre Q de composantes à estimer.
- La
figure 2 présente les directivités des harmoniques sphériques jusqu'au degré maximum L = 5. Elles sont arrangées en pyramide par ordre croissant de degré l et d'ordre m : {l ; m}. - Pour la mise en oeuvre du mode de réalisation décrit ici, seules sont retenues les composantes des harmoniques présentant une symétrie par rapport à un plan de réflexion de l'onde sonore (un mur ou le plafond). On note ces différents plans Oxy (le plafond), Oxz (un mur) et Oyz (un autre mur dans le cas où 1/8ème de sphère est utilisé, plutôt qu'un quart de sphère).
- La raison de cette sélection de composantes s'explique comme suit, en référence à la
figure 3 . La situation à gauche de lafigure 3 où une source (par exemple un haut-parleur HP) et un capteur (un microphone MIC) sont placés à proximité d'une paroi acoustiquement rigide (référencée MUR sur lafigure 3 ). La pression acoustique au capteur est la somme de : - la pression rayonnée par la source sans la paroi, et
- la pression issue de la réflexion sur la paroi rigide.
- Il est également possible de résoudre mathématiquement les équations liées à cette configuration en supprimant la paroi et en ajoutant une source et un microphone image, symétriques par rapport à la paroi, comme montré sur la partie droite de la
figure 3 . Il s'agit alors d' « images acoustiques », la paroi agissant comme un « miroir » de l'onde sonore. - La pression reçue par le capteur image est supposée la même que celle reçue par le capteur réel sans la paroi.
- La symétrie par rapport au plan Oyz (un mur typiquement) impose que les harmoniques sphériques de degré l et d'ordre m tels que:
- m supérieur ou égal à 0 ET m est pair, OU
- m < 0 ET m est impair
- (et présentant donc une symétrie par rapport au plan Oyz) soient déjà une première sélection des harmoniques dont les composantes sont retenues.
- En outre, la symétrie par rapport au plan Oxy (le plafond typiquement) impose que les harmoniques sphériques de degré l et d'ordre m tels que :
- la somme l + m est paire
- (et présentant donc une symétrie par rapport au plan Oxy) soient ensuite une deuxième sélection des harmoniques dont les composantes sont à retenir.
- Ainsi, pour un quart de sphère (s'insérant dans une intersection entre deux plans), les conditions peuvent être :
- m supérieur ou égal à 0 ET m est pair OU m < 0 ET m est impair
- ET (l + m) est pair.
- Bien entendu, il s'agit d'un exemple de réalisation où le dispositif est fixé entre un mur et le plafond, comme par exemple les plans Oxy et Oyz. Il peut être fixé aussi entre deux murs Oyz et Oxz et il convient d'ajouter la condition de symétrie m supérieur ou égal à 0, qui est propre à Oxz, à la condition précédente portant sur Oyz (m supérieur ou égal à 0 ET m est pair, OU m < 0 ET m est impair),
ce qui revient finalement à m supérieur ou égal à 0 ET m est pair. - En tout état de cause, on retrouve le même nombre d'harmoniques sphériques à retenir, quels que soient les deux plans de symétrie choisis.
- Pour un huitième de sphère, il est possible de tenir compte en outre de la symétrie par rapport au plan Oxz (un autre mur typiquement), ce qui impose que les harmoniques sphériques de degré l et d'ordre m tels que:
- m supérieur ou égal à 0
- (et présentant donc une symétrie par rapport au plan Oxz) soient, avec les conditions ci-dessus, les harmoniques dont les composantes sont retenues.
- Ces conditions pour un huitième de sphère se résument, in fine, comme suit:
l est pair ET m supérieur ou égal à 0 ET m est pair. -
- [L/2] désignant la partie entière de L/2.
- Ainsi, en suivant un raisonnement d'images acoustiques (comme vu précédemment en référence à la
figure 3 ), il est possible d'utiliser une fraction de sphère 1/8 ou 1/4 (ou encore possiblement 1/2 mais sans réel intérêt pour une application dans un bâtiment comme présenté plus haut), et de placer des parois acoustiquement rigides dans les plans appropriés pour générer des microphones images. On peut alors utiliser le réseau sphérique de microphones résultant pour décomposer sur la base des harmoniques sphériques encore représentés dans cette configuration, c'est-à-dire ceux respectant les conditions énoncées précédemment sur l et m. Par ailleurs, les microphones images reçoivent la même pression que les microphones réels correspondants. En conséquence, lors de la projection, les composantes sur les harmoniques sphériques qui ne respectent pas les symétries ci-dessus (conditions sur l et m) sont considérées nulles. Par exemple, sur lafigure 2 , jusqu'au degré maximum L=5, on a seulement six harmoniques sphériques qui respectent ces conditions et qui sont symétriques par rapport aux plans Oxy, Oxz, Oyz conjointement et il suffirait alors au minimum de N = 6 microphones sur 1/8 de sphère (en baffle) pour pouvoir estimer les composantes du champ acoustique sur ces harmoniques. - Dans le contexte de portions de sphère avec réflexions, il est choisi en particulier d'effectuer un maillage comme illustré sur la
figure 4 , dit « maillage sphérique de Gauss-Legendre », lequel donne le nombre et la position des microphones sur une sphère pour estimer la décomposition jusqu'à un degré maximum choisi L. En choisissant L impair, le maillage résultant respecte les symétries par rapport aux plans Oxy, Oxz, Oyz conjointement. Par exemple, lafigure 4 montre un maillage à N = 72 microphones, capable de faire une décomposition précise jusqu'au degré maximum L = 5 (avec N=2(L+1)2 pour respecter le maillage précité de Gauss-Legendre qui impose le double du nombre de capsules, minimal, requis (L+1)2). - Ici, en utilisant seulement les neuf microphones (neuf points illustrés par une nuance différente sur la
figure 4 ) et à l'aide des parois en grisées sur la figure, il est possible de générer soixante-trois microphones images. Du fait des symétries, seules six composantes sont ici non nulles. - Comme illustré sur la
figure 5 , les signaux des microphones S1, S2, ..., SN, sont décomposés (par exemple dans le domaine des fréquences) sur les harmoniques sphériques, à l'aide d'une équation du type :
b = 8 EYGs, où: - b est un vecteur contenant les composantes ambisoniques associées aux harmoniques sphériques respectant les symétries précitées,
- E est une matrice diagonale (carrée) contenant des filtres d'égalisation radiale de chaque microphone,
- Y est une matrice (non carrée car traitant plus de signaux issus des capsules que de composantes ambisoniques en sortie) contenant les harmoniques sphériques respectant les symétries précitées évaluées aux différentes directions des microphones, et
- G est une matrice diagonale (carrée) contenant des poids d'intégration de la quadrature de Gauss-Legendre pour chacun des microphones du huitième de sphère,
- Une telle réalisation revient à appliquer une transformée de Fourier sphérique (référencée SFT sur la
figure 5 ). - Pour la formation de voie (ou « beamforming ») dans le domaine des harmoniques sphériques afin d'identifier une ou plusieurs sources sonores dans un espace environnant la portion de sphère, et ainsi interpréter un signal sonore issu de cette source, les composantes harmoniques sphériques sont tout d'abord estimées à l'aide de l'équation matricielle ci-dessus. Le vecteur obtenu b est ensuite pondéré par un vecteur de braquage (ou « steering vector ») qui permet de décrire l'écoute dans une direction de braquage. Finalement, les composantes pondérées sont sommées pour obtenir le signal de sortie.
-
- Un exemple d'angle de braquage peut être tel que téta0 et phi0 sont 45 et 135° respectivement (pointant dans cet exemple vers l'intérieur de la pièce). Ces coordonnées respectives d'azimut et d'élévation sont données relativement à la base formée par les intersections des trois plans Oxy,Oxz,Oyz.
- Pour l'exemple du huitième de sphère, la fonction de directivité obtenue est la superposition de huit fonctions de directivités d'une sphère complète pointant dans les directions symétriques par rapports aux plans Oxy,Oxz,Oyz conjointement. Cette superposition peut toutefois se présenter comme un désavantage pour des degrés L faibles (L<6) et L = 7 peut se présenter comme un bon compromis entre nombre de capsules d'une part et qualité de la décomposition sur harmoniques sphériques.
- Dans ce cas, on prévoit habituellement au minimum N=(L+1)2 capsules pour une qualité de captation correcte, soit N=64. Néanmoins, sur un huitième de sphère seulement, il convient de diviser par 8 ce nombre, soit le nombre utile N=8.
- Néanmoins, pour respecter le maillage sphérique de Gauss-Legendre précité, il convient de multiplier ce nombre N par 2, de sorte que dans l'exemple de réalisation précité à L=7, on peut prévoir préférentiellement N=16 capsules ou plus.
- Dans ce cas, comme indiqué plus haut, le nombre de composantes ambisoniques retenues est Q=(3+1) (3+2)/2 = 10.
- Ainsi l'invention réunit les avantages suivants:
- une prise de son homogène sur l'ensemble d'une pièce,
- la capacité d'extraire une source sonore dans une direction donnée grâce au traitement de signaux d'antenne (débruitage et déréverbération pour améliorer le rapport signal-utile-à-bruit),
- un dispositif résultant de cette conception qui se présente compact et discret, intégré et s'adaptant à la configuration d'une pièce classique.
- L'invention trouve de nombreuses applications, notamment dans :
- la domotique utilisant des objectés connectés notamment pour un système d'intelligence ambiante audio permettant à partir de l'analyse et reconnaissance des sons ambiants d'inférer des actions et de proposer des services aux habitants d'une maison ou de personnes d'une entreprise (potentiellement applicable à n'importe quel lieu de vie) ;
- les assistants vocaux avec un dispositif de captation de sons ambiants possiblement utilisé pour capter la voix des utilisateurs et ainsi alimenter un assistant vocal ;
- les systèmes de surveillance audio pour la détection d'intrusions (bris de glace), des alarmes, les bruits de chute de personnes, ou autres.
Claims (15)
- Dispositif de captation sonore, comportant au moins :- une pluralité de capsules de microphone, réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1,2,- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour :* matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et* traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
- Dispositif selon la revendication 1, dans lequel, pour n=1, les capsules étant réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S.
- Dispositif selon la revendication 2, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec lesdits trois plans perpendiculaires et agissant comme des parois réfléchissantes d'ondes sonores.
- Dispositif selon l'une des revendications 2 et 3, dans lequel les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré l et un ordre m tels que :
l et m sont pairs ET m supérieur ou égal à 0. - Dispositif selon la revendication 4, dans lequel le nombre de composantes ambisoniques retenues est supérieur ou égal à (A+1)(A+2)/2 où A est la partie entière de la moitié d'un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues.
- Dispositif selon la revendication 5, dans lequel le degré maximum L est supérieur à 4, et de préférence supérieur à 6.
- Dispositif selon la revendication 1, dans lequel, pour n=2, les capsules étant réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S.
- Dispositif selon la revendication 7, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d'ondes sonores.
- Dispositif selon l'une des revendications précédentes, dans lequel les capsules sont positionnées sur un maillage sphérique de Gauss-Legendre, et le dispositif comporte un nombre N de capsules donné par
N = 2n/8 (L+1)2, où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues. - Dispositif selon la revendication 9, dans lequel l'unité de traitement est configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d'un matriçage du type :
b = C EYGs, où:- b est une matrice vecteur contenant les composantes ambisoniques retenues,- C est une constante réelle,- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule,- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et- G est une matrice diagonale contenant des poids d'intégration d'un maillage de Gauss-Legendre pour chacune des capsules,s étant un vecteur contenant des signaux issus des capsules. - Dispositif selon la revendication 10, pris en combinaison avec la revendication 6, dans lequel l'unité de traitement est configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans.
- Dispositif selon l'une des revendications précédentes, comportant une pluralité de portions de sphères P = n S/8, avec n=1,2, comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et dans lequel l'unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l'identification d'au moins une source sonore dans un espace environnant les portions de sphère.
- Procédé mis en oeuvre par une unité de traitement d'un dispositif selon l'une des revendications précédentes, dans lequel :- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et* la matrice ainsi obtenue est traitée pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source.
- Programme informatique comportant des instructions pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par une unité de traitement d'un dispositif selon l'une des revendications 1 à 12.
- Support d'enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par une unité de traitement d'un dispositif selon l'une des revendications 1 à 12.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1906840A FR3096550B1 (fr) | 2019-06-24 | 2019-06-24 | Dispositif de captation sonore à réseau de microphones perfectionné |
| PCT/FR2020/050852 WO2020260780A1 (fr) | 2019-06-24 | 2020-05-20 | Dispositif de captation sonore a réseau de microphones perfectionné |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3987822A1 EP3987822A1 (fr) | 2022-04-27 |
| EP3987822B1 true EP3987822B1 (fr) | 2023-07-05 |
Family
ID=68425020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP20739743.1A Active EP3987822B1 (fr) | 2019-06-24 | 2020-05-20 | Dispositif de captation sonore a réseau de microphones perfectionné |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11895478B2 (fr) |
| EP (1) | EP3987822B1 (fr) |
| FR (1) | FR3096550B1 (fr) |
| WO (1) | WO2020260780A1 (fr) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117041856A (zh) * | 2021-03-05 | 2023-11-10 | 华为技术有限公司 | Hoa系数的获取方法和装置 |
| US11728906B1 (en) * | 2022-04-20 | 2023-08-15 | The United States Of America As Represented By The Secretary Of The Navy | Constant beam width acoustic transducer design method |
| FR3154180A1 (fr) | 2023-10-16 | 2025-04-18 | Orange | Système et procédé de captation de signaux acoustiques, terminal de communication et système de réalité immersive l’utilisant |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6072878A (en) * | 1997-09-24 | 2000-06-06 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics |
| US7782710B1 (en) * | 2005-08-09 | 2010-08-24 | Uzes Charles A | System for detecting, tracking, and reconstructing signals in spectrally competitive environments |
| US9628905B2 (en) * | 2013-07-24 | 2017-04-18 | Mh Acoustics, Llc | Adaptive beamforming for eigenbeamforming microphone arrays |
| US10770087B2 (en) * | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
| FR3060830A1 (fr) * | 2016-12-21 | 2018-06-22 | Orange | Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne |
| US10657974B2 (en) * | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
| JP7072186B2 (ja) * | 2018-02-08 | 2022-05-20 | 株式会社オーディオテクニカ | マイクロホン装置及びマイクロホン装置用ケース |
| US10721559B2 (en) * | 2018-02-09 | 2020-07-21 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio sound field capture |
-
2019
- 2019-06-24 FR FR1906840A patent/FR3096550B1/fr active Active
-
2020
- 2020-05-20 US US17/622,679 patent/US11895478B2/en active Active
- 2020-05-20 EP EP20739743.1A patent/EP3987822B1/fr active Active
- 2020-05-20 WO PCT/FR2020/050852 patent/WO2020260780A1/fr not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP3987822A1 (fr) | 2022-04-27 |
| US11895478B2 (en) | 2024-02-06 |
| US20220256302A1 (en) | 2022-08-11 |
| FR3096550A1 (fr) | 2020-11-27 |
| WO2020260780A1 (fr) | 2020-12-30 |
| FR3096550B1 (fr) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3807669B1 (fr) | Localisation de sources sonores dans un environnement acoustique donné | |
| Xenaki et al. | Sound source localization and speech enhancement with sparse Bayesian learning beamforming | |
| US11190900B2 (en) | Spatial audio array processing system and method | |
| CN104106267B (zh) | 在增强现实环境中的信号增强波束成形 | |
| US9191738B2 (en) | Sound enhancement method, device, program and recording medium | |
| US9689959B2 (en) | Method, apparatus and computer program product for determining the location of a plurality of speech sources | |
| US10708687B1 (en) | System and method for including soundscapes in online mapping utilities | |
| CN103181190A (zh) | 用于远场多源追踪和分离的系统、方法、设备和计算机可读媒体 | |
| WO2020260780A1 (fr) | Dispositif de captation sonore a réseau de microphones perfectionné | |
| MXPA05002370A (es) | Un sistema y un metodo para formacion de haz usando una disposicion ordenada de microfonos. | |
| Ding et al. | Drone detection and tracking system based on fused acoustical and optical approaches | |
| CN111916094B (zh) | 音频信号处理方法、装置、设备及可读介质 | |
| US11997474B2 (en) | Spatial audio array processing system and method | |
| EP1230784B1 (fr) | Procede et dispositif de reduction d'echo | |
| WO2015013058A1 (fr) | Formation de faisceaux adaptative pour réseaux de microphones de formation de faisceaux propres | |
| Nair et al. | Audiovisual zooming: What you see is what you hear | |
| Crocco et al. | Audio tracking in noisy environments by acoustic map and spectral signature | |
| Zhang et al. | Deep learning-based direction-of-arrival estimation for multiple speech sources using a small scale array | |
| EP4248231A1 (fr) | Localisation perfectionnée d'une source acoustique | |
| Bountourakis et al. | Parametric spatial post-filtering utilising high-order circular harmonics with applications to underwater sound-field visualisation | |
| EP4315328B1 (fr) | Estimation d'un masque optimise pour le traitement de donnees sonores acquises | |
| Stefanakis | Efficient implementation of superdirective beamforming in a half-space environment | |
| Dey et al. | Microphone array principles | |
| Mathews | Development and evaluation of spherical microphone array-enabled systems for immersive multi-user environments | |
| US12548548B2 (en) | Baffle structure induced amplitude and phase differences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20211221 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| INTG | Intention to grant announced |
Effective date: 20230126 |
|
| GRAJ | Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted |
Free format text: ORIGINAL CODE: EPIDOSDIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| INTC | Intention to grant announced (deleted) | ||
| INTG | Intention to grant announced |
Effective date: 20230414 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1585914 Country of ref document: AT Kind code of ref document: T Effective date: 20230715 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602020013377 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20230705 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1585914 Country of ref document: AT Kind code of ref document: T Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231006 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231105 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231106 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231005 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231105 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20231006 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602020013377 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| 26N | No opposition filed |
Effective date: 20240408 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20240520 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230705 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20240520 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20240531 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 602020013377 Country of ref document: DE Representative=s name: PLASSERAUD IP GMBH, DE |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20240531 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20240520 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20240531 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20250513 Year of fee payment: 6 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20250521 Year of fee payment: 6 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20200520 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20200520 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20260316 Year of fee payment: 7 |

