EP3987822A1 - Sound pickup device with improved microphone network - Google Patents

Sound pickup device with improved microphone network

Info

Publication number
EP3987822A1
EP3987822A1 EP20739743.1A EP20739743A EP3987822A1 EP 3987822 A1 EP3987822 A1 EP 3987822A1 EP 20739743 A EP20739743 A EP 20739743A EP 3987822 A1 EP3987822 A1 EP 3987822A1
Authority
EP
European Patent Office
Prior art keywords
sphere
capsules
planes
spherical harmonics
ambisonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20739743.1A
Other languages
German (de)
French (fr)
Other versions
EP3987822B1 (en
Inventor
Pierre Lecomte
Rozenn Nicol
Laurent Simon
Manuel MELON
Katell PERON
Cyril Plapous
Kais HASSAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Le Mans Universite
Original Assignee
Orange SA
Le Mans Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA, Le Mans Universite filed Critical Orange SA
Publication of EP3987822A1 publication Critical patent/EP3987822A1/en
Application granted granted Critical
Publication of EP3987822B1 publication Critical patent/EP3987822B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field

Definitions

  • the invention relates to acoustic capture equipment intended to be integrated into a building, for domestic use (home automation context - connected home) or professional (business context).
  • this equipment aims to capture the sounds present in a room in order to feed an ambient intelligence system composed of a set of sensors and actuators making it possible to control the parameters (for example temperature, light, or others) and the corresponding building devices (connected objects in particular such as a connected heating installation, connected lamps, etc.).
  • the parameters for example temperature, light, or others
  • the corresponding building devices connected objects in particular such as a connected heating installation, connected lamps, etc.
  • the sounds to be captured can be located anywhere in a room. It is not possible to know their position a priori and to position the sound recording equipment accordingly. It is therefore necessary to have capture equipment capable of covering the entire space homogeneously.
  • the visual appearance of the part can also be a constraint parameter.
  • the aesthetics of the room should not be degraded by a multitude of capture equipment. It is therefore necessary to favor discreet and compact capture equipment.
  • Voice assistants are also known today exhibiting good voice recognition performance in order to improve the quality of interaction with the user. They are equipped with an array of microphones (often circular) in order to be able to focus the capture on the source of interest (i.e. the user) by applying an antenna processing (typically training methods). of tracks or "beamforming"). This improves the quality of the signals received, and eliminates interactions with surrounding noise and the room effect.
  • the microphone arrays which can be designed for the context of audio ambient intelligence are conventionally of the linear or spherical type.
  • Linear geometry is not optimal because it requires a large number of sensors for efficient capture.
  • this type of geometry (linear or spherical) requires placing the antenna in the middle of the room to take advantage of its omnidirectional coverage, which is incompatible with the constraint of discretion of the equipment.
  • the geometry is suboptimal in the sense that the microphones pointed towards the wall are useless, and can even be a source of disturbance (capture of unwanted reflections by example).
  • a sound pickup device comprising at least:
  • processing unit connected to the capsules to receive the signals picked up by the capsules, said processing unit being arranged to:
  • such a device can be inserted, for example, in an upper corner of a room or between a wall and a ceiling, discreetly.
  • an advantage of such an embodiment is that the number of capsules to be provided can be reduced, compared to what usually requires an embodiment based on a solid sphere.
  • the reflections from the ceiling and from the wall (s) are used here to limit the number of spherical harmonics to be taken into account and thus retain a limited number of ambisonic components. Indeed, the supposedly rigid walls induce a large number of zero components. Only harmonics respecting symmetry can be used.
  • the retained ambisonic components are associated with spherical harmonics symmetrical with respect to each of the three perpendicular planes and intersecting each other at the center of the sphere S. It is thus possible to select only the harmonics having such symmetries.
  • the device may further comprise a fixing support suitable for fixing the device in an upper corner of a room defined by two perpendicular walls and a ceiling overhanging the walls, the walls and the ceiling coinciding with the three aforementioned perpendicular planes and acting as reflective walls of sound waves.
  • the ambisonic components retained are associated with spherical harmonics having a degree I and an order m (couples ⁇ l, m ⁇ of Figure 3 described below), such as:
  • the number of ambisonic components selected is equal to (A + 1) (A + 2) / 2 where A is the integer part of half of a maximum degree L of the spherical harmonics with which are associated the ambisonic components selected.
  • the aforementioned maximum degree L is greater than 4 and preferably greater than 6.
  • the ambisonic components retained are associated with spherical harmonics symmetrical with respect to two perpendicular planes and intersecting each other in a straight line passing through the center of the sphere S.
  • the device may further comprise a fixing support suitable for fixing the device in a corner of a room defined by a wall and a ceiling, perpendicular to each other, the wall and the ceiling coinciding with said two perpendicular planes and acting as reflecting walls of sound waves.
  • the capsules can be positioned on a Gauss-Legendre spherical mesh, and in this case, the device preferably comprises a number N of capsules given by :
  • the processing unit can be configured to break down signals from the microphone capsules, on the spherical harmonics associated with the ambisonic components selected, using a matrix of the type:
  • - b is a vector matrix containing the selected ambisonic components
  • - E is a diagonal matrix containing radial equalization filters of each capsule
  • - Y is a matrix containing the spherical harmonics with which the selected ambisonic components are associated
  • - G is a diagonal matrix containing integration weights of a Gauss-Legendre mesh for each of the capsules
  • the processing unit can be further configured to then weight the vector b by a steering vector given in azimuth and in elevation with respect to a mark defined by the center of the sphere S and the three intersections between the three planes. For example, it is possible to provide for a sweep of this angle of the steering vector to probe the different sources of a part.
  • the invention also relates to a method implemented by a processing unit of a device of the above type, in which:
  • the signals picked up by the capsules are matrixed according to an ambisonic representation in which only the ambisonic components associated with spherical harmonics, symmetrical with respect to at least two of the aforementioned planes, are retained, and
  • the matrix thus obtained (typically a vector of ambisonic components for example) is processed to identify at least one sound source in a space surrounding the portion of the sphere, and to interpret a sound signal from this source. It is thus possible, for example, to focus the listening in a given direction.
  • Such an embodiment can be illustrated by way of example by the flowchart of FIG. 6, on which, following the obtaining of the signals from the capsules in step SO, a matrixing of these is carried out.
  • This vector b can be weighted in step S2 by a steering vector as presented above.
  • Such an embodiment makes it possible to refine the detection of source (s) in step S4 for a better interpretation of the sound signal SIG coming from this (or these) source (s).
  • the device is used as a voice assistant to distinctly recognize a COM command in step S5.
  • the present invention is also aimed at a computer program comprising instructions for implementing the above method when this program is executed by a processor.
  • This may typically be the PROC processor of a processing unit UT such as illustrated by way of example in FIG. 7 further comprising:
  • an output interface OUT able to deliver, for example, the interpreted COM control signal (or alternatively the sound signal from the detected source, or alternatively also processed ambisonic signals making it possible to identify a sound source generating the SIG signal).
  • the OUT output can deliver the interpretation of the sound event (s) (alarm, dog barking, person falling, etc., or any other situation characterized by the identified sounds), and any information associated with this event (temporal and / or spatial localization).
  • the sound event s
  • the OUT output can deliver the interpretation of the sound event (s) (alarm, dog barking, person falling, etc., or any other situation characterized by the identified sounds), and any information associated with this event (temporal and / or spatial localization).
  • the present invention also relates to a non-transient recording medium readable by a computer on which a program is recorded for the implementation of the above method when this program is executed by a processor.
  • FIG. 1 shows embodiments of portions of a sphere.
  • FIG. 3 illustrates the principle of a source and an image microphone in the case of acoustic reflection (on a wall such as a wall, a ceiling).
  • FIG. 4 illustrates an array of real microphones on a fraction of 1/8 sphere and image microphones (grayed out) generated by reflections on rigid walls.
  • FIG. 5 shows an example of channel formation using spherical harmonics.
  • FIG. 6 shows an example of a flowchart defining a succession of steps of a method according to one embodiment.
  • FIG. 7 shows an example of the structure of a processing unit UT of a device according to one embodiment.
  • FIG. 1 a device within the meaning of the invention DIS is in the form of a quarter sphere (upper part of Figure 1) or in the form of an eighth sphere (lower part of figure 1).
  • the surface of these portions of sphere is meshed (in a chosen way which can correspond to the Gauss-Legendre spherical mesh as described later) and microphone capsules MIC are arranged on this mesh in a number which can also be determined by the aforementioned Gauss-Legendre mesh.
  • These MIC capsules are connected to a processing unit UT (visible in the upper part of FIG. 1) to receive the picked up sound signals and process them by matrixing in ambisonic representation as described in detail below.
  • the DIS device may further include a SUP fixing support to be fixed for example:
  • the invention thus proposes a capture device consisting of one or more elementary networks of PCM capsules which can be distributed for example in a building room.
  • the geometry of an elementary lattice is a fraction of a sphere (1/8 or 1/4) which naturally fits into the upper corners of a room so as to match its architecture, or even on an edge of a room. '' intersection between a ceiling and a wall, in order to take advantage of reflections on such walls.
  • the set of capture systems obtained is thus very discreet, considerably reduces the number of microphones while maintaining high directivity, and offers wide coverage of ambient sounds in the room. Indeed, the microphones being located in height, they benefit from a privileged point of capture on the whole of the room without being obstructed by the furniture or the users nearby.
  • the choice of a spherical geometry is advantageous in the sense that it makes it possible to obtain (by associating the microphones with an appropriate processing of antenna signals) a high directivity with a low number of sensors.
  • the processing of the antenna signals uses spherical harmonic functions in a so-called "ambisonic" context.
  • the conventional harmonic functions cannot be applied directly and they should be adapted to the geometry chosen for the array of microphones, according to one embodiment.
  • the choice of the positions of the microphones on the fraction of a sphere is to be optimized.
  • the optimal mesh must satisfy the best compromise between the number of sensors (to be minimized) and the quality of the information captured (which requires a minimum number of sensors). This is a problem of spatial sampling to adapt to a fraction of a sphere.
  • each spherical harmonic is described by its degree I and its order m. At degree I, there is (2I +1) spherical harmonics. Up to the maximum degree L, there are (L + 1) 2 harmonics.
  • a spherical array of microphones is usually used to decompose a sound pressure field on the basis of the spherical harmonics, a representation of which is then illustrated in figure 2.
  • the pressure received by the image sensor is assumed to be the same as that received by the real sensor without the wall.
  • this is an example of an embodiment where the device is fixed between a wall and the ceiling, for example the Oxy and Oyz plans. It can also be fixed between two walls Oyz and Oxz and it is advisable to add the condition of symmetry m greater than or equal to 0, which is specific to Oxz, to the previous condition relating to Oyz (m greater than or equal to 0 AND m is even, OR m ⁇ 0 AND m is odd),
  • the signals of the microphones S1, S2, ..., SN are broken down (for example in the frequency domain) on the spherical harmonics, using an equation of the type :
  • - b is a vector containing the ambisonic components associated with the spherical harmonics respecting the aforementioned symmetries
  • - E is a diagonal (square) matrix containing radial equalization filters of each microphone
  • - Y is a matrix (not square because processing more signals from the capsules than ambisonic components at the output) containing the spherical harmonics respecting the aforementioned symmetries evaluated at the different directions of the microphones, and
  • - G is a diagonal (square) matrix containing integration weights of the Gauss-Legendre quadrature for each of the microphones of the eighth of a sphere,
  • s being a vector containing the signals coming from the microphones.
  • Such an embodiment amounts to applying a spherical Fourier transform (referenced SFT in FIG. 5).
  • the Spherical harmonic components are first estimated using the matrix equation above.
  • the vector obtained b is then weighted by a steering vector (or “steering vector”) which makes it possible to describe the listening in a steering direction.
  • the weighted components are summed to obtain the output signal.
  • Weightings wi m can be provided for a regular directivity function given by the following equation:
  • wim Y im (tetaO, phiO)
  • An example of a steering angle can be such that tetaO and phiO are 45 and 135 ° respectively (pointing in this example towards the interior of the room). These respective azimuth and elevation coordinates are given relative to the base formed by the intersections of the three planes Oxy, Oxz, Oyz.
  • the directivity function obtained is the superposition of eight directivity functions of a complete sphere pointing in symmetrical directions with respect to the Oxy, Oxz, Oyz planes together.
  • the invention finds many applications, in particular in:
  • an audio ambient intelligence system allowing from the analysis and recognition of ambient sounds to infer actions and to offer services to the inhabitants of a house or to people of a business (potentially applicable to any place of life);

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

The invention relates to a sound pickup device, comprising at least: - a plurality of microphone capsules distributed over a portion P of a sphere S, the sphere portion being circumscribed between two or three planes that are perpendicular to each other, the three planes intersecting at a point corresponding to the centre of the sphere S, and the two planes intersecting at a straight line passing through the centre of the sphere S, and the sphere portion P being such that P = n S/8, where n = 1.2, - a processing unit connected to the capsules to receive the signals picked up by the capsules, the processing unit being designed to: *matrix the signals in an ambisonic representation which retains only the ambisonic components associated with spherical harmonics which are symmetrical in relation to at least two of the aforementioned planes, and * process a matrix produced in this way in order to identify at least one sound source in a space surrounding the sphere portion and interpret a sound signal originating from said source.

Description

Description Description
Titre : Dispositif de captation sonore à réseau de Title: Network sound capture device
microphones perfectionné advanced microphones
[0001] L’invention concerne un équipement de captation acoustique destiné à être intégré dans un bâtiment, à usage domestique (contexte domotique - maison connectée) ou professionnel (contexte en entreprise). The invention relates to acoustic capture equipment intended to be integrated into a building, for domestic use (home automation context - connected home) or professional (business context).
[0002] Par exemple, cet équipement vise à capter les sons présents dans une pièce afin d’alimenter un système d’intelligence ambiante composé d’un ensemble de capteurs et d’actionneurs permettant de contrôler les paramètres (par exemple température, lumière, ou autres) et les appareils correspondants du bâtiment (objets connectés notamment tels qu’une installation de chauffage connectée, des lampes connectées, etc.). [0002] For example, this equipment aims to capture the sounds present in a room in order to feed an ambient intelligence system composed of a set of sensors and actuators making it possible to control the parameters (for example temperature, light, or others) and the corresponding building devices (connected objects in particular such as a connected heating installation, connected lamps, etc.).
[0003] La captation de sons ambiants dans ce contexte soulève plusieurs problèmes. [0003] Capturing ambient sounds in this context raises several problems.
[0004] Les sons à capter peuvent être situés n’importe où dans une pièce. Il n’est pas possible de connaître leur position a priori et de positionner en conséquence l’équipement de captation sonore. Il faut donc disposer d’un équipement de captation capable de couvrir l’ensemble de l’espace de façon homogène. [0004] The sounds to be captured can be located anywhere in a room. It is not possible to know their position a priori and to position the sound recording equipment accordingly. It is therefore necessary to have capture equipment capable of covering the entire space homogeneously.
[0005] Pour autant, pour des raisons de coût et d’encombrement, il n’est pas envisageable de tapisser les surfaces de la pièce de microphones. Il faut donc aussi chercher à minimiser le nombre total de capteurs. [0005] However, for reasons of cost and space, it is not possible to line the surfaces of the room with microphones. It is therefore also necessary to seek to minimize the total number of sensors.
[0006] L’aspect visuel de la pièce peut aussi être un paramètre de contrainte. Il convient de ne pas dégrader l’esthétique de la pièce par une multitude d’équipements de captation. Il faut donc privilégier des équipements de captation discrets et compacts. [0006] The visual appearance of the part can also be a constraint parameter. The aesthetics of the room should not be degraded by a multitude of capture equipment. It is therefore necessary to favor discreet and compact capture equipment.
[0007] Aujourd’hui les solutions de captation acoustique ne répondent pas à l’ensemble de ces contraintes. Il s’agit d’une problématique de l’intelligence ambiante audio. [0007] Acoustic capture solutions today do not meet all of these constraints. This is an issue of ambient audio intelligence.
[0008] Concernant les objets connectés en général typiquement équipés de dispositifs de suivi (ou « monitoring ») audiovisuel embarquant une caméra et des microphones, le nombre de capteurs est insuffisant pour offrir une large couverture de captation acoustique. Ils sont limités aux sources sonores proches. Du moins pour les sources éloignées, le rapport signal à bruit (en raison du bruit ambiant et de la réverbération) est défavorable et ne permet pas une analyse fiable des signaux captés. [0008] Concerning connected objects in general typically equipped with audiovisual tracking devices (or "monitoring") embedding a camera and microphones, the number of sensors is insufficient to offer a wide acoustic capture coverage. They are limited to nearby sound sources. At least for distant sources, the signal-to-noise ratio (due to ambient noise and reverberation) is unfavorable and does not allow reliable analysis of the signals received.
[0009] On connaît également des assistants vocaux présentant aujourd’hui de bonnes performances de reconnaissance vocale afin d’améliorer la qualité d’interaction avec l’utilisateur. Ils sont dotés d’un réseau de microphones (souvent circulaire) afin de pouvoir focaliser la captation sur la source d’intérêt (c’est-à-dire l’utilisateur) en appliquant un traitement d’antenne (typiquement des méthodes de formation de voies ou « beamforming »). Ceci permet d’améliorer la qualité des signaux captés, et de s’affranchir des interactions avec les bruits environnants et de l’effet de salle. [0009] Voice assistants are also known today exhibiting good voice recognition performance in order to improve the quality of interaction with the user. They are equipped with an array of microphones (often circular) in order to be able to focus the capture on the source of interest (i.e. the user) by applying an antenna processing (typically training methods). of tracks or "beamforming"). This improves the quality of the signals received, and eliminates interactions with surrounding noise and the room effect.
[0010] Ce type de solutions n’est pas satisfaisant car il est optimisé pour une catégorie spécifique de sources: signaux vocaux, sources limitées à une portion de l’espace. Il n’est pas adapté à la captation de signaux large bande (ou hors de la bande passante de la voix). De plus, les assistants vocaux sont en général placés à hauteur d’homme (sur une table, typiquement) et leur captation est dégradée par la présence de sources de bruit à leur voisinage (télévision, radio, etc.) et par les meubles qui font obstacle à la propagation des sons. [0010] This type of solution is not satisfactory because it is optimized for a specific category of sources: voice signals, sources limited to a portion of the space. It is not suitable for picking up wideband signals (or outside voice bandwidth). In addition, voice assistants are generally placed at breast height (on a table, typically) and their capture is degraded by the presence of noise sources in their vicinity (television, radio, etc.) and by the furniture which obstruct the propagation of sound.
[0011] De manière plus générale, les réseaux de microphones qui peuvent être conçus pour le contexte de l’intelligence ambiante audio sont classiquement de type linéaire ou sphérique. La géométrie linéaire n’est pas optimale du fait qu’elle nécessite un nombre important de capteurs pour une captation efficace. De plus, ce type de géométrie (linéaire ou sphérique) impose de placer l’antenne au milieu de la pièce pour tirer profit de sa couverture omnidirectionnelle, ce qui est incompatible avec la contrainte de discrétion de l’équipement. D’un autre côté, en plaçant l’antenne acoustique près d’un mur, la géométrie est sous-optimale au sens où les microphones pointés vers le mur sont inutiles, et peuvent même être une source de perturbation (captation de réflexions indésirables par exemple). [0011] More generally, the microphone arrays which can be designed for the context of audio ambient intelligence are conventionally of the linear or spherical type. Linear geometry is not optimal because it requires a large number of sensors for efficient capture. In addition, this type of geometry (linear or spherical) requires placing the antenna in the middle of the room to take advantage of its omnidirectional coverage, which is incompatible with the constraint of discretion of the equipment. On the other hand, by placing the acoustic antenna near a wall, the geometry is suboptimal in the sense that the microphones pointed towards the wall are useless, and can even be a source of disturbance (capture of unwanted reflections by example).
[0012] L’invention vient améliorer la situation. [0013] Il est proposé un dispositif de captation sonore, comportant au moins :[0012] The invention improves the situation. A sound pickup device is proposed, comprising at least:
- une pluralité de capsules de microphone (par exemple des capsules électrostatiques ou piézoélectriques, des électrets ou des MEMS), réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1 ,2, - a plurality of microphone capsules (for example electrostatic or piezoelectric capsules, electrets or MEMS), distributed over a portion P of sphere S circumscribed between two or three planes perpendicular to each other, the three planes intersecting each other in one point corresponding to the center of the sphere S, and the two planes intersecting in a straight line passing through the center of the sphere S, and the portion P of sphere being such that P = n S / 8, with n = 1, 2,
- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour : a processing unit connected to the capsules to receive the signals picked up by the capsules, said processing unit being arranged to:
* matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et * matrix the signals according to an ambisonic representation in which only the ambisonic components associated with spherical harmonics symmetrical with respect to at least two of the aforementioned planes are retained, and
* traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source. * processing a matrix thus obtained to identify at least one sound source in a space surrounding the portion of the sphere, and interpret a sound signal from this source.
[0014] Ainsi, un tel dispositif peut s’insérer par exemple dans un coin supérieur d’une pièce ou entre un mur et un plafond, de façon discrète. En outre, un avantage que présente une telle réalisation est que le nombre de capsules à prévoir peut être réduit, par rapport à ce que requiert habituellement une réalisation basée sur une sphère pleine. En particulier, on utilise ici les réflexions du plafond et du ou des murs pour limiter le nombre d’harmoniques sphériques à prendre en compte et retenir ainsi un nombre limité de composantes ambisoniques. En effet, les parois supposées rigides induisent un grand nombre de composantes nulles. Seules les harmoniques respectant la symétrie peuvent être exploitées. [0014] Thus, such a device can be inserted, for example, in an upper corner of a room or between a wall and a ceiling, discreetly. In addition, an advantage of such an embodiment is that the number of capsules to be provided can be reduced, compared to what usually requires an embodiment based on a solid sphere. In particular, the reflections from the ceiling and from the wall (s) are used here to limit the number of spherical harmonics to be taken into account and thus retain a limited number of ambisonic components. Indeed, the supposedly rigid walls induce a large number of zero components. Only harmonics respecting symmetry can be used.
[0015] Dans une réalisation où n=1 et les capsules sont alors réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S. [0016] Il est possible ainsi de ne sélectionner que les harmoniques présentant de telles symétries. In an embodiment where n = 1 and the capsules are then distributed over an eighth of a sphere, the retained ambisonic components are associated with spherical harmonics symmetrical with respect to each of the three perpendicular planes and intersecting each other at the center of the sphere S. It is thus possible to select only the harmonics having such symmetries.
[0017] Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec les trois plans perpendiculaires précités et agissant comme des parois réfléchissantes d’ondes sonores. [0017] In such an embodiment, the device may further comprise a fixing support suitable for fixing the device in an upper corner of a room defined by two perpendicular walls and a ceiling overhanging the walls, the walls and the ceiling coinciding with the three aforementioned perpendicular planes and acting as reflective walls of sound waves.
[0018] Comme on le verra plus loin en référence à la figure 3, ces réflexions permettent de considérer des sources virtuelles, miroirs de sources réelles, qui peuvent contribuer à augmenter la finesse de détection d’une source par exemple. On a ainsi à la fois des sources virtuelles et des microphones virtuels qui viennent compléter les microphones réels et constituer alors une sphère complète. As will be seen below with reference to FIG. 3, these reflections make it possible to consider virtual sources, mirrors of real sources, which can help to increase the fineness of detection of a source for example. We thus have both virtual sources and virtual microphones which complete the real microphones and thus constitute a complete sphere.
[0019] Avec un huitième de sphère à considérer, les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré I et un ordre m (couples {l,m} de la figure 3 décrite plus loin), tels que : With an eighth of a sphere to be considered, the ambisonic components retained are associated with spherical harmonics having a degree I and an order m (couples {l, m} of Figure 3 described below), such as:
I et m sont pairs ET m supérieur ou égal à 0. I and m are even AND m greater than or equal to 0.
[0020] Dans une telle réalisation, le nombre de composantes ambisoniques retenues est égal à (A+1 )(A+2)/2 où A est la partie entière de la moitié d’un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues. In such an embodiment, the number of ambisonic components selected is equal to (A + 1) (A + 2) / 2 where A is the integer part of half of a maximum degree L of the spherical harmonics with which are associated the ambisonic components selected.
[0021] Comme on le verra dans les exemples de réalisation présentés plus loin, le degré maximum précité L est supérieur à 4 et de préférence supérieur à 6. As will be seen in the embodiments presented below, the aforementioned maximum degree L is greater than 4 and preferably greater than 6.
[0022] Dans la réalisation où n=2 et donc les capsules sont réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S. In the embodiment where n = 2 and therefore the capsules are distributed over a quarter of a sphere, the ambisonic components retained are associated with spherical harmonics symmetrical with respect to two perpendicular planes and intersecting each other in a straight line passing through the center of the sphere S.
[0023] Dans une telle réalisation, le dispositif peut comporter en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores. [0023] In such an embodiment, the device may further comprise a fixing support suitable for fixing the device in a corner of a room defined by a wall and a ceiling, perpendicular to each other, the wall and the ceiling coinciding with said two perpendicular planes and acting as reflecting walls of sound waves.
[0024] Dans l’une ou l’autre des réalisations précitées (n=1 ou 2), les capsules peuvent être positionnées sur un maillage sphérique de Gauss-Legendre, et dans ce cas, le dispositif comporte préférentiellement un nombre N de capsules donné par : In either of the aforementioned embodiments (n = 1 or 2), the capsules can be positioned on a Gauss-Legendre spherical mesh, and in this case, the device preferably comprises a number N of capsules given by :
N = 2n/8 (L+1 )2 (ou N=n/4 (L+1 )2), où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues. N = 2n / 8 (L + 1) 2 (or N = n / 4 (L + 1) 2 ), where L is a maximum degree of the spherical harmonics associated with the selected ambisonic components.
[0025] Dans une telle réalisation, l’unité de traitement peut être configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d’un matriçage du type : In such an embodiment, the processing unit can be configured to break down signals from the microphone capsules, on the spherical harmonics associated with the ambisonic components selected, using a matrix of the type:
b = C EYGs, où: b = C EYGs, where:
- b est une matrice vecteur contenant les composantes ambisoniques retenues, - b is a vector matrix containing the selected ambisonic components,
- C est une constante réelle (par exemple C=8 dans le cas d’un huitième de sphère présenté plus loin), - C is a real constant (for example C = 8 in the case of an eighth of a sphere presented later),
- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule, - E is a diagonal matrix containing radial equalization filters of each capsule,
- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et - Y is a matrix containing the spherical harmonics with which the selected ambisonic components are associated, and
- G est une matrice diagonale contenant des poids d'intégration d’un maillage de Gauss-Legendre pour chacune des capsules, - G is a diagonal matrix containing integration weights of a Gauss-Legendre mesh for each of the capsules,
s étant un vecteur contenant des signaux issus des capsules. [0026] Dans une telle réalisation, l’unité de traitement peut être configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans. Par exemple, on peut prévoir un balayage de cet angle du vecteur de braquage pour sonder les différentes sources d’une pièce. s being a vector containing signals from the capsules. In such an embodiment, the processing unit can be further configured to then weight the vector b by a steering vector given in azimuth and in elevation with respect to a mark defined by the center of the sphere S and the three intersections between the three planes. For example, it is possible to provide for a sweep of this angle of the steering vector to probe the different sources of a part.
[0027] Dans une réalisation, le dispositif peut comporter une pluralité de portions de sphères P = n S/8, avec n=1 ,2 (compactes ou séparées en formant une installation par exemple à plusieurs coques de portions de sphère), comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et l’unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l’identification d’au moins une source sonore dans un espace environnant les portions de sphère. In one embodiment, the device may comprise a plurality of portions of spheres P = n S / 8, with n = 1, 2 (compact or separated, forming an installation for example with several shells of portions of a sphere), comprising each a plurality of microphone capsules, distributed over each portion P of sphere S, and the processing unit is furthermore arranged to process the signals coming from the capsules of each portion of sphere separately by matrixing, and to refine by cross-checking on the matrices thus obtained the identification of at least one sound source in a space surrounding the portions of the sphere.
[0028] En effet, une telle réalisation basée sur plusieurs portions de sphère permet d’augmenter le rapport signal à bruit en recoupant les différents signaux traités issus des capsules de ces portions de sphère. Il est alors possible typiquement d’affiner une détection de source par exemple, ou encore de lever des ambiguïtés, ou pouvoir tirer parti d’un meilleur point de vue (plus exactement « point d’écoute ») sur la source cible. [0028] Indeed, such an embodiment based on several portions of a sphere makes it possible to increase the signal-to-noise ratio by intersecting the various processed signals from the capsules of these portions of the sphere. It is then typically possible to refine a source detection, for example, or to resolve ambiguities, or to be able to take advantage of a better point of view (more exactly "listening point") on the target source.
[0029] L’invention vise aussi un procédé mis en oeuvre par une unité de traitement d’un dispositif du type ci-avant, dans lequel : [0029] The invention also relates to a method implemented by a processing unit of a device of the above type, in which:
- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques, symétriques par rapport à au moins deux des plans précités, et - the signals picked up by the capsules are matrixed according to an ambisonic representation in which only the ambisonic components associated with spherical harmonics, symmetrical with respect to at least two of the aforementioned planes, are retained, and
* la matrice ainsi obtenue (typiquement un vecteur des composantes ambisoniques par exemple) est traitée pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source. On peut ainsi focaliser par exemple l’écoute dans une direction donnée. * the matrix thus obtained (typically a vector of ambisonic components for example) is processed to identify at least one sound source in a space surrounding the portion of the sphere, and to interpret a sound signal from this source. It is thus possible, for example, to focus the listening in a given direction.
[0030] Une telle réalisation peut être illustrée à titre d’exemple par l’ordinogramme de la figure 6, sur laquelle, suite à l’obtention des signaux issus des capsules à l’étape SO, il est procédé à un matriçage de ces signaux pour obtenir le vecteur b précité des composantes ambisoniques à l’étape S1. Ce vecteur b peut être pondéré à l’étape S2 par un vecteur de braquage comme présenté plus haut. Optionnellement, il est possible de prévoir à l’étape S3 un traitement de signaux issus de plusieurs portions de sphère P pour produire les vecteurs pondérés b(A), b(B), etc. propres à chaque portion A, B, etc. Une telle réalisation permet d’affiner la détection de source(s) à l’étape S4 pour une meilleure interprétation du signal sonore SIG issu de cette (ou ces) source(s). Ainsi, il est possible par exemple dans une réalisation où le dispositif est employé en tant qu’assistant vocal de reconnaître distinctement une commande COM à l’étape S5. Such an embodiment can be illustrated by way of example by the flowchart of FIG. 6, on which, following the obtaining of the signals from the capsules in step SO, a matrixing of these is carried out. signals to obtain the aforementioned vector b of the ambisonic components in step S1. This vector b can be weighted in step S2 by a steering vector as presented above. Optionally, it is possible to provide in step S3 a processing of signals originating from several portions of sphere P to produce the weighted vectors b (A), b (B), etc. specific to each portion A, B, etc. Such an embodiment makes it possible to refine the detection of source (s) in step S4 for a better interpretation of the sound signal SIG coming from this (or these) source (s). Thus, it is possible for example in an embodiment where the device is used as a voice assistant to distinctly recognize a COM command in step S5.
[0031] La présente invention vise aussi un programme informatique comportant des instructions pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur. [0031] The present invention is also aimed at a computer program comprising instructions for implementing the above method when this program is executed by a processor.
[0032] Il peut s’agir typiquement du processeur PROC d’une unité de traitement UT telle qu’illustrée à titre d’exemple sur la figure 7 comportant en outre : [0032] This may typically be the PROC processor of a processing unit UT such as illustrated by way of example in FIG. 7 further comprising:
- une interface d’entrée IN pour recevoir les signaux issus des capsules, - an input interface IN to receive signals from the capsules,
- une mémoire MEM stockant au moins les données d’instructions d’un tel programme informatique au sens de l’invention, - a MEM memory storing at least the instruction data of such a computer program within the meaning of the invention,
- le processeur PROC apte à coopérer avec la mémoire MEM pour lire ces instructions et exécuter ainsi le procédé illustré à titre d’exemple sur la figure 6, - the processor PROC able to cooperate with the memory MEM to read these instructions and thus execute the method illustrated by way of example in FIG. 6,
- et une interface de sortie OUT apte à délivrer par exemple le signal de commande COM interprété (ou alternativement le signal sonore issu de la source détectée, ou alternativement encore des signaux ambisoniques traités permettant d’identifier une source sonore générant le signal SIG). - And an output interface OUT able to deliver, for example, the interpreted COM control signal (or alternatively the sound signal from the detected source, or alternatively also processed ambisonic signals making it possible to identify a sound source generating the SIG signal).
Alternativement, la sortie OUT peut délivrer l’interprétation de(s) l’événement(s) sonore(s) (alarme, aboiement de chien, chute de personne, etc., ou toute autre situation caractérisée par les sons identifiés), et toute information associée à cet événement (localisation temporelle et/ou spatiale). Alternatively, the OUT output can deliver the interpretation of the sound event (s) (alarm, dog barking, person falling, etc., or any other situation characterized by the identified sounds), and any information associated with this event (temporal and / or spatial localization).
[0033] La présente invention vise aussi un support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé ci-avant lorsque ce programme est exécuté par un processeur. [0033] The present invention also relates to a non-transient recording medium readable by a computer on which a program is recorded for the implementation of the above method when this program is executed by a processor.
[0034] Comme indiqué précédemment, il peut s’agir de la mémoire MEM précitée. As indicated above, it can be the aforementioned MEM memory.
Brève description des dessins Brief description of the drawings
[0035] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : [0035] Other characteristics, details and advantages will become apparent on reading the detailed description below, and on analyzing the accompanying drawings, in which:
Fig. 1 Fig. 1
[0036] [Fig. 1 ] montre des exemples de réalisation de portions de sphère. [0036] [Fig. 1] shows embodiments of portions of a sphere.
Fig. 2 Fig. 2
[0037] [Fig. 2] montre les directivités des harmoniques sphériques jusqu'au degré maximum L= 5, les deux nuances de couleur représentent les valeurs positives et négatives respectivement. [0037] [Fig. 2] shows the directivities of spherical harmonics up to the maximum degree L = 5, the two shades of color represent the positive and negative values respectively.
Fig. 3 Fig. 3
[0038] [Fig. 3] illustre le principe d'une source et d'un microphone image dans le cas d’une réflexion acoustique (sur une paroi telle qu’un mur, un plafond). [0038] [Fig. 3] illustrates the principle of a source and an image microphone in the case of acoustic reflection (on a wall such as a wall, a ceiling).
Fig. 4 Fig. 4
[0039] [Fig. 4] illustre un réseau de microphones réels sur une fraction de 1/8 sphère et des microphones images (grisés) générés grâce aux réflexions sur parois rigides. [0039] [Fig. 4] illustrates an array of real microphones on a fraction of 1/8 sphere and image microphones (grayed out) generated by reflections on rigid walls.
Fig. 5 Fig. 5
[0040] [Fig. 5] montre un exemple de formation de voies utilisant les harmoniques sphériques. [0040] [Fig. 5] shows an example of channel formation using spherical harmonics.
Fig. 6 [0041] [Fig. 6] montre un exemple d’ordinogramme définissant une succession d’étapes d’un procédé selon un mode de réalisation. Fig. 6 [0041] [Fig. 6] shows an example of a flowchart defining a succession of steps of a method according to one embodiment.
Fig. 7 Fig. 7
[0042] [Fig. 7] montre un exemple de structure d’une unité de traitement UT d’un dispositif selon un mode de réalisation. [0042] [Fig. 7] shows an example of the structure of a processing unit UT of a device according to one embodiment.
Description des modes de réalisation Description of embodiments
[0043] Il est maintenant fait référence à la figure 1 sur laquelle un dispositif au sens de l’invention DIS se présente sous la forme d’un quart de sphère (partie supérieure de la figure 1 ) ou sous la forme d’un huitième de sphère (partie inférieure de la figure 1 ). La surface de ces portions de sphère est maillée (d’une façon choisie qui peut correspondre au maillage sphérique de Gauss-Legendre comme décrit plus loin) et des capsules de microphone MIC sont disposées sur ce maillage en un nombre qui peut être déterminé aussi par le maillage précité de Gauss-Legendre. Ces capsules MIC sont reliées à une unité de traitement UT (visible sur la partie supérieure de la figure 1 ) pour recevoir les signaux sonores captés et les traiter par matriçage en représentation ambisonique comme décrit en détails plus loin. Reference is now made to Figure 1 in which a device within the meaning of the invention DIS is in the form of a quarter sphere (upper part of Figure 1) or in the form of an eighth sphere (lower part of figure 1). The surface of these portions of sphere is meshed (in a chosen way which can correspond to the Gauss-Legendre spherical mesh as described later) and microphone capsules MIC are arranged on this mesh in a number which can also be determined by the aforementioned Gauss-Legendre mesh. These MIC capsules are connected to a processing unit UT (visible in the upper part of FIG. 1) to receive the picked up sound signals and process them by matrixing in ambisonic representation as described in detail below.
[0044] Par ailleurs, comme visible aussi sur la figure 1 , le dispositif DIS peut comporter en outre un support de fixation SUP pour être fixé par exemple : Furthermore, as also visible in Figure 1, the DIS device may further include a SUP fixing support to be fixed for example:
- dans un coin supérieur d’une pièce (entre deux murs perpendiculaires et un plafond) pour un huitième de sphère tel qu’illustré au bas de la figure 1 , ou encore - in an upper corner of a room (between two perpendicular walls and a ceiling) for an eighth of a sphere as illustrated at the bottom of Figure 1, or again
- sur une arête entre un mur et le plafond pour un quart de sphère tel qu’illustré en haut de la figure 1. - on an edge between a wall and the ceiling for a quarter-sphere as shown at the top of Figure 1.
[0045] L’invention propose ainsi un dispositif de captation constitué d’un ou de plusieurs réseaux élémentaires de capsules MIC qui peuvent être distribués par exemple dans une pièce de bâtiment. La géométrie d’un réseau élémentaire est une fraction de sphère (1/8 ou 1/4) qui vient naturellement s’insérer dans les coins supérieurs d’une pièce de façon à en épouser l’architecture, ou encore sur une arête d’intersection entre un plafond et un mur, afin de tirer avantage des réflexions sur de telles parois. L’ensemble des systèmes de captation obtenu est ainsi très discret, permet de réduire considérablement le nombre de microphones tout en maintenant une directivité élevée, et offre une couverture large des sons ambiants de la pièce. En effet les microphones étant situés en hauteur, ils bénéficient d’un point de captation privilégié sur l’ensemble de la pièce sans être gênés par les meubles ou les utilisateurs à proximité. The invention thus proposes a capture device consisting of one or more elementary networks of PCM capsules which can be distributed for example in a building room. The geometry of an elementary lattice is a fraction of a sphere (1/8 or 1/4) which naturally fits into the upper corners of a room so as to match its architecture, or even on an edge of a room. '' intersection between a ceiling and a wall, in order to take advantage of reflections on such walls. The set of capture systems obtained is thus very discreet, considerably reduces the number of microphones while maintaining high directivity, and offers wide coverage of ambient sounds in the room. Indeed, the microphones being located in height, they benefit from a privileged point of capture on the whole of the room without being obstructed by the furniture or the users nearby.
[0046] Même si le positionnement en hauteur améliore la couverture de la pièce, il faut prévoir qu’un seul réseau ne peut couvrir toute la pièce. Notamment si cette dernière présente une géométrie complexe (présence de recoins, zones d’ombre acoustique sans onde directe), il est préférable de disposer plusieurs réseaux. Un mode de réalisation porte alors sur un traitement exploitant de façon conjointe les informations issues des différents réseaux de capteurs pour acquérir une représentation fiable et complète de la scène sonore captée. Obtenir plusieurs résultats de présence de source(s) sonore(s) possible(s) permet de recouper ces informations et améliorer ainsi in fine un rapport signal à bruit de la détection de source(s). [0046] Even if the height positioning improves the coverage of the room, it is necessary to provide that a single network cannot cover the entire room. Particularly if the latter has a complex geometry (presence of recesses, acoustic shadow zones without a direct wave), it is preferable to have several networks. An embodiment then relates to a processing jointly exploiting the information coming from the various networks of sensors to acquire a reliable and complete representation of the sound scene picked up. Obtaining several results of the presence of possible sound source (s) makes it possible to cross-check this information and thus ultimately improve a signal-to-noise ratio of the detection of the source (s).
[0047] De plus, le choix d’une géométrie sphérique est avantageux au sens où il permet d’obtenir (en associant les microphones à un traitement approprié de signaux d’antenne) une directivité élevée avec un faible nombre de capteurs. En effet, dans le cas d’une géométrie sphérique, le traitement des signaux d’antenne utilise des fonctions harmoniques sphériques en contexte dit « ambisonique ». Dans le cas où on se limite à une fraction de sphère, les fonctions harmoniques conventionnelles ne peuvent pas être appliquées directement et il convient de les adapter à la géométrie choisie pour le réseau de microphones, selon un mode de réalisation. [0047] In addition, the choice of a spherical geometry is advantageous in the sense that it makes it possible to obtain (by associating the microphones with an appropriate processing of antenna signals) a high directivity with a low number of sensors. In fact, in the case of a spherical geometry, the processing of the antenna signals uses spherical harmonic functions in a so-called "ambisonic" context. In the case where we are limited to a fraction of a sphere, the conventional harmonic functions cannot be applied directly and they should be adapted to the geometry chosen for the array of microphones, according to one embodiment.
[0048] En outre, le choix des positions des microphones sur la fraction de sphère est à optimiser. Le maillage optimal doit satisfaire le meilleur compromis entre le nombre de capteurs (à minimiser) et la qualité de l’information captée (qui impose un nombre minimal de capteurs). Il s’agit d’un problème d’échantillonnage spatial à adapter à une fraction de sphère. In addition, the choice of the positions of the microphones on the fraction of a sphere is to be optimized. The optimal mesh must satisfy the best compromise between the number of sensors (to be minimized) and the quality of the information captured (which requires a minimum number of sensors). This is a problem of spatial sampling to adapt to a fraction of a sphere.
[0049] La famille des harmoniques sphériques forme une base. Chaque harmonique sphérique est décrite par son degré I et son ordre m. Au degré I, il y a (2I +1 ) harmoniques sphériques. Jusqu’au degré maximum L, il y a (L+1 )2 harmoniques. En contexte ambisonique, un réseau sphérique de microphones sert habituellement à décomposer un champ de pression acoustique sur la base des harmoniques sphériques dont une représentation est alors illustrée sur la figure 2. Chaque ligne de la figure 2 est relative à un degré I et la représentation jusqu’au degré L qui inclut toutes les composantes jusqu’à ce degré. Ainsi, pour le degré l=0 on a une composante seulement. Pour le degré 1=1 , on a 1 (première ligne) + 3 (deuxième ligne) = 4 composantes ambisoniques. Pour le degré l=2, on a 9 composantes, etc. The family of spherical harmonics forms a basis. Each spherical harmonic is described by its degree I and its order m. At degree I, there is (2I +1) spherical harmonics. Up to the maximum degree L, there are (L + 1) 2 harmonics. In an ambisonic context, a spherical array of microphones is usually used to decompose a sound pressure field on the basis of the spherical harmonics, a representation of which is then illustrated in figure 2. Each line of figure 2 relates to a degree I and the representation up to degree L which includes all components up to that degree. Thus, for degree l = 0 we have only one component. For degree 1 = 1, we have 1 (first line) + 3 (second line) = 4 ambisonic components. For degree l = 2, we have 9 components, etc.
[0050] En règle générale, si le réseau est conçu pour effectuer une décomposition jusqu'au degré maximum L des composantes ambisoniques), il doit être capable d'estimer Q = (L+1 )2 composantes. Pour une décomposition précise, le nombre de microphones, N, doit être supérieur ou égal au nombre Q de composantes à estimer. As a general rule, if the network is designed to perform a decomposition up to the maximum degree L of the ambisonic components), it must be able to estimate Q = (L + 1) 2 components. For an accurate decomposition, the number of microphones, N, must be greater than or equal to the number Q of components to be estimated.
[0051] La figure 2 présente les directivités des harmoniques sphériques jusqu'au degré maximum L = 5. Elles sont arrangées en pyramide par ordre croissant de degré I et d’ordre m : {I ; m}. FIG. 2 presents the directivities of spherical harmonics up to the maximum degree L = 5. They are arranged in a pyramid in increasing order of degree I and of order m: {I; m}.
[0052] Pour la mise en oeuvre du mode de réalisation décrit ici, seules sont retenues les composantes des harmoniques présentant une symétrie par rapport à un plan de réflexion de l’onde sonore (un mur ou le plafond). On note ces différents plans Oxy (le plafond), Oxz (un mur) et Oyz (un autre mur dans le cas où 1/8ème de sphère est utilisé, plutôt qu’un quart de sphère). For the implementation of the embodiment described here, only the components of the harmonics having symmetry with respect to a plane of reflection of the sound wave (a wall or the ceiling) are retained. We note these different planes Oxy (the ceiling), Oxz (a wall) and Oyz (another wall in the case where 1 / 8th of a sphere is used, rather than a quarter of a sphere).
[0053] La raison de cette sélection de composantes s’explique comme suit, en référence à la figure 3. La situation à gauche de la figure 3 où une source (par exemple un haut-parleur HP) et un capteur (un microphone MIC) sont placés à proximité d'une paroi acoustiquement rigide (référencée MUR sur la figure 3). La pression acoustique au capteur est la somme de : The reason for this selection of components is explained as follows, with reference to Figure 3. The situation to the left of Figure 3 where a source (for example a loudspeaker) and a sensor (a microphone MIC ) are placed near an acoustically rigid wall (referenced MUR in Figure 3). The sound pressure at the sensor is the sum of:
- la pression rayonnée par la source sans la paroi, et - the pressure radiated by the source without the wall, and
- la pression issue de la réflexion sur la paroi rigide. - the pressure resulting from the reflection on the rigid wall.
[0054] Il est également possible de résoudre mathématiquement les équations liées à cette configuration en supprimant la paroi et en ajoutant une source et un microphone image, symétriques par rapport à la paroi, comme montré sur la partie droite de la figure 3. Il s’agit alors d’ « images acoustiques », la paroi agissant comme un « miroir » de l’onde sonore. It is also possible to mathematically solve the equations linked to this configuration by removing the wall and adding a source and a image microphone, symmetrical with respect to the wall, as shown on the right side of FIG. 3. These are then “acoustic images”, the wall acting as a “mirror” of the sound wave.
[0055] La pression reçue par le capteur image est supposée la même que celle reçue par le capteur réel sans la paroi. The pressure received by the image sensor is assumed to be the same as that received by the real sensor without the wall.
[0056] La symétrie par rapport au plan Oyz (un mur typiquement) impose que les harmoniques sphériques de degré I et d'ordre m tels que: Symmetry with respect to the Oyz plane (typically a wall) requires that the spherical harmonics of degree I and of order m such as:
m supérieur ou égal à 0 ET m est pair, OU m greater than or equal to 0 AND m is even, OR
m < 0 ET m est impair m <0 AND m is odd
(et présentant donc une symétrie par rapport au plan Oyz) soient déjà une première sélection des harmoniques dont les composantes sont retenues. (and therefore presenting symmetry with respect to the Oyz plane) are already a first selection of the harmonics whose components are retained.
[0057] En outre, la symétrie par rapport au plan Oxy (le plafond typiquement) impose que les harmoniques sphériques de degré I et d'ordre m tels que : In addition, the symmetry with respect to the Oxy plane (the ceiling typically) requires that the spherical harmonics of degree I and of order m such as:
la somme I + m est paire the sum I + m is even
(et présentant donc une symétrie par rapport au plan Oxy) soient ensuite une deuxième sélection des harmoniques dont les composantes sont à retenir. (and therefore having a symmetry with respect to the Oxy plane) are then a second selection of the harmonics whose components are to be retained.
[0058] Ainsi, pour un quart de sphère (s’insérant dans une intersection entre deux plans), les conditions peuvent être : Thus, for a quarter of a sphere (fitting into an intersection between two planes), the conditions can be:
m supérieur ou égal à 0 ET m est pair OU m < 0 ET m est impair m greater than or equal to 0 AND m is even OR m <0 AND m is odd
ET (I + m) est pair. AND (I + m) is even.
[0059] Bien entendu, il s’agit d’un exemple de réalisation où le dispositif est fixé entre un mur et le plafond, comme par exemple les plans Oxy et Oyz. Il peut être fixé aussi entre deux murs Oyz et Oxz et il convient d’ajouter la condition de symétrie m supérieur ou égal à 0, qui est propre à Oxz, à la condition précédente portant sur Oyz (m supérieur ou égal à 0 ET m est pair, OU m < 0 ET m est impair), Of course, this is an example of an embodiment where the device is fixed between a wall and the ceiling, for example the Oxy and Oyz plans. It can also be fixed between two walls Oyz and Oxz and it is advisable to add the condition of symmetry m greater than or equal to 0, which is specific to Oxz, to the previous condition relating to Oyz (m greater than or equal to 0 AND m is even, OR m <0 AND m is odd),
ce qui revient finalement à m supérieur ou égal à 0 ET m est pair. which ultimately amounts to m greater than or equal to 0 AND m is even.
[0060] En tout état de cause, on retrouve le même nombre d’harmoniques sphériques à retenir, quels que soient les deux plans de symétrie choisis. [0061] Pour un huitième de sphère, il est possible de tenir compte en outre de la symétrie par rapport au plan Oxz (un autre mur typiquement), ce qui impose que les harmoniques sphériques de degré I et d'ordre m tels que: In any event, we find the same number of spherical harmonics to be retained, whatever the two planes of symmetry chosen. For an eighth of a sphere, it is also possible to take into account the symmetry with respect to the Oxz plane (another wall typically), which requires that the spherical harmonics of degree I and of order m such as:
m supérieur ou égal à 0 m greater than or equal to 0
(et présentant donc une symétrie par rapport au plan Oxz) soient, avec les conditions ci-dessus, les harmoniques dont les composantes sont retenues. (and therefore presenting a symmetry with respect to the Oxz plane) are, with the above conditions, the harmonics whose components are retained.
[0062] Ces conditions pour un huitième de sphère se résument, in fine, comme suit: These conditions for an eighth of a sphere can be summed up, in fine, as follows:
I est pair ET m supérieur ou égal à 0 ET m est pair. I is even AND m greater than or equal to 0 AND m is even.
[0063] Pour un degré maximum fixé et noté L, le nombre total d'harmoniques respectant les symétries par rapport aux plans Oxy, Oxz, Oyz conjointement est donné par: [Math. 1 ] For a fixed maximum degree denoted L, the total number of harmonics respecting the symmetries with respect to the Oxy, Oxz, Oyz planes jointly is given by: [Math. 1]
[0064] [0064]
[0065] [L/2] désignant la partie entière de L/2. [0065] [L / 2] designating the integer part of L / 2.
[0066] Ainsi, en suivant un raisonnement d'images acoustiques (comme vu précédemment en référence à la figure 3), il est possible d’utiliser une fraction de sphère 1/8 ou 1/4 (ou encore possiblement 1/2 mais sans réel intérêt pour une application dans un bâtiment comme présenté plus haut), et de placer des parois acoustiquement rigides dans les plans appropriés pour générer des microphones images. On peut alors utiliser le réseau sphérique de microphones résultant pour décomposer sur la base des harmoniques sphériques encore représentés dans cette configuration, c’est-à-dire ceux respectant les conditions énoncées précédemment sur I et m. Par ailleurs, les microphones images reçoivent la même pression que les microphones réels correspondants. En conséquence, lors de la projection, les composantes sur les harmoniques sphériques qui ne respectent pas les symétries ci-dessus (conditions sur I et m) sont considérées nulles. Par exemple, sur la figure 2, jusqu'au degré maximum L=5, on a seulement six harmoniques sphériques qui respectent ces conditions et qui sont symétriques par rapport aux plans Oxy, Oxz, Oyz conjointement et il suffirait alors au minimum de N = 6 microphones sur 1/8 de sphère (en baffle) pour pouvoir estimer les composantes du champ acoustique sur ces harmoniques. Thus, by following a reasoning of acoustic images (as seen previously with reference to FIG. 3), it is possible to use a fraction of a sphere 1/8 or 1/4 (or even possibly 1/2 but of no real interest for an application in a building as presented above), and to place acoustically rigid walls in the appropriate planes to generate image microphones. The resulting spherical array of microphones can then be used to decompose on the basis of the spherical harmonics still represented in this configuration, that is to say those complying with the conditions stated previously on I and m. Furthermore, the image microphones receive the same pressure as the corresponding real microphones. Consequently, during the projection, the components on the spherical harmonics which do not respect the above symmetries (conditions on I and m) are considered to be zero. For example, in figure 2, up to the maximum degree L = 5, there are only six spherical harmonics which meet these conditions and which are symmetrical with respect to the planes Oxy, Oxz, Oyz jointly and it would then suffice for the minimum of N = 6 microphones on 1/8 of a sphere (in baffle) to be able to estimate the components of the acoustic field on these harmonics.
[0067] Dans le contexte de portions de sphère avec réflexions, il est choisi en particulier d’effectuer un maillage comme illustré sur la figure 4, dit « maillage sphérique de Gauss-Legendre », lequel donne le nombre et la position des microphones sur une sphère pour estimer la décomposition jusqu'à un degré maximum choisi L. En choisissant L impair, le maillage résultant respecte les symétries par rapport aux plans Oxy, Oxz, Oyz conjointement. Par exemple, la figure 4 montre un maillage à N = 72 microphones, capable de faire une décomposition précise jusqu'au degré maximum L = 5 (avec N=2(L+1 )2 pour respecter le maillage précité de Gauss-Legendre qui impose le double du nombre de capsules, minimal, requis (L+1 )2). In the context of portions of a sphere with reflections, it is chosen in particular to carry out a mesh as illustrated in FIG. 4, called "Gauss-Legendre spherical mesh", which gives the number and the position of the microphones on a sphere to estimate the decomposition up to a selected maximum degree L. By choosing L odd, the resulting mesh respects the symmetries with respect to the planes Oxy, Oxz, Oyz jointly. For example, figure 4 shows a mesh with N = 72 microphones, capable of making a precise decomposition up to the maximum degree L = 5 (with N = 2 (L + 1) 2 to respect the aforementioned Gauss-Legendre mesh which imposes double the number of capsules, minimum, required (L + 1) 2 ).
[0068] Ici, en utilisant seulement les neuf microphones (neuf points illustrés par une nuance différente sur la figure 4) et à l'aide des parois en grisées sur la figure, il est possible de générer soixante-trois microphones images. Du fait des symétries, seules six composantes sont ici non nulles. Here, using only the nine microphones (nine points illustrated by a different shade in FIG. 4) and using the walls in gray in the figure, it is possible to generate sixty-three image microphones. Because of the symmetries, only six components are here non-zero.
[0069] Comme illustré sur la figure 5, les signaux des microphones S1 , S2, ..., SN, sont décomposés (par exemple dans le domaine des fréquences) sur les harmoniques sphériques, à l'aide d’une équation du type : As illustrated in Figure 5, the signals of the microphones S1, S2, ..., SN, are broken down (for example in the frequency domain) on the spherical harmonics, using an equation of the type :
b = 8 EYGs, où: b = 8 EYGs, where:
- b est un vecteur contenant les composantes ambisoniques associées aux harmoniques sphériques respectant les symétries précitées, - b is a vector containing the ambisonic components associated with the spherical harmonics respecting the aforementioned symmetries,
- E est une matrice diagonale (carrée) contenant des filtres d'égalisation radiale de chaque microphone, - E is a diagonal (square) matrix containing radial equalization filters of each microphone,
- Y est une matrice (non carrée car traitant plus de signaux issus des capsules que de composantes ambisoniques en sortie) contenant les harmoniques sphériques respectant les symétries précitées évaluées aux différentes directions des microphones, et - Y is a matrix (not square because processing more signals from the capsules than ambisonic components at the output) containing the spherical harmonics respecting the aforementioned symmetries evaluated at the different directions of the microphones, and
- G est une matrice diagonale (carrée) contenant des poids d'intégration de la quadrature de Gauss-Legendre pour chacun des microphones du huitième de sphère, - G is a diagonal (square) matrix containing integration weights of the Gauss-Legendre quadrature for each of the microphones of the eighth of a sphere,
s étant un vecteur contenant les signaux issus des microphones. [0070] Une telle réalisation revient à appliquer une transformée de Fourier sphérique (référencée SFT sur la figure 5). s being a vector containing the signals coming from the microphones. Such an embodiment amounts to applying a spherical Fourier transform (referenced SFT in FIG. 5).
[0071] Pour la formation de voie (ou « beamforming ») dans le domaine des harmoniques sphériques afin d’identifier une ou plusieurs sources sonores dans un espace environnant la portion de sphère, et ainsi interpréter un signal sonore issu de cette source, les composantes harmoniques sphériques sont tout d'abord estimées à l'aide de l’équation matricielle ci-dessus. Le vecteur obtenu b est ensuite pondéré par un vecteur de braquage (ou « steering vector ») qui permet de décrire l'écoute dans une direction de braquage. Finalement, les composantes pondérées sont sommées pour obtenir le signal de sortie. For channel formation (or "beamforming") in the field of spherical harmonics in order to identify one or more sound sources in a space surrounding the portion of the sphere, and thus interpret a sound signal from this source, the Spherical harmonic components are first estimated using the matrix equation above. The vector obtained b is then weighted by a steering vector (or “steering vector”) which makes it possible to describe the listening in a steering direction. Finally, the weighted components are summed to obtain the output signal.
[0072] On peut prévoir des pondérations wim pour une fonction de directivité régulière données par l'équation suivante: Weightings wi m can be provided for a regular directivity function given by the following equation:
[Math. 2] [Math. 2]
[0073] wim = Y im (tétaO, phiO) [0073] wim = Y im (tetaO, phiO)
[0074] Un exemple d’angle de braquage peut être tel que tétaO et phiO sont 45 et 135° respectivement (pointant dans cet exemple vers l’intérieur de la pièce). Ces coordonnées respectives d’azimut et d’élévation sont données relativement à la base formée par les intersections des trois plans Oxy,Oxz,Oyz. [0074] An example of a steering angle can be such that tetaO and phiO are 45 and 135 ° respectively (pointing in this example towards the interior of the room). These respective azimuth and elevation coordinates are given relative to the base formed by the intersections of the three planes Oxy, Oxz, Oyz.
[0075] Pour l’exemple du huitième de sphère, la fonction de directivité obtenue est la superposition de huit fonctions de directivités d'une sphère complète pointant dans les directions symétriques par rapports aux plans Oxy,Oxz,Oyz conjointement. Cette superposition peut toutefois se présenter comme un désavantage pour des degrés L faibles (L<6) et L = 7 peut se présenter comme un bon compromis entre nombre de capsules d’une part et qualité de la décomposition sur harmoniques sphériques. For the example of the eighth of a sphere, the directivity function obtained is the superposition of eight directivity functions of a complete sphere pointing in symmetrical directions with respect to the Oxy, Oxz, Oyz planes together. This superposition can however appear as a disadvantage for weak degrees L (L <6) and L = 7 can appear as a good compromise between number of capsules on the one hand and quality of the decomposition on spherical harmonics.
[0076] Dans ce cas, on prévoit habituellement au minimum N=(L+1 )2 capsules pour une qualité de captation correcte, soit N=64. Néanmoins, sur un huitième de sphère seulement, il convient de diviser par 8 ce nombre, soit le nombre utile N=8. In this case, a minimum of N = (L + 1) 2 capsules is usually provided for a correct capture quality, ie N = 64. However, on only one eighth of a sphere, this number should be divided by 8, i.e. the useful number N = 8.
[0077] Néanmoins, pour respecter le maillage sphérique de Gauss-Legendre précité, il convient de multiplier ce nombre N par 2, de sorte que dans l’exemple de réalisation précité à L=7, on peut prévoir préférentiellement N=16 capsules ou plus. However, to comply with the aforementioned Gauss-Legendre spherical mesh, this number N should be multiplied by 2, so that in the example of the aforementioned embodiment at L = 7, provision may preferably be made for N = 16 or more capsules.
[0078] Dans ce cas, comme indiqué plus haut, le nombre de composantes ambisoniques retenues est Q=(3+1 ) (3+2)/2 = 10. In this case, as indicated above, the number of ambisonic components retained is Q = (3 + 1) (3 + 2) / 2 = 10.
[0079] Ainsi l’invention réunit les avantages suivants: [0079] Thus the invention combines the following advantages:
- une prise de son homogène sur l’ensemble d’une pièce, - homogeneous sound recording over the entire room,
- la capacité d’extraire une source sonore dans une direction donnée grâce au traitement de signaux d’antenne (débruitage et déréverbération pour améliorer le rapport signal-utile-à-bruit), - the ability to extract a sound source in a given direction thanks to the processing of antenna signals (denoising and dereverberation to improve the signal-to-useful-to-noise ratio),
- un dispositif résultant de cette conception qui se présente compact et discret, intégré et s’adaptant à la configuration d’une pièce classique. - a device resulting from this design which is compact and discreet, integrated and adapted to the configuration of a classic room.
[0080] L’invention trouve de nombreuses applications, notamment dans : The invention finds many applications, in particular in:
- la domotique utilisant des objectés connectés notamment pour un système d’intelligence ambiante audio permettant à partir de l’analyse et reconnaissance des sons ambiants d’inférer des actions et de proposer des services aux habitants d’une maison ou de personnes d’une entreprise (potentiellement applicable à n’importe quel lieu de vie) ; - home automation using connected objects, in particular for an audio ambient intelligence system allowing from the analysis and recognition of ambient sounds to infer actions and to offer services to the inhabitants of a house or to people of a business (potentially applicable to any place of life);
- les assistants vocaux avec un dispositif de captation de sons ambiants possiblement utilisé pour capter la voix des utilisateurs et ainsi alimenter un assistant vocal ; - voice assistants with an ambient sound capture device possibly used to capture the voices of users and thus supply a voice assistant;
- les systèmes de surveillance audio pour la détection d’intrusions (bris de glace), des alarmes, les bruits de chute de personnes, ou autres. - audio surveillance systems for the detection of intrusions (broken glass), alarms, noise from falling people, or others.

Claims

Revendications Claims
[Revendication 1] Dispositif de captation sonore, comportant au moins : [Claim 1] Sound recording device, comprising at least:
- une pluralité de capsules de microphone, réparties sur une portion P de sphère S circonscrite entre deux ou trois plans perpendiculaires entre eux, les trois plans se coupant entre eux en un point correspondant au centre de la sphère S, et les deux plans se coupant en une droite passant par le centre de la sphère S, et la portion P de sphère étant telle que P = n S/8, avec n=1 ,2, - a plurality of microphone capsules, distributed over a portion P of sphere S circumscribed between two or three planes perpendicular to each other, the three planes intersecting each other at a point corresponding to the center of the sphere S, and the two planes intersecting in a line passing through the center of the sphere S, and the portion P of sphere being such that P = n S / 8, with n = 1, 2,
- une unité de traitement reliée aux capsules pour recevoir les signaux captés par les capsules, ladite unité de traitement étant agencée pour : a processing unit connected to the capsules to receive the signals picked up by the capsules, said processing unit being arranged to:
* matricer les signaux selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et * matrix the signals according to an ambisonic representation in which only the ambisonic components associated with spherical harmonics symmetrical with respect to at least two of the aforementioned planes are retained, and
* traiter une matrice ainsi obtenue pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source. * processing a matrix thus obtained to identify at least one sound source in a space surrounding the portion of the sphere, and interpret a sound signal from this source.
[Revendication 2] Dispositif selon la revendication 1 , dans lequel, pour n=1 , les capsules étant réparties sur un huitième de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à chacun des trois plans perpendiculaires et se coupant entre eux au centre de la sphère S. [Claim 2] Device according to claim 1, in which, for n = 1, the capsules being distributed over an eighth of a sphere, the retained ambisonic components are associated with spherical harmonics which are symmetrical with respect to each of the three planes perpendicular and intersecting between them in the center of the sphere S.
[Revendication 3] Dispositif selon la revendication 2, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin supérieur de pièce défini par deux murs perpendiculaires et un plafond surplombant les murs, les murs et le plafond coïncidant avec lesdits trois plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores. [Claim 3] A device according to claim 2, further comprising a fixing bracket adapted for fixing the device in an upper corner of a room defined by two perpendicular walls and a ceiling overhanging the walls, the walls and the ceiling coinciding with said three. perpendicular planes and acting as reflecting walls of sound waves.
[Revendication 4] Dispositif selon l’une des revendications 2 et 3, dans lequel les composantes ambisoniques retenues sont associées à des harmoniques sphériques ayant un degré I et un ordre m tels que : I et m sont pairs ET m supérieur ou égal à 0. [Claim 4] Device according to one of claims 2 and 3, in which the retained ambisonic components are associated with spherical harmonics having a degree I and an order m such that: I and m are even AND m greater than or equal to 0.
[Revendication 5] Dispositif selon la revendication 4, dans lequel le nombre de composantes ambisoniques retenues est supérieur ou égal à (A+1 )(A+2)/2 où A est la partie entière de la moitié d’un degré maximum L des harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues. [Claim 5] Device according to claim 4, wherein the number of retained ambisonic components is greater than or equal to (A + 1) (A + 2) / 2 where A is the integer part of half of a maximum degree L spherical harmonics with which the selected ambisonic components are associated.
[Revendication 6] Procédé selon la revendication 5, dans lequel le degré maximum L est supérieur à 4, et de préférence supérieur à 6. [Claim 6] A method according to claim 5, wherein the maximum degree L is greater than 4, and preferably greater than 6.
[Revendication 7] Dispositif selon la revendication 1 , dans lequel, pour n=2, les capsules étant réparties sur un quart de sphère, les composantes ambisoniques retenues sont associées à des harmoniques sphériques symétriques par rapport à deux plans perpendiculaires et se coupant entre eux en une droite passant par le centre de la sphère S. [Claim 7] Device according to claim 1, in which, for n = 2, the capsules being distributed over a quarter sphere, the retained ambisonic components are associated with spherical harmonics which are symmetrical with respect to two perpendicular planes and intersect with each other. in a straight line passing through the center of the sphere S.
[Revendication 8] Dispositif selon la revendication 7, comportant en outre un support de fixation adapté pour une fixation du dispositif en un coin de pièce défini par un mur et un plafond, perpendiculaires entre eux, le mur et le plafond coïncidant avec lesdits deux plans perpendiculaires et agissant comme des parois réfléchissantes d’ondes sonores. [Claim 8] Device according to claim 7, further comprising a fixing support adapted for fixing the device in a room corner defined by a wall and a ceiling, perpendicular to each other, the wall and the ceiling coinciding with said two planes. perpendicular and acting as reflective walls of sound waves.
[Revendication 9] Dispositif selon l'une des revendications précédentes, dans lequel les capsules sont positionnées sur un maillage sphérique de Gauss- Legendre, et le dispositif comporte un nombre N de capsules donné par [Claim 9] Device according to one of the preceding claims, in which the capsules are positioned on a Gauss-Legendre spherical mesh, and the device comprises a number N of capsules given by
N = 2n/8 (L+1 )2, où L est un degré maximum des harmoniques sphériques associées aux composantes ambisoniques retenues. N = 2n / 8 (L + 1) 2 , where L is a maximum degree of the spherical harmonics associated with the ambisonic components selected.
[Revendication 10] Dispositif selon la revendication 9, dans lequel l’unité de traitement est configurée pour décomposer des signaux issus des capsules de microphone, sur les harmoniques sphériques associés aux composantes ambisoniques retenues, à l'aide d’un matriçage du type : [Claim 10] Device according to claim 9, in which the processing unit is configured to decompose signals from the capsules. microphone, on the spherical harmonics associated with the selected ambisonic components, using a matrix of the type:
b = C EYGs, où: b = C EYGs, where:
- b est une matrice vecteur contenant les composantes ambisoniques retenues, - b is a vector matrix containing the selected ambisonic components,
- C est une constante réelle, - C is a real constant,
- E est une matrice diagonale contenant des filtres d'égalisation radiale de chaque capsule, - E is a diagonal matrix containing radial equalization filters of each capsule,
- Y est une matrice contenant les harmoniques sphériques auxquels sont associées les composantes ambisoniques retenues, et - Y is a matrix containing the spherical harmonics with which the selected ambisonic components are associated, and
- G est une matrice diagonale contenant des poids d'intégration d’un maillage de Gauss-Legendre pour chacune des capsules, - G is a diagonal matrix containing integration weights of a Gauss-Legendre mesh for each of the capsules,
s étant un vecteur contenant des signaux issus des capsules. s being a vector containing signals from the capsules.
[Revendication 11] Dispositif selon la revendication 10, pris en combinaison avec la revendication 6, dans lequel l’unité de traitement est configurée en outre pour pondérer ensuite le vecteur b par un vecteur de braquage donné en azimut et en élévation par rapport à un repère défini par le centre de la sphère S et les trois intersections entre les trois plans. [Claim 11] An apparatus according to claim 10, taken in combination with claim 6, wherein the processing unit is further configured to then weight the vector b by a steering vector given in azimuth and elevation with respect to a. coordinate system defined by the center of the sphere S and the three intersections between the three planes.
[Revendication 12] Dispositif selon l'une des revendications précédentes, comportant une pluralité de portions de sphères P = n S/8, avec n=1 ,2, comportant chacune une pluralité de capsules de microphone, réparties sur chaque portion P de sphère S, et dans lequel l’unité de traitement est agencée en outre pour traiter les signaux issus des capsules de chaque portion de sphère séparément par matriçage, et affiner par recoupement sur les matrices ainsi obtenues l’identification d’au moins une source sonore dans un espace environnant les portions de sphère. [Claim 12] Device according to one of the preceding claims, comprising a plurality of portions of spheres P = n S / 8, with n = 1, 2, each comprising a plurality of microphone capsules, distributed over each portion P of sphere S, and in which the processing unit is furthermore arranged to process the signals coming from the capsules of each portion of sphere separately by matrixing, and to refine by cross-checking on the matrices thus obtained the identification of at least one sound source in a space surrounding the portions of the sphere.
[Revendication 13] Procédé mis en œuvre par une unité de traitement d’un dispositif selon l'une des revendications précédentes, dans lequel : [Claim 13] A method implemented by a processing unit of a device according to one of the preceding claims, in which:
- les signaux captés par les capsules sont matricés selon une représentation ambisonique dans laquelle seules sont retenues les composantes ambisoniques associées à des harmoniques sphériques symétriques par rapport à au moins deux des plans précités, et - the signals picked up by the capsules are matrixed according to a representation ambisonics in which only the ambisonic components associated with spherical harmonics symmetrical with respect to at least two of the aforementioned planes are retained, and
* la matrice ainsi obtenue est traitée pour identifier au moins une source sonore dans un espace environnant la portion de sphère, et interpréter un signal sonore issu de cette source. * the matrix thus obtained is processed to identify at least one sound source in a space surrounding the portion of the sphere, and to interpret a sound signal originating from this source.
[Revendication 14] Programme informatique comportant des instructions pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par un processeur. [Claim 14] A computer program comprising instructions for implementing the method according to claim 13 when this program is executed by a processor.
[Revendication 15] Support d’enregistrement non transitoire lisible par un ordinateur sur lequel est enregistré un programme pour la mise en oeuvre du procédé selon la revendication 13 lorsque ce programme est exécuté par un processeur. [Claim 15] A non-transient, computer-readable recording medium on which is recorded a program for implementing the method according to claim 13 when this program is executed by a processor.
EP20739743.1A 2019-06-24 2020-05-20 Sound pickup device with improved microphone network Active EP3987822B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1906840A FR3096550B1 (en) 2019-06-24 2019-06-24 Advanced microphone array sound pickup device
PCT/FR2020/050852 WO2020260780A1 (en) 2019-06-24 2020-05-20 Sound pickup device with improved microphone network

Publications (2)

Publication Number Publication Date
EP3987822A1 true EP3987822A1 (en) 2022-04-27
EP3987822B1 EP3987822B1 (en) 2023-07-05

Family

ID=68425020

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20739743.1A Active EP3987822B1 (en) 2019-06-24 2020-05-20 Sound pickup device with improved microphone network

Country Status (4)

Country Link
US (1) US11895478B2 (en)
EP (1) EP3987822B1 (en)
FR (1) FR3096550B1 (en)
WO (1) WO2020260780A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11728906B1 (en) * 2022-04-20 2023-08-15 The United States Of America As Represented By The Secretary Of The Navy Constant beam width acoustic transducer design method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072878A (en) * 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US7782710B1 (en) * 2005-08-09 2010-08-24 Uzes Charles A System for detecting, tracking, and reconstructing signals in spectrally competitive environments
WO2015013058A1 (en) * 2013-07-24 2015-01-29 Mh Acoustics, Llc Adaptive beamforming for eigenbeamforming microphone arrays
US10770087B2 (en) * 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
FR3060830A1 (en) * 2016-12-21 2018-06-22 Orange SUB-BAND PROCESSING OF REAL AMBASSIC CONTENT FOR PERFECTIONAL DECODING
US10657974B2 (en) * 2017-12-21 2020-05-19 Qualcomm Incorporated Priority information for higher order ambisonic audio data
JP7072186B2 (en) * 2018-02-08 2022-05-20 株式会社オーディオテクニカ Microphone device and case for microphone device
EP3525482B1 (en) * 2018-02-09 2023-07-12 Dolby Laboratories Licensing Corporation Microphone array for capturing audio sound field

Also Published As

Publication number Publication date
EP3987822B1 (en) 2023-07-05
WO2020260780A1 (en) 2020-12-30
FR3096550B1 (en) 2021-06-04
FR3096550A1 (en) 2020-11-27
US20220256302A1 (en) 2022-08-11
US11895478B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
EP3807669B1 (en) Location of sound sources in a given acoustic environment
Cao et al. Acoustic vector sensor: reviews and future perspectives
US9191738B2 (en) Sound enhancement method, device, program and recording medium
Sun et al. Localization of distinct reflections in rooms using spherical microphone array eigenbeam processing
US11190900B2 (en) Spatial audio array processing system and method
US9100734B2 (en) Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
US9973848B2 (en) Signal-enhancing beamforming in an augmented reality environment
JP2017102488A (en) Systems and methods for source signal separation
US10708687B1 (en) System and method for including soundscapes in online mapping utilities
MXPA05002370A (en) System and method for beamforming using a microphone array.
Crocco et al. Audio tracking in noisy environments by acoustic map and spectral signature
McCormack et al. Parametric acoustic camera for real-time sound capture, analysis and tracking
Nair et al. Audiovisual zooming: what you see is what you hear
EP3987822B1 (en) Sound pickup device with improved microphone network
EP1230784B1 (en) Echo attenuating method and device
Blanco Galindo et al. Microphone array geometries for horizontal spatial audio object capture with beamforming
Bountourakis et al. Parametric spatial post-filtering utilising high-order circular harmonics with applications to underwater sound-field visualisation
Bianchi et al. High resolution imaging of acoustic reflections with spherical microphone arrays
WO2022106765A1 (en) Improved location of an acoustic source
US11997474B2 (en) Spatial audio array processing system and method
Blanco Galindo et al. Robust hypercardioid synthesis for spatial audio capture: microphone geometry, directivity and regularization
Bountourakis et al. Underwater soundfield visualisation using directionally constrained acoustic parameters
Riaz Adaptive blind source separation based on intensity vector statistics
Fu Visually-guided beamforming for a circular microphone array
Changxi et al. Audiovisual Zooming: What You See Is What You Hear

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211221

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230126

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTC Intention to grant announced (deleted)
INTG Intention to grant announced

Effective date: 20230414

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1585914

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602020013377

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230705

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1585914

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231105

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231106

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231005

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231105

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231006

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602020013377

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230705

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT