EP4698917A1

EP4698917A1 - Estimation perfectionnée d'une distance source-microphone et d'une géométrie de salle

Info

Publication number: EP4698917A1
Application number: EP24719192.7A
Authority: EP
Inventors: Srdan KITIC; Jérôme DANIEL
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2023-04-21
Filing date: 2024-04-19
Publication date: 2026-02-25
Also published as: FR3148129A1; WO2024218269A1; CN121057956A

Abstract

Il est proposé un traitement de données sonores acquises par un réseau de microphones, pour déterminer au moins une distance (d₀) entre le réseau de microphones (MIC) et une source sonore (S₀) dans un environnement comprenant au moins une paroi, le réseau de microphones étant séparé de ladite paroi d'une distance m, fixe, le procédé comportant: - Une estimation d'une expression temporelle d'un vecteur vélocité, - Une estimation, à partir de ladite expression temporelle du vecteur vélocité, d'au moins un retard d'arrivée du son au réseau de microphones selon un trajet acoustique ayant subi au moins une réflexion sur la paroi de l'environnement, et Une détermination de ladite distance (d₀) entre le réseau de microphones et la source sonore (S₀) en fonction de la distance m entre le réseau de microphones et ladite paroi. Des modes de réalisation proposent d'étiqueter finement les réflexions sonores à la suite de la détermination de ladite distance (d₀).

Description

Estimation perfectionnée d’une distance source-microphone et d’une géométrie de salle

La présente description concerne un traitement de signaux sonores notamment pour une détermination de géométrie de salle et/ou pour un suivi de trajectoires de sources sonores.
Des travaux récents ont démontré qu'une réverbération précoce (i.e. premières réflexions) correctement traitée peut améliorer les performances dans diverses tâches de traitement de signaux acoustiques. À condition que certains paramètres (par exemple les directions et les retards) des réflexions acoustiques puissent être récupérés à partir des signaux mesurés par un réseau de microphones, les méthodes dites "à échos" sont capables d'améliorer les performances de la localisation des sources, de la séparation et de la reconnaissance de la parole et des événements sonores. En outre, cela ouvre également la possibilité d'aborder certains problèmes non conventionnels tels que la localisation derrière des obstacles insonorisés, l'inférence de la géométrie de la pièce, l'estimation de la distance, l'identification des paramètres acoustiques de la pièce et l'adaptation acoustique.
Néanmoins, lorsque la source sonore est mobile, les paramètres des réflexions (même pour une réflexion sur la même surface) peuvent évoluer, et ce indépendamment d’un changement éventuel de l'environnement acoustique. Si l'on souhaite exploiter les relations spatiotemporelles entre les réflexions acoustiques, comme par exemple dans la publication FR2201475, il devient nécessaire d'attribuer des étiquettes aux paramètres estimés, c'est-à-dire de suivre leurs trajectoires au cours du temps. Comme décrit plus loin, ces trajectoires peuvent être estimées a posteriori, en supposant toutefois de disposer d'une estimation fiable de la distance entre le microphone et la source.
L'estimation de la distance (portée) d'une source sonore en champ lointain, par un réseau compact de microphones, est considérée comme un problème difficile. Les premières approches étaient basées sur une estimation du rapport direct/réverbérant (DRR), dont on sait maintenant qu'il est corrélé avec la distance. Malheureusement, ces méthodes sont sensibles à la réverbération et ont tendance à se détériorer rapidement avec l'augmentation du temps de réverbération.
Les approches basées sur l'écho sont encore rares dans la littérature, en particulier dans le contexte aveugle. Il a été proposé dans les travaux précédents des inventeurs (notamment dans les publications FR3102325 et FR3116348) une estimation de la distance à l'aide de la réponse impulsionnelle relative dans le domaine ambisonique, en exploitant la réflexion d'une surface horizontale. Des réflexions extraites de l'empreinte du vecteur de vitesse sont exploitées dans le domaine temporel généralisé (GTVV) pour effectuer la localisation 3D d'une source mobile, en résolvant un problème de régression non convexe en mode discontinu. La méthode proposée nécessite une estimation préalable des trajectoires de la source et des réflexions.
Ces méthodes d'estimation de la distance (même les plus récentes) souffrent encore d'une dégradation des performances dans des conditions acoustiques défavorables ou nécessitent le traitement de données en mode batch, ce qui entraîne des coûts de calcul élevés. D'autre part, le suivi des réflexions acoustiques dans le temps a été confié aux algorithmes classiques de suivi multi-sources, ignorant ainsi les relations géométriques intrinsèques entre ces trajectoires.
La présente description vient améliorer la situation.
Il est proposé un procédé de traitement de données sonores acquises par un réseau de microphones, pour déterminer au moins une distance d₀ entre le réseau de microphones et une source sonore dans un environnement comprenant au moins une paroi, le réseau de microphones étant séparé de ladite paroi d’une distance m, fixe, le procédé comportant :

Une estimation d’une expression temporelle d’un vecteur vélocité,
Une estimation, à partir de ladite expression temporelle du vecteur vélocité, d’au moins un retard d’arrivée du son au réseau de microphones selon un trajet acoustique ayant subi au moins une réflexion sur la paroi de l’environnement, et
Une détermination de ladite distance d₀ entre le réseau de microphones et la source sonore en fonction de la distance m entre le réseau de microphones et ladite paroi.

Comme présenté en détails plus loin, il est exploité une relation géométrique entre la distance m de la paroi au réseau de microphones et la distance d₀ entre la source et ce réseau, pour déterminer cette deuxième distance d₀, connaissant la première distance m.
Par exemple dans le cas où le réseau de microphones est disposé sur une table qui supporte le réseau de microphones (appelé parfois « microphone » ci-après à titre de simplification), il suffit de mesurer la distance m de la paroi au microphone, pour avoir la distance d₀ de la source au microphone pour toute position courante de la source dans l’environnement.
Bien entendu, la source et le réseau de microphones sont supposés être disposés dans l’environnement d’un même côté de la paroi.
Il est possible néanmoins de prévoir une paroi de référence différente d’une table, comme par exemple le plafond d’une salle (moins encombré d’objets en général qu’une table) et dans ce cas il peut être préférable de mesurer « algorithmiquement » la distance m du microphone à la paroi.
Dans une réalisation possible, la distance d₀ entre le réseau de microphones et la source sonore peut s’exprimer en fonction de la distance m du réseau de microphones à ladite paroi, par une relation du type :
où c est la vitesse du son, est ledit retard estimé, et est un angle que forme la paroi avec une droite passant par la source et réseau de microphones et relative à une direction d’arrivée directe du son au réseau de microphones (dite « DoA » pour « Direction of Arrival »), donnée par le vecteur vélocité.
Néanmoins, cette réalisation admet des variantes. Notamment, d’autres types de relation peuvent faire intervenir un angle de réflexion du son sur la paroi. A titre d’exemple de relation faisant intervenir cet angle , les distances m et d₀ peuvent être liées par une relation du type (comme décrit plus loin) :
Dans l’exemple de la réalisation décrit plus haut donnant d₀ en fonction de m, il est possible de mesurer la distance m et d’en déduire d₀ pour toute position courante de la source.
Comme indiqué plus haut, cette distance m peut être déterminée algorithmiquement. Il peut être prévu par exemple de mettre en œuvre ce qui suit:
- pour une pluralité de positions de la source, des premières estimations de la distance d₀ entre le réseau de microphones et la source sonore sont obtenues à partir du vecteur vélocité,
- on détermine une distance caractéristique m du réseau de microphones à ladite paroi à partir desdites premières estimations , et
- on détermine ladite distance d₀ entre le réseau de microphones et la source sonore en fonction de ladite distance caractéristique m pour toute position courante de la source.
Cette distance caractéristique m peut être estimée statistiquement par exemple, et définie comme étant par exemple la médiane (ou encore la moyenne) sur les estimations de la distance m à partir des premières estimations , et éventuellement en ôtant de la population statistique les valeurs aberrantes (ou « outliers ») qui peuvent être dues par exemple à un mauvais étiquetage des réflexions (en comptant par exemple une réflexion multiple comme une réflexion première, par erreur).
Les premières estimations , précitées, peuvent toujours être obtenues « grossièrement » à partir du vecteur vélocité. Dans une réalisation, elles peuvent être données par une relation du type :
Où :
- c est la vitesse du son,
- est ledit retard estimé,
- est une estimation d’un angle de réflexion du son sur la paroi, donnée par le vecteur vélocité,
- et est une estimation d’un angle que forme la paroi avec une droite passant par la source et réseau de microphones et relative à une direction d’arrivée directe du son au réseau de microphones (DoA), donnée par le vecteur vélocité.
A partir de chacune de ces premières estimations , on peut calculer une distance caractéristique m (et déterminer statistiquement la distance caractéristique m la plus observée), dans différents cas de figure de la disposition de la paroi par rapport au microphone.
Dans une première réalisation où ladite paroi est horizontale et disposée sous le réseau de microphones (comme une table supportant le réseau de microphones), la distance caractéristique m peut être calculée à partir de premières estimations par une relation du type :
Dans une deuxième réalisation où la paroi est horizontale et disposée au-dessus du réseau de microphones (comme un plafond typiquement), la distance caractéristique m peut être calculée à partir de premières estimations par une relation du type :
La différence entre ces deux relations est relative à la convention décidée pour le signe de l’angle comme détaillé plus loin.
Dans une réalisation, le réseau de microphones précité peut comporter une pluralité de microphones répartis sur la surface d’une sphère, pour une acquisition de signaux sonores convenant pour une représentation ambisonique des signaux acquis. Dans ce cas par exemple, la distance m entre le réseau de microphones et la paroi précitée peut être calculée ou mesurée sur une droite normale à la paroi et passant par le centre de la sphère.
Comme introduit ci-avant, il peut être avantageux de déterminer ces paramètres à partir de l’expression temporelle du vecteur vélocité, en particulier généralisé, tel que décrit par exemple dans le document WO2022106765.
Comme introduit aussi ci-avant, il peut être avantageux d’obtenir au moins le retard précité (et noté dans certaines expressions ci-avant) à partir d’une réponse impulsionnelle (notée « RdRIR » dans la présente description) caractérisant l’environnement et issue d’une modélisation de moyenne autorégressive (notée « ARMA ») de l’expression temporelle du vecteur vélocité.
A partir du moment où la distance m du réseau de microphones à la paroi est obtenue, il est possible alors de calculer de façon fiable et robuste la distance d₀source-réseau de microphones. De là, il devient possible d’identifier de façon robuste les réflexions du son, en particulier lorsque plusieurs parois sont présentes dans l’environnement.
Dans une réalisation où l’environnement comporte une pluralité de parois, il est possible de procéder en outre à une identification (ou « étiquetage » ci-après) de chaque réflexion acoustique sur une desdites parois, à partir de la détermination de ladite distance d₀ entre le réseau de microphones et la source sonore.
Comme présenté plus loin dans la description, cet étiquetage peut être réalisé sur plusieurs trames consécutives des signaux sonores acquis par le réseau de microphones et peut permettre de suivre une ou plusieurs sources à la fois, éventuellement mobiles.
Ainsi, dans une telle réalisation, ledit étiquetage est mené pour une pluralité de positions de source sonore dans l’environnement, associées à diverses sources émettant successivement au cours du temps, et/ou à au moins une source mobile en fonction du temps.
Il peut s'agir ainsi d'au moins une source mobile dans le temps ou de plusieurs sources (fixes ou mobiles) émettant successivement dans le temps.
Un algorithme possible d’un tel étiquetage est présenté en annexe de la présente description et commenté en référence à la figure 4.
Globalement, on indique ici que l’algorithme peut reposer sur un principe selon lequel l’étiquetage des réflexions vérifie un critère de préservation de distances tel que, pour une source mobile entre un premier instant et un deuxième instant, une distance entre deux positions respectives de la source équivaut à une distance entre deux images de cette source.
Le procédé peut comporter en outre une détermination d’une géométrie de l’environnement et des parois que l’environnement comporte en fonction de l’étiquetage précité des réflexions (cette détermination étant robuste et fiable).
Une telle réalisation peut être mise en œuvre assez simplement par rapport aux calculs requis notamment dans le cas d’un environnement comportant des parois horizontales ou verticales. Par exemple, ces parois peuvent être parallèles ou perpendiculaires entre elles, mais il peut s’agir aussi de parois qui peuvent ne pas être à angle droit, par exemple un réflecteur tel qu'une porte ou une fenêtre entre-ouverte, ou un mur qui n'est pas à angle droit d'un autre mur, ou autres.
La présente description vise également un programme informatique, comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsqu’elles sont exécutées par un circuit de traitement.
A titre d’exemple, les figures 3 et 4 commentées plus loin peuvent illustrer un algorithme d’un tel programme.
La présente description vise aussi un dispositif comportant un circuit de traitement pour la mise en œuvre du procédé ci-avant.
Ainsi, il est proposé un procédé permettant de contourner certains problèmes des approches connues pour l'estimation de distances, et cette estimation de distances est alors exploitée pour fournir, dans un mode de réalisation, des étiquettes pour les paramètres de réflexion estimés. Il est donc proposé ici un suivi efficace des trajectoires de réflexion en prenant explicitement en compte la propriété de préservation des distances des trajectoires acoustiques, dans un exemple de réalisation.
D’autres avantages et caractéristiques de ce traitement apparaitront à la lecture de la description et à l’examen des dessins annexé sur lesquels :

La illustre un exemple de positionnement du microphone MIC sur une paroi (ici horizontale, telle qu’une table) dans un environnement avec une autre paroi (verticale),
La illustre une série de pics à des abscisses temporelles respectives correspondant à des retards de réception au microphone, liés à une ou plusieurs réflexions sur les parois,
La résume les étapes principales d’un exemple de réalisation du procédé décrit ci-avant,
La figure 4, scindée en la et la , détaille les opérations de l’étape d’étiquetage S5 de la ,
La illustre un exemple de réalisation d’un dispositif pour la mise en œuvre du procédé, et
La illustre des cas de réflexion sur des parois verticales à titre d’exemple.

Il est présenté ci-après un traitement montrant une efficacité satisfaisante en termes de compromis complexité-précision des données. Des réalisations décrites en détails ci-après permettent des applications en temps quasi-réel (à la fréquence d’obtention des trames consécutives de données sonores) et améliorent considérablement la précision des identifications des réflexions.
Premièrement, on exploite l’expression temporelle du vecteur vélocité (préférentiellement sous sa forme généralisée) ou encore la représentation de la réponse impulsionnelle réduite de la pièce (RdRIR) récemment proposée dans la demande de brevet français FR2213494 (2022) pour l’obtention des retards par rapport à l’instant d’arrivée directe du son au microphone. Deuxièmement, l'estimation proposée précédemment peut être généralisée à toute surface horizontale ou verticale, et il est démontré ci-après que ces surfaces peuvent être considérées ensemble pour améliorer la précision de l'estimation. Troisièmement, il est démontré ci-après que la connaissance de la position du microphone relativement à une paroi (par exemple l'altitude du microphone par rapport à une paroi qui le supporte comme une table) peut être utilisée pour améliorer encore l'estimation de la distance source-microphone. La position du microphone relativement à une paroi de support est souvent facilement disponible : il suffit de mesurer la position du centre du microphone par rapport à un support tel qu’une table sur laquelle il est posé. Ainsi par exemple, si le microphone est placé sur la table, l’altitude correspond à la hauteur de l'appareil d'enregistrement. Si ce n'est pas le cas toutefois, il est présenté également ci-après comment déduire directement cette information des enregistrements d'une source en mouvement en particulier.
Enfin, il est présenté plus généralement un traitement simple pour étiqueter les trajectoires de réflexion d'une source mobile en fonction du temps, en tirant parti de la distance précédemment estimée. En considérant les dépendances spatio-temporelles entre les trajectoires de la source et ses réflexions spéculaires, ce traitement est capable de déterminer aveuglément le nombre de réflexions et leurs étiquettes associées, avec un nombre minimal d'hyperparamètres réglables.
Il est rappelé ici le calcul des paramètres de réflexion (leurs directions et leurs retards relatifs par rapport au front d'onde direct) à partir des caractéristiques du vecteur vélocité généralisé et exprimé dans le domaine temporel. Ce vecteur est habituellement noté GTVV. Il est obtenu à partir des signaux sonores captés par un microphone MIC ( ) et exprimés dans le domaine ambiophonique ou « ambisonique » ci-après, à partir d’étapes présentées dans la demande précitée FR2213494. La représentation GTVV s'est déjà avérée très efficace, mais l'extraction des paramètres est encore améliorée par une modélisation correcte de la série temporelle GTVV à l'aide d'une moyenne autorégressive (ou « ARMA » pour « Autoregressive Moving Average »), "déterministe", selon une adaptation de la méthode dite « de Padé-Prony ». La nouvelle représentation atténue les problèmes liés à la validité de l'expression analytique du vecteur GTVV à des ordres ambisoniques faibles.
Ces paramètres de réflexion sont alors exploités pour l'estimation de la distance à la fréquence de traitement des trames de données sonores acquises, en proposant plusieurs nouveaux estimateurs, suivis ci-après d’une description du procédé d'étiquetage.
Cette estimation de la distance à la fréquence des trames obtenues peut également être appliquée à partir des caractéristiques seules du vecteur vélocité généralisé GTVV et sans amélioration par une modélisation ARMA (laquelle modélisation reste donc optionnelle).
On note le vecteur des coefficients d'expansion des harmoniques sphériques (SH) concaténés (appelés communément « canaux ambisoniques » ou « canaux HOA » ci-après) jusqu'à l'ordre , à la fréquence .
Les signaux enregistrés sont supposés dus à une source sonore en champ lointain à l'azimut , à l'élévation et à la distance de la source au réseau de microphones, dans un environnement intérieur (une salle par exemple avec des cloisons, comme illustré sur la figure 1). Le réseau de microphones de la figure 1, noté MIC, peut être typiquement un microphone ambisonique comportant une pluralité de capsules piézoélectriques sur la surface d’une sphère notamment et est dénommé ci-après simplement « microphone » MIC. On considère une formation de faisceau (ou « beamforming ») à large bande orienté (grossièrement) vers la direction d’arrivée du son direct entre la source et le microphone MIC, notée « DoA » (pour « Direction of Arrival »). Dans ce cas, le vecteur vélocité généralisé s’exprime dans le domaine des fréquences (GFVV) comme suit :
(Eq. 1)
où , et représentent des paramètres de la nième onde plane réfléchie, qui sont:
- le vecteur d'expansion en représentation ambisonique dans la direction ,
- son atténuation relative g _n , et
- son retard (par rapport à la composante de propagation directe DoA), respectivement.
Ainsi, est le vecteur SH de l'onde plane dans la direction DoA, tandis que est la réponse du beamforming au nième front d'onde (avec ).
L'approximation de l’équation Eq.1 ci-dessus est due aux hypothèses simplificatrices intégrées dans le côté droit de l'équation : la décomposition de l'onde plane a été donnée en termes de réflexions acoustiques dominantes , et le beamforming et les atténuations relatives sont indépendants de la fréquence. Cette expression peut être généralisée, dans le sens où le beamforming et les atténuations relatives peuvent varier d'une fréquence à l'autre, sous certaines hypothèses. Néanmoins, une contrainte d'absence de distorsion avec doit être satisfaite pour chaque .
L'expression du vecteur GFVV n'est applicable que dans un environnement sans bruit, alors qu'un estimateur pratique doit être résistant à un faible rapport signal/bruit (RSB), ce qui est résolu dans le même document précité FR2213494.
La transformée de Fourier inverse du vecteur GFVV permet d'obtenir sa représentation temporelle, notée GTVV et se présentant comme une fraction de séries de pics de type Dirac :
où et sont tous deux des filtres causaux, reliés par .
La partie "moyenne mobile" est appelée ici (et dans le document précité FR2213494) « réponse impulsionnelle de salle réduite » (ou « RdRIR » ci-après). Elle peut être calculée directement à l'aide de l'expression ci-dessus, à partir d'une estimation de :
On peut se référer utilement au document précité FR2213494 pour les détails concernant l'estimation du filtre . Après avoir estimé cette RdRIR, on peut procéder à une simple sélection des pics de la série temporelle , et déduire directement les directions du front d'onde (incorporées dans les vecteurs de codage SH) et les retards relatifs (correspondant aux indices des pics détectés).
Dans la pratique, le traitement est effectué dans le domaine de la transformée de Fourier à temps court (STFT), et la durée temporelle du vecteur GTVV (et donc du RdRIR) est dictée par la fenêtre choisie. La fenêtre de longueur est centrée sur par rapport au vecteur GTVV, c'est-à-dire
On décrit ci-après le calcul de la distance du microphone à la source.
Il est supposé que pour chaque trame après traitement STFT où une activité vocale a été détectée, la procédure décrite ci-avant fournit une estimation de la direction d’arrivée directe du son : DoA , ainsi qu'un certain nombre de directions de réflexion estimées avec leurs retards associés . On a effectivement une série temporelle de pics dont les abscisses donnent de tels retards par rapport à la DoA, comme illustré sur la reprise de la publication FR3102325 ou encore du document FR3116348 des mêmes inventeurs que la demande française précitée FR2213494.
Il est formulé ici une hypothèse principale comme illustré sur la : l'axe z du microphone MIC est orthogonal aux surfaces horizontales de la pièce, telles que le sol ou le plafond. Cette hypothèse est plausible étant donné que l'appareil d'enregistrement est généralement placé sur une table ou sur un support vertical. Les sols et les tables, en particulier, sont connus pour générer de fortes réflexions, qui ont déjà été exploitées pour l'estimation de la distance dans les travaux précédemment cités.
On peut en outre supposer que toutes les surfaces réfléchissantes sont horizontales ou verticales (murs et fenêtres), bien que cette hypothèse ne semble pas essentielle en pratique ci-après. Si cette dernière hypothèse se vérifie, selon le modèle image-source illustré sur la , même les réflexions d'ordre supérieur de surfaces parallèles resteraient "horizontales" ou "verticales" (bien que le plan de réflexion puisse ne pas réellement correspondre à une surface physique).
La figure 1 illustre le modèle image-source pour les réflexions du premier ordre sur un plan horizontal et sur un plan vertical. La distance microphone-source notée , et les distances microphone-image-source et , sont respectivement liées par :
La relation vaut pour toute réflexion d’ordre 1 ou supérieur n’impliquant que des parois horizontales, car les images associées se projettent verticalement toutes au même point dans le plan horizontal du microphone. Dans ces cas de figure, il apparait que l’angle d’élévation de l’image s’écarte plus du plan horizontal que celui de la source, soit (ou égalité dans le cas rare d’une source à la verticale du microphone : , soit . Dans le même temps, on observe le ratio .
Similairement, la relation vaut pour toute réflexion d’ordre 1 ou supérieur n’impliquant que des parois verticales, car les images associées se projettent horizontalement toutes au même point sur l’axe vertical du microphone, donc à la même altitude relativement au microphone. Dans ces cas de figure, il apparait que l’angle d’élévation de l’image se rapproche plus du plan horizontal que la source, soit typiquement ou bien (ce qui revient dans les deux cas à , et dans le même temps ) ou bien .
En outre, la distance de toute source d'image au microphone peut également être donnée par , où est la vitesse du son et le retard relatif correspondant. En substituant cette expression aux équations ci-dessus à la place de et , et en réarrangeant les termes, on peut en déduire :
pour une réflexion par une ou des parois horizontales, soit
pour une réflexion par une ou des parois verticales, soit
On peut aussi déduire une formule générique pour la distance à partir d’une réflexion quelconque de ces types :
En pratique, l’application de cette formule aux données estimées requiert quelques précautions.
Il faut d’une part tenir compte de la précision limitée d’estimation angulaire, notamment pour les réflexions. Et il faut noter d’autre part qu’un certain nombre de configurations pratiques ne permettent pas d’identifier ou d’exploiter de façon fiable le cas de réflexions par une ou plusieurs parois verticales. Il arrive en effet fréquemment que les réflexions par les parois verticales soient « d’incidence rasante », c’est-à-dire avec un véritable angle d’élévation qui est petit en valeur absolue : il suffit pour cela que la source soit d’altitude voisine de celle du micro et/ou que son image par la paroi soit à assez grande distance du microphone, comme l’illustre la .
La figure 6 (en coupe 2D verticale) illustre que pour une source sensiblement écartée du plan horizontal du microphone , son image par le réflecteur , relativement proche de la source et du microphone, présente un angle d’élévation significatif en valeur absolue, à l’inverse d’une image lointaine (par un réflecteur ' plus lointain) pour laquelle est petit. Lorsque la source et le microphone sont d’altitudes proches, l’angle d’élévation ou de l’image est généralement petit en valeur absolue.
Dès lors, on comprend que même une petite erreur de l’angle estimé par rapport au véritable angle induit potentiellement de grandes erreurs sur le ratio calculé (y compris son signe, théoriquement positif), donc potentiellement sur le diagnostic « paroi horizontal » ou « paroi verticale » ( ou ), et dans tous les cas sur la distance estimée (comme montré plus loin). Il convient d’écarter ce genre de risque par un test sur : s’il est inférieur à un certain seuil (par exemple 10°), on ne poursuit pas l’estimation de la distance à partir de cette réflexion-là. Si sa valeur est significative, c’est-à-dire si , on applique l’estimation de la distance de la source au microphone, donnée par :
Le seuil peut être choisi fixe ou bien dépendre de paramètres traduisant la confiance que l’on peut avoir en l’estimation de DoA. Si une réflexion par une ou plusieurs parois horizontales est détectée, c’est-à-dire si , on propose de calculer un indicateur de cohérence, mesurant l’écart entre les projections verticales (sur un même plan horizontal) des estimations des points source et image :
où est un opérateur de projection sur un plan horizontal contenant les vecteurs orthonormés et .
En l’absence d’erreur, devrait être nul. Si sa valeur estimée dépasse un certain seuil, il convient d’accorder moins de crédit à l’estimation de distance associée, voire de l’invalider.
Une autre précaution s’impose à la vue de l’équation donnant ci-dessus : on doit éviter les situations où est trop proche de 1, ce qui causerait une instabilité du résultat. Cela arrive typiquement lorsque (source dans le même plan horizontal que le microphone) pour la première catégorie, auquel cas la précaution déjà invoquée plus haut invalide l’estimation, ou bien lorsque , ce qui correspond au cas plutôt rare d’une source à la verticale du microphone. Dans tous les cas, un test sur la proximité de vis-à-vis de 1 suffira à décider d’appliquer ou pas l’estimation. Si celle-ci est invalidée pour une réflexion , il est plausible qu’il existe une autre réflexion à partir de laquelle elle est possible.
Pour les réflexions combinant au moins une paroi horizontale et au moins une paroi verticale, aucune des deux équations initiales ne s’applique, et par ailleurs la comparaison des ratios et ne permet pas de distinguer ces cas. Cependant, de telles réflexions sont d’ordre supérieur. Or, ce sont en général majoritairement celles d’ordre 1 dont on va obtenir et exploiter les paramètres, car elles apparaissent par nature plus nettement, ayant subi en général moins d’absorption.
En général, plusieurs réflexions sont extraites et exploitées à partir d’une même empreinte acoustique obtenue sur une trame donnée et donc pour une position de source donnée. Selon les conditions testées plus haut, un certain nombre d’entre elles donnent lieu à autant d’estimations de la distance courante . En raison des erreurs sur les DoA, voire sur le type de réflexion détecté, les valeurs obtenues peuvent être variées, et certaines peuvent être aberrantes. On cherche alors à en retenir au moins une qui puisse être la plus représentative de la réalité. Une façon de faire consiste à prendre la médiane de toutes les valeurs obtenues, après rejet des valeurs jugées les moins fiables, d’après notamment les indicateurs de cohérence.
Dans la pratique, le retard relatif et l'élévation de la source sont des estimations assez robustes (la première en raison de la sélection des pics et la seconde en raison du fait qu'il s'agit du front d'onde le plus "fort" parmi tous les fronts d'onde). Malheureusement, l'estimation précise de l'élévation nécessite généralement des réseaux de microphones d'ordre élevé (supérieur à 1 typiquement, de sorte que le microphone ambisonique qui peut être utilisé à cette fin devient onéreux).
Toutefois, en disposant de l'altitude du microphone, notée , par rapport à un support tel qu’une table, ou alternativement à partir de la position du microphone relativement au plafond d’une salle, le problème peut être contourné en estimant la distance et en utilisant uniquement le retard relatif correspondant à la surface horizontale (plafond ou table qui supporte le microphone). Dans le cas d’une table supportant le microphone, d'après la , il apparait que :
,
Où .
En développant l'expression ci-dessus et en réarrangeant les termes, on obtient :
Inversement, si l'altitude est inconnue, mais que la distance a été estimée par ailleurs (par exemple, à partir de l'estimateur générique présenté précédemment), l’altitude m peut être calculée comme suit :
Il convient de l’employer pour les réflexions d’élévation négative (venant d’en bas) et telles que . Si plusieurs réflexions candidates sont envisagées, on retient la valeur de minimale parmi celles calculées.
On peut transposer cette formule au cas de réflexion par une surface horizontale au-dessus du microphone, comme le plafond précité, avec alors une élévation de réflexion positive et toujours telle que . Dans ce cas, l’altitude du microphone (relativement au plafond) est négative et donnée maintenant par :
Si plusieurs réflexions candidates sont envisagées, on retient la valeur de minimale en valeur absolue cette fois, parmi celles calculées. Cela peut être avantageux lorsque le plafond est réfléchissant tandis que le sol ou la table sous le microphone sont encombrés d’objets ou obstacles.
On peut employer une formule alternative qui, même si elle implique l’angle , peut être relativement robuste dans les cas de figure testés :
Cette dernière a l’avantage d’être également effective lorsqu’appliquée à une surface horizontale en-dessous ou au-dessus du microphone.
On exploite pour cette équation des paramètres de réflexion par une paroi horizontale (qui sera d’altitude 0 comparée à l’altitude du microphone), donc tels que .
Dans un scénario où le réseau de microphones est statique et la source mobile (tous les paramètres sauf la vitesse du son étant donc susceptibles de changer), on pourrait utiliser ces estimations "instantanées" de l'altitude pour améliorer l’estimation dans le temps, étant donné que la valeur réelle de devrait être constante (pour la surface réfléchissante horizontale donnée). Une fois que l'on dispose d'une estimation précise de , on peut l'utiliser pour améliorer l'estimation de la distance d ₀ en utilisant son estimateur basé sur l'altitude m ci-dessus. Pour sélectionner la valeur d’altitude parmi diverses estimations faites au cours du déplacement de la source, plusieurs options sont possibles. On peut choisir par exemple celle associée à la distance estimée la plus courte de la trajectoire, car il s’agit généralement de la situation acoustique la plus favorable, où l’estimation des paramètres d’onde est la plus fiable et précise. On peut également se fier à un indicateur de cohérence comme celui ( ) décrit plus haut en associant à chaque trame l’indicateur associé aux paramètres d’onde retenus pour la détermination de la distance courante et par conséquent l’estimation courante de . On choisira alors l’estimation de associée à la trame dont le paramètre est le plus petit.
Il convient de noter que, si l’estimateur « générique » est valable pour pratiquement toute réflexion de premier ordre dans les hypothèses de réflexion horizontale/verticale de parois, données, l’estimation basée sur l’altitude nécessite précisément la réflexion sur la surface horizontale d’appui.
En référence à nouveau à la figure 1, il apparait que le vecteur de position de la source : et l’altitude déterminent de manière unique le vecteur de position de la source de l’image ( et étant les vecteurs unitaires orientés vers la source et son image, respectivement), soit :
(Eq. 2)
Par conséquent, même si la direction « mesurée » n’est pas suffisamment précise pour donner une estimation valable de la distance, elle peut être combinée avec le retard associé et l’estimation de la distance basée sur l’altitude pour calculer un vecteur de position « observée » . Ce dernier serait utilisé pour la comparaison avec la position théorique donnée à l’équation Eq.2 ci-dessus, afin d’identifier la réflexion horizontale recherchée parmi d’autres fronts d’onde. De façon équivalente, on peut identifier cette réflexion en comparant les deux estimations alternatives de faites plus haut.
On a résumé sur la les principales étapes du traitement, avec un détail de l’étape S5 d’étiquetage sur la figure 4.
En référence à la figure 3, la première étape S1 consiste à encoder les signaux acquis par le réseau de microphones MIC en représentation ambisonique (et sont décomposés ainsi dans une base d’harmoniques sphériques). Les canaux ambisoniques obtenus alimentent à l’étape S2 l’estimateur du vecteur vélocité généralisé GTVV, exprimé dans le domaine temporel, afin obtenir les paramètres de réflexion de la ou des sources sonores sur les parois de l’environnement, en particulier les retards , les angles et finalement les distances des images de la source jusqu’au microphone MIC.
Ces estimations peuvent être tirées initialement de l’expression du vecteur vélocité (généralisé) dans le domaine temporel et éventuellement affinées en modélisant cette expression temporelle du vecteur vélocité généralisé par une moyenne autorégressive (ARMA à l’étape S3) de laquelle on obtient une réponse impulsionnelle RdRIR (ou « reduced room impulse response » pour « réponse impulsionnelle de salle réduite ») caractérisant finement l’environnement et ses propriétés de réflexion. Néanmoins, l’étape S3 pour obtenir une réponse impulsionnelle d’environnement est optionnelle (bien qu’elle permette d’obtenir de bonnes estimations des paramètres de réflexion) et elle est illustrée à cet effet en traits pointillés sur la .
Ces estimations permettent de déterminer une valeur m représentative de l’altitude du microphone sur la paroi de référence (table ou plafond), par exemple pour plusieurs positions différentes de la source S₀. Alternativement, il est possible de mesurer simplement cette altitude m. A partir de l’altitude m, la distance d₀ de la source S₀au microphone est déterminée à l’étape S4.
Cette détermination de la distance d₀permet alors de réaliser l’étape S5 d’étiquetage des réflexions qui sera détaillée plus loin en référence à la figure 4. On indique simplement ici que cet étiquetage s’appuie sur un critère de préservation de distances selon lequel, pour une source mobile d’un instant à l’autre, la distance entre deux positions respectives des images de la source par rapport à des (premières) réflexions sur une même paroi équivaut à la distance entre les deux positions respectives de la source.
Une fois les trajectoires étiquetées à l’étape S5, elles peuvent alimenter un moteur d’inférence afin de déterminer finement la géométrie de l’environnement, ainsi que les positions respectives des sources en fonction du temps. On a vu dans un passage précédent décrivant notamment la que, dans des cas d’angles de réflexion possibles, les estimations de m et de d₀ pouvaient ne pas être robustes. L’identification (ou « étiquetage ») des réflexions permet avantageusement de faire converger la détermination de m et d₀ vers des solutions fiables, et plus généralement, de déterminer avec robustesse les positions des parois.
On détaille ci-après l’étape d’étiquetage S5.
Il est supposé que l'on a recueilli un ensemble de vecteurs de position étiquetés dans le temps , où est juste un index pour indiquer une donnée à l'instance temporelle , et non sa correspondance à un front d'onde particulier (c'est-à-dire que et peuvent correspondre à des vecteurs de position de fronts d'onde différents).
L’étape S5 d’étiquetage vise à rassembler les données de réflexion estimées pour différentes positions de la source, afin de vérifier le meilleur critère de préservation de la distance au sein de chaque groupe. Il est alors décrit ici un exemple de processus itératif, avec :

En entrée, les positions de la source et de l'image recueillies à partir d'empreintes acoustiques sur des trames , une image d'indice étant liée à une réflexion d’une source sans cohérence a priori le long des trames ,
En sortie, les ensembles de trajectoires (ou groupes de réflexions), une trajectoire étant définie par un triplet comprenant : l'indice de la trame, l’index de l'image-source à cette image telle qu'elle figure dans les données d'entrée, une erreur de distance où est l'indice de la ligne dans le tableau .

On présente ci-après en ANNEXE 1 à titre illustratif un algorithme permettant d’exécuter le procédé de la figure 4 commentée en détails ci-après.
L’étape d’étiquetage comprend une première sous-étape S501, où sont initialisés plusieurs paramètres, notamment un ensemble vide de trajectoires, une valeur seuil de distance entre une source et son image et une valeur seuil de profondeur temporelle .
L’étape S502 consiste en une première exploration des trames temporelles, explorées selon l’indice t. ici on considère à titre d’exemple que le temps est décomposé selon une représentation discrète illustrée par des trames successives t. On rappelle que les trames comportent une succession de données sonores acquises dans le temps. On dispose ainsi de ces trames contenant les données sonores acquises, de la position de la source définie à l’étape S4 de façon précise grâce à l’information de position du microphone relativement à la paroi qui le supporte (distance m). L’étape S502 est itérée pour l’ensemble des trames collectées.
L’étape S502 comprend une sous-étape S503 dans laquelle une seconde exploration des indices i des positions estimées des images est effectuée. Les étapes intermédiaires S504 à S511 décrites ci-dessous sont répétées jusqu’à ce que chaque position d’image ait été explorée.
Les paramètres constituant les critères à évaluer sont initialisés à l’étape S504, avec l’indice de meilleure trajectoire égal à zéro et l’erreur médiane associée égale à l’infini.
L’évaluation du critère de conservation de la distance entre la source sonore et son image réfléchie permet de classifier les données sonores selon leur source, fixe ou mobile, et son calcul se fait aux étapes suivantes.
Premièrement, à l’étape S505, on explore les indices k de chaque trajectoire source-image dans le domaine de recherche, c’est-à-dire tel que chaque indice t exploré dans la trame respecte la valeur seuil définie à l’étape S501, avec . Les étapes intermédiaires S506 à S507 décrites ci-dessous sont répétées jusqu’à ce que l’ensemble des trajectoires ait été exploré.
Puis à l’étape S506, pour chaque élément p dans la trajectoire , le critère de conservation de la distance entre la source sonore et son image réfléchie est calculé par une expression du type :
.
La médiane de l’ensemble des critères de conservation d’une même trajectoire est ensuite calculée.
A l’étape suivante S507, les meilleurs candidats d’indices de meilleure trajectoire et d’erreurs médianes associées sont choisis en fonction de la médiane de l’ensemble des critères de préservation calculée. Plus précisément, la médiane est comparée à la valeur seuil de distance définie à l’étape S501. Cette condition définie à l’étape S507, permet de sélectionner la plus petite différence de distance entre la source et l’image au fil des itérations, afin de constituer le critère de classification de chaque groupe de trajectoires.
Si la médiane est inférieure à la valeur seuil et si la médiane est inférieure à l’erreur médiane associée à , alors l’indice remplace l’indice de meilleure trajectoire et la valeur de remplace la valeur de . La trajectoire explorée , est alors mise à jour avec la meilleure valeur de l’erreur médiane, selon à l’étape S508.
Si au contraire, la médiane est plus élevée que la valeur seuil de distance selon la condition de l’étape S507, une nouvelle trajectoire , telle que , est instanciée à l’étape S508. La nouvelle trajectoire est réimplémentée à l’étape S505, et explorée selon les étapes S505 à S508, jusqu’à ce que la médiane calculée respecte la condition de l’étape S507. Les trajectoires dont les médianes ne respectent pas la condition de l’étape S507 appartiennent à d’autres groupes de trajectoires, générées par une autre source.
Une première condition est définie à l’étape S509, où, l’indice p de la trajectoire mise à jour existe tel que l’indice exploré de la trame temporelle est égal à l’indice de trame temporelle de la meilleure trajectoire ( ). En d’autres termes, la condition S509 teste, pour une itération précédente de trame de l’étape S502, si une position p a déjà été identifiée dans une précédente meilleure trajectoire associée à une précédente meilleure erreur médiane .
Si la condition-test de l’étape S509 est remplie, une seconde condition-test est implémentée à l’étape intermédiaire S510 qui est définie telle que, si la meilleure valeur médiane, , évaluée en S507, est inférieure à la précédente meilleure valeur médiane du triplet de la précédente meilleure trajectoire , alors la meilleure valeur médiane remplace la valeur de la précédente meilleure médiane du triplet de la précédente meilleure trajectoire .
Si la condition-test de l’étape S510 n’est pas validée, l’itération sur la trame est terminée et l’algorithme reprend à l’étape S502 avec une nouvelle trame .
Si la condition-test de l’étape S509 n’est pas validée, c’est-à-dire si une position p n’a pas déjà été identifiée dans une précédente meilleure trajectoire , alors le triplet est associé à la nouvelle trajectoire , qui devient la meilleure trajectoire .
Une fois l’étape S511 terminée, c’est-à-dire, lorsque chacune des trajectoires de la trame a été associée à son triplet , il est possible de les grouper en fonction des valeurs du meilleur critère de la conservation de la distance entre la source et l’image, . Chaque valeur définit une source sonore différente identifiée.
A la dernière étape finalement, on ne conserve que les indices des trames et les positions des couples source/image pour chaque trajectoire observée, plutôt que de se référer aux indices initiaux de l'image i.
Ainsi, on procède à une estimation précise de la distance d0 du microphone à la source en utilisant la connaissance ou l'estimation de la hauteur du microphone (par exemple sur une table). Puis, à partir de cette estimation de distance d0 à différents instants (sur plusieurs trames consécutives par exemple), on peut étiqueter (ou « labelliser » selon une autre terminologie possible) de façon simplifiée les trajectoires des réflexions selon le procédé illustré sur la figure 4. Le résultat de cet étiquetage peut être mis en entrée d'un moteur d'inférence (non décrit) pour estimer la géométrie de l'environnement (par exemple une salle dans laquelle est disposé le microphone et au moins une source sonore). On peut ainsi définir précisément les orientations et les positions relatives des parois de l’environnement. Il est possible en outre de suivre les trajectoires à tout moment d’une ou plusieurs sources, éventuellement mobiles.
On a représenté sur la un dispositif pour la mise en œuvre du procédé ci-avant et comportant typiquement :

Une interface d’entrée INT pour recevoir des données sonores qu’acquière le microphone MIC,
Une mémoire MEM stockant au moins les instructions d’un programme d’ordinateur pour exécuter les étapes du procédé décrit ci-avant, et
Un processeur PROC apte à lire ces instructions et traiter les données reçues de l’interface INT pour délivrer notamment des données d’une inférence de géométrie de l’environnement.

La quantification des propriétés acoustiques et géométriques de l’environnement (par exemple pour obtenir simultanément une géométrie de salle et/ou la localisation et la séparation des sources sonores dans cette salle) permet d’obtenir ou d’améliorer l’obtention de résultats pertinents dans le traitement de signaux audios pour diverses applications d’encodage spatial, de réalité augmentée, de navigation de robots, de caractérisation de salles, et autres.

Claims

Procédé de traitement de données sonores acquises par un réseau de microphones, pour déterminer au moins une distance d₀ entre le réseau de microphones et une source sonore (S₀) dans un environnement comprenant au moins une paroi, le réseau de microphones étant séparé de ladite paroi d’une distance m, fixe, le procédé comportant :
Une estimation d’une expression temporelle d’un vecteur vélocité,

Une estimation, à partir de ladite expression temporelle du vecteur vélocité, d’au moins un retard ( ) d’arrivée du son au réseau de microphones selon un trajet acoustique ayant subi au moins une réflexion sur la paroi de l’environnement, et

Une détermination de ladite distance d₀ entre le réseau de microphones et la source sonore (S₀) en fonction de la distance m entre le réseau de microphones et ladite paroi.
Procédé selon la revendication 1, dans lequel ladite distance d₀ entre le réseau de microphones et la source sonore s’exprime en fonction de la distance m du réseau de microphones à ladite paroi, par une relation du type :
où c est la vitesse du son, est ledit retard estimé, et est un angle que forme la paroi avec une droite passant par la source et réseau de microphones et relative à une direction d’arrivée directe du son au réseau de microphones (DoA), donnée par le vecteur vélocité.
Procédé selon l'une des revendications précédentes, dans lequel :
- pour une pluralité de positions de la source, des premières estimations de la distance d₀ entre le réseau de microphones et la source sonore sont obtenues à partir du vecteur vélocité,
- on détermine une distance caractéristique m du réseau de microphones à ladite paroi à partir desdites premières estimations , et
- on détermine ladite distance d₀ entre le réseau de microphones et la source sonore en fonction de ladite distance caractéristique m pour toute position courante de la source (S₀).
Procédé selon la revendication 3, dans lequel lesdites premières estimations sont données par une relation du type :

Où :
- c est la vitesse du son,
- est ledit retard estimé,
- est une estimation d’un angle de réflexion du son sur la paroi, donnée par le vecteur vélocité,
- et est une estimation d’un angle que forme la paroi avec une droite passant par la source et réseau de microphones et relative à une direction d’arrivée directe du son au réseau de microphones (DoA), donnée par le vecteur vélocité.
Procédé selon l'une des revendications 3 et 4, dans lequel ladite paroi est horizontale et disposée sous le réseau de microphones, et ladite distance caractéristique m est calculée à partir de premières estimations par une relation du type :
Procédé selon l'une des revendications 3 et 4, dans lequel ladite paroi est horizontale et disposée au-dessus du réseau de microphones, et ladite distance caractéristique m est calculée à partir de premières estimations par une relation du type :
Procédé selon l'une des revendications précédentes, dans lequel l’estimation de ladite expression temporelle est celle d’un vecteur vélocité généralisé.
Procédé selon l'une des revendications précédentes, dans lequel ledit retard ( ) au moins est donné par une réponse impulsionnelle (RdRIR) caractérisant l’environnement et issue d’une modélisation de moyenne autorégressive (ARMA) de l’expression temporelle du vecteur vélocité.
Procédé selon l'une des revendications précédentes, dans lequel l’environnement comporte une pluralité de parois, le procédé comprenant en outre un étiquetage de chaque réflexion acoustique sur une desdites parois, à partir de la détermination de ladite distance (d₀) entre le réseau de microphones et la source sonore (S₀).
Procédé selon la revendication 9, dans lequel ledit étiquetage est mené pour une pluralité de positions de source sonore dans l’environnement, associées à diverses sources émettant successivement au cours du temps, et/ou à au moins une source mobile en fonction du temps.
Procédé selon la revendication 10, dans lequel l’étiquetage des réflexions vérifie un critère de préservation de distances selon lequel, pour une source mobile entre un premier instant et un deuxième instant, une distance entre deux positions respectives de la source équivaut à une distance entre deux images de cette source.
Procédé selon l'une des revendications 9 à 11, comportant en outre une détermination d’une géométrie de l’environnement et desdites parois que l’environnement comporte en fonction dudit étiquetage des réflexions (S6).
Procédé selon l'une des revendications 9 à 12, dans lequel lesdites parois sont horizontales ou verticales.
Programme informatique, comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsqu’elles sont exécutées par un circuit de traitement.
Dispositif comportant un circuit de traitement pour la mise en œuvre du procédé selon l’une des revendications 1 à 13.