FR3000637A1 - Dispositif et procede d'interpolation spatiale de sons - Google Patents

Dispositif et procede d'interpolation spatiale de sons Download PDF

Info

Publication number
FR3000637A1
FR3000637A1 FR1262945A FR1262945A FR3000637A1 FR 3000637 A1 FR3000637 A1 FR 3000637A1 FR 1262945 A FR1262945 A FR 1262945A FR 1262945 A FR1262945 A FR 1262945A FR 3000637 A1 FR3000637 A1 FR 3000637A1
Authority
FR
France
Prior art keywords
interpolation
hrtf
model
point
sphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1262945A
Other languages
English (en)
Inventor
Matthieu Aussal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGITAL MEDIA SOLUTIONS
Original Assignee
DIGITAL MEDIA SOLUTIONS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIGITAL MEDIA SOLUTIONS filed Critical DIGITAL MEDIA SOLUTIONS
Priority to FR1262945A priority Critical patent/FR3000637A1/fr
Priority to PCT/EP2013/077746 priority patent/WO2014102199A1/fr
Publication of FR3000637A1 publication Critical patent/FR3000637A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

L'invention s'applique à un système de reproduction audio binaural. Selon l'invention, préalablement à une étape d'interpolation des fonctions de transfert de la tête d'un utilisateur dudit système, on décompose les fonctions de transfert obtenues par mesures par une représentation géométrique d'un modèle de la tête de l'utilisateur et postérieurement à l'étape d'interpolation, on recompose la fonction interpolée avec ladite représentation géométrique. Avantageusement, l'étape d'interpolation comprend une étape de calcul des coefficients d'harmoniques sphériques sur une sphère entourant l'utilisateur. Avantageusement, les étapes de décomposition de recomposition ne peuvent s'appliquent qu'à la phase ou qu'à l'amplitude des fonctions de transfert. Avantageusement, le modèle de tête peut être construit par une étape de simulation. L'invention permet d'améliorer de manière significative la qualité des résultats de l'interpolation et donc le rendu audio du système de reproduction.

Description

DISPOSITIF ET PROCEDE D'INTERPOLATION SPATIALE DE SONS La présente invention s'applique au domaine des dispositifs de reproduction sonore haute-fidélité, notamment des casques audio. Plus spécifiquement, les dispositifs selon l'invention ont pour but de permettre un rendu spatial fidèle des sons dans un casque de reproduction audio porté par un utilisateur. Un casque audio sans traitement spécifique ne permet qu'un rendu dégradé d'un mixage multi-canal, inférieur à celui d'une diffusion sur enceinte Le but des dispositifs de rendu audio spatialisé est de simuler la provenance des sons de plusieurs sources réparties dans l'espace. Pour effectuer ce rendu spatial avec une fidélité suffisante, il est nécessaire de tenir compte notamment des différences de chemin entre une source sonore et chacune des oreilles de l'utilisateur et des interférences entre les ondes acoustiques et le corps de l'utilisateur. Ces éléments sont traditionnellement mesurés pour être inclus dans une chaîne de traitement de signal numérique destinée à restituer à l'utilisateur portant un casque les éléments lui permettant de reconstituer la localisation des sources sonores en utilisant des fonctions de transfert de la tête (en anglais « Head Related Transfer Functions » ou « HRTF »). Il serait fastidieux et coûteux d'utiliser un nombre de mesures de la fonction HRTF adaptée à un utilisateur donné correspondant à une résolution spatiale de quelques degrés angulaires qui serait nécessaire pour un rendu de grande qualité. Les mesures étant nécessairement discrètes, il est en tout état de cause nécessaire dans les dispositifs de l'art antérieur de procéder par interpolation entre des points correspondant aux mesures d'une fonction HRTF ayant une résolution spatiale de plusieurs degrés (5° pour certaines bases, 10 à 15° plus couramment). Ces méthodes de l'art antérieur présentent plusieurs inconvénients. On utilise généralement un maillage de la fonction HRTF qui correspond à la répartition spatiale des mesures et n'est donc généralement pas régulier. La non régularité de la maille et la méthode d'interpolation génèrent notamment des erreurs audibles et des artefacts de localisation sur les points interpolés, lesdites erreurs étant particulièrement sensibles à certaines fréquences.
Il a également été proposé d'utiliser des harmoniques sphériques qui permettent dans une certaine mesure une interpolation globale et procurent ainsi un rendu plus précis. Voir par exemple, R. Duraiswami, D. N. Zotkin, and N. A. Gumerov, "Interpolation and range extrapolation of HRTFs," in IEEE, ICASSP 2004, Montreal, QC, Canada, 2004, pp. 45-48. Le manque d'alignement temporel des mesures interpolées entraîne cependant des artefacts qui restent importants. En outre, dans les implémentations réalisées, la taille des bases de données de mesures nécessaires est très élevée.
La présente invention résout ce problème en procédant à une interpolation des coefficients HRTF, sur des données résultant d'une décomposition linéaire définie comme la somme d'un modèle de la morphologie de la tête de l'utilisateur et d'un résidu.
A cet effet, l'invention divulgue un procédé de traitement binaural d'au moins un canal de signaux sonores préenregistrés pour être écoutés par un auditeur comprenant une étape d'accès à une base de données de fonctions de transfert HRTF correspondant à des mesures de signaux sonores perçus par une cible en provenance de sources réparties sur une sphère discrète de rayon variable centrée sur ledit utilisateur, une étape d'interpolation entre des points voisins d'un point (X, Y) de ladite sphère où se situe une source sonore; ledit procédé étant caractérisé en ce qu'il comprend en outre, préalablement à l'étape d'interpolation, une étape de décomposition d'au moins une partie des fonctions HRTF en une partie représentative d'un modèle de la dite cible et une partie résiduelle; postérieurement à l'étape d'interpolation, une étape de recomposition de la fonction HRTF du point (X, Y) à partir d'une valeur d'une fonction HRTF pour ledit modèle audit point et d'une valeur interpolée entre parties résiduelles aux points d'interpolation.
Avantageusement, le modèle est paramétré par au moins un paramètre morphologique de l'auditeur. Avantageusement, la fonction HRTF est le produit de la valeur d'une fonction 35 HRTF au point (X, Y) selon le modèle pour ledit auditeur et l'interpolation par harmoniques sphériques des résidus du modèle en l'ensemble des points sur la sphère contenant le point (X, Y) après élimination des valeurs modélisées en ces points.
Avantageusement, la fonction HRTF au point (X, Y) est le produit de la valeur d'une fonction HRTF au point (X, Y) selon le modèle pour ledit auditeur et du barycentre des résidus du modèle en plusieurs points (310, 320, 330, 340) entourant le point (X, Y) après élimination des valeurs modélisées en ces points.
Avantageusement, la base de données de fonctions de transfert HRTF correspondant à des mesures est enrichie par des fonctions HRTF pré-calculées sur une sphère (200) par interpolation à une maille prédéterminée utilisant des coefficients de fonctions harmoniques sphériques sur ladite sphère. Avantageusement, l'étape de décomposition et l'étape de recomposition ne sont appliquées qu'à la phase des fonctions HRTF.
Avantageusement, la représentation du modèle est choisie dans le groupe comprenant une sphère, une ellipse, une combinaison de sphères, d'ellipses et de triangles. Avantageusement, la représentation géométrique du modèle est construite à 25 partir d'une simulation du corps dudit auditeur. Avantageusement, préalablement à l'étape d'interpolation, les signaux sonores sont conditionnés en blocs d'une taille supérieure à une taille prédéterminée. 30 L'invention prévoit également un dispositif et un programme d'ordinateur pour mettre en oeuvre le procédé, ainsi qu'un système de reproduction sonore binaural incluant ledit dispositif ou ledit programme d'ordinateur. 35 L'invention permet ainsi l'utilisation d'un modèle paramétrique, sphérique, elliptique ou plus complexe, qui est donc adaptable à la morphologie de la personne. De ce fait également, il est possible de décomposer les fonctions de transfert en une partie représentative de la modélisation et une partie représentative de l'interpolation. Ainsi, plus le modèle est représentatif de la morphologie du sujet et donc plus il est fidèle, plus il est proche des mesures. Ainsi, les erreurs d'interpolation, concentrées sur la partie spécifique, sont minimisées. Le fait de réaliser des interpolations plus exactes que lorsqu'elles sont effectuées directement sur les fonctions de transfert elles-mêmes permet d'utiliser moins de points et donc d'utiliser des bases de données de taille plus réduite. En outre, le procédé de l'invention peut être mis en oeuvre à la fois sur la totalité de la sphère (résolution globale) et maille par maille (résolution locale). La première modalité est utilisée en mode asynchrone pour calculer une grille globale. L'interpolation point par point au sein d'une maille de la grille peut ainsi facilement être faite en temps réel, ce qui permet un calcul du filtre instantané peu gourmand en ressources de calcul. Enfin, selon l'invention, on réalise un lissage spatial des mesures et des données interpolées, ce qui améliore encore la qualité du rendu.
L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont : - La figure 1 représente la problématique à résoudre dans un dispositif d'écoute au casque ; - La figure 2 représente une vue d'un utilisateur avec quelques sources sonores , - La figure 3 illustre graphiquement une méthode d'interpolation linéaire sur maille quadrangle des coefficients des fonctions de transfert; - La figure 4 représente un organigramme général des traitements d'un moteur de rendu spatialisé incorporant les éléments de l'invention; - La figure 5 représente l'organigramme des traitements d'interpolation des coefficients des fonctions de transfert selon l'invention ; - Les figures 6a et 6b illustrent respectivement les fonctions de transfert et leur réponse impulsionnelle dans le plan azimutal avant suppression de la partie modélisée - Les figures 7a et 7b illustrent respectivement les fonctions de transfert et leur réponse impulsionnelle dans le plan azimutal après suppression de la partie modélisée - Les figures 8a à 8h illustrent graphiquement les performances de la méthode de filtrage de l'invention comparées avec différentes méthodes de l'art antérieur.
La figure 1 représente la problématique à résoudre dans un dispositif d'écoute au casque. Un front d'onde sonore 150 émis par une source sonore 110 parcourt des chemins différents 160, 170 pour parvenir aux oreilles droite et gauche (respectivement 130, 140) situées de part et d'autre d'une tête 120. Ces différences de chemin génèrent dans le cerveau une perception de provenance spatiale qui est un des éléments de la qualité de reproduction que les mélomanes, notamment, attendront d'un casque haute-fidélité. En outre, l'onde sonore interfère avec les parties de la tête de l'utilisateur qu'elle rencontre sur son chemin, le nez 180, les différents éléments des oreilles 130, 140. Des fonctions de transfert HRTF permettent de prendre en compte ces interférences pour les inclure dans le traitement de signal appliqué aux deux voies d'écoute d'un casque de haute-fidélité de sorte que l'utilisateur reconstitue ainsi la localisation de la source sonore 110. Pour une localisation donnée (en distance, azimut et élévation), il existe un fonction de transfert par oreille. Les fonctions HRTF sont les transformées de Fourier des réponses impulsionnelles de la tête aux ondes sonores (en anglais, Head-Related Impulse Response ou HRIR).
La figure 2 représente une vue d'un utilisateur avec quelques sources sonores. Les sources sonores 220, 230, 240, 250, 260, 270...sont positionnées sur une sphère 200. Les fonctions HRTF d'un casque de reproduction haute-fidélité devraient normalement être personnalisées pour un individu donné 35 210, utilisateur du casque, et devraient également comporter un nombre de fonctions de transfert correspondant à la résolution spatiale souhaitée en azimut et en élévation. Il est souhaitable d'atteindre une résolution spatiale définie selon les deux directions angulaires, sur une plage de 360° en azimut et -90 °/+90 ° en élévation. Pour une source en mouvement, la résolution souhaitée doit être inférieure à 3°. A 3°, si l'on cherchait à avoir des fonctions HRTF correspondant à des mesures réelles pour tous ces points, il faudrait 7200 mesures par utilisateur, ce qui n'est pas praticable. En revanche, pour des sources et un utilisateur fixes, les HRTF des localisations des sources suffisent.
En pratique on limite le nombre de points de mesure à la fois pour réduire le temps nécessaire à l'acquisition des données et pour éviter un espace de stockage très important. La résolution spatiale normalement utilisée peut être de l'ordre de 5 à 15° dans chacune des directions angulaires. Le dispositif de traitement réalise alors des interpolations entre les mesures acquises pour calculer les coefficients des fonctions de transfert pour des valeurs angulaires de résolution inférieure. Une solution classique consiste à réaliser une interpolation linéaire entre les points de mesure les plus proches de la source pour laquelle on veut calculer les fonctions HRTF. En règle générale cependant les points de mesure ne constituent pas une grille régulière, ce qui alourdit les calculs de recherche des HRTFs des plus proches voisins. D'autre part, les points de mesure pris en compte dans une interpolation (points de mesure les plus proches de la source sonore) ne sont pas temporellement alignés. En conséquence, la différence de temps de parcours entre oreilles (ou Interaural Time Difference, ITD), la différence d'amplitude (ou Interaural Level Difference, ILD) et la déformation spectrale, qui sont des caractéristiques fondamentales pour la reproduction spatialisée, ne sont pas correctement pris en compte dans ce type d'interpolation. Cette technique génère donc des erreurs significatives qui sont audibles. Le dispositif et le procédé de l'invention remédient à ces inconvénients de l'art antérieur. La figure 3 illustre graphiquement une méthode d'interpolation des coefficients des fonctions de transfert. Une première amélioration par rapport aux dispositifs de l'art antérieur consiste à utiliser une base de mesures régulière en azimut (E)) et en site (y) ) générée à partir d'une base de donnée quelconque, par exemple celle mise au point dans le cadre du projet Listen piloté par l'IRCAM (voir htip://recherche.ircam.fr/equipes/saYes/listen/index.html) ou la base CIPIC mise au point nar l'Université de Californie (navis), http://interface.cipic.ucdavis.edu/sound/hrtf.html). La génération de mesures régulières est effectuée par interpolation avec harmoniques sphériques, comme explicité plus loin dans la description. Le caractère régulier de la base permet d'accélérer énormément les calculs d'interpolation effectués en temps réel à partir de la position de la source.
Comme illustré sur la figure, une interpolation linéaire au point de coordonnées X, Y en azimut et en site peut être réalisée en prenant le barycentre des quatre points 310, 320, 330, 340 de la cellule dans laquelle ledit point X, Y est localisé. Cette méthode ne permet cependant pas de pallier les problèmes liés au 15 décalage temporel des filtres. La figure 4 représente un organigramme général des traitements d'un moteur de rendu spatialisé incorporant les éléments de l'invention. La figure représente une chaîne complète de traitement qui a permis de 20 valider les performances de rendu acoustique que permet d'obtenir l'invention. Elle est avantageusement réalisée en code MathLabTM. La chaîne de traitement comprend les modules suivants : Un module 410 réalise le traitement du flux audio qui est injecté dans le dispositif réparti entre plusieurs canaux ; ce traitement audio est 25 réalisé après transformation de Fourier du signal dans le domaine fréquentiel ; le traitement est caractérisé par le choix d'un fenêtrage temporel, par exemple une fenêtre de Hann, dont on choisit les paramètres ; les sources audio peuvent être positionnées graphiquement sur une sphère autour de l'utilisateur en utilisant un 30 joystick ; ladite sphère peut être de rayon variable ; Un module 420 réalise le filtrage dit « binaural », i.e. qui permet de rendre compte de la morphologie de la tête de l'utilisateur et de la localisation spatiale des sources ; c'est dans ce module qu'est, à titre principal, mise en oeuvre l'invention ; son fonctionnement sera décrit 35 en détail en liaison avec la figure 5 ; - Un module 430 permet de prendre en compte l'acoustique de la salle d'écoute ; - Un module 440 permet de réaliser l'égalisation des deux écouteurs du casque; - Un module 450 permet l'annulation des propagations croisées des filtres pour de la diffusion sur enceintes. La figure 5 représente l'organigramme des traitements d'interpolation des coefficients des fonctions de transfert selon l'invention.
Le principe de l'invention consiste à supprimer au cours d'une étape 510 le modèle morphologique lié aux HRTF originales des mesures avant de réaliser l'interpolation destinée à prendre en compte la position exacte de la source sur la sphère au cours d'une étape 520 puis à insérer le modèle morphologique de l'auditeur calculé de manière exacte au cours d'une étape 530. La décomposition linéaire par modèle s'effectue de la sorte : - HRTFm la fonction de transfert mesurée (pour un auditeur différent de l'auditeur actuel), - HRTFm,m celle modélisée de l'auditeur mesuré (pour un auditeur différent de l'auditeur actuel), - RESr,m la valeur d'un reste ou résidu de la partie du corps de l'auditeur mesuré après soustraction de la HRTF modélisée à la HRTF mesurée, - HRTFa celle de l'auditeur, - HRTFm,a celle modélisée de l'auditeur, - RESFr,a la valeur d'un reste ou résidu de la partie du corps de l'auditeur. après soustraction de la HRTF modélisée pour l'auditeur considéré à la HRTF mesurée. Sous l'hypothèse d'une modélisation exacte du filtrage HRTF : HRTFa = HRTFm,a et HRTFm = HRTFm,m Cependant, cette modélisation étant par nature non exacte, elle peut néanmoins se réécrire sous la forme HRTFa = HRTFm,a * (1 + RESr,a) et HRTFm = HRTFm,m * (1 + RESr,m) En faisant l'hypothèse que les variations interindividuelles des résidus sont négligeables devant celles des modèles, il est raisonnable de supposer que, 35 pour un modèle adapté, les résidus sont équivalents : RESr,a - RESr,m Ainsi, il suffit d'interpoler sur une maille quelconque HRTFm/HRTFm,m, pour obtenir une valeur approchée de (1+RESr,m), donc un équivalent de (1+RESr,a). En multipliant le résultat par le modèle morphologique de l'auditeur calculé à la position exacte HRTFm,a( 0, q;,), on obtient la formule générique suivante: HRTFa - HRTFm,a * interpolation(1 + HRTFm/HRTFm,m) où la fonction interpolation est quelconque (linéaire, harmonique, ...) Les HRTFs modélisées peuvent être obtenues de manière analytique, comme dans le cas d'un modèle sphérique du type de celui exposé dans la publication de Duda et al, R. O. Duda and W.M. Martens (1998). "Range dependence of the response of a spherical head mode/", J. Acoust. Soc. Am., 104, pp. 3048-3058, ou par simulation numérique (N. A. Gumerov, A. O'Donovan, R. Duraiswami, and D. N. Zotkin. Computation of the headrelated transfer function via the fast multipole accelerated boundary element method and its representation via the spherical harmonic spectrum. Technical Report CS-TR-4936 (also UMIACSTR-2009-06), Department of Computer Science, University of Maryland, College Park - 2009). La partie du corps mesuré (personne ou mannequin) et du corps de l'auditeur qui sont modélisées peuvent comprendre la tête seule ou inclure 20 également le torse. Une conséquence de la décomposition par modèle est de permettre un alignement temporel des coefficients HRTF entre lesquels l'interpolation sera effectuée. Cet alignement est obtenu par la suppression de l'ITD, qui est 25 incluse dans le modèle considéré. Au cours de l'étape 520, on réalise une interpolation entre les points pour lesquels on dispose de coefficients HRTF, de préférence fournis par des mesures régulières. Une des méthodes d'interpolation a été exposée en commentaire à la figure 3. On peut également réaliser une interpolation en 30 harmoniques sphériques sur la totalité du domaine de mesures, combinée, le cas échéant, avec une interpolation linéaire. Une méthode d'interpolation par harmoniques sphériques est divulguée par la publication R. Duraiswami déjà citée. Les harmoniques sphériques sont une extension de la transformation de Fourier en trois dimensions.
Il est avantageux de recourir à une interpolation par harmoniques sphériques qui pallie, dans une certaine mesure, les défauts de régularité de la base de mesures, une régularité parfaite étant en pratique très difficile à obtenir en raison des conditions de mesure.
L'interpolation par harmoniques sphériques est modélisée par une fonction de la forme suivante : - 1 f (X) = C ',IY',i(X) 1=0 n=-1 Avec 1,n e N , X un point complexe dans l'espace, Yn/ (X), un ensemble de fonctions spatiales qui sont les harmoniques sphériques, construites à partir de polynômes de Legendre. Elles sont utilisées en physique mathématique et sont supposées connues de l'homme du métier. Pour une présentation générale de la construction d'une base d'harmoniques sphériques voir notamment htto://fhwikipedia.ord/wiki0Harmonique sph%C3%A9ridue#Expression des 15 harmoniques sph.C3.A9riques. Bien que la décomposition en harmoniques sphériques ne donne pas dans le cas présent une solution exacte de l'équation de propagation de Helmholtz, elle est privilégiée en raison de sa relative simplicité et de son adaptation à la problématique de changement de grille sur une sphère, 20 puisqu'elles forment une base orthonormée de la sphère. Il est également possible d'appliquer un algorithme de régularisation, par exemple, de type Tichonov, qui permet de pallier au mauvais conditionnement du problème, tout en effectuant. un lissage des mesures, ce qui permet de limiter les erreurs dues à la prise de son. 25 On peut également réaliser avantageusement la ou les interpolations séparément sur l'amplitude et sur la phase du complexe X. Il est également possible de réaliser l'interpolation de l'amplitude en linéaire et l'interpolation de la phase en harmoniques sphériques. Pour une fréquence donnée, on calcule l'inverse de la matrice Yn,1 correspondant au points du maillage de la 30 mesure, ce qui permet de trouver les coefficients Cn,I. Une fois les coefficients de la base d'harmoniques sphériques déterminés pour l'ensemble de la sphère, on reconstruit par calcul direct les valeurs des H RTF pour tous les points de la grille pour chacune des fréquences.
Compte tenu des ressources de calcul nécessaires à la réalisation de l'interpolation en harmoniques sphériques, cette interpolation globale, permettant d'obtenir un maillage du modèle plus fin et plus régulier que celui des mesures n'est pas effectué en temps réel. Il est réalisé en prétraitement, 5 le traitement temps réel pouvant alors être complété par une interpolation linéaire utilisant le maillage en sortie de l'interpolation par harmoniques sphériques. Pour une base de mesures de résolution de 15° angulaire, on pourra ainsi avoir une base de fonctions HRTF interpolées par harmoniques sphériques de résolution angulaire de 3°. L'interpolation linéaire effectuée en 10 temps réel sur les données de cette 2ème base sera donc à la fois très rapide et très précise. Ainsi, pour une position de source donnée, on détermine les coefficients HRTF pré-calculés comme ci-dessus pour les points du quadrangle entourant la position de la source. Ces HRTFs sont calculées par 15 interpolation par harmoniques sphériques des résidus de la décomposition des HRTF en partie modélisée/partie résiduelle. Puis, en un point intérieur à la maille de la grille ainsi déterminée, on pratique une interpolation linéaire des résidus de la décomposition des HRTFs en partie modélisée/partie résiduelle pour obtenir la HRTF de la position souhaitée. Cette HRTF est 20 donc calculée avec la meilleure précision possible, tirant partie du couplage de ces deux approches. De plus, chaque interpolation peut être faîte indépendamment et en autonomie, puisque l'entrée comme la sortie de ces traitements sont des HRTFs complètes. 25 Le modèle peut être personnalisé en utilisant des paramètres morphologiques de l'auditeur, si ceux-ci sont disponibles, ou utiliser des paramètres génériques dans le cas contraire. Cette méthode de l'invention permet : 30 - Une forte diminution des artefacts d'interpolation ; - L'utilisation d'un modèle paramétrique, donc adaptable à la morphologie de l'utilisateur ; un modèle paramétrique peut en outre être remplacé par des simulations numériques de modèles morphologiques de plus en plus complexes, ce qui permet une réelle adaptation des fonctions HRTF de l'utilisateur sur des paramètres maîtrisés ; - La décomposition de chaque fonction HRTF en une partie modélisée et une partie approchée par interpolation ; - La limitation de la taille des bases de données nécessaires à l'interpolation ; pour un modèle sphérique, la taille de la base de données est de l'ordre de 2Mo). Après les traitements principaux décrits ci-dessus, il est avantageux d'ajouter 10 un certain nombre de post-traitements permettant une simulation de la distance jusqu'ici non abordée, en prenant en compte tout ou partie des points suivants : - la direction des HRTF perçues par les oreilles gauche et droite (traitement géométrique) ; 15 - l'effet du masquage de la tête sur les amplitudes des signaux reçus par chacune des deux oreilles ; - l'absorption des ondes sonores par l'air ; - l'effet d'atténuation en champ lointain. Avantageusement, en amont du traitement binaural, on pourra réaliser une 20 préparation des échantillons de mesures destinés à constituer les filtres. En effet, des blocs de mesures de la taille typique des mesures (512 échantillons) perturbent le signal d'entrée et ne sont souvent pas assez robustes aux traitements successifs de filtrage. On souhaitera donc appliquer les filtrages successifs à des blocs de taille plus importante, par exemple de 25 4096 échantillons. Pour parvenir à ce résultat, on peut par exemple appliquer un traitement dérivé de l'algorithme d'Overlap-Add (Algorithme dit O-pad ; voir par exemple la publication de E. Armelloni, C. Giottoli, A. Farina, Implementation of Reak-Time Partitioned Convolution on a DSP Board, 2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 30 October 19-22, 2003, New Paltz, NY) consistant à compléter les échantillons manquants par au moins autant de zéros que la taille du filtre, en ne conservant après filtrage que cette partie. Les figures 6a et 6b illustrent respectivement les fonctions de transfert et 35 leurs réponses impulsionnelles sans application de la méthode de l'invention.
Les figures 7a et 7b illustrent respectivement les fonctions de transfert et leurs réponses impulsionnelles après application de la méthode de l'invention. Les figures 6a et 7a représentent dans un diagramme azimut/fréquence les 5 HRTF respectivement avant et après suppression de la partie modélisée préalable à l'interpolation Les figures 6b et 7b représentent dans un diagramme azimut/temps les HRIR dans les mêmes conditions que celles des figures 6a et 7a. La comparaison de ces deux dernières figures confirme bien l'alignement 10 temporel des réponses impulsionnelle, visible à la référence 710b, lorsqu'on procède, selon la méthode de l'invention, à une décomposition par modèle. Les figures 8a à 8h illustrent graphiquement les performances de la méthode 15 de filtrage de l'invention comparées avec différentes méthodes de l'art antérieur. Toutes les courbes des huit figures représentent en ordonnée l'erreur relative entre les HRTFs interpolées et leurs références, ladite erreur étant exprimée en dB d'erreur quadratique moyenne (Mean Square Error ou MSE). Les 20 mesures sont faites dans le plan azimutal (d'élévation nulle), l'abscisse indiquant les valeurs d'azimut de mesure. Les courbes des figures 8a et 8b comparent, respectivement en temps et en fréquence, les erreurs MSE dans les cas suivants : - courbes 810a et 810b : interpolation des HRTFs par harmoniques 25 sphériques, sans séparation de l'amplitude et de la phase et sans décomposition des HRTFs en partie modélisée/simulée et partie résidu ; - courbes 820a et 820b : interpolation des HRTFs par harmoniques sphériques, avec séparation de l'amplitude et de la phase et sans 30 décomposition des HRTFs en partie modélisée/simulée et partie résidu ; - courbes 830a et 830b : interpolation des HRTFs par harmoniques sphériques, sans séparation de l'amplitude et de la phase et avec décomposition des HRTFs en partie modélisée/simulée et partie 35 résidu ; - courbe 840a : interpolation des HRTFs par harmoniques sphériques, avec séparation de l'amplitude et de la phase et avec décomposition des HRTFs en partie modélisée/simulée et partie résidu. Les courbes des figures 8c et 8d donnent les résultats pour les cas où l'on 5 remplace l'interpolation par harmoniques sphériques par une interpolation linéaire. Dans l'exemple non limitatif de ces mesures, l'interpolation par harmoniques sphériques est faite entre toutes les HRTFs de la sphère sauf celle qui est reconstruite ; l'interpolation linéaire est faite entre les deux HRTFs du plan entourant la HRTF calculée ; ces deux HRTFs ont un écart 10 entre elles de 30°. Les courbes 8e à 8h sont identiques aux courbes 8a à 8d, sauf que les paramètres du modèle utilisé pour la décomposition coïncident beaucoup moins bien avec la morphologie de l'auditeur. Les enseignements de ces courbes sont les suivants : 15 - lorsque les paramètres du modèle sont bien ajustés à la morphologie de la tête de l'auditeur, la réalisation de l'interpolation par harmoniques sphériques sur l'amplitude et la phase des résidus de la décomposition par le modèle améliore de manière très importante dans la dimension temporelle (gains de 3 à 8 dB) les résultats du 20 calcul des HRTFs dans toutes les configurations par rapport à la réalisation d'une interpolation directe sur les HRTFs ; - les gains sont du même ordre lorsque l'on ne réalise l'interpolation des résidus que sur la phase ; - les gains sur la dimension fréquentielle sont également importants 25 lorsque l'on compare la méthode de l'invention à une interpolation classique dans laquelle amplitude et phase sont traitées conjointement ; - les performances de l'interpolation linéaire sont également bonnes ; - l'ajustement des paramètres du modèle a un impact significatif sur la 30 qualité des résultats. L'invention peut être mise en oeuvre sur un environnement de développement d'applications de traitement audio comprenant une unité 35 centrale d'usage général de type PC, des processeurs de traitement de signal en nombre suffisant pour le nombre de voies à traiter, un atelier de développement, de paramétrage et de simulation de fonctions de traitement du signal du type de celles mentionnées en commentaire à la figure 4, par exemple sous MatLab, une ou plusieurs bases de données de mesures audio. Les exemples décrits ci-dessus sont donc donnés à titre d'illustration de certains des modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui 10 suivent.

Claims (12)

  1. REVENDICATIONS1. Procédé de traitement binaural d'au moins un canal de signaux sonores préenregistrés pour être écoutés par un auditeur comprenant : - Une étape d'accès à une base de données de fonctions de transfert HRTF correspondant à des mesures de signaux sonores perçus par une cible en provenance de sources réparties sur une sphère discrète (200) de rayon variable centrée sur ledit utilisateur; - Une étape d'interpolation entre des points (310, 320, 330, 340) voisins d'un point (X, Y) de ladite sphère où se situe une source sonore (110); Ledit procédé étant caractérisé en ce qu'il comprend en outre : - Préalablement à l'étape d'interpolation, une étape de décomposition d'au moins une partie des fonctions HRTF en une partie représentative d'un modèle (120) de la dite cible et une partie résiduelle; - Postérieurement à l'étape d'interpolation, une étape de recomposition de la fonction HRTF du point (X, Y) à partir d'une valeur d'une fonction HRTF pour ledit modèle audit point et d'une valeur interpolée entre parties résiduelles aux points d'interpolation.
  2. 2. Procédé de traitement binaural selon la revendication 1, caractérisé en ce que le modèle est paramétré par au moins un paramètre 30 morphologique de l'auditeur.
  3. 3. Procédé de traitement binaural selon l'une des revendications 1 à 2, caractérisé en ce que la fonction HRTF est le produit de la valeur d'une fonction HRTF au point (X, Y) selon le modèle pour ledit 35 auditeur et l'interpolation par harmoniques sphériques des résidus du modèleen l'ensemble des points sur la sphère contenant le point (X, Y) après élimination des valeurs modélisées en ces points.
  4. 4. Procédé de traitement binaural selon l'une des revendications 1 à 2, caractérisé en ce que la fonction HRTF au point (X, Y) est le produit de la valeur d'une fonction HRTF au point (X, Y) selon le modèle pour ledit auditeur et du barycentre des résidus du modèle en plusieurs points (310, 320, 330, 340) entourant le point (X, Y) après élimination des valeurs modélisées en ces points.
  5. 5. Procédé de traitement binaural selon l'une des revendications 1 à 4, caractérisé en ce que la base de données de fonctions de transfert HRTF correspondant à des mesures est enrichie par des fonctions HRTF pré-calculées sur une sphère (200) par interpolation à une maille prédéterminée utilisant des coefficients de fonctions harmoniques sphériques sur ladite sphère.
  6. 6. Procédé de traitement binaural selon l'une des revendications 1 à 5, caractérisé en ce que l'étape de décomposition et 20 l'étape de recomposition ne sont appliquées qu'à la phase des fonctions HRTF.
  7. 7. Procédé de traitement binaural selon l'une des revendications 1 à 6, caractérisé en ce que la représentation du modèle est 25 choisie dans le groupe comprenant une sphère, une ellipse, une combinaison de sphères, d'ellipses et de triangles.
  8. 8. Procédé de traitement binaural selon l'une des revendications 1 à 6, caractérisé en ce que la représentation géométrique du 30 modèle est construite à partir d'une simulation du corps dudit auditeur.
  9. 9. Procédé de traitement binaural selon l'une des revendications 1 à 7, caractérisé en ce que, préalablement à l'étape d'interpolation, les signaux sonores sont conditionnés en blocs d'une taille 35 supérieure à une taille prédéterminée.
  10. 10. Dispositif de traitement binaural d'au moins un canal de signaux sonores préenregistrés pour être écoutés par un auditeur comprenant : - Un module d'accès à une base de données de fonctions de transfert HRTF correspondant à des mesures de signaux sonores perçus par une cible en provenance de sources réparties sur une sphère discrète (200) de rayon variable centrée sur ledit utilisateur; - Un module d'interpolation entre des points (310,320) voisins d'un point (X, Y) de ladite sphère où se situe une source sonore (110); Ledit dispositif étant caractérisé en ce qu'il comprend en outre : - En entrée du module d'interpolation, un module de décomposition d'au moins une partie des fonctions HRTF en une partie représentative d'un modèle (120) de ladite cible et une partie résiduelle ; - En sortie du module d'interpolation, un module de recomposition de la fonction HRTF du point (X, Y) à partir d'une valeur d'une fonction HRTF pour ledit modèle audit point et d'une valeur interpolée entre parties résiduelles aux points d'interpolation.
  11. 11. Programme d'ordinateur comprenant des instructions de code de programme permettant l'exécution du procédé selon l'une des revendications 1 à 8 lorsque le programme est exécuté sur un ordinateur, ledit programme d'ordinateur comprenant : - Un module d'accès à une base de données de fonctions de transfert HRTF correspondant à des mesures de signaux sonores perçus par une cible en provenance de sources réparties sur une sphère discrète (200) de rayon variable centrée sur ledit utilisateur; - Un module d'interpolation entre des points (310,320) voisins d'un point (X, Y) de ladite sphère où se situe une source sonore (1 1 0);Ledit programme d'ordinateur étant caractérisé en ce qu'il comprend en outre : - En entrée du module d'interpolation, un module de décomposition d'au moins une partie des fonctions HRTF en une partie représentative d'un modèle (120) de ladite cible et une partie résiduelle ; - En sortie du module d'interpolation, un module de recomposition de la fonction HRTF du point (X, Y) à partir d'une valeur d'une fonction HRTF pour ledit modèle audit point et d'une valeur interpolée entre parties résiduelles aux points d'interpolation.
  12. 12. Système de reproduction audio binaural comprenant au moins un dispositif de traitement binaural selon la revendication 10 ou un 15 programme d'ordinateur selon la revendication 11.
FR1262945A 2012-12-28 2012-12-28 Dispositif et procede d'interpolation spatiale de sons Withdrawn FR3000637A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1262945A FR3000637A1 (fr) 2012-12-28 2012-12-28 Dispositif et procede d'interpolation spatiale de sons
PCT/EP2013/077746 WO2014102199A1 (fr) 2012-12-28 2013-12-20 Dispositif et procede d'interpolation spatiale de sons

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1262945A FR3000637A1 (fr) 2012-12-28 2012-12-28 Dispositif et procede d'interpolation spatiale de sons

Publications (1)

Publication Number Publication Date
FR3000637A1 true FR3000637A1 (fr) 2014-07-04

Family

ID=47989200

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1262945A Withdrawn FR3000637A1 (fr) 2012-12-28 2012-12-28 Dispositif et procede d'interpolation spatiale de sons

Country Status (2)

Country Link
FR (1) FR3000637A1 (fr)
WO (1) WO2014102199A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007048900A1 (fr) * 2005-10-27 2007-05-03 France Telecom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
JP2008312113A (ja) * 2007-06-18 2008-12-25 Nippon Hoso Kyokai <Nhk> 頭部伝達関数補間装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007048900A1 (fr) * 2005-10-27 2007-05-03 France Telecom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
JP2008312113A (ja) * 2007-06-18 2008-12-25 Nippon Hoso Kyokai <Nhk> 頭部伝達関数補間装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DURAISWAMI R ET AL: "Interpolation and range extrapolation of hrtfs", ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 2004. PROCEEDINGS. (ICASSP ' 04). IEEE INTERNATIONAL CONFERENCE ON MONTREAL, QUEBEC, CANADA 17-21 MAY 2004, PISCATAWAY, NJ, USA,IEEE, PISCATAWAY, NJ, USA, vol. 4, 17 May 2004 (2004-05-17), pages 45 - 48, XP010718401, ISBN: 978-0-7803-8484-2 *
GUMEROV NAIL ET AL: "Computation of the head-related transfer function via the fast multipole accelerated boundary element method and its spherical harmonic representation", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, AMERICAN INSTITUTE OF PHYSICS FOR THE ACOUSTICAL SOCIETY OF AMERICA, NEW YORK, NY, US, vol. 127, no. 1, 1 January 2010 (2010-01-01), pages 370 - 386, XP012135160, ISSN: 0001-4966, DOI: 10.1121/1.3257598 *
KATZ BRIAN F G: "Boundary element method calculation of individual head-related transfer function. I. Rigid model calculation", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, AMERICAN INSTITUTE OF PHYSICS FOR THE ACOUSTICAL SOCIETY OF AMERICA, NEW YORK, NY, US, vol. 110, no. 5, 1 November 2001 (2001-11-01), pages 2440 - 2448, XP012002596, ISSN: 0001-4966, DOI: 10.1121/1.1412440 *
WATANABE K ET AL: "INTERPOLATION OF HEAD-RELATED TRANSFER FUNCTIONS BASED ON THE COMMON-ACOUSTICAL-POLE AND RESIDUE MODEL", ACOUSTICAL SCIENCE AND TECHNOLOGY, ACOUSTICAL SOCIETY OF JAPAN, TOKYO, JP, vol. 24, no. 5, 1 January 2003 (2003-01-01), pages 335 - 337, XP008052073, ISSN: 1346-3969, DOI: 10.1250/AST.24.335 *

Also Published As

Publication number Publication date
WO2014102199A1 (fr) 2014-07-03

Similar Documents

Publication Publication Date Title
Cuevas-Rodríguez et al. 3D Tune-In Toolkit: An open-source library for real-time binaural spatialisation
EP2898707B1 (fr) Calibration optimisee d&#39;un systeme de restitution sonore multi haut-parleurs
Bernschütz A spherical far field HRIR/HRTF compilation of the Neumann KU 100
Ahrens et al. An analytical approach to sound field reproduction using circular and spherical loudspeaker distributions
US8855341B2 (en) Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
ES2261994T3 (es) Metodo de tratamiento de datos sonoros y dispositivos de adquisicion sonoro que ejecuta este procedimiento.
Zhang et al. On high-resolution head-related transfer function measurements: An efficient sampling scheme
Ben-Hur et al. Loudness stability of binaural sound with spherical harmonic representation of sparse head-related transfer functions
KR20130102566A (ko) 스피커를 통한 오디오에 대한 스펙트럼적으로 채색되지 않은 최적의 크로스토크 제거
Tylka et al. Fundamentals of a parametric method for virtual navigation within an array of ambisonics microphones
Schönstein et al. HRTF selection for binaural synthesis from a database using morphological parameters
Ajdler et al. Sound field analysis along a circle and its application to HRTF interpolation
Tylka Virtual navigation of ambisonics-encoded sound fields containing near-field sources
Aussal et al. ITD interpolation and personalization for binaural synthesis using spherical harmonics
FR2839565A1 (fr) Procede et systeme de representation d&#39;un champ acoustique
Iijima et al. Binaural rendering from microphone array signals of arbitrary geometry
Zhong et al. Maximal azimuthal resolution needed in measurements of head-related transfer functions
WO2018053050A1 (fr) Processeur et générateur de signal audio
FR3065137A1 (fr) Procede de spatialisation sonore
FR3000637A1 (fr) Dispositif et procede d&#39;interpolation spatiale de sons
Sheaffer et al. Equalization strategies for binaural room impulse response rendering using spherical arrays
JP6592838B2 (ja) バイノーラル信号生成装置、方法及びプログラム
Bau et al. Estimation of the optimal spherical harmonics order for the interpolation of head-related transfer functions sampled on sparse irregular grids
Koyama Boundary integral approach to sound field transform and reproduction
Marschall et al. A database of near-field head-related transfer functions based on measurements with a laser spark source

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

ST Notification of lapse

Effective date: 20160831