EP1999998B1

EP1999998B1 - Procede de synthese binaurale prenant en compte un effet de salle

Info

Publication number: EP1999998B1
Application number: EP07731711A
Authority: EP
Inventors: Julien Faure; Alexandre Guerin; Rozenn Nicol; Grégory PALLONE
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2006-03-28
Filing date: 2007-03-08
Publication date: 2012-07-11
Anticipated expiration: 2027-03-08
Also published as: WO2007110520A1; JP2009531906A; JP4850948B2; US20090103738A1; US8045718B2; EP1999998A1; ES2390831T3; FR2899424A1

Abstract

Un procédé de spatialisation 3D de canaux audio à partir d'un filtre BRIR incorporant un effet de salle. Pour un nombre N d'échantillons spécifique taille de la réponse impulsionnelle du filtre BRIR, il consiste à décomposer (A) le filtre BRIR en au moins un ensemble de valeurs de retard et d'amplitude associées aux instants d'arrivée des réflexions, extraire (B) sur le nombre N d'échantillons au moins un module spectral du filtre BRIR, et constituer (C) à partir de chaque retard successif, de son amplitude et de son module spectral associés un filtre BRIR élémentaire (BRIRe) directement appliqué aux canaux audio dans le domaine temporel, fréquentiel ou transformé. Application à la spatialisation binaurale bi- ou multicanale.

Description

L'invention est relative à la spatialisation sonore, dite rendu 3D, de signaux audio, intégrant en particulier un effet de salle, notamment dans le domaine des techniques binaurales.
Ainsi, le terme « binaural » vise la restitution sur un casque stéréophonique, ou une paire d'écouteurs, d'un signal sonore avec néanmoins des effets de spatialisation. L'invention ne se limite toutefois pas à la technique précitée et s'applique, notamment, à des techniques dérivées du « binaural » telles que les techniques de restitution « transaurale », c'est-à-dire sur des haut-parleurs distants. TRANSAURAL^® est une marque de commerce déposée par la société COOPER BAUCK CORPORATION.
Une application spécifique de l'invention est, par exemple, l'enrichissement des contenus audio en appliquant de manière efficace des fonctions de transfert acoustique de la tête d'un auditeur à des signaux monophoniques, afin de plonger ce dernier dans une scène sonore 3D, incluant en particulier un effet de salle.
Pour la mise en oeuvre des techniques « binaurales » sur casque ou haut-parleurs, on définit la fonction de transfert, ou filtre, d'un signal sonore entre une position d'une source sonore dans l'espace et les deux oreilles d'un auditeur. La fonction de transfert acoustique de la tête précitée est désignée HRTF pour « Head Related Transfer Function » en anglais dans sa forme fréquentielle et HRIR pour « Head Related Impulse Response » en anglais dans sa forme temporelle. Pour une direction de l'espace, on obtient au final deux HRTF : une pour l'oreille droite et une pour l'oreille gauche.
En particulier, la technique binaurale consiste à appliquer de telles fonctions de transfert acoustique de la tête à des signaux audio monophoniques, afin d'obtenir un signal stéréophonique qui permet, lors d'une écoute au casque, d'avoir la sensation que les sources sonores proviennent d'une direction particulière de l'espace. Le signal de l'oreille droite est obtenu en filtrant le signal monophonique par la HRTF de l'oreille droite et le signal de l'oreille gauche est obtenu en filtrant ce même signal monophonique par la HRTF de l'oreille gauche.
Le brevet américain US 5,438,623 décrit un exemple de procédé de spatialisation 3D de canaux audio dans lequel de telles fonctions HRTF synthétiques sont dérivées à partir de données expérimentales et/ou d'un modèle d'une tête sphérique.
Les paramètres physiques essentiels qui permettent de caractériser ces fonctions de transfert sont :

l'ITD pour « Interaural Time Difference » en anglais, défini comme la différence interaurale de temps d'arrivée des ondes sonores d'une même source sonore entre l'oreille gauche et l'oreille droite de l'auditeur. L'ITD est principalement lié à la phase des HRTF ;
le module spectral, qui permet notamment de percevoir des différences de niveau entre l'oreille gauche et l'oreille droite en fonction de la fréquence ;
lorsque les HRTF, ou les HRIR, de la tête de l'auditeur ne sont pas considérées comme correspondant à des conditions de propagation sonore en champ libre (condition anéchoïque), les fonctions de transfert précitées peuvent prendre en compte des phénomènes de réflexion diffusion, diffraction, lesquels correspondent à la réponse acoustique de la salle dans laquelle ces fonctions de transfert ont été mesurées ou simulées. Les fonctions de transfert précitées sont alors appelées BRIR pour « Binaural Room Impulse Response » en anglais dans leur forme temporelle.

Les techniques binaurales précitées peuvent être par exemple employées pour simuler un rendu 3D de type 5.1 au casque d'écoute. Dans cette technique, à chaque position de haut-parleur du système « surround » en anglais, ou multi haut-parleurs, correspond un couple de HRTF, une HRTF pour l'oreille gauche et une HRTF pour l'oreille droite. La somme des 5 canaux du signal en mode 5.1 convolués par les 5 filtres HRTF pour chaque oreille d'un auditeur permet d'obtenir deux canaux binauraux droit et gauche, lesquels simulent le mode 5.1 pour une écoute sur un casque d'écoute audio.
On parle dans cette situation de « binaural virtual surround » en anglais pour spatialisation binaurale simulant un système multi haut-parleurs.
Lorsque, dans le rendu 3D, l'on prend en compte le fait, pour l'auditeur, de percevoir les sources sonores plus ou moins éloignées de la tête, phénomène connu sous le nom d'externalisation, et ce de manière indépendante de la direction de provenance des sources sonores, il arrive fréquemment, dans un rendu 3D binaural, que les sources soient perçues à l'intérieur de la tête par l'auditeur. La source ainsi perçue est dite non externalisée.
Différents travaux ont montré que l'ajout d'un effet de salle dans les méthodes de rendu 3D binaurales permet d'augmenter considérablement l'externalisation des sources sonores. Confer, notamment, D. R. Begault et E. M. Wenzel, "Direct comparison of the impact of head tracking, reverberation, and individualized head-related transfer functions on the spatial perception of a virtual speech source". J. Audio Eng. Soc., vol. 49, n° 10,2001.
Actuellement, il existe deux méthodes principales, permettant d'intégrer l'effet de salle aux HRIR :

la première, relative à l'effet de salle réel, consiste à mesurer des HRIR dans une salle non anéchoïque, comportant donc un effet de salle. Les HRIR obtenues, qui ne sont autres que des BRIR, doivent être d'une durée suffisamment longue pour intégrer les premières réflexions sonores, durée supérieure à 500 échantillons temporels pour une fréquence d'échantillonnage de 44 100 Hz, mais cette durée doit être encore plus importante, c'est-à-dire supérieure à 20 000 échantillons temporels à la même fréquence d'échantillonnage, si on veut intégrer l'effet de réverbération tardive. On note toutefois que les BRIR précitées peuvent être obtenues de manière équivalente par la convolution des HRIR mesurées en environnement anéchoïque avec l'effet de salle désiré, représenté par la réponse impulsionnelle de la salle ;
la deuxième, relative à l'effet de salle artificiel, est issue de l'acoustique virtuelle et consiste à intégrer l'effet de salle au HRIR, de manière synthétique. Cette opération est réalisée grâce à des spatialisateurs qui introduisent des effets de réverbération artificielle. L'inconvénient de telles méthodes est que l'obtention d'un rendu réaliste nécessite une puissance de calcul importante.

En ce qui concerne la spatialisation sonore « binaurale » une méthode courante consiste à modéliser les filtres binauraux, en décomposant les HRTF, ou les HRIR, en une composante à phase minimale (filtre à phase minimale déterminé par le module spectral de la HRTF) et un retard pur. Pour une description plus détaillée d'une telle méthode, on pourra utilement se reporter aux articles de D. J. Kistler et F. L. Wightman, « A model of head-related transfer functions based on principal components analysis and minimum-phase reconstruction » J. Acoustic Soc. Am. 91 (3) p 1637-1647, 1992 et de Kulkarni A. et al. « On the minimum-phase approximation of head-related functions » 1995 IEEE ASSP Workshop on Applications of Signal Processing Audio and Acoustics (IEEE catalog number: 95TH8144).
La différence de retard observée entre les HRTF ou les HRIR de l'oreille gauche et de l'oreille droite correspond alors à l'indice de localisation ITD. Il existe différentes méthodes pour extraire les retards des HRIR ou HRTF. Les principales méthodes sont décrites par S. Busson « Individualisation d'indices acoustiques pour la synthèse binaurale » Thèse de doctorat de l'Université de la Méditerranée Aix-Marseille II, 2006.
Le module spectral est obtenu en prenant le module de la transformée de Fourier des HRIR. Le nombre de coefficients peut alors être réduit, par exemple en moyennant l'énergie sur un nombre réduit de bandes de fréquences, par exemple selon des techniques de lissage fréquentiel basées sur les propriétés d'intégration du système auditif.
Indépendamment de la façon dont sont modélisés les filtres HRTF ou HRIR, le cas échéant BRIR, il existe plusieurs méthodes d'implémentation de la spatialisation sonore binaurale.
Parmi celles-ci, la méthode la plus simple et la plus directe est l'implémentation bi-canale du binaural, représentée en figure 1.
Selon cette méthode, la spatialisation des sources se fait de façon indépendante les unes des autres. Une paire de filtres HRTF est associée à chaque source. Le filtrage peut être réalisé soit dans le domaine temporel, sous la forme d'un produit de convolution, soit dans le domaine fréquentiel, sous la forme d'une multiplication complexe, ou encore dans tout autre domaine transformé, tel que le domaine PQMF pour Pseudo Quadrature Mirror Filter en anglais par exemple.
L'implémentation multicanale du binaural est une alternative à l'implémentation bi-canale offrant une implémentation plus efficace qui consiste en une décomposition linéaire des HRTF, sous la forme d'une somme de produits de fonctions de la direction (gains d'encodage) et de filtres élémentaires (filtres de décodage). Cette décomposition permet de séparer les étapes d'encodage et de décodage, le nombre de filtres étant alors indépendant du nombre de sources à spatialiser. Les filtres élémentaires peuvent à leur tour être modélisés par un filtre à phase minimale et un retard pur pour simplifier leur implémentation. Il est également possible d'extraire les retards des HRTF d'origine et de les intégrer séparément à l'encodage.
Les techniques antérieures précitées présentent des inconvénients majeurs, lors de l'implémentation de filtres BRIR, prenant en compte l'effet de salle, en particulier :

la complexité : les BRIR, du fait de la durée importante des réponses de salle, contiennent un nombre d'échantillons temporels qui peut être très élevé, supérieur à 20 000 échantillons pour des salles de taille moyenne, ce nombre étant lié au retard des échos de salle et donc aux dimensions de cette dernière. En conséquence, les filtres BRIR correspondants requièrent une puissance de calcul et une taille mémoire très importantes ;
l'externalisation : la modélisation sous la forme d'un filtre à phase minimale, associé à un retard pur, permet de réduire la taille des filtres. Cependant, le fait d'extraire un seul retard interaural pour chaque filtre BRIR ne permet pas de prendre en compte les premières réflexions.

La présente invention a pour objet de remédier aux inconvénients précités de la technique antérieure et est définie par le procédé de la revendication 1 et le programme d'ordinateur de la revendication 11.
En particulier, un objet de la présente invention est de proposer un procédé de calcul de paramètres de modélisation de filtres BRIR, filtres HRIR prenant en compte un effet de salle de l'art antérieur, ces paramètres comprenant un ou plusieurs retards éventuellement associés à des gains et à au moins un spectre d'amplitude, afin de permettre une implémentation performante soit dans le domaine temporel, soit dans le domaine fréquentiel ou transformé.
Un autre objet de la présente invention est la mise en oeuvre d'un procédé de calcul de filtres BRIR spécifiques, lesquels, bien que équivalents en termes de qualité à des filtres BRIR classiques ou originaux permettant un positionnement et une externalisation satisfaisants des sources, réduisent fortement la puissance de calcul et de taille mémoire nécessaires à la mise en oeuvre du filtrage correspondant.
Le procédé de spatialisation 3D de canaux audio, à partir d'au moins une fonction de transfert de filtre acoustique incorporant un effet de salle, objet de à présente invention, est remarquable en ce qu'il consiste au moins, pour un nombre d'échantillons spécifique correspondant à la taille de la réponse impulsionnelle de la fonction de transfert, à décomposer cette fonction de transfert en au moins un ensemble de valeurs de retard et d'amplitude associées à des pics d'amplitude, à extraire sur ce nombre d'échantillons au moins un module spectral de la fonction de transfert, à constituer à partir de chaque retard successif de son amplitude et de son module spectral associés une fonction de transfert élémentaire directement appliquée aux canaux audio dans le domaine temporel, fréquentiel ou transformé.
Le procédé selon l'invention est en outre remarquable en ce que les valeurs de retard et d'amplitude associées à des pics d'amplitude correspondent aux Instants d'arrivée des réflexions.
Le procédé objet de l'invention est en outre remarquable en ce que la décomposition de la fonction de transfert est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant associé le retard correspondant à l'instant d'arrivée de l'onde sonore directe.
Le procédé objet de l'invention est également remarquable en ce que l'extraction de chaque module spectral est exécutée par une transformation temps-fréquence.
Le procédé objet de l'invention est également remarquable en ce que, pour un nombre d'échantillons correspondant à la réponse impulsionnelle de la fonction de transfert décomposée en sous-bandes de fréquences de rang k déterminé, la valeur du module spectral de la fonction de transfert est définie comme une valeur réelle de gain représentative de l'énergie de la fonction de transfert dans chaque sous-bande.
Le procédé objet de l'invention est également remarquable en ce que à chaque retard est associé un module spectral et en ce que le module spectral de la fonction de transfert est défini dans chaque sous-bande comme une valeur réelle de gain représentative de l'énergie de la fonction de transfert partielle dans ladite sous-bande, cette valeur de gain étant fonction du retard associé.
Cette modulation du module spectral en fonction du retard appliqué permet d'implémenter une reconstruction du filtre BRIR beaucoup plus proche du filtre BRIR d'origine.
Enfin, le procédé objet de l'invention est remarquable en ce que chaque fonction de transfert élémentaire dans chaque sous-bande de fréquences de rang k est formé par une multiplication complexe, fonction ou non du retard associé à chaque pic d'amplitude incluant une valeur réelle de gain, et par un retard pur, augmenté de l'écart de retard vis-à-vis du retard alloué au premier échantillon correspondant à l'instant d'arrivée de l'onde sonore directe.
Il sera mieux compris à la lecture de la description et à l'observation des dessins ci-après dans lesquels, outre la figure 1 relative à une technique de spatialisation sonore binaurale de l'art antérieur :

la figure 2 représente, à titre purement illustratif, un organigramme des étapes essentielles de mise en oeuvre du procédé de spatialisation 3D de canaux audio à partir d'au moins un filtre BRIR incorporant un effet de salle, conforme à l'objet de la présente invention ;
la figure 3a représente un détail de mise en oeuvre de l'étape de décomposition exécutée à l'étape A de la figure 2a ;
la figure 3b représente un chronogramme d'échantillons permettant d'expliciter le mode opératoire d'une sous-étape A₀ de constitution d'un premier vecteur I_i et d'un premier vecteur décalé I_i+1 de pics d'amplitude de la figure 3a ;
la figure 3c représente à titre illustratif un chronogramme des échantillons de pics d'amplitude explicitant un processus de construction d'un deuxième vecteur à partir d'un vecteur d'écart entre le premier vecteur décalé et le premier vecteur illustrés à la figure 3b, ce deuxième vecteur regroupant les indices de rang des pics d'amplitude isolés ;
la figure 3d représente un chronogramme des pics d'amplitude représentatifs des premières réflexions dues à l'effet de salle obtenu à partir du deuxième vecteur illustré en figure 3c, à chacune des premières réflexions étant alloué un retard correspondant au paramètre correspondant à l'instant d'arrivée de l'onde sonore directe, puis des retards successifs spécifiques ajoutés au paramètre de retard de l'onde sonore directe.

Le procédé de spatialisation 3D de canaux audio à partir d'au moins un filtre BRIR incorporant un effet de salle, conforme à l'objet de l'invention sera maintenant décrit en liaison avec la figure 2 et les figures suivantes.
Le procédé objet de l'invention consiste pour un nombre N donné d'échantillons spécifique, correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à décomposer en une étape A, ce filtre BRIR en au moins un ensemble de valeurs d'amplitude et de valeurs de retard décrivant une suite de pics d'amplitude.
Etape A de la figure 2, l'opération de décomposition est notée : ${[A_{n}, n]}_{n = 1}^{n = N} A_{Mx} | Δ x = Δ_{0} + δx .$
Dans cette relation, A_n indique l'amplitude de l'échantillon de rang n et A_Mx indique l'amplitude de chaque pic d'amplitude, Δ_x désignant le retard associé à chacun des pics d'amplitude correspondant.
Ce retard est fonction du retard Δ₀ correspondant à l'instant d'arrivée de l'onde directe ainsi qu'il sera décrit ci-après dans la description. L'étape A est suivie d'une étape B consistant à extraire, sur le nombre N d'échantillons au moins un module spectral moyen du filtre BRIR, chaque module spectral étant noté : $\overline{{BRIR}_{N}} = G_{N} .$
L'étape B est alors suivie d'une étape C consistant à constituer à partir de chaque retard successif, de l'amplitude et du module spectral associés à ce retard établis à l'étape B un filtre BRIR élémentaire noté BRIR_e directement appliqué aux canaux audio dans le domaine temporel fréquentiel ou transformé, ainsi qu'il sera décrit ci-après dans la description.
De manière plus spécifique, on comprend que la décomposition du filtre BRIR à l'étape A est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant associé le retard Δ₀ correspondant à l'instant d'arrivée de l'onde sonore directe.
Ainsi, le premier pic d'amplitude est défini par les paramètres A_M0lΔ₀.
On comprend également qu'aux autres pics d'amplitude est alors associée successivement, outre le retard Δ₀, une valeur δ_x dépendant de la position du pic d'amplitude dans les N échantillons, le retard alloué à chaque pic d'amplitude A_Mx est donné par Δx = A₀ + δx.
D'autres méthodes de détection du premier pic peuvent aussi être utilisées, ainsi qu'il est connu de l'état de la technique, en particulier pour déterminer la valeur du retard Δ₀ lequel peut par exemple être pris égal au retard interaural.
L'étape B, d'extraction d'au moins un module spectral du filtre BRIR d'une durée de N échantillons permet d'assurer une correspondance du timbre entre chaque filtre BRIR original et le filtre BRIR reconstruit à partir des filtres BRIR_e élémentaires, ainsi qu'il sera décrit ultérieurement dans la description.
En particulier, et de manière non limitative, l'extraction du module spectral peut être exécutée par une transformation temps-fréquence telle qu'une transformée de Fourier, ainsi qu'il sera décrit ultérieurement dans la description.
La mise en oeuvre des filtres BRIR élémentaires BRIR_e formés chacun à partir de la valeur de chaque module spectral du filtre BRIR et bien entendu de l'amplitude et du retard Δx considéré, permet d'assurer une réduction des coûts de calcul.
Toutes les méthodes de filtrage à partir d'un filtre à phase minimale ou non, associées à toutes les méthodes d'implémentation des retards peuvent convenir à la décomposition proposée. En particulier, le procédé objet de l'invention peut par exemple être combiné à une implémentation multicanale de la spatialisation 3D binaurale.
Un mode de mise en oeuvre particulier préférentiel non limitatif du procédé objet de l'invention sera maintenant décrit en liaison avec les figures 3a à 3d.
Le mode de mise en oeuvre précité est mis en oeuvre dans le cadre de la décomposition de filtres BRIR pour une implémentation efficace dans le domaine des sous-bandes temporelles complexes plus particulièrement mais de manière non limitative le domaine PQMF complexe.
Une telle implémentation peut être utilisée par un décodeur défini par la norme MPEG surround, afin d'obtenir un rendu 3D binaural de type 5.1. Le mode 5.1 est défini par la norme MPEG spatial audio coding ISO/IEC 23003-1 (doc N7947).
En référence à la demande de brevet français intitulée :

« Procédé et dispositif de spatialisation sonore binaurale efficace dans le domaine transformé »,

Le mode de réalisation précité peut être transposé au domaine temporel c'est-à-dire au domaine non transformé en sous-bandes ou à tout autre domaine transformé.
Le procédé objet de l'invention permet d'obtenir de manière générale et en particulier dans son mode de mise en oeuvre préférentiel :

des retards qui correspondent au retard Δ₀ instant d'arrivée de l'onde sonore directe et aux retards des premières réflexions de la salle, ces retards étant ensuite implémentés dans le domaine des sous-bandes ;
des valeurs de gain, valeurs réelles, un gain étant par exemple attribué à chaque sous bande et pour chaque réflexion à partir du contenu spectral des filtres BRIR, ainsi qu'il sera explicité ci-après.

Ainsi, pour une exécution décrite à titre d'exemple non limitatif dans le domaine des sous-bandes temporelles complexes, l'extraction des retards consiste au moins pour tout filtre BRIR correspondant à une position de l'espace, ainsi que représenté en figure 3a et à partir de l'enveloppe temporelle du filtre établie sur le nombre d'échantillons N correspondant à la taille de la réponse impulsionnelle du filtre BRIR, cette enveloppe temporelle étant notée ${[A_{n}]}_{n = 1.}^{n = N}$
à exécuter une première sous-étape, notée A₀, consistant à identifier les indices de rang d'échantillon temporel dont la valeur d'amplitude est supérieure à une valeur de seuil notée V à l'étape A₀₁ de la figure 3a. On comprend, en particulier, que la comparaison A_n > V est effectuée pour chaque échantillon des N échantillons successivement par retour à l'étape A₀₁ par l'intermédiaire de la sous-étape A₀₂ successivement sur les N échantillons.
Cette opération permet d'engendrer un premier vecteur noté I_i à la sous-étape A₀₃, et un premier vecteur décalé noté I_i+1 à la sous-étape A₀₄. Le premier vecteur I_i correspond aux indices de rang des échantillons temporels dont la valeur d'amplitude est supérieure à la valeur de seuil V. Le premier vecteur décalé I_i+1 se déduit du premier vecteur par décalage d'un indice. Le premier vecteur et le premier vecteur décalé étant représentatifs de la position des pics d'amplitude dans le nombre N d'échantillons.
L'étape A₀ est suivie d'une étape A₁ consistant à déterminer si les échantillons temporels dont l'amplitude est supérieure à la valeur de seuil V correspondant à des pics d'amplitude isolés par calcul d'un vecteur d'écart I' qui représente la différence entre le premier vecteur décalé I_i+1 et le premier vecteur I_i.
En effet, on comprend que, si les valeurs contenues dans le vecteur d'écart I' sont importantes, alors on est en présence du début d'un pic distinct du pic précédent, ainsi qu'il sera décrit ultérieurement dans la description.
L'étape A₁ est alors suivie d'une étape A₂ consistant à calculer un deuxième vecteur P regroupant les indices de pics d'amplitude isolés sur le nombre N d'échantillons pour un seuil d'écart défini par une valeur spécifique W.
Enfin, l'étape A₂ est suivie d'une étape A₃ consistant à identifier, à partir des échantillons du deuxième vecteur, pour chaque pic isolé identifié, l'indice de l'échantillon d'amplitude maximale parmi un nombre déterminé d'échantillons, pris égal à la valeur W précédemment citée suivant l'échantillon identifié par le deuxième vecteur. Cette valeur W peut être déterminée expérimentalement.
L'indice et l'amplitude de tout nouvel échantillon d'amplitude maximale sont mémorisés sous la forme d'un vecteur d'indice de retard et d'un vecteur d'amplitude.
Ainsi à la fin de l'étape A₃, on dispose sous la forme d'un vecteur d'indice D'(i) et d'un vecteur d'amplitude A'(i) par exemple de l'ensemble des valeurs d'indice de retard et d'amplitude des pics d'amplitude précités.
Une description spécifique de la mise en oeuvre des étapes A₀, A₁, A₂ et A₃ représentées en figure 2 sera maintenant donnée en liaison avec les figures 3b, 3c et 3d.
En référence à la figure 3b, pour un filtre BRIR temporel correspondant à une position de l'espace, l'enveloppe temporelle de ce dernier est donnée par : ${BRIR}_{env} (t) = |BRIR (t)| .$
L'étape A₀ consiste alors à trouver tous les indices des échantillons dont la valeur d'enveloppe est supérieure à la valeur de seuil V.
De manière particulièrement avantageuse et selon un aspect remarquable du procédé objet de l'invention, la valeur de seuil V est elle-même fonction de l'énergie de l'enveloppe temporelle du filtre BRIR.
Ainsi la valeur de seuil V vérifie avantageusement la relation : $v = C \sqrt{\frac{\sum_{n} BRIR {(t)}^{2}}{N}} .$
Dans la relation précédente, outre N représentant le nombre d'échantillons temporels, C est une constante fixée à 1 par exemple.
Suite aux comparaisons exécutées aux étapes A₀₁ et A₀₂, on stocke sur comparaison réussie, dans un vecteur I_i de taille K, K étant le nombre d'échantillons dont la valeur absolue de l'amplitude dépasse la valeur de seuil V pour constituer le premier vecteur.
A titre d'exemple non limitatif, sur la figure 3b, on a représenté l'enveloppe temporelle d'un filtre BRIR pour lequel le seuil V est fixé à la valeur réelle 0.037.
Le vecteur I_i représenté à l'étape A₀₃ de la figure 3a s'écrit : I_i = [89 90 91 92 93 94 95 96 97 98 101 104 108 110 116 422 423 424 427...].
A partir de la mémorisation du vecteur I_i, on procède également par décalage de l'indice du premier pic d'amplitude, l'indice 89, à la mémorisation du vecteur décalé I_i+1, le vecteur I_i+1 correspondant par exemple au vecteur I_i dans lequel on a supprimé le premier pic d'amplitude
On dispose ainsi du premier vecteur I_i et du premier vecteur décalé I_i+1.
A l'étape A₁ on procède alors au calcul du vecteur I', vecteur d'écart, différence entre le premier vecteur décalé I_i+1 et le premier vecteur I_i.
Le vecteur d'écart l'vérifie la relation dans l'exemple donné : $lʹ = [1 1 1 1 1 1 1 1 1 3 3 4 2 6 306 1 1 3 \dots] .$
Les valeurs importantes contenues dans le vecteur l'indiquent la présence d'un pic d'amplitude distinct du pic d'amplitude précédant.
L'étape A₂ consiste alors à calculer le deuxième vecteur P qui regroupe les indices des pics distincts.
Dans l'exemple donné le premier pic P(1) est donné bien entendu par P(1)=I(1)=89 c'est-à-dire par le premier pic d'amplitude précédemment mentionné. L'indice des pics suivants correspond aux indices augmentés de 1 des valeurs de I' qui dépassent un seuil d'écart défini par une valeur W. A titre d'exemple non limitatif et de manière expérimentale W peut être fixé à la valeur 20. Dans ces conditions, la valeur I'(15)=306 >W détermine un second pic isolé. La valeur de l'indice de rang de ce deuxième pic P(2) est alors donnée par I(15+1)=422.
Ainsi le deuxième vecteur P peut être écrit sous la forme : $P = [89 422 \dots] .$
L'étape A₃ de la figure 3a peut, ainsi que représenté en figure 3c, consister à partir de chacun des échantillons P(i) du deuxième vecteur représentatif de l'enveloppe temporelle, à trouver l'échantillon qui a la valeur d'amplitude maximale parmi les W = 20 échantillons suivants.
L'indice de ce nouvel échantillon est stocké dans le vecteur D' et son amplitude est stocké dans le vecteur A' ainsi que mentionné en liaison avec l'étape A₃ de la figure 3a selon les relations : $Dʹ (i) = indice (\max ({BRIR}_{env} ([P (i); P (i + W)]))),$
$Aʹ (i) = BRIR (Dʹ (i)) * sign (BRIR (Dʹ (1))) .$
De manière non limitative pour l'exemple donné en liaison avec la figure 3 : $Dʹ = [92 423 \dots],$
$Aʹ = [0.1978 0.0924 \dots] .$
Si l'amplitude du premier échantillon d'amplitude maximale noté A(1) est négative, alors on prend en compte la valeur absolue de ce dernier.
Les amplitudes A des amplitudes maximales peuvent alors être normalisées en énergie par la relation : $A = \frac{Aʹ}{\sqrt{\sum_{l = 1; L} Aʹ {(l)}^{2}}} .$
Dans la relation précédente L est le nombre d'éléments de D' et de A, c'est-à-dire des vecteurs d'indice et d'amplitude représentatifs de chaque pic. Ce nombre dépend bien entendu de la valeur de seuil V et de la valeur de la constante W précitées.
Une représentation des amplitudes normalisées, des pics d'amplitude et de leur position de retard successif par rapport au premier pic d'amplitude auquel est alloué le retard Δ₀, est représentée en figure 3d.
Une description plus détaillée d'un premier et d'un deuxième mode de mise en oeuvre des filtres BRIR élémentaires directement applicables et appliqués aux canaux audio dans le domaine transformé, en particulier dans le domaine PQMF complexe décomposé en sous-bandes SB_k, sera donnée à titre d'exemple non limitatif ci-après dans la description.
On rappelle que la décomposition en sous-bandes dans le domaine précité permet de décomposer les N échantillons de la réponse impulsionnelle du filtre BRIR en M sous-bandes de fréquences, par exemple M=64, pour une application au MPEG surround précité.
L'avantage d'une telle transformation est de pouvoir appliquer des gains réels à chaque sous-bande, en s'affranchissant des problèmes de repliement de spectre générés par le sous échantillonnage inhérent au banc de filtres.
Dans le domaine des sous-bandes précitées, les retards et les gains sont appliqués sur les échantillons complexes, ainsi qu'il sera décrit ultérieurement dans la description.
Selon un premier mode de mise en oeuvre non limitatif, la valeur de chaque module spectral du filtre BRIR est définie dans chaque sous-bande comme au moins une valeur réelle de gain représentative de l'énergie du filtre BRIR dans ladite sous-bande.
Dans ce premier mode de mise en oeuvre, les valeurs de gains correspondantes notées G(k,n) où k désigne le rang de la sous bande considérée et n le rang de l'échantillon parmi les N échantillons, sont obtenues en moyennant l'énergie de l'amplitude spectrale de chaque filtre BRIR dans chaque sous-bande.
Pour un filtre BRIR fréquentiel BRIR*(f) correspondant à la transformée de Fourier à 8 192 échantillons du filtre BRIR(t) temporel, complété de 0 pour obtenir les 8 192 échantillons, la valeur des gains G(k, n) est donnée par la relation : $G (k, n) = \sqrt{\frac{\sum_{f = f 1}^{f = f 1 + Mʹ} {(H (f) BRIR * (f))}^{2}}{Mʹ}} .$
Dans la relation précédente, on indique que H est une fenêtre de pondération, fenêtre rectangulaire par exemple de largeur M' supérieure ou égale à la largeur de la sous-bande SB_k, par exemple M'=64. La fenêtre de pondération est centrée sur la fréquence centrale de la sous-bande k et la fréquence f1 est inférieure ou égale à la fréquence de départ de la sous-bande k.
Selon un deuxième mode de mise en oeuvre préférentielle du procédé objet de l'invention, à chaque retard est associé un module spectral. La valeur de chaque module spectral est définie dans chaque sous-bande comme au moins une valeur de gain représentative de l'énergie du filtre BRIR partiel dans ladite sous-bande, cette valeur de gain étant fonction du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude, à partir du vecteur d'indice et d'amplitude.
Ainsi dans ce deuxième mode de réalisation, les gains G(k, n) sont modulés et peuvent donc varier à chaque nouveau retard I appliqué. Les valeurs de gain sont alors données par la relation : $G (k, n, l) = \sqrt{\frac{\sum_{f = f 1}^{f = f 1 + Mʹ} {(H (f) BRIR * (f, l))}^{2}}{Mʹ}} .$
Dans la relation précédente, BRIR*(f,I) est la transformée de Fourier du filtre BRIR(t) temporel fenêtrée entre les échantillons D'(1)-Z et D'(1+1), l'énergie spectrale calculée étant celle du filtre BRIR partiel ainsi fenêtré, et complétée par des 0 pour obtenir 8 192 échantillons. Z dépend de la fréquence d'échantillonnage et peut prendre la valeur Z=10 pour une fréquence d'échantillonnage à 44.1 kHz.
Le deuxième mode de réalisation précité permet de manière remarquable une reconstruction beaucoup plus proche de la fonction de transfert ou filtre BRIR d'origine et en particulier de tenir compte de chacun des retards provoqués par les réflexions successives dans la salle, ce qui permet d'obtenir un rendu d'effet de salle particulièrement performant et réaliste.
On comprend alors que chaque filtre BRIR élémentaire, dans chaque sous-bande de fréquence k peut alors avantageusement être formé par une multiplication complexe, incluant une valeur réelle de gain, fonction ou non du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude, selon le premier ou le deuxième mode de réalisation retenu décrit précédemment dans la description.
L'opération de multiplication complexe est donnée par la relation : $Sʹ (k, n) = G (k, n) A (l) e^{- jπ \frac{(k + 0.5) d (l)}{M}} E (k, n) .$
Le filtre BRIR élémentaire est également formé par un retard pur augmenté de l'écart de retard vis-à-vis du retard Δ₀ alloué au premier pic d'amplitude. Ce retard peut alors être implémenté par l'intermédiaire d'une ligne à retard appliquée au produit obtenu par la rotation sous forme de multiplication complexe précitée.
L'échantillon obtenu vérifie alors la relation : $S (k, n) = Sʹ (k, n - D (l)) .$
Dans les relations précédentes E(k,n) désigne le énième échantillon complexe de la sous-bande k considérée, S(k,n) désigne le énième échantillon de la sous-bande k après application des gains et des retards, M est le nombre de sous-bande et d(I) et D(I) sont tels qu'ils correspondent à l'application du I ième retard de D(I)M+d(I) échantillons dans le domaine temporel non sous-échantillonné.
Le retard D(I)M+d(I) correspond aux valeurs de D'(I) calculées selon le processus de détection de pics d'amplitude précédemment décrit en liaison avec les figures 3a à 3d.
En outre, A(I) désigne l'amplitude du pic associé au retard correspondant et G(k, n) désigne le gain réel appliqué au nième échantillon complexe de la sous-bande SB_k de rang k considérée.
Enfin, le procédé objet de l'invention permet le traitement de la réverbération tardive. On rappelle que la réverbération tardive correspond à la partie de la réponse d'une salle pour laquelle le champ acoustique est diffus et les réflexions ne sont en conséquence pas discernables. Il est toutefois possible de traiter les effets de salle incluant une réverbération tardive, conformément au procédé objet de l'invention. Dans ce but, le procédé selon l'invention consiste à rajouter aux valeurs de pics d'amplitude détectées, une pluralité de valeurs d'amplitude arbitraires et réparties au-delà d'un instant arbitraire à partir de laquelle on considère que les réflexions discrètes sont terminées et où débute le phénomène de réverbération tardive. Ces valeurs d'amplitude sont calculées et réparties au-delà de la durée arbitraire, laquelle peut être prise égale à 200 millisecondes par exemple, jusqu'au dernier échantillon du nombre d'échantillons correspondant à la taille de la réponse impulsionnelle BRIR.
Ainsi, conformément au procédé objet de l'invention, les pics d'amplitude des premières réflexions sont déterminés ainsi que précédemment décrit en liaison avec les figures 2 et suivantes, et, à partir d'un échantillon t1 correspondant à 200 millisecondes, déterminé expérimentalement et correspondant au début de la réverbération tardive, jusqu'à un échantillon t2 qui correspond à la fin de la réverbération ou, le cas échéant, à la fin des N échantillons de la réponse impulsionnelle du filtre BRIR, on rajoute R valeurs aux vecteurs D' et A' telles que : $\begin{matrix} Dʹ (L + r) = t 1 + (t 2 - t 1) / (R - 1), \\ A (L + r) = 1. \end{matrix}$
Dans la relation précédente, L est le nombre de pics détecté, r est un entier compris entre 1 et R.
La prise en compte du deuxième mode de réalisation précité dans lequel les valeurs de gains sont modulées en fonction du retard de chaque pic d'amplitude, permet alors d'introduire de manière efficace, la réverbération tardive dans le domaine des sous-bandes.
Le phénomène de réverbération tardive peut également être traité par une ligne à retard ajoutée au traitement des premières réflexions.
L'invention couvre enfin un programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation d'un ordinateur ou d'un dispositif dédié de spatialisation sonore 3D de signaux audio remarquable en ce que, lors de son exécution, ce programme d'ordinateur exécute le procédé de spatialisation sonore 3D à partir d'au moins un filtre BRIR comportant un effet de salle décrit précédemment dans la description en liaison avec les figures 2 et 3a à 3d.
On comprend, en particulier, que le programme d'ordinateur précité peut être un programme directement exécutable implanté dans la mémoire permanente d'un ordinateur ou d'un dispositif de synthèse binaurale d'un effet de salle en spatialisation sonore.
La mise en oeuvre de l'invention peut alors être exécutée de manière totalement numérique.

Claims

Procédé de spatialisation 3D de canaux audio, à partir d'au moins un filtre BRIR incorporant un effet de salle, caractérisé en ce qu'il consiste au moins, pour un nombre d'échantillons spécifique correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à :
- décomposer (A) ce filtre BRIR en au moins un ensemble de valeurs de retard et d'amplitude associées aux instants d'arrivée des réflexions ;

- extraire (B) sur ledit nombre d'échantillons au moins un module spectral moyen du filtre BRIR ;

- constituer (C) à partir de chaque retard successif, de son amplitude et de son module spectral moyen associés un filtre BRIR élémentaire directement appliqué auxdits canaux audio dans le domaine temporel, fréquentiel ou transformé.
Procédé selon la revendication 1, caractérisé en ce que les valeurs de retard et d'amplitude associées à des pics d'amplitude correspondent aux instants d'arrivée des réflexions.
Procédé selon la revendication 1, caractérisé en ce que ladite décomposition du filtre BRIR est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant associé le retard correspondant à l'instant d'arrivée de l'onde sonore directe.
Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'extraction de chaque module spectral est exécutée par une transformation temps-fréquence.
Procédé selon l'une des revendications 1 à 4, caractérisé en ce que l'extraction des retards consiste au moins, pour tout filtre BRIR correspondant à une position de l'espace, à partir de l'enveloppe temporelle du filtre établie sur ledit nombre d'échantillons correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à :
- identifier (A₀) les indices de rang d'échantillons temporels dont la valeur d'amplitude est supérieure à une valeur de seuil, pour engendrer un premier vecteur et un premier vecteur décalé représentatifs de la position des pics d'amplitude dans ledit nombre d'échantillons ;

- déterminer (A₁) l'existence de pics d'amplitude isolés par calcul d'un vecteur d'écart entre le premier vecteur décalé et le premier vecteur ;

- calculer (A₂) un deuxième vecteur regroupant les indices de pics d'amplitude isolés sur ledit nombre d'échantillons ;

- discriminer (A₃) à partir des échantillons dudit deuxième vecteur les indices successifs d'échantillons d'amplitude maximale parmi un nombre déterminé d'échantillons successifs, l'indice et l'amplitude desdits échantillons d'amplitude maximale étant mémorisés sous forme d'un vecteur d'indice de retard et d'amplitude.
Procédé selon l'une des revendications 1 à 5, caractérisé en ce que, pour un nombre d'échantillons correspondant à la réponse impulsionnelle du filtre BRIR décomposé en sous-bandes de fréquences de rang k déterminé, ladite valeur du module spectral du filtre BRIR est définie comme une valeur réelle de gain représentative de l'énergie du filtre BRIR dans chaque sous-bande.
Procédé selon la revendication 6, caractérisé en ce que la valeur du module spectral du filtre BRIR dans chaque sous-bande est calculée par application d'une fenêtre de pondération centrée sur la fréquence centrale de la sous-bande de fréquences de rang k et de largeur égale ou supérieure à la largeur de la sous-bande de fréquences.
Procédé selon l'une des revendications 6 ou 7, caractérisé en ce que, à chaque retard est associé un module spectral, et en ce que ledit module spectral est défini dans chaque sous-bande comme une valeur réelle de gain représentative de l'énergie du filtre BRIR partiel dans ladite sous-bande, cette valeur de gain étant fonction du retard associé.
Procédé selon l'une des revendications 6 à 8, caractérisé en ce que chaque filtre BRIR élémentaire dans chaque sous-bande de fréquences de rang k est formé par :
- une multiplication complexe, fonction ou non du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude incluant la valeur réelle de gain ;

- un retard pur, augmenté de l'écart de retard vis-à-vis du retard alloué au premier échantillon correspondant à l'instant d'arrivée de l'onde sonore directe.
Procédé selon l'une des revendications 1 à 9, caractérisé en ce que, pour le traitement de la réverbération tardive, celui-ci consiste à rajouter aux valeurs de pics d'amplitude détectées une pluralité de valeurs d'amplitudes arbitraires, réparties, depuis un instant arbitraire, jusqu'au dernier échantillon des nombres d'échantillons correspondant à la taille de la réponse impulsionnelle du filtre BRIR.
Programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation d'un ordinateur ou d'un dispositif dédié de spatialisation sonore 3D de signaux audio, caractérisé en ce que, lors de, son exécution, ledit programme exécute le procédé de spatialisation sonore 3D à partir d'au moins un filtre BRIR comportant un effet de salle, selon l'une des revendications 1 à 10.