EP2559265A1 - Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques - Google Patents

Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques

Info

Publication number
EP2559265A1
EP2559265A1 EP11730369A EP11730369A EP2559265A1 EP 2559265 A1 EP2559265 A1 EP 2559265A1 EP 11730369 A EP11730369 A EP 11730369A EP 11730369 A EP11730369 A EP 11730369A EP 2559265 A1 EP2559265 A1 EP 2559265A1
Authority
EP
European Patent Office
Prior art keywords
database
hrtf
space
morphological parameters
hrtfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11730369A
Other languages
German (de)
English (en)
Other versions
EP2559265B1 (fr
Inventor
Brian Fg Katz
David SCHÖNSTEIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Arkamys SA
Original Assignee
Centre National de la Recherche Scientifique CNRS
Arkamys SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Arkamys SA filed Critical Centre National de la Recherche Scientifique CNRS
Publication of EP2559265A1 publication Critical patent/EP2559265A1/fr
Application granted granted Critical
Publication of EP2559265B1 publication Critical patent/EP2559265B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the invention relates to a method of selecting HRTF filters in a database from morphological parameters.
  • the object of the invention is in particular to guarantee reliability in the choice of HRTF selected for a particular user.
  • the invention finds a particularly advantageous application in the field of binaural synthesis applications which means the generation of spatialized sound made for two ears.
  • the invention can be used for example for teleconferencing, hearing aids, assistive hearing systems for the visually impaired, 3D audio / video games, mobile telephony, mobile audio players, audio in virtual reality and augmented reality.
  • Humans have the ability to decode the directional information of an incident sound with an acoustic transfer function.
  • the head, the outer ears, the body of a listener transform the spectral information of a sound in space by what is called the Head-Related Transfer Function (HRTF), and this allows us to perceive our environment acoustic according to the position, distance, etc. .. of sound sources and therefore to locate them.
  • HRTF Head-Related Transfer Function
  • HRTF filters consist of pairs of filters (left and right) that describe the filtering of a sound source at a given position by the body. It is generally accepted that a set of about 200 positions suffices to describe all the directions in space perceived by a person. These HRTF filters depend essentially on the morphology of the ear (size, dimensions of the internal cavities) and other physical parameters of the body of the person.
  • HRTF represents the filters for all HRTF positions for a given subject.
  • HRTFs in an audio application that are as close as possible to the listener's HRTF filters results in high quality rendering.
  • individualized HRTFs see for example the article by Moller et al., "Technical Binaural: do we need individual recordings?” Published in the Journal of the Audio engineering society, 44, 451-469 "), especially in terms of accuracy in location testing.
  • HRTF filters can be obtained by measurements with microphones in the ears of the listener, or even via a numerical simulation. Despite the quality of these methods, they still remain very laborious, very expensive, and are not adaptable to mainstream applications.
  • the originality of the invention thus lies in the fact that a perceptive judgment criterion based on a perceptual listening test is used to create a multidimensional space of optimized HRTF and to select the most relevant morphological parameters. .
  • the invention also makes it possible to develop a predictive model that establishes a perceptually relevant relationship between space and morphological parameters.
  • the invention will make it possible to select the most appropriate HRTF contained in a database from measurements of morphological parameters only.
  • the HRTF filter thus selected is strongly related to the spatial perception (and not only to a mathematical calculation), which provides a great comfort and a high quality of listening.
  • the invention therefore relates to a method of selecting a perceptually optimal HRTF in a database from morphological parameters using:
  • a first database comprising the HRTFs of a plurality of subjects M
  • a second database comprising the morphological parameters of the subjects of the first database
  • a third database corresponding to a perceptual ranking of the HRTF of the first database in relation to a judgment by the subjects made from a listening test corresponding to the different
  • the subject has at least 2 choices (good or bad) in his judgment on at least one criterion for listening to a sound corresponding to an HRTF.
  • the listening criterion is chosen for example from: the precision of the defined sound path, the overall spatial quality, the quality of frontal rendering (for the sound objects that are located in front), the separation front / rear sources (ability to identify whether a sound object is in front of or behind the listener).
  • the sound signal used for the test being a broadband white noise having a short duration, for example of 0.23 seconds obtained by a window of
  • - normalization of morphological data is achieved by creating sub-databases by dividing the morphological values of the second database by the morphological values of each subject of the second base,
  • each sub-base is associated with the classification of the third base of the corresponding subject
  • the Support Vector Machines (SVM) method is used to obtain morphological parameters classified from most to least important, this classification being a function of the quality of separation of each HRTF parameter according to the categorization in the third database.
  • SVM Support Vector Machines
  • the HRTFs are converted into a Directional Transfer Function (DTF) which contains only the part of the HRTFs which have directional dependence,
  • DTF Directional Transfer Function
  • a data dimensionality transformation is applied in order to reduce or increase the number of dimensions, depending on the data used, which is the result of the previous step,
  • a principal component analysis is performed on the processed DTFs to obtain a new data matrix (the scores) that represented the original data projected on new axes (the main components), and
  • the multidimensional space is created from each column of the score matrix that represents a dimension of the multidimensional space, or
  • MDS multidimensional scaling
  • the level of optimization is evaluated by the level of significance of the spatial separation between the rankings of the third database, the preceding steps are repeated with different preprocessing parameters and / or by limiting the number of dimensions of the multidimensional space created, and
  • smoothing DTF critical band corresponding to the limitations of the frequency resolution of the auditory system.
  • the pretreatment can be carried out using a method chosen in particular from the following: frequency filtering, delimiting frequency terminals, extraction of troughs or frequency peaks, calculation of a factor of frequency alignment.
  • the level of optimization is evaluated:
  • the level of significance of the spatial separation between the rankings of the third database is evaluated for example by using the ANOVA test, or
  • a projection model is calculated by multiple linear regressions between the optimized multidimensional space and the classified morphological parameters intended to find a position in the multidimensional space optimized from the classified morphological parameters of the second database,
  • a third step the number of morphological parameters classified at the first K classified morphological parameters is reduced and reiterate the calculation operations of the model of the first step and the second step of quality measurement for each K of K equal 1 to K equal N, this calculation being repeated for each subject by withdrawing their data from the first base of data and the second database and
  • the HRTF closest to the projection position is chosen in the multidimensional space optimized.
  • FIG. 1 a schematic representation of the functional blocks of the method according to the invention
  • Figure 2 a schematic representation of a detailed embodiment of an embodiment according to the invention.
  • Figure 3 a graph representing the subjects on the horizontal axis and the HRTFs classified in the third database on the vertical axis;
  • Figure 4 a schematic representation from the article on the CIPIC database showing various morphological parameters used in this database.
  • a first database BD1 contains the HRTFs and a second database BD2 contains the morphological parameters of the associated subjects.
  • the HRTFs stored in the first data base BD1 come from the public database of the LISTEN project.
  • HRTF LISTEN measurements were taken at spatial positions corresponding to elevation angles between -45 degrees and 90 degrees in increments of 15 and azimuth angles starting at 0 degrees in increments of 15 degrees . Azimuth increments were incrementally increased for elevation angles above 45 degrees, to sample space equally, for a total of 187 positions.
  • the second database BD2 includes, for each subject, the following morphological parameters:
  • x1 width of the head
  • x2 height of the head
  • x7 neck height
  • d7 width of incisure intertragal
  • ⁇ 2 angle parameter of the pinna.
  • a third database BD3 which contains perceptive evaluation results of the listening test.
  • a test signal is broadcast on which the different HRTFs of the database BD1 are applied.
  • the sound signal used for the test is a broadband white noise having a short duration, for example 0.23 seconds obtained by a Hanning window,
  • each subject rated each HRTF in one of three categories: excellent, average, or bad. Excellent being considered the highest category of judgment. These judgments are based on at least one criterion for listening to a sound corresponding to an HRTF.
  • the criterion is chosen for example from: the precision of the previously defined path, the overall spatial quality, the quality of the frontal rendering (for the sound objects that are located in front of), the separation of sources front / rear (ability to identify if a sound object is in front of or behind the listener).
  • Figure 3 shows the types of results that can be obtained with this type of listening test for all subjects (the "+” is excellent, the “o” is medium and the “x” is bad). ). Subjects are represented on the horizontal axis and HRTFs are ranked on the vertical axis.
  • a normalization of the morphological data is carried out by creating subsets BD2i (i ranging from 1 to M which is the number of subjects in the databases) of data. dividing the morphological values of the second database BD2 by the morphological values of each subject of the second base BD2 [i]. With this normalization, the values represent the percentage of a morphological parameter of a subject relative to another.
  • Each sub base BD2i is associated in a substep E2.2 with the classification of the third base of the corresponding subject BD3 [i].
  • a "feature selection” method chosen to obtain morphological parameters classified from most to least important Pmc is applied. This ranking is based on their ability to separate the HRTFs according to their ranking in the third step of BD3 data.
  • the chosen method is that of support vector machines (SVM). This method is based on building a set of hyperplanes in a dimension space high to classify standardized data. With this method, the parameters were thus classified from more to less important.
  • SVM support vector machines
  • the complexity value C which controls the tolerance of classification errors in the analysis, introduces a penalty function.
  • a value of C zero indicates that the penalty function is not taken into account, and a high value of C (C tending towards infinity) indicates that the penalty function is dominant.
  • the value epsilon ⁇ is the value of insensitivity which sets the penalty function to zero if the data to be classified are at a distance less than ⁇ from the hyperplane. According to the different values of C and ⁇ , the classification of the morphological parameters changes.
  • a multidimensional space EM is created whose dimensions result from a combination of the components of the HRTF filters.
  • the HRTF is converted into what is called the Directional Transfer Function (DTF) which contains only the part of the HRTFs which have a directional dependence.
  • DTF Directional Transfer Function
  • step E3.2 smoothing of the DTF in critical band corresponding to the limitations of the frequency resolution of the auditory system.
  • a pretreatment of the DTFs is carried out in a step E3.3 using a method chosen in particular from among the following: frequency filtering, delimiting Sequential terminals, extraction of the troughs or frequency peaks, calculation of a frequency alignment factor.
  • step E3.4 a data dimensionality transformation is applied, with the aim of reducing or increasing the number of dimensions, depending on the data used which is the result of step E.3.3.
  • the level of optimization is evaluated in a step E3.5.
  • the level of optimization is evaluated by the level of significance of the spatial separation between the rankings of the third database BD3.
  • the significance level is evaluated using the ANOVA test to check if the averages of the value distributions were statistically different for each different number of dimensions.
  • the percentage of HRTFs ranked in the high category among the ten closest HRTFs in the EM space is calculated and, using for example a Student test, this percentage is compared with the overall percentage of HRTF. HRTF ranked in the high category in the third database for each subject.
  • the previous steps are repeated with different pretreatment parameters and / or limiting the number of dimensions of the space created.
  • HRTFs ranked in the highest category for the 10 closest HRTFs is maximized.
  • step E3.5 The space thus conserved is the multidimensional space optimized EMO.
  • the purpose of the step E3.5 is to optimize the spatial separation between the HRTFs according to their classification in the third database BD3 so as to obtain an optimized space. Indeed, in the EMO space, for a subject at a given position, the HRTF located in the area close to this position will be considered good for the subject while the HRTFs away from this position will be considered as bad.
  • the combination rules of the HRTF components are modified to maximize the correlation between the spatial separation between the HRTF and the classification of the HRTFs in the third database BD3.
  • a projection model is computed making it possible to establish the relationship between the N morphological parameters extracted from the second database BD2 and the position of the corresponding HRTF filters in the optimized space EMO.
  • a projection model is calculated by multiple linear regressions between EMO and Pmc using the second database BD2 intended to find a position in the EMO space at from the morphological parameters classified Pmc.
  • step E4.2 the quality level of the projection model is evaluated. This level of quality is calculated using the same methods as those used in E3.5.
  • a step E4.3 Pmc is reduced to K first classified morphological parameters and the calculation operations of the model are reiterated.
  • this calculation is repeated for each subject by removing its data from the first database BD1 and of the second database BD2 in step E3.
  • K extracted parameters maximize the correlation between the optimized multidimensional space EMO and the space produced by the projection model.
  • a step E5 for any user who does not have his HRTF in the database, at least one HRTF is selected in the database BD1.
  • a substep E5.1 the user will measure K morphological parameters previously identified. For this purpose, he will for example take a picture of his ear in a specific position, the K parameters being extracted by an image processing method.
  • a step E5.2 the K parameters are injected at the input of the MPO projection model previously calculated on the extracted morphological parameters in order to obtain the position of the user in the optimized space EMO.
  • At least one HRTF (referenced HRTF-S) is selected in the projection position proximity of the user in the optimized space EMO.
  • the HRTF closest to the projection position is chosen.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereophonic System (AREA)

Abstract

L'invention concerne un procédé de sélection d'une HRTF perceptivement optimale dans une base de données à partir de paramètres morphologiques. Ce procédé utilise une première base de données comprenant les HRTF d'une pluralité de sujets M, une deuxième base de données comprenant les paramètres morphologiques des sujets, et une troisième base de données correspondant à un classement perceptif des HRTF. Conformément à l'invention, on trie les N paramètres morphologiques les plus pertinents en faisant une corrélation entre la deuxième et la troisième base. On crée un espace multidimensionnel qui optimise la séparation spatiale entre les HRTF selon leur classement dans la troisième base de données de manière à obtenir un espace optimisé. On calcule un modèle de projection optimisé MPO permettant d'établir la relation entre K paramètres morphologiques optimums et la position des filtres HRTF correspondant dans l'espace optimisé. L'invention permet ainsi de sélectionner pour un utilisateur quelconque ne disposant pas de sa HRTF dans la base de données, au moins une HRTF dans la base de données BD1 à partir de ses paramètres K et du modèle de projection optimisé MPO.

Description

PROCEDE DE SELECTION DE FILTRES HRTF PERCEPTIVEMENT OPTIMALE DANS UNE BASE DE DONNEES A PARTIR DE PARAMETRES MORPHOLOGIQUES
[01] L'invention concerne un procédé de sélection de filtres HRTF dans une base de données à partir de paramètres morphologiques. L'invention a notamment pour but de garantir une fiabilité dans le choix des HRTF sélectionnés pour un utilisateur particulier.
[02] L'invention trouve une application particulièrement avantageuse dans le domaine des applications de synthèse binaurale qui s'entend de la génération de son spatialisé rendu pour deux oreilles. Ainsi l'invention pourra être utilisée par exemple pour la téléconférence, les prothèses auditives, les systèmes auditifs de suppléance pour les malvoyants, les jeux audio/vidéos 3D, la téléphonie mobile, les lecteurs audio mobiles, l'audio dans la réalité virtuelle et la réalité augmentée. [03] Les humains ont la capacité de décoder l'information directionnelle d'un son incident avec une fonction de transfert acoustique. La tête, les oreilles externes, le corps d'un auditeur transforment l'information spectrale d'un son dans l'espace par ce qu'on appelle la Head-Related Transfer Function (HRTF), et ceci nous permet de percevoir notre environnement acoustique en fonction de la position, distance, etc .. des sources sonores et donc de les localiser.
[04] Les filtres HRTF sont constitués par des paires de filtres (gauche et droit) qui décrivent le filtrage d'une source sonore à une position donnée par le corps. Il est couramment admis qu'un ensemble d'environ 200 positions suffit pour décrire toutes les directions dans l'espace perçues par une personne. Ces filtres HRTF dépendent essentiellement de la morphologie de l'oreille (taille, dimensions des cavités internes) et d'autres paramètres physiques du corps de la personne.
[05] Dans la suite du document le terme « HRTF » représente les filtres pour l'ensemble des positions de type HRTF pour un sujet donné. [06] L'utilisation des HRTF dans une application audio qui sont les plus proches possibles des filtres HRTF de l'auditeur permet d'obtenir un rendu de haute qualité. Plusieurs études dans la littérature démontrent ainsi l'intérêt de ce qu'on appelle des HRTF individualisées (voir par exemple l'article de Moller et al. « Binaural technique : do we need individual recordings ? » paru dans le « Journal of the Audio engineering society, 44, 451-469 »), surtout en termes de précision dans les tests de localisation.
[07] Les filtres HRTF peuvent être obtenus par des mesures avec microphones dans les oreilles de l'auditeur, ou même via une simulation numérique. Malgré la qualité de ces méthodes, elles restent encore aujourd'hui très laborieuses, très chères, et ne sont pas adaptables aux applications grand public.
[08] Par ailleurs, un procédé connu décrit dans le document WO- 01/54453, prévoit de sélectionner, à l'intérieur d'une base de données, les HRTF les plus proches de celles de l'utilisateur. Toutefois, contrairement à l'invention, un tel procédé efficace en termes de statistiques ne fait pas appel à la qualité perceptive de la sélection des HRTF comme critère de validation et ne permet donc pas de sélectionner les HRTF de manière optimale.
[09] L'originalité de l'invention réside ainsi dans le fait qu'on exploite un critère d'appréciation perceptif basé sur un test d'écoute perceptif pour créer un espace multidimensionnel de HRTF optimisé et pour sélectionner les paramètres morphologiques les plus pertinents. L'invention permet également d'élaborer un modèle prédictif qui établit une relation perceptivement pertinente entre l'espace et les paramètres morphologiques. [010] Pour un utilisateur quelconque, l'invention va permettre de sélectionner la HRTF la plus appropriée contenue dans une base de données à partir uniquement de mesures de paramètres morphologiques.
[011] Le filtre HRTF ainsi sélectionné est lié fortement à la perception spatiale (et pas uniquement à un calcul mathématique), ce qui procure un grand confort et une grande qualité d'écoute. [012] L'invention concerne donc un procédé de sélection d'une HRTF perceptivement optimale dans une base de données à partir de paramètres morphologiques utilisant :
- une première base de données comprenant les HRTF d'une pluralité de sujets M,
- une deuxième base de données comprenant les paramètres morphologiques des sujets de la première base de données,
caractérisé en ce qu'il utilise en outre
- une troisième base de données correspondant à un classement perceptif des HRTF de la première base de données en rapport avec un jugement par les sujets effectué à partir d'un test d'écoute correspondant aux différentes
HRTF de la première base,
et en ce qu'il comporte les étapes suivantes :
- trier, parmi l'ensemble des paramètres morphologiques de la deuxième base, les N paramètres morphologiques les plus pertinents en faisant une corrélation entre la deuxième et la troisième base,
- créer un espace multidimensionnel dont les dimensions résultent d'une combinaison des composantes des HRTF,
- modifier les règles de combinaison des composantes pour optimiser la séparation spatiale entre les HRTF selon leur classement dans la troisième base de données de manière à obtenir un espace multidimensionnel optimisé,
- calculer un modèle de projection optimisé permettant d'établir la relation entre K paramètres morphologiques extraits de la deuxième base de données triés et la position des HRTF correspondant dans l'espace optimisé, les K paramètres extraits optimisant le modèle de projection,
- mesurer les K paramètres morphologiques d'un utilisateur donné ne disposant pas de sa HRTF dans la première base de donnée,
- appliquer le modèle de projection optimisé précédemment calculé sur les paramètres morphologiques extraits afin d'obtenir la position de l'utilisateur dans l'espace optimisé,
- sélectionner au moins une HRTF dans la proximité de la position de projection de l'utilisateur dans l'espace optimisé. [013] Selon une mise en oeuvre, pour effectuer le classement perceptif, le sujet a au moins 2 choix (bon ou mauvais) dans son jugement sur au moins un critère d'écoute d'un son correspondant à une HRTF.
[014] Selon une mise en œuvre, le critère d'écoute est choisi par exemple parmi : la précision du trajet sonore défini, la qualité spatiale globale, la qualité de rendu frontal (pour les objets sonores qui sont situés devant), la séparation des sources avant / arrière (capacité à identifier si un objet sonore se situe devant ou derrière l'auditeur).
[015] Selon une mise en œuvre, pour élaborer la troisième base de données :
- on présente un signal de son sur lequel est appliqué chacune des HRTF de la première base de données (incluant la propre HRTF du sujet) à chaque sujet,
- le signal de son utilisé pour le test étant un bruit blanc à large bande ayant une durée courte, par exemple de 0,23 secondes obtenu par une fenêtre de
Hanning,
- le signal de son ayant été rendu à des positions ponctuelles le long de deux trajectoires présentées en séquence:
- un cercle dans le plan horizontal (élévation = 0 degrés) par exemple en incréments de 30 degrés, la trajectoire commençant à 0 degrés azimut et 0 degré élévation,
- le trajet étant répété une fois,
- un arc dans le plan médian (azimut = 0 degrés) à partir de l'élévation -45 degrés à l'avant jusqu'à -45 degrés à l'arrière en passant par une élévation de 90 degrés par exemple en incréments de 15 degrés,
- le trajet du son commençant à l'avant à l'élévation -45 degrés, et allant jusqu'à l'élévation vers l'arrière puis on revient par le même chemin à la position initiale.
[016] Selon une mise en œuvre, pour faire la corrélation entre la deuxième et la troisième base pour obtenir les paramètres morphologiques triés,
- on réalise une normalisation des données morphologiques en créant des sous bases de données en divisant les valeurs morphologiques de la deuxième base de données par les valeurs morphologique de chaque sujet de la deuxième base,
- chaque sous base est associée avec le classement de la troisième base du sujet correspondant,
- on applique la méthode des machines à vecteurs de support (« Support Vector Machines » - SVM) pour obtenir des paramètres morphologiques classés du plus au moins important, ce classement étant fonction de la qualité de séparation de chaque paramètre des HRTF suivant la catégorisation dans la troisième base de données. [017] Selon une mise en œuvre, pour créer l'espace multidimensionnel optimisé,
- dans une première étape, on transforme les HRTF en Directional Transfer Function (DTF) qui contient uniquement la part des HRTF qui présentent une dépendance directionnelle,
- dans une deuxième étape, on effectue un lissage des DTF,
- dans une troisième étape, on effectue un prétraitement des DTF,
- dans une quatrième étape, on applique une transformation de la dimensionnalité de donnée, pour but de réduire ou d'augmenter les nombres de dimensions, en dépendance de la donnée utilisée qui est le résultat de l'étape précédente,
- dans l'option de réduction de la dimensionnalité de données, on effectue une analyse en composantes principales (ACP) sur les DTF traitées de manière à obtenir une nouvelle matrice de données (les scores) qui représentaient les données originales projetées sur de nouveaux axes (les composantes principales), et
- on crée l'espace multidimensionnel, à partir de chaque colonne de la matrice des scores qui représente une dimension de l'espace multidimensionnel, ou
- dans l'option d'augmentation de la dimensionnalité de données, on crée par une analyse « multidimensional scaling » (MDS) l'espace multidimensionnel,
- dans une cinquième étape, on évalue le niveau d'optimisation par le niveau de significativité de la séparation spatiale entre les classements de la troisième base de données, - on répète les étapes précédentes avec des paramètres de prétraitement différents et/ou en limitant le nombre de dimensions de l'espace multidimensionnel créé, et
- on conserve l'espace qui présente le niveau d'optimisation le plus optimal. [018] Selon une mise en œuvre, on effectue un lissage des DTF en bande critique correspondant aux limitations de la résolution fréquentielle du système auditif.
[019] Selon une mise en œuvre, le prétraitement peut être réalisé à l'aide d'une méthode choisie notamment parmi les suivantes : filtrage fréquentiel, délimitant des bornes fréquentielles, extraction des creux ou des pics fréquentiels, calcul d'un facteur d'alignement fréquentiel.
[020] Selon une mise en œuvre, on évalue le niveau d'optimisation :
- par le niveau de significativité de la séparation spatiale entre les classements de la troisième base de données le niveau de significativité étant par exemple évalué en utilisant le test d'ANOVA, ou
- en calculant le pourcentage de HRTF classées dans la catégorie haute parmi les dix HRTF les plus proches dans l'espace EM et en comparant ce pourcentage avec le pourcentage global de HRTF classées dans la catégorie haute dans la troisième base de données pour chaque sujet en utilisant par exemple le test de Student.
[021] Selon une mise en œuvre, pour calculer un modèle de projection permettant d'établir la relation entre les N paramètres morphologiques extraits de la deuxième base de données et la position des filtres HRTF correspondant dans l'espace optimisé :
- dans une première étape, on calcule un modèle de projection par de multiples régressions linéaires entre l'espace multidimensionnel optimisé et les paramètres morphologiques classés ayant pour but de trouver une position dans l'espace multidimensionnel optimisé à partir des paramètres morphologiques classés de la deuxième base de données,
- dans une deuxième étape, on évalue le niveau de qualité du modèle de projection,
- dans une troisième étape, on réduit le nombre de paramètres morphologiques classés aux K premiers paramètres morphologiques classés et on réitère les opérations de calcul du modèle de la première étape et la deuxième étape de mesure de qualité pour chaque K de K égal 1 jusqu'à K égal N, ce calcul étant répété pour chaque sujet en retirant leurs données de la première base de données et la deuxième base de données et
- on conserve le K optimum pour lequel le niveau de qualité est le plus important.
[022] Selon une mise en œuvre, pour sélectionner au moins une HRTF dans la proximité de position de projection de l'utilisateur dans l'espace multidimensionnel optimisé, on choisit la HRTF la plus proche de la position de projection dans l'espace multidimensionnel optimisé.
[023] L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Ces figures ne sont données qu'à titre illustratif mais nullement limitatif de l'invention. Elles montrent : [024] Figure 1 : une représentation schématique des blocs fonctionnels du procédé selon l'invention ;
[025] Figure 2 : une représentation schématique d'un exemple de réalisation détaillé d'un mode de réalisation selon l'invention ;
[026] Figure 3 : un graphique représentant les sujets sur l'axe horizontal et les HRTF classées dans la troisième base de données sur l'axe vertical ;
[027] Figure 4 : une représentation schématique provenant de l'article sur la base de données CIPIC montrant différents paramètres morphologiques utilisés dans cette base.
[028] Les éléments identiques, similaires ou analogues conservent les mêmes références d'une figure à l'autre.
[029] CREATION DES BASES DE DONNEES
[030] Pour une pluralité de sujets, on positionne des microphones dans les oreilles du sujet et on diffuse des sources sonores en différents points de l'espace afin de déterminer les HRTF de chaque sujet. On mesure également des paramètres morphologiques de chaque sujet. Une première base de données BD1 contient les HRTF et une deuxième base de données BD2 contient les paramètres morphologiques des sujets associés.
[031] Dans notre exemple, les HRTF stockées dans la première base de 5 données BD1 viennent de la base de données publique du projet LISTEN.
On a utilisé les données des M premiers sujets de cette base (dans un exemple M=45). Les mesures de HRTF LISTEN ont été prises à des positions dans l'espace correspondant à des angles d'élévation compris entre -45 degrés et 90 degrés par incréments de 15 et angles d'azimut î o commençant à 0 degré par incréments de 15 degrés. Les incréments en azimut ont été progressivement augmentés pour les angles d'élévation au- dessus de 45 degrés, afin d'échantillonner l'espace de façon égale, pour un total de 187 positions.
[032] Comme représenté sur la Figure 4, la deuxième base de données 15 BD2 inclut notamment, pour chaque sujet, les paramètres morphologiques suivants :
x1 : largeur de la tête ;
x2 : hauteur de la tête ;
x3 ; profondeur de la tête ;
20 x4 : décalage vers le bas de « pinna » ;
x5 : décalage arrière de « pinna » ;
x6 : largeur de cou ;
x7 : hauteur de cou ;
x8 : profondeur de cou ;
25 x9 : largeur de la partie supérieure du torse ;
x 0 : hauteur de la partie supérieure du torse ;
x1 : profondeur de la partie supérieure du torse ;
x12 : largeur d'épaule ;
x13 : circonférence de la tête ;
30 x14 : circonférence des épaules ;
d1 : hauteur du cavum de conque ;
d2 : hauteur du cymba de conque ;
d3 : largeur du cavum de conque ;
d4 : hauteur de « fossa » ; 40
9 d5 : hauteur de « pinna » ;
d6 : largeur de « pinna » ;
d7 : largeur d'incisure intertragal ;
d8 : profondeur de cavum de conque ;
Θ1 : angle de rotation du « pinna » ;
Θ2 : paramètre d'angle du pinna.
[033] Ces paramètres morphologiques stockés dans la deuxième base de données BD2 correspondent aux HRTF des sujets.
[034] Par ailleurs, dans une étape E1 , on crée une troisième base de données BD3 qui contient des résultats d'évaluation perceptive du test d'écoute. A cet effet, pour chaque sujet, on diffuse un signal de test sur lequel sont appliquées les différentes HRTF de la base de données BD1.
[035] Dans un exemple, le signal de son utilisé pour le test est un bruit blanc à large bande ayant une durée courte, par exemple de 0,23 seconde obtenu par une fenêtre de Hanning,
- le signal de son ayant été rendu à des positions ponctuelles le long de deux trajectoires présentées en séquence:
- un cercle dans le plan horizontal (élévation = 0 degrés) par exemple en incréments de 30 degrés, la trajectoire commençant à 0 degré azimut et 0 degré élévation,
- le trajet étant répété une fois,
- un arc dans le plan médian (azimut = 0 degré) à partir de l'élévation -45 degrés à l'avant jusqu'à -45 degrés à l'arrière en passant par une élévation de 90 degrés par exemple en incréments de 15 degrés,
- ie trajet du son commençant à l'avant à l'élévation -45 degrés, et allant jusqu'à l'élévation vers l'arrière puis on revient par le même chemin à la position initiale.
[036] Chaque sujet a classé chacune des HRTF dans une des trois catégories suivantes: excellent, moyen ou mauvais. Excellent étant considéré comme la plus haute catégorie de jugement. Ces jugements sont basés sur au moins un critère pour l'écoute d'un son correspondant à une HRTF. Le critère est choisi par exemple parmi : la précision du trajet précédemment défini, la qualité spatiale globale, la qualité de rendu frontal (pour les objets sonores qui sont situés devant), la séparation des sources avant / arrière (capacité à identifier si un objet sonore se situe devant ou derrière l'auditeur).
[037] La Figure 3 présente les types de résultats que l'on peut obtenir avec ce type de tests d'écoute pour tous les sujets (le « + » correspond à excellent, le « o » à moyen et « x » à mauvais). Les sujets sont représentés sur l'axe horizontal et les HRTF classées sur l'axe vertical.
[038] SELECTION DES PARAMETRES MORPHOLOLOGIQUES IMPORTANTS [039] Comme représenté sur les Figures 1 et 2, dans une étape E2, pour sélectionner les paramètres morphologiques importants, on fait la corrélation entre la deuxième base de données BD2 et la troisième base de données BD3.
[040] A cet effet, on réalise, dans une sous-étape E2.1 , une normalisation des données morphologiques en créant des sous bases BD2i (i allant de 1 à M qui est le nombre de sujets dans les bases) de données en divisant les valeurs morphologiques de la deuxième base BD2 de données par les valeurs morphologiques de chaque sujet de la deuxième base BD2[i]. Avec cette normalisation, les valeurs représentent le pourcentage d'un paramètre morphologique d'un sujet par rapport à un autre.
[041] Chaque sous base BD2i est associée dans une sous-étape E2.2 avec le classement de la troisième base du sujet correspondant BD3[i].
[042] On applique ensuite, dans une sous étape E2.3, une méthode dite de « feature sélection » choisie pour obtenir des paramètres morphologiques classés du plus au moins important Pmc. Ce classement est en fonction de leur capacité de séparer les HRTF suivant leur classement dans la troisième pas de données BD3.
[043] La méthode choisie est celle des machines à vecteurs de support (Support Vector Machine - SVM). Cette méthode est basée sur la construction d'un ensemble d'hyperplans dans un espace de dimension élevée pour classifier les données normalisées. Avec cette méthode, les paramètres ont donc été classés du plus au moins important.
[044] Deux variables contrôlent la classification avec SVM. La valeur de complexité C, qui contrôle la tolérance d'erreurs de classifications dans l'analyse, introduit une fonction de pénalité. Une valeur de C nulle indique que la fonction de pénalité n'est pas prise en compte, et une valeur de C élevée (C tendant vers l'infini) indique que la fonction de pénalité est dominante. La valeur epsilon ε est la valeur d'insensibilité qui met la fonction de pénalité à zéro si les données à classifier sont à une distance moins de ε de Phyperplan. Selon les différentes valeurs de C et ε, le classement des paramètres morphologiques change. En utilisant cette méthode avec une valeur de C = 1 et une valeur de ε = 1x10"25 les dix premiers éléments du Pmc les plus importants, du plus important au moins important, dans notre exemple correspondent à : x1 1 , x2, x8, d5, x3, d4, x12, d2, d1 et x6. [045] CREATION D'UN ESPACE MULTIDIMENSIONNEL OPTIMISE
[046] Dans une étape E3, on crée un espace multidimensionnel EM dont les dimensions résultent d'une combinaison des composantes des filtres HRTF.
[047] A cet effet, dans une étape E3.1 , on transforme les HRTF en ce que l'on appelle la Directional Transfer Function (DTF) qui contient uniquement la part des HRTF qui présentent une dépendance directionnelle.
[048] Dans une étape E3.2, on effectue un lissage des DTF en bande critique correspondant aux limitations de la résolution fréquentielle du système auditif. [049] On effectue, dans une étape E3.3, un prétraitement des DTF à l'aide d'une méthode choisie notamment parmi les suivantes : filtrage fréquentiel, délimitant des bornes Séquentielles, extraction des creux ou des pics fréquentiels, calcul d'un facteur d'alignement fréquentiel.
[050] Dans une étape E3.4, on applique une transformation de la dimensionnalité de donnée, ayant pour but de réduire ou d'augmenter les nombres de dimensions, en fonction de la donnée utilisée qui est le résultat de l'étape E.3.3.
[051] Pour la réduction de la dimensionnalité de donnée, on applique une analyse en composantes principales (ACP) sur les DTF traitées de manière à obtenir une nouvelle matrice de données (les scores) qui représentent les données originales projetées sur de nouveaux axes (les composantes principales), et on crée l'espace EM, à partir de chaque colonne de la matrice des scores qui représente une dimension de l'espace EM. [052] Pour l'augmentation de la dimensionnalité de donnée, on applique une analyse de type « multidimensional scaling » (MDS) sur les DTF traitées, et on obtient l'espace EM.
[053] On évalue, dans une étape E3.5, le niveau d'optimisation. Dans un premier exemple on évalue le niveau d'optimisation par le niveau de significativité de la séparation spatiale entre les classements de la troisième base de données BD3. Dans un exemple, le niveau de significativité est évalué en utilisant le test d'ANOVA pour vérifier si les moyennes des distributions de valeurs étaient statistiquement différentes pour chaque nombre de dimensions différent. [054] Dans un deuxième exemple, on calcule le pourcentage de HRTF classées dans la catégorie haute parmi les dix HRTF les plus proches dans l'espace EM et on compare, en utilisant par exemple un test Student, ce pourcentage avec le pourcentage global de HRTF classées dans la catégorie haute dans la troisième base de données pour chaque sujet. [055] On répète les étapes précédentes avec des paramètres de prétraitement différents et/ou en limitant le nombre de dimensions de l'espace créé.
[056] On conserve l'espace qui présente le niveau d'optimisation le plus optimal, c'est à dire celui dans nos exemples qui a le niveau de significativité le plus important ou celui pour lequel, dans le deuxième exemple, le nombre 40
13
de HRTF classées dans la catégorie la plus haute pour les 10 HRTF les plus proches est maximisé.
[057] L'espace ainsi conservé est l'espace multidimensionnel optimisé EMO. [058] On note que l'étape E3.5 a pour but d'optimiser la séparation spatiale entre les HRTF selon leur classement dans la troisième base de données BD3 de manière à obtenir un espace optimisé. En effet, dans l'espace EMO, pour un sujet à une position donnée, les HRTF situées dans la zone proche de cette position seront considérées comme bonnes pour le sujet tandis que les HRTF éloignées de cette position seront considérées comme mauvaises.
[059] Autrement dit, on modifie les règles de combinaison des composantes des HRTF pour maximiser la corrélation entre la séparation spatiale entre les HRTF et le classement des HRTF dans la troisième base de données BD3.
[060] ELABORATION D'UN MODELE DE PROJECTION
[061] Dans une étape E4, on calcule un modèle de projection permettant d'établir la relation entre les N paramètres morphologiques extraits de la deuxième base de données BD2 et la position des filtres HRTF correspondant dans l'espace optimisé EMO.
[062] A cet effet, dans une étape E4.1 , on calcule un modèle de projection par de multiples régressions linéaires entre EMO et Pmc en utilisant la deuxième base de données BD2 ayant pour but de trouver une position dans l'espace EMO à partir des paramètres morphologiques classés Pmc.
[063] On évalue, dans une étape E4.2, le niveau de qualité du modèle de projection. Ce niveau de qualité est calculé à l'aide des mêmes méthodes que celles utilisées dans E3.5.
[064] Dans une étape E4.3, on réduit Pmc aux K premiers paramètres morphologiques classés et on réitère les opérations de calcul du modèle E4.1 et l'étape E4.2 de mesure de qualité pour chaque K de K égal 1 jusqu'à K égal N. De préférence, ce calcul est répété pour chaque sujet en retirant ses données de la première base de données BD1 et de la deuxième base de données BD2 dans l'étape E3. [065] On conserve le K optimum pour lequel le niveau de qualité est le plus important. ). Ainsi les K paramètres extraits maximisent la corrélation entre l'espace multidimensionnel optimisé EMO et l'espace produit par le modèle de projection.
[066] On obtient ainsi un modèle de projection optimisé MPO. [067] MISE EN ŒUVRE DU PROCEDE
[068] Dans une étape E5, on sélectionne pour un utilisateur quelconque ne disposant pas de sa HRTF dans la base de données, au moins une HRTF dans la base de données BD1.
[069] A cet effet, dans une sous étape E5.1 , l'utilisateur va mesurer les K paramètres morphologiques précédemment identifiés. A cet effet, il va par exemple prendre une photo de son oreille dans une position déterminée, les K paramètres étant extraits par un procédé de traitement d'image.
[070] Dans une étape E5.2, les K paramètres sont injectés en entrée du modèle de projection MPO précédemment calculé sur les paramètres morphologiques extraits afin d'obtenir la position de l'utilisateur dans l'espace optimisé EMO.
[071] On sélectionne ensuite au moins une HRTF (référencée HRTF-S) dans la proximité de position de projection de l'utilisateur dans l'espace optimisé EMO. Dans un exemple, on choisit la HRTF la plus proche de la position de projection.

Claims

REVENDICATIONS
1. Procédé de sélection d'une HRTF perceptivement optimale dans une base de données à partir de paramètres morphologiques utilisant
- une première base de données (BD1 ) comprenant les HRTF d'une pluralité de sujets M,
- une deuxième base de données (BD2) comprenant les paramètres morphologiques des sujets de la première base de données (BD1),
caractérisé en ce qu'il utilise en outre
- une troisième base de données (BD3) correspondant à un classement perceptif des HRTF de la première base de données (BD1) en rapport avec un jugement par les sujets effectué à partir d'un test d'écoute correspondant aux différentes HRTF de la première base,
et en ce qu'il comporte les étapes suivantes :
- trier, parmi l'ensemble des paramètres morphologiques de la deuxième base (BD2), les N paramètres morphologiques les plus pertinents en faisant une corrélation entre la deuxième (BD2) et la troisième base de données (BD3),
- créer un espace multidimensionnel (EM) dont les dimensions résultent d'une combinaison des composantes des HRTF,
- modifier les règles de combinaison des composantes pour maximiser la corrélation entre la séparation spatiale entre les HRTF et le classement des HRTF dans la troisième base de données (BD3) de manière à obtenir un espace multidimensionnel optimisé (EMO),
- calculer un modèle de projection optimisé (MPO) permettant d'établir la relation entre K paramètres morphologiques extraits de la deuxième base de données (BD2) triés et la position des HRTF correspondant dans l'espace optimisé (EMO), les K paramètres extraits maximisant la corrélation entre l'espace multidimensionnel optimisé (EMO) et l'espace produit par le modèle de projection,
- mesurer les K paramètres morphologiques d'un utilisateur donné ne disposant pas de sa HRTF dans la première base de donnée (BD1 ),
- appliquer le modèle de projection optimisé (MPO) précédemment calculé sur les paramètres morphologiques extraits afin d'obtenir la position de l'utilisateur dans l'espace optimisé (EMO), - sélectionner au moins une HRTF (HRTF-S) dans la proximité de la position de projection de l'utilisateur dans l'espace optimisé (EMO).
2. Procédé selon la revendication 1 , caractérisé en ce que pour effectuer le classement perceptif, le sujet a au moins 2 choix (bon ou mauvais) dans son jugement sur au moins un critère d'écoute d'un son correspondant à une HRTF.
3. Procédé selon la revendication 2, caractérisé en ce que le critère d'écoute est choisi par exemple parmi : la précision du trajet sonore défini, la qualité spatiale globale, la qualité de rendu frontal (pour Ses objets sonores qui sont situés devant), la séparation des sources avant / arrière (capacité à identifier si un objet sonore se situe devant ou derrière l'auditeur).
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que pour élaborer la troisième base de données (BD3) :
- on présente un signal de son sur lequel est appliqué chacune des HRTF de la première base de données (incluant la propre HRTF du sujet) à chaque sujet,
- le signal de son utilisé pour le test étant un bruit blanc à large bande ayant une durée courte, par exemple de 0,23 secondes obtenu par une fenêtre de Hanning,
- le signal de son ayant été rendu à des positions ponctuelles le long de deux trajectoires présentées en séquence:
- un cercle dans le plan horizontal (élévation = 0 degrés) par exemple en incréments de 30 degrés, la trajectoire commençant à 0 degrés azimut et 0 degré élévation,
- le trajet étant répété une fois,
- un arc dans le plan médian (azimut = 0 degrés) à partir de l'élévation -45 degrés à l'avant jusqu'à -45 degrés à l'arrière en passant par une élévation de 90 degrés par exemple en incréments de 15 degrés,
- le trajet du son commençant à l'avant à l'élévation -45 degrés, et allant jusqu'à l'élévation vers l'arrière puis on revient par le même chemin à la position initiale.
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que pour faire la corrélation entre la deuxième (BD2) et la troisième base (BD3) pour obtenir les paramètres morphologiques triés,
- on réalise une normalisation des données morphologiques en créant des sous bases de données (BD2i) en divisant les valeurs morphologiques de la deuxième base de données (BD2) par les valeurs morphologique de chaque sujet de la deuxième base (BD2[i]),
- chaque sous base (BD2i) est associée avec le classement de la troisième base du sujet correspondant (BD3[i]),
- on applique la méthode des machines à vecteurs de support
(« Support Vector Machine » - SVM) pour obtenir des paramètres morphologiques classés (Pmc) du plus au moins important, ce classement étant fonction de la qualité de séparation de chaque paramètre des HRTF suivant la catégorisation dans la troisième base de données (BD3).
6. Procédé selon la revendication 5, caractérisé en ce que pour créer l'espace multidimensionnel optimisé (EMO),
- dans une étape E3.1 , on transforme les HRTF en Directional Transfer Function (DTF) qui contient uniquement la part des HRTF qui présentent une dépendance directionnelle,
- dans une étape E3.2, on effectue un lissage des DTF,
- dans une étape E3.3, on effectue un prétraitement des DTF,
- dans une étape E3.4, on applique une transformation de la dimensionnalité de donnée, pour but de réduire ou d'augmenter les nombres de dimensions, en dépendance de la donnée utilisée qui est le résultat de l'étape E.3.3,
- dans l'option de réduction de la dimensionnalité de données, on effectue une analyse par composantes principales (ACP) sur les DTF traitées de manière à obtenir une nouvelle matrice de données (les scores) qui représentaient les données originales projetées sur de nouveaux axes (les composantes principales), et
- on crée l'espace EM, à partir de chaque colonne de la matrice des scores qui représente une dimension de l'espace EM, ou
- dans l'option d'augmentation de la dimensionnalité de données, on crée par une analyse « multidimensional scaling » (MDS) l'espace EM, - dans une étape E3.5, on évalue le niveau d'optimisation par le niveau de significativité de la séparation spatiale entre les classements de la troisième base de données BD3,
- on répète les étapes précédentes avec des paramètres de prétraitement différents et/ou en limitant le nombre de dimensions de l'espace EM créé et
- on conserve l'espace qui présente le niveau d'optimisation le plus optimal.
7. Procédé selon la revendication 6, caractérisé en ce qu'on effectue un lissage des DTF en bande critique correspondant aux limitations de la résolution fréquentielle du système auditif.
8. Procédé selon la revendication 6 ou 7, caractérisé en ce que le prétraitement peut être réalisé à l'aide d'une méthode choisie notamment parmi les suivantes : filtrage fréquentiel, délimitant des bornes fréquentielles, extraction des creux ou des pics fréquentiels, calcul d'un facteur d'alignement fréquentiel.
9. Procédé selon l'une des revendications 6 à 8, caractérisé en ce qu'on évalue le niveau d'optimisation
- par le niveau de significativité de la séparation spatiale entre les classements de la troisième base de données (BD3) le niveau de significativité étant par exemple évalué en utilisant le test d'ANOVA, ou
- en calculant le pourcentage de HRTF classées dans la catégorie haute parmi les dix HRTF les plus proches dans l'espace EM et en comparant ce pourcentage avec le pourcentage global de HRTF classées dans la catégorie haute dans la troisième base de données (BD3) pour chaque sujet en utilisant par exemple le test de Student.
10. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que pour calculer un modèle de projection permettant d'établir la relation entre les N paramètres morphologiques extraits de la deuxième base de données et la position des filtres HRTF correspondant dans l'espace optimisé : - dans une étape E4.1 , on calcule un modèle de projection par de multiples régressions linéaires entre EMO et Pmc ayant pour but de trouver une position dans l'espace EMO à partir des paramètres morphologiques classés Pmc de la deuxième base de données (BD2),
- dans une étape E4.2, on évalue le niveau de qualité du modèle de projection,
- dans une étape E4.3, on réduit Pmc aux K premiers paramètres morphologiques classés et on réitère les opérations de calcul du modèle E4.1 et l'étape E4.2 de mesure de qualité pour chaque K de K égal 1 jusqu'à K égal N, ce calcul étant répété pour chaque sujet en retirant leurs données de la première base de données (BD1) et la deuxième base de données (BD2) et
- on conserve le K optimum pour lequel le niveau de qualité est le plus important.
1 1. Procédé selon l'une des revendications 1 à 10, caractérisé en ce que pour sélectionner au moins une HRTF (HRTF-S) dans la proximité de position de projection de l'utilisateur dans l'espace optimisé (EMO), on choisit la HRTF la plus proche de la position de projection dans l'espace optimisé (EMO).
EP11730369.3A 2010-04-12 2011-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques Active EP2559265B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1052767A FR2958825B1 (fr) 2010-04-12 2010-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
PCT/FR2011/050840 WO2011128583A1 (fr) 2010-04-12 2011-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques

Publications (2)

Publication Number Publication Date
EP2559265A1 true EP2559265A1 (fr) 2013-02-20
EP2559265B1 EP2559265B1 (fr) 2014-09-17

Family

ID=43736251

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11730369.3A Active EP2559265B1 (fr) 2010-04-12 2011-04-12 Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques

Country Status (7)

Country Link
US (1) US8768496B2 (fr)
EP (1) EP2559265B1 (fr)
JP (1) JP5702852B2 (fr)
KR (1) KR101903192B1 (fr)
CN (1) CN102939771B (fr)
FR (1) FR2958825B1 (fr)
WO (1) WO2011128583A1 (fr)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
DK2869599T3 (da) * 2013-11-05 2020-12-14 Oticon As Binauralt høreassistancesystem, der omfatter en database med hovedrelaterede overføringsfunktioner
US9900722B2 (en) * 2014-04-29 2018-02-20 Microsoft Technology Licensing, Llc HRTF personalization based on anthropometric features
KR102433613B1 (ko) * 2014-12-04 2022-08-19 가우디오랩 주식회사 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
CN104484844B (zh) * 2014-12-30 2018-07-13 天津迈沃医药技术股份有限公司 一种基于疾病圈数据信息的自我诊疗网站平台
US9544706B1 (en) 2015-03-23 2017-01-10 Amazon Technologies, Inc. Customized head-related transfer functions
JP6596896B2 (ja) 2015-04-13 2019-10-30 株式会社Ｊｖｃケンウッド 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
FR3040807B1 (fr) * 2015-09-07 2022-10-14 3D Sound Labs Procede et systeme d'elaboration d'une fonction de transfert relative a la tete adaptee a un individu
WO2017047116A1 (fr) * 2015-09-14 2017-03-23 ヤマハ株式会社 Dispositif d'analyse de forme d'oreille, dispositif de traitement d'informations, procédé d'analyse de forme d'oreille, et procédé de traitement d'informations
FR3044459A1 (fr) * 2015-12-01 2017-06-02 Orange Decompositions successives de filtres audio
CN105979441B (zh) * 2016-05-17 2017-12-29 南京大学 一种用于3d音效耳机重放的个性化优化方法
GB201609089D0 (en) * 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
US10187740B2 (en) 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
CN106874592B (zh) * 2017-02-13 2020-05-19 深圳大学 虚拟听觉重放方法及系统
US10278002B2 (en) 2017-03-20 2019-04-30 Microsoft Technology Licensing, Llc Systems and methods for non-parametric processing of head geometry for HRTF personalization
US10306396B2 (en) * 2017-04-19 2019-05-28 United States Of America As Represented By The Secretary Of The Air Force Collaborative personalization of head-related transfer function
CN107734428B (zh) * 2017-11-03 2019-10-01 中广热点云科技有限公司 一种3d音频播放设备
US11080292B2 (en) * 2017-11-13 2021-08-03 Royal Bank Of Canada System, methods, and devices for visual construction of operations for data querying
US10397725B1 (en) 2018-07-17 2019-08-27 Hewlett-Packard Development Company, L.P. Applying directionality to audio
JP7029031B2 (ja) 2019-01-21 2022-03-02 アウター・エコー・インコーポレイテッド 時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム
EP3833043B1 (fr) * 2019-12-03 2022-10-19 Oticon A/s Système auditif comprenant un formeur de faisceaux personnalisé
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111899A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6996244B1 (en) * 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
AUPQ514000A0 (en) * 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JPWO2005025270A1 (ja) * 2003-09-08 2006-11-16 松下電器産業株式会社 音像制御装置の設計ツールおよび音像制御装置
CN101065990A (zh) * 2004-09-16 2007-10-31 松下电器产业株式会社 声像定位装置
FR2880755A1 (fr) * 2005-01-10 2006-07-14 France Telecom Procede et dispositif d'individualisation de hrtfs par modelisation
EP1946612B1 (fr) 2005-10-27 2012-11-14 France Télécom Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
CN101360359A (zh) * 2007-08-03 2009-02-04 富准精密工业(深圳)有限公司 产生立体音效的方法及装置
US8489371B2 (en) * 2008-02-29 2013-07-16 France Telecom Method and device for determining transfer functions of the HRTF type

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011128583A1 *

Also Published As

Publication number Publication date
CN102939771B (zh) 2015-04-22
JP2013524711A (ja) 2013-06-17
FR2958825B1 (fr) 2016-04-01
FR2958825A1 (fr) 2011-10-14
US20130046790A1 (en) 2013-02-21
EP2559265B1 (fr) 2014-09-17
CN102939771A (zh) 2013-02-20
WO2011128583A1 (fr) 2011-10-20
US8768496B2 (en) 2014-07-01
KR20130098149A (ko) 2013-09-04
JP5702852B2 (ja) 2015-04-15
KR101903192B1 (ko) 2018-11-22

Similar Documents

Publication Publication Date Title
EP2559265B1 (fr) Procede de selection de filtres hrtf perceptivement optimale dans une base de donnees a partir de parametres morphologiques
EP1836876B1 (fr) Procédé et dispositif d'individualisation de hrtfs par modélisation
EP2258119B1 (fr) Procede et dispositif pour la determination de fonctions de transfert de type hrtf
EP3348079B1 (fr) Procédé et système d'élaboration d'une fonction de transfert relative à la tête adaptée à un individu
EP1946612B1 (fr) Individualisation de hrtfs utilisant une modelisation par elements finis couplee a un modele correctif
Stitt et al. Sensitivity analysis of pinna morphology on head-related transfer functions simulated via a parametric pinna model
Geronazzo et al. Do we need individual head-related transfer functions for vertical localization? The case study of a spectral notch distance metric
EP2901718B1 (fr) Procede et systeme de restitution d'un signal audio
FR3059191A1 (fr) Dispositif a casque audio perfectionne
EP1992198A2 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
Liu et al. Blind stereoscopic image quality assessment based on hierarchical learning
EP2396978A1 (fr) Plate-forme de test mise en oeuvre avec un procede pour positionner un objet sonore dans un environnement sonore 3d
WO2011104463A1 (fr) Compression de flux audio multicanal
EP3018615B1 (fr) Procede de comparaison de donnees ameliore
WO2013080169A1 (fr) Procede d'identification de microorganismes par spectrometrie de masse et normalisation de scores
EP2920979B1 (fr) Acquisition de données sonores spatialisées
FR3057981B1 (fr) Procede d'elaboration d'un nuage de points 3d representatif d'une oreille 3d d'un individu, et systeme associe
EP2804175A1 (fr) Procédé de reconnaissance vocale visuelle par suivi des déformations locales d'un ensemble de points d'intérêt de la bouche du locuteur
EP3384688B1 (fr) Décompositions successives de filtres audio
FR3005777A1 (fr) Procede de reconnaissance vocale visuelle avec selection de groupes de points d'interet les plus pertinents
FR3093264A1 (fr) Procédé de diffusion d’un signal audio

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20121025

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20131202

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 688155

Country of ref document: AT

Kind code of ref document: T

Effective date: 20141015

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602011009963

Country of ref document: DE

Effective date: 20141030

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141218

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20141217

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20140917

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 688155

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150117

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150119

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011009963

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

26N No opposition filed

Effective date: 20150618

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150412

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150412

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160412

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110412

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160412

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: IT

Effective date: 20171204

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170412

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: IT

Effective date: 20171204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140917

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170412

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: IT

Effective date: 20180730

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230512

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250429

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20250429

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250430

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260327

Year of fee payment: 16