EP1658755B1 - Systeme de spatialisation de sources sonores - Google Patents

Systeme de spatialisation de sources sonores Download PDF

Info

Publication number
EP1658755B1
EP1658755B1 EP03748189A EP03748189A EP1658755B1 EP 1658755 B1 EP1658755 B1 EP 1658755B1 EP 03748189 A EP03748189 A EP 03748189A EP 03748189 A EP03748189 A EP 03748189A EP 1658755 B1 EP1658755 B1 EP 1658755B1
Authority
EP
European Patent Office
Prior art keywords
sound
spatialization
module
source
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP03748189A
Other languages
German (de)
English (en)
Other versions
EP1658755A1 (fr
Inventor
Gérard; c/o THALES Intellectual Property REYNAUD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP1658755A1 publication Critical patent/EP1658755A1/fr
Application granted granted Critical
Publication of EP1658755B1 publication Critical patent/EP1658755B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present invention relates to a system for spatialization of sound sources with improved performance, in particular enabling the realization of a spatialization system compatible with an avionics modular information processing equipment of the IMA type (abbreviation of the English expression "Integrated Modular Avionics "), also called EMTI (for Modular Information Processing Equipment).
  • IMA Integrated Modular Avionics
  • EMTI Modular Information Processing Equipment
  • 3D sound is part of the same approach as the helmet visual by allowing pilots to acquire spatial situation information (crew position, threats, ...) in their own reference system, via a communication channel other that visual by following a natural modality.
  • 3D sound enriches the transmitted signal with static or dynamic situation information in the space. Its use, besides locating teammates or threats, can cover other applications such as multi-speaker intelligibility.
  • the The system described in the aforementioned application includes, in particular for each source to be spatialised, a binaural processor with two convolution paths whose role is on the one hand to interpolate the head transfer functions (left / right) to the point in which will be placed the sound source, on the other hand to create the signal spatialized on two channels from the original monophonic signal.
  • the aim of the present invention is to define a spatialization system having improved performances, in particular so that it is able to integrate into a modular avionics information processing equipment (EMTI) which imposes constraints, in particular on the number of processors and their type.
  • EMTI modular avionics information processing equipment
  • the invention proposes a spatialization system in which it is no longer necessary to make an interpolation calculation of the head transfer functions. It is then possible to carry out the convolution operations in order to create the spatialized signals to have only one single computer instead of the n binaural processors necessary in the system according to the prior art for spatializing n sources.
  • the invention is described below with reference to an aircraft audio system, in particular a combat aircraft, but it is understood that it is not limited to such an application and that it can be in other types of vehicles (land and sea) as well as in fixed installations.
  • the user of this system is, in this case, the pilot of an aircraft but there may be several users simultaneously, particularly if it is a civil transport aircraft, devices specific to each user then being provided in sufficient numbers.
  • the figure 1 represents a general diagram of a system for spatialization of sound sources according to the invention whose role is to make a listener hear sound signals (tones, words, alarms, etc.) using a stereophonic headphone. so that they are perceived by the listener as coming from a particular point in space, this point possibly being the actual position of the sound source or an arbitrary position.
  • the detection of a missile by a countermeasure device may generate a sound whose origin will appear to originate from the origin of the attack, allowing the pilot to react more quickly.
  • These sounds are for example recorded under digital form in a database "sounds”.
  • the evolution of the position of the sound source is taken into account according to the movements of the pilot's head and the movements of the aircraft.
  • an alarm generated at the azimuth "3 o'clock” must be at "noon” if the pilot turns his head 90 ° to the right.
  • the system according to the invention mainly comprises a data presentation processor CPU1 and a CPU2 calculation unit generating the spatialized monophonic channels.
  • the data presentation processor CPU1 comprises in particular a calculation module 101 relative positions of the sources relative to the listener, that is to say in the reference head of the listener. These positions are for example calculated from information received by an attitude detector 11 of the head of the listener and by a module 12 for determining the position of the source to be restored (this module may comprise an inertial unit, a locating device such as a goniometer, radar, etc.).
  • the processor CPU1 is connected to a "filter” database 13 comprising a set of head transfer functions (HRTF) specific to the listener.
  • the head transfer functions are for example acquired during a prior learning phase.
  • the calculation unit CPU2 generates the monophonic channels G and D spatialized by convolution of each monophonic sound signal characteristic of the source to be spatialised and contained in the "sounds" database 14 with head transfer functions of said database. 13 estimated at the position of the source in the leader.
  • the computing unit comprises as many processors as there are sound sources to spatialize. Indeed, it is necessary in these systems to carry out a spatial interpolation of the head transfer functions in order to know the transfer functions at the point at which the source will be placed.
  • This architecture requires multiplying the number of processors in the computing unit, which is incompatible with a modular spatialization system for integration into modular avionics information processing equipment.
  • the spatialization system according to the invention has a specific algorithmic architecture which makes it possible in particular to reduce the number of processors of the computing unit.
  • the Applicant has shown that the CPU2 calculation unit can then be realized by means of a programmable component of the EPLD type (abbreviation of "programmable logic gate electronics").
  • the data presentation processor of the system according to the invention comprises a selection module 102 head transfer functions with a variable resolution adapted to the relative position of the source with the listener (or position of the source in the leader). With this selection module, it is no longer necessary to perform interpolation calculations to estimate the transfer functions at the location where the sound source should be. We can therefore greatly simplify the architecture of the computing unit, an exemplary embodiment of which will be described later.
  • the selection module selects the resolution of the transfer functions as a function of the relative position of the sound source with respect to the listener, it is possible to work with a database 13 of the head transfer functions comprising a large number of functions distributed regularly throughout the space, knowing that only a portion of these will be selected to perform the convolution calculations.
  • the applicant has worked with a database in which the transfer functions are collected with a pitch of 7 ° in azimuth, from 0 to 360 °, and with a pitch of 10 ° in elevation, from -70 ° to + 90 °.
  • the applicant has shown that with the resolution selection module 102 of the system according to the invention, it is possible to limit the number of coefficients of each head transfer function used to 40 (against 128 or 256 in most systems of the prior art) without degradation of sound spatialization results, which further reduces the computing power necessary for the spatialization function.
  • the CPU2 calculation unit can thus be reduced to an EPLD type component for example, even when several sources must be spatialized, which makes it possible to dispense with the dialogue protocols between the different binaural processors necessary to process the spatialization of several sound sources in the systems of the prior art.
  • the figure 2 represents a block diagram of an exemplary embodiment of the system according to the invention.
  • the spatialization system comprises a CPU1 data presentation processor receiving the information from each source and a CPU2 calculation unit of the spatialized right and left monophonic channels.
  • the processor CPU1 comprises in particular the module 101 for calculating the relative position of a sound source in the head reference of the listener, this module receiving in real time information on the attitude of head (listener position) and on the position of the source to be restored, as previously described.
  • the module 102 for selection in resolution of the transfer functions HRTF contained in the database 13 makes it possible to select, for each source to be spatialized, as a function of the relative position of the source, the transfer functions that will be used for the generation of spatialized sounds.
  • a sound selection module 103 connected to the sound database 14 makes it possible to select the monophonic signal of the database which will be sent in the CPU2 calculation unit so as to be convoluted to the adapted left and right head transfer functions.
  • the sound selection module 103 operates a hierarchy between the sound sources to be spatialized. Depending on the system events and the choice of management logic of the platform, a choice of concomitant sounds to spatialize will be made. All the information that makes it possible to define this spatial presentation priority logic passes on the high speed bus of the EMTI.
  • the sound selection module 103 is for example connected to a configuration module and to setting 104 in which are recorded personalization criteria specific to the listener.
  • the data relating to the choice of HRTF transfer functions as well as the sounds to be spatialised are sent to the CPU2 calculation unit by means of a communication link 15. They are stored temporarily in a filter memory and digital sounds 201.
  • the part of the memory containing the digital sounds called "earcons" (name assigned to sounds used as alarms or alert and having a significant signifying value) is for example loaded at initialization. It contains the samples of audio signals previously digitized in the sound database 14.
  • the spatialization of one or more of these signals will be activated or suspended. As long as the activation persists, the signal concerned is played in a loop.
  • the convolution calculations are carried out by a computer 202, for example an EPLD type component that generates the spatialized sounds as previously described.
  • a processor interface 203 constitutes a memory used for the filtering operations. It is composed of buffer registers for sounds, HRTF filters, as well as coefficients used for other functions such as soft switching and the simulation of atmospheric absorption which will be described later.
  • the earcons or audible alarms
  • sounds coming from radios directly UHF / VHF
  • live sounds on the figure 2 .
  • the figure 3 represents the diagram of a computing unit of a spatialization system according to the example of the figure 2 .
  • the spatialization system comprises an input / output audio conditioning module 16 which retrieves the left and right spatialized monophonic channels to form them before sending them to the listener.
  • these communications are formatted by the conditioning module for their spatialization by the computer 202 of the computing unit.
  • a sound from a so-called live source will always have priority over the sounds to be spatialized.
  • processor interface 203 which is a short-term memory for all the parameters used.
  • the computer 202 constitutes the heart of the computing unit.
  • it comprises a module 204 for activating and selecting sources, performing the mixing function between the live inputs and the earcons type sounds.
  • the computer 202 can perform the calculation functions for the n sources to be spatialized.
  • the n sources In the example of the figure 3 , four sound sources can be spatialized.
  • It comprises a dual spatialization module 205, which receives the appropriate transfer functions and performs the convolution with the monophonic signal to be spatialized. This convolution is performed in the temporal space by using the shifting capabilities of FIR filters (finite impulse response filters) associated with inter-aural delays.
  • FIR filters finite impulse response filters
  • a soft switching module 206 connected to a computation parameter register 207 optimizing the choice of the transition parameters as a function of the speed of movement of the source and the head of the listener.
  • the soft switching module allows a transition, without audible switching noise, when switching from one pair of filters to the next. This function is performed by a double linear weighting ramp. It involves a double convolution: each sample of each output channel results from the weighted sum of two samples, each obtained by convolution of the input signal with a spatialization filter, element of the HRTF base. At a given moment, there is thus in input memory two pairs of spatialization filters per channel to be processed.
  • a module 208 for atmospheric absorption simulation comprises a module 208 for atmospheric absorption simulation.
  • This function is for example carried out by a linear filtering with 30 coefficients and a gain, realized on each channel (left, right) of each channel, after spatialization processing. This function allows the listener to perceive the effect of depth necessary for his operational decision.
  • dynamic weighting 209 and summation modules 210 are provided for performing the weighted sum of the channels of each channel to provide a single stereophonic compatible signal of the output dynamics.
  • the only constraint associated with this stereophonic reproduction is related to the bandwidth required for sound spatialization (typically 20 kHz).
  • the figure 4 schematizes the hardware architecture of an avionic modular information processing equipment 40 type EMTI. It comprises a high-speed bus 41 on which all the functions of the equipment are connected, including the sound spatialization system according to the invention 42 as described above, the other functions 43 of human-machine interface as per voice control, head-up symbology management, helmet visual, etc., and a system management card 44 whose function is the interface with the other equipment of the aircraft.
  • the sound spatialization system 42 according to the invention is connected to the high-speed bus via the data presentation processor CPU1. It furthermore comprises the CPU2 calculation unit, as described previously and formed for example of an EPLD component, compatible with the technical requirements of the EMTI (number and type of operations, memory space, audio sample coding, bit rate digital).

Description

  • La présente invention concerne un système de spatialisation de sources sonores à performances améliorées permettant notamment la réalisation d'un système de spatialisation compatible avec un équipement modulaire avionique de traitement de l'information de type IMA (abréviation de l'expression anglo-saxonne « Integrated Modular Avionics ») appelé encore EMTI (pour Equipement Modulaire de Traitement de l'Information).
  • Dans le domaine aéronautique embarqué, la majorité des réflexions concernant le cockpit du futur débouche sur le besoin d'un visuel de casque porté par la tête, associé à une visualisation de très grand format présentée en tête basse. Cet ensemble doit permettre d'améliorer la perception de la situation globale (« situation awarness ») tout en réduisant la charge du pilote grâce à une présentation d'une synthèse en temps réel des informations issues de sources multiples (senseurs, base de données).
  • Le son 3D s'inscrit dans la même approche que le visuel de casque en permettant aux pilotes d'acquérir des informations de situation spatiale (position des équipiers, des menaces,...) dans son repère propre, par un canal de communication autre que visuel en suivant une modalité naturelle. De manière générale, le son 3D enrichit le signal transmis d'une information de situation, statique ou dynamique, dans l'espace. Son emploi, outre la localisation de coéquipiers ou de menaces, peut couvrir d'autres applications comme l'intelligibilité multi-locuteurs.
  • Dans la demande de brevet français FR 2 744 871 , la déposante a décrit un système de spatialisation de sources sonores produisant pour chaque source des canaux monophoniques (gauche/droite) spatialisés destinés à être reçus par un auditeur grâce à un casque stéréophonique, de telle sorte que les sources soient perçus par l'auditeur comme si elles provenaient d'un point particulier de l'espace, ce point pouvant être la position effective de la source sonore ou bien une position arbitraire. Le principe de la spatialisation sonore est basé sur le calcul de la convolution de la source sonore à spatialiser (signal monophonique) avec des fonctions de transfert dites fonctions de transfert de tête (ou HRTF selon l'expression anglo-saxonne « Head Related Transfert Functions ») propres à l'auditeur et qui ont été mesurées lors d'une phase d'enregistrement préalable. Ainsi, le système décrit dans la demande ci-dessus mentionnée comprend notamment pour chaque source à spatialiser, un processeur binaural à deux voies de convolution dont le rôle est d'une part de calculer par interpolation les fonctions de transfert de tête (gauche/droite) au point en lequel sera placée la source sonore, d'autre part de créer le signal spatialisé sur deux canaux à partir du signal monophonique original.
  • Le but de la présente invention est de définir un système de spatialisation présentant des performances améliorées de telle sorte notamment qu'il soit apte à s'intégrer dans un équipement modulaire avionique de traitement de l'information (EMTI) qui impose des contraintes notamment sur le nombre de processeurs et leur type.
  • Pour cela, l'invention propose un système de spatialisation dans lequel il n'est plus nécessaire de faire un calcul d'interpolation des fonctions de transfert de tête. Il est alors possible pour effectuer les opérations de convolution en vue de créer les signaux spatialisés de n'avoir plus qu'un calculateur unique au lieu des n processeurs binauraux nécessaires dans le système selon l'art antérieur pour spatialiser n sources.
  • Plus précisément, l'invention concerne un système de spatialisation d'au moins une source sonore créant pour chaque source deux canaux monophoniques spatialisés destinés à être reçus par un auditeur, comprenant
    • une base de données filtres comprenant un ensemble de fonctions de transfert de tête propres à l'auditeur,
    • un processeur de présentation de données recevant l'information issue de chaque source et comprenant notamment un module de calcul des positions relatives des sources par rapport à l'auditeur,
    • une unité de calcul desdits canaux monophoniques par convolution de chaque source sonore avec des fonctions de transfert de tête de ladite base de données estimées à ladite position de la source,
    le système étant caractérisé en ce que ledit processeur de présentation de données comprend un module de sélection des fonctions de transfert de tête avec une résolution variable adaptée à la position relative de la source avec l'auditeur.
  • L'utilisation des bases de fonctions de transfert de la tête du pilote adaptée à la précision requise pour une information donnée à spatialiser (menace, position d'un drône, etc.), alliée à une utilisation optimale des informations spatiales contenues dans chacune des positions de ces bases permet de réduire considérablement le nombre d'opérations à réaliser pour la spatialisation sans pour autant dégrader les performances.
  • D'autres avantages et caractéristiques apparaîtront plus clairement à la lecture de la description qui suit, illustrée par les figures annexées qui représentent :
    • La figure 1, un schéma général d'un système de spatialisation selon l'invention ;
    • La figure 2, un schéma fonctionnel d'un exemple de réalisation du système selon l'invention ;
    • La figure 3, le schéma d'une unité de calcul d'un système de spatialisation selon l'exemple de la figure 2 ;
    • La figure 4, un schéma d'implantation du système selon l'invention dans un équipement modulaire avionique de type IMA.
  • L'invention est décrite ci-dessous en référence à un système audiophonique d'avion, en particulier d'avion de combat, mais il est bien entendu qu'elle n'est pas limitée à une telle application et qu'elle peut être mise en oeuvre aussi bien dans d'autres types de véhicules (terrestres ou maritimes) que dans des installations fixes. L'utilisateur de ce système est, dans le cas présent, le pilote d'un avion mais il peut y avoir simultanément plusieurs utilisateurs, en particulier s'il s'agit d'un avion de transport civil, des dispositifs particuliers à chaque utilisateur étant alors prévus en nombre suffisant.
  • La figure 1 représente un schéma général d'un système de spatialisation de sources sonores selon l'invention dont le rôle est de faire entendre à un auditeur des signaux sonores (tonalités, paroles, alarmes, etc.) à l'aide d'un casque stéréophonique de telle sorte qu'ils soient perçus par l'auditeur comme s'ils provenaient d'un point particulier de l'espace, ce point pouvant être la position effective de la source sonore ou bien une position arbitraire. Par exemple, la détection d'un missile par un appareil de contre-mesure pourra générer un son dont l'origine semblera provenir de l'origine de l'attaque, permettant au pilote de réagir plus rapidement. Ces sons (signaux sonores monophoniques) sont par exemple enregistrés sous forme numérique dans une base de données « sons ». Par ailleurs, il est tenu compte de l'évolution de la position de la source sonore en fonction des mouvements de la tête du pilote et des mouvements de l'avion. Ainsi, une alarme générée à l'azimut « 3 heures » doit se retrouver à « midi » si le pilote tourne la tête de 90° vers la droite.
  • Le système selon l'invention comprend principalement un processeur CPU1 de présentation de données et une unité de calcul CPU2 générant les canaux monophoniques spatialisés. Le processeur de présentation de données CPU1 comprend notamment un module de calcul 101 des positions relatives des sources par rapport à l'auditeur, c'est à dire dans le repère de tête de l'auditeur. Ces positions sont par exemple calculées à partir d'informations reçues par un détecteur 11 d'attitude de la tête de l'auditeur et par un module 12 de détermination de la position de la source à restituer (ce module pouvant comprendre une centrale inertielle, un dispositif de localisation tel qu'un goniomètre, un radar, etc.). Le processeur CPU1 est relié à une base de données « filtres » 13 comprenant un ensemble de fonctions de transfert de tête (HRTF) propres à l'auditeur. Les fonctions de transfert de tête sont par exemple acquises lors d'une phase d'apprentissage antérieure. Elles sont spécifiques du délai inter-aural de l'auditeur (délai d'arrivée du son entre les deux oreilles), des caractéristiques physionomiques de chaque auditeur. Ce sont ces fonctions de transfert qui donnent à l'auditeur la sensation de la spatialisation. L'unité de calcul CPU2 génère les canaux monophoniques G et D spatialisés par convolution de chaque signal sonore monophonique caractéristique de la source à spatialiser et contenu dans la base de données « sons » 14 avec des fonctions de transfert de tête de ladite base de données 13 estimées à la position de la source dans le repère de tête.
  • Dans les systèmes de spatialisation selon l'art antérieur, l'unité de calcul comprend autant de processeurs qu'il y a de sources sonores à spatialiser. En effet, il est nécessaire dans ces systèmes de procéder à une interpolation spatiale des fonctions de transfert de tête afin de connaître les fonctions de transfert au point en lequel sera placée la source. Cette architecture nécessite de multiplier le nombre de processeurs dans l'unité de calcul, ce qui est incompatible d'un système de spatialisation modulaire pour intégration dans un équipement modulaire avionique de traitement de l'information.
  • Le système de spatialisation selon l'invention présente une architecture algorithmique spécifique qui permet notamment de réduire le nombre de processeurs de l'unité de calcul. La déposante a montré que l'unité de calcul CPU2 peut alors être réalisée au moyen d'un composant programmable de type EPLD (abréviation de « Electronique programmable par portes logiques »). Pour ce faire, le processeur de présentation de données du système selon l'invention comprend un module de sélection 102 des fonctions de transfert de tête avec une résolution variable adaptée à la position relative de la source avec l'auditeur (ou position de la source dans le repère de tête). Grâce à ce module de sélection, il n'est plus nécessaire de procéder à des calculs d'interpolation pour estimer les fonctions de transfert à l'endroit où doit se situer la source sonore. On peut donc simplifier considérablement l'architecture de l'unité de calcul, dont un exemple de réalisation sera décrit par la suite. Par ailleurs, le module de sélection opérant une sélection de la résolution des fonctions de transfert en fonction de la position relative de la source sonore par rapport à l'auditeur, on peut travailler avec une base de données 13 des fonctions de transfert de tête comprenant un nombre important de fonctions réparties régulièrement dans tout l'espace, sachant que seule une partie de celles-ci seront sélectionnées pour effectuer les calculs de convolution. Ainsi, la déposante a travaillé avec une base de données dans laquelle les fonctions de transfert sont recueillies avec un pas de 7° en azimut, de 0 à 360°, et avec un pas de 10°en élévation, de -70° à +90°.
  • Par ailleurs, la déposante a montré que grâce au module de sélection en résolution 102 du système selon l'invention, on peut limiter le nombre de coefficients de chaque fonction de transfert de tête utilisée à 40 (contre 128 ou 256 dans la plupart des systèmes de l'art antérieur) sans dégradation des résultats de spatialisation sonore, ce qui réduit encore la puissance de calcul nécessaire à la fonction de spatialisation.
  • La déposante a ainsi démontré que l'utilisation des bases de fonctions de transfert de la tête du pilote adaptée à la précision requise pour une information donnée à spatialiser, alliée à une utilisation optimale des informations spatiales contenues dans chacune des positions de ces bases permet de réduire considérablement le nombre d'opérations à réaliser pour la spatialisation sans pour autant dégrader les performances.
  • L'unité de calcul CPU2 peut ainsi être réduite à un composant de type EPLD par exemple, même lorsque plusieurs sources doivent être spatialisées, ce qui permet de s'affranchir des protocoles de dialogue entre les différents processeurs binauraux nécessaires pour traiter la spatialisation de plusieurs sources sonores dans les systèmes de l'art antérieur.
  • Cette optimisation de la puissance de calcul dans le système selon l'invention permet également d'introduire d'autres fonctions qui seront décrites par la suite.
  • La figure 2 représente un schéma fonctionnel d'un exemple de réalisation du système selon l'invention.
  • Le système de spatialisation comprend un processeur de présentation de données CPU1 recevant l'information issue de chaque source et une unité de calcul CPU2 des canaux monophoniques droite et gauche spatialisés. Le processeur CPU1 comprend notamment le module 101 de calcul de la position relative d'une source sonore dans le repère de tête de l'auditeur, ce module recevant en temps réel des informations sur l'attitude de tête (position auditeur) et sur la position de la source à restituer, comme cela a été décrit précédemment. Selon l'invention, le module 102 de sélection en résolution des fonctions de transfert HRTF contenus dans la base de données 13 permet de sélectionner, pour chaque source à spatialiser, en fonction de la position relative de la source, les fonctions de transfert qui seront utilisées pour la génération des sons spatialisés. Dans l'exemple de la figure 2, un module de sélection des sons 103 relié à la base de données sons 14 permet de sélectionner le signal monophonique de la base de données qui sera envoyé dans l'unité de calcul CPU2 pour être convolué aux fonctions de transfert de tête gauche et droite adaptées. Avantageusement, le module de sélection sons 103 opère une hiérarchisation entre les sources sonores à spatialiser. En fonction des évènements système et des choix de logique de gestion de la plate-forme, un choix de sons concomitants à spatialiser sera réalisé. L'ensemble des informations permettant de définir cette logique de priorité de présentation spatiale transite sur le bus haut débit de l'EMTI. Le module de sélection des sons 103 est par exemple relié à un module de configuration et de paramétrage 104 dans lequel sont enregistrés des critères de personnalisation propres à l'auditeur.
  • Les données concernant le choix des fonctions de transfert HRTF ainsi que les sons à spatialiser sont envoyées vers l'unité de calcul CPU2 grâce à un lien de communication 15. Elles sont stockées de manière temporaire dans une mémoire de filtrage et de sons numériques 201. La partie de la mémoire contenant les sons numériques appelés « earcons » (nom attribué aux sons utilisés comme alarmes ou alerte et possédant une valeur signifiante forte) est par exemple chargée à l'initialisation. Elle contient les échantillons de signaux audio préalablement numérisés dans la base de données sons 14. Sur requête du CPU1 hôte, la spatialisation d'un ou de plusieurs de ces signaux sera activée ou suspendue. Tant que l'activation persiste, le signal concerné est lu en boucle. Les calculs de convolution sont effectués par un calculateur 202, par exemple un composant de type EPLD qui génère les sons spatialisés comme cela a été décrit précédemment.
  • Dans l'exemple de la figure 2, une interface processeur 203 constitue une mémoire utilisée pour les opérations de filtrage. Elle est composée de registres tampons pour les sons, les filtres HRTF, ainsi que des coefficients utilisés pour d'autres fonctions telles que la commutation douce et la simulation de l'absorption atmosphérique qui seront décrites par la suite.
  • Avec le système de spatialisation selon l'invention, deux types de sons peuvent être spatialisés : les earcons (ou alarmes sonores) ou des sons provenant de radios directement (UHF/VHF) appelés « sons live » sur la figure 2.
  • La figure 3 représente le schéma d'une unité de calcul d'un système de spatialisation selon l'exemple de la figure 2.
  • Avantageusement, le système de spatialisation selon l'invention comprend un module 16 de conditionnement audio entrée/sortie qui récupère en sortie les canaux monophoniques gauche et droite spatialisés pour les mettre en forme avant de les envoyer à l'auditeur. De façon optionnelle, si des communications « live » doivent être spatialisées, ces communications sont mises en forme par le module de conditionnement en vue de leur spatialisation par le calculateur 202 de l'unité de calcul. Par défaut, un son provenant d'une source dite live sera toujours prioritaire sur les sons à spatialiser.
  • On retrouve l'interface processeur 203 qui constitue une mémoire court terme pour tous les paramètres utilisés.
  • Le calculateur 202 constitue le coeur de l'unité de calcul. Dans l'exemple de la figure 3, il comprend un module 204 d'activation et de sélection de sources, réalisant la fonction de mixage entre les entrées live et les sons de type earcons.
  • Grâce au système selon l'invention, le calculateur 202 peut réaliser les fonctions de calcul pour les n sources à spatialiser. Dans l'exemple de la figure 3, quatre sources sonores peuvent être spatialiser.
  • Il comprend un module 205 de double spatialisation, qui reçoit les fonctions de transfert adaptées et réalise la convolution avec le signal monophonique à spatialiser. Cette convolution est réalisée dans l'espace temporelle en utilisant les capacités de décalage des filtres FIR (filtres à réponse impulsionnelle finie) associées aux délais inter-auraux.
  • Avantageusement, il comprend un module 206 de commutation douce, relié à un registre 207 de paramétrage calcul optimisant le choix des paramètres de transition en fonction de la vitesse de déplacement de la source et de la tête de l'auditeur. Le module de commutation douce permet une transition, sans bruit de commutation audible, lors du passage d'une paire de filtres à la suivante. Cette fonction est réalisée par double rampe linéaire de pondération. Elle implique une double convolution : chaque échantillon de chaque canal de sortie résulte de la somme pondérée de deux échantillons, chacun étant obtenu par convolution du signal d'entrée avec un filtre de spatialisation, élément de la base HRTF. A un instant donné, il y a donc en mémoire d'entrée deux paires de filtres de spatialisation par voie à traiter.
  • Avantageusement, il comprend un module 208 de simulation d'absorption atmosphérique. Cette fonction est par exemple réalisée par un filtrage linéaire à 30 coefficients et un gain, réalisé sur chaque canal (gauche, droite) de chaque voie, après traitement de spatialisation. Cette fonction permet à l'auditeur de percevoir l'effet de profondeur nécessaire à sa décision opérationnelle.
  • Enfin des modules de pondération dynamique 209 et de sommation 210 sont prévus pour effectuer la somme pondérée des canaux de chaque voie pour fournir un signal unique stéréophonique compatible de la dynamique de sortie. La seule contrainte associée à cette restitution stéréophonique est liée à la bande passante nécessaire à la spatialisation sonore (typiquement 20 kHz).
  • La figure 4 schématise l'architecture matérielle d'un équipement modulaire avionique 40 de traitement de l'information de type EMTI. Il comprend un bus haut débit 41 sur lequel on vient connecter l'ensemble des fonctions de l'équipement, dont notamment le système de spatialisation sonore selon l'invention 42 tel que décrit précédemment, les autres fonctions 43 d'interface homme machine comme par exemple la commande vocale, la gestion de symbologie tête haute, le visuel de casque, etc., et une carte de gestion de système 44 qui a pour fonction l'interface avec les autres équipements de l'avion. Le système de spatialisation sonore 42 selon l'invention est connecté au bus haut débit par l'intermédiaire du processeur de présentation de données CPU1. Il comprend par ailleurs l'unité de calcul CPU2, telle que décrite précédemment et formé par exemple d'un composant EPLD, compatible des exigences techniques de l'EMTI (nombre et type d'opérations, espace mémoire, codage des échantillons audio, débit numérique).

Claims (17)

  1. Système de spatialisation (42) d'au moins une source sonore créant pour chaque source deux canaux monophoniques spatialisés (G, D) destinés à être reçus par un auditeur, comprenant
    - une base de données filtres (13) comprenant un ensemble de fonctions de transfert de tête (HRTF) propres à l'auditeur,
    - un processeur (CPU1) de présentation de données recevant l'information issue de chaque source et comprenant notamment un module de calcul (101) des positions relatives des sources par rapport à l'auditeur,
    - une unité de calcul (CPU2) desdits canaux monophoniques par convolution de chaque source sonore avec des fonctions de transfert de tête de ladite base de données estimées à ladite position de la source,
    le système étant caractérisé en ce que ledit processeur de présentation de données comprend un module (102) de sélection des fonctions de transfert de tête avec une résolution variable adaptée à la position relative de la source avec l'auditeur.
  2. Système de spatialisation selon la revendication 1, caractérisé en ce que les fonctions de transfert (HRTF) comprises dans la base de données (13) sont recueillies avec un pas de 7° en azimut, de 0 à 360°, et avec un pas de 10°en élévation, de -70° à +90°.
  3. Système de spatialisation selon l'une des revendications 1 ou 2, caractérisé en ce que le nombre de coefficients de chaque fonction de transfert de tête est d'environ 40.
  4. Système de spatialisation selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une base de données sons (14) contenant sous forme numérique un signal sonore monophonique caractéristique de chaque source à spatialiser, ce signal sonore étant destiné à être convolué avec les fonctions de transfert de tête sélectionnées.
  5. Système de spatialisation sonore selon la revendication 4, caractérisé en ce que le processeur (CPU1) de présentation de données comprend un module (103) de sélection des sons relié à la base de données sons (14) et opérant une hiérarchisation entre les sources sonores concomitantes à spatialiser.
  6. Système de spatialisation sonore selon la revendication 5, caractérisé en ce que le processeur (CPU1) de présentation de données comprend un module (104) de configuration et de paramétrage auquel est relié le module de sélection des sons (103) et dans lequel sont enregistrés des critères de personnalisation propres à l'auditeur.
  7. Système de spatialisation selon l'une des revendications précédentes, caractérisé en ce qu'il comprend un module (16) de conditionnement audio entrée/sortie qui récupère en sortie les canaux monophoniques (G, D) spatialisés pour les mettre en forme avant de les envoyer à l'auditeur.
  8. Système de spatialisation selon la revendication 7, caractérisé en ce que des communications « live » devant être spatialisées, ces communications sont mises en forme par le module de conditionnement (16) en vue de leur spatialisation par l'unité de calcul (CPU2).
  9. Système de spatialisation sonore selon l'une des revendications précédentes, caractérisé en ce que l'unité de calcul (CPU2) comprend une interface processeur (203) en liaison avec l'unité de présentation des données (CPU1) et un calculateur (202) pour la génération des canaux monophoniques spatialisés (G, D).
  10. Système de spatialisation sonore selon la revendication 9, caractérisé en ce que le système comprenant une base de données sons (14), l'interface processeur (203) comprend des registres tampons pour les fonctions de transfert de la base de données filtres (13) et les sons de la base de données sons (14).
  11. Système de spatialisation selon l'une des revendications 9 ou 10, caractérisé en ce que le calculateur (202) est réalisé par un composant programmable de type EPLD.
  12. Système de spatialisation selon l'une des revendications 10 ou 11, caractérisé en ce que le calculateur (202) comprend un module (204) d'activation et de sélection de sources, réalisant la fonction de mixage entre des communications «live » et les sons de la base de données sons (14).
  13. Système de spatialisation selon l'une des revendications 9 à 12, caractérisé en ce que le calculateur (202) comprend un module (205) de double spatialisation, qui reçoit les fonctions de transfert adaptées et réalise la convolution avec le signal monophonique à spatialiser.
  14. Système de spatialisation selon l'une des revendications 9 à 13, caractérisé en ce que le calculateur (202) comprend un module (206) de commutation douce réalisée par double rampe linéaire de pondération.
  15. Système de spatialisation selon l'une des revendications 9 à 14, caractérisé en ce que le calculateur (202) comprend un module (208) de simulation d'absorption atmosphérique.
  16. Système de spatialisation selon l'une des revendications 9 à 15, caractérisé en ce que le calculateur (202) comprend un module de pondération dynamique (209) et un module de sommation (210) pour effectuer la somme pondérée des canaux de chaque voie et fournir un signal unique stéréophonique compatible de la dynamique de sortie.
  17. Equipement modulaire avionique de traitement de l'information (40) comprenant un bus haut débit (41) sur lequel est connecté le système de spatialisation sonore (42) selon l'une des revendications précédentes par l'intermédiaire du processeur de présentation de données (CPU1).
EP03748189A 2002-07-02 2003-06-27 Systeme de spatialisation de sources sonores Expired - Lifetime EP1658755B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0208265A FR2842064B1 (fr) 2002-07-02 2002-07-02 Systeme de spatialisation de sources sonores a performances ameliorees
PCT/FR2003/001998 WO2004006624A1 (fr) 2002-07-02 2003-06-27 Systeme de spatialisation de sources sonores

Publications (2)

Publication Number Publication Date
EP1658755A1 EP1658755A1 (fr) 2006-05-24
EP1658755B1 true EP1658755B1 (fr) 2008-03-19

Family

ID=29725087

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03748189A Expired - Lifetime EP1658755B1 (fr) 2002-07-02 2003-06-27 Systeme de spatialisation de sources sonores

Country Status (10)

Country Link
US (1) US20050271212A1 (fr)
EP (1) EP1658755B1 (fr)
AT (1) ATE390029T1 (fr)
AU (1) AU2003267499C1 (fr)
CA (1) CA2490501A1 (fr)
DE (1) DE60319886T2 (fr)
ES (1) ES2302936T3 (fr)
FR (1) FR2842064B1 (fr)
IL (1) IL165911A (fr)
WO (1) WO2004006624A1 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2865096B1 (fr) * 2004-01-13 2007-12-28 Cabasse Systeme acoustique pour vehicule et dispositif correspondant
JP2006180467A (ja) * 2004-11-24 2006-07-06 Matsushita Electric Ind Co Ltd 音像定位装置
EP1855474A1 (fr) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Méthode pour générer une image interpolée entre deux images d'une séquence d'images
DE102006027673A1 (de) 2006-06-14 2007-12-20 Friedrich-Alexander-Universität Erlangen-Nürnberg Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
US9031242B2 (en) 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
WO2009115299A1 (fr) * 2008-03-20 2009-09-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Dispositif et procédé d'indication acoustique
FR2938396A1 (fr) * 2008-11-07 2010-05-14 Thales Sa Procede et systeme de spatialisation du son par mouvement dynamique de la source
US9264812B2 (en) 2012-06-15 2016-02-16 Kabushiki Kaisha Toshiba Apparatus and method for localizing a sound image, and a non-transitory computer readable medium
GB2544458B (en) 2015-10-08 2019-10-02 Facebook Inc Binaural synthesis
GB2574946B (en) * 2015-10-08 2020-04-22 Facebook Inc Binaural synthesis
US10331750B2 (en) 2016-08-01 2019-06-25 Facebook, Inc. Systems and methods to manage media content items
CN109997376A (zh) * 2016-11-04 2019-07-09 迪拉克研究公司 使用头部跟踪数据构建音频滤波器数据库
US10394929B2 (en) * 2016-12-20 2019-08-27 Mediatek, Inc. Adaptive execution engine for convolution computing systems
DE112019005822T5 (de) * 2018-11-21 2021-09-09 Google Llc Vorrichtung und verfahren zur bereitstellung einer situationserkennung unter verwendung von positionssensoren und virtueller akustischer modellierung
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield
FR3110762B1 (fr) 2020-05-20 2022-06-24 Thales Sa Dispositif de personnalisation d'un signal audio généré automatiquement par au moins un équipement matériel avionique d'un aéronef
EP4311272A1 (fr) * 2021-03-16 2024-01-24 Panasonic Intellectual Property Corporation of America Procédé de traitement d?informations, dispositif de traitement d?informations et programme
EP4325896A1 (fr) * 2021-04-12 2024-02-21 Panasonic Intellectual Property Corporation of America Procédé de traitement d'informations, dispositif de traitement d'informations et programme

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4583075A (en) * 1980-11-07 1986-04-15 Fairchild Camera And Instrument Corporation Method and apparatus for analyzing an analog-to-digital converter with a nonideal digital-to-analog converter
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5645074A (en) * 1994-08-17 1997-07-08 Decibel Instruments, Inc. Intracanal prosthesis for hearing evaluation
US6043676A (en) * 1994-11-04 2000-03-28 Altera Corporation Wide exclusive or and wide-input and for PLDS
JP3258195B2 (ja) * 1995-03-27 2002-02-18 シャープ株式会社 音像定位制御装置
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
FR2744320B1 (fr) * 1996-01-26 1998-03-06 Sextant Avionique Systeme de prise de son et d'ecoute pour equipement de tete en ambiance bruitee
FR2744277B1 (fr) * 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
FR2744871B1 (fr) * 1996-02-13 1998-03-06 Sextant Avionique Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre
KR0175515B1 (ko) * 1996-04-15 1999-04-01 김광호 테이블 조사 방식의 스테레오 구현 장치와 방법
JP3976360B2 (ja) * 1996-08-29 2007-09-19 富士通株式会社 立体音響処理装置
EP0928411B1 (fr) * 1996-09-27 2005-08-10 Honeywell Inc. Integration et commande des circuits de servitude d'un aeronef
US6181800B1 (en) * 1997-03-10 2001-01-30 Advanced Micro Devices, Inc. System and method for interactive approximation of a head transfer function
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
FR2765715B1 (fr) * 1997-07-04 1999-09-17 Sextant Avionique Procede de recherche d'un modele de bruit dans des signaux sonores bruites
FR2771542B1 (fr) * 1997-11-21 2000-02-11 Sextant Avionique Procede de filtrage frequentiel applique au debruitage de signaux sonores mettant en oeuvre un filtre de wiener
US6996244B1 (en) * 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
FR2786107B1 (fr) * 1998-11-25 2001-02-16 Sextant Avionique Masque inhalateur d'oxygene avec dispositif de prise de son
GB2374772B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
US7123728B2 (en) * 2001-08-15 2006-10-17 Apple Computer, Inc. Speaker equalization tool
US20030223602A1 (en) * 2002-06-04 2003-12-04 Elbit Systems Ltd. Method and system for audio imaging

Also Published As

Publication number Publication date
FR2842064A1 (fr) 2004-01-09
AU2003267499C1 (en) 2009-01-15
EP1658755A1 (fr) 2006-05-24
ES2302936T3 (es) 2008-08-01
IL165911A (en) 2010-04-15
CA2490501A1 (fr) 2004-01-15
DE60319886T2 (de) 2009-04-23
US20050271212A1 (en) 2005-12-08
AU2003267499A1 (en) 2004-01-23
DE60319886D1 (de) 2008-04-30
IL165911A0 (en) 2006-01-15
ATE390029T1 (de) 2008-04-15
WO2004006624A1 (fr) 2004-01-15
FR2842064B1 (fr) 2004-12-03
AU2003267499B2 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
EP1658755B1 (fr) Systeme de spatialisation de sources sonores
CA2197166C (fr) Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre
EP2898707B1 (fr) Calibration optimisee d'un systeme de restitution sonore multi haut-parleurs
EP1992198B1 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
EP2000002B1 (fr) Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme
US9992602B1 (en) Decoupled binaural rendering
EP0559530A1 (fr) Procédé et système de spatialisation artificielle de signaux audio-numériques
AU2022202513A1 (en) Generating binaural audio in response to multi-channel audio using at least one feedback delay network
US20220148560A1 (en) Signal processing device, signal processing method, and program
CN113889125B (zh) 音频生成方法、装置、计算机设备和存储介质
US20150245158A1 (en) Apparatus and method for reproducing recorded audio with correct spatial directionality
EP4121958A1 (fr) Rendu de réverbération
EP2194734A1 (fr) Procédé et système de spatialisation du son par mouvement dynamique de la source
EP3400599B1 (fr) Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
FR2858403A1 (fr) Systeme et procede de determination d'une representation d'un champ acoustique
US9715366B2 (en) Digital map of a physical location based on a user's field of interest and a specific sound pattern
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP1994526B1 (fr) Synthese et spatialisation sonores conjointes
EP4184505A1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
Filipanits Design and implementation of an auralization system with a spectrum-based temporal processing optimization
Iida et al. Acoustic VR System
WO2023043963A1 (fr) Systèmes et procédés de réalisation de rendu acoustique virtuel efficace et précis
WO2001006742A1 (fr) Procede et systeme de restitution sonore a effet spatial, et terminal de telephonie incorporant un tel systeme
WO2014102199A1 (fr) Dispositif et procede d'interpolation spatiale de sons

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20041216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THALES

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 60319886

Country of ref document: DE

Date of ref document: 20080430

Kind code of ref document: P

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2302936

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080826

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080619

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

BERE Be: lapsed

Owner name: THALES

Effective date: 20080630

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080630

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20081222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080619

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080630

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080630

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20090603

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20090619

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20090709

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20090626

Year of fee payment: 7

Ref country code: GB

Payment date: 20090624

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080627

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080920

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080319

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080620

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20110101

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20100627

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100627

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110101

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20110715

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110705

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100627

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100628

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20120619

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130701