EP2143102A1 - Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes - Google Patents

Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes

Info

Publication number
EP2143102A1
EP2143102A1 EP08788187A EP08788187A EP2143102A1 EP 2143102 A1 EP2143102 A1 EP 2143102A1 EP 08788187 A EP08788187 A EP 08788187A EP 08788187 A EP08788187 A EP 08788187A EP 2143102 A1 EP2143102 A1 EP 2143102A1
Authority
EP
European Patent Office
Prior art keywords
spectral
components
vector
coded
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08788187A
Other languages
German (de)
English (en)
Other versions
EP2143102B1 (fr
Inventor
Adil Mouhssine
Abdellatif Benjelloun Touimi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2143102A1 publication Critical patent/EP2143102A1/fr
Application granted granted Critical
Publication of EP2143102B1 publication Critical patent/EP2143102B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Definitions

  • the present invention relates to audio signal coding devices, intended in particular to take place in applications for transmission or storage of digitized and compressed audio signals.
  • the invention relates more specifically to audio hierarchical coding systems, having the capacity to provide varied bit rates, by distributing the information relating to an audio signal to be coded in hierarchical subsets, so that they can be used in order of importance in terms of the quality of playback of the audio signal.
  • the criterion taken into account for determining the order is a criterion for optimizing (or rather reducing) the quality of the coded audio signal.
  • Hierarchical coding is particularly suited to transmission over heterogeneous networks or having variable available rates over time, or to transmission to terminals having different or variable characteristics.
  • the invention more particularly relates to the hierarchical coding of a 3D sound stage.
  • a 3D sound scene comprises a plurality of audio channels corresponding to monophonic audio signals and is still referred to as its spatialized sound.
  • a coded sound stage is intended to be reproduced on a sound rendering system, which may include a simple headset, two speakers of a computer or a home theater system 5.1 (home theater) with five loudspeakers (a loudspeaker on the screen and on the front of the intended listener: a speaker on the left and a speaker on the right, on the back of the theoretical listener a speaker on the left and a speaker on the right), or whatever.
  • a sound rendering system may include a simple headset, two speakers of a computer or a home theater system 5.1 (home theater) with five loudspeakers (a loudspeaker on the screen and on the front of the intended listener: a speaker on the left and a speaker on the right, on the back of the theoretical listener a speaker on the left and a speaker on the right), or whatever.
  • Spatial resolution or spatial precision measures the fineness of the location of sound sources in space. An increased spatial resolution allows a finer localization of the sound objects in the room and allows for a wider playback area around the listener's head.
  • a technique used includes the determination of elements of description of the sound stage, then compression operations of each of the monophonic signals. The data resulting from these compressions and the description elements are then supplied to the decoder.
  • Scalability also known as scalability
  • Scalability is therefore achievable, by adapting the bit rate during compression operations, but it is performed according to criteria for optimizing the quality of each signal considered individually. There is no consideration, during coding, the spatial accuracy of the 3D scene resulting from the return of different signals.
  • Another coding technique which is used in the MPEG Audio Surround encoder (see “Text of ISO / IEC FDIS 23003-1, MPEG Surround", ISO / IEC JTC1 / SC29 / WG11 N8324, July 2006, Klagenfurt, Austria), includes the extraction and coding of spatial parameters from all monophonic audio signals on the different channels. These signals are then mixed to obtain a monophonic or stereophonic signal, which is then compressed by a conventional mono or stereo encoder (for example of the MPEG-4 AAC, HE-AAC type, etc.). At the level of the decoder, the synthesis of the 3D sound scene is made from the spatial parameters and the decoded mono or stereo signal.
  • a conventional mono or stereo encoder for example of the MPEG-4 AAC, HE-AAC type, etc.
  • Adaptability in flow with this other technique is thus feasible using a mono or hierarchical stereo coder, but it is performed according to a criterion of optimization of the quality of the monophonic or stereophonic signal and does not take into account either the quality of spatial resolution.
  • the PSMAC Progressive Syntax-Rich Multichannel Audio Coded
  • KLT in English "Karhunen Loeve Transform”
  • the adaptability in flow is based on a cancellation of the least energy components and not taking into account the spatial accuracy.
  • none of the known 3D sound stage coding techniques allows rate adaptability that directly guarantees optimal quality regardless of the sound rendering system used for the rendering of the 3D sound stage.
  • the current coding algorithms are defined to optimize the quality with respect to a particular configuration of the sound rendering system. Indeed, for example in the case of the encoder "MPEG Audio Surround” described above implemented with a hierarchical coding, direct listening on headphones or two speakers, or monophonic is possible. If it is desired to use the compressed bit stream with a 5.1 or 7.1 type sound rendering system, it is necessary to implement additional processing at the decoder, for example using OTT boxes (in English "One-To-One"). Two "), to generate the five or seven signals from the two decoded signals.
  • the present invention aims at providing, in a first aspect, a method for scheduling spectral parameters relating to respective spectral bands of ambiophonic components to be coded from an audio scene comprising N signals, with N> 1, characterized in that it comprises the following steps: a.
  • a method according to the invention thus makes it possible to order at least some spectral parameters of ambiophonic components of the set to be ordered, according to their relative importance in terms of contribution to spatial accuracy.
  • the bit stream can thus be ordered in such a way that each rate reduction degrades as little as possible the perceived spatial accuracy of the 3D sound scene, since the least important elements in terms of their input are detected, in order to be at the end of the binary sequence (to minimize the defects generated by a subsequent truncation).
  • the angles ⁇ v and ⁇ E associated with velocity vectors V and energy É of the Gerzon criteria are exploited, as indicated below, to identify elements to code the least relevant on the plane. the contribution, in terms of spatial precision, to the 3D sound stage. Thus, contrary to the usual usage, velocity vectors V and É energy are not used to optimize a sound rendering system considered.
  • the calculation of the influence of a spectral parameter is carried out according to the following steps: a- coding of a first set of spectral parameters of ambiophonic components to be coded according to a first rate; b- determining a first angle vector per spectral band; c- determining a second flow rate lower than said first; d- deleting said current spectral parameter of the components to be coded and encoding the remaining spectral parameters of the components to be coded according to the second bit rate; e- determining a second angle vector per spectral band; f- calculating an angle vector variation as a function of the differences determined between the first and second angle vectors for the first and second spectral band rate; g-iterating steps d to f for each of the spectral parameters of the set of spectral parameters of components to be coded to be ordered and determining a minimum angle vector variation; the priority order assigned to the spectral parameter corresponding to the minimum variation being a minimum order of priority.
  • This arrangement makes it possible, in a limited number of calculations, to determine the spectral parameter of the component to be determined whose contribution to the spatial accuracy is minimum.
  • steps a to g are repeated with a set of spectral parameters of components to be coded to be restricted by deleting the spectral parameters for which an order of priority has been assigned.
  • steps a to g are repeated with a set of spectral parameters of components to be coded to be ordered in which the spectral parameters for which an order of priority has been assigned are assigned a lower quantization rate when using a nested quantizer.
  • V ⁇ 0 Ti 2 cos ⁇ t of energy is a function of the formula __-. ; -, a second coordinate
  • ⁇ velocity vector coordinate is a function of the formula and a second coordinate of the velocity vector is a function of the formula
  • a first coordinate of an angle vector indicates an angle depending on the sign of the second coordinate of the velocity vector and the arccosinus of the first coordinate of the velocity vector and that a second coordinate of the velocity vector an angle vector indicates an angle depending on the sign of the second coordinate of the energy vector and the arccosinus of the first coordinate of the energy vector.
  • the invention proposes a scheduling module comprising means for implementing a method according to the first aspect of the invention.
  • the invention provides an audio coder adapted to encode a 3D audio scene comprising N respective signals into an output bit stream, with N> 1, comprising: a transformation module adapted to determine, as a function of the N signals, spectral parameters relating to respective spectral bands of ambiophonic components;
  • a scheduling module adapted to order at least some of the spectral parameters of the ambiophonic components
  • a module for constituting a binary sequence adapted to constitute a binary sequence comprising data indicating spectral parameters relating to respective spectral bands of ambiophonic components to be coded ordered according to the scheduling performed by the scheduling module.
  • the invention proposes a computer program to be installed in a scheduling module, said program comprising instructions for implementing the steps of a method according to the first aspect of the invention of an execution. of the program by means of processing said module.
  • the invention proposes a bit sequence comprising data indicating spectral parameters relating to respective spectral bands of ambiophonic components to be encoded, characterized in that these data are ordered according to a scheduling method according to the first aspect of FIG. the invention.
  • the invention proposes a method of decoding a coded bitstream according to a method according to the first aspect of the invention, with a view to determining a number Q 'of audio signals for the reproduction of an audio scene.
  • 3D using Q 'loudspeakers according to which: one receives the binary sequence; coding data indicating computed surround components as a function of the N signals of the sound scene are extracted and an inverse spatial transformation adapted for the extracted coding data is carried out on said extracted coding data. determine a number Q 'of audio signals for the rendering of a 3D audio scene using Q' speakers.
  • the invention proposes an audio decoder adapted for decoding a bit stream encoded according to a method according to the first aspect of the invention, for determining a number Q 'of audio signals for the restitution of an audio scene. 3D using loudspeakers, comprising means for implementing the steps of a method according to the sixth aspect of the invention.
  • the invention proposes a computer program to be installed in a decoder suitable for decoding an encoded bit stream according to a method according to the first aspect of the invention, for the purpose of determining a number Q 'of audio signals for the rendering of a 3D audio scene using loudspeakers, said program comprising instructions for implementing the steps of a method according to the sixth aspect of the invention when executing the program by processing means of said decoder.
  • FIG. 1 shows an encoder in an embodiment of the invention
  • FIG. 2 represents a decoder in one embodiment of the invention
  • Figure 3 illustrates the propagation of a plane wave in space
  • Fig. 4 is a flowchart showing steps of a Proc process in one embodiment of the invention
  • FIG. 5 represents the scheduling of the elements to be coded and a binary sequence Seq constructed in one embodiment of the invention
  • FIG. 6 shows an exemplary configuration of a sound rendering system comprising 8 loudspeakers h1, h2,..., h8.
  • Figure 1 shows an audio coder 1 in one embodiment of the invention.
  • the encoder 1 comprises a time / frequency transformation module 3, a masking curve calculation module 7, a spatial transformation module 4, a module 5 for defining the least relevant coding elements comprising a quantization module 10, module 6 for scheduling the elements, a module 8 for constituting a binary sequence, for the transmission of a bit stream ⁇ .
  • a 3D sound scene comprises N channels on each of which a respective signal S1,..., SN is delivered.
  • Figure 2 shows an audio decoder 100 in one embodiment of the invention.
  • the decoder 100 comprises a bit sequence reading module 104, an inverse quantization module 105, a reverse surround conversion module 101, a frequency / time transformation module 102.
  • the decoder 100 is adapted to receive as input the bitstream ⁇ transmitted by the encoder 1 and to output Q 'signals S'1, S'2,..., S'Q' intended to feed the Q 'loudspeakers. respective speakers H1, H2 ..., HQ 'of a sound rendering system 103.
  • Gerzon's criteria are generally used to characterize the location of virtual sound sources synthesized by the reproduction of signals from the loudspeakers of a given sound rendering system.
  • the velocity vector V is then defined as follows: Y jl ⁇ L l Ticos ⁇ ⁇
  • the energy vector É is defined as follows:
  • the conditions necessary for the location of the virtual sound sources to be optimal are defined by looking for the angles ⁇ t , characterizing the position of the speakers of the sound rendering system considered, verifying the criteria below, said Gerzon criteria, which are :
  • ⁇ v ⁇ ; where ⁇ is the propagation angle of the actual source S that we are trying to achieve.
  • the operations described below in one embodiment of the invention use the Gerzon vectors in an application other than that of searching for the best angles ⁇ ⁇ , characterizing the position of the loudspeakers of the sound rendering system under consideration.
  • the time / frequency conversion module 3 of the encoder 1 receives as input the N signals S1,..., SN of the 3D sound scene to be encoded.
  • the time / frequency transformation module 3 On each time frame of each of these signals indicating the different values taken over time by the acoustic pressure Pi, the time / frequency transformation module 3 performs a time / frequency transformation, in this case a modified discrete cosine transform. (MDCT).
  • MDCT modified discrete cosine transform.
  • the spatial transformation module 4 is adapted to perform a spatial transformation of the input signals provided, that is to say to determine the spatial components of these signals resulting from the projection on a spatial repository depending on the order of the transformation. .
  • the order of a spatial transformation is related to the angular frequency according to which it "scans" the sound field.
  • the spatial transformation module 4 performs an ambiophonic transformation, which gives a compact spatial representation of a 3D sound scene, by making projections of the sound field on the associated spherical or cylindrical harmonic functions.
  • (J m ) represent the functions of Bessel, r the distance between the center of the marker and the position of a listener placed at a point M, Pi the acoustic pressure of the signal Si, ⁇ i the angle of propagation of the wave acoustic signal corresponding to the signal Si and ⁇ the angle between the position of the listener and the axis of the marker.
  • the ambiophonic transform of a signal Si expressed in the time domain then comprises the following 2p + 1 components:
  • the invention can be implemented with a 3D surround transformation (in this case, it is considered that the speakers are arranged on a sphere).
  • This module 5 for defining the least relevant elements is adapted to implement operations, following the execution on the processing means of the module 5, of an algorithm in order to define elements to be coded as the least relevant and to order the elements to be coded between them.
  • This scheduling of the elements to be coded is used later when constituting a binary sequence to be transmitted.
  • the algorithm comprises instructions adapted to implement, when executed on processing means of the module 5, the Proc process steps described below with reference to FIG. 4.
  • Gerzon's criteria are based on the study of the velocity and energy vectors of the acoustic pressures generated by a sound rendering system used.
  • the algorithm comprises instructions adapted to implement, when executed on the processing means of the module 5 for determining the least relevant elements, the Proc process steps described below with reference to FIG. 4.
  • the principle of the Proc process is such that the respective influence of at least some spectral parameters on a vector of angle defined as a function of energy and velocity vectors associated with Gerzon criteria and calculated as a function of an inverse surround transformation on said quantized surround components. And an order of priority is assigned to at least one spectral parameter according to the calculated influence for said spectral parameter compared to the other calculated influences.
  • dkj the rate attributed to the element to be encoded A (kj), (kj) e Eo, during this initial allocation (the sum of these flows dkj
  • each element to be encoded A (kj), (kj) e E 0 is quantized by the quantization module 10 as a function of the rate d kj allocated to it in step 2a.
  • Each element A (k, j) is the result of the quantization, with the rate d kj, of the parameter A (kj), relative to the spectral band F j , of the ambiophonic component A (k).
  • the element A (k, j) therefore defines the quantized value of the spectral representation for the frequency band F j , of the ambiophonic component Ak considered.
  • the matrix Amblnv (p) is deduced from the transposition of the matrix Amb (p, N), which is the resulting surround encoding matrix of the encoding of the sound scene defined by the N sources corresponding to the N high- speakers H'1, ..., H'N and respectively arranged in the positions ⁇ x , ..., ⁇ N. So we can
  • each quantized element A (k, j) is the sum of the spectral parameter A (kj) of ambiophonic component to be quantized and the quantization noise relative to said parameter).
  • an ambiophonic decoding matrix has been considered for a regular sound reproduction device and which comprises a number of loudspeakers equal to the number of input signals, which simplifies the calculation of the ambiophonic decoding matrix. Nevertheless, this step can be implemented by considering an ambiophonic decoding matrix corresponding to non-regular sound rendering devices and also for a number of speakers different from the number of input signals.
  • each element to be coded A (k, j), (k, j) e E 0 is quantized by the quantization module 10 as a function of the bit rate that has been allocated to it in step 2d.
  • A is now the updated matrix of quantized elements A (k, j), (k, j) e E 0 each resulting from this last quantization according to the overall flow Di, of the parameters A (kj).
  • step 2c After calculating a new p-order ambiophonic decoding performed as a function of the elements quantized with the overall bit rate D 1 , it is calculated, for the iteration n ° 1 of the process.
  • Step 2q One calculates the standard ⁇
  • This standard represents the variation of the vector of Gerzon angles generalized following the reduction of the rate of D 0 to D 1 in each frequency band Fj.
  • J 1 is determined the index of the frequency band F h as the standard
  • F h is less than or equal to each norm
  • step 2c After calculating an ambiophonic decoding of order p performed as a function of the elements quantized with the overall flow Di (A (IJ 1 ) being zero), the vector of generalized Gerzon angles
  • This standard represents the variation of the generalized Gerzon angle vector in the frequency band F h when, for a bit rate D1, the frequency-ambiophonic component A (i, ji) is suppressed.
  • the component A (J 1 , ji) is thus identified as the element to be coded of smaller importance in terms of spatial accuracy, compared to the other elements to be coded A (k, j), (k, j) e E 0 .
  • This redefined generalized Gerzon angle vector, established for a quantization rate equal to Di, takes into account the deletion of the element to be encoded A (J 1 , J 1 ) and will be used for the next iteration of the Proc process. .
  • the identifier of the pair (J 1 J 1) is supplied to the sequencing module 6 as a result of the 1 st iteration of the method Proc.
  • the element to be coded A (J 1 J 1 ) of the set of elements to be coded is then eliminated in the rest of the process Proc.
  • We define the set E 1 E 0 Xi 1 J 1 ).
  • the process Proc is repeated as many times as desired to order between them some or all of the elements to be coded A (kj), (kj) e Ei remaining to be ordered.
  • E n -I E 0 ⁇ ⁇ (ii ji), ..., (in-1, jn-i) ⁇ .
  • each element to be coded A (kj), (kj) e E n-1 is quantized by the quantization module 10 as a function of the bit rate allocated in step 2d above.
  • This standard represents the variation of the vector of generalized Gerzon angles in each frequency band Fj, following the reduction of flow rate from D n to D n -i (the parameters A (I 1 J 1 ), ..., A ( B-1 , .Z n-1 ) and A (I 1 J 1 ), - -, A (I n-1 , .Z n-1 ) being deleted).
  • n is the index of the frequency band F 1 as the standard
  • frequency band F 1 is less than or equal to each standard II ⁇
  • ; ( «) II, calculated for each frequency band Fj, j 0 to M-1. So we have
  • This standard represents the variation, in the frequency band F 1 , of the generalized Gerzon angle vector and for a bit rate D n , due to the removal of the ambiophonic component A (i, j n ) during the nth iteration of the process. proc.
  • the component A (J n Jn) is thus identified as the element to be coded of smaller importance in terms of spatial accuracy, compared to the other elements to be coded A (k, j), (k, j) e E n - i.
  • ⁇ ⁇ (n) ⁇ ⁇ (n) if I [0, M-1] ⁇ ⁇ j n ⁇ ;
  • This redefined generalized Gerzon angle, established for a quantization rate equal to D n , takes into account the deletion of the element to be encoded A (i n , J n ) and will be used for the next iteration.
  • the identifier of the pair (i n , j n ) is delivered to the scheduling module 6 as a result of the nth iteration of the process Proc.
  • Step 2m The band (i n j n ) of the set of elements to be coded is then eliminated in the rest of the process Proc, that is to say that the element to be coded is deleted.
  • E n E n-1 ⁇ (i n j n ).
  • the elements to be coded A (ij), with (ij) e E n remain to be ordered.
  • the elements to be coded A (ij), with (ij) e ⁇ (iiji), ..., (injn) ⁇ have already been ordered during the iterations 1 to n.
  • Priority indices are thus assigned by the scheduling module 6 to the different elements to be encoded, for the purpose of inserting the coding data into a binary sequence.
  • the scheduling module 6 defines an order of said elements to be encoded, reflecting the importance of the elements to be coded in terms of spatial accuracy.
  • the element to be encoded A (h, ji) corresponding to the pair (ii, ji) determined during the first iteration of the Proc process is considered to be the least relevant in terms of spatial accuracy. It is therefore assigned a Priol minimum priority index by module 5.
  • the element to be encoded A (i 2 , J 2 ) corresponding to the pair (i 2 , J 2 ) determined during the second iteration of the process Proc, is considered to be the element to be coded that is least relevant in terms of spatial accuracy, after the one assigned to Priol priority. It is therefore assigned a minimum priority index Prio2, with Prio2> Priol.
  • the scheduling module 6 thus successively orders r elements to be coded each assigned to increasing priority indices Priol, Prio2 to Prio r.
  • the elements to be coded that have not been assigned to an order of priority during an iteration of the Proc process are more important in terms of spatial accuracy than the elements to be coded to which an order of priority has been assigned.
  • the priority order assigned to an element to be coded A (kj) is also assigned to the coded element according to the result A (k, j) of the quantization of this element to be coded. Note also below A (k, j) the coded element corresponding to the element to be coded A (kj).
  • the binary sequence Seq is ordered in accordance with the scheduling performed by the module 6.
  • a suppression of a spectral component of an element to be coded A (ij) takes place at each iteration of the process Proc.
  • a nested quantizer is used for the quantization operations.
  • the spectral component of an element to be encoded A (ij) identified as the least important in terms of spatial precision during an iteration of the Proc process is not suppressed, but a reduced flow is affected. the coding of this component with respect to the coding of the other spectral components of elements to be coded to be ordered.
  • the encoder 1 is thus an encoder allowing a rate adaptability taking into account the interactions between the different monophonic signals. It allows to define compressed data optimizing the perceived spatial accuracy.
  • the decoder 100 comprises a bit sequence reading module 104, an inverse quantization module 105, a reverse surround conversion module 101 and a frequency / time transformation module 102.
  • the decoder 100 is adapted to receive as input the bitstream ⁇ transmitted by the encoder 1 and to output Q 'signals S'1, S'2,..., S'Q' intended to feed the Q 'loudspeakers. respective speakers H1, ..., HQ 'of a sound rendering system 103.
  • the number of speakers Q' may in one embodiment be different from the number Q of transmitted surround components.
  • the inverse quantization module 105 performs an inverse quantization operation.
  • At least some of the operations performed by the decoder are in one embodiment implemented following the execution on decoder processing means of computer program instructions.
  • An advantage of the coding of the components resulting from the ambiophonic transformation of the signals S1,..., SN as described is that in the case where the number of signals N of the sound scene is large, it is possible to represent them by a number Q of ambiophonic components much lower than N, degrading very little the spatial quality of the signals. The volume of data to be transmitted is reduced and this without significant degradation of the audio quality of the sound scene.
  • Another advantage of coding according to the invention is that such coding allows adaptability to different types of sound rendering systems, regardless of the number, arrangement and type of loudspeakers whose sound rendering system is provided. .
  • a decoder receiving a bit sequence comprising surround components operates on them a p-order inverse transformation of any order and corresponding to the number Q 'of loudspeakers of the sound rendering system for which the signals are intended once. decoded.
  • Coding as performed by the coder 1 makes it possible to order the elements to be coded according to their respective contribution to the spatial precision and the respect of the reproduction of the directions contained in the sound scene, using the Proc process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Procédé d'ordonnancement de paramètres spectraux de composantes ambiophoniques à coder (A1,..., AQ) provenant d'une scène audio comprenant N signaux (Sii=1 à N), avec N>1, comportant les étapes suivantes: calcul de l'influence respective d'au moins certains paramètres spectraux, parmi un ensemble de paramètres spectraux à ordonner, sur un vecteur d'angle défini en fonction de vecteurs d'énergie et de vélocité associés à des critères de Gerzon et calculés en fonction d'une transformation ambiophonique inverse sur lesdits composantes ambiophoniques quantifiés; attribution d'un ordre de priorité à au moins un paramètre spectral en fonction de l'influence calculée pour ledit paramètre spectral comparée aux autres influences calculées.

Description

PROCEDE DE CODAGE ET DECODAGE AUDIO, CODEUR AUDIO, DECODEUR AUDIO ET PROGRAMMES D'ORDINATEUR ASSOCIES
La présente invention concerne les dispositifs de codage de signaux audio, destinés notamment à prendre place dans des applications de transmission ou de stockage de signaux audio numérisés et compressés.
L'invention est relative plus précisément aux systèmes de codage hiérarchique audio, ayant la capacité de fournir des débits variés, en répartissant les informations relatives à un signal audio à coder dans des sous- ensembles hiérarchisés, de telle sorte qu'elles puissent être utilisées par ordre d'importance sur le plan de la qualité de restitution du signal audio. Le critère pris en compte pour déterminer l'ordre est un critère d'optimisation (ou plutôt de moindre dégradation) de la qualité du signal audio codé. Le codage hiérarchique est particulièrement adapté à la transmission sur des réseaux hétérogènes ou présentant des débits disponibles variables au cours du temps, ou encore à la transmission à destination de terminaux présentant des caractéristiques différentes ou variables.
L'invention concerne plus particulièrement le codage hiérarchique de scène sonore 3D. Une scène sonore 3D comprend une pluralité de canaux audio correspondant à des signaux monophoniques audio et est encore appelée son spatialisé.
Une scène sonore codée est destinée à être reproduite sur un système de rendu sonore, qui peut comprendre un simple casque, deux haut-parleurs d'un ordinateur ou encore un système de type Cinéma maison 5.1 (en anglais « Home Cinéma ») avec cinq haut-parleurs (un haut-parleur au niveau de l'écran et à l'avant de l'auditeur théorique : un haut-parleur à gauche et un haut-parleur à droite ; à l'arrière de l'auditeur théorique : un haut-parleur à gauche et un haut-parleur à droite), ou autre.
Considérons, par exemple, une scène sonore d'origine comportant trois sources sonores distinctes, localisées à différents endroits dans l'espace. Les signaux de description de cette scène sonore sont codés par un codeur. Les données issues de ce codage sont transmises au décodeur, puis sont décodées. Les données décodées sont exploitées afin de générer cinq signaux destinés aux cinq haut-parleurs du système de rendu sonore considéré. Chacun des cinq haut-parleurs diffusent un des signaux, l'ensemble des signaux diffusés par les haut-parleurs synthétisant la scène sonore 3D et donc positionnant dans l'espace trois sources sonores virtuelles.
La résolution spatiale ou précision spatiale mesure la finesse de la localisation des sources sonores dans l'espace. Une résolution spatiale accrue permet une localisation plus fine des objets sonores dans la pièce et permet d'avoir une zone de restitution plus large autour de la tête de l'auditeur.
Il existe différentes techniques de codage de scènes sonores.
Par exemple, une technique utilisée comprend la détermination d'éléments de description de la scène sonore, puis des opérations de compression de chacun des signaux monophoniques. Les données issues de ces compressions et les éléments de description sont alors fournis au décodeur.
L'adaptabilité (encore appelée scalabilité) en débit selon cette première technique est donc réalisable, en adaptant le débit lors des opérations de compression, mais elle est réalisée selon des critères d'optimisation de la qualité de chaque signal considéré individuellement. Il n'y a aucune prise en compte, lors du codage, de la précision spatiale de la scène 3D résultant de la restitution des différents signaux.
Une autre technique de codage, qui est utilisée dans le codeur « MPEG Audio Surround » (cf. « Text of ISO/IEC FDIS 23003-1 , MPEG Surround », ISO/IEC JTC1 / SC29 / WG11 N8324, JuIy 2006, Klagenfurt, Austria), comprend l'extraction et le codage de paramètres spatiaux à partir de l'ensemble des signaux audio monophoniques sur les différents canaux. Ces signaux sont ensuite mélangés pour obtenir un signal monophonique ou stéréophonique, qui est alors comprimé par un codeur mono ou stéréo classique (par exemple de type MPEG-4 AAC, HE-AAC, etc). Au niveau du décodeur, la synthèse de la scène sonore 3D se fait à partir des paramètres spatiaux et du signal mono ou stéréo décodé.
L'adaptabilité en débit avec cette autre technique est ainsi réalisable en utilisant un codeur mono ou stéréo hiérarchique, mais elle est réalisée selon un critère d'optimisation de la qualité du signal monophonique ou stéréophonique et ne prend pas en compte non plus la qualité de la résolution spatiale. Par ailleurs, la méthode PSMAC (en anglais « Progressive Syntax-rich Multichannel Audio Codée ») permet de coder les signaux de différents canaux en utilisant la transformée KLT (en anglais « Karhunen Loeve Transform »), utile principalement pour la décorrélation des signaux et qui correspond à une décomposition sur des composantes principales dans un espace représentant les statistiques des signaux. Elle permet de distinguer les composantes les plus énergétiques des composantes les moins énergétiques.
L'adaptabilité en débit est basée sur une annulation des composantes les moins énergétiques et nullement en tenant compte de la précision spatiale.
Ainsi, si les techniques connues donnent de bons résultats en termes d'adaptabilité en débit, aucune des techniques de codage de scène sonore 3D connues ne permet d'adaptabilité en débit sur la base d'un critère d'optimisation de la résolution spatiale, lors de la restitution de la scène sonore 3D. Une telle adaptabilité permettrait de garantir que chaque réduction de débit dégradera le moins possible la précision de la localisation des sources sonores dans l'espace.
En outre, aucune des techniques de codage de scène sonore 3D connues ne permet d'adaptabilité en débit qui permette de garantir directement une qualité optimale quel que soit le système de rendu sonore utilisé pour la restitution de la scène sonore 3D. Les algorithmes de codage actuels sont définis pour optimiser la qualité par rapport à une configuration particulière du système de rendu sonore. En effet, par exemple dans le cas du codeur « MPEG Audio Surround » décrit ci-dessus mis en œuvre avec un codage hiérarchique, une écoute directe sur casque ou deux haut-parleurs, ou encore en monophonique est possible. Si on souhaite exploiter le flux binaire compressé avec un système de rendu sonore de type 5.1 ou 7.1 , il faut mettre en œuvre des traitements supplémentaires au niveau du décodeur, par exemple à l'aide de boîtiers OTT (en anglais « One-To-Two »), pour générer les cinq ou sept signaux à partir des deux signaux décodés. Ces boîtiers permettent d'obtenir le nombre désiré de signaux dans le cas d'un système de rendu sonore de type 5.1 ou 7.1 , mais ne permettent pas de reproduire l'aspect spatial réel. En outre, ces boîtiers ne garantissent pas l'adaptabilité à des systèmes de rendu sonores autres que ceux du type 5.1 et 7.1. La présente invention vient améliorer la situation. A cet effet, la présente invention vise à proposer, suivant un premier aspect, un procédé d'ordonnancement de paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder provenant d'une scène audio comprenant N signaux, avec N>1 , caractérisé en ce qu'il comporte les étapes suivantes: a. calcul de l'influence respective d'au moins certains paramètres spectraux, parmi un ensemble de paramètres spectraux à ordonner, sur un vecteur d'angle défini en fonction de vecteurs d'énergie et de vélocité associés à des critères de Gerzon et calculés en fonction d'une transformation ambiophonique inverse sur lesdits composantes ambiophoniques quantifiés; b. attribution d'un ordre de priorité à au moins un paramètre spectral en fonction de l'influence calculée pour ledit paramètre spectral comparé aux autres influences calculées.
Un procédé selon l'invention permet ainsi d'ordonner certains au moins des paramètres spectraux de composantes ambiophoniques de l'ensemble à ordonner, en fonction de leur importance relative sur le plan de l'apport à la précision spatiale.
Les interactions entre signaux et leur conséquence sur le plan de la précision spatiale sont prises en compte pour les comprimer de façon conjointe.
Le flux binaire peut ainsi être ordonné de manière à ce que chaque réduction de débit dégrade le moins possible la précision spatiale perçue de la scène sonore 3D, puisque les éléments les moins importants sur le plan de leur apport sont détectés, afin d'être mis en fin de séquence binaire (permettant de minimiser les défauts générés par une troncature ultérieure).
Selon un procédé selon l'invention, on exploite, de la façon indiquée ci- dessous, les angles ξv et ξE associés aux vecteurs vélocité V et énergie É des critères de Gerzon pour identifier des éléments à coder les moins pertinents sur le plan de l'apport, en termes de précision spatiale, à la scène sonore 3D. Ainsi contrairement à l'usage habituel, les vecteurs vélocité V et énergie É ne sont pas utilisés pour optimiser un système de rendu sonore considéré.
Dans un mode de réalisation, le calcul de l'influence d'un paramètre spectral s'effectue selon les étapes suivantes : a- codage d'un premier ensemble de paramètres spectraux de composantes ambiophoniques à coder selon un premier débit; b- détermination d'un premier vecteur d'angle par bande spectrale; c- détermination d'un second débit inférieur au dit premier; d- suppression dudit paramètre spectral courant des composantes à coder et codage des paramètres spectraux restants des composantes à coder selon le second débit; e- détermination d'un second vecteur d'angle par bande spectrale; f- calcul d'une variation de vecteur d'angle en fonction des écarts déterminés entre les premier et second vecteurs d'angle pour le premier et le second débit par bande spectrale; g- itération des étapes d à f pour chacun des paramètres spectraux de l'ensemble de paramètres spectraux de composantes à coder à ordonner et détermination d'une variation de vecteur d'angle minimum; l'ordre de priorité attribué au paramètre spectral correspondant à la variation minimum étant un ordre de priorité minimum.
Cette disposition permet, en un nombre limité de calculs, de déterminer le paramètre spectral de la composante à déterminer dont l'apport à la précision spatiale est minimum.
Dans un mode de réalisation, on réitère les étapes a à g avec un ensemble de paramètres spectraux de composantes à coder à ordonner restreint par suppression des paramètres spectraux pour lesquelles un ordre de priorité a été attribué.
Dans un autre mode de réalisation, on réitère les étapes a à g avec un ensemble de paramètres spectraux de composantes à coder à ordonner dans lequel les paramètres spectraux pour lesquels un ordre de priorité a été attribué sont affecté d'un débit de quantification plus réduit lors de l'utilisation d'un quantificateur imbriqué.
De tels processus itératifs permettent d'identifier successivement, parmi les paramètres spectraux des composantes ambiophoniques auxquels n'ont pas encore été affectés des ordres de priorité, ceux qui apportent le moins sur le plan de la précision spatiale.
Dans un mode de réalisation, une première coordonnée du vecteur
V ι≤ι≤0Ti2 cosξt d'énergie est fonction de la formule __-. ; — , une seconde coordonnée
V Ti
/ ,< <0Ti2 sin^ du vecteur d'énergie est fonction de la formule — , une première
ξ coordonnée du vecteur de vélocité est fonction de la formule et une seconde coordonnée du vecteur de vélocité est fonction de la formule
V ι≤ι≤0 Ti sin ξ v-i , dans lesquelles les Ti, i=1 à Q, représentent les signaux
déterminés en fonction de la transformation ambiophonique inverse sur lesdits paramètres spectraux quantifiés selon le débit considéré et les ξι i=1 à Q, sont des angles déterminés.
Dans un mode de réalisation, une première coordonnée d'un vecteur d'angle indique un angle fonction du signe de la deuxième coordonnée du vecteur de vélocité et de l'arccosinus de la première coordonnée du vecteur de vélocité et selon lequel une deuxième coordonnée d'un vecteur d'angle indique un angle fonction du signe de la deuxième coordonnée du vecteur d'énergie et de l'arccosinus de la première coordonnée du vecteur d'énergie.
Suivant un second aspect, l'invention propose un module d'ordonnancement comprenant des moyens pour mettre en œuvre un procédé suivant le premier aspect de l'invention.
Suivant un troisième aspect, l'invention propose un codeur audio adapté pour coder une scène audio 3D comprenant N signaux respectifs en un flux binaire de sortie, avec N>1 , comprenant : - un module de transformation adapté pour déterminer, en fonction des N signaux, des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques ;
- un module d'ordonnancement suivant le deuxième aspect de l'invention, adapté pour ordonner au moins certains des paramètres spectraux des composantes ambiophoniques ;
- un module de constitution d'une séquence binaire adapté pour constituer une séquence binaire comportant des données indiquant des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder ordonnées en fonction de l'ordonnancement effectué par le module d'ordonnancement.
Suivant un quatrième aspect, l'invention propose un programme d'ordinateur à installer dans un module d'ordonnancement, ledit programme comprenant des instructions pour mettre en œuvre les étapes d'un procédé suivant le premier aspect de l'invention d'une exécution du programme par des moyens de traitement dudit module.
Suivant un cinquième aspect, l'invention propose une séquence binaire comportant des données indiquant des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder, caractérisée en ce que ces données sont ordonnées selon un procédé d'ordonnancement suivant le premier aspect de l'invention.
Suivant un sixième aspect, l'invention propose un procédé de décodage d'un flux binaire codé selon un procédé suivant le premier aspect de l'invention, en vue de déterminer un nombre Q' de signaux audio pour la restitution d'une scène audio 3D à l'aide de Q' haut-parleurs, selon lequel : on reçoit la séquence binaire ; on extrait des données de codage indiquant des composantes ambiophoniques calculées en fonction des N signaux de la scène sonore et on effectue sur lesdites données de codage extraite une transformation spatiale inverse adaptée pour déterminer un nombre Q' de signaux audio pour la restitution d'une scène audio 3D à l'aide des Q' haut-parleurs.
Suivant un septième aspect, l'invention propose un décodeur audio adapté pour décoder un flux binaire codé selon un procédé suivant le premier aspect de l'invention, en vue de déterminer un nombre Q' de signaux audio pour la restitution d'une scène audio 3D à l'aide de Q' haut-parleurs, comprenant des moyens pour mettre en œuvre les étapes d'un procédé suivant le sixième aspect de l'invention.
Suivant un huitième aspect, l'invention propose un programme d'ordinateur à installer dans un décodeur adapté pour décoder un flux binaire codé selon un procédé suivant le premier aspect de l'invention, en vue de déterminer un nombre Q' de signaux audio pour la restitution d'une scène audio 3D à l'aide de Q' haut-parleurs, ledit programme comprenant des instructions pour mettre en œuvre les étapes d'un procédé suivant le sixième aspect de l'invention lors d'une exécution du programme par des moyens de traitement dudit décodeur.
D'autres caractéristiques et avantages de l'invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels : la figure 1 représente un codeur dans un mode de réalisation de l'invention ; la figure 2 représente un décodeur dans un mode de réalisation de l'invention ; la figure 3 illustre la propagation d'une onde plane dans l'espace ; la figure 4 est un organigramme représentant des étapes d'un processus Proc dans un mode de réalisation de l'invention ; la figure 5 représente l'ordonnancement des éléments à coder et une séquence binaire Seq construite dans un mode de réalisation de l'invention ; la figure 6 représente un exemple de configuration d'un système de rendu sonore comprenant 8 haut-parleurs h1 , h2,..., h8. La figure 1 représente un codeur audio 1 dans un mode de réalisation de l'invention.
Le codeur 1 comprend un module 3 de transformation temps/fréquence, un module 7 de calcul de courbe de masquage, un module 4 de transformation spatiale, un module 5 de définition des éléments à coder les moins pertinents comprenant un module 10 de quantification, un module 6 d'ordonnancement des éléments, un module 8 de constitution d'une séquence binaire, en vue de la transmission d'un flux binaire Φ.
Une scène sonore 3D comprend N canaux sur chacun desquels un signal respectif S1 , ..., SN est délivré.
La figure 2 représente un décodeur audio 100 dans un mode de réalisation de l'invention.
Le décodeur 100 comprend un module 104 de lecture de séquence binaire, un module 105 de quantification inverse, un module 101 de transformation ambiophonique inverse, un module 102 de transformation fréquence/temps.
Le décodeur 100 est adapté pour recevoir en entrée le flux binaire Φ transmis par le codeur 1 et pour délivrer en sortie Q' signaux S'1 , S'2, ..., S'Q' destinés à alimenter les Q' haut-parleurs H1 , H2 ..., HQ' respectifs d'un système de rendu sonore 103.
A chaque haut-parleur Hi, i=1 à Q', est associé un angle βi indiquant l'angle de propagation acoustique depuis le haut-parleur.
Les critères de Gerzon sont généralement utilisés pour caractériser la localisation des sources sonores virtuelles synthétisées par la restitution de signaux depuis les haut-parleurs d'un système de rendu sonore donné.
Ces critères reposent sur l'étude des vecteurs de vélocité et d'énergie des pressions acoustiques générées par un système de rendu sonore utilisé.
Lorsqu'un système de rendu sonore comprend L haut-parleurs, les signaux, i=1 à L, générés par ces haut-parleurs, sont définies par une pression acoustique Ti et un angle de propagation acoustique ξt .
Le vecteur de vélocité V est alors défini ainsi : Yj l≤ι≤LTicosξι
V = ∑ 1≤I<L7ï sin £ yv =
II existe un couple de coordonnées polaires (rv, ξv ) tel que :
V = Equation (1)
Le vecteur d'énergie É est défini ainsi :
II existe un couple de coordonnées polaires (rE, ξE ) tel que :
xE = - - = rE cos ςE y / , l≤i≤L T1 Ï1
E = - Equation (2)
∑ ι≤ι≤LTi2 ύn ξι y E = = rE sm ξE
∑ i<,a^2
Les conditions nécessaires pour que la localisation des sources sonores virtuelles soit optimale se définissent en cherchant les angles ξt , caractérisant la position des haut-parleurs du système de rendu sonore considéré, vérifiant les critères ci-dessous, dits critères de Gerzon, qui sont :
- critère 1 , relatif à la précision de l'image sonore de la source S en basses fréquences : ξv = ξ ; où ξ est l'angle de propagation de la source S réelle qu'on cherche à atteindre.
- critère 2, relatif à la stabilité de l'image sonore de la source S en basses fréquences : rv = 1 ;
- critère 3, relatif à la précision de l'image sonore de la source S en hautes fréquences : ξE = ξ ; - critère 4, relatif à la stabilité de l'image sonore de la source S en hautes fréquences : rE = 1.
Les opérations décrites ci-dessous dans un mode de réalisation de l'invention utilisent les vecteurs de Gerzon dans une application autre que celle consistant à rechercher les meilleurs angles ξι , caractérisant la position des haut-parleurs du système de rendu sonore considéré.
Opérations réalisées au niveau du codeur :
Le module 3 de transformation temps/fréquence du codeur 1 reçoit en entrée les N signaux S1 ,..., SN de la scène sonore 3D à coder.
Chaque signal Si, i = 1 à N, est représenté par la variation de sa pression omnidirectionnelle acoustique Pi et l'angle θi de propagation de l'onde acoustique dans l'espace de la scène 3D.
Sur chaque trame temporelle de chacun de ces signaux indiquant les différentes valeurs prises au cours du temps par la pression acoustique Pi, le module 3 de transformation temps/fréquence effectue une transformation temps/fréquence, dans le cas présent, une transformée en cosinus discrète modifiée (MDCT).
Ainsi il détermine, pour chacun des signaux Si, i=1 à N, sa représentation spectrale Xi, caractérisée par M coefficients MDCT X(i, j), avec j= 0 à M-1. Un coefficient MDCT X(i,j) représente ainsi le spectre du signal Si pour la bande de fréquence Fj.
Les représentations spectrales Xi des signaux Si, i= 1 à N, sont fournies en entrée du module 4 de transformation spatiale, qui reçoit en outre en entrée les angles θi de propagation acoustique caractérisant les signaux d'entrée Si.
Le module 4 de transformation spatiale est adapté pour effectuer une transformation spatiale des signaux d'entrée fournies, c'est-à-dire déterminer les composantes spatiales de ces signaux résultant de la projection sur un référentiel spatial dépendant de l'ordre de la transformation. L'ordre d'une transformation spatiale se rattache à la fréquence angulaire selon laquelle elle « scrute » le champ sonore. Dans un mode de réalisation, le module 4 de transformation spatiale effectue une transformation ambiophonique, qui donne une représentation spatiale compacte d'une scène sonore 3D, en réalisant des projections du champ sonore sur les fonctions harmoniques sphériques ou cylindriques associées.
Pour plus d'information sur les transformations ambiophoniques, on pourra se référer aux documents suivants : « Représentation de champs acoustiques, application à la transmission et à la reproduction de scènes sonores complexes dans un contexte multimédia », Thèse de doctorat de l'université Paris 6, Jérôme DANIEL, 31 juillet 2001 , « A highly scalable spherical microphone array based on an orthonormal décomposition of the sound field », Jens Meyer - Gary Elko, Vol. Il - pp. 1781-1784 in Proc. ICASSP 2002.
En référence à la figure 3, la formule suivante donne la décomposition en harmoniques cylindriques à un ordre infini d'un signal Si de la scène sonore :
Si(r, φ) = Pi.[J0(kr) + ∑2.jm J m (kr).(cosmM.cosm.φ + ûnm.θi.ûn m.φ) ]
où (Jm) représentent les fonctions de Bessel, r la distance entre le centre du repère et la position d'un auditeur placé en un point M, Pi la pression acoustique du signal Si, θi l'angle de propagation de l'onde acoustique correspondant au signal Si et φ l'angle entre la position de l'auditeur et l'axe du repère.
Si la transformation ambiophonique est d'ordre p, pour une transformation ambiophonique 2D (selon le plan horizontal), la transformée ambiophonique d'un signal Si exprimée dans le domaine temporel comprend alors les 2p+1 composantes suivantes :
(Pi, Pi.cosθi, Pi.sinθi, Pi.cos2θi, Pi.sin2θi, Pi.cos3θi, Pi.sin3θi
Pi.cospθi, Pi.sinpθi).
Dans ce qui suit, il a été considéré une transformation ambiophonique 2D. Néanmoins l'invention peut être mise en œuvre avec une transformation ambiophonique 3D (dans un tel cas, on considère que les haut-parleurs sont disposés sur une sphère). Par ailleurs, l'invention peut être mise en œuvre avec un ordre p de transformation ambiophonique quelconque, par exemple p=2 ou plus.
Les composantes ambiophoniques Ak, k=1 à Q = 2p + 1 , considérées dans le domaine fréquentiel, comportent chacune M paramètres spectraux A(kj), j= 0 à M-1 se rapportant respectivement aux bandes spectrales Fj telles que : si A est la matrice comportant les composantes Ak, k=1 à Q issues de la transformation ambiophonique d'ordre p des signaux Si, i= 1 à N, Amb(p) est la matrice de transformation ambiophonique d'ordre p pour la scène 3D, et X est la matrice des composantes fréquentielles des signaux Si, i= 1 à N, alors :
A(l,0) A(U) A(I, M - I) A(2,0) A(2, Af - I)
A=
A(Q,0) A(QX) A(Q5Af - 1)
Amb(p)=[Amb(p)(i.i)l. avec i=1 à Q et j=1 à N, avec : Amb(p)(1 ,j)= 1 ,
Amb(p)(i,j)= Vïcos θ si i pair et Amb(p)(i,j)= Vïsin θ, si i
impair, soit
1 Λ/ÏCOS ΘN Jïύn θN
*j2 cospθN 42 ûn pθN
et on a A= Amb(p) x X Equation (3).
Le module 4 de transformation spatiale est adapté pour déterminer la matrice A, à l'aide de l'équation (3) en fonction des données X(i, j) et θi (i=1 à N, j= 0 à M-1 ) qui lui sont fournies en entrée.
Les paramètres spectraux A(kj), k=1 à Q et j=0 à M-1 des composantes ambiophoniques Ak, k=1 à Q, de cette matrice A^ comportent les éléments à coder par le codeur 1 dans une séquence binaire.
Les composantes ambiophoniques Ak, k=1 à Q, sont délivrées au module 5 de définition des éléments les moins pertinents.
Ce module 5 de définition des éléments les moins pertinents est adapté pour mettre en œuvre des opérations, suite à l'exécution sur des moyens de traitement du module 5, d'un algorithme en vue de définir des éléments à coder les moins pertinents et d'ordonner les éléments à coder entre eux.
Cet ordonnancement des éléments à coder est utilisé ultérieurement lors de la constitution d'une séquence binaire à transmettre.
L'algorithme comprend des instructions adaptées pour mettre en œuvre, lorsqu'elles sont exécutées sur des moyens de traitement du module 5, les étapes du processus Proc décrit ci-dessous en référence à la figure 4.
Les critères de Gerzon reposent sur l'étude des vecteurs de vélocité et d'énergie des pressions acoustiques générées par un système de rendu sonore utilisé.
Chacune des coordonnées Xv, yv, XE, yE indiquées dans les équations 1 et 2 relatives aux vecteurs d'énergie et vélocité associés aux critères de Gerzon est élément de [-1 ,1]. Donc il existe un unique couple (ξv , ξE ) vérifiant les équations suivantes, correspondant au cas parfait (rv , rE ) = (1 ,1 ) :
ξE .
Les angles ξv et ξE de ce couple unique sont donc définis par les équations suivantes (équations (4)):
). arccos( )
) . arccos( ∑≈ )
On appellera par la suite vecteur d'angles de Gerzon généralisé le
vecteur ξ tel que ξ = v .
L'algorithme comprend des instructions adaptées pour mettre en œuvre, lorsqu'elles sont exécutées sur les moyens de traitement du module 5 de détermination des éléments les moins pertinents, les étapes du processus Proc décrit ci-dessous en référence à la figure 4.
Processus Proc
Le principe du processus Proc est tel qu'on calcule l'influence respective d'au moins certains paramètres spectraux sur un vecteur d'angle défini en fonction de vecteurs d'énergie et de vélocité associés à des critères de Gerzon et calculés en fonction d'une transformation ambiophonique inverse sur lesdits composantes ambiophoniques quantifiés. Et on attribue un ordre de priorité à au moins un paramètre spectral en fonction de l'influence calculée pour ledit paramètre spectral comparé aux autres influences calculées.
Le processus détaillé dans un mode de réalisation, est le suivant : Initialisation (n=0) • Etape 2a :
On définit un débit D0=Dm3x et une allocation de ce débit entre les éléments à coder A(kj), pour (kj) e E0 = {(k,j) tel que k=1 à Q et j=0 à M-1}.
On nomme dkj le débit attribué à l'élément à coder A(kj), (kj) e Eo, lors de cette allocation initiale (la somme de ces débits dkj| \ =1 à Q, J=O à M-I est égale à D0) et S0 = min dkJ, pour (kj) e E0.
- Etape 2b :
Puis chaque élément à coder A(kj), (kj) e E0 est quantifié par le module 10 de quantification en fonction du débit dkj qui lui a été alloué à l'étape 2a.
A_ est la matrice des éléments A(k, j) , k=1 à Q et j=0 à M-1. Chaque élément A(k, j) est le résultat de la quantification, avec le débit dkj, du paramètre A(kj), relative à la bande spectrale Fj, de la composante ambiophonique A(k). L'élément A(k, j) définit donc la valeur quantifiée de la représentation spectrale pour la bande de fréquence Fj, de la composante ambiophonique Ak considérée.
A (1,0) A(l,l) . . . A (1,Af - I)
Â(2,0) 1(2,M - I)
 =
A(β,0) A(Q,1) . . . A (Q, Af - I)
• Etape 2c :
Ensuite, on effectue sur ces composantes ambiophoniques quantifiées A(k, j) , k=1 à Q et j=0 à M-1 , un décodage ambiophonique d'ordre p tel que 2p+1 =Q et qui correspond à un système régulier de N haut-parleurs, pour déterminer les pressions acoustiques T1 i, i = 1 à N, des N signaux sonores obtenus en résultat de ce décodage ambiophonique. Dans le cas considéré, Amblnv(p) est la matrice de transformation ambiophonique inverse d'ordre p (ou décodage ambiophonique d'ordre p) délivrant N signaux T11 , ..., T1 N correspondant e N haut-parleurs H'1 , ..., H'N respectifs, disposés régulièrement autour d'un point. Par conséquent, la matrice Amblnv(p) se déduit de la transposition de la matrice Amb(p,N) qui est la matrice d'encodage ambiophonique résultante de l'encodage de la scène sonore définie par les N sources correspondant aux N haut-parleurs H'1 , ..., H'N et disposés respectivement dans les positions ξx , ..., ξN . Ainsi on peut
écrire que : Amblnv(p) = — Amb(p,N)' .
N
T1_ est la matrice des composants spectraux T1(i,j) des signaux T1i, i=1 à N relatifs aux bandes de fréquences Fj, j= 0 à M-1. Ces composants spectraux sont issus de la transformation ambiophonique inverse d'ordre p appliquée sur les composantes ambiophonique quantifiées A(k, j) , k=1 à Q et j=0 à M-1.
71(1,0) Tl(U) • • • Tl(l,M - l) 71(2,0) 71(2,1) . . . 71(2,M - I
T1 =
Tl(N,0) . Tl(N, M - I)
et on a T1 = Amblnv(p) x A = — Amb(p,NY x A Equation (5)
— N —
Ainsi les composants T1 (i,j), i=1 à N, dépendent de l'erreur de quantification relative à la quantification considérée des composantes ambiophoniques A(kj), k=1 à Q et j=0 à M-1 (en effet, chaque élément quantifié A(k, j) est la somme du paramètre spectral A(kj) de composante ambiophonique à quantifier et du bruit de quantification relatif audit paramètre).
Pour chaque bande de fréquence Fj, j= 0 à M-1 , on calcule alors, à l'aide des équations (4), le vecteur d'angles de Gerson généralisé ξ} (0) à l'initialisation du processus Proc (n=0), en fonction des composantes spectrales T1 (ij), i =1 à N et j=0 à M-1 déterminées suite au décodage
ambiophonique : | (0) = /; , avec £ = ______ — L ^ j =1 à N :
ξE, = sign
Et on définit ξ} (0) = ξ} (0) .
On notera qu'ici a été considérée une matrice de décodage ambiophonique pour un dispositif de rendu sonore régulier et qui comporte un nombre de haut-parleurs égal au nombre des signaux d'entrées, ce qui simplifie le calcul de la matrice de décodage ambiophonique. Néanmoins, cette étape peut être mise en œuvre en considérant une matrice de décodage ambiophonique correspondant à des dispositifs de rendu sonore non réguliers et aussi pour un nombre de haut-parleurs différents du nombre des signaux d'entrée.
Itération n °1 (n=1 )
- Etape 2d : On définit un débit Di=Do -S0 et une allocation de ce débit Di entre les éléments à coder A(kj), pour (k,j) e E0.
• Etape 2e :
Puis chaque élément à coder A(k,j), (k,j) e E0 est quantifié par le module 10 de quantification en fonction du débit qui lui a été alloué à l'étape 2d. A est maintenant la matrice actualisée des éléments quantifiés A(k, j) , (k,j) e E0 résultant chacun de cette dernière quantification selon le débit global Di, des paramètres A(kj).
- Etape 2f :
De façon similaire à celle décrite précédemment dans l'étape 2c, après calcul d'un nouveau décodage ambiophonique d'ordre p effectué en fonction des éléments quantifiés avec le débit global D1, on calcule, pour l'itération n°1 du processus Proc, un premier vecteur d'angles de Gerzon généralisé ξ} (l) dans chaque bande fréquentielle Fj, en fonction des composantes spectrales T1(i,j), i =1 à N, j=0 à M-1 déterminées suite au nouveau décodage ambiophonique, à l'aide de l'équation (4).
On calcule ensuite le vecteur Δ£; (l) égal à la différence entre le
vecteur d'angles de Gerzon ξ} (0) calculé à l'étape 2c de l'initialisation et le
vecteur d'angles de Gerzon généralisé ξ} {\) calculé à l'étape 2f de l'itération
n°1 : Δ|; (I) = I7 (I) - |; (0) , j=0 à M-1.
• Etape 2q : On calcule la norme Δ|; (1) , dans chaque bande fréquentielle Fj, de la
variation Δ|; (1) , j=0 à M-1.
Cette norme représente la variation du vecteur d'angles de Gerzon généralisé suite à la réduction du débit de D0 à D1 dans chaque bande fréquentielle Fj.
On détermine J1 l'indice de la bande fréquentielle Fh telle que la norme
Δ|; (1) de la variation d'angle de Gerzon calculée dans la bande fréquentielle
Fh soit inférieure ou égale à chaque norme |Δ£; (1)| , calculée pour chaque
bande fréquentielle Fj, j=0 à M-1. On a donc J1 = arg min JAξ (1)| .
7=0 M-I II II - Etape 2h :
On considère maintenant les paramètres spectraux des composantes ambiophoniques relatifs à la bande spectrale Fh , soit les paramètres A(k, ji), avec k e F0=[I 1Q].
Et on réitère les étapes 2h1 à 2h5 suivantes pour tout i e F0 considéré alternativement depuis 1 jusqu'à Q '
2h1- on considère que la sous-bande (iji) est supprimée pour les opérations 2h2 à 2h4 : on considère donc que A(iji) est nul et que l'élément quantifié correspondant A(IJ1 ) est aussi nul ;
2h2- De façon similaire à celle décrite précédemment dans l'étape 2c, après calcul d'un décodage ambiophonique d'ordre p effectué en fonction des éléments quantifiés avec le débit global Di (A(IJ1 ) étant nul), on détermine le vecteur d'angles de Gerzon généralisé |Λ (A(Ij1) = 0, 1) dans la bande fréquentielle Fh en fonction des composantes spectrales T1 (i,j), i =1 à N et j =
0 à M-1 déterminées suite audit décodage ambiophonique à l'aide de l'équation (5).
2h3- On calcule ensuite le vecteur Δξl} (1) représentant la différence dans la bande fréquentielle Fh entre le vecteur d'angles de Gerzon généralisé
ξh (A(Ij1) = 0, 1) calculé ci-dessus et le vecteur d'angles de Gerzon généralisé
|Λ (1) calculé à l'étape 2f de l'itération n°1 ci-dessus : Δ|9i (l) = |Λ (A(Ij1) = 0, 1)
- |Λ (1) . Puis on calcule la norme IIΔ|y (l) ll du vecteur Δ|9i (l) : IIΔ|y (l) ll =
II I71 (A(Ij1) = 0, 1) - |Λ (1) II.
Cette norme représente la variation du vecteur d'angles de Gerzon généralisé dans la bande fréquentielle Fh lorsque pour un débit D1 , on supprime la composante ambiophonique fréquentielle A(i,ji).
2h4- Si i ≠ max F0, on considère que la sous-bande (i,ji) n'est plus supprimée et on passe à l'étape 2h5. Si i = max F0, on considère que la sous- bande (i,ji) n'est plus supprimée et on passe à l'étape 2i. 2h5- On incrémente i dans l'ensemble F0 et on réitère les étapes 2h1 à 2h4 pour la valeur de i ainsi mise à jour jusqu'à i = max F0.
On obtient ainsi Q valeurs de variation d'angle de Gerzon généralisé IIΔ|y (1) II, pour chaque i e F0=[I , Q].
• Etape 2i :
On compare entre elles les valeurs HΔ|y (1) II, pour chaque i e F0=[I , Q], on identifie la valeur minimale parmi ces valeurs et on détermine l'indice H e F0 correspondant à la valeur minimale, soit i = argmin|Δ£ (1)| . ιeF0 II Λ II
La composante A(J1, ji) est ainsi identifiée comme l'élément à coder de plus faible importance sur le plan de la précision spatiale, comparé aux autres éléments à coder A(k,j), (k,j) e E0.
• Etape 2j :
On redéfinit, pour chaque bande spectrale Fj, le vecteur d'angles de
Gerzon généralisé ξ} (l) issu de l'itération 1 , calculé pour un débit Di :
1, (I) = I7 (I) Si J e [O1M-I]Hj1J ;
fΛ (l) = |A (A(i1,j1) = O ,l) si j = ji .
Ce vecteur redéfini d'angles de Gerzon généralisé, établi pour un débit de quantification égal à Di, prend en compte la suppression de l'élément à coder A(J1, J1) et sera utilisé pour l'itération suivante du processus Proc.
- Etape 2k :
L'identifiant du couple (J1J1) est délivré au module d'ordonnancement 6 en tant que résultat de la 1ere itération du processus Proc.
• Etape 2m :
On supprime alors l'élément à coder A(J1J1) de l'ensemble des éléments à coder dans la suite du processus Proc. On définit l'ensemble E1= E0Xi1J1). On définit ή ≈min dkj, pour (kj) e E1.
Dans une itération n°2 du processus Proc, on réitère des étapes similaires aux étapes 2d à 2n indiquées ci-dessus.
Le processus Proc est réitéré autant de fois que souhaité pour ordonner entre eux certains ou la totalité des éléments à coder A(kj), (kj) e Ei restant à ordonner.
Ainsi les étapes 2d à 2n décrites ci-dessus sont réitérées pour une nième itération :
Itération n (n>1 ) :
En-I= E0\{(ii ji ), ..., (in-1 ,jn-i)}.
Les éléments à coder A(kj), pour (kj) e E0\En-i ont été supprimés au cours des étapes 2m des itérations précédentes.
- Etape 2d :
On définit un débit Dn = Dn-1 -δn_γ et une allocation de ce débit Dn entre les éléments à coder A(kj), pour (kj) e En-1.
Lors du calcul des décodages ambiophoniques effectués ci-après, on considère donc que les éléments quantifiés A(k, j) , pour (kj) e E0\En-1 sont nuls
• Etape 2e :
Puis chaque élément à coder A(kj), (kj) e En-1, est quantifié par le module 10 de quantification en fonction du débit alloué à l'étape 2d ci-dessus.
Le résultat de cette quantification de l'élément à coder A(kj) est A(JcJ) , (kj) e En-1.
- Etape 2f :
De façon similaire à celle décrite précédemment pour l'itération 1 , après calcul d'un décodage ambiophonique d'ordre p effectué en fonction des éléments quantifiés avec le débit global Dn (on a donc considéré lors de ce décodage ambiophonique que les composantes A(I1J1) ,..., A(in _γjn _γ) sont nulles), on calcule, pour l'itération n du processus Proc, un premier vecteur d'angles de Gerzon généralisé ξ} (n) dans chaque bande fréquentielle Fj en fonction des composantes spectrales T1 i, i =1 à N déterminées suite audit décodage ambiophonique, à l'aide de l'équation (5).
On calcule ensuite le vecteur Aξ} (n) égal à la différence entre le
vecteur d'angles de Gerzon ξ ' ; (« -l) calculé à l'étape 2j de l'itération n-1 et le
vecteur d'angles de Gerzon généralisé ξ} (ή) calculé à la présente étape :
• Etape 2g : On calcule la norme \\Aξ} (n) \\, dans chaque bande fréquentielle Fj, de la variation Δξ} (n) , j=0 à M-1.
Cette norme représente la variation du vecteur d'angles de Gerzon généralisé dans chaque bande fréquentielle Fj, suite à la réduction de débit de Dn à Dn-i (les paramètres A(I1J1) , ..., A(.B-1, .Zn-1) et A(I1J1) , - --, A(In-1, .Zn-1) étant supprimés).
On détermine Jn l'indice de la bande fréquentielle F1 telle que la norme
IIΔ| (w) ll de la variation du vecteur d'angles de Gerzon calculée dans la
bande fréquentielle F1 est inférieure ou égale à chaque norme IIΔ|; («) II, calculée pour chaque bande fréquentielle Fj, j=0 à M-1. On a donc
- Etape 2h :
On considère maintenant les paramètres spectraux des composantes ambiophoniques relatifs à la bande spectrale F1 , soit les paramètres A(k, jn), avec k e Fn-I= {i e [1 ,...,Q] tel que (i, Jn) e En-i}. Et on réitère les étapes 2h1 à 2h5 suivantes pour tout i e Fn-i considéré alternativement depuis l'élément le plus petit de l'ensemble Fn-i (min Fn-i) jusqu'à l'élément le plus grand de l'ensemble Fn-1 (max Fn-1) :
2h1- on considère que la sous-bande (ijn) est supprimée pour les opérations 2h2 à 2h4 : on considère donc que A(ijn) est nul et que l'élément quantifié correspondant A(i, jn ) est aussi nul ;
2h2- De façon similaire à celle décrite précédemment dans l'étape 2c, après calcul d'un décodage ambiophonique d'ordre p effectué en fonction des éléments quantifiés avec le débit global Dn (A(i, jn) étant nul), on calcule, le vecteur d'angles de Gerzon généralisé nommé ξ} (A(ijn) = O ,n) dans la bande fréquentielle F1 en fonction des composantes spectrales T1(i,j) i =1 à N et j=0 à M-1 déterminées suite audit décodage ambiophonique, à l'aide de l'équation (5).
2h3- On calcule ensuite le vecteur Aξl} (n) égal à la différence, dans la bande fréquentielle F1 , entre le vecteur d'angles de Gerzon généralisé
ξ} (A(i,jn) = O, n) calculé ci-dessus en 2h2 et le vecteur d'angles de Gerzon
généralisé ξ} (n) calculé à l'étape 2f de l'itération n ci-dessus : Aξi3 (n) = ξ]n (A(Ijn ) = 0, n) - ξjn) .
Puis on calcule la norme IIΔfy Jn) W du vecteur Δ|y Jn) : IIΔ|jn (n) ll =
II ξ]n (A(Ijn ) = 0, n) - |Jn (n) ll.
Cette norme représente la variation, dans la bande fréquentielle F1 , du vecteur d'angles de Gerzon généralisé et pour un débit Dn, due à la suppression de la composante ambiophonique A(i,jn) lors de la nième itération du processus Proc.
2h4- Si i ≠ max Fn-1, on considère que la sous-bande (i,jn) n'est plus supprimée et on va à l'étape 2h5. Si i = max Fn-1, on considère que la sous- bande (ijn) n'est plus supprimée et on va à l'étape 2i. 2h5- On incrémente i dans l'ensemble Fn-i et on réitère les étapes 2h1 à 2h4 pour la valeur de i ainsi mise à jour jusqu'à i = max Fn-i .
On obtient ainsi, pour chaque i e Fn-i, une valeur IIΔ|y («) ll, représentant la variation du vecteur d'angles de Gerzon généralisé dans la bande fréquentielle F1 due à la suppression de la composante A(ijn) .
• Etape 2i :
On compare entre elles les valeurs IIΔ|y (n) II, pour chaque i e Fn-i, on identifie la valeur minimale parmi ces valeurs et on détermine l'indice in ε Fn correspondant à la valeur minimale, soit in = argmin|Δ|y («)|| .
La composante A(JnJn) est ainsi identifiée comme l'élément à coder de plus faible importance sur le plan de la précision spatiale, comparé aux autres éléments à coder A(k,j), (k,j) e En-i .
• Etape 2i :
On redéfinit, pour chaque bande spectrale Fj, un vecteur d'angles de
Gerzon généralisé ξ} (n) issu de l'itération n :
ξ} (n) = ξ} (n) si j e [0,M-1]\{jn} ;
I11 (Ti) = |Λ (A(in ,jJ = O ,«) Si J = Jn.
Cet angle de Gerzon généralisé redéfini, établi pour un débit de quantification égal à Dn, prend en compte la suppression de l'élément à coder A(in, Jn) et sera utilisé pour l'itération suivante.
- Etape 2k :
L'identifiant du couple (in,jn) est délivré au module d'ordonnancement 6 en tant que résultat de la nième itération du processus Proc.
• Etape 2m : On supprime alors la bande (injn) de l'ensemble des éléments à coder dans la suite du processus Proc, c'est-à-dire qu'on supprime l'élément à coder
A(injn).
On définit l'ensemble En= En-1\(injn). Les éléments à coder A(ij), avec (ij) e En restent à ordonner. Les éléments à coder A(ij), avec (ij) e {(iiji ),..., (injn)} ont déjà été ordonnés lors des itérations 1 à n.
On réitère le processus Proc r fois et au maximum Q*M-1 fois.
Des indices de priorité sont ainsi ensuite attribués par le module 6 d'ordonnancement aux différents éléments à coder, en vue de l'insertion des données de codage dans une séquence binaire.
Ordonnancement des éléments à coder et constitution d'une séquence binaire :
Dans un mode de réalisation où l'ordonnancement des éléments à coder est réalisé par le module 6 d'ordonnancement sur la base des résultats successivement fournies par les itérations successives du processus Proc mis en œuvre par le module 5 de définition des éléments à coder les moins pertinents, le module 6 d'ordonnancement définit un ordre desdits éléments à coder, traduisant l'importance des éléments à coder sur le plan de la précision spatiale.
En référence à la figure 5, l'élément à coder A(h,ji) correspondant au couple (ii,ji) déterminé lors de la première itération du processus Proc est considéré comme le moins pertinent sur le plan de la précision spatiale. Il lui est donc affecté un indice de priorité minimale Priol par le module 5.
L'élément à coder A(i2,J2) correspondant au couple (i2,J2) déterminé lors de la deuxième itération du processus Proc, est considéré comme l'élément à coder le moins pertinent sur le plan de la précision spatiale, après celui affecté à la priorité Priol . Il lui est donc affecté un indice de priorité minimale Prio2, avec Prio2 > Priol . Le module 6 d'ordonnancement ordonne ainsi successivement r éléments à coder affectés chacun à des indices de priorité croissants Priol , Prio2 à Prio r. Les éléments à coder n'ayant pas été affectés à un ordre de priorité au cours d'une itération du processus Proc sont plus importants sur le plan de la précision spatiale que les éléments à coder auxquels à été affecté un ordre de priorité.
Lorsque r est égal à Q*M -1 fois, l'ensemble des éléments à coder sont ordonnées un à un.
Dans ce qui suit, on considère que le nombre d'itérations r du processus Proc effectuées est égal à Q*M -1 fois.
L'ordre de priorité affecté à un élément à coder A(kj) est également affecté à l'élément codé en fonction du résultat A(k, j) de la quantification de cet élément à coder. On note ci-dessous également A(k, j) l'élément codé correspondant à l'élément à coder A(kj).
Le module 8 de constitution de la séquence binaire constitue une séquence binaire Seq correspondant à une trame de chacun des signaux Si, i=1 à N en y intégrant successivement des éléments codés A(k, j) par ordre décroissant d'indices de priorité attribués, la séquence binaire Seq étant à transmettre dans le flux binaire Φ.
Ainsi la séquence binaire constituée Seq est ordonnée conformément à l'ordonnancement effectué par le module 6.
Dans le mode de réalisation considéré ci-dessus, une suppression d'une composante spectrale d'un élément à coder A(ij) a lieu à chaque itération du processus Proc.
Dans un autre mode de réalisation, on utilise un quantificateur imbriqué pour les opérations de quantification. Dans un tel cas, la composante spectrale d'un élément à coder A(ij) identifiée comme la moins importante sur le plan de la précision spatiale lors d'une itération du processus Proc n'est pas supprimée, mais un débit réduit est affecté au codage de cette composante par rapport au codage des autres composantes spectrales d'éléments à coder restant à ordonner.
Le codeur 1 est ainsi un codeur permettant une adaptabilité en débit prenant en compte les interactions entre les différents signaux monophoniques. II permet de définir des données compressées optimisant la précision spatiale perçue.
Opérations réalisées au niveau du décodeur
Le décodeur 100 comprend un module de lecture de séquence binaire 104, un module de quantification inverse 105, un module 101 de transformation ambiophonique inverse et un module 102 de transformation fréquence/temps.
Le décodeur 100 est adapté pour recevoir en entrée le flux binaire Φ transmis par le codeur 1 et pour délivrer en sortie Q' signaux S'1 , S'2, ..., S'Q' destinés à alimenter les Q' haut-parleurs H1 , ..., HQ' respectifs d'un système de rendu sonore 103. Le nombre de haut-parleurs Q' peut dans un mode de réalisation être différent du nombre Q de composantes ambiophoniques transmises.
A titre d'exemple, p=2, soit Q=5, et Q'=8. La configuration d'un système de rendu sonore comprenant 8 haut-parleurs h1 , h2,..., h8 est représentée en figure 6.
Le module 104 de lecture de séquence binaire extrait de la séquence binaire Φ reçue des données indiquant les indices de quantification déterminés pour certains des éléments A(k, j) , k=1 à Q et j=0 à M-1 et les fournit en entrée du module 105 de quantification inverse.
Le module 105 de quantification inverse effectue une opération de quantification inverse.
Les éléments de la matrice A' des éléments A'(k, j) , k=1 à Q et j=0 à M-1 , sont déterminés, tels que A'(k, j) = A(k, j) lorsque la séquence reçue comportait des données indiquant l'indice de quantification de l'élément A(k, j) issu du codage des paramètres A(kj) des composantes ambiophoniques par le décodeur 100 et A'(k, j) = 0 lorsque la séquence reçue ne comportait pas de données indiquant l'indice de quantification de l'élément A(k, j) (par exemple ces données ont été coupés lors de la transmission de la séquence au niveau d'un serveur de streaming pour s'adapter au débit disponible dans le réseau et/ou aux caractéristiques du terminal). Le module 101 de transformation spatiale inverse est adapté pour déterminer les éléments X'(i, j), i=1 à Q', j= 0 à M-1 , de la matrice X_ définissant les M coefficients spectraux X'(i, j), i=1 à Q', j= 0 à M-1 , de chacun des Q' signaux S'i, à partir des composantes ambiophoniques décodées A'(k, j) , k=1 à Q et j=0 à M-1 , déterminées par le module 105 de quantification inverse.
Amblnv(p',Q') est la matrice de transformation ambiophonique inverse d'ordre p'=p pour la scène 3D adaptée pour déterminer les Q' signaux S'i, i= 1 à Q', destinés aux Q' haut-parleurs du système de rendu sonore associé au décodeur 100, à partir des Q composantes ambiophoniques reçues. Les angles βi, pour i=1 à Q', indiquent l'angle de propagation acoustique depuis le haut-parleur Hi. Dans l'exemple représenté en figure 6, ces angles correspondent aux angles entre l'axe de propagation d'un son émis par un haut-parleur et l'axe XX.
X_ est la matrice des composants spectraux X'(ij) des signaux Si', i=1 à Q' relatifs aux bandes de fréquences Fj, j= 0 à M-1. Ainsi :
A '(1,0) A '(1,1) A '(1,Af - I) l'(2,0) Â '(2, Af -I)
A' =
A '(β,0) A '(Q,!) A '(Q, Af -I)
1 —j=.cosβl .—j=. ήn βl —j=. ήn p'βl
V2 V2 V2
1 -^.cos/?2 -j=. ήn p'βl
Amblnv(p',Q')= V2 V2 et
1 -^.cosβQ' -^.ûn p'βQ
V2 '
et on a X' = Amblnv(p'.Q') x J' Equation (6).
Le module 100 de transformation spatiale inverse est adapté pour déterminer les coefficients spectraux X'(ij), i=1 à Q', j= 0 à M-1 , éléments de la matrice X_, à l'aide de l'équation (6).
Ces éléments X'(ij), i=1 à Q', j= 0 à M-1 , une fois déterminés, sont délivrés en entrée du module 102 de transformation fréquence/temps.
Le module 102 de transformation fréquence/temps du décodeur 100 effectue une transformation de l'espace de représentation fréquentielle vers l'espace de représentation temporelle sur la base des coefficients spectraux reçus X'(i, j), i=1 à Q', j= 0 à M-1 (cette transformation est dans le cas présent, une MDCT inverse), et il détermine ainsi une trame temporelle de chacun des Q' signaux S'1 ,..., S'QΛ
Chaque signal S'i, i = 1 à Q', est destiné au haut-parleur Hi du système de rendu sonore 103.
Certaines au moins des opérations effectuées par le décodeur sont dans un mode de réalisation mises en œuvre suite à l'exécution sur des moyens de traitement du décodeur, d'instructions de programme d'ordinateur.
Un avantage du codage des composantes issues de la transformation ambiophonique des signaux S1 , ..., SN tel que décrit est que dans le cas où le nombre de signaux N de la scène sonore est grand, il est possible de les représenter par un nombre Q de composantes ambiophoniques bien inférieur à N, en dégradant très peu la qualité spatiale des signaux. Le volume de données à transmettre est donc réduit et ceci sans dégradation importante de la qualité audio de la scène sonore. Un autre avantage d'un codage selon l'invention est qu'un tel codage permet une adaptabilité aux différents types de systèmes de rendu sonores, quel que soit le nombre, disposition et type de haut-parleurs dont le système de rendu sonore est muni.
En effet, un décodeur recevant une séquence binaire comprenant des composantes ambiophoniques opère sur celles-ci une transformation ambiophonique inverse d'ordre p' quelconque et correspondant au nombre Q' de haut-parleurs du système de rendu sonore auquel sont destinés les signaux une fois décodés.
Un codage tel qu'effectué par le codeur 1 permet d'ordonner les éléments à coder en fonction de leur apport respectif sur la précision spatiale et le respect de la reproduction des directions contenues dans la scène sonore, à l'aide du processus Proc.
Ainsi pour s'adapter aux contraintes du débit imposé, il suffit de tronquer la séquence en supprimant les éléments les moins pertinents disposés dans le bitstream. Il est garanti qu'alors la meilleure qualité spatiale est fournie au vu du débit disponible. En effet l'ordonnancement des éléments a été fait de façon à ce que les éléments qui apportent le moins à la qualité spatiale soient mis à la fin du bitstream.

Claims

REVENDICATIONS
1. Procédé d'ordonnancement de paramètres spectraux (A(kj) avec (kj) e E0) relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder (A1,..., AQ) provenant d'une scène audio comprenant N signaux (Sii=i à N), avec N>1 , caractérisé en ce qu'il comporte les étapes suivantes: a. calcul de l'influence respective d'au moins certains paramètres spectraux, parmi un ensemble de paramètres spectraux à ordonner, sur un vecteur d'angle défini en fonction de vecteurs d'énergie et de vélocité associés à des critères de Gerzon et calculés en fonction d'une transformation ambiophonique inverse sur lesdits composantes ambiophoniques quantifiés; b. attribution d'un ordre de priorité (PrioO) à au moins un paramètre spectral en fonction de l'influence calculée pour ledit paramètre spectral comparée aux autres influences calculées.
2. Procédé selon la revendication 1 , caractérisé en ce que le calcul de l'influence d'un paramètre spectral s'effectue selon les étapes : a. codage d'un premier ensemble (A(kj) avec (kj) e E0) de paramètres spectraux de composantes ambiophoniques à coder selon un premier débit (D0);
b. détermination d'un premier vecteur d'angle (^7 (O) ) par bande spectrale; c. détermination d'un second débit inférieur (D1) au dit premier débit; d. suppression dudit paramètre spectral courant des composantes à coder et codage des paramètres spectraux restants des composantes à coder selon le second débit; e. détermination d'un second vecteur d'angle par bande spectrale; f. calcul d'une variation de vecteur d'angle en fonction des écarts déterminés entre les premier et second vecteurs d'angle pour le premier et le second débit par bande spectrale; g. itération des étapes d à f pour chacun des paramètres spectraux de l'ensemble de paramètres spectraux de composantes à coder à ordonner et détermination d'une variation de vecteur d'angle minimum ; l'ordre de priorité attribué au paramètre spectral correspondant à la variation minimum étant un ordre de priorité minimum.
3. Procédé selon la revendication 2, caractérisé en ce qu'on réitère les étapes a à g avec un ensemble de paramètres spectraux de composantes à coder à ordonner restreint par suppression des paramètres spectraux pour lesquelles un ordre de priorité a été attribué.
4. Procédé selon la revendication 2, caractérisé en ce que on réitère les étapes a à g avec un ensemble de paramètres spectraux de composantes à coder à ordonner dans lequel les paramètres spectraux pour lesquels un ordre de priorité a été attribué sont affecté d'un débit de quantification plus réduit lors de l'utilisation d'un quantificateur imbriqué.
5. Procédé selon l'une des revendications précédentes, selon lequel une première coordonnée du vecteur d'énergie est fonction de la formule
, une seconde coordonnée du vecteur d'énergie est
V ]< <oTi2 ύnξ fonction de la formule — , une première coordonnée du
/ ,< <0Ti cos ξ vecteur de vélocité est fonction de la formule ~ et une
Σ l≤'≤Q Ti seconde coordonnée du vecteur de vélocité est fonction de la formule
V ,< <0 Ti sin ξ
„ , dans lesquelles les Ti, i=1 à Q, représentent les signaux
déterminés en fonction de la transformation ambiophonique inverse sur lesdits paramètres spectraux quantifiés selon le débit considéré et les ξι , i=1 à Q, sont des angles déterminés.
6. Procédé selon l'une quelconque des revendications précédentes, selon lequel :
une première coordonnée d'un vecteur d'angle (ξ} (1) ) indique un angle fonction du signe de la deuxième coordonnée du vecteur de vélocité et de l'arcosinus de la première coordonnée du vecteur de vélocité ; et une deuxième coordonnée du vecteur d'angle indique un angle fonction du signe de la deuxième coordonnée du vecteur d'énergie et de l'arcosinus de la première coordonnée du vecteur d'énergie.
7. Module d'ordonnancement (6) comprenant des moyens pour mettre en œuvre un procédé selon l'une quelconque des revendications précédentes.
8. Codeur audio adapté pour coder une scène audio 3D comprenant N signaux respectifs en un flux binaire de sortie, avec N>1 , comprenant : un module (3,4) de transformation adapté pour déterminer, en fonction des N signaux, des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques ; un module (6) d'ordonnancement selon la revendication 9, adapté pour ordonner au moins certains des paramètres spectraux des composantes ambiophoniques ; un module (8) de constitution d'une séquence binaire adapté pour constituer une séquence binaire comportant des données indiquant des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder ordonnées en fonction de l'ordonnancement effectué par le module d'ordonnancement.
9. Programme d'ordinateur à installer dans un module d'ordonnancement (6), ledit programme comprenant des instructions pour mettre en œuvre les étapes d'un procédé selon l'une quelconque des revendications 1 à 6 lors d'une exécution du programme par des moyens de traitement dudit module
(6).
10. Séquence binaire comportant des données, indiquant des paramètres spectraux relatifs à des bandes spectrales respectives de composantes ambiophoniques à coder, caractérisée en ce que ces données sont ordonnées selon un procédé d'ordonnancement conforme à l'une des revendications 1 à 6.
EP08788187.6A 2007-05-10 2008-04-16 Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes Active EP2143102B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0703347A FR2916078A1 (fr) 2007-05-10 2007-05-10 Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes
PCT/FR2008/050672 WO2008145894A1 (fr) 2007-05-10 2008-04-16 Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes

Publications (2)

Publication Number Publication Date
EP2143102A1 true EP2143102A1 (fr) 2010-01-13
EP2143102B1 EP2143102B1 (fr) 2018-08-29

Family

ID=38657132

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08788187.6A Active EP2143102B1 (fr) 2007-05-10 2008-04-16 Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes

Country Status (5)

Country Link
US (1) US8462970B2 (fr)
EP (1) EP2143102B1 (fr)
CN (1) CN101790753B (fr)
FR (1) FR2916078A1 (fr)
WO (1) WO2008145894A1 (fr)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2525839T3 (es) * 2010-12-03 2014-12-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adquisición de sonido mediante la extracción de información geométrica de estimativos de dirección de llegada
WO2012093290A1 (fr) * 2011-01-05 2012-07-12 Nokia Corporation Codage et/ou décodage de multiples canaux
EP2688066A1 (fr) 2012-07-16 2014-01-22 Thomson Licensing Procédé et appareil de codage de signaux audio HOA multicanaux pour la réduction du bruit, et procédé et appareil de décodage de signaux audio HOA multicanaux pour la réduction du bruit
EP2743922A1 (fr) 2012-12-12 2014-06-18 Thomson Licensing Procédé et appareil de compression et de décompression d'une représentation d'ambiophonie d'ordre supérieur pour un champ sonore
EP2866475A1 (fr) * 2013-10-23 2015-04-29 Thomson Licensing Procédé et appareil pour décoder une représentation du champ acoustique audio pour lecture audio utilisant des configurations 2D
CN104754471A (zh) * 2013-12-30 2015-07-01 华为技术有限公司 基于麦克风阵列的声场处理方法和电子设备
KR101862356B1 (ko) * 2014-01-03 2018-06-29 삼성전자주식회사 개선된 앰비소닉 디코딩을 수행하는 방법 및 장치
US9338552B2 (en) 2014-05-09 2016-05-10 Trifield Ip, Llc Coinciding low and high frequency localization panning
CN106657178B (zh) * 2015-10-29 2019-08-06 中国科学院声学研究所 一种基于http服务器的三维音效在线处理方法
CN108206022B (zh) * 2016-12-16 2020-12-18 南京青衿信息科技有限公司 利用aes/ebu信道传输三维声信号的编解码器及其编解码方法
US12308034B2 (en) * 2019-06-24 2025-05-20 Qualcomm Incorporated Performing psychoacoustic audio coding based on operating conditions
CN110739000B (zh) * 2019-10-14 2022-02-01 武汉大学 一种适应于个性化交互系统的音频对象编码方法
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield
CN115691515A (zh) * 2022-07-12 2023-02-03 南京拓灵智能科技有限公司 一种音频编解码方法及装置
CN115297406B (zh) * 2022-07-28 2024-11-05 湖南芯海聆半导体有限公司 基于双模音频三维码的声音接收设备控制方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970567B1 (en) * 1999-12-03 2005-11-29 Dolby Laboratories Licensing Corporation Method and apparatus for deriving at least one audio signal from two or more input audio signals
EP1749420A4 (fr) * 2004-05-25 2008-10-15 Huonlabs Pty Ltd Dispositif et procede audio
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008145894A1 *

Also Published As

Publication number Publication date
FR2916078A1 (fr) 2008-11-14
CN101790753A (zh) 2010-07-28
EP2143102B1 (fr) 2018-08-29
US20100198601A1 (en) 2010-08-05
WO2008145894A1 (fr) 2008-12-04
US8462970B2 (en) 2013-06-11
CN101790753B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
EP2143102B1 (fr) Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d&#39;ordinateur associes
EP2145167B1 (fr) Procédé de codage audio, codeur audio, signal codé et programme d&#39;ordinateur associés
US8817991B2 (en) Advanced encoding of multi-channel digital audio signals
CN105027199B (zh) 在位流中指定球谐系数和/或高阶立体混响系数
US8964994B2 (en) Encoding of multichannel digital audio signals
JP7419388B2 (ja) 回転の補間と量子化による空間化オーディオコーディング
CN106463121B (zh) 较高阶立体混响信号压缩
TW202145197A (zh) 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法
EP2002424A1 (fr) Dispositif et procede de codage gradue d&#39;un signal audio multi-canal selon une analyse en composante principale
EP3100264A2 (fr) Codage des trames des coefficients indépendents higher-order ambisonic
EP2168121A1 (fr) Quantification apres transformation lineaire combinant les signaux audio d&#39;une scene sonore, codeur associe
KR20160015284A (ko) 회전된 고차 앰비소닉스의 바이노럴화
EP2198425A1 (fr) Procede, module et programme d&#39;ordinateur avec quantification en fonction des vecteurs de gerzon
EP4042418B1 (fr) Détermination de corrections à appliquer a un signal audio multicanal, codage et décodage associés
EP4533449A1 (fr) Titre: codage audio spatialisé avec adaptation d&#39;un traitement de décorrélation
EP4172986A1 (fr) Codage optimise d&#39;une information representative d&#39;une image spatiale d&#39;un signal audio multicanal
CN120418863A (zh) 神经网络模型进行立体声解码的方法及解码器

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091029

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100310

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180430

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1036096

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180915

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602008056722

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180829

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181229

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181129

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181130

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181129

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1036096

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602008056722

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20190531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190430

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080416

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180829

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250319

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260320

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260320

Year of fee payment: 19