EP4371108A1 - Quantification vectorielle spherique optimisee - Google Patents

Quantification vectorielle spherique optimisee

Info

Publication number
EP4371108A1
EP4371108A1 EP22754459.0A EP22754459A EP4371108A1 EP 4371108 A1 EP4371108 A1 EP 4371108A1 EP 22754459 A EP22754459 A EP 22754459A EP 4371108 A1 EP4371108 A1 EP 4371108A1
Authority
EP
European Patent Office
Prior art keywords
spherical
coding
decoding
quantization
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22754459.0A
Other languages
German (de)
English (en)
Inventor
Stéphane RAGOT
Mohamed YAOUMI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4371108A1 publication Critical patent/EP4371108A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio

Definitions

  • the present invention relates to spherical vector quantization applied to the coding/decoding of sound data, in particular spatialized data in an ambiophonic context (also denoted “ambisonic” below) for the coding of rotation matrices by the through a representation by quaternions or parametric coding where source directions (abbreviated as "DoA” for Direction of Arrival in English) are quantified, but also for audio coding by mono transform serving as core coding to represent the data spatialized sounds.
  • the coders/decoders (hereinafter referred to as “codecs”) which are currently used in mobile telephony are mono (a single signal channel for playback on a single loudspeaker).
  • the 3GPP EVS codec (for “Enhanced Voice Services”) makes it possible to offer “Super-HD” quality (also called “High Definition Plus” or HD+ voice) with a super-wideband audio band (SWB for “super- wideband” in English) for signals sampled at 32 or 48 kHz or full band (FB for “Fullband”) for signals sampled at 48 kHz; the audio bandwidth is 14.4 to 16 kHz in SWB mode (9.6 to 128 kbit/s) and 20 kHz in FB mode (16.4 to 128 kbit/s).
  • SWB super-wideband audio band
  • FB full band
  • the next quality evolution in the conversational services offered by operators should be constituted by immersive services, using terminals such as smartphones equipped with several microphones or spatialized audio conferencing equipment or videoconferencing of the tele-presence or video type. 360°, or equipment for sharing “live” audio content, with spatialized 3D sound reproduction that is much more immersive than simple 2D stereo reproduction.
  • terminals such as smartphones equipped with several microphones or spatialized audio conferencing equipment or videoconferencing of the tele-presence or video type. 360°, or equipment for sharing “live” audio content, with spatialized 3D sound reproduction that is much more immersive than simple 2D stereo reproduction.
  • advanced audio equipment accessories such as a 3D microphone, voice assistants with acoustic antennas, virtual or augmented reality headsets, etc. .
  • the capture and rendering of spatialized sound scenes is now widespread enough to provide an immersive communication experience.
  • the future 3GPP "IVAS" standard proposes the extension of the EVS codec to immersive audio by accepting as codec input format at least the spatialized sound formats listed below (and their combinations): - Multichannel format (channel-based in English) of stereo or 5.1 type where each channel comes power a loudspeaker (for example L and R in stereo or L, R, Ls, Rs and C in 5.1);
  • MASA Metal assisted Spatial Audio
  • the signals to be processed by the coder/decoder are presented as successions of blocks of sound samples called “frames” or “sub-frames” below.
  • the radius r and the azimuth (or longitude) Q are identical in these two definitions, but the angle ⁇ differs depending on whether it is defined with respect to the horizontal plane Oxy (elevation or latitude on the interval [-p/2 , p/2]) or from the Oz axis (co-latitude or polar angle on the interval [0, p]).
  • the azimuth Q can be defined on an interval [-p,p], in an equivalent way we can set to [0, 2p] by simple modulo 2p operation. It is also possible to represent the same angular coordinates in another unit, for example in degrees. It should be noted that the symbols can be different in the literature (for example f instead of ⁇ ) and/or inverted (for example 0 for the colatitude and y for the longitude).
  • spherical coordinates are generalized in higher dimension.
  • w rcos ⁇ 1
  • x rsin ⁇ 1 cos ⁇ 2
  • r y r sin ⁇ 1 sin ⁇ 2 cos ⁇ 3
  • z r sin ⁇ 1 sin ⁇ 2 sin ⁇ 3
  • r > 0 is the radius
  • ⁇ 1 and ⁇ 2 are on [0, ⁇ ] and ⁇ 3 on [- p, p] or equivalently on [0, 2p].
  • x,y,z are seen as a 3D point and represented here by the colatitude ⁇ and the azimuth 0 as defined previously for dimension 3 with the physical convention - the angles ⁇ ⁇ and ⁇ 2 are therefore different from ⁇ and ⁇ , because of the permutation of the coordinates and the different conventions.
  • dimensions other than 3 or 4 will be possible.
  • spherical vector quantization applied to audio coding in general, and more particularly to the coding of spatialized sound, including the ambisonic format.
  • This also includes parametric coding using 3D source directions.
  • the invention can also be applied to other audio formats and to other signals in which spherical data in dimension n are to be coded, for example for audio coding by transform where each sub-band is coded by vector quantization spherical gain-shape type.
  • PCA Principal Component Analysis
  • DiRAC for Directional Audio Coding
  • the invention may be applied to other coding schemes, in particular for audio coding by transform.
  • Ambisonics is a method of recording ("coding" in the acoustic sense) of spatialized sound and a system of reproduction (“decoding” in the acoustic sense).
  • An ambisonic microphone (in order 1) comprises at least four capsules (typically of the cardioid or sub-cardioid type) arranged on a spherical grid, for example the vertices of a regular tetrahedron.
  • the audio channels associated with these capsules are called the “A-format”.
  • This format is converted into a "B-format", in which the sound field is broken down into four components (spherical harmonics) denoted W, X, Y, Z, which correspond to four coincident virtual microphones.
  • the W component corresponds to an omnidirectional capture of the sound field, while the X, Y and Z components, which are more directive, are similar to pressure gradient microphones oriented along the three orthogonal axes of space.
  • An Ambisonic system is a flexible system in the sense that recording and playback are separate and decoupled. It allows decoding (in the acoustic sense) on any configuration of loudspeakers (for example, binaural, “surround” sound of type 5.1 or periphony with elevation of type 7.1.4).
  • the ambisonic approach can be generalized to more than four channels in B-format and this generalized representation is commonly called “HOA” (for “Higher-Order Ambisonics”).
  • FOA First-Order Ambisonics
  • First Order Ambisonics (4 channels: W, X, Y, Z), Planar First Order Ambisonics (3 channels: W, X, Y), Higher Order Ambisonics are all referred to as ci - afterwards by “ambisonic” indiscriminately to facilitate reading, the treatments presented being applicable independently of the planar type or not and of the number of ambisonic components. If however in certain passages it is necessary to make a distinction, the terms "ambisonic of order 1" and “ambisonic of order 1 planar” are used. Different solutions have been proposed for encoding Ambisonic signals. The simplest approach is multi-mono encoding, where each Ambisonic component is encoded separately by a mono audio encoder.
  • the strategy of this type of Ambisonic coding is to de-correlate the channels of the Ambisonic signal as much as possible and then code them separately with a core codec (for example multi-mono).
  • This strategy makes it possible to limit artifacts in the decoded Ambisonic signal.
  • an optimized decorrelation of the input signals is applied before coding (for example multi-mono).
  • rotation matrices of size 4x4 for the FOA case in 3D (resulting from a PCA/KLT analysis as described for example in the aforementioned patent application) are converted into parameters, for example 6 Euler angles generalized or two unit quaternions, which are encoded.
  • the quaternion domain makes it possible to interpolate the transformation matrices calculated for the PCA/KLT analysis rather than repeating several times per frame a decomposition into eigenvalues and eigenvectors; the transformation matrices being rotation matrices, on decoding, the inverse matrixing operation is carried out simply by transposing the matrix applied to the coding.
  • An alternative approach to PCA coding is given by DiRAC (Directional Audio Coding) coding, described for example in the article V.
  • the directions of sources are represented in the form of 3D spherical data, for example in the form of spherical coordinates (azimuth, elevation) according to the geographical convention.
  • this DoA information can be formulated as a vector quantization problem on the sphere in dimension 3.
  • any discretization of the sphere can be used as a spherical vector quantization dictionary.
  • the search for the nearest neighbor and the indexing in this dictionary can prove to be costly to implement when the coding rate of the DoA information is too high (e.g.: 16 bits per 3D vector indicating a DoA ).
  • This grid spherical is not optimal because the azimuth always starts at -180 degrees for each elevation index i, which implies an alignment of all points on a same meridian.
  • a 3D spherical grid it is desirable that a local distribution of points on the surface of the sphere be similar to a hexagonal 2D grid, which is clearly not verified if the points are thus aligned on a meridian.
  • the invention improves the state of the art.
  • the invention relates to a method of coding a multichannel audio signal comprising the coding of at least one parameter represented by an entry point on a sphere of dimension n being carried out by coding of n-1 coordinates spherical grids of this entry point, the method comprising the following operations: a) sequential scalar quantification of the n-1 spherical coordinates, defining a spherical grid, comprising for a current spherical coordinate to be coded: - determination of a number of levels of scalar quantization for the current spherical coordinate to be encoded, based on previously encoded spherical coordinates; - scalar quantification of said current spherical coordinate as a function of said determined number of levels, with for n-2 coordinates, the determination of the 2 closest candidates for the current spherical coordinate to be coded and giving two quantification indices depending on the quantification indices determined for the preceding spherical coordinate
  • This quantization method implements an optimal search by taking into account two candidates per spherical coordinate for the sequential coding of the spherical coordinates.
  • This search is optimized in terms of complexity and/or data storage compared to a global exhaustive search.
  • This method provides better performance in particular by providing low quantization errors at a given rate, compared to a completely separate quantization of the spherical coordinates without taking into account more than one candidate.
  • the sequential encoding of the separate quantization indices includes determining a global quantization index by adding at least cardinality information to the quantization index of a spherical coordinate. A single global index is thus determined and transmitted to the decoder to reconstruct the entry point, which limits the data to be transmitted.
  • the scalar quantization of one of the n-1 spherical coordinates includes a predefined offset. Such a shift makes it possible to avoid an alignment on the same “meridian” of the decoded points on the sphere and thus makes it possible to optimize the quantification performance.
  • the determination of the number of quantization levels for at least one spherical coordinate is carried out as a function of a total number of points of the spherical grid and of the surface of a spherical zone of the sphere in size no. This approach makes it possible to further improve the performance of the quantification in terms of data storage since the determination of the number of levels and the resulting indexing is defined analytically.
  • the determination of cardinality information is carried out, for at least one spherical coordinate, as a function of a number of points of the spherical grid, and of the surface of a spherical zone of the sphere. in dimension n.
  • the number of levels is forced to an odd value for a number different from 1.
  • this odd number of levels makes it possible to have, for example in dimension 3, a level of reconstruction in colatitude at ⁇ /2 (or equivalently a level of reconstruction in elevation at 0), which makes it possible to represent the horizontal plane for certain 3D audio applications, such as for example applications with artificial ambisonic content in which it is common to have a zero Z component.
  • This coding method is perfectly suited to the coding of these rotation matrices and provides good quantization performance for these matrices.
  • This coding method is perfectly adapted to the coding of the direction of arrival information of audio sources in a 3D representation and provides a good compromise between quantization performance and complexity/storage for encoding and decoding this information.
  • the invention also relates to a method for coding an audio signal in which the coding of the audio signal uses a transformation into frequency sub-bands and in which the at least one parameter represented by an entry point on a sphere of dimension n is at least one subband with a value of n at the size of the subband.
  • the invention also relates to a method for decoding a multichannel audio signal comprising the decoding of at least one parameter represented by an entry point on a sphere of dimension n, by decoding n-1 spherical coordinates of this point d input, the method comprising the sequential decoding of the spherical coordinates, defining a spherical grid, from a global quantization index or from n-1 multiplexed indices, by the following operations: - determination of a number of quantization levels for the spherical coordinate to be decoded according to the previously decoded spherical coordinates; - determination of the separate indices resulting from the separate quantification of said spherical coordinates according to the numbers of levels determined then obtaining the corresponding spherical coordinates to reconstruct a decoded point on the sphere of dimension n.
  • This decoding method makes it possible to find a point on the sphere corresponding to the coded entry point with good performance, in particular in terms of quantification error.
  • the determination of the separate indices is carried out on the basis of cardinality information defined for said spherical coordinates. This embodiment applies in the case where a global quantification index is received.
  • the decoding of one of the n-1 spherical coordinates includes a predefined offset. This offset has indeed made it possible to optimize the quantization performance and thereby optimizes the decoding performance.
  • cardinality information is obtained analytically from a number of points and the area of a spherical region of the n-dimensional sphere.
  • the invention relates to an encoding device comprising a processing circuit for implementing the steps of the encoding method as described previously.
  • the invention also relates to a decoding device comprising a processing circuit for implementing the steps of the decoding method as described previously.
  • the invention relates to a computer program comprising instructions for implementing the coding or decoding methods as described previously, when they are executed by a processor.
  • the invention relates to a storage medium, readable by a processor, storing a computer program comprising instructions for the execution of the coding method or of the decoding method described above.
  • FIG. 1a illustrates in flowchart form the steps implemented in a coding method according to a general embodiment of the invention
  • FIG 1b illustrates in the form of a flowchart the steps implemented in a decoding method according to a general embodiment of the invention
  • FIG 2a illustrates in the form of a flowchart the steps implemented in a coding method according to a 3-dimensional embodiment of the invention
  • FIG 2b illustrates in the form of a flowchart the steps implemented in a decoding method according to a 3-dimensional embodiment of the invention
  • FIG 3a illustrates in the form of a flowchart the steps implemented in a coding method according to a 4-dimensional embodiment of the invention
  • FIG. 3b illustrates in flowchart form the steps implemented in a decoding method according to a 4-dimensional embodiment of the invention
  • [FIG 3b] illustrates in flowchart form the steps implemented in a decoding method according to a 4-dimensional embodiment of the invention
  • [FIG 3b] illustrates in flowchart form the steps implemented in
  • spherical data are preferentially quantified in dimension 3 and 4.
  • a general embodiment in dimension n 3 3 is also dealt with first. example for the coding and decoding of the DoA directions in a coding and decoding for example of the DiRAC type as described later with reference to FIGS. 4 and 5. the domain of (unitary) quaternions and (unitary) double quaternions respectively, for example for Ambisonic coding and decoding by principal component analysis as described later with reference to FIGS. 6 and 7.
  • the case of a dimension n > 4 is applied as an exemplary embodiment to the coding of sub-bands in an audio codec by mono transform.
  • x 1 r cos ⁇ n
  • x 2 r sin ⁇ 1 cos ⁇ 2
  • c n-1 r sin ⁇ 1 sin ⁇ 2 ... cos ⁇ h _ 1
  • x n r sin ⁇ 1 sin ⁇ 2 ... sin ⁇ h-1
  • angles are here - unless otherwise stated - defined in radians, in variants another unit may be used (eg degrees).
  • this radius r separately to obtain a quantification of gain-shape type, the shape being coded according to the invention and the radius being coded separately according to conventional methods which are outside the scope of the invention (for example a scalar quantization followed by entropy coding).
  • grid or “spherical grid” a spherical vector quantization dictionary which discretizes the sphere According to the invention the grid is defined implicitly by the sequential quantization of spherical coordinates.
  • the spherical data at the input of the coding are represented by a quasi-uniform discretization (here in the sense of the uniformity of the area of the decision regions and/or of the distribution of the points) of the sphere
  • the grid is defined by a sequential scalar quantization of the coordinates
  • This constraint makes it possible to divide the coding steps according to the spherical coordinates, by first coding ⁇ 1 at step E102-1, then ⁇ 2 at step E102-2, , and finally ⁇ n-1 at step E102-(n-1).
  • This sequential approach is according to the invention equivalent to an exhaustive search for the nearest neighbor in the complete spherical grid, since the steps E102-1 to E102-(n-2) give two candidates (the two points closest to ⁇ k ), which amounts to implicitly defining a binary search tree with 2 n-2 candidates (leaves) at the end of step E102-(n1). We can verify that this binary tree allows an optimal search.
  • each step E102-k is the same, taking into account the fact that the angles ⁇ 1 , ... , ⁇ n-2 have a support of width p while ⁇ n- has a support of width 2p.
  • a grid is used instead with a number of scalar quantification levels N k depending on the spherical coordinate ⁇ k and on the coded values ⁇ 1 , ⁇ 2 ... of the preceding coordinates.
  • the number N 1 ⁇ 1 of scalar quantization levels for the first spherical coordinate is predetermined according to different approaches in step E103-1, either directly by fixing a predetermined integer value N 1 , or by means of an angular resolution a.
  • the values of N k (including the value of N 1 ) will be fixed in order to verify an allocated throughput constraint not to be exceeded for the spherical vector quantization.
  • the scalar quantization dictionary for the coordinate ⁇ 1 is preferably given by the set of reconstruction values (or codewords): which corresponds to a uniform scalar quantization on [0, ⁇ ] at N 1 levels.
  • other dictionaries of scalar quantization uniform or non-uniform will be possible, including dictionaries which do not include the poles
  • N k given in the general form in step E103-2, ..., E103-(nl): where the indices i k are the scalar quantization indices of the coordinate obtained in step E104-k and is the predefined dictionary of scalar quantization which is a function of the coordinates previously encoded and represented by the respective indices
  • the scalar quantization dictionary for the coordinate is so preferential given by: and which corresponds to a uniform scalar quantization on respectively N k levels on [0, p] and N n-1 levels on [0,2p].
  • N k levels on [0, p] and N n-1 levels on [0,2p] are not repeated from the circular nature of this coordinates (i.e., at because of the modulo 2p).
  • other scalar quantization dictionaries will be possible.
  • the spherical grid is therefore defined as the following spherical vector quantization dictionary:
  • step E104-k consists in quantifying the coordinate ⁇ k with a pre-determined dictionary with levels to retain two indices of quantification corresponding to the two closest candidates.
  • step E104-1 two indices i 1 (0) and i 1 (1) are retained corresponding to the two points of the dictionary closest to such that:
  • step E104-2 two indices corresponding to the two dictionary points closest to ⁇ 2 for each of the two candidates selected at step E-104-1, which gives 4 clues and so that :
  • step E104-(n1) only the closest neighbor is retained for coding 0 n-1; and this step is repeated for the 2 n-2 combinations of indices from the previous n-2 coordinates.
  • the corresponding separate quantization indices are: where the operator corresponds to a binary shift of the integer value b (in binary representation) by n bits to the right – that is, b » n gives the quotient of the integer division of b by 2n .
  • m » (n - 3) takes only two values 0 or 1 for (n - 4) takes 4 possible values (from 0 to 3) for i 2 , etc.
  • Step E106 selects the candidate closest to the entry point, i.e. in the domain of Cartesian coordinates, having converted each candidate in Cartesian and minimizing a distance with or in the domain of spherical coordinates with a predetermined distance which is preferably the angular distance.
  • step E106 converts the spherical coordinates into Cartesian coordinates ) and we selects the optimal combination of separate indices as: here for a quadratic error criterion between the entry point and each candidate In variants of other distance criteria than the quadratic error can be used.
  • We can also, equivalently to a quadratic error, maximize the scalar product: car where is the dot product, the points being on a unit sphere.
  • This combination of indices (in abbreviated form) is converted into a binary stream in step E107, either in the form of a global and unique index, or in the form of a coding and/or multiplexing of the separate quantification indices.
  • this index is generally obtained in the form: where o ⁇ set k ⁇ .) represents cardinality information for the k-th coordinate, in the form of a cumulative sum of cardinality corresponding to the cumulative sum - from the "North Pole” - of the number of grid points up to 'to the “spherical zone” defined by the encoded value of the k-th coordinate.
  • the global index index is obtained by sequential coding of the quantification indices separated from the best candidate.
  • o ⁇ set ⁇ 0) 0 and to One can extend the cardinality information with the convention which is useful for decoding.
  • the global index index is obtained by sequential coding of the quantization indices separated from the best candidate.
  • step E107 consists of sequentially coding in binary form the n-1 indices corresponding to the best candidate.
  • This coding is sequential because the number of possible values (N k ) for each index depends on the previous indices.
  • This third embodiment is particularly interesting for high dimensions because the use of cardinality of type is relevant in dimension 3, more complicated in dimension 4 and it becomes even more complex to implement in dimension higher than 4.
  • the multiplexing is therefore done sequentially to form a binary stream of variable total length bits, by first multiplexing i 1 then i 2 and so on until Note that when the coding takes 0 bits for the index i k .
  • the indices will be coded sequentially with entropy coding of the Huffman type or arithmetic coding.
  • N k in abbreviated notation designates by determining the partial surface of the sphere in the "spherical slice" associated with i k for the coordinate (if applicable conditionally to clues this area being normalized by the total area of the sphere for the coordinate ⁇ ⁇ and by the total area of the part of the sphere induced by the indices for contact details
  • spherical slice means the spherical zone induced for the coordinate ⁇ k and delimited by the decision thresholds corresponding to the code word of index i k .
  • step E110 Given the global index at step E110, a sequential decoding of the spherical coordinates is performed from step E111-1 to step E11-(n-1) according to an approach similar to coding.
  • step El 12-1 as in coding step E103-1, a number of scalar quantization levels N 1 is determined.
  • the index i 1 is determined in step E113-1 to decode the value in step E114-1.
  • the determination of i x is based on the comparison of the index value to a set of integer values corresponding to a cumulative sum of cardinality for the first spherical coordinate, as previously defined for the coding with reference to FIG.
  • decode ii is through an iterative search.
  • the determination of i 1 is carried out analytically. The exact determination depends on the dimension n. Examples of embodiments for dimension 3 and 4 are described below.
  • step E113-1 the value of o ⁇ set ⁇ i ⁇ ) is subtracted from index:
  • step El 12-2 as in step E103-2, a number of scalar quantization levels is determined, then the index i 2 is determined in step El 13-2 by comparing successively the index value (updated in step El 13-1) to corresponding to a cumulative sum of cardinality for the second spherical coordinate, by successively incrementing the value of i 2 as an index in the first embodiment or analytically in the second embodiment. The value is obtained in step El 14-2.
  • step El 13-2 the value of to index:
  • the decoding proceeds in this way until the last coordinate to obtain the index quantization corresponding to the coordinate by subtracting the updated value from index by and to decode the value at step E114-(n- 1).
  • step E115 is thus obtained as or in Cartesian data in El 16, the point
  • step El 10 consists of sequentially demultiplexing and decoding the n-1 separate scalar quantization indices
  • This decoding is sequential because the number of possible values (N k ) for each clue depends on the preceding clues.
  • this sequential demultiplexing and decoding will use a fixed rate binary decoding for the index on respectively bits where denotes rounding to integer higher, with the convention Demultiplexing is therefore done sequentially to read a bit stream of variable total length bits.
  • the demultiplexing is sequential because i 1 is demultiplexed first, which makes it possible to determine N 2 (i 1 ), this information is given to the demultiplexing in order to be able to demultiplex i 2 ,, etc.
  • the indices will be demultiplexed and decoded sequentially with entropy decoding of the Huffman type or arithmetic decoding.
  • Figure 2a describes a method of encoding an entry point on a 3-dimensional sphere.
  • the components (x, y, z) of a 3D Cartesian vector (entry point of step E200) are put in the form of spherical coordinates (r, ⁇ ,q) in E201.
  • a conversion of the spherical coordinates is optionally carried out, for example to convert an elevation and an azimuth in degrees to a colatitude and an azimuth in radians.
  • angles to be coded are defined in radians - however the resolution parameter used in certain variants is given in degrees to facilitate its interpretation.
  • the various embodiments may use another unit, for example degrees, for the angles to be coded.
  • the colatitude (defined from the Oz axis) may be replaced by an elevation (defined from the horizontal plane Oxy), and other equivalent spherical coordinate systems (obtained for example by permutation or inversion of Cartesian coordinates) can be used according to the invention - it will suffice to apply the necessary conversions in the definition of the scalar quantification dictionaries, the number of levels, etc.
  • the coding and decoding according to the invention applies to all definitions of spherical coordinates, it is thus possible to replace ⁇ ,q by other spherical coordinates, by adapting the conversion between Cartesian coordinates and spherical coordinates.
  • the input spherical data on the sphere are represented by a quasi-uniform discretization (here in the sense of the uniformity of the area of the decision regions and the distribution of the points) of the sphere
  • the grid (or quantification dictionary spherical vector) is thus defined by a sequential scalar quantification of the spherical coordinates ⁇ ,q, in the sense that a first coordinate ⁇ is discretized by scalar quantification, then a second coordinate Q conditionally, according to the coded value of the first coordinate.
  • angles ⁇ ,q will be defined in radians.
  • a unit other than radians, for example degrees, may be used.
  • spherical grids are defined according to the invention. They all have in common the fact of discretizing sequentially the colatitude then the azimuth by scalar quantification, with a uniform discretization of the azimuth according to a number of levels depending on the coded value of the colatitude.
  • each of the variants of the 3D grids according to the invention as a set of “zones spherical” or discretized “horizontal slices” induced from the quantification of the colatitude (the limits of each slice are given by the decision thresholds of the quantification of the colatitude, excluding poles), these slices being then themselves divided into “regions » evenly distributed in azimuth with a number of « regions » depending on the slice in colatitude.
  • the total number of points of the discretized sphere according to the different numbers of levels determined, also called the total number of points in the 3D grid is in all cases:
  • the spherical grid is therefore defined as the following spherical vector quantization dictionary:
  • the search for the nearest neighbor in the grid would correspond to a division of the sphere into “spherical rectangles » ; according to the invention, it is however preferentially provided to perform a sequential coding where two candidates are selected for the colatitude, which changes the shape of the decision regions with in general a majority of "decision regions" of hexagonal shape , and an optimal result equivalent to an exhaustive search.
  • the coding (specifically, nearest neighbor search) and decoding (“inverse” quantization) algorithm is common to all types of grid, on the other hand the determination of the global index (the indexing) and the decoding of the global index depend on the embodiment.
  • the type of scalar quantization dictionary used to encode the colatitude can be uniform (with or without poles) or non-uniform.
  • the grid is defined in a specific way to simplify the step of determining the global quantification index (indexing) which operates without storing the cardinality information.
  • indexing global quantification index
  • the number of levels for the coding of the azimuth and the cardinality information necessary for the indexing are obtained analytically from the partial surface of the sphere and the total number of points
  • the grid is defined for example from an angular resolution a (in degrees to facilitate its interpretation) as follows.
  • the colatitude is coded by scalar quantization on N 1 reconstruction levels.
  • a uniform scalar quantization is used over the interval [O,p] (including the values and p as reconstruction levels): where N 1 is defined in E203-1 by to have an odd number of levels N 1 (and therefore include the North and South poles and the equator) and [.] is rounded to the nearest integer.
  • N 1 is defined in E203-1 by to have an odd number of levels N 1 (and therefore include the North and South poles and the equator) and [.] is rounded to the nearest integer.
  • the azimuth Q is coded by scalar quantization on N 2 ( ⁇ ) levels in E202-2.
  • a uniform scalar quantization is used in E202-2 with a uniform scalar quantization dictionary taking into account the cyclic nature of the interval [0,2p] so that it is not necessary to have the two redundant terminals 0 and 2p as reconstruction levels: orN 2 is for example defined in E203-2 by is a predetermined offset according to the invention.
  • the shift 5(0 is defined to "rotate” the "horizontal slice” of the sphere (delimited by the colatitude decision thresholds) associated with each colatitude of index ⁇ so that the coded azimuths are the least aligned possible by one successive slice to another.
  • the same dictionary can be defined in an equivalent way in two processing blocks with a simplified dictionary (without shift): by applying the offset 5(0 as pre- and post-processing of a uniform scalar quantization with the dictionary (see the description of the coding with reference to the figure 2a below).
  • the total number of points in the grid is given by : which gives a throughput of log 2 N 1ot bits.
  • Table 1 gives examples of resolutions a (in degrees) to obtain a number of points N 1ot making it possible to best approach a target bit rate (in bits) in a grid where N 1 is a function of a.
  • the values of a are indicative here and in variants other values may be used. It will be noted that in general a certain number of possible levels are not used because of the constraint of sequential construction of the 3D grid.
  • N 1 and the scalar quantization dictionary for the colatitude can be determined by different methods.
  • the poles and the equator are included in the dictionary of colatitude, Indeed, the poles are associated with only one point since in the preferred embodiment where and p are included in the associated lag is therefore irrelevant. It is interesting to keep a gap null in the horizontal plane to have more easily interpretable 3D directions, when 2 is included in
  • i the quantization error for a spherical area bounded by the elevations 1.
  • This error can be estimated by Monte Carlo simulation of a source randomly distributed according to a uniform law on the surface of the sphere (for example by Gaussian drawing in dimension 3 and normalization), by retaining only the random samples whose elevation is between these random samples are coded according to the invention by testing different candidate values of
  • Table 2 gives an example of shift obtained by such learning (or optimization process) for the case of an 8-bit 3D grid (defined in Table 1). It appears that this embodiment requires storing the N 1 values of In variants, it will be possible to store only the values non-zero and non-redundant, with the convention In variants, we can take an antisymmetric convention around the equator. Table 2
  • the offset 5(0) will be defined at predetermined values so as not to have to store these values.
  • the offset is set to and other aspects of the invention are implemented.
  • the number of levels N 1 can be fixed directly at an integer value (preferably odd), without trying to approximate an angular resolution a. It is possible to deduce from N 1 an angular resolution, which corresponds in a particular mode to the quantization step: (in degrees). The determination of the number of levels N 2 (i) is recovery with this value of ⁇ with
  • This particular mode however has the defect of generally having less finesse in the allocation of the number of points per spherical layers to reach a certain target bit rate.
  • Table 3 gives examples of the number of points N 1ot for values N 1 making it possible to approach a target bit rate (in bits) in a grid where N 1 is given directly.
  • i 1 (0) and i 1 (1) can be determined by direct quantification - we give below an example of realization for the case of a uniform scalar dictionary of the form
  • the azimuth Q is coded by uniform scalar quantization in E204-2 with an adaptive number of levels, as described previously in step E203-2, to obtain in E204-2, the two values respectively.
  • step E205 two candidates -
  • the candidate is selected , 1 closest to and in Cartesian coordinates.
  • the distance criterion can be the Euclidean distance which is to be minimized or the scalar product which is to be maximized.
  • the quantization indices selected in E206 correspond to the selected point:
  • the last step can be carried out without going through the Cartesian coordinates, by calculating a distance directly in the domain of the coordinates spherical.
  • This sum can be interpreted as the cardinality of an area discretized spherical (the number of points of the partial grid going from the colatitude of index 0 to the colatitude of index i).
  • the global index index is obtained by sequential coding of the separate quantification indices i, j of the best candidate.
  • the value 0 corresponds to the North Pole and the value corresponds to the South Pole.
  • the value here is set to allow decoding of in from x (see below with reference to Figure 2b).
  • the coding steps are identical to those of the first embodiment, except for the step of determining the number N 2 (i) in E203-2 and the indexing step in E207 which are specific to this second embodiment and detailed below.
  • the values giving the number of azimuth values encoded in each "slice spherical” associated with the coded colatitude of index i will be fixed in this second embodiment to allow analytical indexing.
  • N 1 could be an integer preferably odd where the lag is fixed as described in the first embodiment and is defined below based on the partial area on the sphere, values and a total number
  • the values of N 1 and the total number necessary for the determination of may be initialized as determined in the first embodiment: for example as in table 1 (with 210 unused values for a target rate of 16 bits), but it will also be possible to set different values, in particular to limit the number unused points for a given bit rate.
  • Different methods of determining the number of levels are defined. They all have in common to use a rounding to a predefined integer (for example the nearest integer) of an estimate of a number of points of the grid from a total number of points and the surface of a spherical zone delimited by values (thresholds) in colatitude, this surface being itself normalized by the surface of a spherical zone which is for example the complete sphere or the complete sphere excluding the polar caps.
  • a predefined integer for example the nearest integer
  • the area of an element around the point on the sphere is given by is here the colatitude (if the elevation were used, we would have a term in The partial surface defined by a spherical zone delimited by two horizontal planes induced by an interval of colatitude the azimuth being on , is given by:
  • the surface of the sphere of radius r is For a number of points N tot in the spherical grid (or spherical vector quantization dictionary), each "decision region" associated with a point of the grid is here approximated by a "spherical rectangle" for indexing purposes (this which corresponds to a non-sequential decision of separate coding of the spherical coordinates).
  • Each of these regions should ideally have an area of if the grid is uniform.
  • ic of index i bounded by the two horizontal planes associated with the decision thresholds by a simple rule of three, in the form: which can be rounded to an integer (e.g. nearest integer, or lower, or higher, etc.).
  • E203-2 This number of levels is obtained by an estimate (rounded) of the number of points in the grid from the total number N tot and the surface of a spherical zone (or "spherical slice") of index i delimited by the two horizontal planes associated with decision thresholds
  • This number of levels (excluding poles) is obtained by an estimate (rounded) of the number of points in the grid from the total number (modified) and the surface of an area spherical between the North Pole and the limit of the "spherical slice" of index ⁇ delimited by the horizontal plane associated with the decision threshold this surface being normalized by the surface of the spherical zone delimited by the two horizontal planes associated with the decision thresholds
  • it will also be possible to adjust the determination of by modifying the type of rounding (lower or higher integer instead of the nearest integer) for certain values of i,
  • the values obtained in this second step are different from the values defined in the first embodiment, even if is defined as in the first embodiment.
  • the azimuth dictionaries can therefore be determined as: where N 2 (i) is determined according to the second embodiment.
  • the global index index is obtained by sequential coding of the separate quantification indices i,j of the best candidate.
  • the values for at least some indices i are obtained by an estimation (rounded) of the number of points in the grid from the total number and the area of a spherical zone between the North Pole and the lower limit of the "spherical slice" of index ⁇ delimited the horizontal plane associated with the decision threshold – this surface being normalized by the total surface of the sphere.
  • the values for at least some indices i are obtained by an estimation (rounded) the number of points in the grid from the modified total number and the surface of a spherical zone between the North Pole and the lower limit of the "spherical slice" of index i delimited the horizontal plane associated with the decision threshold – this surface being normalized by the surface of the spherical zone delimited by the two horizontal planes associated with the decision thresholds
  • this second embodiment requires sufficient calculation precision – in the calculation of the trigonometric functions – in order to correctly determine the values of and
  • the scalar quantification dictionary may be different, in this case the terms will be adapted in the definition of respectively.
  • the values correspond in fact at scalar quantization decision thresholds; these thresholds define the limits of integration to determine the number of points from the partial surface on the sphere up to a certain spherical slice.
  • all the coding steps E201 to E206 are identical to the two preceding modes and the step E207 consists in sequentially coding in binary form the 2 indices abbreviated to ⁇ , ⁇ corresponding to the best candidate.
  • This coding is sequential because the number of possible values for the azimuth depends on the index i of the colatitude.
  • the multiplexing is therefore done sequentially to form a binary stream of variable total length bits. We multiplex first i, then j is multiplexed. Note that when the encoding takes 0 bits for the subscript ;, so this coding is not necessary.
  • the indices i,j will be coded sequentially with entropy coding of the Huffman type or arithmetic coding.
  • the coding of the index j can simply be done at a fixed length because in In this case the probability estimate would be equiprobable for a uniform distribution on the sphere. In variants other estimates of the probabilities will be possible if the distribution of the source on the sphere in dimension 3 is assumed to be non-uniform.
  • step E210 Given the global index index in step E210, a sequential decoding of the two spherical coordinates is performed in steps E211-1 and E211-2.
  • step E212-1 as in coding step E203-1, a number of scalar quantization levels N 1 is determined according to one of the variants described in the coding (either by fixing a resolution, or directly).
  • the decoding of the index i is done according to the coding method used.
  • the index i of the colatitude is found in E213-1 by a search in the cardinality table:
  • the value of can be determined as described in the coding at step E207.
  • the cardinality table has, in a variant embodiment, been stored in memory in whole or in part.
  • the decoding of the index j will be adapted according to the indexing method used.
  • a conversion of the spherical coordinates is optionally carried out, for example to convert a colatitude and an azimuth in radians into an elevation and an azimuth in degrees.
  • Step E216 will be adapted to other spherical coordinate systems and other units than radians if necessary.
  • the last step E216 of conversion from spherical coordinates to Cartesian coordinates will be optional.
  • the decoding steps are identical to those of the first embodiment, except for the step of determining the index i in E213-1, the step of determining the number N 2 (i) in E212-2, and the step of determining the index j in E213-2.
  • the decoding of the index i in E213-1 in a second embodiment is done analytically by taking the value: assuming that the index was obtained with the definition at coding: is obtained directly analytically:
  • the analytical decoding of the index i therefore corresponds to applying an inverse function of as a function of i.
  • the scalar quantification dictionary may be different, in this case the terms will be adapted in the definition of l))/2), respectively.
  • the determination of the index i will also be adapted according to
  • step E210 consists of sequentially demultiplexing and decoding the 2 indices i,j.
  • This decoding is sequential since the number of possible values for the azimuth depends on the colatitude index i.
  • the demultiplexing is therefore done sequentially to read a binary stream of variable total length bits, we first demultiplex i, which makes it possible to determine and thus be able to demultiplex j. This explains why the arrows between decoding (E211-k) and demultiplexing (E210) are in both directions.
  • the indices will be demultiplexed and decoded sequentially with entropy decoding of the Huffman type or arithmetic decoding.
  • the coding of the index j can simply be done at a fixed length because in this case the probability estimate would be equiprobable for a uniform distribution on the sphere. In variants, other estimates of the probabilities Prob(i) and Prob(j Ii) will be possible if the distribution of the source on the sphere in dimension 3 is assumed to be non-uniform.
  • the colatitude ⁇ on [O,p] is replaced by an elevation on
  • the number of levels is expressed as a function of the cosine instead of the sine, for example H suffices in this case to apply the corresponding conversion (colatitude ⁇ to elevation by conversion and vice versa), in in particular the sine function (resp. cosine) for the calculation of the number of points on each spherical zone is replaced by a cosine function (resp. sine).
  • the colatitude or the elevation may be in variants in a unit other than radians, for example in degrees.
  • Figure 3a describes a method of encoding an entry point on a 4-dimensional sphere. We omit the radius which is here fixed at 1. In variants and for certain applications (e.g. quantification of a sub-band in transform coding), it will be possible to code a radius separately (corresponding to an amplitude level average per sub-band for example).
  • a conversion of the spherical coordinates is optionally carried out, for example to obtain angles in degrees or to convert the spherical coordinates from one convention to another.
  • the spherical input data are represented by a quasi-uniform discretization (here in the sense of the uniformity of the area of the decision regions and the distribution of the points) of the sphere
  • the grid is thus defined by sequential scalar quantization spherical coordinates
  • the grid is defined from an angular resolution a (in degrees) as follows by generalizing the first embodiment from the 3D case to the 4D case.
  • the angle ⁇ 1 is encoded by uniform scalar quantization in E302-1 on N 1 reconstruction levels over the interval [O, p] (including the bounds 0 and p as reconstruction levels): where N 1 is defined in E303-1 by to have an odd number of levels N 1 and
  • the angle ⁇ 2 is coded by uniform scalar quantization on levels on the interval [O, ⁇ ] (including bounds 0 and ⁇ as reconstruction levels): where N 2 is defined in E303-2 by
  • the number of reconstruction levels N 2 (i) depends on the value of ⁇
  • the angle ⁇ 3 is coded by uniform scalar quantization on N 3 (i,j ) levels taking into account the cyclic nature of the interval [0,2p]: where N 3 is defined in E303-3 by is a predetermined offset according to the invention.
  • N 3 is defined in E303-3 by is a predetermined offset according to the invention.
  • N 3 is defined in E303-3 by is a predetermined offset according to the invention.
  • 5(0 to non-stored values for example: , i.e. half the step of scalar quantization (excluding poles and equator).
  • the spherical grid is therefore defined as the following spherical vector quantization dictionary:
  • Table 5 gives examples of resolutions a (in degrees) to obtain a number of points N 1ot making it possible to best approach a target bit rate (in bits).
  • the values of a are indicative here and in variants other values may be used.
  • Table 5 In variants, the number of levels can be set directly (to an odd value).
  • the angular resolution then corresponds to the quantization step:
  • Table 6 We easily derives values from Table 6 gives examples of the number of points N 1ot for values N 1 making it possible to approach a target bit rate (in bits).
  • the quantization of the spherical coordinates and the search is carried out sequentially due to the dependencies between successive spherical coordinates in the definition of the grid.
  • the angle ⁇ 2 defined in E301 by: with for example you can code directly is coded to a pre-determined default value (null).
  • the candidate is selected or 1 closest to (w,x,y,z) after conversion from spherical to Cartesian coordinates of and
  • the distance criterion can be the Euclidean distance or the dot product.
  • the selected quantization indices corresponding to the selected point The overall index is: if the candidate of index m is the closest. Coding is then complete. It will be noted that in this “degenerate” case, one candidate among two possible ones has been retained instead of the 4 candidates for the general case. o Otherwise, if is not checked, so that the 4D search is optimal, it is advisable to retain 4 candidates 0, ..., 3 in E304-2: and
  • step E204-2 This can be done as described in the 3D case for step E204-2, replacing
  • the selected quantization indices correspond to the selected point: .
  • the global index index is obtained by sequential coding of the separate quantification indices i, j, k of the best candidate.
  • Values are for example, as described for the 3D case, cumulative sums of cardinality for the respective quantization indices i and j of the spherical coordinates ⁇ 1 and ⁇ 2 .
  • the last step can be carried out without going through the Cartesian coordinates, by calculating a (geodesic) distance directly in the domain of the spherical coordinates.
  • Cartesian coordinates (w,x, y,z) Cartesian coordinates (w,x, y,z)
  • spherical coordinates the conversion of Cartesian coordinates (w,x, y,z) to spherical coordinates will be optional and it will be possible to code spherical coordinates directly.
  • the coding steps are identical to those of the first embodiment, except for the step of determining the numbers in E303-2 and E303-3 and the indexing step in E307 which are specific to this second embodiment and detailed below.
  • the scalar quantization dictionaries are preferably defined as: , where N 2 (i ) is fixed as described below is fixed as described below below and and is a predetermined offset according to the invention as in the first embodiment. In variants, other definitions will be possible.
  • the partial area of a “complete” spherical zone defined by the interval on the first coordinate is given below: and the partial area of an “incomplete” spherical zone defined by the intervals [0,0 ! ] on the first coordinate and on the second coordinate:
  • N 2 (i) and N 3 (i,j ) giving the number of values of the coded coordinate ⁇ p 2 and ⁇ 3 in each “spherical slice” associated with the coded coordinate ⁇ 1 of index i will be fixed in this case to allow analytical indexing in the form as described below.
  • N 2 and N 3 are defined in E303-2 and E303-3 in the form:
  • N subtot (i) By following the example given previously for the 3D case one determines: In variants, other methods for determining N subtot (i) will be possible, this value being critical for the proper functioning of the decoding.
  • all the coding steps E301 to E306 are identical and the step E307 consists in sequentially coding in binary the 3 indices 2), i 2 (m * ),i 3 (m * ) abbreviated to i,j, k corresponding to the best candidate.
  • This coding is sequential since the numbers of possible values N 2 (i) and N 3 (i,j) for the coordinates ⁇ 2 and ⁇ 3 depend respectively on the index i and on the indices i,j.
  • the index i is multiplexed first, then the index j and finally the index k.
  • the indices i, j, k will be coded sequentially with entropy coding of the Huffman type or arithmetic coding.
  • the coding of the index j can use a probability as for the index in the 3D case: in the case of a dictionary including the poles.
  • the coding of the index k can simply be done at a fixed length because in this case the probability estimate would be equiprobable for a uniform distribution on the sphere. In variants other estimates of the probabilities will be possible if the source distribution on the 4-dimensional sphere is assumed to be non-uniform.
  • step E312-1 as in coding step E303-1, a number of scalar quantization levels N 1 is determined.
  • the index i of the angle ⁇ 1 is found in E313-1 by searching in the cardinality table:
  • the cardinality table has, in one embodiment, been stored in memory in whole or in part.
  • N 2 (i ) max
  • other dictionaries may be defined as to coding.
  • the index j of the angle ⁇ 2 is found in E313-2 by subtraction according to index ⁇ - index - and by performing a search in another cumulative cardinality table:
  • a conversion of the spherical coordinates is optionally carried out, for example to convert the decoded angles into degrees or to adapt the convention to a definition of the spherical coordinates.
  • Step E316 will accommodate other spherical coordinate systems and units other than radians where appropriate.
  • the last step of conversion from spherical coordinates to Cartesian coordinates will be optional.
  • the decoding steps are identical to those of the first embodiment, except for the step of determining the indices noted here i,j,k, in E313-1, E313-2 and E313-3 and the step of determining the number in E313-3.
  • the decoding of the index i in E313-1 in a second embodiment can be done analytically by taking the value: Where and is the inverse of this function
  • Index j is found in E313-2 after updating the global index: analytically as in the 3D case according to the following formula:
  • index k index - offset 2 ⁇ i,j'
  • step E310 consists in demultiplexing and sequentially decoding the 3 indices l, j, k.
  • This coding is sequential since the numbers of possible values N 2 (L) and w 3 (i, j) for the coordinates ⁇ /> 2 and ⁇ /> 3 depend respectively on the index i and on the indices i,j.
  • the indices will be demultiplexed and decoded sequentially with entropy decoding of the Huffman type or arithmetic decoding.
  • the decoding of the index j can use a probability as for the index in the 3D case: in the case of a dictionary including the poles.
  • the decoding of the index k can simply be performed at a fixed length because in this case the probability estimate would be equiprobable for a uniform distribution on the sphere. In variants other estimates of the probabilities Prob(i), Prob(j ⁇ i) and Prob(k ⁇ i,j) will be possible if the distribution of the source on the sphere in dimension 4 is assumed to be non-uniform.
  • spherical coordinates on may be used and the invention will be adapted accordingly (for example by changing the terms cosine to sine, sine to cosine, arccos to arcsin, etc., if necessary).
  • angles could be in another unit, for example in degrees.
  • FIG. 4 illustrates an embodiment of a coder comprising a coding device implementing the coding method as described above for dimension 3.
  • the input signal S is here an ambisonic signal of order 1, with channels typically organized in the order WYZX (according to the ACN convention) with a normalization for example according to the SN3D convention.
  • the signal is broken down into frames, which are assumed here to be 20 ms, for example 960 samples per channel at 48 kHz.
  • the coding is parametric and consists of a reduction in the number of channels (block 400), where only one channel is coded (block 410) here, for example with the 3GPP EVS codec at 24.4 kbit/s , and to a spatial metadata coding, which correspond here to DiRAC type parameters (DoA and “diffuseness”).
  • the input signal is decomposed (block 420) into frequency sub-bands by a Fourier transform with 50% overlap and a sinusoidal windowing known from the state of the art.
  • a division into Bark bands is assumed here, for example 20 sub-bands distributed in frequencies according to the Bark scale known from the state of the art.
  • the adequate temporal compensation is not detailed here, it depends on the coding delay (block 410) and on the analysis time/frequency (block 420). In variants, other types of filter banks could be used.
  • each frame and each sub-band two parameters are estimated (block 430) - to lighten the notations, no frame index or sub-bands are used for the different parameters: the direction of the dominant source (DoA) in terms of elevation ( ⁇ ) and azimuth (0), and the "diffuseness" ⁇ as described in the aforementioned article by Pulkki.
  • the estimate of the DoA is generally carried out by means of the active intensity vector with a temporal average, in variants other methods for estimating ⁇ ,0, ⁇ can be implemented.
  • the DoA is encoded in each frame and each subband; according to the invention, this coding takes as input directly the spherical coordinates by sub-bands (1,0,0). Note that we assume here - without loss of generality - that ⁇ represents an elevation in degrees (between -90 and +90 degrees) and not a colatitude, and 0 is an azimuth between -180 and 180 degrees. We can for example take a grid with a target rate of 16 bits to have a resolution of less than 1 degree.
  • the coding in block 440 follows the steps of Figure 2a.
  • the preferred embodiment uses a storage-minimizing implementation for indexing with the second embodiment of 3-dimensional spherical vector quantization.
  • the coding of ⁇ and q is performed as described with reference to FIG. 2a, with at most two candidates.
  • the global 16-bit index (from 0 to 65535) is determined here according to the second embodiment: where is obtained directly analytically:
  • the definitions of may be adapted in such a way obvious if the angles ⁇ ,q are given in degrees and correspond to elevation and azimuth. In this case the conversion to E201 will not be necessary.
  • the "diffuseness" ⁇ is a parameter between 0 and 1, it is coded here (block 450) by uniform scalar quantization on, for example, 6 bits (64 values) rounding it off to the nearest value: where l quantization index
  • different coding methods such as uniform or non-uniform scalar quantization, or vector quantization jointly coding ⁇ in several sub-bands, with or without entropic coding, may be used.
  • the downmix signal encoding bitstream and the encoded spatial parameters are multiplexed (block 460) to form the bitstream of each frame.
  • the coding rate here in this embodiment is 46.4 kbit/s.
  • FIG. 5 illustrates an embodiment of a decoder comprising a decoding device implementing the decoding method as described above for dimension 3.
  • the downmix signal is decoded (block 510), here by EVS decoding at 24.4 kbit/s.
  • the spatial parameters are decoded (blocks 550 and block 570).
  • Decoding in block 550 follows the steps of Figure 2b.
  • the number of levels in E212-2 is:
  • the colatitude is decoded as:
  • the azimuth is decoded as: where 5(0 is identical to the definition in block 440.
  • An inverse conversion step is also added in E215:
  • the DoA parameters will be decoded according to the first embodiment of vector quantization in dimension 3 according to the invention, with in particular the same definitions of as at the encoder.
  • i 1 (0, ê(i,j), 5(0 and /v 2 (0) could be adapted in an obvious way if the angles ⁇ , Q are given in degrees and correspond to the elevation and the azimuth. In this case the conversion to E215 will not be necessary.
  • This decoded signal s is then decomposed into times/frequencies (block 520 identical to block 420) to spatialize it as a point source (plane wave) in the block (block 560) which generates an ambisonic signal of order 1 spatialized as: noting that the decoded angles (elevation ⁇ and azimuth Q) are in degrees.
  • decorrelation is performed (block 530) to obtain a “diffuse” version (corresponding to a maximum source width); this decorrelation also produces an increase in the number of channels to obtain at the output of block 530 an ambisonic signal of order 1 (in ACN, SN3D format for example) with 4 channels (W, Y, Z, X).
  • the decorrelated signal is decomposed into times/frequencies (block 540).
  • FIG. 6 illustrates an embodiment of a coder comprising a coding device implementing the coding method as described above for dimension 4.
  • FIG. 6 illustrates a coding method in the case where the representation by quaternions is used for the coding of the rotation matrices. Coding takes place in several steps
  • the channel signals (eg W, Y, Z, X for the FOA case) are assumed to be in an X matrix form with an n L matrix (for n Ambisonic channels (here 4) and L samples per frame). These channels can optionally be pre-processed, for example by a high-pass filter.
  • a PCA principal component analysis or equivalently a Karhunen Loeve (KLT) transform is applied to these signals, with estimation of the covariance matrix (block 600) and decomposition into eigenvalues denoted EVD for “Eigen Value Decomposition” in English ( block 610), to obtain eigenvalues and an eigenvector matrix from a covariance matrix of the n signals.
  • KLT Karhunen Loeve
  • the eigenvector matrix for the current frame t (which is a rotation matrix) is converted into an appropriate domain of quantization parameters (block 630).
  • the eigenvector matrix for the current frame t (which is a rotation matrix) is converted into an appropriate domain of quantization parameters (block 630).
  • these parameters are coded according to a coding method as described with reference to FIG. 2a (block 640) over a number of bits allocated to parameter quantization.
  • the current frame is divided into subframes, the number of which can be fixed or adaptive - in the latter case, this number can be determined according to information from the PCA/KLT analysis and it can be transmitted optionally ( block 650).
  • the coded quaternion representation is interpolated (block 660) by successive sub-frames from the previous frame t - 1 to the current frame t, in order to smooth over time the difference between inter-frame matrixing.
  • the interpolated quaternions in each subframe are converted into rotation matrices (block 662) and then the resulting decoded and interpolated rotation matrices are applied (block 670).
  • an nx (L/K) matrix is obtained at the output of block 670 representing each of the K sub-frames of the signals of the Ambisonic channels in order to decorrelate these signals as much as possible before coding (for example a multi-mono coding) .
  • Binary allocation to separate channels is also performed.
  • the unit quaternions obtained in E630 are quantized.
  • Indexing can be done with the cardinality information o ⁇ set ⁇ i) stored and listed as follows for
  • Cardinality information is not detailed here for the sake of brevity.
  • the coding of q 1 requires one bit less than the coding of q 2 because the constraint is exploited. Indeed the coding of q 1 will have indices ranging from 0 to 226544 (out of 18 bits), while encoding q 2 will have indices ranging from 0 to 463455 (over 19 bits). The coding of the 2 quaternions therefore requires 37 bits. The two indices (18 and 19 bits) from block 640 are multiplexed in block 690.
  • q 1 and q 2 can of course be inverted to force a component (for example a 2 ) to be positive for the quantification.
  • the third embodiment may be used where the indices i, j, k for each quaternion q 1 and q 2 are multiplexed sequentially with a simple binary binary coding separated from the indices.
  • the indices j and k are multiplexed on a variable number of bits depending on On proceeds in the same way for the quaternion q 2 except that the index i is coded and multiplexed on 7 bits.
  • Figure 7 illustrates the corresponding decoding
  • the quantization indices of the quantization parameters of the rotation matrix in the current frame are de-multiplexed (block 790) and decoded in block 700 according to a decoding method as described with reference to FIG. 3b.
  • the details of the exemplary embodiment with reference to FIG. 6 are not repeated here.
  • the same parameters are used as in the coding.
  • the decoding of q 1 uses the indices ranging from 0 to 226544 (on 18 bits), while the decoding of q 2 uses the indices ranging from 0 to 463455 (on 19 bits).
  • the demultiplexing (block 790) will therefore read 37 bits of the binary train to separate the two indices, one on 18 bits and the other on 19 bits.
  • the third embodiment can be used where the respective indices i,j,k for each quaternion q 1 and q 2 are demultiplexed sequentially with a simple binary binary coding separated from the indices, the index i being coded and multiplexed on 1 bit less for one of the two quaternions.
  • the conversion and interpolation steps (blocks 760, 762) of the decoder are identical to those carried out at the encoder (blocks 660 and 662). If the number of interpolation sub-frames is adaptive, this is decoded (block 710) - otherwise this number of interpolation sub-frames is fixed at a predetermined value.
  • Block 720 applies per subframe the inverse matrixing from block 762 to the decoded signals (block 780) of the Ambisonic channels, recalling that the inverse of a rotation matrix is its transpose.
  • the invention may be applied to audio coding by transform, for example mono, where the signal is for example divided into frequency sub-bands which are coded by vector quantization of the gain-shape type.
  • TDAC TDAC coding described in section 6.6.9 (coding) and 7.3.5 (decoding) of the ITU-T recommendation G.729.1 for at least the coding of a sub-band at minus one coding rate, for example the sub-band with index 17 of 8 coefficients for the 16-bit rate.
  • the invention could be applied to other audio coders and decoders by transform, mono or in multi-mono examples.
  • a DCOD coding device and a DDEC decoding device within the meaning of the invention, these devices being dual to each other (in the sense of "reversible") and connected l to each other by a communication network RES.
  • the DCOD coding device comprises a processing circuit typically including:
  • an interface INT1 for receiving a multi-channel signal of origin B for example an Ambisonic signal distributed over different channels (for example four channels W, Y, Z, X at order 1) with a view to its coding in compression within the meaning of the invention
  • a processor PROC1 to receive this signal and process it by executing the computer program instructions stored in the memory MEM1, with a view to its coding;
  • COM 1 communication interface for transmitting coded signals via the network.
  • the DDEC decoding device comprises its own processing circuit, typically including:
  • a memory MEM2 for storing instruction data of a computer program within the meaning of the invention (these instructions being able to be distributed between the encoder DCOD and the decoder DDEC as indicated previously);
  • a processor PROC2 to process these signals by executing the computer program instructions stored in the memory MEM2, with a view to their decoding;
  • an output interface INT2 to deliver the decoded signals for example in the form of ambisonic channels W...X, with a view to their restitution.
  • FIG. 8 illustrates an example of a structural embodiment of a codec (coder or decoder) within the meaning of the invention.
  • Figures 1 to 6 commented above describe in detail rather functional embodiments of these codecs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

L'invention se rapporte à un procédé de codage d'un point d'entrée sur une sphère de dimension n par codage de n-1 coordonnées sphériques de ce point d'entrée, le procédé comportant les opérations de quantification scalaire séquentielle des n-1 coordonnées sphériques (E102-1 à E102-(n-1)) afin d'obtenir au plus 2n-2 candidats à l'issue de la quantification scalaire séquentielle des n-1 coordonnées (E105), puis l'opération de sélection (E106) du meilleur candidat qui minimise une distance entre le point d'entrée et les au plus 2n-2 candidats, et détermination des indices de quantification séparés issus de la quantification scalaire séquentielle desdites coordonnées sphériques dudit meilleur candidat et de codage séquentiel (E107) des indices de quantification séparés dudit meilleur candidat. L'invention se rapporte également à un procédé de décodage correspondant, un dispositif de codage et un dispositif de décodage.

Description

DESCRIPTION Titre: Quantification vectorielle sphérique optimisée La présente invention concerne la quantification vectorielle sphérique appliquée au codage/décodage de données sonores, notamment des données spatialisées en contexte ambiophonique (noté ci-après également « ambisonique ») pour le codage de matrices de rotations par le biais d’une représentation par quaternions ou encore le codage paramétrique où des directions de source (abrégées comme « DoA » pour Direction of Arrival en anglais) sont quantifiées, mais également pour le codage audio par transformée mono servant de codage cœur pour représenter les données sonores spatialisées. Les codeurs/décodeurs (ci-après appelés « codecs ») qui sont utilisés actuellement en téléphonie mobile sont mono (un seul canal de signal pour une restitution sur un seul haut- parleur). Le codec 3GPP EVS (pour « Enhanced Voice Services ») permet d’offrir une qualité « Super-HD » (aussi appelée voix « Haute Définition Plus » ou HD+) avec une bande audio en bande super-élargie (SWB pour « super-wideband » en anglais) pour des signaux échantillonnés à 32 ou 48 kHz ou pleine bande (FB pour « Fullband ») pour des signaux échantillonnés à 48 kHz ; la largeur de bande audio est de 14,4 à 16 kHz en mode SWB (de 9,6 à 128 kbit/s) et de 20 kHz en mode FB (de 16,4 à 128 kbit/s). La prochaine évolution de qualité dans les services conversationnels proposés par les opérateurs devrait être constituée par les services immersifs, en utilisant des terminaux tels que des smartphones équipés de plusieurs microphones ou des équipements de conférence audio spatialisée ou de visioconférence de type télé-présence ou vidéo 360°, ou encore des équipements de partage de contenus audio « live », avec un rendu sonore spatialisé en 3D autrement plus immersif qu’une simple restitution stéréo 2D. Avec les usages de plus en plus répandus d’écoute sur téléphone mobile avec un casque audio et l’apparition d’équipements audio avancés (accessoires tels qu’un microphone 3D, assistants vocaux avec antennes acoustiques, casques de réalité virtuelle ou augmentée, etc.) la captation et le rendu de scènes sonores spatialisées sont désormais assez répandus pour offrir une expérience de communication immersive. A ce titre, la future norme 3GPP « IVAS » (pour « Immersive Voice And Audio Services ») propose l’extension du codec EVS à l’audio immersif en acceptant comme format d’entrée du codec au moins les formats de son spatialisé listés ci-dessous (et leurs combinaisons): - Format multicanal (channel-based en anglais) de type stéréo ou 5.1 où chaque canal vient alimenter un haut-parleur (par exemple L et R en stéréo ou L, R, Ls, Rs et C en 5.1) ;
- Format objet (object-based en anglais) où des objets sonores sont décrits comme un signal audio (en général mono) associé à des métadonnées décrivant les attributs de cet objet (position dans l'espace, largeur spatiale de la source, etc.),
- Format ambisonique (scenEbased en anglais) qui décrit le champ sonore en un point donné, en général capté par un microphone sphérique ou synthétisé dans le domaine des harmoniques sphériques.
Il est également question de considérer potentiellement d'autres formats d'entrée tels que le format appelé MASA (Metadata assisted Spatial Audio) qui correspond à une représentation paramétrique d'une prise de son sur téléphone mobile équipés de plusieurs microphones.
Les signaux à traiter par le codeur/décodeur se présentent comme des successions de blocs d'échantillons sonores appelés « trames » ou « sous-trames » ci-après.
En outre, ci-après, les notations mathématiques suivent la convention suivante :
- Scalaire : sou N (minuscule pour les variables ou majuscule pour les constantes)
- Vecteur : q (minuscule, gras et italique)
- Matrice : M (majuscule, gras et italique)
Par la suite, on notera la sphère de rayon r en dimension n+ 1 définie comme où ||. Il désigne la norme euclidienne. Quand le rayon r ne sera pas précisé, on supposera que r = 1 (sphère unité).
On rappelle ici la définition des coordonnées sphériques en dimension 3 et 4. Pour un point (x, y, z ) en dimension 3 on a en général au moins deux conventions classiques de coordonnées sphériques ( r,Φ,θ)\ la convention géographique : x = r cosΦ cos Q , y = r cos Φ sin Q, z = r sin Φ avec r > 0, — π/2 ≤ Φ ≤ π et -π ≤ θ ≤ π la convention physique : x = rsinΦcosθ, y = r sin Φsin Φ, z = rcosθ avec r ≥ 0, 0 ≤ Φ ≤ π et -π ≤ θ ≤ π
Le rayon r et l'azimut (ou longitude) Q sont identiques dans ces deux définitions, mais l'angle Φ diffère selon qu'il est défini par rapport au plan horizontal Oxy (élévation ou latitude sur l'intervalle [-p/2, p/2]) ou à partir de l'axe Oz (co-latitude ou angle polaire sur l'intervalle [0, p]). L'azimut Q peut être défini sur un intervalle [-p,p], de façon équivalente on pourra le définir sur [0, 2p] par simple opération de modulo 2p. On pourra aussi représenter les mêmes coordonnées angulaires dans une autre unité, par exemple en degrés. On notera que les symboles peuvent être différents dans la littérature (par exemple f au lieu de ø) et/ou intervertis (par exemple 0 pour la colatitude et y pour la la longitude).
Par ailleurs, la définition des coordonnées sphériques se généralise en dimension plus élevée. Pour un point ( w, x,y, z ) en dimension 4 on reprend ici la convention mathématique des coordonnées sphériques (r, Φ1, Φ2,θ3) : w = rcosθ1, x = rsinΦ1 cosθ2 r y = r sin Φ1 sin Φ2 cosθ3 , z = r sin Φ1 sin Φ2 sin θ3 , OÙ r > 0 est le rayon, Φ1 et Φ2 sont sur [0, π] et Φ3 sur [-p, p] ou de façon équivalente sur [0, 2p]. On notera qu'il est possible de définir d'autres systèmes de coordonnées sphériques, par exemple pour le cas en dimension 4 on peut définir trois angles en plus du rayon r sous la forme: w = r cos w, x = r sin w sin ø cos 0, y = rsinω sinθsinθ, z = rsinω cosθ ; dans cette alternative, l'angle w est identique à la coordonnée sphérique Φί définie précédemment, par contre les 3 dernières composantes (. x,y,z ) sont vues comme un point 3D et représentées ici par la colatitude ø et l'azimut 0 comme défini précédemment pour la dimension 3 avec la convention physique - les angles Φί et Φ2 sont donc différents de ø et ø, à cause de la permutation des coordonnées et des conventions différentes.
De façon générale, il est possible de décomposer un point en dimension n en un rayon r (correspondant à la distance à l'origine ou la norme) et n - 1 coordonnées angulaires avec n - 2 angles sur un intervalle de longueur p et un intervalle de longueur 2p.
On considérera dans l'invention plus particulièrement des discrétisations de la sphère unité §n en dimension 3 et 4, où le rayon est fixé à r = 1, et les n - 1 coordonnées angulaires sont quantifiées de façon séquentielle. Cependant, selon l'invention d'autres dimensions que 3 ou 4 seront possibles.
On s'intéresse dans l'invention à des exemples de réalisation de quantification vectorielle sphérique appliqués au codage audio en général, et plus particulièrement au codage de son spatialisé, dont le format ambisonique. Cela inclut aussi le codage paramétrique utilisant des directions de sources en 3D. L'invention pourra également s'appliquer à d'autres formats audio et à d'autres signaux dans lesquels des données sphériques en dimension n sont à coder, par exemple pour le codage audio par transformée où chaque sous-bande est codée par quantification vectorielle sphérique de type gain-forme. On rappelle ci-dessous les principes de l’ambisonique et de son codage par des approches de type analyse en composantes principales (PCA pour Principal Component Analysis) et DiRAC (pour Directional Audio Coding). Dans des variantes, on pourra appliquer l’invention à d’autres schémas de codage, en particulier pour le codage audio par tranformée. L’ambisonique est une méthode d’enregistrement (« codage » au sens acoustique) de son spatialisé et un système de reproduction (« décodage » au sens acoustique). Un microphone ambisonique (à l’ordre 1) comprend au moins quatre capsules (typiquement de type cardioïde ou sous-cardioïde) arrangées sur une grille sphérique, par exemple les sommets d’un tétraèdre régulier. Les canaux audio associés à ces capsules s’appellent le « A-format ». Ce format est converti dans un « B-format », dans lequel le champ sonore est décomposé en quatre composantes (harmoniques sphériques) notées W, X, Y, Z, qui correspondent à quatre microphones virtuels coïncidents. La composante W correspond à une captation omnidirectionnelle du champ sonore alors que les composantes X, Y et Z, plus directives, sont assimilables à des microphones à gradients de pression orientés suivant les trois axes orthogonaux de l’espace. Un système ambisonique est un système flexible dans le sens où l’enregistrement et la restitution sont séparés et découplés. Il permet un décodage (au sens acoustique) sur une configuration quelconque de haut-parleurs (par exemple, binaural, son « surround » de type 5.1 ou périphonie avec élévation de type 7.1.4). L’approche ambisonique peut être généralisée à plus de quatre canaux en B-format et cette représentation généralisée est couramment nommée « HOA » (pour « Higher-Order Ambisonics »). Le fait de décomposer le son sur plus d’harmoniques sphériques améliore la précision spatiale de restitution lors d’un rendu sur haut-parleurs ou casque audio. Un signal ambisonique à l’ordre M comprend K=(M+1)² composantes et, à l’ordre 1 (si M=1), on retrouve les quatre composantes W, X, Y, et Z, couramment appelé FOA (pour First-Order Ambisonics). Il existe aussi une variante dite « planaire » de l’ambisonique (W, X, Y) qui décompose le son défini dans un plan qui est en général le plan horizontal (où Z=0). Dans ce cas, le nombre de composantes est K =2M+1 canaux. L’ambisonique d’ordre 1 (4 canaux : W, X, Y, Z), l’ambisonique d’ordre 1 planaire (3 canaux : W, X, Y), l’ambisonique d’ordre supérieur sont tous désignés ci-après par « ambisonique » indistinctement pour faciliter la lecture, les traitements présentés étant applicables indépendamment du type planaire ou non et du nombre de composantes ambisoniques. Si toutefois dans certains passages il est besoin de faire une distinction, les termes « ambisonique d’ordre 1 » et « ambisonique d’ordre 1 planaire » sont utilisés. Différentes solutions ont été proposées pour coder des signaux ambisoniques. L’approche la plus simple consiste à un codage multi-mono, où chaque composante ambisonique est codée séparément par un codeur audio mono. On s’intéresse dans l’invention à une approche particulière de codage ambisonique, décrite dans les publications : - P. Mahé, S. Ragot, S. Marchand, "First-order ambisonic coding with quaternion-based interpolation of PCA rotation matrices," Proc. EAA Spatial Audio Signal Processing Symposium, Paris, France, Sept. 2019, pp. 7-12 - P. Mahé, S. Ragot, S. Marchand, "First-Order Ambisonic Coding with PCA Matrixing and Quaternion-Based Interpolation," Proc. DAFx, Birmingham, UK, Sept. 2019. Cette approche utilise la quantification et l’interpolation de matrices de rotations, comme décrit également dans la demande de brevet WO2020177981. La stratégie de ce type de codage ambisonique est de dé-corréler au maximum les canaux du signal ambisonique et de les coder ensuite séparément avec un codec cœur (par exemple multi-mono). Cette stratégie permet de limiter les artéfacts dans le signal ambisonique décodé. Plus particulièrement, on applique une décorrélation optimisée des signaux d’entrée avant codage (par exemple multi-mono). Dans cette approche, des matrices de rotation de taille 4x4 pour le cas FOA en 3D (issues d’une analyse PCA/KLT telle que décrite par exemple dans la demande de brevet suscitée) sont converties en paramètres, par exemple 6 angles d’Euler généralisés ou deux quaternions unitaires, qui sont codés. Par ailleurs, le domaine des quaternions permet d’interpoler les matrices de transformation calculées pour l’analyse PCA/KLT plutôt que de répéter plusieurs fois par trame une décomposition en valeurs propres et vecteurs propres ; les matrices de transformation étant des matrices de rotation, au décodage, l’opération de matriçage inverse s’effectue simplement en transposant la matrice appliquée au codage. Il existe dans ce contexte, un besoin de représenter ces matrices de rotation de façon efficace, ce qui revient, lorsque ces matrices de rotations sont représentées par des quaternions unitaires, à trouver une méthode efficace de quantification vectorielle sur une sphère en dimension 4. Une approche alternative au codage PCA est donnée par le codage DiRAC (Directional Audio Coding), décrite par exemple dans l’article V. Pulkki, Spatial sound reproduction with directional audio coding, Journal of the Audio Engineering Society, vol. 55, no. 6, pp. 503-516, 2007. Dans ce document, une cartographie est réalisée par le biais d’une analyse directionnelle pour trouver une direction (DoA) par sous-bandes. Cette DoA est complétée par un paramètre de « diffuseness », ce qui donne une description paramétrique de la scène sonore. Le signal d’entrée multicanal est codé sous la forme de canaux de transport (typiquement un signal mono ou stéréo obtenu par réduction de multiples canaux captés) et des métadonnées spatiales (DoA et « diffuseness » par sous-bandes). On suppose ici que l’analyse du signal d’entrée selon la méthode paramétrique DirAC est connue de l’homme de l’art. Les directions de sources sont représentées sous la forme de données sphériques 3D, par exemple sous la forme de coordonnées sphériques (azimut, élévation) selon la convention géographique. Il existe dans ce contexte un besoin de représenter ces informations de DoA de façon efficace, ce qui peut se formuler comme un problème de quantification vectorielle sur la sphère en dimension 3. De façon générale, n’importe quelle discrétisation de la sphère peut être utilisée comme dictionnaire de quantification vectorielle sphérique. Cependant, sans structure particulière, la recherche du plus proche voisin et l’indexation dans ce dictionnaire peuvent s’avérer coûteuses à mettre en œuvre quand le débit de codage des informations DoA est trop élevé (ex : 16 bits par vecteur 3D indiquant une DoA). Un exemple de dictionnaire structuré pouvant être utilisé pour répondre à ce problème est donné par la grille sphérique quasi-uniforme décrite à la section 3.2 de l’article Perotin et al., CRNN-based multiple DoA estimation using acoustic intensity features for Ambisonics recordings, IEEE Journal of Selected Topics in Signal Processing, 2019. Cette grille discrétise séparément l’élévation et l’azimut, avec un nombre de niveaux sur l’azimut qui dépend de la couche sphérique associée à chaque niveau d’élévation. Cette discrétisation est donnée pour une élévation Φ dans [-90, 90] et un azimut θ dans [- 180, 180] en degrés par : où et α est une résolution angulaire (en degrés). Cette grille sphérique n’est pas optimale car l’azimut commence toujours à -180 degrés pour chaque indice d’élévation i, ce qui implique un alignement de tous les points sur un même méridien. Or, pour qu’une grille sphérique 3D soit quasi-optimale, il est souhaitable qu’une répartition locale de points à la surface de la sphère soit similaire à un réseau 2D hexagonal, ce qui n’est clairement pas vérifié si les points sont alignés de la sorte sur un méridien. Par ailleurs, il n’est pas décrit dans cet article de recherche optimale pour un codage utilisant cette grille ni d’indexation dans cette grille discrétisant la sphère en dimension 3. Il existe donc un besoin d’améliorer les méthodes de l’état de l’art de quantification de données sphériques. L’invention vient améliorer l’état de la technique. A cet effet, l’invention vise un procédé de codage d’un signal audio multicanal comportant le codage d’au moins un paramètre représenté par un point d’entrée sur une sphère de dimension n s’effectuant par codage de n-1 coordonnées sphériques de ce point d’entrée, le procédé comportant les opérations suivantes : a) quantification scalaire séquentielle des n-1 coordonnées sphériques, définissant une grille sphérique , comportant pour une coordonnée sphérique courante à coder : - détermination d’un nombre de niveaux de quantification scalaire pour la coordonnée sphérique courante à coder, en fonction des coordonnées sphériques précédemment codées; - quantification scalaire de la dite coordonnée sphérique courante en fonction dudit nombre de niveaux déterminé, avec pour n-2 coordonnées, la détermination de 2 candidats les plus proches pour la coordonnée sphérique courante à coder et donnant deux indices de quantification fonction des indices de quantification déterminés pour les coordonnées sphériques précédentes, afin d’obtenir au plus 2n-2 candidats à l’issue de la quantification scalaire séquentielle des n-1 coordonnées; b) sélection du meilleur candidat qui minimise une distance entre le point d’entrée et les au plus 2n-2 candidats, et détermination des indices de quantification séparés issus de la quantification scalaire séquentielle desdites coordonnées sphériques dudit meilleur candidat ; c) codage séquentiel des indices de quantification séparés dudit meilleur candidat. Cette méthode de quantification met en œuvre une recherche optimale par la prise en compte de deux candidats par coordonnée sphérique pour le codage séquentiel des coordonnées sphériques. Cette recherche est optimisée en termes de complexité et/ou de stockage de données par rapport à une recherche exhaustive globale. Cette méthode apporte une meilleure performance notamment en apportant de faibles erreurs de quantification à un débit donné, comparée à une quantification complètement séparée des coordonnées sphériques sans prise en compte de plus d’un candidat. Dans un mode de réalisation, le codage séquentiel des indices de quantification séparés comprend la détermination d’un indice de quantification global par addition d’au moins une information de cardinalité à l’indice de quantification d’une coordonnée sphérique. Un seul indice global est ainsi déterminé et transmis au décodeur pour reconstruire le point d’entrée, ce qui limite les données à transmettre. Dans un mode de réalisation, la quantification scalaire d’une des n-1 coordonnées sphériques inclut un décalage prédéfini. Un tel décalage permet d’éviter un alignement sur un même « méridien » des points décodés sur la sphère et permet ainsi d’optimiser la performance de quantification. Dans un mode particulier de réalisation, la détermination du nombre de niveaux de quantification pour au moins une coordonnée sphérique s’effectue en fonction d’un nombre total de points de la grille sphérique et de la surface d’une zone sphérique de la sphère en dimension n. Cette approche permet d’améliorer encore la performance de la quantification en termes de stockage de données puisque la détermination du nombre de niveaux et l’indexation qui en découle est définie de façon analytique. Dans une variante de réalisation, la détermination d’une information de cardinalité s’effectue, pour au moins une coordonnée sphérique, en fonction d’un nombre de points de la grille sphérique, et de la surface d’une zone sphérique de la sphère en dimension n. Ainsi, il n’est pas nécessaire de stocker les informations de cardinalité pour effectuer l’indexation. Celle-ci s’effectue de façon analytique et directe. Dans un mode particulier de réalisation, pour au moins une coordonnée sphérique, le nombre de niveaux est forcé à une valeur impaire pour un nombre différent de 1. Ainsi, ce nombre de niveaux impair permet d’avoir par exemple en dimension 3 un niveau de reconstruction en colatitude à ^^/2 (ou de façon équivalente un niveau de reconstruction en élévation à 0), ce qui permet de représenter le plan horizontal pour certaines applications audio 3D, comme par exemple des applications avec un contenu ambisonique artificiel dans lequel il est fréquent d’avoir une composante Z nulle. L’invention vise également un procédé de codage d’un signal audio multicanal dans lequel le codage du signal audio multicanal utilise une matrice de rotation représentée par au moins un quaternion unitaire et dans lequel le au moins un paramètre représenté par un point d’entrée sur une sphère de dimension n avec n=4, est le au moins un quaternion unitaire. Cette méthode de codage est parfaitement adaptée au codage de ces matrices de rotation et apporte une bonne performance de quantification pour ces matrices. L’invention vise aussi un procédé de codage d’un signal audio multicanal dans lequel le codage du signal audio multicanal utilise des informations de direction d’arrivée de sources audio et dans lequel le au moins un paramètre représenté par un point d’entrée sur une sphère de dimension n avec n=3, est au moins une de ces informations. Cette méthode de codage est parfaitement adaptée au codage des informations de direction d’arrivée de sources audio dans une représentation 3D et apporte un bon compromis entre performance de quantification et complexité/stockage pour le codage et décodage de ces informations. L’invention vise également un procédé de codage d’un signal audio dans lequel le codage du signal audio utilise une transformation en sous-bandes fréquentielles et dans lequel le au moins un paramètre représenté par un point d’entrée sur une sphère de dimension n est au moins une sous-bande avec une valeur de n à la taille de la sous-bande. L’invention vise également un procédé de décodage d’un signal audio multicanal comportant le décodage d’au moins un paramètre représenté par un point d’entrée sur une sphère de dimension n, par décodage de n-1 coordonnées sphériques de ce point d’entrée, le procédé comportant le décodage séquentiel des coordonnées sphériques, définissant une grille sphérique, à partir d’un indice de quantification global ou de n-1 indices multiplexés, par les opérations suivantes : - détermination d’un nombre de niveaux de quantification pour la coordonnée sphérique à décoder en fonction des coordonnées sphériques précédemment décodées ; - détermination des indices séparés issus de la quantification séparée desdites coordonnées sphériques en fonction des nombres de niveaux déterminés puis obtention des coordonnées sphériques correspondantes pour reconstruire un point décodé sur la sphère de dimension n. Cette méthode de décodage permet de retrouver un point sur la sphère correspondant au point d’entrée codé avec une bonne performance, notamment en termes d’erreur de quantification. Dans un mode de réalisation, la détermination des indices séparés s’effectue à partir d’informations de cardinalité définies pour lesdites coordonnées sphériques. Ce mode de réalisation s’applique dans le cas où un indice de quantification global est reçu. Dans un mode de réalisation, le décodage d’une des n-1 coordonnées sphériques inclut un décalage prédéfini. Ce décalage a en effet permis d’optimiser la performance de quantification et optimise de ce fait la performance de décodage. Dans un mode de réalisation, les informations de cardinalité sont obtenues de façon analytique à partir d’un nombre de points et de la surface d’une zone sphérique de la sphère en dimension n. Ainsi, il n’est pas nécessaire de stocker les informations de cardinalité, ce qui optimise la mémoire de stockage et permet de retrouver les coordonnées sphériques de façon simple. L’invention vise un dispositif de codage comportant un circuit de traitement pour la mise en œuvre des étapes du procédé de codage tel que décrit précédemment. L’invention vise aussi un dispositif de décodage comportant un circuit de traitement pour la mise en œuvre des étapes du procédé de décodage tel que décrit précédemment. L’invention se rapporte à un programme informatique comportant des instructions pour la mise en œuvre des procédés de codage ou de décodage tels que décrits précédemment, lorsqu’ils sont exécutés par un processeur. Enfin l’invention se rapport à un support de stockage, lisible par un processeur, mémorisant un programme informatique comportant des instructions pour l’exécution du procédé de codage ou du procédé de décodage décrits précédemment. D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels : [Fig 1a] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de codage selon un mode général de réalisation de l’invention ; [Fig 1b] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de décodage selon un mode général de réalisation de l’invention ; [Fig 2a] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de codage selon un mode de réalisation en dimension 3 de l’invention ; [Fig 2b] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de décodage selon un mode de réalisation en dimension 3 de l’invention ; [Fig 3a] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de codage selon un mode de réalisation en dimension 4 de l’invention ; [Fig 3b] illustre sous forme d’organigramme les étapes mises en œuvre dans un procédé de décodage selon un mode de réalisation en dimension 4 de l’invention ; [Fig 4] illustre un mode de réalisation d’un dispositif de codage mettant en œuvre un procédé de codage selon un mode de réalisation en dimension 3 de l’invention ; [Fig 5] illustre un mode de réalisation d’un dispositif de décodage mettant en œuvre un procédé de décodage selon un mode de réalisation en dimension 3 de l’invention ; [Fig 6] illustre un mode de réalisation d’un dispositif de codage mettant en œuvre un procédé de codage selon un mode de réalisation en dimension 4 de l’invention ; [Fig 7] illustre un mode de réalisation d’un dispositif de décodage mettant en œuvre un procédé de décodage selon un mode de réalisation en dimension 4 de l’invention ; [Fig 8] illustre des exemples de réalisation structurelle d’un dispositif de odage et d’un dispositif de décodage selon un mode de réalisation de l’invention. Selon l'invention on quantifie préférentiellement des données sphériques en dimension 3 et 4. Cependant, on traite d'abord également d'un mode de réalisation général en dimension n ³ 3. Le cas de la dimension 3 s'applique à titre d'exemple pour le codage et le décodage des directions DoA dans un codage et décodage par exemple de type DiRAC comme décrit ultérieurement en référence aux figures 4 et 5. Le cas de la dimension 4 est utilisé pour la quantification de matrices de dimension 3 et 4 dans le domaine des quaternions (unitaires) et doubles quaternions (unitaires) respectivement, par exemple pour le codage et décodage ambisonique par analyse en composantes principales comme décrit ultérieurement en référence aux figures 6 et 7. Le cas d'une dimension n > 4 est appliqué à titre d'exemple de réalisation au codage de sous-bandes dans un codée audio par transformée mono.
Le procédé de codage pour une dimension n est maintenant décrit en référence à la figure la.
On considère ici le cas général de données sphériques Selon l'invention le codage peut s'appliquer avec une entrée x définie avec des coordonnées cartésiennes à l'étape E100 ou directement sous la forme de coordonnées sphériques à l'étape E101. On considère ici sans perte de généralité une définition mathématique à l'étape E101: x1 = r cos Φn x2 = r sin Φ1 cos Φ2 cn-1 = r sin Φ1 sin Φ2 ... cos Φh_ 1 xn = r sin Φ1 sin Φ2 ... sin Φh-1
Dans des variantes, d'autres systèmes de coordonnées sphériques seront possibles. Les angles sont ici - sauf mention contraire - définis en radians, dans des variantes une autre unité pourra être utilisée (par exemple les degrés).
Le rayon r est par la suite considéré comme étant unitaire (r = 1) et les coordonnées sphériques seront à prendre au sens des coordonnées angulaires Φ1, Cependant, dans des variantes il serait possible de coder séparément ce rayon r pour obtenir une quantification de type gain-forme (« gain-shape » en anglais), la forme étant codée selon l'invention et le rayon étant codé à part selon des méthodes classiques qui sortent du cadre de l'invention (par exemple une quantification scalaire suivi d'un codage entropique). Dans la suite on désignera par « grille » ou « grille sphérique » un dictionnaire de quantification vectorielle sphérique qui discrétise la sphère Selon l'invention la grille est définie implicitement par la quantification séquentielle de coordonnées sphériques.
Selon l'invention les données sphériques en entrée du codage sont représentées par une discrétisation quasi-uniforme (ici au sens de l'uniformité de l'aire des régions de décisions et/ou de la répartition des points) de la sphère La grille est définie par une quantification scalaire séquentielle des coordonnées
Cette contrainte permet de diviser les étapes de codage selon les coordonnées sphériques, en codant d'abord Φ1 à l'étape E102-1, puis Φ2 à l'étape E102-2, , et enfin Φn-1 à l'étape E102- (n-1). Cette approche séquentielle est selon l'invention équivalente à une recherche exhaustive du plus proche voisin dans la grille sphérique complète, car les étapes E102-1 à E102-(n-2) donnent deux candidats (les deux points les plus proches de Φk), ce qui revient à définir implicitement un arbre binaire de recherche avec 2n-2 candidats (feuilles) à l'issue de l'étape E102-(n-l). On peut vérifier que cet arbre binaire permet une recherche optimale.
Le principe de chaque étape E102-k est le même, en prenant en compte le fait que les angles Φ1, ... , Φn-2 ont un support de largeur p tandis que Φn- a un support de largeur 2p.
Une quantification scalaire uniforme avec le même pas de chaque angle Φk, k = 1, ...,n - 1, donnerait une grille de type « lat-long » dont la distribution des points n'est pas uniforme - par exemple dans le cas 3D on aurait des points de plus en plus rapprochés à proximité des pôles avec l'aberration où l'azimut serait codé au niveau des pôles Nord et Sud si le codage de l'élévation (ou la colatitude) inclut des niveaux reconstructions représentant les pôles. Ainsi selon l'invention on utilise plutôt une grille avec un nombre de niveaux de quantification scalaire Nk dépendant de la coordonnée sphérique øk et des valeurs codées Φ1,Φ2 ... des coordonnées précédentes.
Selon les variantes, le nombre N1 ≥1 de niveaux de quantification scalaire pour la première coordonnée sphérique est prédéterminé selon différentes approches à l'étape E103-1, soit directement en fixant une valeur entière N1 prédéterminée, soit par le biais d'une résolution angulaire a. En général on fixera les valeurs de Nk (dont la valeur de N1) pour vérifier une contrainte de débit alloué à ne pas dépasser pour la quantification vectorielle sphérique.
Dans le mode de réalisation privilégié, on préférera une quantification scalaire dont le dictionnaire inclut les valeurs Φί = 0, p/2 et p comme niveaux de reconstruction, ce qui donne un nombre N1 impair, pour inclure les pôles (Φ1 = 0, π ) et l' « équateur » (Φί = p/2) parmi les valeurs codées. Les nombres N2, ...,Nn-1 se déduisent de telle sorte que la grille soit quasi-uniforme. Ainsi on pourra prendre par exemple : où a est donné en degrés (par exemple α = 2 degrés). Dans des variantes, d'autres méthodes de détermination de la valeur entière N1 seront possibles.
Le dictionnaire de quantification scalaire pour la coordonnée Φ1 est de façon préférentielle donné par l'ensemble des valeurs de reconstruction (ou mots de code): ce qui correspond à une quantification scalaire uniforme sur [0,π] à N1 niveaux. Dans des variantes, d'autres dictionnaires de quantification scalaire (uniforme ou non-uniforme) seront possibles, y compris des dictionnaires qui n'incluent pas les pôles Le principe de détermination de Nk, k > 1 s'appuie sur la surface élémentaire (infinitésimale) sur la sphère qui est donnée par ce qui peut se réécrire, en supposant r = 1, comme :
Ainsi on aura par exemple Nk donné sous la forme générale à l'étape E103-2, ..., E103-(n-l): où les indices ik sont les indices de quantification scalaire de la coordonnée obtenus à l'étape E104-k et est le dictionnaire pré-défini de quantification scalaire qui est en fonction des coordonnées précédemment codées et représentées par les indices respectifs
Le dictionnaire de quantification scalaire pour la coordonnée est de façon préférentielle donné par : et ce qui correspond à une quantification scalaire uniforme sur respectivement Nk niveaux sur [0, p] et Nn-1 niveaux sur [0,2p]. Dans le cas de on notera que les bornes redondantes 0 et 2p ne sont pas répétées de la nature circulaire de cette coordonnées (autrement dit, à cause du modulo 2p). Dans des variantes, d'autres dictionnaires de quantification scalaire seront possibles.
Le nombre total de point dans la grille discrétisant la sphère est donné par :
La grille sphérique est donc définie comme le dictionnaire de quantification vectorielle sphérique suivant :
La quantification des n-1 coordonnées sphériques se fait de façon séquentielle de l'étape E104- 1 à l'étape E104-(n-l). Etant données la valeur de Φk issue de l'étape E101 et la valeur Nk issue de l'étape E103-k, l'étape E104-k consiste à quantifier la coordonnée Φk avec un dictionnaire pré-déterminé à niveaux pour retenir deux indices de quantification correspondant aux deux candidats les plus proches. Ainsi, à l'étape E104-1 on retient deux indices i1(0) et i1(1) correspondant aux deux points du dictionnaire les plus proches de tels que :
On note que les indices ^(0) et ^(1) peuvent être intervertis sans que cela change le résultat optimal à l'issue du codage séquentiel.
A l'étape E104-2 on retient deux indices correspondant aux deux points du dictionnaire les plus proche de Φ2 pour chacun des deux candidats retenus à l'étape E-104-1, ce qui donne 4 indices et de sorte que : et
On note que les indices i2 (0) à ^(3) peuvent être permutés sans que cela change le résultat du candidat optimal à l'issue du codage. Enfin à l'étape E104-(n-l), on ne retient que le plus proche voisin pour pour coder 0n-1; et cette étape est répétée pour les 2n- 2 combinaisons d'indices issues des n-2 coordonnées précédentes.
On obtient ainsi un arbre binaire implicite avec le double de « candidats » à chaque étape jusqu'à l'étape n-2, pour arriver à 2n-2 combinaisons possibles de valeurs codées et donc autant de combinaisons d'indices à l'étape E104-(n-l).
On présente ici cet arbre par le biais d'un indice de combinaison m = 0, ..., 2n-2 - 1 au niveau des feuilles de l'arbre binaire, à l'issue de l'étape E104-(n-l).
Pour un m donné, les indices séparés de quantification correspondants sont: où l'opérateur correspond à un décalage binaire de la valeur entière b (en représentation binaire) par n bits vers la droite - autrement dit, b » n donne le quotient de la division entière de b par 2n. Ainsi m » (n - 3) ne prend que deux valeurs 0 ou 1 pour (n - 4) prend 4 valeurs possibles (de 0 à 3) pour i2, etc.
On obtient donc à l'étape E105 un nombre de candidats qui peuvent aussi être notés de façon abrégée sous la forme L'étape E106 sélectionne le candidat le plus proche du point d'entrée, soit dans le domaine des coordonnées cartésiennes, en ayant converti chaque candidat en cartésien et en minimisant une distance avec soit dans le domaine des coordonnées sphériques avec une distance prédéterminée qui est de façon préférentielle la distance angulaire.
Dans le cas des coordonnées cartésiennes, l'étape E106 convertit les coordonnées sphériques en en coordonnées cartésiennes ) e t on sélectionne la combinaison optimale d'indices séparés comme : ici pour un critère d'erreur quadratique entre le point d'entrée et chaque candidat Dans des variantes d'autres critères de distance que l'erreur quadratique pourront être utilisés. On pourra aussi de façon équivalente à une erreur quadratique maximiser le produit scalaire : car = oÙ est le produit scalaire, les points étant sur une sphère unité. Dans le cas des coordonnées sphériques, on pourra utiliser la distance angulaire qui est donnée comme l'arccosinus du produit scalaire entre Comme l'arccosinus ne modifie pas l'optimum, on peut utiliser une distance angulaire modifiée qui se réduit simplement au produit scalaire exprimé dans le domaine des coordonnées sphériques. Pour la dimension n = 3 cette distance est connue comme étant - ici pour la colatitude : ce qui s'adapte facilement pour l'élévation:
Ce critère donne en E106 :
Cet exemple de distance angulaire simplifiée en produit scalaire pour n = 3 se généralise aux dimensions supérieures.
On trouve ainsi l'indice m* du point codé optimal qui correspond à la séquence correspondante d'indices de quantification séparés associés au codage séquentiel de chaque coordonnée sphérique.
Cette combinaison d'indices (sous forme abrégée) est convertie en un train binaire à l'étape E107, soit sous la forme d'un indice global et unique index, soit sous la forme d'un codage et/ou multiplexage des indices de quantification séparés.
Dans un premier mode de réalisation, selon l'invention, cet indice s'obtient de façon générale sous la forme : où oΦΦsetk{.) représente une information de cardinalité pour la k-ième coordonnée, sous la forme d'une somme cumulative de cardinalité correspondant à la somme cumulative - à partir du « pôle Nord » - du nombre de points de la grille jusqu'à la « zone sphérique » défini par la valeur codée de la k-ième coordonnée.
Ainsi l'indice global index est obtenu par codage séquentiel des indices de quantification séparés du meilleur candidat.
Dans des variantes, le dernier terme de la somme pourra être permuté, pour avoir : où p(.) est une permutation des entiers dans Sans perte de généralité, on discute dans la suite du cas où
Par définition, oΦΦset^ 0) = 0 et pour On peut étendre les informations de cardinalité avec la convention ce qui est utile pour le décodage.
De même,
Cette définition se généralise facilement pour les autres valeurs
Dans des variantes, d'autres méthodes seront possibles, notamment en changeant le point de départ (pôle Nord, pôle Sud, équateur) et/ou l'ordre des indices pour chaque sommation sur des sommes cumulatives de cardinalité
Dans un deuxième de réalisation, selon l'invention, le nombre de niveaux à l'étape E103-k et les informations de cardinalité o 2 à l'étape E107 sont obtenus de façon analytique à partir de la surface de zones sphériques de la sphère et d'un nombre total de points, qui correspond par exemple au nombre total de la grille sphérique pour la première coordonnée des exemples de réalisation de cette approche analytique sont détaillés ci-après pour les dimensions n = 3 et 4. Ces exemples pourront être généralisés à la dimension n. Là encore, l'indice global index est obtenu par codage séquentiel des indices de quantification séparés du meilleur candidat.
Dans un troisième mode de réalisation, l'étape E107 consiste à coder séquentiellement sous forme binaire les n-1 indices correspondant au meilleur candidat. Ce codage est séquentiel car le nombre de valeurs possibles (Nk) pour chaque indice dépend des indices précédents. Ce troisième mode de réalisation est particulièrement intéressant pour les dimensions élevées car l'utilisation de cardinalité de type est pertinente en dimension 3, plus compliquée en dimension 4 et elle devient encore plus complexe à mettre en œuvre en dimension plus élevée que 4.
Dans une première variante, ce codage séquentiel utilisera un codage binaire à débit fixe pour les indices sur respectivement bits où désigne l'arrondi à l'entier supérieur, avec la convention [01 = 0. Le multiplexage se fait donc de façon séquentielle pour former un train binaire de longueur totale variable bits, en multiplexant d'abord i1 puis i2 et ainsi de suite jusqu'à On notera que lorsque le codage prend 0 bit pour l'indice ik.
Dans une seconde variante, les indices seront codés séquentiellement avec un codage entropique de type Huffman ou codage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur (symbole) ik comprise entre 0 et Nk - 1, où Nk en notation abrégée désigne en déterminant la surface partielle de la sphère dans la « tranche sphérique » associée à ik pour la coordonnée (le cas échéant conditionnellement aux indices cette aire étant normalisée par l'aire totale de la sphère pour la coordonnée Φί et par l'aire totale de la partie de sphère induite par les indices pour les coordonnées On entend ici par « tranche sphérique » la zone sphérique induite pour la coordonnée Φk et délimitée par les seuils de décision correspondant au mot de code d'indice ik.
En général pour la coordonnée on pourra simplement utiliser un codage binaire à longueur fixe sur bits en supposant une distribution équiprobable. Dans des variantes d'autres estimations des probabilités seront possibles si la distribution de la source sur la sphère en dimension 3 est supposée non uniforme.
Le procédé de décodage correspondant, pour une dimension n, est décrit en référence à la figure lb.
Etant donné l'indice global à l'étape El 10, on effectue un décodage séquentiel des coordonnées sphériques de l'étape El 11-1 à l'étape Elll-(n-l) selon une approche similaire au codage.
A l'étape El 12-1, on détermine comme à l'étape de codage E103-1 un nombre de niveaux de quantification scalaire N1. On détermine l'indice i1 à l'étape E113-1 pour décoder la valeur à l'étape E114-1.
Dans le premier mode de réalisation, la détermination de ix s'appuie sur la comparaison de la valeur index à un ensemble de valeurs entières correspond à une somme cumulative de cardinalité pour la première coordonnée sphérique, comme défini précédemment pour le codage en référence à la figure la.
Le mode de réalisation le plus simple pour décoder ii consiste en une recherche itérative.
Pour un indice à décoder on décode i1 en commençant par ii = 0 et en incrémentant successivement tant que En effet, la valeur de correspond à la somme cumulative des cardinalités (nombre de points) de chacune des « tranches horizontales » de la sphère en allant de la première tranche d'indice 0 à la tranche courante d'indice i1 (exclusivement).
Dans un deuxième mode de réalisation, la détermination de i1 s'effectue de façon analytique. La détermination exacte dépend de la dimension n. On décrit plus loin des exemples de réalisation pour la dimension 3 et 4.
On retranche à l'étape E113-1 la valeur de oΦΦset^iΦ) à index : A l'étape El 12-2, on détermine comme à l'étape E103-2 un nombre de niveaux de quantification scalaire puis on détermine l'indice i2 à l'étape El 13-2 en comparant successivement la valeur index (mise à jour à l'étape El 13-1) à correspondant à une somme cumulative de cardinalité pour la deuxième coordonnée sphérique, par incrémentation successive de la valeur de i2 tant que index dans le premier mode de réalisation ou de façon analytique dans le deuxième mode de réalisation. On obtient la valeur à l'étape El 14-2. On retranche à l'étape El 13-2 la valeur de à index :
Le décodage procède ainsi jusqu'à la dernière coordonnée pour obtenir l'indice de quantification correspondant à la coordonnée par soustraction de la valeur mise à jour de index par et pour décoder la valeur à l'étape E114-(n- 1).
On obtient ainsi le point décodé à l'étape E115 comme ou en donnée cartésienne en El 16, le point
Dans des variantes, il sera possible de réduire la complexité maximale du décodage des indices i1,i2... par exemple avec une recherche par dichotomie en commençant par le milieu de la table puis en réduisant de moitié l'intervalle de recherche vers la gauche ou à droite en fonction du résultat de comparaison - le résultat est identique mais la complexité maximale de calcul est réduite avec environ log2 N1 comparaisons au lieu de N1 comparaisons.
Dans un deuxième mode de réalisation, le nombre de points à l'étape E112-k et les informations de cardinalité à l'étape E113-k sont obtenus de façon analytique à partir d'un nombre de points e t de la surface d'une zone sphérique de la sphère en dimension n. Des exemples de réalisation sont détaillés ci-après pour les dimensions n = 3 et 4. Les valeurs seront déterminées de façon analytique - sans être stockées - en déterminant la surface relative de zones sphériques comme détaillé en référence aux figures 2 et 3.
Dans un troisième mode de réalisation, l'étape El 10 consiste à démultiplexer et décoder séquentiellement les n-1 indices séparés de quantification scalaire Ce décodage est séquentiel car le nombre de valeurs possibles (Nk) pour chaque indice dépend des indices précédents. Dans une première variante, ce démultiplexage et décodage séquentiel utilisera un décodage binaire à débit fixe pour l'indice sur respectivement bits où désigne l'arrondi à l'entier supérieur, avec la convention Le démultiplexage se fait donc de façon séquentielle pour lire un train binaire de longueur totale variable bits. Le démultiplexage est séquentiel car on démultiplexe d'abord i1 ce qui permet de déterminer N2(i1), cette information est donnée au démultiplexage pour pouvoir démultiplexer i2 ,, etc.
Dans une seconde variante, les indices seront démultiplexés et décodés séquentiellement avec un décodage entropique de type Huffman ou décodage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur (symbole) ik comprise entre 0 et Nk - 1 (en notation abrégée) en déterminant la surface partielle de la sphère dans la tranche associée à ik pour la coordonnée (le cas échéant conditionnellement aux indices cette aire étant normalisée par l'aire totale de la sphère pour la coordonnée Φ1 et par l'aire totale de la partie de sphère induite par les indices pour les coordonnées
En général pour la coordonnée on pourra simplement démultiplexer un code à longueur fixe sur bits en supposant une distribution équiprobable.
Dans des variantes d'autres estimations des probabilités seront possibles si la distribution de la source sur la sphère en dimension 3 est supposée non uniforme.
Les figures 2a et 2b sont maintenant décrites pour illustrer, dans un premier temps, le cas de la quantification 3D, où n = 3.
Sans perte de généralité, on prend ici la définition des coordonnées sphériques en 3D selon la convention physique qui est souvent utilisée dans le domaine de l'acoustique et de l'audio 3D. On omet le rayon qui est ici fixé à 1 en ne gardant que l'azimut et la colatitude (ou l'élévation dans des variantes) dans le cas où on code une direction de sources (ou DoA) comme dans un schéma de type DiRAC.
Dans des variantes et pour certaines applications (ex : quantification d'une sous-bande en codage par transformée), il sera possible de coder un rayon séparément (correspondant à un niveau d'amplitude moyenne par sous-bande par exemple).
La figure 2a décrit un procédé de codage d'un point d'entrée sur une sphère de dimension 3.
Les composantes ( x , y, z) d'un vecteur cartésien 3D (point d'entrée de l'étape E200) sont mises sous forme de coordonnées sphériques (r, Φ,q ) en E201. A cette étape E201, on effectue de façon optionnelle une conversion des coordonnées sphériques, par exemple pour convertir une élévation et un azimut en degrés vers une colatitude et un azimut en radians.
Dans le mode de réalisation privilégié, les angles Φ,q correspondent respectivement à la colatitude et l'azimut, ce qui ne correspond pas aux angles Φ1 et Φ2 définis en référence à la figure 1 pour le cas de la dimension n = 3, car dans cete dimension l'interprétation physique des pôles Nord et Sud (ø = 0 et π respectivement) est importante.
Par la suite, le point 3D pourra être noté indifféremment ou ( Φ,q ) quand le point est sur la sphère unité (r = 1).
Sans perte de généralité les angles à coder sont définis en radians - cependant le paramètre de résolution a utilisé dans certaines variantes est lui donné en degrés pour faciliter son interprétation. Dans des variantes, les différents modes de réalisation pourront utiliser une autre unité, par exemple les degrés, pour les angles à coder. Dans des variantes, la colatitude (définie à partir de l'axe Oz) pourra être remplacée par une élévation (définie à partir du plan horizontal Oxy), et d'autres systèmes de coordonnées sphériques équivalents (obtenus par exemple par permutation ou inversion de coordonnées cartésiennes) pourront être utilisés selon l'invention - il suffira d'appliquer les conversions nécessaires dans la définition des dictionnaires de quantification scalaire, le nombre de niveaux, etc. Le codage et le décodage selon l'invention s'applique à toutes les définitions de coordonnées sphériques, on peut ainsi remplacer Φ,q par d'autres coordonnées sphériques, en adaptant la conversion entre coordonnées cartésiennes et coordonnées sphériques.
Selon l'invention les données sphériques d'entrée sur la sphère sont représentées par une discrétisation quasi-uniforme (ici au sens de l'uniformité de l'aire des régions de décisions et de la répartition des points) de la sphère La grille (ou dictionnaire de quantification vectorielle sphérique) est ainsi définie par une quantification scalaire séquentielle des coordonnées sphériques Φ,q, dans le sens où on discrétise une première coordonnée Φ par quantification scalaire, puis une seconde coordonnée Q de façon conditionnelle, en fonction de la valeur codée de la première coordonnée.
Sans perte de généralité, les angles Φ,q seront définis en radians. Dans des variantes une autre unité que les radians, par exemple les degrés, pourra être utilisée.
Plusieurs types et variantes des grilles sphériques sont définis selon l'invention. Elles ont toute en commun le fait de discrétiser séquentiellement la colatitude puis l'azimut par quantification scalaire, avec une discrétisation uniforme de l'azimut selon un nombre de niveaux dépendant de la valeur codée de la colatitude.
On code séquentiellement les coordonnées Φ puis θ, avec un dictionnaire 1} de quantification scalaire pré-déterminé avec N1 niveaux pour Φ et un ensemble de dictionnaires de quantification scalaire uniforme pré-déterminés avec N2( i) niveaux pour Q en fonction de l'indice i de la colatitude codée. On peut donc voir chacune des variantes des grilles 3D selon l'invention comme un ensemble de « zones sphérique » ou « tranches horizontales » discrétisées induites de la quantification de la colatitude (les limites de chaque tranches sont données par les seuils de décision de la quantification de la colatitude, hors pôles), ces tranches étant ensuite elles-mêmes divisées en « régions » équiréparties en azimut avec un nombre de « régions » dépendant de la tranche en colatitude. Le nombre total de points de la sphère discrétisée selon les différents nombres de niveaux déterminés, encore appelée nombre total de point dans la grille 3D est dans tous les cas :
La grille sphérique est donc définie comme le dictionnaire de quantification vectorielle sphérique suivant :
Si le codage s'effectuait de façon totalement séparée (et non séquentiel comme dans l'invention) avec une indépendance du codage de Φ puis Q, la recherche du plus proche voisin dans la grille correspondrait à une division de la sphère en « rectangles sphériques » ; selon l'invention, il est cependant prévu de façon préférentielle d'effectuer un codage séquentiel où deux candidats sont retenus pour la colatitude, ce qui change la forme des régions de décisions avec en général une majorité de « régions de décison » de forme hexagonale, et un résultat optimal équivalent à une recherche exhaustive.
Comme décrit plus loin, l'algorithme de codage (spécifiquement, de recherche du plus proche voisin) et de décodage (quantification « inverse ») est commun à tous les types de grille, par contre la détermination de l'indice global (l'indexation) et le décodage de l'indice global dépendent du mode de réalisation.
Le type de dictionnaire de quantification scalaire utilisé pour coder la colatitude peut être uniforme (avec ou sans pôles) ou non-uniforme.
Trois modes de réalisation sont définis comme dans le cas général décrit aux figures la et lb. On notera que dans le deuxième mode de réalisation, la grille est définie de façon spécifique pour simplifier l'étape de détermination de l'indice global de quantification (indexation) qui opère sans stockage des informations de cardinalité. Dans ce cas le nombre de niveaux pour le codage de l'azimut et les informations de cardinalité nécessaires à l'indexation sont obtenus de façon analytique à partir de la surface partielle de la sphère et du nombre total de points
Ntot - Dans un premier mode de réalisation, la grille est définie par exemple à partir d'une résolution angulaire a (en degrés pour faciliter son interprétation) comme suit.
En 202-1, la colatitude est codée par quantification scalaire sur N1 niveaux de reconstruction. De façon préférentielle, on utilise une quantification scalaire uniforme sur l'intervalle [O,p] (en incluant les valeurs et p comme niveaux de reconstruction): où N1 est défini en E203-1 par pour avoir un nombre impair de niveaux N1 (et donc inclure les pôles Nord et Sud et l'équateur) et [.] est l'arrondi à l'entier le plus proche. Cette contrainte d'un nombre de niveaux impair, pour avoir spécifiquement un niveau de reconstruction égal à p/2 dans le dictionnaire de quantification scalaire, est motivée par le fait que dans les applications audio 3D, il est intéressant de représenter spécifiquement le plan horizontal (ø = p/2) car de nombreux contenus ambisoniques artificiels sont souvent définis avec une composante Z nulle. La définition ci-dessus du dictionnaire {ø(/)} implique également que les pôles Nord et Sud (correspondant à Φ= 0 et p ) sont aussi spécifiquement inclus dans le dictionnaire ; l'inclusion des pôles permet une représentation complète de la sphère, l'impact est minime car seuls 2 points de la grille sont associés aux pôles.
L'azimut Q est codé par quantification scalaire sur N2(ï) niveaux en E202-2. De façon préférentielle on utilise une quantification scalaire uniforme en E202-2 avec un dictionnaire de quantification scalaire uniforme en tenant compte de la nature cyclique de l'intervalle [0,2p] si bien qu'il n'est pas nécessaire d'avoir les deux bornes 0 et 2p redondantes comme niveaux de reconstruction : ouN2 est par exemple défini en E203-2 par est un décalage prédéterminé selon l'invention. Par définition, lorsque les pôles sont inclus dans le dictionnaire
Le décalage 5(0 est défini pour « tourner » la « tranche horizontale » de la sphère (délimitée par les seuils de décision de colatitude) associée à chaque colatitude d'indice ί de sorte que les azimuts codés soient le moins alignés possibles d'une tranche successive à l'autre.
En pratique, on peut définir de façon équivalente le même dictionnaire en deux blocs de traitement avec un dictionnaire simplifié (sans décalage) : en appliquant le décalage 5(0 comme pré- et post-traitement d'une quantification scalaire uniforme avec le dictionnaire (voir la description du codage en référence à la figure 2a ci-dessous).
Dans la formulation ci-dessus du dictionnaire simplifié on notera qu' un niveau de quantification j = N2(I) redondant est volontairement ajouté, sachant que cette redondance permet de tenir compte de façon efficace de la nature cyclique de l'intervalle [0,2π] en minimisant les opérations de modulo.
Le nombre total de points dans la grille est donné par : ce qui donne un débit de log2N1ot bits.
On donne dans le tableau 1 des exemples de résolutions a (en degrés) pour obtenir un nombre de points N1ot permettant de s'approcher au mieux d'un débit cible (en bits) dans une grille où N1 est fonction de a. Les valeurs de a sont ici indicatives et dans des variantes d'autres valeurs pourront être utilisées. On notera qu'en général un certain nombre de niveaux possibles ne sont pas utilisés à cause de la contrainte de construction séquentielle de la grille 3D.
Tableau 1
Dans des variantes, on pourra remplacer l'arrondi à l'entier le plus proche [.] dans la définition de où i est une ou plusieurs valeurs de l'ensemble par un arrondi à l'entier inférieur ou supérieur ; cela permet d'ajuster en particulier le nombre de points N1ot dans la grille sphérique. Dans ce cas la convention d'arrondi utilisée doit bien sûr être appliquée à l'identique au codage et au décodage pour la détermination des valeurs de N1 et/ou N2(i). Sans perte de généralité, on garde par la suite la convention où [.] correspond à l'arrondi à l'entier le plus proche.
Etant donnés N1 et le dictionnaire de quantification scalaire pour la colatitude on peut déterminer selon différentes méthodes. De façon générale, on fixe dans le cas préférentiel où les pôles et l'équateur sont inclus dans le dictionnaire de colatitude, En effet, les pôles ne sont associés qu'à un seul point puisque dans le mode de réalisation privilégié où et p sont inclus dans le décalage associé n'est donc pas pertinent. Il est intéressant de garder un décalage nul dans le plan horizontal pour avoir des directions 3D plus facilement interprétables, quand 2 est inclus dans
De plus on impose dans une première réalisation de la détermination de que le décalage soit symétrique ou antisymétrique pour les hémisphères Nord et Sud, soit : .
Dans une première réalisation, le décalage est optimisé de façon séquentielle pour i = par apprentissage par « tranches horizontales » successives, à partir de la « tranche horizontale » juste au-dessus de l'équateur jusqu'à la tranche juste avant le pôle Nord. A l'itération i , on cherche pour minimiser l'erreur de quantification pour une zone sphérique délimitée par les élévations 1). Cette erreur peut être estimée par simulation de Monte Carlo d'une source aléatoirement distribuée selon une loi uniforme sur la surface de la sphère (par exemple par tirage Gaussien en dimension 3 et normalisation), en ne retenant que les échantillons aléatoires dont l'élévation est entre ces échantillons aléatoires sont codés selon l'invention en testant différentes valeurs candidates de
Cela revient à appliquer le codage décrit à la figure 2a uniquement pour des données d'entrée dont l'élévation est entre Ce codage est répété pour autant de valeur à tester, la valeur de étant connue à l'itération précédente. On mesure l'erreur de quantification par exemple en termes d'erreur quadratique moyenne, et on retient la valeur candidate de correspondant au minimum - par exemple, on pourra faire varier sur un intervalle divisé en 1000 pas équidistants.
Le tableau 2 donne un exemple de décalage obtenu par un tel apprentissage (ou procédé d'optimisation) pour le cas d'une grille 3D sur 8 bits (définie au tableau 1). Il apparaît que ce mode de réalisation requiert de stocker les N1 valeurs de Dans des variantes, il sera possible de ne stocker que les valeurs non nulles et non redondantes, avec la convention Dans des variantes, on pourra prendre une convention antisymétrique autour de l'équateur. Tableau 2
Dans des variantes, d'autres méthodes de détermination du décalage seront possibles. Par exemple, on pourra maximiser itérativement la distance circulaire minimale (modulo 2π) entre les deux ensembles de valeurs discrètes d'azimut et où i va de jusqu' à est supposé connu à l'itération i avec 5(i + 1) fixé et constant. Pour un i on détermine : où est connu à chaque étape (en partant de est la distance circulaire modulo dans le cas où plusieurs valeurs de 5(0 atteignent l'optimum on retiendra préférentiellement la plus faible. Ce mode de réalisation (alternatif) requiert en théorie de stocker les valeurs de
Dans des variantes, on définira le décalage 5(0 à des valeurs prédéterminées pour ne pas avoir à stocker ces valeurs.
Dans une première variante, on gardera la contrainte et on fixera soit la moitié du pas de quantification scalaire d'azimut étant donné l'indice i de colatitude (hors pôles et équateur). De plus on prendra
Dans une deuxième variante, on fixera (valeurs impaires de (valeurs impaires de 0- De plus on prendra 5((L0 -
Dans une troisième variante, le décalage est mis à et d'autres aspects de l'invention sont mis à œuvre.
Dans d'autres variantes, d'autres valeurs de 5(0 pourront être utilisées.
Dans un mode particulier, on pourra directement fixer le nombre de niveaux N1 à une valeur entière (de préférence impaire), sans chercher à approximer une résolution angulaire a. On peut déduire de N1 une résolution angulaire, qui correspond dans un mode particulier au pas de quantification : (en degrés). La détermination du nombre de niveaux N2(i) est reprise avec cette valeur de α avec
Ce mode particulier a cependant le défaut d'avoir en général moins de finesse dans l'allocation du nombre de points par couches sphériques pour atteindre un certain débit cible.
On donne dans le tableau 3 des exemples de nombre de points N1ot pour des valeurs N1 permettant de s'approcher d'un débit cible (en bits) dans une grille où N1 est donné directement.
Tableau 3
Dans des variantes, on pourra prendre cependant cela ne garantit pas que l'équateur (correspondant à soit inclus dans le dictionnaire de quantification. Dans ce cas, certaines variantes d'indexation - décrites plus loin - supposant l'inclusion de l'équateur ne pourront pas être mises en œuvre.
Dans d'autres variantes, on pourra ne pas représenter les pôles, en définissant par exemple les niveaux de reconstruction de la colatitude comme :
Dans ce cas, certaines variantes d'indexation - décrites plus loin - supposant l'inclusion des pôles ne pourront pas être mises en œuvre ou devront être adaptées.
On présente maintenant un procédé de codage des coordonnées sphériques ( Φ,q ) d'un point d'entrée sur une sphère en dimension 2 illustré à la figure 2a.
On décrit à présent un algorithme de recherche optimal pour l'erreur quadratique (ou la distance euclidienne), ce qui correspond à la longueur de la corde entre ( Φ,q ) et ou la distance angulaire qui est associée à la longueur de l'arc de cercle entre ces points.
La quantification des coordonnées sphériques et la recherche s'effectue de façon séquentielle comme suit :
Etant donné un point 3D ( x,y,z ) en E200 supposé sur S2 (avec un rayon 1), on détermine d'abord ø en E201 comme : Φ = arccos z
- On code d'abord la colatitude Φ en E202-1. Pour que la recherche soit optimale, il convient de retenir les 2 valeurs les plus proches (la plus proche d'indice i1(0) et la seconde plus proche i1(1)) à l'étape E204-1:
Dans des variantes, on pourra déterminer i1(0) et i1(1) par quantification directe - on donne ci-dessous un exemple de réalisation pour le cas d'un dictionnaire scalaire uniforme de la forme
■ sinon :
■ sinon : désignent l'arrondi à l'entier inférieur et supérieur (respectivement) et est le pas de quantification scalaire
On note dans tous le cas que les indices i1(0) et i1(1) peuvent être permutés sans que cela change le résultat du codage.
On obtient ainsi deux indices correspondant aux deux points du dictionnaire les plus proches de ø.
Ensuite on détermine l'azimut en E201 défini dans [0,2π]. Dans des variantes, on pourra utiliser la fonction arctan sur 4 quadrants (notée arctan2): mais dans ce cas l'azimuth θ est défini dans [- p,p ] et il faudra adapter le dictionnaire de quantification (avec un décalage de -π).
- On code l'azimut Q par quantification scalaire uniforme en E204-2 avec un nombre de niveaux adaptatif , comme décrit précédemment à l'étape E203-2, pour obtenir en E204-2, les deux valeurs respectivement.
De manière privilégiée, la quantification scalaire uniforme en E204-2 est mise en œuvre en deux blocs de traitement avec un dictionnaire simplifié (sans décalage):
On applique d'abord le décalage (0 à l'entrée : où est l’opération modulo 2 π , puis on quantifie dans le dictionnaire : Cette quantification dans le dictionnaire pourra être réalisée directement comme suit pour une entrée ଶ o sinon :
■
■ sinon : désigne l’arrondi à l’entier le plus proche et est le pas de quantification scalaire
■ si Le niveau de reconstruction correspondant est : ൯ Cela correspond donc à une quantification scalaire avec le dictionnaire ou de façon équivalente avec le dictionnaire et un pré-traitement et un post-traitement - On obtient à l’étape E205, deux candidats - A l’étape E206, on sélectionne le candidat , 1 le plus proche de et en coordonnées cartésiennes. Le critère de distance peut être la distance euclidienne qui est à minimiser ou le produit scalaire qui est à maximiser. Par exemple : Les indices de quantification sélectionnés en E206 correspondent au point sélectionné : Dans des variantes on peut effectuer la dernière étape sans repasser par les coordonnées cartésiennes, en calculant une distance directement dans le domaine des coordonnées sphériques. On pourra évaluer une distance dans le domaine des coordonnées sphériques entre Partant de la distance angulaire on pourra donc minimiser : Pour simplifier les notations, on notera dans la suite de la description de la figure 2a ces indices comme ( i, j) pour désigner respectivement les indices sélectionnés avec m∗ = 0 ou 1. L’étape d’indexation E207 est maintenant décrite selon différentes méthodes. On détermine à cette étape un indice de quantification global en fonction des indices séparés ( i, j) issus de la quantification séparée des coordonnées sphériques pour le point le plus proche sélectionné. A partir des indices on détermine en E207 un indice unique 0 ≤ index < N tot à transmettre. Dans une réalisation préférentielle du premier mode de réalisation, on utilise un pré-stockage (tabulation) des sommes cumulatives de cardinalité définies par et de zones (ou « ensembles de tranches horizontales ») sphériques successives. Cette somme peut s’interpréter comme la cardinalité d’une zone sphérique discrétisée (le nombre de points de la grille partielle allant de la colatitude d’indice 0 à la colatitude d’indice i). On donne au tableau 4 un exemple de table pour le cas d’une grille 3D (pour α = 12.5419921875, avec N 1 = 15). Tableau 4 Cette somme cumulative précalculée et stockée en mémoire sert pour déterminer l’indice de l’élévation. Ainsi l’indice global est calculé comme : Ainsi l’indice global index est obtenu par codage séquentiel des indices de quantification séparés i, j du meilleur candidat. Dans ce cas la valeur 0 correspond au pôle Nord et la valeur correspond au pôle Sud. La valeur est ici définie pour permettre le décodage de in de x (voir plus loin en référence à la figure 2b). Dans des variantes on pourra ne pas stocker les valeurs mais les calculer « en ligne » (au fil de l’eau) à partir de leur définition : Cela rajoute cependant une complexité de calcul qui peut être non négligeable si la grille comprend beaucoup de points. Dans des variantes, on pourra indexer à partir du pôle Sud en inversant l’ordre des indices sur l’élévation de à 0 au lieu de 0 à et de façon générale la somme définissant pourra être effectué avec n’importe quelle permutation prédéterminée des indices l. Ainsi, dans d’autres variantes, on pourra permuter l’ordre d’indexation des « tranches sphériques ». Plutôt que d’indexer en partant du pôle Nord jusqu’au pôle Sud en passant par l’équateur, on commence par l’équateur, puis on code l’hémisphère Nord (sans l’équateur), puis l’hémisphère Sud. Dans une variante, on aura puis on indexera d’abord l’équateur en fixant puis on pourra coder l’hémisphère Nord (sans l’équateur) avec points pour les indices puis on pourra coder l’hémisphère Sud (sans l’équateur) et en partant du pôle Sud où l’indice est « inversé » Dans un deuxième mode de réalisation, les étapes de codage sont identiques à celles du premier mode de réalisation, sauf pour l’étape de détermination du nombre N2 (i) en E203-2 et l’étape d’indexation en E207 qui sont spécifiques à ce deuxième mode de réalisation et détaillées ci-après. Les valeurs donnant le nombre de valeurs d’azimut codées dans chaque « tranche sphérique » associée à la colatitude codée d’indice i seront fixées dans ce deuxième mode de réalisation pour permettre une indexation analytique. Les dictionnaires sont définis de façon préférentielle comme dans le premier mode de réalisation: où par exemple – dans des variantes N1 pourra être un entier de préférence impair où le décalage est fixé comme décrit dans le premier mode de réalisation et est défini ci-dessous en fonction de la surface partielle sur la sphère, des valeurs et d’un nombre total Typiquement les valeurs de N1 et le nombre total nécessaires à la détermination de pourront être initialisées comme déterminées dans le premier mode de réalisation : par exemple comme au tableau 1 (avec 210 valeurs non utilisées pour un débit cible de 16 bits), mais il sera aussi possible de fixer des valeurs différentes comme en particulier pour limiter le nombre de points non utilisés pour un débit donné. On décrit maintenant le principe de la détermination analytique du nombre de niveaux de codage pour l’azimut et du nombre cumulatif de points jusqu’à une certaine tranche sphérique d’indice i (exclusivement). Différentes méthodes de détermination du nombre de niveaux sont définies. Elles ont toutes en commun d’utiliser un arrondi à un entier prédéfini (par exemple l’entier le plus proche) d’une estimation d’un nombre de points de la grille à partir d’un nombre total de points et de la surface d’une zone sphérique délimitée par des valeurs (seuils) en colatitude, cette surface étant elle-même normalisée par la surface d’une zone sphérique qui est par exemple la sphère complète ou la sphère complète hors calottes polaires. La surface d’un élément autour du point sur la sphère est donnée par est ici la colatitude (si l’élévation était utilisée, on aurait un terme en La surface partielle définie par une zone sphérique délimitée par deux plans horizontaux induits par un intervalle de colatitude l’azimut étant sur , est donnée par: On retrouve en particulier le résultat connu que la surface de la sphère de rayon r est Pour un nombre de points Ntot dans la grille sphérique (ou dictionnaire de quantification vectorielle sphérique), chaque « région de décision » associée à un point de la grille est ici approximée par un « rectangle sphérique » à des fins d’indexation (ce qui correspond à une décision non séquentielle de codage séparé des coordonnées sphériques). Chacune de ces régions doit idéalement avoir une surface de si la grille est uniforme. Pour une discrétisation uniforme de la colatitude avec : on peut donc estimer en E203-2 le nombre de points sur la grille compris dans une zone sphérique (ou « tranche sphér ique ») d’indice i délimitée par les deux plans horizontaux associés aux seuils de décision par une simple règle de trois, sous la forme : ce qui peut être arrondi à un entier (par exemple l’entier le plus proche, ou inférieur, ou supérieur, etc.). On peut également estimer en E203-2 le nombre de points sur la grille compris dans une zone sphérique comprise entre le pôle Nord et la limite de la « tranche sphérique » d’indice i délimitée le plan horizontal associé au seuil de décision comme : ce qui peut être arrondi à un entier. Avec ces résultats, on peut définir en E203-2 les valeurs N2 dans le deuxième mode de réalisation sous la forme : Ce nombre de niveaux est obtenu par une estimation (arrondie) du nombre de points dans la grille à partir du nombre total et de la surface d’une zone sphérique (normalisée) entre le pôle Nord et la limite supérieure de la « tranche sphérique » d’indice ^^ délimitée le plan horizontal associé au seuil de décision cette surface étant normalisée par la surface totale de la sphère. Dans des variantes, on pourra prendre en E203-2 : Ce nombre de niveaux est obtenu par une estimation (arrondie) du nombre de points dans la grille à partir du nombre total Ntot et de la surface d’une zone sphérique (ou « tranche sphérique ») d’indice i délimitée par les deux plans horizontaux associés aux seuils de décision Dans des variantes, il sera possible de définir en E203-2 séparément le nombre de niveaux pour les pôles et hors pôles sous la forme : Ce nombre de niveaux (hors pôles) est obtenu par une estimation (arrondie) du nombre de points dans la grille à partir du nombre total (modifié) et de la surface d’une zone sphérique entre le pôle Nord et la limite de la « tranche sphérique » d’indice ^^ délimitée par le plan horizontal associé au seuil de décision cette surface étant normalisée par la surface de la zone sphérique délimitée par les deux plans horizontaux associés aux seuils de décision Dans des variantes, il sera également possible d'ajuster la détermination de en modifiant le type d'arrondi (entier inférieur ou supérieur au lieu de l'entier le plus proche) pour certains valeurs de i, voire d'ajuster la valeur de N1ot. Par exemple, on pourra prendre une définition modifiée en E203-2 pour i = 1 : est l'arrondi à l'entier inférieur.
En général les valeurs obtenues dans cette seconde étape sont différentes des valeurs définies dans le premier mode de réalisation, même si est défini comme dans le premier mode de réalisation.
Avec les valeurs N2(i) ainsi définies, les dictionnaires d'azimut peuvent donc être déterminés comme: où N2(i) est déterminé selon le deuxième mode de réalisation.
En général, on obtient par construction l'égalité suivante (où est une valeur entière donnée pour la détermination des valeurs
Si cette égalité n'est pas vérifiée, en particulier pour des valeurs faibles, il faudra ajuster certains paramètres, par exemple ajuster la valeur de ou ajuster le calcul de l'arrondi dans la définition de N2(i) ou fixer directement la valeur pour certaines valeurs de i. Dans ce deuxième mode de réalisation l'indexation en E207 est simplifiée. L'indice global est calculé comme :
Ainsi l'indice global index est obtenu par codage séquentiel des indices de quantification séparés i,j du meilleur candidat.
Pour la définition préférentielle de utilisée ici avec une quantification scalaire uniforme et en arrondissant à l'entier le plus proche:
Ainsi, les valeurs pour au moins certains indices i, sont obtenues par une estimation (arrondie) du nombre de points dans la grille à partir du nombre total et de la surface d'une zone sphérique entre le pôle Nord et la limite inférieure de la « tranche sphérique » d’indice ^^ délimitée le plan horizontal associé au seuil de décision – cette surface étant normalisée par la surface totale de la sphère. Dans des variantes, on pourra définir par exemple : Ici, les valeurs pour au moins certains indices i, sont obtenues par une estimation (arrondie) du nombre de points dans la grille à partir du nombre total modifié et de la surface d’une zone sphérique entre le pôle Nord et la limite inférieure de la « tranche sphérique » d’indice i délimitée le plan horizontal associé au seuil de décision – cette surface étant normalisée par la surface de la zone sphérique délimitée par les deux plans horizontaux associés aux seuils de décision On notera que ce deuxième mode de réalisation requiert une précision de calcul suffisante – dans le calcul des fonctions trigonométriues - afin de bien déterminer les valeurs de et Dans des variantes du deuxième mode de réalisation, le dictionnaire de quantification scalaire pourra être différent, dans ce cas on adaptera les termes dans la définition de respectivement. On note ici que les valeurs correspondent en fait à des seuils de décision de quantification scalaire ; ces seuils définissent les limites d’intégration pour déterminer le nombre de points à partir de la surface partielle sur la sphère jusqu’à une certaine tranche sphérique. Dans un troisième mode de réalisation, toutes les étapes de codage E201 à E206 sont identiques aux deux modes précédents et l’étape E207 consiste à coder séquentiellement sous forme binaire les 2 indices abrégés en ^^, ^^ correspondant au meilleur candidat. Ce codage est séquentiel car le nombre de valeurs possibles pour l’azimut dépend de l’indice i de la colatitude. Dans une première variante, ce codage séquentiel utilisera un codage binaire à débit fixe de i,j sur respectivement bits et désigne l'arrondi à l'entier supérieur, avec la convention [01 = 0. Le multiplexage se fait donc de façon séquentielle pour former un train binaire de longueur totale variable bits. On multiplexe d'abord i, puis on multiplexe j. On notera que lorsque le codage prend 0 bit pour l'indice ;, donc ce codage n'est pas nécessaire.
Dans une seconde variante, les indices i,j seront codés séquentiellement avec un codage entropique de type Huffman ou codage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur de l'indice i comprise entre 0 et N1 en déterminant la surface partielle de la sphère dans la tranche associée à ik pour coordonnée Φk l'indice, cette aire étant normalisée par l'aire totale de la sphère pur cette même coordonnée Φk, soit : dans le cas d'un dictionnaire incluant les pôles.
Si , le codage de l'indice j pourra simplement être effectué à longueur fixe car dans ce cas l'estimation de probabilité serait équiprobable pour une distribution uniforme sur la sphère. Dans des variantes d'autres estimations des probabilités seront possibles si la distribution de la source sur la sphère en dimension 3 est supposée non uniforme.
Dans des variantes où l'élévation est codée au lieu de la colatitude on effectuera les conversions adéquates des définitions de (en changeant les termes de cosinus en sinus, etc.) et du dictionnaire de quantification
Le procédé de décodage correspondant, pour la dimension 3, est maintenant décrit en référence à la figure 2b.
On suppose d'abord une indexation selon le premier mode de réalisation décrite en référence à la figure 2a.
Etant donné l'indice global index à l'étape E210, on effectue un décodage séquentiel des deux coordonnées sphériques aux étapes E211-1 et E211-2. A l'étape E212-1, on détermine comme à l'étape de codage E203-1 un nombre de niveaux de quantification scalaire N1 selon l'une des variantes décrites au codage (soit en fixant une résolution, soit directement).
Le décodage de l'indice i se fait selon la méthode de codage utilisée.
On se focalise d'abord sur le décodage dans un premier mode de réalisation.
L'indice i de la colatitude se retrouve en E213-1 par une recherche dans la table de cardinalité :
Pour ce faire, on définit la convention :
On pourra déterminer la valeur de comme décrit au codage à l'étape E207.
La table de cardinalité a, dans une variante de réalisation, été stockée en mémoire en totalité ou en partie.
Dans une variante de réalisation, elle peut être calculée au fil de l'eau à partir de sa définition:
Dans des variantes on pourra ne stocker ou calculer « en ligne » (au fil de l'eau) que - l)/2 + 1 valeurs de la table comme décrit pour le codage.
On reconstruit la colatitude décodée en E214-1 comme :
Dans des variantes, d'autres dictionnaires de quantification uniforme ou non-uniforme seront possibles de façon identique au codage.
L'indice j de l'azimut se retrouve en E213-2 par soustraction selon la formule suivante : j = à partir de l'indice global index et de l'indice de colatitude décodé i.
Dans des variantes d'indexation décrites pour le codage en référence à la figure 2a, le décodage de l'indice j sera adapté en fonction de la méthode d'indexation utilisée.
On détermine la valeur du décalage <5(i) comme défini au codage et on reconstruit l'azimut en E214-2 comme :
On obtient ainsi les coordonnées sphériques du point décodé en E215.
A cette étape E215, on effectue de façon optionnelle une conversion des coordonnées sphériques, par exemple pour convertir une colatitude et un azimut en radians en une élévation et un azimut en degrés.
On peut ensuite reconstruire le point décodé en E216 comme : où, sans perte de généralité, r = 1. L'étape E216 sera adaptée à d'autres systèmes de coordonnées sphériques et d'autres unités que les radians le cas échéant.
Dans des variantes, la dernière étape E216 de conversion de coordonnées sphériques à coordonnées cartésiennes sera optionnelle.
Dans un deuxième mode de réalisation, les étapes de décodage sont identiques à celles du premier mode de réalisation, sauf pour l'étape de détermination de l'indice i en E213-1, l'étape de détermination du nombre N2(i) en E212-2, et l'étape de détermination de l'indice j en E213- 2.
Le décodage de l'indice i en E213-1 dans un deuxième mode de réalisation se fait de façon analytique en prenant la valeur : en supposant que l'indice a été obtenu avec la définition au codage : est obtenu directement de façon analytique :
Le décodage analytique de l'indice i correspond donc à appliquer une fonction inverse de en fonction de i.
Dans les variantes où est défini différement la fonction inverse sera adaptée par l'homme de l'art de façon évidente.
Dans des variantes, on définira aussi : et on pourra appliquer le décodage de l'indice i en E213-1 et de l'indice j en E213-2 comme dans le premier mode de réalisation à partir des valeurs oΦΦset^i) calculées au « fil de l'eau » ou préstockées. On perd alors l'avantage d'une détermination directe de l'indice i en E213-1 par fonction inverse, mais on garde l'avantage d'une détermination analytique de Le nombre de niveaux à l'étape E212-2 pour le codage de l'azimut est donné comme au codage en E203-2 . On rappelle plusieurs variantes possibles : ou OU
L'indice j de l'azimut se retrouve en E213-2 par soustraction selon la formule suivante : j =
On note que dans le deuxième mode de réalisation la valeur est déterminée de façon analytique avec :
On ne rappelle pas ici les variantes définies au codage, le décodage en E213-2 doit suivre la même définition de qu'au codage.
Dans des variantes, il sera possible de stocker ces valeurs
Dans des variantes du deuxième mode de réalisation, le dictionnaire de quantification scalaire pourra être différent, dans ce cas on adaptera les termes dans la définition de l))/2), respectivement. La détermination de l'indice i sera également adaptée en fonction de
Dans un troisième mode de réalisation, l'étape E210 consiste à démultiplexer et décoder séquentiellement les 2 indices i,j. Ce décodage est séquentiel car le nombre de valeurs possibles pour l'azimut dépend de l'indice de colatitude i. Dans une première variante, ce démultiplexage et décodage séquentiel utilisera un décodage binaire à débit fixe pour les indices i et j sur respectivement bits et désigne l'arrondi à l'entier supérieur, avec la convention [01 = 0. Le démultiplexage se fait donc de façon séquentielle pour lire un train binaire de longueur totale variable bits, on démultiplexe d'abord i, ce qui permet de déterminer et ansi pouvoir démultiplexer j. Cela explique que les flèches entre décodage (E211-k) et démultiplexage (E210) soit à double sens.
Dans une seconde variante, les indices seront démultiplexés et décodés séquentiellement avec un décodage entropique de type Huffman ou décodage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur (symbole) i comprise entre 0 et N1 - 1 en déterminant la surface partielle de la sphère dans la « tranche sphérique » associée à i pour la colatitude, cette aire étant normalisée par l'aire totale de la sphère pour cette même coordonnée soit : dans le cas d'un dictionnaire incluant les pôles.
Le codage de l'indice j pourra simplement être effectué à longueur fixe car dans ce cas l'estimation de probabilité serait équiprobable pour une distribution uniforme sur la sphère. Dans des variantes d'autres estimations des probabilités Prob( i) et Prob(j Ii) seront possibles si la distribution de la source sur la sphère en dimension 3 est supposée non uniforme.
Dans des variantes selon l'invention, la colatitude Φ sur [O,p] est remplacée par une élévation sur Dans ce cas, le nombre de niveaux est exprimé en fonction du cosinus au lieu du sinus, par exemple H suffit dans ce cas d'appliquer la conversion correspondante (colatitude Φ à élévation par la conversion et vice-versa), en particulier la fonction sinus (resp. cosinus) pour le calcul du nombre de points sur chaque zone sphérique est remplacée par une fonction cosinus (resp. sinus).
La colatitude ou l'élévation pourront être dans des variantes dans une unité autre que les radians, par exemple en degrés.
Les figures 3a et 3b sont maintenant décrites pour illustrer le cas de la quantification en dimension 4.
La figure 3a décrit un procédé de codage d'un point d'entrée sur une sphère de dimension 4. On omet le rayon qui est ici fixé à 1. Dans des variantes et pour certaines applications (ex : quantification d'une sous-bande en codage par transformée), il sera possible de coder un rayon séparément (correspondant à un niveau d'amplitude moyenne par sous-bande par exemple).
Pour un point d'entrée sur la sphère unité 4D (a, b, c, d ) ou (w, x, y z) en E300, on reprend ici sans perte de généralité la définition mathématique des coordonnées sphériques (E301) en dimension 4 pour un point 4D (a, b, c, d)\ α = cos Φ1 b = sin Φ1 cos Φ2 c = sin Φ1 sin Φ2 cos Φ3 d = sin Φ1 sin Φ2 sin θ3 où Ø1 est sur [0, p] ou [0, p/2] selon l'invention, Φ2 sur [0, p] et Φ3 sur [0, 2p].
A cette étape E301, on effectue de façon optionnelle une conversion des coordonnées sphériques, par exemple pour obtenir des angles en degrés ou pour convertir les coordonnées sphériques d'une convention à une autre.
Selon l'invention les données sphériques d'entrée sont représentées par une discrétisation quasi-uniforme (ici au sens de l'uniformité de l'aire des régions de décisions et de la répartition des points) de la sphère La grille est ainsi définie par une quantification scalaire séquentielle des coordonnées sphériques
Dans un premier mode de réalisation, la grille est définie à partir d'une résolution angulaire a (en degrés) comme suit en généralisant le premier mode de réalisation du cas 3D au cas 4D. L'angle Φ1 est codé par quantification scalaire uniforme en E302-1 sur N1 niveaux de reconstruction sur l'intervalle [O, p] (en incluant les bornes 0 et p comme niveaux de reconstruction): où N1 est défini en E303-1 par pour avoir un nombre impair de niveaux N1 et
[.] est l'arrondi à l'entier le plus proche. La résolution angulaire est donc de
En E302-2, l'angle Φ2 est codé par quantification scalaire uniforme sur niveaux sur l'intervalle [O, π] (en incluant les bornes 0 et π comme niveaux de reconstruction): où N2 est défini en E303-2 par
Par définition
Dans des variantes, on pourra s'assurer que le nombre N2 donne des valeurs impaires (pour inclure I' « équateur » de la sphère 3D induite par la relation quand N2 > 1, soit :
Ainsi, le nombre de niveaux de reconstruction N2(i) dépend de la valeur de Φ
En E304-3, l'angle Φ3 est codé par quantification scalaire uniforme sur N3(i,j ) niveaux en tenant compte de la nature cyclique de l'intervalle [0,2p] : où N3 est défini en E303-3 par est un décalage prédéterminé selon l'invention. De façon préférentielle, comme le cas de la dimension 4 est bien plus complexe que la dimension 3, on préférera fixer 5(0 à des valeurs non stockées, par exemple: , soit la moitié du pas de quantification scalaire (hors pôles et équateur).
L'avantage de ces deux variantes est qu'elles ne nécessitent pas de stocker les valeurs de Cependant, dans des variantes il sera possible de stocker des valeurs 5(0 obtenues par apprentissage comme dans le cas 3D.
Par définition N3( 0,0) =1 et N3(N1 - 1,0) =1 pour les dictionnaires définis préférentiellement.
Le nombre de points dans la grille est donc :
La grille sphérique est donc définie comme le dictionnaire de quantification vectorielle sphérique suivant :
On donne dans le tableau 5 des exemples de résolutions a (en degrés) pour obtenir un nombre de points N1ot permettant de s'approcher au mieux d'un débit cible (en bits). Les valeurs de a sont ici indicatives et dans des variantes d'autres valeurs pourront être utilisées. Tableau 5 Dans des variantes, on pourra directement fixer le nombre de niveaux (à une valeur impaire). La résolution angulaire correspond alors au pas de quantification : On en dérive facilement les valeurs de On donne dans le tableau 6 des exemples de nombre de points N1ot pour des valeurs N1 permettant de s'approcher d'un débit cible (en bits).
Tableau 6
On décrit maintenant un algorithme de recherche optimale pour l'erreur quadratique moyenne, ce qui correspond à la longueur de la corde entre ou une quantité associée à la distance angulaire (ou distance géodésique), ce qui correspond à la longueur d'une portion de grand cercle entre ces deux points - le rayon unitaire est omis. Dans des variantes, d'autres définitions de coordonnées sphériques en dimension 4 seront possibles, y compris en permutant et/ou inversant le signe des coordonnées cartésiennes associées à l'entrée du codage et la sortie du décodage.
Dans ce qui suit, dans le calcul de la fonction arccos, on pourra s'assurer que la variable notée ici x de la fonction arccos x vérifie -1 < x ≤ 1 pour éviter des problèmes numériques, si ce n'est pas le cas on forcera x=l si x>1 et x=-1 si x<-l.
La quantification des coordonnées sphériques et la recherche s'effectue de façon séquentielle du fait des dépendances entre coordonnées sphériques successives dans la définition de la grille. Pour éviter les divisions par zéro, selon l'invention on procède à une détermination séquentielle de
Etant donné un point 4D (w, x, y, z) en E300, supposé sur la sphère §3 (avec un rayon 1), on détermine d'abord Φ1 en E301 comme : Φ1 = arccos w
- On code d'abord l'angle Φ1 E302-1. avec par exemple alors on peut directement coder Φ ί en et les angles Φ2, Φ3 sont codés à des valeurs par défaut pré-déterminées (nulles). Cela évite en particulier de devoir gérer les problèmes de précision numérique avec d'éventuelles division par 0 dans le calcul des coordonnées Φ2,Φ3·
Le point décodé peut être reconstruit en convertissant en coordonnées cartésiennes (avec un rayon de la sphère à 1). Le codage est alors terminé. On notera qu'on a retenu dans ce cas « dégénéré » un seul candidat au lieu des 4 candidats pour le cas général, o Sinon, si n'es pas vérifié, pour que la recherche 4D soit optimale, il convient de retenir les 2 valeurs les plus proches (la plus proche d'indice et la seconde plus proche à l'étape E304-1: Dans des variantes, on pourra déterminer par quantification directe - on donne ci-dessous un exemple de réalisation pour le cas d'un dictionnaire scalaire uniforme de la forme désignent l'arrondi à l'entier inférieur et supérieur (respectivement) et s = est le pas de quantification scalaire
On obtient ainsi deux indices correspondant aux deux points du dictionnaire {f1(ϊ1(0)).f1(ΐ1(1))} les P|us proche de Φ^
- Ensuite on code en E304-2, l'angle Φ2 défini en E301 par : avec par exemple on peut directement coder est codé à une valeur par défaut pré-déterminée (nulle). On sélectionne le candidat ou 1 le plus proche de (w,x,y, z) après conversion de coordonnées sphériques à cartésiennes de et
Le critère de distance peut être la distance euclidienne ou le produit scalaire.
Les indices de quantification sélectionnés correspondant au point sélectionné : L'indice global est : si le candidat d'indice m est le plus proche. Le codage est alors terminé. On notera qu'on a retenu dans ce cas « dégénéré » un candidat parmi deux possibles au lieu des 4 candidats pour le cas général. o Sinon, si n'est pas vérifié, pour que la recherche 4D soit optimale, il convient de retenir 4 candidats 0, ...,3 en E304-2: et
Dans des variantes, on pourra déterminer par quantification directe - on donne ci-dessous un exemple de réalisation pour le cas d'un dictionnaire scalaire uniforme de la forme désignent l'arrondi à l'entier inférieur et supérieur (respectivement) et s = est le pas de quantification scalaire
Ensuite on code en E303-3, l'angle Φ3 défini en E301 par:
Dans des variantes, on pourra utiliser la fonction arctan sur 4 quadrants (notée arctan2): mais dans ce cas l'angle Φ3 est défini dans [-p,p] et il faudra adapter le dictionnaire de quantification (avec un décalage de -p).
On code en E302-3 l'angle Φ3 par quantification scalaire uniforme avec un nombre de niveaux adaptatif comme décrit précédemment où pour obtenir 4 valeurs correspondantes en
Cela peut se réaliser comme décrit dans le cas 3D pour l'étape E204-2, en remplaçant
- On obtient à l'étape 305, quatre candidats où les indices sont donnés par les différentes combinaisons - On sélectionne en E306 le candidat le plus proche de après conversion de coordonnées shériques à cartésiennes de
Les indices de quantification sélectionnés correspondent au point sélectionné : .
L'indice global est obtenu en E307 sous la forme générique suivante:
Ainsi l'indice global index est obtenu par codage séquentiel des indices de quantification séparés i,j, k du meilleur candidat.
Les valeurs sont par exemple, comme décrit pour le cas 3D, des sommes cumulatives de cardinalité pour les indices de quantification respectifs i et j des coordonnées sphériques Φ1 et Φ2.
Dans des variantes on peut effectuer la dernière étape sans repasser par les coordonnées cartésiennes, en calculant une distance (géodésique) directement dans le domaine des coordonnées sphériques.
Dans des variantes, la conversion de coordonnées cartésiennes (w,x, y,z ) à coordonnées sphériques sera optionnelle et on pourra directement coder des coordonnées sphériques.
Dans un deuxième mode de réalisation, les étapes de codage sont identiques à celles du premier mode de réalisation, sauf pour l'étape de détermination des nombres en E303-2 et E303-3 et l'étape d'indexation en E307 qui sont spécifiques à ce deuxième mode de réalisation et détaillées ci-après.
Dans un deuxième mode de réalisation, on pourra fixer le nombre de niveaux de quantification scalaire et les informations de cardinalité de façon analytique comme décrit ci-dessous.
Dans le deuxième mode de réalisation, les dictionnaires de quantification scalaire sont définis de façon préférentielle comme: , où N2(i ) est fixé comme décrit ci-dessous est fixé comme décrit ci- dessous et et est un décalage prédéterminé selon l'invention comme dans le premier mode de réalisation. Dans des variantes, d'autres définitions seront possibles.
On rappelle que l'aire de la surface de la sphère de rayon r est
On donne ci-dessous l'aire partielle d'une zone sphérique « complète » définie par l'intervalle sur la première coordonnée : et l'aire partielle d'une zone sphérique « incomplète » définie par les intervalles [0,0!] sur la première coordonnée et sur la deuxième coordonnée :
Les valeurs N2(i) et N3(i,j ) donnant le nombre de valeurs de la coordonnée codée <p2 et θ3 dans chaque « tranche sphérique » associée à la coordonnée Φ1 codée d'indice i seront fixées dans ce cas pour permettre une indexation analytique sous la forme comme décrit ci- après.
Ceci permet de définir le nombre total de points:
Dans le deuxième mode de réalisation, on définit les valeurs N2 et N3 en E303-2 et E303-3 sous la forme :
En suivant l'exemple donné précédemment pour le cas 3D on détermine : Dans des variantes, d'autres méthodes de détermination de Nsubtot(i) seront possibles, cette valeur étant critique pour le bon fonctionnement du décodage.
La détermination des sommes de cardinalité en E307 est donnée par : et
Dans un troisième mode de réalisation, tous les étapes de codage E301 à E306 sont identiques et l'étape E307 consiste à coder en binaire séquentiellement les 3 indices 2), i2(m*),i3(m*) abrégés en i,j, k correspondant au meilleur candidat. Ce codage est séquentiel car les nombres de valeurs possibles N2(i) et N3(i,j) pour les coordonnées Φ2 et θ3 dépendent respectivement de l'indice i et des indices i,j. On multiplexe d'abord l'indice i, puis l'indice j et enfin l'indice k.
Dans une première variante, ce codage séquentiel utilisera un codage binaire à débit fixe de i,j, k sur respectivement [log2 N il bits, [log2 iv2(i)l et [log2 N3(i,j) ] bits où \.] désigne l'arrondi à l'entier supérieur, avec la convention [01 = 0. Le multiplexage se fait donc de façon séquentielle pour former un train binaire de longueur totale variable [log2 /vj + [log2 /v2(01 + [log2 N3(i,j)] bits. On notera que lorsque N2(i) = 1 le codage prend 0 bit pour l'indice j et lorsque N3(i,j ) = 1 le codage prend 0 bit pour l'indice k , aucun bit n'est donc à mutiplexer dans ce cas.
Dans une seconde variante, les indices i,j, k seront codés séquentiellement avec un codage entropique de type Huffman ou codage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur de l'indice i comprise entre 0 et N1 en déterminant la surface partielle de la sphère dans la tranche associée à l'indice i pour la coordonnée Φ1, cette aire étant normalisée par l'aire totale de la sphère pour cette même coordonnée Φ1; soit :
Le codage de l'indice j pourra utiliser une probabilité comme pour l'indice dans le cas 3D : dans le cas d'un dictionnaire incluant les pôles.
Le codage de l'indice k pourra simplement être effectué à longueur fixe car dans ce cas l'estimation de probabilité serait équiprobable pour une distribution uniforme sur la sphère. Dans des variantes d'autres estimations des probabilités seront possibles si la distribution de la source sur la sphère en dimension 4 est supposée non uniforme.
Le procédé de décodage correspondant, pour la dimension 4, est maintenant décrit en référence à la figure 3b.
On décrit d'abord le décodage pour un premier mode de réalisation.
Etant donné l'indice global index à l'étape E310, on effectue un décodage séquentiel des trois coordonnées sphériques aux étapes E311-1, E311-2 et E311-3.
A l'étape E312-1, on détermine comme à l'étape de codage E303-1 un nombre de niveaux de quantification scalaire N1.
L'indice i de l'angle Φ1 se retrouve en E313-1 par une recherche dans la table de cardinalité :
Pour ce faire, on définit la convention : oΦΦset1(N1) = Ntot
La table de cardinalité a, dans un mode de réalisation, été stockée en mémoire en totalité ou en partie.
Dans des variantes on pourra ne pas stocker les valeurs et/ou mais les calculer « en ligne » (au fil de l'eau). Dans des variantes on pourra ne stocker ou calculer « en ligne » (au fil de l'eau) que ( N1 - l)/2 + 1 valeurs de la table Le même principe s'applique à oΦΦset2(i,j).
On reconstruit l'angle Φ1 décodé en E314-1 comme :
En E312-2, on calcule le nombre de niveaux de reconstruction par exemple N2(i ) = max Dans des variantes, d'autres dictionnaires pourront être définis comme au codage.
L'indice j de de l'angle Φ2 se retrouve en E313-2 par soustraction selon index <- index - et en effectuant une recherche dans une autre table de cardinalité cumulative :
On reconstruit l'angle Φ2 décodé en E314-2 comme :
On calcule en E312-3 le nombre de niveaux de reconstruction
L'indice k de l'angle Φ3 se retrouve en E313-3 par soustraction selon k = index - oΦΦset2(i,j). On détermine la valeur du décalage on reconstruit ensuite l'angle Φ3 en E314-3 comme :
On obtient ainsi les coordonnées sphériques du point décodé, en E315. A cette étape E315, on effectue de façon optionnelle une conversion des coordonnées sphériques, par exemple pour convertir les angles décodés en degrés ou adapter la convention à une définition des coordonnées sphériques.
En E316, on peut ensuite reconstruire le point décodé comme :
L'étape E316 sera adaptée à d'autres systèmes de coordonnées sphériques et d'autres unités que les radians le cas échéant. Dans des variantes, la dernière étape de conversion de coordonnées sphériques à coordonnées cartésiennes sera optionnelle.
Dans un deuxième mode de réalisation, les étapes de décodage sont identiques à celles du premier mode de réalisation, sauf pour l'étape de détermination des indices noté ici i,j,k, en E313-1, E313-2 et E313-3 et l'étape de détermination du nombre en E313-3. Le décodage de l'indice i en E313-1 dans un deuxième mode de réalisation peut se faire de façon analytique en prenant la valeur : ou et est l'inverse de cette fonction
Cependant, il n'existe pas de solution analytique évidente pour
Dans un mode de réalisation, on pourra déterminer stocker les valeurs de Φ(x) pour x = où Nf est par exemple fixe à 10000. En pratique, il faut une précision numérique suffisante pour que le décodage de i fonctionne correctement.
Dans un autre mode de réalisation, on utilisera une approximation par morceaux par série de Taylor. On divise l'intervalle en plusieurs sous-intervalles et on approxime par exemple sous la forme : et on ajoute la propriété On peut ainsi facilement déterminer par morceaux en inversant simplement chacune terme sur chaque sous-intervalle, avec la propriété Dans des variantes il sera possible d'utiliser plus de sous- intervalles .
Le nombre de niveaux à l'étape E312-2 pour le décodage de est donné par exemple par : L'indice j se retrouve en E313-2 après avoir mis à jour l'indice global: de façon analytique comme dans le cas 3D selon la formule suivante :
OÙ pour i = 1, - 2.
Dans des variantes, d'autres méthodes de détermination de Nsllbtot (i) seront possibles, cette valeur étant critique pour le bon fonctionnement du décodage. Si l = 0 ou l = N1 - 1, le décodage de l'indice j en E313-2 se réduit à fixer j = 0. Le nombre de niveaux à l'étape E312-3 pour le décodage de est donné par : autrement.
L'indice k se retrouve en E313-3 par soustraction selon la formule suivante : k = index - offset2{i,j') avec
Là encore, si i = 0 ou i = N1 - 1, ou si j = 0 ou j = M2(i) - 1, le décodage de l'indice k en E313-3 se réduit à fixer k = 0.
Dans un troisième mode de réalisation, l'étape E310 consiste à démultiplexer et décoder séquentiellement les 3 indices l,j, k. Ce codage est séquentiel car les nombres de valeurs possibles N2 (L) et w3 (i, j) pour les coordonnées </>2 et </>3 dépendent respectivement de l'indice i et des indices i,j. Dans une première variante, ce démultiplexage et décodage séquentiel utilisera un décodage binaire à débit fixe pour les indices l,j, k sur respectivement bits, désigne l'arrondi à l'entier supérieur, avec la convention [0] = 0. Le démultiplexage se fait donc de façon séquentielle pour lire un train binaire de longueur variable
Dans une seconde variante, les indices seront démultiplexés et décodés séquentiellement avec un décodage entropique de type Huffman ou décodage arithmétique. On pourra utiliser une estimation de la probabilité de chaque valeur (symbole) i comprise entre 0 et en déterminant la surface partielle de la sphère dans la tranche associée à l'indice i pour la coordonnée Φί, cette aire étant normalisée par l'aire totale de la sphère pour cette même coordonnée Φί, soit :
Le décodage de l'indice j pourra utiliser une probabilité comme pour l'indice dans le cas 3D : dans le cas d'un dictionnaire incluant les pôles.
Le décodage de l'indice k pourra simplement être effectué à longueur fixe car dans ce cas l'estimation de probabilité serait équiprobable pour une distribution uniforme sur la sphère. Dans des variantes d'autres estimations des probabilités Prob(i), Prob(j\i) et Prob(k\i,j) seront possibles si la distribution de la source sur la sphère en dimension 4 est supposée non uniforme.
Dans des variantes, une autre définition des coordonnées sphériques sur pourra être utilisé et l'invention sera adaptée en conséquence (par exemple en changeant des termes cosinus en sinus, sinus en cosinus, arccos en arcsin, etc., le cas échéant).
Dans des variantes, les angles pourront être dans une autre unité, par exemple en degrés.
La figure 4 illustre un mode de réalisation d'un codeur comportant un dispositif de codage mettant en œuvre le procédé de codage tel que décrit ci-dessus pour la dimension 3.
Le signal d'entrée S est ici un signal ambisonique d'ordre 1, avec des canaux typiquement organisés dans l'ordre W Y Z X (selon la convention ACN) avec une normalisation par exemple selon la convention SN3D. Le signal est décomposé en trames, qui sont supposées ici de 20 ms, par exemple 960 échantillons par canal à 48 kHz. Dans cet exemple de réalisation, le codage est paramétrique et consiste à une réduction du nombre de canaux (bloc 400), où on ne code (bloc 410) ici qu'un seul canal par exemple avec le codée 3GPP EVS à 24.4 kbit/s, et à un codage de métadonnées spatiales, qui correspondent ici à des paramètres de type DiRAC (DoA et « diffuseness »).
Le signal d'entrée est décomposé (bloc 420) en sous-bandes fréquentielles par une transformée de Fourier avec 50% de recouvrement et un fenêtrage sinusoïdal connu de l'état de l'art. On suppose ici une découpe en bandes de Bark, par exemple 20 sous-bandes réparties en fréquences selon l'échelle Bark connues de l'état de l'art.
On notera qu'il est important d'aligner temporel lement le codage du signal downmix et l'application des données spatiales, la compensation temporelle adéquate n'est pas détaillée ici elle dépend du retard de codage (bloc 410) et de l'analyse temps/fréquence (bloc 420). Dans des variantes d'autres types de bancs de filtres pourront être utilisés.
Dans chaque trame et chaque sous-bande on estime deux paramètres (bloc 430) - pour alléger les notations on n'utilise pas d'indice de trame ni de sous-bandes pour les différents paramètres: la direction de la source dominante (DoA) en termes d'élévation (ø) et d'azimut (0), et la « diffuseness » ø comme décrit dans l'article précité de Pulkki. L'estimation de la DoA s'effectue en général par le biais du vecteur intensité active avec une moyenne temporelle, dans des variantes on pourra mettre en œuvre d'autres méthodes d'estimation de ø,0,ø.
La DoA est codée dans chaque trame et chaque sous-bande; selon l'invention ce codage prend comme entrée directement les coordonnées sphériques par sous-bandes (1,0,0). A noter qu'on suppose ici - sans perte de généralité - que ø représente une élévation en degrés (entre -90 et +90 degrés) et non une colatitude, et 0 est un azimut entre -180 et 180 degrés. On pourra par exemple prendre une grille avec un débit cible de 16 bits pour avoir une résolution inférieure à 1 degrés. Le codage dans le bloc 440 suit les étapes de la figure 2a.
Dans le mode de réalisation privilégié on utilise une mise en œuvre minimisant le stockage pour l'indexation avec le deuxième mode de réalisation de la quantification vectorielle sphérique en dimension 3.
On commence en E201 par adapter la définition des coordonnées sphériques pour revenir à une colatitude ø en radians sur [O,p] et un azimut 0 en radians sur [0,2p]: où mod2 p(0) est l'opération modulo 2p ramenant sur [0,2p] qui peut ici se simplifier en : si
On part de N1ot = 65536 (soit 216) et où N1 est défini en E203-1 par N1 = 229, et où est donné par :
Le codage de Φ et q s'effectue comme décrit en référence à la figure 2a, avec au plus deux candidats. L'indice global sur 16 bits (de 0 à 65535) est déterminé ici selon le deuxième mode de réalisation : où est obtenu directement de façon analytique :
Dans des variantes, on pourra utiliser le premier mode de réalisation de la quantification vectorielle sphérique en dimension 3 avec :
L'indexation peut être réalisée avec les valeurs oΦΦset^i) stockées et listées comme suit pour i = 0. N1 :
{ 0, 1, 7, 20, 39, 64, 96, 134, 178, 228,
285, 348, 417, 492, 574, 662, 756, 856, 962, 1074,
1193, 1318, 1449, 1586, 1729, 1878, 2033, 2194, 2360, 2532,
2710, 2894, 3084, 3279, 3480, 3687, 3899, 4117, 4340, 4569,
4803, 5043, 5288, 5538, 5793, 6054, 6320, 6591, 6867, 7148,
7434, 7725, 8021, 8321, 8626, 8936, 9250, 9569, 9892, 10220,
10552, 10888, 11228, 11573, 11922, 12275, 12632, 12992, 13356, 13724,
14096, 14471, 14850, 15232, 15618, 16007, 16399, 16794, 17192, 17593,
17997, 18404, 18814, 19226, 19641, 20059, 20479, 20901, 21326, 21753,
22182, 22613, 23046, 23481, 23918, 24356, 24796, 25237, 25680, 26124, 26569, 27016, 27464, 27913, 28363, 28813, 29264, 29716, 30168, 30621,
31074, 31528, 31982, 32436, 32890, 33344, 33798, 34252, 34705, 35158,
35610, 36062, 36513, 36963, 37413, 37862, 38310, 38757, 39202, 39646,
40089, 40530, 40970, 41408, 41845, 42280, 42713, 43144, 43573, 44000,
44425, 44847, 45267, 45685, 46100, 46512, 46922, 47329, 47733, 48134,
48532, 48927, 49319, 49708, 50094, 50476, 50855, 51230, 51602, 51970,
52334, 52694, 53051, 53404, 53753, 54098, 54438, 54774, 55106, 55434,
55757, 56076, 56390, 56700, 57005, 57305, 57601, 57892, 58178, 58459,
58735, 59006, 59272, 59533, 59788, 60038, 60283, 60523, 60757, 60986,
61209, 61427, 61639, 61846, 62047, 62242, 62432, 62616, 62794, 62966,
63132, 63293, 63448, 63597, 63740, 63877, 64008, 64133, 64252, 64364,
64470, 64570, 64664, 64752, 64834, 64909, 64978, 65041, 65098, 65148,
65192, 65230, 65262, 65287, 65306, 65319, 65325, 65326}
D'autres variantes de l'invention pourront être mises en œuvre pour coder la DoA.
Dans des variantes, les définitions de pourront être adaptés de façon évidente si les angles Φ,q sont donnés en degrés et correspondent à l'élévation et l'azimut. Dans ce cas la conversion en E201 ne sera pas nécessaire.
La « diffuseness » Φ est un paramètre compris entre 0 et 1, elle est ici codée (bloc 450) par quantification scalaire uniforme sur, par exemple, 6 bits (64 valeurs) en l'arrondissant à la valeur la plus proche: où l'indice de quantification
Dans des variantes, différentes méthodes de codage, comme une quantification scalaire uniforme ou non-uniforme, ou une quantification vectorielle codant conjointement Φ dans plusieurs sous-bandes, avec ou sans codage entropique, pourront être utilisées.
Le budget de codage des métadonnées spatiales est donc 20 x (16+6)=440 bits par trame, soit 22 kbit/s.
Le train binaire du codage du signal downmix et les paramètres spatiaux codés sont multiplexés (bloc 460) pour former le train binaire de chaque trame. Le débit de codage est ici dans cet exemple de réalisation de 46.4 kbit/s.
Dans des variantes, d'autres débits de codage de la DoA seront possibles. La figure 5 illustre un mode de réalisation d'un décodeur comportant un dispositif de décodage mettant en œuvre le procédé de décodage tel que décrit ci-dessus pour la dimension 3.
Après démultiplexage du train binaire (bloc 500), on décode le signal downmix (bloc 510), ici par décodage EVS à 24.4 kbit/s.
Les paramètres spatiaux sont décodés (blocs 550 et bloc 570).
Le décodage dans le bloc 550 suit les étapes de la figure 2b.
Dans le mode de réalisation privilégié, l'élévation sera donc décodée selon le deuxième mode de réalisation de la quantification vectorielle en dimension 3 à partir de l'indication index pour chaque trame et sous-bande (bloc 550) comme deux sous-indices i et j selon le deuxième mode de réalisation, avec N1ot = 65536 en E213-1:
Le nombre de niveaux en E212-2 est :
La colatitude est décodée comme :
L'indice j de l'azimut se retrouve en E213-2: j = index - oΦΦset^i)
L'azimut est décodé comme : où 5(0 est identique à la définition dans le bloc 440. On rajoute également en E215 une étape de conversion inverse :
Dans une variante de réalisation, les paramètres DoA seront décodés suivant le premier mode de réalisation de la quantification vectorielle en dimension 3 selon l'invention, avec en particulier les mêmes définitions de qu'au codeur.
D'autres variantes de l'invention pourront être mises en œuvre pour coder la DoA. Dans des variantes, les définitions de i1(0, ê(i,j), 5(0 et /v2(0 pourront être adaptés de façon évidente si les angles Φ, Q sont donnés en degrés et correspondent à l'élévation et l'azimut. Dans ce cas la conversion en E215 ne sera pas nécessaire. Ce signal décodé s est ensuite décomposé en temps/fréquences (bloc 520 identique au bloc 420) pour le spatialiser comme une source ponctuelle (onde plane) dans le bloc (bloc 560) qui génère un signal ambisonique d'ordre 1 spatialisé comme: en notant que les angles décodés (élévation Φ et azimut Q) sont en degrés.
A partir du signal décodé on effectue une décorrélation (bloc 530) pour avoir une version « diffuse » (correspondant à une largeur de source maximale) ; cette décorrélation réalise également une augmentation du nombre de canaux pour obtenir en sortie du bloc 530 un signal ambisonique d'ordre 1 (au format ACN, SN3D par exemple) avec 4 canaux (W, Y, Z, X). Le signal décorrélé est décomposé en temps/fréquences (bloc 540).
On ne détaille pas ici la réalisation de la décorrélation, on pourra prendre des filtres décorrélateurs passe-tout mis en œuvre par convolution par des réponses impulsionnelles prédéterminées ; dans des variantes, on pourra également intervertir les blocs 530 et 540 pour avoir une décorrélation (et augmentation du nombre de canaux) dans le domaine fréquentiel. Les signaux issus des blocs 540 et 560 sont combinés (bloc 575) par sous-bande, après application d'un facteur d'échelle (blocs 573 et 574) obtenus à partir de la « diffuseness » décodée (blocs 571 et 572) ; ce mélange adaptatif permet de « doser » la largeur de source et le caractère diffus du champ sonore dans chaque sous-bande. Le signal mélangé est converti en temporel (bloc 580) par transformée de Fourier inverse et addition-recouvrement. Dans des variantes d'autres types de bancs de filtres pourront être utilisés.
On notera qu'il est important d'aligner temporellement le décodage et la décorrélation du signal downmix et l'application des données spatiales, les compensations temporelles adéquates ne sont pas détaillées ici elles dépendent du retard de décodage (bloc 510) et de l'analyse temps/fréquence (blocs 520, 540) et de la décorrélation (bloc 530).
La figure 6 illustre un mode de réalisation d'un codeur comportant un dispositif de codage mettant en œuvre le procédé de codage tel que décrit ci-dessus pour la dimension 4.
Dans ce un mode de réalisation de l'invention la quantification d'un double quaternion est effectué comme décrit précédemment pour le codage sur la sphère S3. La figure 6 illustre une méthode de codage dans le cas où la représentation par quaternions est utilisée pour le codage des matrices de rotation. Le codage se déroule en plusieurs étapes
Les signaux des canaux (par exemple W, Y, Z, X pour le cas FOA) sont supposés être sous une forme matricielle X avec une matrice n L (pour n canaux ambisoniques (ici 4) et L échantillons par trame). On peut optionnellement pré-traiter ces canaux par exemple par un filtre passe-haut.
On applique à ces signaux une analyse en composantes principales PCA ou de façon équivalente une transformée de Karhunen Loeve (KLT), avec estimation de matrice de covariance (bloc 600) et décomposition en valeurs propres notée EVD pour « Eigen Value Décomposition » en anglais (bloc 610), pour obtenir des valeurs propres et une matrice de vecteurs propres à partir d'une matrice de covariance des n signaux.
La matrice de vecteurs propres, obtenue pour la trame courante t, subit des permutations signées (bloc 620) pour qu'elle soit la plus alignée possible avec la matrice de même nature de la trame précédente t - 1, afin d'assurer une cohérence maximale entre les matrices entre deux trames. On s'assure dans le bloc 620 en outre que la matrice de vecteurs propres de la trame courante t, ainsi corrigée par permutations signées, représente bien l'application d'une rotation.
La matrice de vecteurs propres pour la trame courante t (qui est une matrice de rotation) est convertie dans un domaine approprié de paramètres de quantification (bloc 630). On prend ici le cas d'une conversion en 2 quaternions unitaires pour une matrice 4x4 ; on aurait un seul quaternion unitaire pour une matrice 3x3 dans le cas ambisonique planaire.
Puis ces paramètres sont codés selon une méthode de codage telle que décrite en référence à la figure 2a (bloc 640) sur un nombre de bits alloués à la quantification de paramètres.
La trame courante est découpée en sous-trames, dont le nombre peut être fixe ou adaptatif - dans ce dernier cas, ce nombre peut être déterminé en fonction des informations issues de l'analyse PCA/KLT et il peut être transmis de façon optionnelle (bloc 650). La représentation par quaternion codée est interpolée (bloc 660) par sous-trames successives depuis la trame précédente t - 1 jusqu'à la trame courante t, afin de lisser dans le temps la différence entre matriçage inter-trames. Les quaternions interpolés dans chaque sous-trame sont convertis en matrices de rotation (bloc 662) puis on applique les matrices résultantes de rotation décodées et interpolées (bloc 670). Dans chaque trame, on obtient en sortie du bloc 670 une matrice n x (L/K) représentant chacune des K sous-trames des signaux des canaux ambisoniques pour décorréler autant que possible ces signaux avant le codage (par exemple un codage multi-mono). Une allocation binaire aux canaux séparés est également effectuée. Ainsi dans le bloc 640 de quantification, on quantifie les quaternions unitaires obtenus en E630.
On présente un premier mode de réalisation basé sur le premier mode de réalisation de la quantification vectorielle en dimension 4.
Etant donnés deux quaternions unitaires on force d'abord un premier quaternion, par exemple q1 à avoir une composante positive, ici la composante réelle Pour ce faire on vérifie si la composante réelle a£ est négative. Si c'est le cas, on remplace les deux quaternions q et q2 par leurs opposés On rappelle que cette opération ne change pas la matrice de rotation 4D associée au double quaternion.
Ces deux quaternions unitaires q et q2 sont codés suivant le premier mode de réalisation de la quantification vectorielle sphérique sur la sphère avec les paramètres suivants : ce qui donne N3(i,j) =
On considère ici le cas préférentiel des dictionnaires de quantification scalaires uniformes pour
L'indexation peut être réalisée avec les informations de cardinalité oΦΦset^i) stockées et listées comme suit pour
{ 0, 1, 9, 61, 163, 359, 685, 1125, 1747,
2519, 3521, 4713, 6183, 7883, 9809, 12093, 14633, 17575,
20807, 24343, 28181, 32487, 37121, 42097, 47405, 53057, 59061,
65421, 72137, 79205, 86625, 94415, 102345, 110629, 119263, 128017,
137097, 146515, 156043, 165637, 175551, 185515, 195535, 205837, 216183,
226545, 236911, 247273, 257619, 267921, 277941, 287905, 297819, 307413,
316941, 326359, 335439, 344193, 352827, 361111, 369041, 376831, 384251,
391319, 398035, 404395, 410399, 416051, 421359, 426335, 430969, 435275,
439113, 442649, 445881, 448823, 451363, 453647, 455573, 457273, 458743,
459935, 460937, 461709, 462331, 462771, 463097, 463293, 463395, 463447,
463455, 463456}
On ne détaille pas ici les informations de cardinalité par souci de concision. Dans des variantes, on pourra stocker les informations de cardinalité dans une table unidimensionnelle avec d'abord , puis etc. - à cause de la symétrie par rapport à l'équateur (d'indice i = 45 pour l'exemple donné), on pourra ainsi ne stocker qu'un sous-ensemble donné (par exemple 2692 valeurs) correspondant à l'hémisphère Nord et l'équateur avec les valeurs correspondant à l'hémisphère Sud avec étant identiques à l'utilisation d'une table unidimensionnelle nécessite de disposer d'une table supplémentaire de N1 (=91) valeurs permettant de trouver le premier élément pour chaque valeur de i.
Le codage de q1 requiert selon l'invention un bit de moins que le codage de q2 car on exploite la contrainte En effet le codage de q1 aura des indices allant de 0 à 226544 (sur 18 bits), tandis que le codage de q2 aura des indices allant de 0 à 463455 (sur 19 bits). Le codage des 2 quaternions requiert donc 37 bits. Les deux indices (18 et 19 bits) issus du bloc 640 sont multiplexés dans le bloc 690.
Dans des variantes, les rôles de q1 et q2 peuvent bien évidemment être intervertis pour forcer une composante (par exemple a2 ) à être positive pour la quantification.
Dans des variantes, d'autres réalisations de la quantification vectorielle sphérique en dimension 4 selon l'invention seront possibles. En particulier, on pourra utiliser le troisième mode de réalisation où les indices i,j, k pour chaque quaternion q1 et q2 sont multiplexés de façon séquentielle avec un simple codage binaire binaire séparé des indices. Pour l'exemple donné où pour le quaternion q1 on code et multiplexe l'indice i sur 6 bits car la contrainte force le quaternion dans l'hémispère Nord et i est compris dans puis les indices j et k sont multiplexés sur un nombre de bits variable en fonction de On procède de même pour le quaternion q2 à la différence près que l'indice i est codé et multiplexé sur 7 bits.
La figure 7 illustre le décodage correspondant.
Les indices de quantification des paramètres de quantification de la matrice de rotation dans la trame courante sont dé-multiplexés (bloc 790) et décodés dans le bloc 700 selon une méthode de décodage telle que décrit en référence à la figure 3b. On ne reprend pas ici les détails de l'exemple de réalisation en référence à la figure 6. Les mêmes paramètres sont utilisés qu'au codage. Dans cet exemple, le décodage de q1 utilise les indices allant de 0 à 226544 (sur 18 bits), tandis que le décodage de q2 utilise les indices allant de 0 à 463455 (sur 19 bits). Le démultiplexage (bloc 790) va donc lire 37 bits du train binaire pour séparer les deux indices, l'un sur 18 bits et l'autre sur 19 bits.
Dans des variantes, d'autres réalisations de la quantification vectorielle sphérique en dimension 4 selon l'invention seront possibles. En particulier, on pourra utiliser le troisième mode de réalisation où les indices respectifs i,j,k pour chaque quaternion q1 et q2 sont démultiplexés de façon séquentielle avec un simple codage binaire binaire séparé des indices, l'indice i étant codé et multiplexé sur 1 bit de moins pour l'un des deux quaternions.
Les étapes de conversion et d'interpolation (blocs 760, 762) du décodeur sont identiques à celles effectuées à l'encodeur (blocs 660 et 662). Si le nombre de sous-trames d'interpolation est adaptatif, celui-ci est décodé (bloc 710) - autrement on fixe ce nombre de sous-trames d'interpolation à une valeur prédéterminée.
Le bloc 720 applique par sous-trame le matriçage inverse issu du bloc 762 aux signaux décodés (bloc 780) des canaux ambisoniques, en rappelant que l'inverse d'une matrice de rotation est sa transposée.
Dans des variantes, on pourra appliquer l'invention à un codage audio par transformée, par exemple mono, où le signal est par exemple divisé en sous-bandes fréquentielles qui sont codées par quantification vectorielle de type gain-forme. On prend ici à titre d'illustration le codage TDAC décrit à la section 6.6.9 (codage) et 7.3.5 (décodage) de la recommandation UIT-T G.729.1 pour au moins le codage d'une sous-bande à au moins un débit de codage, par exemple la sous-bande d'indice 17 de 8 coefficients pour le débit de 16 bits. L'homme de l'art saura adapter l'invention à ce codage dans au moins une sous-bande (par exemple de dimension n=8) et à un débit donné (par exemple 16 bits).
Dans des variantes, l'invention pourra être appliquée à d'autres codeurs et décodeurs audio par transformée, mono ou dans des exemples multi-mono.
On a illustré sur la figure 8, un dispositif de codage DCOD et un dispositif de décodage DDEC, au sens de l'invention, ces dispositifs étant duals l'un de l'autre (dans le sens de « réversibles ») et reliés l'un à l'autre par un réseau de communication RES.
Le dispositif de codage DCOD comporte un circuit de traitement incluant typiquement :
- une mémoire MEM1 pour stocker des données d'instructions d'un programme informatique au sens de l'invention (ces instructions pouvant être réparties entre le codeur DCOD et le décodeur DDEC) ;
- une interface INT1 de réception d'un signal multicanal d'origine B, par exemple un signal ambisonique réparti sur différents canaux (par exemple quatre canaux W, Y, Z, X à l'ordre 1) en vue de son codage en compression au sens de l'invention ;
- un processeur PROC1 pour recevoir ce signal et le traiter en exécutant les instructions de programme informatique que stocke la mémoire MEM1, en vue de son codage ; et
- une interface de communication COM 1 pour transmettre les signaux codés via le réseau.
Le dispositif de décodage DDEC comporte un circuit de traitement propre, incluant typiquement :
- une mémoire MEM2 pour stocker des données d'instructions d'un programme informatique au sens de l'invention (ces instructions pouvant être réparties entre le codeur DCOD et le décodeur DDEC comme indiqué précédemment) ;
- une interface COM2 pour recevoir du réseau RES les signaux codés en vue de leur décodage en compression au sens de l'invention ;
- un processeur PROC2 pour traiter ces signaux en exécutant les instructions de programme informatique que stocke la mémoire MEM2, en vue de leur décodage ; et
- une interface de sortie INT2 pour délivrer les signaux décodés par exemple sous forme de canaux ambisoniques W...X, en vue de leur restitution.
Bien entendu, cette figure 8 illustre un exemple d'une réalisation structurelle d'un codée (codeur ou décodeur) au sens de l'invention. Les figures 1 à 6 commentées ci-dessus décrivent en détails des réalisations plutôt fonctionnelles de ces codées.

Claims

REVENDICATIONS
1. Procédé de codage d'un signal audio multicanal comportant le codage d'au moins un paramètre représenté par un point d'entrée sur une sphère de dimension n s'effectuant par codage de n-1 coordonnées sphériques de ce point d'entrée pour définir une grille sphérique, le procédé comportant les opérations suivantes : a) quantification scalaire séquentielle des n-1 coordonnées sphériques (E102-1 à E102-(n-l)), définissant une grille sphérique, comportant pour une coordonnée sphérique courante à coder
- détermination d'un nombre de niveaux de quantification scalaire E103-1 à E103-(n-l)) pour la coordonnée sphérique courante à coder en fonction des coordonnées sphériques précédemment codées
- quantification scalaire (E104-1 à E104-(n-l)) de la dite coordonnée sphérique courante en fonction dudit nombre de niveaux déterminé, avec pour n-2 coordonnées, la détermination de 2 candidats les plus proches pour la coordonnée sphérique courante à coder et donnant deux indices de quantification fonction des indices de quantification déterminés pour les coordonnées sphériques précédentes , afin d'obtenir au plus 2n 2 candidats à l'issue de la quantification scalaire séquentielle des n-1 coordonnées (E105) ; b) sélection (E106) du meilleur candidat qui minimise une distance entre le point d'entrée et les au plus 2n 2 candidats, et détermination des indices de quantification séparés issus de la quantification scalaire séquentielle desdites coordonnées sphériques dudit meilleur candidat ; c) codage séquentiel (E107) des indices de quantification séparés dudit meilleur candidat.
2. Procédé selon la revendication 1, dans lequel le codage séquentiel des indices de quantification séparés comprend la détermination d'un indice de quantification global par addition d'au moins une information de cardinalité à l'indice de quantification d'une coordonnée sphérique.
3. Procédé selon la revendication 1, dans lequel la quantification scalaire d'une des n-1 coordonnées sphériques inclut un décalage prédéfini.
4. Procédé selon la revendication 1, dans lequel la détermination du nombre de niveaux de quantification pour au moins une coordonnée sphérique s'effectue en fonction d'un nombre total de points de la grille sphérique et de la surface d'une zone sphérique de la sphère en dimension n.
5. Procédé selon la revendication 2, dans lequel la détermination d'une information de cardinalité pour au moins une coordonnée sphérique s'effectue en fonction d'un nombre de points de la grille sphérique et de la surface d'une zone sphérique de la sphère en dimension n.
6. Procédé selon la revendication 1, dans lequel pour au moins une coordonnée sphérique, le nombre de niveaux est forcé à une valeur impaire pour un nombre différent de 1.
7. Procédé selon l'une des revendications 1 à 6, dans lequel le codage du signal audio multicanal utilise une matrice de rotation représentée par au moins un quaternion unitaire et dans lequel le au moins un paramètre représenté par un point d'entrée sur une sphère de dimension n avec n=4, est le au moins un quaternion unitaire.
8. Procédé selon l'une des revendications 1 à 6, dans lequel le codage du signal audio multicanal utilise des informations de direction d'arrivée de sources audio et dans lequel le au moins un paramètre représenté par un point d'entrée sur une sphère de dimension n avec n=3, est au moins une de ces informations.
9. Procédé selon l'une des revendications 1 à 6, dans lequel le codage du signal audio utilise une transformation en sous-bandes fréquentielles et dans lequel le au moins un paramètre représenté par un point d'entrée sur une sphère de dimension n est au moins une sous-bande avec une valeur de n à la taille de la sous-bande.
10. Procédé de décodage d'un signal audio multicanal comportant le décodage d'au moins un paramètre représenté par un point d'entrée sur une sphère de dimension n, s'effectuant par décodage de n-1 coordonnées sphériques de ce point d'entrée, définissant une grille sphérique, le procédé comportant le décodage séquentiel des coordonnées sphériques (El 11-1 à Elll-(n-l), à partir d'un indice de quantification global ou de n-1 indices multiplexés (El 10), par les opérations suivantes :
- détermination d'un nombre de niveaux de quantification (El 12-1 à E112-(n-l)) pour la coordonnée sphérique à décoder en fonction des coordonnées sphériques précédemment décodées ;
- détermination des indices séparés issus de la quantification séparée desdites coordonnées sphériques (El 13-1 à E113-(n-l)) en fonction des nombres de niveaux déterminés puis obtention des coordonnées sphériques correspondantes (El 14-1 à E114-(n-l)) pour reconstruire un point décodé sur la sphère de dimension n (E116).
11. Procédé de décodage selon la revendication 10, dans lequel la détermination des indices séparés s'effectue à partir d'informations de cardinalité définies pour lesdites coordonnées sphériques.
12. Procédé de décodage selon la revendication 10, dans lequel le décodage d'une des n-1 coordonnées sphériques inclut un décalage prédéfini
13. Procédé de décodage selon la revendication 11, dans lequel les informations de cardinalité sont obtenues de façon analytique à partir d'un nombre de points de la grille sphérique et de la surface d'une zone sphérique de la sphère en dimension n.
14. Dispositif de codage comportant un circuit de traitement pour la mise en œuvre des étapes du procédé de codage selon l'une des revendications 1 à 9.
15. Dispositif de décodage comportant un circuit de traitement pour la mise en œuvre des étapes du procédé de décodage selon l'une des revendications 10 à 13.
16. Support de stockage, lisible par un processeur, mémorisant un programme informatique comportant des instructions pour l'exécution du procédé de codage selon l'une des revendications 1 à 9 ou du procédé de décodage selon l'une des revendications 10 à 13.
EP22754459.0A 2021-07-15 2022-07-05 Quantification vectorielle spherique optimisee Pending EP4371108A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21305987.6A EP4120255A1 (fr) 2021-07-15 2021-07-15 Quantification vectorielle spherique optimisee
PCT/FR2022/051337 WO2023285748A1 (fr) 2021-07-15 2022-07-05 Quantification vectorielle spherique optimisee

Publications (1)

Publication Number Publication Date
EP4371108A1 true EP4371108A1 (fr) 2024-05-22

Family

ID=77126707

Family Applications (2)

Application Number Title Priority Date Filing Date
EP21305987.6A Withdrawn EP4120255A1 (fr) 2021-07-15 2021-07-15 Quantification vectorielle spherique optimisee
EP22754459.0A Pending EP4371108A1 (fr) 2021-07-15 2022-07-05 Quantification vectorielle spherique optimisee

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP21305987.6A Withdrawn EP4120255A1 (fr) 2021-07-15 2021-07-15 Quantification vectorielle spherique optimisee

Country Status (6)

Country Link
US (2) US12499900B2 (fr)
EP (2) EP4120255A1 (fr)
JP (1) JP2024528398A (fr)
KR (1) KR20240034186A (fr)
CN (1) CN117616499A (fr)
WO (1) WO2023285748A1 (fr)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122035A1 (en) * 2000-12-29 2002-09-05 Ng Francis M.L. Method and system for parameterized normal predictive encoding
US7933770B2 (en) * 2006-07-14 2011-04-26 Siemens Audiologische Technik Gmbh Method and device for coding audio data based on vector quantisation
US20150332682A1 (en) * 2014-05-16 2015-11-19 Qualcomm Incorporated Spatial relation coding for higher order ambisonic coefficients
US9620137B2 (en) * 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
BR112020011026A2 (pt) * 2017-11-17 2020-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. aparelho e método para codificar ou decodificar parâmetros de codificação de áudio direcional com o uso de quantização e codificação de entropia
GB2572761A (en) * 2018-04-09 2019-10-16 Nokia Technologies Oy Quantization of spatial audio parameters
EP3706119A1 (fr) 2019-03-05 2020-09-09 Orange Codage audio spatialisé avec interpolation et quantification de rotations
GB2586461A (en) * 2019-08-16 2021-02-24 Nokia Technologies Oy Quantization of spatial audio direction parameters
WO2021252811A2 (fr) * 2020-06-11 2021-12-16 Dolby Laboratories Licensing Corporation Quantification et codage entropique de paramètres pour un codec audio à faible latence

Also Published As

Publication number Publication date
US20240304198A1 (en) 2024-09-12
WO2023285748A1 (fr) 2023-01-19
JP2024528398A (ja) 2024-07-30
US12499900B2 (en) 2025-12-16
US20260018181A1 (en) 2026-01-15
CN117616499A (zh) 2024-02-27
EP4120255A1 (fr) 2023-01-18
KR20240034186A (ko) 2024-03-13

Similar Documents

Publication Publication Date Title
EP2374123B1 (fr) Codage perfectionne de signaux audionumeriques multicanaux
EP2374124B1 (fr) Codage perfectionne de signaux audionumériques multicanaux
EP3935629B1 (fr) Codage audio spatialisé avec interpolation et quantification de rotations
EP2656342A1 (fr) Codage/decodage paramétrique stéréo amélioré pour les canaux en opposition de phase
EP2319037A1 (fr) Reconstruction de données audio multicanal
FR3049084A1 (fr)
WO2023285748A1 (fr) Quantification vectorielle spherique optimisee
EP4042418B1 (fr) Détermination de corrections à appliquer a un signal audio multicanal, codage et décodage associés
EP4268374B1 (fr) Codage optimise de matrices de rotations pour le codage d&#39;un signal audio multicanal
EP4172986B1 (fr) Codage optimisé d&#39;une information représentative d&#39;une image spatiale d&#39;un signal audio multicanal
EP4738834A2 (fr) Décodage de coordonnées sphériques utilisant un dictionnaire de quantification sphérique optimisé
WO2009050409A1 (fr) Procede, module et programme d&#39;ordinateur avec quantification en fonction des vecteurs de gerzon
BR122025002539A2 (pt) Método para codificar pelo menos um quatérnio unitário representando uma matriz de rotação usada para a codificação de um sinal multicanal representado por um ponto de entrada em uma esfera de dimensão 4, método para decodificar pelo menos um quatérnio unitário representando uma matriz de rotação usada para a decodificação de um sinal multicanal representado por um ponto de entrada em uma esfera de dimensão 4, dispositivo de codificação, dispositivo de decodificação, e meio de armazenamento
WO2023232823A1 (fr) Titre: codage audio spatialisé avec adaptation d&#39;un traitement de décorrélation

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231207

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)