EP3475943B1 - Method for conversion and stereophonic encoding of a three-dimensional audio signal - Google Patents
Method for conversion and stereophonic encoding of a three-dimensional audio signal Download PDFInfo
- Publication number
- EP3475943B1 EP3475943B1 EP17787331.2A EP17787331A EP3475943B1 EP 3475943 B1 EP3475943 B1 EP 3475943B1 EP 17787331 A EP17787331 A EP 17787331A EP 3475943 B1 EP3475943 B1 EP 3475943B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- complex
- vector
- phase
- signal
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000006243 chemical reaction Methods 0.000 title description 24
- 230000005236 sound signal Effects 0.000 title description 9
- 239000013598 vector Substances 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 13
- 230000000750 progressive effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 229920006395 saturated elastomer Polymers 0.000 claims 1
- 230000006870 function Effects 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 14
- 101150006573 PAN1 gene Proteins 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 101100028500 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) par-1 gene Proteins 0.000 description 10
- 101150064233 Pan2 gene Proteins 0.000 description 10
- 230000004807 localization Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 241000135309 Processus Species 0.000 description 5
- 241001080024 Telles Species 0.000 description 5
- 238000009472 formulation Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 235000021183 entrée Nutrition 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 241000861223 Issus Species 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000397921 Turbellaria Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012732 spatial analysis Methods 0.000 description 2
- 241001644893 Entandrophragma utile Species 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Definitions
- the present invention relates to a method and method for processing the audio signal, and more particularly to a method for converting and stereophonic encoding of a three-dimensional audio signal.
- the production, transmission and reproduction of a three-dimensional audio signal is an important part of any audiovisual immersion experience, for example in the context of presentations of content in virtual reality, but also when viewing cinematographic content or in the framework of fun applications. Any three-dimensional audio content thus passes through a production or capture phase, a transmission or storage phase, and a reproduction phase.
- the phase of producing or obtaining the content can be carried out by numerous techniques which are very widely used and used: stereophonic, multichannel or peripheral capture, or else synthesis of content from separate elements.
- the content is then represented either by a number of separate channels, or in the form of a peripheral sound field (for example in Ambisonics format of order 1 or higher), or even in the form of sound objects and information. separate spaces.
- the reproduction phase is also known and widely used in the professional or general public fields: stereo headphones or those benefiting from binaural rendering, devices with stereophonic speakers (optionally benefiting from transaural processing), multichannel or three-dimensional.
- the transmission phase can consist of a simple channel-by-channel transmission, or else of a transmission of separate elements and spatial information making it possible to reconstitute the content, or even of an encoding allowing, most often with losses, describe the spatial content of the original signal.
- this approach suffers, whether during the encoding or decoding phase, from a major problem of discontinuity of the representation in phase: there is a spatial discontinuity of the phase with a temporally static correspondence of the phase introduced by a generic “panning law”, introducing artefacts when a sound source is placed in certain directions of the sphere or moves on the sphere by performing certain trajectories.
- the present invention makes it possible to solve this problem of discontinuity, and does not require separation of the incoming signal into an ambient part and a direct part.
- Trevino et al. propose a two-dimensional (planar) decoding system of an HOA field previously encoded on a stereophonic stream, still according to Scheiber's principles.
- the main problems encountered by the authors are on the one hand the presence of a phase discontinuity (for values close to ⁇ ) and on the other hand instabilities at the extreme positions of stereo panning, for which the metrics used are undefined.
- Directional Audio Coding (DirAC) which is a spatial sound representation method, applicable for different sound reproduction systems.
- DirAC Directional Audio Coding
- the diffusion and the direction of arrival of sound are estimated at a single location as a function of time and frequency.
- the microphone signals are first divided into non-scattering and scattering parts, and then reproduced using different strategies.
- DirAC is developed from existing impulse response reproduction, spatial impulse response rendering (SIRR) technology and implementations of DirAC for different applications are described.
- SIRR spatial impulse response rendering
- US 2010/329466 A1 describes an audio processor for converting a multi-channel audio input signal, such as a format B sound field signal, into a set of audio output signals, such as a set of two or more audio output signals arranged for headphone reproduction or for playback over a loudspeaker network.
- a bank of filters divides each of the input channels into frequency bands.
- the input signal is decomposed into plane waves to determine one or two directions of the dominant sound source. These are used to determine a set of virtual speaker positions chosen such that the dominant direction (s) coincide (s) with virtual speaker positions.
- the input signal is decoded into virtual speaker signals corresponding to each of the virtual speaker positions, and the virtual speaker signals are processed with suitable transfer functions to create the illusion of sound emanating from them. directions of virtual speakers.
- HRTFs Head Related Transfer Functions
- HRTFs can be used by differentiating the phase of a high frequency part of the HRTFs from the frequency, followed by a corresponding integration of that part against the frequency after combining the frequencies. components of HRTF from different directions.
- WO 2009/046460 A2 describes a two-channel phase-amplitude stereo encoding and decoding scheme enabling interactive 3-D audio reproduction through standard two-channel audio-only transmission.
- the coding scheme makes it possible to associate a 2 D or 3 D position location with each of a plurality of sound sources by using frequency independent inter-channel phase and amplitude differences.
- the decoder is based on a spatial frequency domain analysis of 2D or 3D directional cues in a two-channel stereo signal and re-synthesis of these cues by any preferred spatialization technique, thus allowing the reproduction of positional audio cues and the reverberation or ambient cues on arbitrary reproduction formats of a multichannel loudspeaker or on headphones while aiming to preserve the source separation despite intermediate coding on only two audio channels.
- Venner ⁇ d examines and develops the theory of spherical harmonics and higher-order ambisonics, which serves as the foundation for a proposed real-time system.
- This system can record signals from a set of commercial spherical microphones, convert them to the higher-order ambisonic format, and reproduce the sound field through headphones.
- a head tracker is used.
- the real-time system operates with a latency of approximately 95 milliseconds between a head movement and the subsequent sound field rotation.
- two new methods to improve helmet reproduction were evaluated.
- One of the objectives of the present invention is to unveil a method which allows, in the context of encoding to a stereophonic stream, continuity of the signal including its phase, whatever the position of the source and whatever or the trajectory that it describes, without requiring any non-directional component in the input signal, or matrix encoding of the signal, or compromise between stability and precision of location for the extreme positions in the inter-channel domain.
- Another example which does not fall within the scope of the invention and which is present only as an indication, provides a complete chain of transport or storage of a three-dimensional acoustic field, in a compact format and accepted by standard means. transport or storage, while retaining the relevant three-dimensional spatial information of the original field.
- two channels in temporal form for example forming a stereophonic signal
- two channels in temporal form can be transformed to the frequency domain into two tables of complex coefficients.
- the complex frequency coefficients of the two channels can be paired, so as to have a pair for each frequency or frequency band among a plurality of frequencies, and for each time window of the signal.
- Each pair of complex frequency coefficients can be analyzed using two metrics, combining information from two stereophonic channels, which are introduced below: the panorama and the phase difference, which form what we will call in the remainder of this document the “inter-channel domain”.
- the first conversion method presented above does not consider any divergence character that can be introduced during the FOA panning.
- a second preferred implementation makes it possible to consider the character of divergence.
- I x , y , z obtained by equation 12.
- 1 0.0 T ⁇ vs total vs To e i arg vs w + vs vs , x e i arg vs x + ⁇ x + vs vs , y e i arg vs y + ⁇ y + vs vs , z e i arg vs z + ⁇ z
- ⁇ x , ⁇ y and ⁇ z are phases which will be defined later in this document.
- Scheiber's sphere symbolically represents the magnitude and phase relationships of two monochromatic waves, that is, also of two complex frequency coefficients representing these waves. It consists of semicircles joining the opposite points L and R, each semicircle resulting from a rotation around the axis LR of the frontal arc in bold by an angle ⁇ and representing a difference value of phase ⁇ ⁇ ] - ⁇ , ⁇ ].
- the frontal semicircle represents a zero phase difference.
- Each point of the semi-circle represents a distinct panorama value, with a value close to 1 for points close to L, and a value close to -1 for points close to R.
- the figure 1 illustrates the principle of Scheiber's sphere.
- Scheiber's sphere (100) symbolically represents with the help of points on a sphere the relations of magnitude and phase of two monochromatic waves, that is to say also of two complex frequency coefficients representing these waves, in the form of semi-circles of equal phase difference and indexed on the panorama.
- the coordinate system of the Scheiber sphere is spherical with polar axis Y, and we can express the coordinates in X, Y, Z according to the panorama and the phase difference:
- ⁇ x cos ⁇ 2 panorama cos phasediff
- the figure 9 represents the phase correspondence map if ⁇ has panorama and phase difference coordinates (-1/4, -3 ⁇ / 4).
- the phase correspondence described by this map is continuous everywhere except in ⁇ .
- the figure 10 represents the phase correspondence map of the figure 9 , when folded over Scheiber's sphere.
- a signal expressed in the spherical domain is characterized, for any frequency or frequency band, by an azimuth and an elevation, a magnitude and a phase.
- Implementations not falling within the scope of the invention and which are present only as an indication include a means of transcoding from the spherical domain to a given audio format chosen by the user. Some techniques are presented by way of example but their adaptation to other audio formats will be trivial for a person familiar with the state of the art of sound rendering or of the encoding of the sound signal.
- the coefficients w, x, y, z obtained for each frequency band are assembled to generate respectively frequency representations W, X, Y, and Z of four channels, and the application of the frequency-to-time transform (inverse of that used for the time-to-frequency transform), the possible windowing, then the overlapping of the successive time windows obtained makes it possible to obtain four channels which are a temporal representation in spatial harmonics of the first order of the three-dimensional audio signal.
- a similar approach can be used for transcoding to a format (HOA) of order greater than or equal to 2, by completing equation (54) with the encoding formulas for the order considered.
- Transcoding to a 5.0 surround format having five channels left, center, right, rear left and rear right can be performed as follows.
- Transcoding into a 5.0 LCR-Ls-Rs multichannel audio format to which is added a zenithal T channel (“top” or “voice of god” channel) can also be carried out in the frequency domain.
- ⁇ g THE g THE 2 + 1 6 g B 2
- g VS g VS 2 + 1 6 g B 2
- g R g R 2 + 1 6 g B 2
- g Ls g Ls + 1 4 g B 2
- g Rs g Rs + 1 4 g B 2
- the frequency coefficients of the different channels are obtained by:
- the six complex coefficients thus obtained for each frequency band are assembled to generate respectively frequency representations of six channels L, C, R, Ls, Rs and T, and the application of the frequency-to-time transform (inverse of that used for the time-to-frequency transform), the possible windowing, then the overlap of the successive time windows obtained makes it possible to obtain six channels in the time domain.
- the frequency-to-time transform inverse of that used for the time-to-frequency transform
- the overlap of the successive time windows obtained makes it possible to obtain six channels in the time domain.
- stereo content not intended to be played on a device other than a pair of speakers takes advantage of being processed by the decoding process, resulting in a 2D or 3D "upmix" of the content, the term “ upmix "corresponding to the fact of processing a signal in order to be able to broadcast it on devices with a number of speakers greater than the number of original channels, each speaker receiving a signal of its own, or its virtualized equivalent to the headphones.
- the stereophonic signal resulting from the encoding of a three-dimensional audio field can be properly reproduced without decoding on a standard stereophonic listening device, for example headphones, sound bar or stereophonic system.
- Said signal can moreover be processed by multichannel decoding systems for matrixed surround content available on the market without audible artifacts appearing.
- the decoder is versatile: it allows both decoding of content specially encoded for it, decoding in a relatively satisfactory manner pre-existing content in the matrixed surround format (for example cinematographic sound content), as well as upmixing stereo content. . So it immediately finds its use, embedded in software or hardware (for example in the form of a chip) in any system dedicated to sound broadcasting: television, stereo high-fidelity system, living room or home cinema amplifier, system audio on board a vehicle, equipped with a multichannel broadcasting system, or even any broadcasting system for listening through headphones, via binaural rendering, possibly with monitoring of the orientation of the head (“headtracking"), such as a computer, cell phone, digital audio player.
- headtracking such as a computer, cell phone, digital audio player.
- a listening device with "crosstalk” cancellation also allows binaural listening without headphones from at least two speakers, and allows surround or 3D listening of sound content decoded and rendered in binaural.
- the decoding algorithm presented makes it possible to perform a rotation of the sound space on the origin direction vectors of the spherical field obtained, the origin direction being that which would be perceived by a listener located at the center of said sphere; this capability makes it possible to implement the tracking of the listener's head (or “head-tracking") in the processing chain as close as possible to its rendering, an important element to reduce the latency between the movements of the head and their compensation in the audible signal.
- An audio headset itself can embed the decoding system, possibly adding head-tracking and binaural rendering functions.
- the content processing and distribution infrastructure prerequisite is already ready for the application of the present invention, for example stereo audio connectivity, stereophonic digital codecs such as MPEG-2 layer 3 or AAC, radio broadcasting techniques. FM or DAB stereo, or even the stereophonic television broadcasting standards over the air, by cable or over IP.
- stereo audio connectivity stereophonic digital codecs such as MPEG-2 layer 3 or AAC
- radio broadcasting techniques FM or DAB stereo
- stereophonic television broadcasting standards over the air, by cable or over IP.
- the encoding in the format presented in this invention is carried out at the end of multi-channel or 3D “mastering” (finalization), from an FOA field via a conversion to a spherical field such as one of those presented in this document or some other technique.
- the encoding can also be performed on each source added to the sound mix, independently of each other, using spatialization or panning tools embedding the described method, which makes it possible to perform a 3D mixing on stations.
- digital audio workstation supporting only 2 channels.
- This encoded format can also be stored or archived on any medium comprising only two channels, or for the purpose of size compression.
- the decoding algorithm makes it possible to obtain a spherical field, which can be altered, by removing the spherical coordinates and keeping only the complex frequency coefficients, with a view to obtaining a mono “downmix”.
- This method can be implemented in software or hardware to embed it in an electronic chip, embedded for example in monophonic FM listening devices.
- the content of video games and virtual reality or augmented reality systems can be stored in encoded form in stereo, then decoded to be spatialized again by transcoding, for example in the form of an FOA field.
- the availability of direction vectors of origin also makes it possible to manipulate the sound field using geometric operations, allowing for example zooms, distortions according to the sound environment such as by the projection of the sphere of directions on the interior of a part of a video game, then deformation by parallax of the vectors of direction of origin.
- a video game or other virtual reality or augmented reality system having a surround or 3D audio format as internal sound format can also encode its content before broadcasting; therefore, if the listener's final listening device implements the decoding method, it thus provides three-dimensional spatialization, and if the device is a headphones implementing head-tracking (orientation tracking of the listener's head), binaural personalization and head-tracking allow dynamic immersive listening.
- the implementations of the present invention can be carried out in the form of one or more computer programs, said computer programs running on at least one computer or on at least one on-board signal processing circuit, locally, remotely or distributed (for example as part of a “cloud” type infrastructure).
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Stereophonic System (AREA)
Description
La présente invention concerne une méthode et procédé de traitement du signal audio, et plus particulièrement d'un procédé de conversion et d'encodage stéréophonique d'un signal audio tridimensionnel.The present invention relates to a method and method for processing the audio signal, and more particularly to a method for converting and stereophonic encoding of a three-dimensional audio signal.
La production, la transmission et la reproduction d'un signal audio tridimensionnel est une part importante de toute expérience d'immersion audiovisuelle, par exemple dans le contexte des présentations de contenus en réalité virtuelle, mais aussi lors du visionnage de contenus cinématographiques ou dans le cadre d'applications ludiques. Tout contenu audio tridimensionnel passe ainsi par une phase de production ou de captation, une phase de transmission ou de stockage, et une phase de reproduction.The production, transmission and reproduction of a three-dimensional audio signal is an important part of any audiovisual immersion experience, for example in the context of presentations of content in virtual reality, but also when viewing cinematographic content or in the framework of fun applications. Any three-dimensional audio content thus passes through a production or capture phase, a transmission or storage phase, and a reproduction phase.
La phase de production ou d'obtention du contenu peut être effectué par de nombreuses techniques très largement répandues et utilisées : captation stéréophonique, multicanale ou périphonique, ou bien synthèse de contenu à partir d'éléments séparés. Le contenu est alors représenté soit par un certain nombre de canaux séparés, ou sous forme d'un champ sonore périphonique (par exemple en format Ambisonics d'ordre 1 ou supérieur), ou bien encore sous forme d'objets sonores et d'informations spatiales séparées.The phase of producing or obtaining the content can be carried out by numerous techniques which are very widely used and used: stereophonic, multichannel or peripheral capture, or else synthesis of content from separate elements. The content is then represented either by a number of separate channels, or in the form of a peripheral sound field (for example in Ambisonics format of
La phase de reproduction est également connue et largement répandue dans les domaines professionnels ou grand public : casques stéréophoniques ou bénéficiant d'un rendu binaural, dispositifs à enceintes stéréophoniques (bénéficiant optionnellement d'un traitement transaural), multicanales ou à disposition tridimensionnelle.The reproduction phase is also known and widely used in the professional or general public fields: stereo headphones or those benefiting from binaural rendering, devices with stereophonic speakers (optionally benefiting from transaural processing), multichannel or three-dimensional.
La phase de transmission peut être constituée d'une simple transmission canal par canal, ou bien d'une transmission des éléments séparés et des informations spatiales permettant de reconstituer le contenu, ou bien encore d'un encodage permettant, le plus souvent avec pertes, de décrire le contenu spatial du signal original. Il existe de nombreux procédés d'encodage audio permettant de conserver tout ou partie des informations spatiales présentes dans le signal original tridimensionnel.The transmission phase can consist of a simple channel-by-channel transmission, or else of a transmission of separate elements and spatial information making it possible to reconstitute the content, or even of an encoding allowing, most often with losses, describe the spatial content of the original signal. There are many audio encoding methods which make it possible to preserve all or part of the spatial information present in the original three-dimensional signal.
Peter Scheiber, à partir des années 1960, a été l'un des premiers à décrire un procédé de matriçage stéréophonique d'un champ surround planaire et a prévu dès lors d'utiliser ce qui porte depuis le nom de "sphère de Scheiber" comme outil de correspondance immédiate de la relation de magnitude (utilisé comme synonyme du terme amplitude) et de phase entre deux canaux et une position spatiale tridimensionnelle.Peter Scheiber, from the 1960s, was one of the first to describe a process of stereophonic mastering of a planar surround field and therefore planned to use what has since been called "Scheiber's sphere" as tool for immediate correspondence of the relation of magnitude (used as a synonym for the term amplitude) and phase between two channels and a three-dimensional spatial position.
Par exemple,
Une analyse critique des systèmes de matriçage stéréophoniques de type 4-2-4 (c'est-à-dire 4 canaux originaux, matricés et transportés sur 2 canaux, puis décodés et reproduits sur 4 canaux) est fournie par
Dans « A High-Performance Surround Sound Process for Home Video » et l'implémentation correspondante dévoilée dans
En
Il est connu depuis les décennies 1970 et 1980 que la transformée de Fourier court-terme, présentée par exemple dans
Dans
Le décodeur matriciel présenté dans
Dans
Dans
Dans
Dans
Dans
L'un des objectifs de la présente invention est de dévoiler une méthode qui permette, dans le cadre d'un encodage vers un flux stéréophonique, une continuité du signal y compris de sa phase, quelle que soit la position de la source et quelle que soit la trajectoire qu'elle décrive, sans nécessiter ni composante non-directionnelle dans le signal d'entrée, ni d'encodage matriciel du signal, ni compromis entre stabilité et précision de localisation pour les positions extrêmes dans le domaine intercanal.One of the objectives of the present invention is to unveil a method which allows, in the context of encoding to a stereophonic stream, continuity of the signal including its phase, whatever the position of the source and whatever or the trajectory that it describes, without requiring any non-directional component in the input signal, or matrix encoding of the signal, or compromise between stability and precision of location for the extreme positions in the inter-channel domain.
Un exemple permettant d'assurer un décodage et un transcodage depuis un signal stéréophonique, optionnellement encodé avec l'une des implémentations de l'invention, ou encodé avec les systèmes existants d'encodage matriciel, et d'en effectuer un rendu sur tout moyen de diffusion et sous tout format audio, sans nécessiter de compromis entre stabilité et précision de localisation, ne relève pas de l'invention et n'est présent qu'à titre indicatif.An example making it possible to ensure decoding and transcoding from a stereophonic signal, optionally encoded with one of the implementations of the invention, or encoded with existing matrix encoding systems, and to render it by any means broadcast and in any audio format, without requiring a compromise between stability and precision of location, does not come within the scope of the invention and is present only as an indication.
Un autre exemple, qui ne relève pas de l'invention et qui n'est présent qu'à titre indicatif, fournit une chaîne complète de transport ou de stockage d'un champ acoustique tridimensionnel, dans un format compact et accepté par les moyens standard de transport ou de stockage, tout en conservant les informations spatiales tridimensionnelles pertinentes du champ original.Another example, which does not fall within the scope of the invention and which is present only as an indication, provides a complete chain of transport or storage of a three-dimensional acoustic field, in a compact format and accepted by standard means. transport or storage, while retaining the relevant three-dimensional spatial information of the original field.
-
La
figure 1 représente la sphère de Scheiber (aussi appelée sphère de Stokes-Poincaré ou sphère énergie) telle que définie, par exemple, dans "Analyzing Phase-Amplitude Matrices", Journal of the Audio Engineering Society, Vol. 19, No. 10, p. 835 (November 1971 figure 1 represents the Scheiber sphere (also called the Stokes-Poincaré sphere or the energy sphere) as defined, for example, in "Analyzing Phase-Amplitude Matrices ", Journal of the Audio Engineering Society, Vol. 19, No. 10, p. 835 (November 1971 -
La
figure 2 illustre sous forme de carte panoramique-phase un exemple de choix de correspondance de phase arbitraire.Thefigure 2 illustrates in the form of a panoramic-phase map an example of an arbitrary phase correspondence choice. -
La
figure 3 donne un exemple de carte partielle de correspondance de phase assurant une continuité entre les bords du domaine de définition panoramique-phase.Thefigure 3 gives an example of a partial phase correspondence map ensuring continuity between the edges of the panoramic-phase definition domain. -
La
figure 4 illustre le principe du repliement de la carte de correspondance de lafigure 2 sur la sphère de Scheiber de lafigure 1 .Thefigure 4 illustrates the principle of the folding of the correspondence card of thefigure 2 on Scheiber's sphere of thefigure 1 . -
La
figure 5 illustre le repliement de lafigure 4 , une fois qu'il est totalement effectué.Thefigure 5 illustrates the folding of thefigure 4 , once it is completely done. -
La
figure 6 représente la sphère de Scheiber sur laquelle est présent un champ de vecteurs correspondant au coefficient fréquentiel complexe cL local. Par construction de la carte de correspondance de phase, la somme des indices aux singularités autorisées, en L, ou d'annulation du champ de vecteurs, en R, est différente de 2, valeur attendue s'il était possible de ne pas avoir d'autre singularité sur la sphère. Dans les encadrés gauche et droit sont présentées les possibles structures locales du champ de vecteur au voisinage des singularités des points L et R, avec leurs indices respectifs.Thefigure 6 represents the sphere of Scheiber on which is present a field of vectors corresponding to the complex frequency coefficient c L local. By construction of the phase correspondence map, the sum of the indices to the authorized singularities, in L, or of cancellation of the vector field, in R, is different from 2, expected value if it were possible not to have d another singularity on the sphere. In the left and right boxes are presented the possible local structures of the vector field in the vicinity of the singularities of the points L and R, with their respective indices. -
La
figure 7 illustre la carte de correspondance de phase pour une singularité positionnée en Ψ = Ψ 0. La correspondance de phase décrite par cette carte est continue en tout point sauf en Ψ.Thefigure 7 illustrates the phase correspondence map for a singularity positioned at Ψ = Ψ 0 . The phase correspondence described by this map is continuous at all points except at Ψ . -
La
figure 8 représente la carte de lafigure 7 après son repliement sur la sphère de Scheiber.Thefigure 8 represents the map of thefigure 7 after its folding on the sphere of Scheiber. -
La
figure 9 illustre la carte de correspondance de phase pour une singularité positionnée en Ψ de coordonnées de panorama et différence de phase (-1/4, -3π/4).Thefigure 9 illustrates the phase correspondence map for a singularity positioned in Ψ of panorama coordinates and phase difference (-1/4, -3 π / 4). -
La
figure 10 représente la carte de lafigure 9 après son repliement sur la sphère de Scheiber.Thefigure 10 represents the map of thefigure 9 after its folding on the sphere of Scheiber. -
La
figure 11 montre le diagramme du processus d'encodage, convertissant un signal depuis le domaine sphérique vers le domaine intercanal.Thefigure 11 shows the diagram of the encoding process, converting a signal from the spherical domain to the inter-channel domain. -
La
figure 12 montre le diagramme du processus de décodage, convertissant un signal depuis le domaine intercanal vers le domaine sphérique.Thefigure 12 shows the diagram of the decoding process, converting a signal from the inter-channel domain to the spherical domain. -
La
figure 13 illustre le processus de déformation de l'espace sphérique selon les valeurs d'azimut.Thefigure 13 illustrates the process of deformation of spherical space according to azimuth values.
Les techniques exposées par la suite traitent des données qui se présentent sous la forme de coefficients fréquentiels complexes. Ces coefficients représentent une bande de fréquences sur une fenêtre temporelle réduite. Ils sont obtenus à l'aide d'une technique appelée transformée de Fourier court-terme (STFT en anglais), et peuvent également entre obtenus à l'aide de transformées analogues, telles que celles de la famille des transformées en ondelettes complexes (CWT), transformées en paquets d'ondelettes complexes (CWPT), la transformée en cosinus discret modifiée (MDCT) ou la transformée à recouvrement complexe modulée (MCLT), etc. Chacune de ces transformées, appliquée sur des fenêtres successives et chevauchées du signal, possède une transformée inverse permettant, depuis les coefficients fréquentiels complexes représentant l'ensemble des bandes de fréquences du signal, d'obtenir un signal sous forme temporelle.
Dans le présent document, on définit :
- l'opérateur Norm〈. |. 〉 tel que Norm
- l'opérateur Re[
v ] qui désigne la partie réelle du vecteurv , c'est-à-dire le vecteur des parties réelles des composantes du vecteurv ; - l'opérateur
v * qui est l'opérateur de conjugaison des composantes complexes du vecteurv ; - l'opérateur atan2(y, x) qui est l'opérateur qui donne l'angle orienté entre un vecteur (1,0) T et un vecteur (x,y) T ; cet opérateur est disponible sous forme d'une fonction std::atan2 de la librairie STL du langage C++.
In this document, we define:
- the Norm operator 〈. |. 〉 Such as Norm
- operator Re [
v ] which designates the real part of the vectorv , i.e. the vector of the real parts of the components of the vectorv ; - the operator
v * which is the conjugation operator of the complex components of the vectorv ; - the operator atan2 ( y , x ) which is the operator which gives the oriented angle between a vector (1,0) T and a vector (x, y) T ; this operator is available in the form of a function std :: atan2 of the STL library of the C ++ language.
À l'aide de l'une des transformées temps-vers-fréquences exposées précédemment, deux canaux sous forme temporelle, par exemple formant un signal stéréophonique, peuvent être transformés vers le domaine fréquentiel en deux tableaux de coefficients complexes. Les coefficients fréquentiels complexes des deux canaux peuvent être appariés, de manière à avoir une paire pour chaque fréquence ou bande de fréquences parmi une pluralité de fréquences, et pour chaque fenêtre temporelle du signal.
Chaque paire de coefficients fréquentiels complexes peut être analysée à l'aide de deux métriques, combinant des informations issues de deux canaux stéréophoniques, qui sont introduites ci-dessous : le panorama et la différence de phase, lesquelles forment ce que l'on nommera dans la suite du présent document le « domaine intercanal ».Using one of the time-to-frequency transforms discussed previously, two channels in temporal form, for example forming a stereophonic signal, can be transformed to the frequency domain into two tables of complex coefficients. The complex frequency coefficients of the two channels can be paired, so as to have a pair for each frequency or frequency band among a plurality of frequencies, and for each time window of the signal.
Each pair of complex frequency coefficients can be analyzed using two metrics, combining information from two stereophonic channels, which are introduced below: the panorama and the phase difference, which form what we will call in the remainder of this document the “inter-channel domain”.
On définit le panorama de deux coefficients fréquentiels complexes c 1 et c 2 comme le rapport entre la différence de leurs puissances et la somme de leurs puissances:
Le panorama appliqué à un signal stéréophonique composé de deux canaux gauche (L) et droit (R) sera ainsi, pour les coefficients respectifs des deux canaux cL et cR non simultanément nuls :
- 1 pour un signal entièrement contenu dans le canal gauche, c'est-à-dire cR = 0,
- -1 pour un signal entièrement contenu dans le canal droit, c'est-à-dire cL = 0,
- 0 pour un signal de même magnitude sur les deux canaux.
The panorama applied to a stereophonic signal composed of two left (L) and right (R) channels will thus be, for the respective coefficients of the two channels c L and c R not simultaneously zero:
- 1 for a signal entirely contained in the left channel, i.e. c R = 0,
- -1 for a signal entirely contained in the right channel, i.e. c L = 0,
- 0 for a signal of the same magnitude on both channels.
La connaissance d'un panorama et d'une puissance totale p permet de déterminer les magnitudes des deux coefficients fréquentiels complexes :
Dans la suite de ce document, on se place dans le repère cartésien tridimensionnel d'axes (X, Y,Z) et de coordonnées (x,y,z). On considère que l'azimut est l'angle dans le plan (z = 0), de l'axe X vers l'axe Y (sens trigonométrique), en radians. Un vecteur v présentera une coordonnée d'azimut a lorsque le demi-plan (y = 0, x ≥ 0) ayant subi une rotation autour de l'axe Z d'un angle a contiendra le vecteur v. Un vecteur v présentera une coordonnée d'élévation e lorsque, dans le demi-plan (y = 0, x ≥ 0) ayant subi une rotation autour de l'axe Z, il présente un angle e avec un vecteur non nul de la demi-droite définie par intersection entre le demi-plan et le plan horizontal (z = 0), positif vers le haut.
Un vecteur unité d'azimut et d'élévation a et e aura pour coordonnées cartésiennes :
- le canal W est le signal de pression
- le canal X est le signal du gradient de pression au point suivant l'axe X
- le canal Y est le signal du gradient de pression au point suivant l'axe Y
- le canal Z est le signal du gradient de pression au point suivant l'axe Z
A unit vector of azimuth and elevation a and e will have Cartesian coordinates:
- channel W is the pressure signal
- the X channel is the signal of the pressure gradient at the point along the X axis
- the Y channel is the signal of the pressure gradient at the point along the Y axis
- the Z channel is the signal of the pressure gradient at the point along the Z axis
Un standard de normalisation des harmoniques sphériques peut être défini comme suit : une onde plane progressive monochromatique (OPPM) de composante fréquentielle complexe c et de direction de provenance le vecteur unitaire
Le concept de "divergence" permet simuler dans le champ FOA une source se déplaçant à l'intérieur de la sphère unitaire des directions : la divergence est un paramètre réel à valeurs dans [0,1], une divergence div = 1 positionnera la source à la surface de la sphère comme dans les équations précédentes, et divergence div = 0 positionnera la source au centre de la sphère. Ainsi les coefficients du champ FOA sont les suivants :
The concept of "divergence" allows to simulate in the FOA field a source moving inside the unitary sphere of the directions: the divergence is a real parameter with values in [0,1], a divergence div = 1 will position the source at the surface of the sphere as in the previous equations, and divergence div = 0 will position the source at the center of the sphere. Thus the coefficients of the FOA field are as follows:
Une implémentation préférée de l'invention comprend une première méthode de conversion d'un tel champ FOA en coefficients complexes et en coordonnées sphériques. Cette première méthode permet une conversion, avec pertes, basée sur un caractère perceptuel, du champ FOA vers un format composé de coefficients fréquentiels complexes et de leur correspondance spatiale en coordonnées azimut et élévation (ou un vecteur cartésien de norme unité). Ladite méthode se base sur une représentation fréquentielle des signaux FOA obtenus après fenêtrage temporel et transformée temps-vers fréquence, par exemple via l'usage de la transformée de Fourier court-terme (ou en anglais "Short-Term Fourier Transform", STFT).
Le procédé suivant est appliqué sur chaque groupe de quatre coefficients complexes correspondant à un "bin" fréquentiel, c'est-à-dire les coefficients complexes de la représentation fréquentielle de chacun des canaux W, X, Y, Z qui correspondent à la même bande de fréquences, et ce pour toute fréquence ou bande de fréquence parmi une pluralité de fréquences. Une exception est faite pour le (ou les) bin(s) fréquentielles correspondant à la composante continue (du fait du « padding » appliqué au signal avant transformée temps-vers-fréquence, les quelques bins fréquentiels suivants peuvent être également concernés).
On note cW, cX, cY, cZ les coefficients complexes correspondant à un "bin" fréquentiel considéré. Une analyse est effectuée pour séparer le contenu de cette bande de fréquence en trois parties :
- une partie A correspondant à une onde plane progressive monochromatique (OPPM), directionnelle,
- une partie B correspondant à une onde de pression diffuse,
- une partie C correspondant à une onde stationnaire.
- Une analyse menant à une séparation dans laquelle seule la partie A est non nulle peut être obtenue avec un signal provenant d'une OPPM telle que décrite dans l'équation 8 ou l'équation 9.
- Une analyse menant à une séparation dans laquelle seule la partie B est non nulle peut être obtenue avec deux OPPM (de même fréquence), en phase, et de directions de provenance opposées (seul cW étant alors non nul).
- Une analyse menant à une séparation dans laquelle seule la partie C est non nulle peut être obtenue avec deux OPPM (de même fréquence), hors phase, et de directions de provenance opposées (seuls cX, cY, cZ étant alors non nuls).
Concernant la partie A définie ci-dessus, on s'intéresse au vecteur intensité moyenne du signal du champ FOA. Dans
-
I x,y,z est le vecteur tridimensionnel d'intensité moyenne, dirigé vers l'origine de l'OPPM, de magnitude proportionnelle au carré de la magnitude de l'OPPM, - l'opérateur Re[
v ] désigne la partie réelle du vecteurv , c'est-à-dire le vecteur des parties réelles des composantes du vecteurv , - p est le coefficient complexe correspondant à la composante de pression, c'est-à-dire p =
-
u x,y,z est le vecteur tridimensionnel composé des coefficients complexes correspondant aux gradients de pressions respectivement suivant l'axe X, Y, et Z, c'est-à-direu x,y,z = (cX, cY, cZ)T, - l'opérateur
v * est l'opérateur de conjugaison des composantes complexes du vecteur.
The following process is applied to each group of four complex coefficients corresponding to a frequency "bin", that is to say the complex coefficients of the frequency representation of each of the channels W, X, Y, Z which correspond to the same frequency band, and this for any frequency or frequency band among a plurality of frequencies. An exception is made for the frequency bin (s) corresponding to the DC component (due to the “padding” applied to the signal before time-to-frequency transform, the following few frequency bins may also be concerned).
We denote by c W , c X , c Y , c Z the complex coefficients corresponding to a considered frequency "bin". An analysis is performed to separate the content of this frequency band into three parts:
- a part A corresponding to a monochromatic progressive plane wave (OPPM), directional,
- a part B corresponding to a diffuse pressure wave,
- a part C corresponding to a standing wave.
- An analysis leading to a separation in which only part A is non-zero can be obtained with a signal from an OPPM as described in Equation 8 or Equation 9.
- An analysis leading to a separation in which only part B is non-zero can be obtained with two OPPMs (of the same frequency), in phase, and of opposite directions of origin (only c W then being non-zero).
- An analysis leading to a separation in which only the part C is non-zero can be obtained with two OPPMs (of the same frequency), out of phase, and from opposite directions of origin (only c X , c Y , c Z then being non-zero ).
Concerning part A defined above, we are interested in the mean intensity vector of the FOA field signal. In
-
I x, y, z is the three-dimensional vector of mean intensity, directed towards the origin of the OPPM, of magnitude proportional to the square of the magnitude of the OPPM, - operator Re [
v ] designates the real part of the vectorv , i.e. the vector of the real parts of the components of the vectorv , - p is the complex coefficient corresponding to the component of pressure, i.e. p =
-
u x, y, z is the three-dimensional vector composed of the complex coefficients corresponding to the pressure gradients respectively along the X, Y, and Z axis, that is to sayu x, y, z = ( c X , c Y , c Z ) T , - the operator
v * is the conjugation operator of the complex components of the vector.
Par ailleurs, concernant la partie B définie ci-dessus, soit le coefficient complexe cw ' le résultat de la soustraction du coefficient complexe correspondant au signal extrait dans la partie A (c'est-à-dire via l'équation 8) au coefficient original cw :
- Dans un premier mode sphérique de conversion conservant l'ensemble des directions de provenance à élévations négatives, et donc notamment adapté à la réalité virtuelle, la partie B s'exprime comme
r w est un vecteur dépendant de la bande de fréquence, décrit plus bas dans le présent document. - Dans un second mode hémisphérique, adapté notamment à la musique, dans lequel les élévations négatives ne sont pas pertinentes, l'information contenue dans l'hémisphère des élévations négatives est utilisée comme divergence dans le plan horizontal lors du décodage, ainsi par exemple une source positionnée au milieu de la sphère sera abaissée à une élévation de -90° afin d'obtenir une divergence de 0 et donc un étalement sur l'ensemble des haut-parleurs planaires après décodage sur un système d'écoute circulaire ou hémisphérique. La partie B s'exprime comme :
- D'autres modes intermédiaires entre le premier mode sphérique et le second mode hémisphérique peuvent également être construits, indexés par le coefficient s ∈ [0,1],
valant 0 pour le mode sphérique, et 1 pour le mode hémisphérique. Soit le vecteur somme :
Il est obtenu :
Les parties séparées A, B, et C sont regroupées en un vecteur de direction de provenance
- In a first spherical conversion mode retaining all of the directions of origin at negative elevations, and therefore particularly adapted to virtual reality, part B is expressed as
r w is a frequency band dependent vector, described later in this document. - In a second hemispherical mode, suitable in particular for music, in which the negative elevations are not relevant, the information contained in the hemisphere of the negative elevations is used as divergence in the horizontal plane during decoding, thus for example a source positioned in the middle of the sphere will be lowered to an elevation of -90 ° in order to obtain a divergence of 0 and therefore a spread over all the planar loudspeakers after decoding on a circular or hemispherical listening system. Part B is expressed as:
- Other intermediate modes between the first spherical mode and the second hemispherical mode can also be constructed, indexed by the coefficient s ∈ [0,1], being equal to 0 for the spherical mode, and 1 for the hemispherical mode. Let the sum vector be:
It is obtained:
The separate parts A, B, and C are grouped into a direction of provenance vector
La première méthode de conversion présentée ci-dessus ne considère pas de caractère de divergence qui peut être introduite lors du panoramique FOA. Une seconde implémentation préférée permet de considérer le caractère de divergence.
Pour la partie A, on considère
Enfin, concernant la partie C, soient les coefficients complexes cx', cy', et cz' les résultats de la soustraction des coefficient complexes correspondant au signal extrait dans la partie A (c'est-à-dire les coefficients obtenus avec l'équation ), dans sa direction sans divergence, aux coefficients originaux cx, cy, et cz :
Les parties séparées A et C sont en définitive regroupées en un vecteur de direction de provenance
For part A, we consider
Finally, concerning part C, let the complex coefficients c x ', c y ', and c z 'be the results of the subtraction of the complex coefficients corresponding to the signal extracted in part A (i.e. the coefficients obtained with the equation), in its direction without divergence, to the original coefficients c x , c y , and c z :
The separate parts A and C are finally grouped together in a direction vector of origin.
Concernant les vecteurs de direction pour les parties diffuses, il est fait référence plus haut à :
- des vecteurs
r w ,r x,r y ,r z , et - des phases Φx, Φy et Φ z.
Le processus d'obtention de ces vecteurs est le suivant :
- Pour chaque fréquence ou bande de fréquences, un ensemble de vecteurs unitaires
r 0 w ,r 0 x ,r 0 y ,r 0 z , et de phases Φ 0x , Φ 0 y et Φ 0 z sont générés à partir d'un processus pseudo-aléatoire :- o les vecteurs unitaires sont générés à partir d'un azimut issu d'un générateur pseudo-aléatoire de réels uniforme dans ] - π, π] et d'une élévation issue de l'arcsinus d'un réel d'un générateur pseudo-aléatoire uniforme dans [-1,1] ;
- o les phases sont obtenues à l'aide d'un générateur pseudo-aléatoire de réels uniforme dans ] - π, π].
- Les fréquences ou bandes de fréquences sont balayées depuis celles correspondant aux basses fréquences vers ceux correspondant aux hautes fréquences, pour lisser spectrale-ment les vecteurs et phases à l'aide de la procédure suivante :
- Pour les vecteurs
r w (b) où b est l'indice de la fréquence ou de la bande de fréquences,% est 0,65. - Les vecteurs
r x,r y ,r z suivent la même procédure à partir der 0x ,r 0y ,r 0 z respectivement. - Pour les phases Φx (b) où b est l'indice de la fréquence ou de la bande de fréquences,
- Les phases Φy et Φz suivent la même procédure à partir de Φ 0y et Φ 0z respectivement.
- Pour les vecteurs
- Si un processus dynamique est souhaité, lors de la génération de nouveaux vecteurs
r 0 w ,r 0 x , r 0 y ,r 0 z et de nouvelles phases Φ 0 x , Φ 0 y , l'ancien vecteur et l'ancienne phase sont conservés d'une manière analogue aux processus énoncés, à l'aide d'un paramètre de temps caractéristique.
- à générer un vecteur unitaire aléatoire,
- à déterminer un vecteur (m nb, 0,0) T où m est un facteur supérieur à 1, par exemple 8, et n est un facteur inférieur à 1,
par exemple 0,9, permettant de faire décroître la prépondérance de ce vecteur par rapport au vecteur unitaire aléatoire lorsque l'index b du bin fréquentiel augmente, - à sommer et normaliser le vecteur obtenu.
Alternativement à la procédure de génération de vecteurs aléatoires, les vecteurs
- vectors
r w ,r x ,r y ,r z , and - phases Φ x , Φ y and Φ z .
The process for obtaining these vectors is as follows:
- For each frequency or frequency band, a set of unit vectors
r 0 w ,r 0 x ,r 0 y ,r 0 z , and phases Φ 0x , Φ 0 y and Φ 0 z are generated from a pseudo-random process:- o the unit vectors are generated from an azimuth resulting from a pseudo-random generator of uniform reals in] - π , π ] and from an elevation resulting from the arcsine of a real from a pseudo- generator uniform random in [-1,1];
- o the phases are obtained using a pseudo-random generator of uniform reals in] - π , π ].
- The frequencies or frequency bands are swept from those corresponding to low frequencies to those corresponding to high frequencies, to spectrally smooth the vectors and phases using the following procedure:
- For vectors
r w (b) where b is the index of the frequency or frequency band, - The vectors
r x ,r y ,r z follow the same procedure fromr 0x ,r 0y ,r 0 z respectively. - For the phases Φ x ( b ) where b is the index of the frequency or of the frequency band,
- Phases Φ y and Φ z follow the same procedure from Φ 0 y and Φ 0z respectively.
- For vectors
- If a dynamic process is desired, when generating new vectors
r 0 w ,r 0 x , r 0 y ,r 0 z and new phases Φ 0 x , Φ 0 y , the old vector and the old phase are preserved in a manner analogous to the stated processes, using a characteristic time parameter.
- to generate a random unit vector,
- in determining a vector ( mn b , 0,0) T where m is a factor greater than 1, for example 8, and n is a factor less than 1, for example 0.9, making it possible to decrease the preponderance of this vector compared to the random unit vector when the index b of the frequency bin increases,
- in summing and normalizing the vector obtained.
As an alternative to the procedure for generating random vectors, the vectors
Pour la (ou les) fréquence(s) ou bande(s) de fréquences correspondant à la composante continue, le traitement est distinct. On notera que du fait du padding, le régime continu correspond à une ou plusieurs fréquence(s) ou bande(s) de fréquences :
- s'il n'y a pas de padding, seul le première fréquence ou bande de fréquences subit le traitement tel que défini ci-dessous ;
- s'il y a un padding de 100% (qui double donc la longueur du signal avant transformée temps-vers-fréquence), les deux premières fréquences ou bandes de fréquences se voient appliquer le traitement tel que défini ci-dessous (ainsi que la fréquence ou bande de fréquences « négative » qui est conjuguée-symétrique de la seconde fréquence ou bande de fréquences) ;
- s'il y a un padding de 300% (qui quadruple donc la longueur du signal avant transformée temps-vers-fréquence), les quatre premières fréquences ou bandes de fréquences se voient appliquer le traitement tel que défini ci-dessous (ainsi que les fréquences ou bandes de fréquences « négative » qui sont conjuguées-symétrique des seconde, troisième et quatrième fréquences ou bandes de fréquences) ;
- les autres cas de padding découlent de la même logique.
- if there is no padding, only the first frequency or frequency band undergoes the processing as defined below;
- if there is a 100% padding (which therefore doubles the length of the signal before time-to-frequency transform), the first two frequencies or frequency bands are subject to the processing as defined below (as well as the "negative" frequency or frequency band which is conjugate-symmetrical to the second frequency or frequency band);
- if there is a padding of 300% (which therefore quadruple the length of the signal before time-to-frequency transform), the first four frequencies or frequency bands are subject to the processing as defined below (as well as the “negative” frequencies or frequency bands that are conjugate-symmetrical to the second, third and fourth frequencies or frequency bands);
- the other cases of padding follow from the same logic.
Afin d'assurer la correspondance entre coordonnées sphériques et le domaine intercanal, la sphère de Scheiber, correspondant dans le domaine de l'optique, à la sphère de Stokes-Poincaré, est utilisée dans ce qui suit.
La sphère de Scheiber représente de manière symbolique les relations de magnitude et de phase de deux ondes monochromatiques, c'est-à-dire également de deux coefficients fréquentiels complexes représentant ces ondes. Elle est constituée de demi-cercles joignant les points opposés L et R, chaque demi-cercle étant issu d'une rotation autour de l'axe LR de l'arc frontal en gras d'un angle β et représentant une valeur de différence de phase β ∈ ]-π, π]. Le demi-cercle frontal représente une différence de phase nulle. Chaque point du demi-cercle représente une valeur distincte de panorama, avec une valeur proche de 1 pour les points proches de L, et une valeur proche de -1 pour les points proches de R.
La
Concernant la conversion depuis le domaine intercanal vers les coordonnées sphériques, le système de coordonnées de la sphère de Scheiber est sphérique d'axe polaire Y, et l'on peut exprimer les coordonnées en X, Y, Z en fonction du panorama et de la différence de phase :
Il est possible d'obtenir la réciproque de la conversion présentée précédemment, c'est-à-dire la conversion depuis les coordonnées sphériques vers le domaine intercanal :
Scheiber's sphere symbolically represents the magnitude and phase relationships of two monochromatic waves, that is, also of two complex frequency coefficients representing these waves. It consists of semicircles joining the opposite points L and R, each semicircle resulting from a rotation around the axis LR of the frontal arc in bold by an angle β and representing a difference value of phase β ∈] - π , π ]. The frontal semicircle represents a zero phase difference. Each point of the semi-circle represents a distinct panorama value, with a value close to 1 for points close to L, and a value close to -1 for points close to R.
The
Regarding the conversion from the inter-channel domain to the spherical coordinates, the coordinate system of the Scheiber sphere is spherical with polar axis Y, and we can express the coordinates in X, Y, Z according to the panorama and the phase difference:
It is possible to obtain the reciprocal of the conversion presented previously, that is to say the conversion from the spherical coordinates to the inter-channel domain:
Conformément à la présentation faite par
- tout azimut a ∈ [-90°, 90°] se retrouve étiré dans l'intervalle [-30°, 30°] d'une manière affine,
- tout azimut a ∈ [90°, 180°] se retrouve étiré dans l'intervalle [30°, 180°] d'une manière affine,
- tout azimut a ∈ ]-180°, -90°] se retrouve étiré dans l'intervalle ]-180°, -30°] d'une manière affine.
- tout azimut a ∈ [-30°,30°] se retrouve étiré dans l'intervalle [-90°,90°] d'une manière affine,
- tout azimut a ∈ [30°, 180°] se retrouve étiré dans l'intervalle [90°, 180°] d'une manière affine,
- tout azimut a ∈ ]-180°, -30°] se retrouve étiré dans l'intervalle ]-180°, -90°] d'une manière affine.
Dans le cadre de la détermination de la correspondance de phase, l'objectif est de réaliser une correspondance entièrement déterminée entre une paire de coefficients fréquentiels complexes (domaine intercanal) d'une part et un coefficient fréquentiel complexe et des coordonnées sphériques d'autre part (domaine sphérique).
Comme on l'a vu plus haut, la correspondance établie précédemment ne permet pas de déterminer la phase des coefficients fréquentiels complexes, mais seulement la différence de phase dans la paire de coefficients fréquentiels complexes du domaine intercanal.
Il s'agit alors de déterminer la correspondance adéquate pour les phases, c'est-à-dire comment définir la phase d'un coefficient dans le domaine sphérique en fonction de la position dans le domaine intercanal (panorama, phasediff), ainsi que la phase absolue des dits coefficients (laquelle sera représentée par un valeur de phase intermédiaire, comme on le verra par la suite).
On établit une représentation d'une correspondance de phases sous forme de carte bidimensionnelle des phases dans le domaine intercanal, avec le panorama en abscisse sur le domaine de valeurs [-1,1], et de la différence de phase en ordonnée dans le domaine de valeurs ]-π, π]. On représente sur cette carte les paires de coefficients complexes du domaine intercanal obtenus depuis une conversion depuis un coefficient du domaine sphérique :
- possédant une phase φ = 0, les autres phases l'entrée et de sortie étant obtenues à une rotation identique près,
- possédant des coordonnées sphériques, qui sont bijectives avec un panorama et une différence de phase, choisies par la suite comme coordonnées de la carte.
La
Le critère choisi pour la conception d'une correspondance est celui de la continuité spatiale de la phase du signal, c'est-à-dire qu'un changement infime de position d'une source sonore doit aboutir à un changement infime de la phase. Le critère de continuité de phase impose des contraintes pour une correspondance de phases aux bords du domaine :
- le haut et le bas du domaine sont, par le bouclage de la phase à 2π près, voisins. Ainsi les valeurs doivent être identiques en haut et en bas du domaine.
- l'ensemble des valeurs à gauche du domaine (respectivement l'ensemble des valeurs à droite du domaine) correspond au voisinage du point L (respectivement du point R) de la sphère des localisations. Pour assurer la continuité autour de ces points sur la sphère, la phase du coefficient fréquentiel complexe possédant la plus grande magnitude doit être constante. La phase du coefficient fréquentiel complexe possédant la plus petite magnitude est alors imposée par la différence de phase ; elle effectue une rotation de 2π lorsqu'une courbe est parcourue autour des points L ou R de la sphère mais ce n'est pas problématique car la magnitude s'annule au point de discontinuité de phase, découlant sur une continuité du coefficient fréquentiel complexe.
- any azimuth at ∈ [-90 °, 90 °] is found stretched in the interval [-30 °, 30 °] in an affine way,
- all azimuth a ∈ [90 °, 180 °] is found stretched in the interval [30 °, 180 °] in an affine way,
- any azimuth a ∈] -180 °, -90 °] is found stretched in the interval] -180 °, -30 °] in an affine way.
- any azimuth a ∈ [-30 °, 30 °] is found stretched in the interval [-90 °, 90 °] in an affine way,
- all azimuth a ∈ [30 °, 180 °] is found stretched in the interval [90 °, 180 °] in an affine way,
- any azimuth a ∈] -180 °, -30 °] is found stretched in the interval] -180 °, -90 °] in an affine manner.
In the context of the determination of the phase correspondence, the objective is to achieve a fully determined correspondence between a pair of complex frequency coefficients (inter-channel domain) on the one hand and a complex frequency coefficient and spherical coordinates on the other hand. (spherical domain).
As seen above, the correspondence established previously does not make it possible to determine the phase of the complex frequency coefficients, but only the phase difference in the pair of complex frequency coefficients of the inter-channel domain.
It is then a question of determining the adequate correspondence for the phases, i.e. how to define the phase of a coefficient in the spherical domain according to the position in the inter-channel domain (panorama, phasediff), as well as the absolute phase of said coefficients (which will be represented by an intermediate phase value, as will be seen below).
We establish a representation of a phase correspondence in the form of a two-dimensional map of the phases in the inter-channel domain, with the panorama on the abscissa on the domain of values [-1,1], and of the phase difference on the ordinate in the domain of values] - π , π ]. We represent on this map the pairs of complex coefficients of the inter-channel domain obtained from a conversion from a coefficient of the spherical domain:
- having a phase φ = 0, the other entry and exit phases being obtained with close identical rotation,
- having spherical coordinates, which are bijective with a panorama and a phase difference, subsequently chosen as coordinates of the map.
The
The criterion chosen for the design of a correspondence is that of the spatial continuity of the phase of the signal, that is to say that a tiny change in the position of a sound source must result in a tiny change of the phase. . The phase continuity criterion imposes constraints for a phase correspondence at the edges of the domain:
- the top and bottom of the domain are, by the looping of the phase to within 2 π , neighbors. Thus the values must be identical at the top and at the bottom of the domain.
- the set of values to the left of the domain (respectively the set of values to the right of the domain) corresponds to the neighborhood of the point L (respectively of the point R) of the sphere of locations. To ensure continuity around these points on the sphere, the phase of the complex frequency coefficient having the greatest magnitude must be constant. The phase of the complex frequency coefficient having the smallest magnitude is then imposed by the phase difference; it performs a rotation of 2 π when a curve is traversed around the points L or R of the sphere but this is not problematic because the magnitude vanishes at the point of phase discontinuity, resulting in a continuity of the complex frequency coefficient .
La
Établissons s'il est possible de définir une carte continue des phases. Il est possible de "replier" la carte de correspondance des phases sur la sphère de Scheiber, qui est également la sphère des positions spatiales :
- en collant ensemble les bord haut et bas sur le demi-cercle opposé au demi-cercle frontal,
- en pinçant les côtés gauche et droit chacun autour de son point correspondant L ou R.
Let us establish whether it is possible to define a continuous map of the phases. It is possible to "fold" the map of correspondence of the phases on the sphere of Scheiber, which is also the sphere of the spatial positions:
- by gluing the top and bottom edges together on the semi-circle opposite the front semi-circle,
- by pinching the left and right sides each around its corresponding point L or R.
La
On considère par la suite le champ de vecteurs tangents générés par le coefficient du canal gauche cL ; les considérations sont identiques pour le champ de vecteurs tangents générés par le coefficient du canal droit cR. On modifie pour les considérations de la démonstration le champ de vecteurs au voisinage immédiat de L à l'aide d'un facteur réel qui l'annule en L, afin d'assurer la continuité du champ de vecteurs ; ceci ne modifie en rien les phases et donc la correspondance des phases.
D'après le théorème de Poincaré-Hopf, la somme des indices des zéros isolés du champ de vecteurs est égale à la caractéristique d'Euler-Poincaré de la surface. En l'espèce, un champ de vecteurs sur une sphère possède une caractéristique d'Euler-Poincaré de 2. Or par construction, le champ de vecteurs issu de cL s'annule en R avec un indice 0 ou 2 et s'annule de par la modification autour de L avec un indice 1 comme cela peut être vu
La méthode dévoilée dans la présente invention résout cette problématique de continuité de phase. Elle s'appuie sur l'observation que dans les cas réels l'ensemble de la sphère n'est pas intégralement et simultanément parcourue par des signaux. Une discontinuité de correspondance de phase localisée en un point de la sphère parcouru par des signaux (signaux fixes ou trajectoires spatiales de signaux) provoquera une discontinuité de phase. Une discontinuité de correspondance de phase localisée en un point de la sphère non parcouru par des signaux (signaux fixes ou trajectoires spatiales de signaux) ne provoque pas de discontinuité de phase. Sans connaissance a priori des signaux, une discontinuité en un point fixe ne pourra pas garantir qu'aucun signal ne passera par ce point. Une discontinuité en un point mouvant pourra par contre "éviter" d'être parcourue par un signal, si sa localisation est fonction du signal. Ce point de discontinuité mouvant peut faire partie d'une correspondance de phase dynamique qui est continue sur tout autre point de la sphère. Le principe de correspondance de phase dynamique s'appuyant sur l'évitement de la localisation spatiale du signal par la discontinuité est ainsi établi. Nous allons établir une telle correspondance de phase s'appuyant sur ce principe, d'autres correspondances de phases étant possibles.
On définit une fonction de correspondance de phase Φ (panorama, phasediff) qui est utilisée dans les deux sens de conversion, depuis le domaine intercanal vers le domaine sphérique ainsi que dans le sens inverse ; le panorama et la différence de phase sont obtenus dans le domaine d'origine ou dans le domaine d'arrivée de ces deux conversions comme indiqué précédemment. Cette fonction décrit la différence de phase entre le domaine sphérique et le domaine intercanal :
- Si phasediff ≥ -π/2 :
- Si phasediff < -π/2 et panorama ≤ -1/2 :
- Si phasediff < -π/2 et panorama ≥ 1/2 :
- Si phasediff < -π/2 et panorama ∈ ]-1/2,1/2[, c'est-à-dire si les coordonnées du point sont à l'intérieur de la zone de la singularité, alors ses coordonnées sont projetées depuis le point Ψ sur le bord de la zone, et les formules précédentes sont utilisées avec les coordonnées du point projeté. Si le point est exactement situé sur Ψ malgré les précautions, un point quelconque du bord de la zone peut être utilisé.
We then consider the field of tangent vectors generated by the coefficient of the left channel c L ; the considerations are identical for the field of tangent vectors generated by the coefficient of the right channel c R. For the sake of proof, the vector field in the immediate neighborhood of L is modified by means of a real factor which cancels it out in L, in order to ensure the continuity of the vector field; this does not in any way modify the phases and therefore the correspondence of the phases.
According to the Poincaré-Hopf theorem, the sum of the indices of the isolated zeros of the vector field is equal to the Euler-Poincaré characteristic of the surface. In this case, a field of vectors on a sphere has an Euler-Poincaré characteristic of 2. However, by construction, the field of vectors resulting from c L vanishes in R with an
The method disclosed in the present invention solves this problem of phase continuity. It is based on the observation that in real cases the whole of the sphere is not fully and simultaneously traversed by signals. A phase correspondence discontinuity located at a point of the sphere traversed by signals (fixed signals or spatial trajectories of signals) will cause a phase discontinuity. A phase correspondence discontinuity located at a point of the sphere not traversed by signals (fixed signals or spatial trajectories of signals) does not cause a phase discontinuity. Without a priori knowledge of the signals, a discontinuity at a fixed point cannot guarantee that no signal will pass through this point. A discontinuity at a moving point may on the other hand "avoid" being traversed by a signal, if its location is a function of the signal. This moving point of discontinuity can be part of a dynamic phase correspondence that is continuous at any other point on the sphere. The principle of dynamic phase correspondence based on the avoidance of the spatial localization of the signal by the discontinuity is thus established. We will establish such a phase correspondence based on this principle, other phase correspondences being possible.
We define a phase correspondence function Φ (panorama, phasediff) which is used in both directions of conversion, from the inter-channel domain to the spherical domain as well as in the reverse direction; the panorama and the phase difference are obtained in the original domain or in the arrival domain of these two conversions as indicated previously. This function describes the phase difference between the spherical domain and the inter-channel domain:
- If phasediff ≥ - π / 2:
- If phasediff <- π / 2 and panorama ≤ -1/2:
- If phasediff <- π / 2 and panorama ≥ 1/2:
- If phasediff <- π / 2 and panorama ∈] -1 / 2,1 / 2 [, i.e. if the coordinates of the point are inside the zone of the singularity, then its coordinates are projected from point Ψ on the edge of the area, and the previous formulas are used with the coordinates of the projected point. If the point is exactly on Ψ despite precautions, any point on the edge of the area can be used.
Ainsi, au repos, on obtient la carte (700) de correspondance de phase de la
La
Comme décrit plus haut dans le présent document, un signal exprimé dans le domaine sphérique est caractérisé, pour toute fréquence ou bande de fréquence, par un azimut et une élévation, une magnitude et une phase.As described above in this document, a signal expressed in the spherical domain is characterized, for any frequency or frequency band, by an azimuth and an elevation, a magnitude and a phase.
Des implémentations ne relevant pas de l'invention et qui ne sont présentes qu'à titre indicatif incluent un moyen de transcodage depuis le domaine sphérique vers un format audio donné choisi par l'utilisateur. Quelques techniques sont présentées à titre d'exemple mais leur adaptation à d'autres formats audio seront triviales pour une personne connaissant l'état de l'art du rendu sonore ou de l'encodage du signal sonore.Implementations not falling within the scope of the invention and which are present only as an indication include a means of transcoding from the spherical domain to a given audio format chosen by the user. Some techniques are presented by way of example but their adaptation to other audio formats will be trivial for a person familiar with the state of the art of sound rendering or of the encoding of the sound signal.
Un transcodage en harmoniques sphériques du premier ordre (ou First-Order Ambisonic, FOA) peut être effectué dans le domaine fréquentiel. Pour chaque coefficient complexe c correspondant à une bande de fréquences, connaissant l'azimut a et l'élévation e correspondants, quatre coefficients complexes w, x, y, z correspondant à la même bande de fréquences peuvent être générés grâce aux formules suivantes :
Les coefficients w, x, y, z obtenus pour chaque bande de fréquences sont assemblés pour générer respectivement des représentations fréquentielles W, X, Y, et Z de quatre canaux, et l'application de la transformée fréquence-vers-temps (inverse de celle utilisée pour la transformée temps-vers-fréquence), l'éventuel fenêtrage, puis le chevauchement des fenêtres temporelles successives obtenues permet d'obtenir quatre canaux qui sont une représentation temporelle en harmoniques spatiales du premier ordre du signal audio tridimensionnel. Une approche similaire peut être utilisée pour un transcodage vers un format (HOA) d'ordre supérieur ou égal à 2, en complétant l'équation (54) avec les formules d'encodage pour l'ordre considéré.The coefficients w, x, y, z obtained for each frequency band are assembled to generate respectively frequency representations W, X, Y, and Z of four channels, and the application of the frequency-to-time transform (inverse of that used for the time-to-frequency transform), the possible windowing, then the overlapping of the successive time windows obtained makes it possible to obtain four channels which are a temporal representation in spatial harmonics of the first order of the three-dimensional audio signal. A similar approach can be used for transcoding to a format (HOA) of order greater than or equal to 2, by completing equation (54) with the encoding formulas for the order considered.
Un transcodage vers un format surround 5.0 comportant cinq canaux gauche, centre, droit, arrière gauche et arrière droit peut être effectué de la manière suivante.Transcoding to a 5.0 surround format having five channels left, center, right, rear left and rear right can be performed as follows.
Pour chaque fréquence ou bande de fréquences, les coefficients cL, cC, cR, cLs, cRs correspondant respectivement aux haut-parleurs nommés habituellement L, C, R, Ls, Rs, sont calculés comme suit, à partir des coordonnées d'azimut et d'élévation a et e du vecteur de direction de provenance et du coefficient fréquentiel complexe cs . On définit le gains gL, gC, gR, gLs, gRs comme les gains qui seront à appliquer au coefficient cS pour obtenir les coefficients fréquentiels complexes des tableaux de coefficients de sortie, ainsi que deux gains gB et gT correspondant à des haut-parleurs virtuels permettant une redistribution des signaux en bas ("Bottom"), c'est-à-dire à élévation négative, et en haut ("Top"), c'est-à-dire à élévation positive, vers les autres haut-parleurs.
- Si a ∈ [0°, 30°],
- Si a ∈ [30°, 105°],
- Si a + k×360° ∈ [105°, 360° - 105°],
- si a ∈ [-105°,-30°],
- Si a ∈ [-30°, 0°],
- If a ∈ [0 °, 30 °],
- If a ∈ [30 °, 105 °],
- If a + k × 360 ° ∈ [105 °, 360 ° - 105 °],
- if a ∈ [-105 °, -30 °],
- If a ∈ [-30 °, 0 °],
Un transcodage en un format audio multicanal 5.0 L-C-R-Ls-Rs auquel est ajouté un canal zénithal T (canal « top » ou « voice of god ») peut également être effectué dans le domaine fréquentiel. Lors de la redistribution des gains des canaux virtuels, seule la redistribution du gain "bottom" gB est alors effectuée :
Les six coefficients complexes ainsi obtenus pour chaque bande de fréquences sont assemblés pour générer respectivement des représentations fréquentielles de six canaux L,C,R,Ls,Rs et T, et l'application de la transformée fréquence-vers-temps (inverse de celle utilisée pour la transformée temps-vers-fréquence), l'éventuel fenêtrage, puis le chevauchement des fenêtres temporelles successives obtenues permet d'obtenir six canaux dans le domaine temporel.
Par ailleurs, pour un format ayant une disposition quelconque des canaux dans l'espace, on pourra avantageusement appliquer un algorithme VBAP à trois dimensions pour obtenir les canaux souhaités, en assurant si besoin une bonne triangulation de la sphère par l'ajout de canaux virtuels qui sont redistribués vers les canaux finaux.The six complex coefficients thus obtained for each frequency band are assembled to generate respectively frequency representations of six channels L, C, R, Ls, Rs and T, and the application of the frequency-to-time transform (inverse of that used for the time-to-frequency transform), the possible windowing, then the overlap of the successive time windows obtained makes it possible to obtain six channels in the time domain.
Moreover, for a format having any arrangement of the channels in space, it is advantageously possible to apply a three-dimensional VBAP algorithm to obtain the channels. desired, ensuring if necessary a good triangulation of the sphere by adding virtual channels which are redistributed to the final channels.
Un transcodage d'un signal exprimé dans le domaine sphérique vers un format binaural peut également être effectué. Il peut par exemple se baser sur les éléments suivants :
- une base de données incluant, pour une pluralité de fréquences, pour une pluralité de directions dans l'espace, et pour chaque oreille, l'expression en coefficients complexes (magnitude et phase) des filtres Head-Related Transfer Function (HRTF) dans le domaine fréquentiel ;
- une projection de ladite base de données sur le domaine sphérique pour obtenir, pour une pluralité de directions et pour chaque oreille, un coefficient complexe pour chaque fréquence parmi une pluralité de fréquences ;
- une interpolation spatiale desdits coefficients complexes, pour toute fréquence parmi une pluralité de fréquences, de façon à obtenir une pluralité de fonctions spatiales complexes continûment définies sur la sphère unité, pour chaque fréquence parmi une pluralité de fréquences. Cette interpolation peut s'effectuer de manière bilinéaire ou spline, ou bien par l'intermédiaire de fonctions harmoniques sphériques.
- pour chaque fréquence et pour chaque oreille, étant donnée la direction de provenance dudit signal sphérique, on établit la valeur de ladite fonction spatiale complexe établie précédemment par projection et interpolation, résultant en un coefficient complexe HRTF;
- pour chaque fréquence et pour chaque oreille, ledit coefficient complexe HRTF est alors multiplié par le coefficient complexe correspondant au signal sphérique, résultant en un signal fréquentiel oreille gauche et un signal fréquentiel oreille droite ;
- une transformée fréquence-vers-temps est alors effectuée, donnant un signal binaural à deux canaux.
- a database including, for a plurality of frequencies, for a plurality of directions in space, and for each ear, the expression in complex coefficients (magnitude and phase) of the Head-Related Transfer Function (HRTF) filters in the frequency domain;
- projecting said database onto the spherical domain to obtain, for a plurality of directions and for each ear, a complex coefficient for each frequency among a plurality of frequencies;
- a spatial interpolation of said complex coefficients, for any frequency among a plurality of frequencies, so as to obtain a plurality of complex spatial functions continuously defined on the unit sphere, for each frequency among a plurality of frequencies. This interpolation can be carried out bilinear or spline, or else by means of spherical harmonic functions.
- for each frequency and for each ear, given the direction of origin of said spherical signal, the value of said complex spatial function established previously is established by projection and interpolation, resulting in a complex coefficient HRTF;
- for each frequency and for each ear, said complex coefficient HRTF is then multiplied by the complex coefficient corresponding to the spherical signal, resulting in a left ear frequency signal and a right ear frequency signal;
- a frequency-to-time transform is then performed, giving a binaural two-channel signal.
En application des techniques de conversion entre les deux domaines qui ont été présentées précédemment, l'encodage d'un signal sphérique peut être effectué de la manière suivante. Le signal sphérique est constitué de tableaux temporellement successifs correspondant chacun une représentation sur une fenêtre temporelle du signal, ces fenêtres se chevauchant. Chaque tableau est constitué de paires (coefficient fréquentiel complexe, coordonnées sur la sphère en azimut et élévation), chaque paire correspondant à une bande de fréquences. Le signal sphérique originel est obtenu à partir de techniques d'analyse spatiales telles que celle présentée qui transforme un signal FOA en signal sphérique. L'encodage permet d'obtenir des paires temporellement successives de tableaux de coefficients fréquentiels complexes, chaque tableau correspondant à un canal, par exemple gauche (L) et droit (R).
La
- Une première étape (1100) consiste à déterminer pour chaque élément du tableau d'entrée le panorama et la différence de phase correspondant à chaque coordonnée sphérique, comme indiqué aux équations 43. Optionnellement l'élargissement de l'azimut depuis l'intervalle [-30°,30°] vers l'intervalle [-90°, 90°] peut être effectué conformément à la méthode indiquée précédemment, avant la détermination du panorama et la différence de phase, cet élargissement correspondant à l'opération (1302) de la
figure 13 . - Une seconde étape (1101) consiste à déterminer la nouvelle position de la singularité dans le domaine intercanal, en analysant les coordonnées de panorama et de différence de phase déterminés à la première étape.
- Une troisième étape (1102) consiste à déterminer la correspondance de phase ΦΨ (panorama, phasediff) pour chaque coefficient complexe du tableau d'entrée,
- Une quatrième étape (1103) consiste à construire un tableau de paires de coefficients complexes cL et cR, d'après les coefficients fréquentiels complexes du domaine sphérique cS , les valeurs calculées de panorama et de différence de phase, et la fonction de différence de phase :
- Une technique alternative de détermination de la magnitude des coefficients fréquentiels complexes est présentée dans l'équation 5.
The
- A first step (1100) consists in determining for each element of the input table the panorama and the phase difference corresponding to each spherical coordinate, as indicated in equations 43. Optionally the widening of the azimuth from the interval [- 30 °, 30 °] towards the interval [-90 °, 90 °] can be carried out according to the method indicated previously, before the determination of the panorama and the phase difference, this widening corresponding to the operation (1302) of the
figure 13 . - A second step (1101) consists in determining the new position of the singularity in the inter-channel domain, by analyzing the panorama and phase difference coordinates determined in the first step.
- A third step (1102) consists in determining the phase correspondence Φ Ψ (panorama, phasediff) for each complex coefficient of the input table,
- A fourth step (1103) consists in constructing a table of pairs of complex coefficients c L and c R , according to the complex frequency coefficients of the spherical domain c S , the calculated panorama and phase difference values, and the function of phase difference:
- An alternative technique for determining the magnitude of complex frequency coefficients is presented in Equation 5.
En application des techniques de conversion des domaines présentées précédemment, le décodage d'un signal stéréo encodé avec la technique présentée précédemment peut être effectué de la manière suivante. Le signal d'entrée étant sous forme d'une paire de canaux généralement temporels, une transformation telle que la transformée de Fourier court-terme est utilisée pour obtenir des paires temporellement successives de tableaux de coefficients fréquentiels complexes, chaque coefficient de chaque tableau correspondant à une bande de fréquences. Dans chaque paire de tableaux correspondant à une fenêtre temporelle, les coefficients correspondant à la même bande de fréquence sont appariés. Le décodage permet d'obtenir pour chaque fenêtre temporelle une représentation sphérique du signal, sous forme de tableau de paires (coefficient fréquentiel complexe, coordonnées sur la sphère en azimut et élévation). Voici la séquence de la technique de décodage pour chaque fenêtre temporelle successivement traités, illustrée dans la
- Une première étape (1200) consiste à déterminer le panorama et la différence de phase pour chaque paire, comme indiqué aux équations 2
ou 4, et 6. - Une seconde étape (1201) consiste à déterminer la nouvelle position de la singularité Ψ dans le domaine intercanal, en analysant les coordonnées de panorama et de différence de phase déterminés à la première étape.
- Une troisième étape (1202) consiste à déterminer la correspondance de phase ΦΨ , (panorama, phasediff) pour chaque coefficient complexe du tableau d'entrée, à partir des résultats des première et deuxième étapes.
- Une quatrième étape (1203) consiste à déterminer, à partir des résultats des première (1200) et troisième (1202) étapes, le coefficient fréquentiel complexe cS dans le domaine sphérique :
- Une cinquième étape (1204) consiste à déterminer, à partir des résultats de la première étape (1200), les coordonnées d'azimut et d'élévation comme indiqué aux équations 41. Optionnellement le resserrement de l'azimut depuis l'intervalle [-90°,90°] vers l'intervalle [-30°, 30°] peut être effectué, conformément à la méthode indiquée précédemment, cette étape correspondant à l'opération (1301) de la
figure 13 .
- A first step (1200) consists in determining the panorama and the phase difference for each pair, as indicated in
2 or 4, and 6.equations - A second step (1201) consists in determining the new position of the singularity Ψ in the inter-channel domain, by analyzing the panorama and phase difference coordinates determined in the first step.
- A third step (1202) consists in determining the phase correspondence Φ Ψ , (panorama, phasediff) for each complex coefficient of the input table, from the results of the first and second steps.
- A fourth step (1203) consists in determining, from the results of the first (1200) and third (1202) steps, the complex frequency coefficient c S in the spherical domain:
- A fifth step (1204) consists in determining, from the results of the first step (1200), the azimuth and elevation coordinates as indicated in equations 41. Optionally, the tightening of the azimuth from the interval [- 90 °, 90 °] towards the interval [-30 °, 30 °] can be carried out, in accordance with the method indicated previously, this step corresponding to the operation (1301) of the
figure 13 .
Beaucoup de contenus stéréo étant encodés sous forme surround avec une technique de matriçage, et les coordonnées des points de matriçage étant généralement positionnées dans le domaine intercanal à des positions cohérentes, le décodage de tels contenus surround fonctionne, avec quelques défauts de positionnement absolu des sources. Aussi, de manière générale les contenus stéréo non prévus pour être joués sur un autre dispositif qu'une paire d'enceinte prennent avantage à être traités par le procédé de décodage, aboutissant à un "upmix" 2D ou 3D du contenu, le terme "upmix" correspondant au fait de traiter un signal pour pouvoir le diffuser sur des dispositifs à un nombre d'enceintes supérieur au nombre de canaux originaux, chaque enceinte recevant un signal qui lui est propre, ou son équivalent virtualisé au casque.Since many stereo content is encoded in surround form with a mastering technique, and the coordinates of the mastering points are generally positioned in the inter-channel domain at coherent positions, the decoding of such surround content works, with some flaws in the absolute positioning of the sources. . Also, in general, stereo content not intended to be played on a device other than a pair of speakers takes advantage of being processed by the decoding process, resulting in a 2D or 3D "upmix" of the content, the term " upmix "corresponding to the fact of processing a signal in order to be able to broadcast it on devices with a number of speakers greater than the number of original channels, each speaker receiving a signal of its own, or its virtualized equivalent to the headphones.
Le signal stéréophonique résultant de l'encodage d'un champ audio tridimensionnel peut être reproduit convenablement sans décodage sur un dispositif d'écoute stéréophonique standard, par exemple casque audio, barre de son ou chaîne stéréophonique. Ledit signal peut par ailleurs être traité par les systèmes de décodage multicanal de contenus surround matricés disponibles sur le marché sans que des artefacts audibles n'apparaissent.The stereophonic signal resulting from the encoding of a three-dimensional audio field can be properly reproduced without decoding on a standard stereophonic listening device, for example headphones, sound bar or stereophonic system. Said signal can moreover be processed by multichannel decoding systems for matrixed surround content available on the market without audible artifacts appearing.
Le décodeur est polyvalent : il permet à la fois de décoder des contenus spécialement encodés pour lui, décoder d'une manière relativement satisfaisante des contenus préexistant au format surround matricé (par exemple des contenus sonores cinématographiques), ainsi que d'upmixer des contenus stéréos. Ainsi il trouve immédiatement son utilité, embarqué de manière logicielle ou matérielle (par exemple sous la forme d'une puce) dans tout système dédié à la diffusion sonore : télévision, chaîne haute-fidélité stéréophonique, amplificateur de salon ou home-cinéma, système audio embarqué dans un véhicule, équipés en système de diffusion multicanal, ou même à tout système diffusant pour une écoute au casque, via un rendu binaural, éventuellement avec suivi de l'orientation de la tête ("headtracking"), tel qu'un ordinateur, un téléphone portable, un baladeur audionumérique. Un dispositif d'écoute à annulation de "crosstalk" permet également une écoute binaurale sans casque à partir d'au moins deux haut-parleurs, et permet l'écoute surround ou 3D d'un contenu sonore décodé et rendu en binaural. L'algorithme de décodage présenté permet d'effectuer une rotation de l'espace sonore sur les vecteurs de direction de provenance du champ sphérique obtenu, la direction de provenance étant celle qui serait perçue par un auditeur situé au centre de la dite sphère ; cette capacité permet d'implémenter le suivi d'orientation de la tête de l'auditeur (ou "head-tracking") dans la chaîne de traitement au plus près de son rendu, élément important pour réduire la latence entre les mouvements de la tête et leur compensation dans le signal audible.The decoder is versatile: it allows both decoding of content specially encoded for it, decoding in a relatively satisfactory manner pre-existing content in the matrixed surround format (for example cinematographic sound content), as well as upmixing stereo content. . So it immediately finds its use, embedded in software or hardware (for example in the form of a chip) in any system dedicated to sound broadcasting: television, stereo high-fidelity system, living room or home cinema amplifier, system audio on board a vehicle, equipped with a multichannel broadcasting system, or even any broadcasting system for listening through headphones, via binaural rendering, possibly with monitoring of the orientation of the head ("headtracking"), such as a computer, cell phone, digital audio player. A listening device with "crosstalk" cancellation also allows binaural listening without headphones from at least two speakers, and allows surround or 3D listening of sound content decoded and rendered in binaural. The decoding algorithm presented makes it possible to perform a rotation of the sound space on the origin direction vectors of the spherical field obtained, the origin direction being that which would be perceived by a listener located at the center of said sphere; this capability makes it possible to implement the tracking of the listener's head (or "head-tracking") in the processing chain as close as possible to its rendering, an important element to reduce the latency between the movements of the head and their compensation in the audible signal.
Un casque audio en lui-même peut embarquer le système de décodage en ajoutant éventuellement des fonctions de head-tracking et de rendu binaural.An audio headset itself can embed the decoding system, possibly adding head-tracking and binaural rendering functions.
Le prérequis d'infrastructure de traitement et de diffusion des contenus est déjà prêt pour l'application de la présente invention, par exemple la connectique audio stéréo, les codecs numériques stéréophoniques tels que MPEG-2 layer 3 ou AAC, les techniques de diffusion radio FM ou DAB stéréo, ou encore les normes de diffusion stéréophoniques télévisuelles hertziennes, par câble ou sur IP.The content processing and distribution infrastructure prerequisite is already ready for the application of the present invention, for example stereo audio connectivity, stereophonic digital codecs such as MPEG-2
L'encodage dans le format présenté dans cette invention est effectué en fin de « mastering » (fina-lisation) multicanal ou 3D, à partir d'un champ FOA via une conversion vers un champ sphérique telle que l'une de celles présentées dans ce document ou d'une autre technique. L'encodage peut également être effectué sur chaque source ajoutée au mixage sonore, indépendamment les unes des autres, à l'aide d'outils de spatialisation ou de panoramique embarquant le procédé décrit, ce qui permet d'effectuer un mixage 3D sur des stations de travail audionumériques ne supportant que 2 canaux. Ce format encodé peut par ailleurs être stocké ou archivé sur tout support ne comprenant que deux canaux, ou dans un but de compression de taille.The encoding in the format presented in this invention is carried out at the end of multi-channel or 3D “mastering” (finalization), from an FOA field via a conversion to a spherical field such as one of those presented in this document or some other technique. The encoding can also be performed on each source added to the sound mix, independently of each other, using spatialization or panning tools embedding the described method, which makes it possible to perform a 3D mixing on stations. digital audio workstation supporting only 2 channels. This encoded format can also be stored or archived on any medium comprising only two channels, or for the purpose of size compression.
L'algorithme de décodage permet d'obtenir un champ sphérique, qui peut être altéré, en supprimant les coordonnées sphériques et en ne conservant que les coefficients fréquentiels complexes, en vue d'obtenir un « downmix » mono. Ce procédé peut être implémenté de manière logicielle, ou matérielle pour l'embarquer dans une puce électronique, embarquée par exemple dans des dispositifs d'écoute FM monophoniques.The decoding algorithm makes it possible to obtain a spherical field, which can be altered, by removing the spherical coordinates and keeping only the complex frequency coefficients, with a view to obtaining a mono “downmix”. This method can be implemented in software or hardware to embed it in an electronic chip, embedded for example in monophonic FM listening devices.
Par ailleurs, les contenus des jeux vidéo et des systèmes de réalité virtuelle ou réalité augmentée peuvent être stockés sous forme encodée en stéréo, puis décodés pour être spatialisés à nouveau par transcodage, par exemple sous forme de champ FOA. La disponibilité des vecteurs de direction de provenance permet également de manipuler le champ sonore à l'aide d'opérations géométriques, permettant par exemple des zooms, des distorsions suivant l'environnement sonore telles que par la projection de la sphère des directions sur l'intérieur d'une pièce d'un jeu vidéo, puis déformation par parallaxe des vecteurs de direction de provenance. Un jeu vidéo ou autre système de réalité virtuelle ou réalité augmentée ayant comme format sonore interne un format audio surround ou 3D peut également encoder son contenu avant diffusion ; en conséquence, si le dispositif d'écoute final de l'auditeur implémente le procédé de décodage, il fournit ainsi une spatialisation tridimensionnelle, et si le dispositif est un casque audio implémentant le head-tracking (suivi d'orientation de la tête de l'auditeur), la personnalisation binaurale et le head-tracking permettent une écoute immersive dynamique.Furthermore, the content of video games and virtual reality or augmented reality systems can be stored in encoded form in stereo, then decoded to be spatialized again by transcoding, for example in the form of an FOA field. The availability of direction vectors of origin also makes it possible to manipulate the sound field using geometric operations, allowing for example zooms, distortions according to the sound environment such as by the projection of the sphere of directions on the interior of a part of a video game, then deformation by parallax of the vectors of direction of origin. A video game or other virtual reality or augmented reality system having a surround or 3D audio format as internal sound format can also encode its content before broadcasting; therefore, if the listener's final listening device implements the decoding method, it thus provides three-dimensional spatialization, and if the device is a headphones implementing head-tracking (orientation tracking of the listener's head), binaural personalization and head-tracking allow dynamic immersive listening.
Les implémentations de la présente invention peuvent être réalisées sous forme d'un ou plusieurs programmes informatiques, lesdits programmes informatiques fonctionnant sur au moins un ordinateur ou sur au moins un circuit de traitement du signal embarqué, de manière locale, déportée ou distribuée (par exemple dans le cadre d'une infrastructure de type « cloud »).The implementations of the present invention can be carried out in the form of one or more computer programs, said computer programs running on at least one computer or on at least one on-board signal processing circuit, locally, remotely or distributed (for example as part of a “cloud” type infrastructure).
Claims (6)
- Method for converting an ambisonic signal of the first order into a spherical field which is constituted by a plurality of monochromatic progressive planar waves and which is based on a frequential representation of the ambisonic signal obtained after temporal windowing and time/frequency transformation, including, for each frequency among a plurality of frequencies:• the separation of the ambisonic signal into three components comprising:∘ a first complex vector component A which corresponds to the mean acoustic intensity vector of the ambisonic signal,∘ a second complex vector component B whose complex coefficient is equal to subtracting the pressure wave generated by the component A from the pressure component of the ambisonic signal and whose direction is modified in accordance with a random process,∘ a third complex vector component C which corresponds to subtracting the pressure gradient generated by the component A from the pressure gradient of the ambisonic signal and whose phases are modified in accordance with a random process and each of the three axial components of which takes, as a direction, a vector which is derived from a random process;• the grouping of the first, second and third vector components A, B and C as a total vector and a total complex coefficient which describes the spherical field, characterised in that:∘ the total complex coefficient is equal to the sum of the complex coefficients corresponding to the three components,∘ the total vector is equal to the sum of the directions of the three components, weighted by the amplitude of the complex coefficients corresponding to the three components.
- Method for converting an ambisonic signal of the first order into a spherical field according to claim 1, characterised in that the second component B has attributed to it an arbitrary and predefined origin direction with negative elevations.
- Method for converting an ambisonic signal of the first order into a spherical field which is constituted by a plurality of monochromatic progressive planar waves and which is based on a frequential representation of the ambisonic signal obtained after temporal windowing and time/frequency transformation, including, for each frequency among a plurality of frequencies:• the separation of the ambisonic signal into:
∘ a first complex vector component A which is determined by the complex coefficient and the direction thereof, the first complex vector component being obtained by:• a first step (a1) of determining the divergence value, calculated as a ratio between the mean acoustic intensity and the square of the amplitude of the pressure component of the ambisonic signal, the ratio being saturated at a maximum value of 1,• a second step (a2) of determining a complex coefficient which corresponds to the pressure component of the ambisonic signal and providing the complex coefficient of the first vector component A,• a third step (a3) of determining the direction of the first vector component A, which direction is calculated by weighting, as a function of the divergence value, between the direction of the mean acoustic intensity vector and the direction of a vector generated by a random process in order to obtain the direction of the first vector component A; and
∘ a second complex vector component C, determined by the complex coefficient and the direction thereof, the second complex vector component being obtained by:• a first step (c1) of determining three complex axial components of the pressure gradient of the ambisonic signal,• a second step (c2) of determining three complex axial components of the pressure gradient which would be generated by a monochromatic progressive planar wave, whose complex coefficient would be that of the pressure of the ambisonic signal multiplied by the divergence value and whose direction would be that of the mean acoustic intensity vector,• a third step (c3) of subtracting the result of the second step from the result of the first step, and• a fourth step (c4) of changing the phases and direction vectors of the three axial components of the result of the third step, as a function of a random process, in order to obtain the complex coefficients and the directions of the second vector component C;• the grouping of the first and second vector components A and C as a total vector and a total complex coefficient describing the spherical field, characterised in that:∘ the total complex coefficient is equal to the sum of the complex coefficients corresponding to the first and second components, and∘ the total vector is equal to the sum of the directions of the two components, weighted by the amplitude of the complex coefficients corresponding to the two components. - Method according to any one of claims 1 to 3, further comprising the encoding of the spherical field in order to obtain a stereophonic signal by means of a first step of determining panorama and phase difference values from spherical spatial coordinates which describe the spherical field for any frequency among a plurality of frequencies, a second step of determining the position of the discontinuity ψ in the inter-channel range, carried out by analysing the panorama and phase difference coordinates obtained by the first step and by moving the discontinuity relative to its previous position so that the discontinuity is not positioned on a useful signal, a third step of determining the phase correspondence Φψ(panorama,phasediff) corresponding to each pair of complex coefficients derived from the spherical field, and a fourth step of determining a table of pairs of complex coefficients cL and cR for any frequency among a plurality of frequencies, from complex coefficients which are derived from the spherical field cs, the phase correspondence values derived from the third step and the phase difference values, the complex coefficients cL and cR being combined in order to obtain the encoded stereophonic signal.
- Data-processing programme comprising instructions which, when the data-processing programme is carried out by at least one computer or at least one processing circuit, cause it to implement the method according to any one of claims 1 to 4.
- Computer or processing circuit configured to carry out the instructions of the data-processing programme according to claim 5.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
MC2624A MC200186B1 (en) | 2016-09-30 | 2016-09-30 | Method for conversion, stereo encoding, decoding and transcoding of a three-dimensional audio signal |
PCT/EP2017/025274 WO2018059742A1 (en) | 2016-09-30 | 2017-09-28 | Method for conversion, stereophonic encoding, decoding and transcoding of a three-dimensional audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
EP3475943A1 EP3475943A1 (en) | 2019-05-01 |
EP3475943B1 true EP3475943B1 (en) | 2021-12-01 |
Family
ID=60153256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP17787331.2A Active EP3475943B1 (en) | 2016-09-30 | 2017-09-28 | Method for conversion and stereophonic encoding of a three-dimensional audio signal |
Country Status (5)
Country | Link |
---|---|
US (1) | US11232802B2 (en) |
EP (1) | EP3475943B1 (en) |
CN (1) | CN109791768B (en) |
MC (1) | MC200186B1 (en) |
WO (1) | WO2018059742A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI703557B (en) * | 2017-10-18 | 2020-09-01 | 宏達國際電子股份有限公司 | Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof |
CN110493701B (en) * | 2019-07-16 | 2020-10-27 | 西北工业大学 | HRTF (head related transfer function) personalization method based on sparse principal component analysis |
CN110751956B (en) * | 2019-09-17 | 2022-04-26 | 北京时代拓灵科技有限公司 | Immersive audio rendering method and system |
CN113449255B (en) * | 2021-06-15 | 2022-11-11 | 电子科技大学 | Improved method and device for estimating phase angle of environmental component under sparse constraint and storage medium |
CN115497485A (en) * | 2021-06-18 | 2022-12-20 | 华为技术有限公司 | Three-dimensional audio signal coding method, device, coder and system |
US11910177B2 (en) * | 2022-01-13 | 2024-02-20 | Bose Corporation | Object-based audio conversion |
CN114994608B (en) * | 2022-04-21 | 2024-05-14 | 西北工业大学深圳研究院 | Multi-device self-organizing microphone array sound source positioning method based on deep learning |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3632886A (en) | 1969-12-29 | 1972-01-04 | Peter Scheiber | Quadrasonic sound system |
US4334740A (en) | 1978-09-12 | 1982-06-15 | Polaroid Corporation | Receiving system having pre-selected directional response |
US4696036A (en) | 1985-09-12 | 1987-09-22 | Shure Brothers, Inc. | Directional enhancement circuit |
US4862502A (en) | 1988-01-06 | 1989-08-29 | Lexicon, Inc. | Sound reproduction |
US5136650A (en) | 1991-01-09 | 1992-08-04 | Lexicon, Inc. | Sound reproduction |
US5664021A (en) | 1993-10-05 | 1997-09-02 | Picturetel Corporation | Microphone system for teleconferencing system |
IT1283803B1 (en) | 1996-08-13 | 1998-04-30 | Luca Gubert Finsterle | TWO-CHANNEL SOUND RECORDING SYSTEM AND SOUND REPRODUCTION SYSTEM THROUGH AT LEAST FOUR SPEAKERS WITH |
US6041127A (en) | 1997-04-03 | 2000-03-21 | Lucent Technologies Inc. | Steerable and variable first-order differential microphone array |
US6507659B1 (en) | 1999-01-25 | 2003-01-14 | Cascade Audio, Inc. | Microphone apparatus for producing signals for surround reproduction |
AU2001251213A1 (en) | 2000-03-31 | 2001-10-15 | Clarity, L.L.C. | Method and apparatus for voice signal extraction |
KR100809310B1 (en) | 2000-07-19 | 2008-03-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal |
DE60010457T2 (en) | 2000-09-02 | 2006-03-02 | Nokia Corp. | Apparatus and method for processing a signal emitted from a target signal source in a noisy environment |
EP1356706A2 (en) | 2000-09-29 | 2003-10-29 | Knowles Electronics, LLC | Second order microphone array |
GB2373154B (en) * | 2001-01-29 | 2005-04-20 | Hewlett Packard Co | Audio user interface with mutable synthesised sound sources |
WO2007106399A2 (en) | 2006-03-10 | 2007-09-20 | Mh Acoustics, Llc | Noise-reducing directional microphone array |
US8050432B2 (en) | 2005-03-22 | 2011-11-01 | Bloomline Acoustics B.V. | Sound system |
US20060222187A1 (en) | 2005-04-01 | 2006-10-05 | Scott Jarrett | Microphone and sound image processing system |
FI20055261A0 (en) | 2005-05-27 | 2005-05-27 | Midas Studios Avoin Yhtioe | An acoustic transducer assembly, system and method for receiving or reproducing acoustic signals |
FI20055260A0 (en) | 2005-05-27 | 2005-05-27 | Midas Studios Avoin Yhtioe | Apparatus, system and method for receiving or reproducing acoustic signals |
EP1737265A1 (en) | 2005-06-23 | 2006-12-27 | AKG Acoustics GmbH | Determination of the position of sound sources |
US20070237340A1 (en) | 2006-04-10 | 2007-10-11 | Edwin Pfanzagl-Cardone | Microphone for Surround-Recording |
US8712061B2 (en) | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
US8345899B2 (en) | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
AU2007305216A1 (en) * | 2006-10-06 | 2008-04-10 | Lalley Brothers Scientific, Llc | Three-dimensional internal back-projection system and method for using the same |
GB0619825D0 (en) | 2006-10-06 | 2006-11-15 | Craven Peter G | Microphone array |
FR2908586B1 (en) | 2006-11-10 | 2011-05-13 | Huyssen Antoine Victor Hurtado | DEVICE FOR CONVERTING A STEREO AUDIO SIGNAL TO A MULTICANAL AUDIO SIGNAL |
NZ578513A (en) | 2007-01-19 | 2012-01-12 | Probiodrug Ag | In vivo screening models for treatment of alzheimer's disease and other qpct-related disorders |
US8229134B2 (en) | 2007-05-24 | 2012-07-24 | University Of Maryland | Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images |
CN101884065B (en) | 2007-10-03 | 2013-07-10 | 创新科技有限公司 | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
CN101889307B (en) * | 2007-10-04 | 2013-01-23 | 创新科技有限公司 | Phase-amplitude 3-D stereo encoder and decoder |
ES2435792T3 (en) | 2008-12-15 | 2013-12-23 | Orange | Enhanced coding of digital multichannel audio signals |
PL2285139T3 (en) | 2009-06-25 | 2020-03-31 | Dts Licensing Limited | Device and method for converting spatial audio signal |
EP2346028A1 (en) | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
US9232310B2 (en) | 2012-10-15 | 2016-01-05 | Nokia Technologies Oy | Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones |
FR2998438A1 (en) | 2012-11-16 | 2014-05-23 | France Telecom | ACQUISITION OF SPATIALIZED SOUND DATA |
US9525938B2 (en) | 2013-02-06 | 2016-12-20 | Apple Inc. | User voice location estimation for adjusting portable device beamforming settings |
US9685163B2 (en) * | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
US9516412B2 (en) | 2014-03-28 | 2016-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Directivity control apparatus, directivity control method, storage medium and directivity control system |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP3007167A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
JP6539846B2 (en) | 2015-07-27 | 2019-07-10 | 株式会社オーディオテクニカ | Microphone and microphone device |
US11523212B2 (en) | 2018-06-01 | 2022-12-06 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
-
2016
- 2016-09-30 MC MC2624A patent/MC200186B1/en unknown
-
2017
- 2017-09-28 CN CN201780051834.7A patent/CN109791768B/en active Active
- 2017-09-28 US US16/333,433 patent/US11232802B2/en active Active
- 2017-09-28 EP EP17787331.2A patent/EP3475943B1/en active Active
- 2017-09-28 WO PCT/EP2017/025274 patent/WO2018059742A1/en unknown
Non-Patent Citations (1)
Title |
---|
None * |
Also Published As
Publication number | Publication date |
---|---|
CN109791768B (en) | 2023-11-07 |
MC200186B1 (en) | 2017-10-18 |
US20200168235A1 (en) | 2020-05-28 |
WO2018059742A1 (en) | 2018-04-05 |
CN109791768A (en) | 2019-05-21 |
EP3475943A1 (en) | 2019-05-01 |
US11232802B2 (en) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3475943B1 (en) | Method for conversion and stereophonic encoding of a three-dimensional audio signal | |
JP6510021B2 (en) | Audio apparatus and method for providing audio | |
US10893375B2 (en) | Headtracking for parametric binaural output system and method | |
EP3444815B1 (en) | Multiplet-based matrix mixing for high-channel count multichannel audio | |
US9154896B2 (en) | Audio spatialization and environment simulation | |
RU2568926C2 (en) | Device and method of extracting forward signal/ambient signal from downmixing signal and spatial parametric information | |
CN117560615A (en) | Determination of target spatial audio parameters and associated spatial audio playback | |
EP2539892A1 (en) | Multichannel audio stream compression | |
WO2007110520A1 (en) | Method for binaural synthesis taking into account a theater effect | |
US20140372107A1 (en) | Audio processing | |
Rafaely et al. | Spatial audio signal processing for binaural reproduction of recorded acoustic scenes–review and challenges | |
CN111183479A (en) | Concept for generating an enhanced or modified sound field description using a multi-layer description | |
He | Spatial audio reproduction with primary ambient extraction | |
KR102114440B1 (en) | Matrix decoder with constant-power pairwise panning | |
JP2024023412A (en) | Sound field related rendering | |
EP3400599B1 (en) | Improved ambisonic encoder for a sound source having a plurality of reflections | |
WO2018050292A1 (en) | Device and method for capturing and processing a three-dimensional acoustic field | |
Jakka | Binaural to multichannel audio upmix | |
He et al. | Literature review on spatial audio | |
RU2818687C2 (en) | Head tracking system and method for obtaining parametric binaural output signal | |
Chanda et al. | Immersive rendering of coded audio streams using reduced rank models of subband-domain head-related transfer functions | |
Zhang et al. | Three-dimensional audio parametric encoding based on perceptual characteristics of spatial cue 1 | |
Jakka | Binauraalisen audiosignaalin muokkaus monikanavaiselle äänentoistojärjestelmälle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20190128 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
17Q | First examination report despatched |
Effective date: 20200127 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20210624 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1452563 Country of ref document: AT Kind code of ref document: T Effective date: 20211215 Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602017050275 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20211201 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1452563 Country of ref document: AT Kind code of ref document: T Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220301 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220301 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220302 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220401 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602017050275 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220401 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
26N | No opposition filed |
Effective date: 20220902 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20220928 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20220930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220928 |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230526 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220930 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220928 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220930 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220930 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220928 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20230802 Year of fee payment: 7 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20170928 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211201 |