WO2013073810A1 - Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same - Google Patents

Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same Download PDF

Info

Publication number
WO2013073810A1
WO2013073810A1 PCT/KR2012/009543 KR2012009543W WO2013073810A1 WO 2013073810 A1 WO2013073810 A1 WO 2013073810A1 KR 2012009543 W KR2012009543 W KR 2012009543W WO 2013073810 A1 WO2013073810 A1 WO 2013073810A1
Authority
WO
WIPO (PCT)
Prior art keywords
bitstream
signal
audio signal
multichannel audio
encoding
Prior art date
Application number
PCT/KR2012/009543
Other languages
French (fr)
Korean (ko)
Inventor
서정일
백승권
강경옥
이태진
이용주
유재현
최근우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120127499A external-priority patent/KR102172279B1/en
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/358,104 priority Critical patent/US20140310010A1/en
Publication of WO2013073810A1 publication Critical patent/WO2013073810A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention relates to an encoding apparatus and a decoding apparatus for supporting a scalable multichannel audio signal, and a method performed by the apparatus, and to compresses the multichannel audio signal in order to provide three-dimensional audio in a realistic broadcasting environment that provides an excellent realism.
  • the present invention relates to an apparatus and a method for restoring the same.
  • Multichannel audio signals such as 5.1 channel signals
  • This encoding / decoding technique is based on a psychological audio model and a perceptual audio coding technique using time / frequency transform.
  • a channel coding technique that uses the correlation between adjacent signals in a multichannel audio signal is additionally used.
  • Spatial audio encoding technology refers to a technique for downmixing a multichannel audio signal into a mono or stereo signal and encoding and representing a spatial parameter necessary for reconstructing the multichannel audio signal with additional information.
  • Spatial audio coding technology is MPEG Surround, which is standardized in MPEG.
  • a loudspeaker of 10 channels or more may be required.
  • a 22.2 channel multichannel audio reproduction system may be an example.
  • the newly proposed multi-channel audio signal encoding and reproducing technique is a two-channel stereo system that is widely used in previous reproduction environments. Or it needs to provide the ability to maintain or convert compatibility with 5.1 channel systems.
  • the present invention proposes a method of compressing and reconstructing a multichannel audio signal for providing 3D audio in a realistic broadcasting environment that provides a realistic feeling, such as 3DTV or Ultra High Definition TeleVision (UHDTV).
  • a realistic feeling such as 3DTV or Ultra High Definition TeleVision (UHDTV).
  • the present invention provides an apparatus and method for performing scalable sound quality encoding and decoding for providing adaptive sound quality according to a transmission environment, performance of a terminal, and taste of a listener.
  • the present invention provides an apparatus and method for performing scalable channel encoding and decoding for providing an adaptive multi-channel sound according to a transmission environment, a reproduction environment of a terminal (speaker arrangement environment), and a taste of a listener.
  • the present invention provides an apparatus and method capable of processing an audio object signal for providing an interactive function to a listener or for providing a three-dimensional effect independent of a specific audio object signal.
  • An encoding apparatus includes a signal generator for generating a compatible multichannel audio signal using an audio object signal and an input multichannel audio signal; A first encoder configured to hierarchically encode the compatible multichannel audio signal to generate a first bitstream; A second encoder which encodes the audio object signal to generate a second bitstream; And a bitstream formatter configured to generate an output bitstream using the first bitstream and the second bitstream.
  • a decoding apparatus is a bitstream demultiplexer for extracting a first bitstream including an encoded multichannel audio signal and a second bitstream including an encoded audio object signal from an output bitstream. ; A first decoder which decodes the first bitstream and outputs a compatible multichannel audio signal; A second decoder which outputs an audio object signal by decoding the second bitstream;
  • the apparatus may include a renderer configured to synthesize the output compatible multichannel audio signal and an audio object signal.
  • An encoding method comprises the steps of: generating a compatible multichannel audio signal using an audio object signal and an input multichannel audio signal; Hierarchically encoding the compatible multichannel audio signals to generate a first bitstream; Encoding the audio object signal to generate a second bitstream; The method may include generating an output bitstream using the first bitstream and the second bitstream.
  • a decoding method includes extracting a first bitstream including a coded compatible multichannel audio signal and a second bitstream including a coded audio object signal from an output bitstream; Decoding the first bitstream to output a compatible multichannel audio signal; Outputting an audio object signal by decoding the second bitstream; And synthesizing the output compatible multichannel audio signal and an audio object signal.
  • An output bitstream includes a first bitstream in which a multichannel audio signal and an audio object signal are encoded; A second bitstream in which the audio object signal is encoded; First additional information for editing an audio object signal in the compatible multichannel audio signal; And additional information including at least one of second additional information related to the compatible multichannel audio signal and third additional information related to the audio object signal.
  • a multi-channel audio signal for providing 3D audio may be compressed and reconstructed in a realistic broadcast environment that provides a realistic feeling, such as 3DTV or Ultra High Definition TeleVision (UHDTV).
  • a realistic broadcast environment such as 3DTV or Ultra High Definition TeleVision (UHDTV).
  • scalable sound quality encoding and decoding may be performed to provide adaptive sound quality according to a transmission environment, performance of a terminal, and taste of a listener.
  • scalable channel encoding and decoding may be performed to provide an adaptive multichannel sound according to a transmission environment, a reproduction environment of a terminal (speaker arrangement environment), and a taste of a listener.
  • an audio object signal may be processed to provide an interactive function to a listener or to provide a three-dimensional effect independent of a specific audio object signal.
  • FIG. 1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing a scalable channel coding method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a scalable channel decoding method according to an embodiment of the present invention.
  • FIG. 6 is a diagram for describing a scalable sound quality coding scheme according to an embodiment of the present invention.
  • FIG. 7 is a diagram for describing a scalable sound quality decoding method according to an embodiment of the present invention.
  • FIG 8 illustrates components of an output bitstream according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a modularized bitstream according to an embodiment of the present invention.
  • FIG. 10 illustrates the basic structure of a modular bitstream according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating the types of processing unit (PU) payloads in a bitstream basic structure according to an embodiment of the present invention.
  • FIG. 12 illustrates a process of restoring an audio signal according to an audio reproduction environment according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an encoding method according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a decoding method according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
  • the encoding apparatus 101 may receive an audio object signal and a multichannel audio signal.
  • the encoding apparatus 101 may generate an output bitstream by encoding the audio object signal and the compatible multichannel audio signal in which the audio object signal and the multichannel audio signal are combined.
  • the encoding apparatus 101 may add additional information for the audio object signal and additional information for the compatible multichannel audio signal to the output bitstream.
  • the encoding apparatus 101 may add additional information for removing or extracting the audio object signal from the compatible multichannel audio signal to the output bitstream.
  • the encoding apparatus 101 may apply scalable channel encoding and scalable sound quality encoding in the encoding process.
  • Scalable channel coding and scalable sound quality coding will be described in detail later.
  • Such an output bitstream may be transmitted to the decoding apparatus 102 in real time, or may be previously transmitted to the decoding apparatus 102 and stored in a storage medium such as a buffer or a memory of the decoding apparatus 102.
  • the output bitstream may be stored and distributed in an optical recording medium such as a CD-ROM, CD-RW, DVD-R, DVD-RW, or the like.
  • the decoding apparatus 101 may extract a multichannel audio signal compatible with the audio object signal from the input output bitstream. In addition, the decoding apparatus 101 may output the extracted compatible multichannel audio signal as it is, or output the rendered output signal in combination with the audio object signal. Here, the rendering process may be performed in consideration of the sound reproduction environment associated with the decoding apparatus.
  • the decoding device 101 refers to a playback terminal that can be connected to a wired or wireless network. In addition, the decoding apparatus 101 may be connected to at least one speaker to reproduce the audio signal in various forms.
  • FIG. 2 is a diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus 101 may include a signal generator 201, a first encoder 202, a second encoder 203, and a bitstream formatter 204.
  • the signal generator 201 may generate a backward compatible multichannel audio signal by mixing the audio object signal and the input multichannel audio signal.
  • the signal generator 201 may predict first additional information necessary for removing or extracting the audio object signal from the compatible multichannel audio signal. If the audio object signal is already included in the multichannel audio signal input to the encoding apparatus 101, the signal generator 201 may output the input multichannel audio signal as a compatible multichannel audio signal. In this case, the signal generator 201 may predict only the first additional information for removing or extracting the audio object signal from the compatible multichannel audio signal.
  • the predicted first additional information may include a spatial parameter and a residual signal per grid of time or frequency.
  • third additional information associated with the audio object signal may be further used to predict the first additional information.
  • the third additional information may include rendering information.
  • the audio object signal is associated with a sound source of the audio signal.
  • the audio object signal may include any one of an audio object signal corresponding to the time domain or an audio object signal converted into the frequency domain in the encoding process of the second encoder 203.
  • the multi-channel audio signal refers to an audio signal composed of a plurality of channels such as 2 channels, 5.1 channels, 7.1 channels, 10.2 channels, and 22.2 channels.
  • the first encoder 202 may hierarchically encode a compatible multichannel audio signal to generate a first bitstream.
  • the first bitstream may be represented as a scalable channel bitstream.
  • the first encoder 202 may predict second additional information for supporting a channel format that is not represented in the hierarchical encoding process of the compatible multichannel audio signal.
  • the second additional information may include a downmix matrix, a downmix parameter, an upmix matrix, and an upmix parameter.
  • the second encoder 203 may generate a second bitstream by encoding the audio object signal.
  • the bitstream formatter 204 may generate an output bitstream by multiplexing the first bitstream of the first encoder 202 and the second bitstream of the second encoder 203.
  • the bitstream formatter 204 may include first additional information for editing the audio object signal in the compatible multichannel audio signal, second additional information related to the compatible multichannel audio signal, and third additional information related to the audio object signal. Can be added to the output bitstream.
  • FIG. 3 is a diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
  • the decoding device 102 may include a bitstream demultiplexer 301, a first decoder 302, a second decoder 303, and a renderer 304.
  • the decoding device 102 uses a legacy multichannel decoding unit (not shown), and generally known multichannels such as stereo and 5.1 channels.
  • the audio signal can be restored.
  • the bitstream demultiplexer 301 may extract a first bitstream including the encoded compatible multichannel audio signal and a second bitstream including the encoded audio object signal from the output bitstream.
  • the bitstream demultiplexer 301 may divide the output bitstream into blocks of a plurality of bitstreams for each decoding block.
  • the block of the divided bitstream may include a scalable channel bitstream, an object bitstream, a scalable sound quality bitstream, additional information for the bitstreams, and header information related to an output bitstream.
  • the header information may include information necessary for initializing the entirety of the decoding apparatus 102 and for initializing each component of the decoding apparatus 102.
  • the first decoder 302 may output a compatible multichannel audio signal by decoding the first bitstream.
  • the first decoder 302 may extract a compatible multichannel audio signal corresponding to a sound reproduction environment of the decoding apparatus by using additional information related to the compatible multichannel audio signal.
  • the additional information related to the compatible multichannel audio signal may mean additional information for the scalable channel.
  • the extracted compatible multichannel audio signal may be output as the first output signal as it is or transmitted to the renderer 304.
  • the sound reproduction environment of the decoding apparatus refers to a reproduction environment of a multichannel audio signal associated with the decoding apparatus 102.
  • the sound reproducing environment is determined according to the number and positions of speakers associated with the decoding apparatus.
  • the second decoder 303 may output the audio object signal by decoding the second bitstream.
  • the renderer 304 may synthesize the compatible multichannel audio signal output from the first decoder 302 and the second audio object signal output from the second decoder 303.
  • the rendering unit 304 may synthesize the compatible multichannel audio signal and the audio object signal in consideration of the sound reproduction environment of the decoding device 102.
  • the rendering unit 304 may remove the audio object signal from the compatible multichannel audio signal by using additional information for removing the audio object signal. . Then, the renderer 304 may render the audio object signal transmitted from the second decoder 303 to the compatible multichannel audio signal and output the second output signal.
  • the rendering unit 304 does not need to perform a process of removing the audio object signal from the compatible multichannel audio signal. Meanwhile, the renderer 304 may render the audio object signal on the compatible multichannel audio signal based on the position where the audio object signal is rendered. Here, the position where the audio object signal is rendered may be included in additional information related to the audio object signal.
  • FIG. 4 is a diagram for describing a scalable channel coding method according to an embodiment of the present invention.
  • the scalable channel coding method may be applied to the first encoder 202 of FIG. 2.
  • the first encoder 202 may generate a first bitstream that is a scalable channel bitstream by hierarchically encoding a compatible multichannel audio signal according to the scalable channel encoding scheme.
  • FIG. 4 illustrates a process of encoding according to a scalable channel encoding method when the multichannel audio signal is a 22.2 channel signal. Specifically, FIG. 4 illustrates a process in which 22.2 channel signals are hierarchically encoded into 5.1 channel signals, 10.2 channel signals, and 22.2 channel signals.
  • FIG. 4 is a block diagram of a scalable channel decoder 204, and illustrates a process of decoding a 5.1-channel, 10.2-channel, and 22.2-channel hierarchical encoding bitstream through the encoding process of FIG.
  • the input 22.2 channel signal is downmixed into a 10.2 channel signal through the first downmixing 401.
  • the 22.2 channel signal is converted into a 12 channel signal through the first channel conversion 402 to which the downmix 10.2 channel signal is input.
  • the downmix 10.2 channel signal is downmixed into the downmix 5.1 channel signal through the second downmixing 403.
  • the downmix 5.1 channel signal output through the second downmixing 403 may be encoded according to the base layer encoding 405.
  • the result encoded according to the base layer encoding 405 means a base layer bitstream.
  • the downmix 10.2 channel signal output according to the first downmixing 401 is a 5.1 channel signal through a second channel conversion 404 to which the downmix 5.1 channel signal output according to the second downmixing 403 is input. Is converted to.
  • the converted 5.1 channel signal may be encoded through the first enhancement layer encoding 406.
  • the result encoded through the first enhancement layer encoding 406 means a first enhancement layer bitstream.
  • the 12-channel signal output according to the first channel transform 402 may be encoded through the second enhancement layer encoding 407.
  • the result encoded through the second enhancement layer encoding 407 means a second enhancement layer bitstream.
  • the base layer bitstream, the first enhancement layer bitstream, and the second enhancement layer bitstream may then be multiplexed via bitstream formatting 408 to produce a first bitstream.
  • Information related to downmix and channel conversion generated in the scalable channel encoding process is provided as scalable channel side information for the decoding process of the decoding apparatus 102.
  • the scalable channel coding method refers to a method of encoding a multichannel audio signal of a base layer and a multichannel audio signal of an enhancement layer derived through at least one downmixing and channel conversion.
  • the number of downmixes and channel conversions shown in FIG. 4 may vary depending on the input multichannel audio signal.
  • FIG. 5 is a diagram for describing a scalable channel decoding method according to an embodiment of the present invention.
  • the first bitstream may be demultiplexed into a base layer bitstream, a first enhancement layer bitstream, and a second enhancement layer bitstream through bitstream demultiplexing 501.
  • the base layer stream may be decoded through base layer decoding 502 to output a compatible 5.1 channel signal. Then, the compatible 5.1 channel signal may be output as the 5.1 channel output sound through the first signal conversion 507. In this case, when the compatible 5.1 channel signal is a signal in the frequency domain, the compatible 5.1 channel signal may be converted from the frequency domain to the time domain through the first signal conversion 507.
  • the first enhancement layer bitstream may be output as a 5.1 channel signal through the first enhancement layer decoding 503. Then, the compatible 5.1 channel signal output through the base layer decoding 502 and the 5.1 channel signal output through the first enhancement layer decoding 503 may be synthesized into 10.2 channel signals according to the first channel synthesis 505. . In this case, the first channel synthesis 505 may be processed according to the additional information included in the scalable channel additional information. The synthesized 10.2 channel signal may be output as a 10.2 channel output sound through the second signal conversion 508.
  • the second enhancement layer bitstream may be output as a 12 channel signal through the second enhancement layer decoding 504. Then, the 10.2 channel signal output through the first channel synthesis 505 and the 12 channel signal output through the second enhancement layer decoding 504 may be synthesized into 22.2 channel signals according to the second channel synthesis 506. . In this case, the second channel synthesis 506 may be processed according to the additional information included in the scalable channel additional information. The synthesized 22.2 channel signal may be output as a 22.2 channel output sound through the third signal conversion 509.
  • All processes of FIG. 5 may be performed by the first decoder 502 of the decoder 102.
  • all operations in FIG. 5 are controlled based on the reproduction environment information transmitted from the encoding apparatus 101 or provided by the decoding apparatus 102 itself.
  • the channel configuration for example, 7.1 channel
  • the first channel synthesis 505 and the second channel synthesis ( 506 may include a downmix or upmix process according to another channel configuration. Information necessary for performing the downmix or upmix may be transmitted as additional information in the encoding apparatus 101 or may be used in prediction in the decoding apparatus 102.
  • the scalable channel decoding method refers to a decoding method of decoding a multichannel audio signal of a base layer and a multichannel audio signal of an enhancement layer through at least one upmixing and channel synthesis.
  • FIG. 6 is a diagram for describing a scalable sound quality coding scheme according to an embodiment of the present invention.
  • the scalable sound quality coding method of FIG. 6 may be applied to the first encoder 202 and the second encoder 203 of the encoder 101.
  • an input signal may mean an audio object signal or a compatible multichannel audio signal.
  • the input signal may be processed according to base layer coding 601 and base layer decoding 602.
  • the base layer bitstream may be generated through the base layer encoding 601.
  • a first residual signal which is a difference between the input signal and the synthesized signal output through the base layer decoding 602, is generated.
  • the first residual signal may be processed according to the first enhancement layer encoding 603 and the first enhancement layer decoding 604.
  • the first enhancement layer bitstream may be generated through the first enhancement layer encoding 603.
  • a second residual signal which is a difference between the first residual signal and the synthesized signal output through the first enhancement layer decoding 604, is generated.
  • the second residual signal may be processed according to the second enhancement layer encoding 605 and the second enhancement layer decoding 606.
  • the second enhancement layer bitstream may be generated through the second enhancement layer encoding 605.
  • a third residual signal which is a difference between the second residual signal and the synthesized signal output through the second enhancement layer decoding 606, is generated.
  • the above process is repeated until the output signal of the preset sound quality is derived.
  • the 2 enhancement layer bitstream may be multiplexed through the bitstream formatting 607 and output as the first bitstream or the second bitstream.
  • FIG. 6 may proceed to provide a scalability function for sound quality.
  • the scalable sound quality coding method of FIG. 6 may mean repeatedly performing base layer coding and at least one enhancement layer coding on an input compatible multichannel audio signal or an audio object signal.
  • FIG. 7 is a diagram for describing a scalable sound quality decoding method according to an embodiment of the present invention.
  • an input bitstream means a result of encoding an audio object signal or a compatible multichannel audio signal according to scalable sound quality coding.
  • the input bitstream may be divided into bitstreams for each layer through bitstream demultiplexing 701.
  • the input bitstream may be divided into one base layer bitstream and a plurality of enhancement layer bitstreams through the bitstream demultiplexing 701.
  • the base layer bitstream is output as a base layer output signal through base layer decoding 702.
  • the first enhancement layer bitstream corresponding to the first enhancement layer is decoded through the first enhancement layer decoding 703.
  • the output signal decoded through the first enhancement layer decoding 703 is summed with the base layer output signal and output as the first enhancement layer output signal.
  • the second enhancement layer bitstream corresponding to the second enhancement layer is decoded through the second enhancement layer decoding 704.
  • the output signal decoded through the second enhancement layer decoding 704 is summed with the first enhancement layer output signal and output as a second enhancement layer output signal.
  • the process of FIG. 7 is repeatedly performed according to the input bitstream.
  • FIG 8 illustrates components of an output bitstream according to an embodiment of the present invention.
  • bitstreams that are the results of the encoding through the first encoder 202 and the second encoder 203 of the encoding apparatus 101 are multiplexed through the bitstream formatter 204 to output bits.
  • the stream is created. 8 shows an output bitstream that is a result of multiplexing the bitstream while maintaining compatibility with a decoding apparatus that supports a conventional stereo audio signal or a 5.1 channel audio signal.
  • the output bitstream includes a compatible bitstream structure (legacy 2 / 5.1) associated with a stereo channel (2 channel) or 5.1 channel signal that is an MPEG-2 Audio Backward compatibility bitstream structure to maintain compatibility.
  • the compatible bitstream structure may include a scalable channel signal, a scalable quality signal, an audio object signal, and additional information associated with a stereo channel (2 channel) or 5.1 channel signal.
  • the output bitstream may include a scalable channel signal, a scalable sound quality signal, an audio object signal, and additional information in an additional data area such as an ancillary data area of the MPEG-2 Audio Backward compatibility bitstream structure.
  • a container of a scalable channel signal is composed of a bitstream for each layer and additional information, etc., in which a channel is increased or improved.
  • the container of the scalable sound quality signal includes a bitstream for each layer, additional information, and the like, for improving sound quality.
  • the container of the audio object signal is composed of an audio object signal, additional information related to the audio object signal, extraction information of the audio object signal, and the like.
  • the container of additional information may be configured with additional information inserted into each container of the scalable channel signal, the scalable sound quality signal, and the audio object signal.
  • the container of the additional information is composed of header information, metadata, and the like necessary for initializing each component of the decoding apparatus and the decoding apparatus.
  • FIG. 9 is a diagram illustrating a modularized bitstream according to an embodiment of the present invention.
  • FIG. 9 illustrates a case in which a coded output bitstream, such as a network abstraction layer (NAL) unit used in H.264 / AVC, can be cooked according to a transmission environment.
  • NAL network abstraction layer
  • FIG. 9 illustrates a result of modularizing bitstreams output from each component constituting the encoding device so that the decoding device can easily select and process necessary information from the output bitstream.
  • FIG. 9 illustrates an output bitstream composed of a core layer (basic multichannel signal), two channel enhancement layers, one sound quality enhancement layer, and two object signal layers using the processing unit PU illustrated in FIG. 10. , The configuration of the processing units included in the frame and the order in which they are transmitted. dependency_id (dependency ID) indicates that information of the previous layer is needed to decrypt the processing unit.
  • the block number indicates a pu_type of FIG. 11.
  • a sequence header including information necessary for initializing a decoding apparatus is delivered, and then a frame header and frame metadata are disposed.
  • the bitstreams output from the respective coding blocks are divided into core block data and channel / sound / object enhancement layer data.
  • information necessary for each coding block (first encoder and second encoder) or bitstream is also disposed.
  • the decoding apparatus may generate the audio signal to be output after selecting the processing unit thus delivered according to the sound reproduction environment of the decoding apparatus or the user's preference.
  • FIG. 10 illustrates the basic structure of a modular bitstream according to an embodiment of the present invention.
  • FIG. 10 illustrates a basic structure of a result of modularizing the bitstream illustrated in FIG. 8, and may be a basic unit configuring an output bitstream.
  • This basic unit is defined as a processing unit (PU), and a header of a processing unit is allocated with information such as random_access (1 bit), dependency_id (3 bits), and su_type (4 bits).
  • random_access is a flag indicating whether decryption is possible in the processing unit without information of the previous layer
  • dependency_id (dependency ID) indicates that information of the previous layer is needed to decrypt the processing unit. For example, if dependency_id is 1, this means that one previous layer (that is, the base layer) is required.
  • pu_type indicates the type of bitstream input to the payload of the processing unit. The pu_type will be described in detail with reference to FIG. 11.
  • FIG. 11 is a diagram illustrating a type of payload of a processing unit (PU) in a bitstream basic structure according to an embodiment of the present invention.
  • pu_type indicates the type of bitstream input to the payload of the processing unit.
  • a sequence header indicates a header of an output bitstream input to the encoding apparatus.
  • the frame header indicates a header for each frame.
  • the payload of the processing unit is an access unit (AU) which is an encoded bitstream extracted from the components of the encoding apparatus.
  • FIG. 12 illustrates a process of restoring an audio signal according to an audio reproduction environment according to an embodiment of the present invention.
  • a 7.1-channel audio signal may be distributed and encoded into three components, 2 channel stereo, 3.1 channel extension A, and 2 channel extension B.
  • the distributed encoding result may be multiplexed and transmitted in one entire bitstream.
  • the terminal capable of reproducing the stereo signal can extract and reproduce only the bitstream related to the two-channel stereo from the entire bitstream.
  • a terminal capable of reproducing a 5.1-channel signal reproduces a 5.1-channel signal using a 2-channel stereo bitstream and a 3.1-channel extended A bitstream.
  • the terminal capable of reproducing the 7.1-channel signal can reproduce the 7.1-channel signal using all the bitstreams included in the entire bitstream.
  • the audio signal is adapted to the reproduction environment of the terminal by utilizing the required bitstream in the entire bitstream without performing an additional conversion process. Can be restored
  • FIG. 13 is a diagram illustrating an encoding method according to an embodiment of the present invention.
  • the encoding apparatus 101 may synthesize the input audio object signal and the multichannel audio signal to generate a compatible multichannel audio signal.
  • the encoding apparatus 101 may generate a bitstream related to the audio object signal by encoding the input audio object signal.
  • the encoding apparatus 101 may hierarchically encode the audio object signal according to the scalable sound quality encoding scheme.
  • the encoding apparatus 101 may encode a compatible multichannel audio signal to generate a bitstream associated with the compatible multichannel audio signal.
  • the encoding apparatus 101 may hierarchically encode a compatible multichannel audio signal according to the scalable sound quality encoding method or the scalable channel encoding method.
  • the encoding apparatus 101 may finally generate an output bitstream by multiplexing the generated bitstreams. Meanwhile, the encoding apparatus 101 may also include additional information related to the audio object signal and the compatible multichannel audio signal in the output bitstream.
  • FIG. 14 is a diagram illustrating a decoding method according to an embodiment of the present invention.
  • the decoding apparatus 102 may demultiplex an output bitstream transmitted from the encoding apparatus 101. Then, the first bitstream encoded with the compatible multichannel audio signal and the second bitstream encoded with the audio object signal may be distinguished from the output bitstream.
  • the decoding device 102 may output a compatible multichannel audio signal by decoding the first bitstream.
  • the decoding apparatus 102 may extract a compatible multichannel audio signal from the first bitstream according to the scalable sound quality decoding method or the scalable channel decoding method.
  • the output compatible multichannel audio signal may be externally output as it is.
  • the decoding apparatus 102 may output an audio object signal by decoding the second bitstream.
  • the decoding apparatus 102 may output an audio object signal from the second bitstream according to the scalable sound quality decoding scheme.
  • the decoding apparatus 102 may derive the rendered result by combining the compatible multichannel audio signal and the audio object signal.
  • the decoding apparatus 102 may combine the audio object signals in consideration of the position or arrangement of the loudspeakers, which are sound reproduction environments.
  • the decoding apparatus 102 may derive the multi-channel audio signal to be finally output through repeated channel conversion and synthesis from the compatible multi-channel audio signal in consideration of the position or arrangement of the loudspeaker which is the sound reproduction environment.
  • Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Abstract

Disclosed are an apparatus for encoding and an apparatus for decoding supporting scalable multichannel audio signals, and a method for the apparatuses performing same. When compressing/recovering the multichannel audio signals to compress and recreate high-quality 3D sounds, the apparatuses and the method can provide the following functions in an integrated structure: (1) a sound quality scalability function for providing audio having a variety of sound qualities that are adaptive to a transmission environment, performance of a terminal, and a listening environment; (2) a channel scalability function for providing multichannel signals having a variety of formats which are adaptive to the transmission environment, the performance of the terminal, and a playing environment (speaker arrangement environment) of the terminal; and (3) an object scalability function for individually controlling specific audio objects so as to maximize a 3D sound stage effect.

Description

스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 An encoding device and a decoding device supporting scalable multichannel audio signals, and a method performed by the device
본 발명은 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법에 관한 것으로, 우수한 현장감을 제공하는 실감 방송 환경에서 3차원 오디오를 제공하기 위해 다채널 오디오 신호를 압축하고, 복원하는 장치 및 방법에 관한 것이다.The present invention relates to an encoding apparatus and a decoding apparatus for supporting a scalable multichannel audio signal, and a method performed by the apparatus, and to compresses the multichannel audio signal in order to provide three-dimensional audio in a realistic broadcasting environment that provides an excellent realism. The present invention relates to an apparatus and a method for restoring the same.
5.1 채널 신호와 같은 멀티채널 오디오 신호는 방송망 등을 통해 효율적으로 전송하거나 DVD 또는 블루레이와 같은 광 기록 매체에 저장하기 위하여 압축과 복원(부호화와 복호화)될 수 있다. 이와 같은 부호화/복호화 기술은 심리 오디오모델과 시간/주파수 변환을 이용하는 지각오디오 부호화(Perceptual Audio Coding)기술에 기초한다. 또한, 멀티채널 오디오 신호에서 인접한 신호 사이의 유사도(correlation)를 이용하는 채널 부호화 기술도 부가적으로 이용된다,Multichannel audio signals, such as 5.1 channel signals, can be compressed and decompressed (encoded and decoded) for efficient transmission over a broadcast network or the like, or for storage on optical recording media such as DVD or Blu-ray. This encoding / decoding technique is based on a psychological audio model and a perceptual audio coding technique using time / frequency transform. In addition, a channel coding technique that uses the correlation between adjacent signals in a multichannel audio signal is additionally used.
최근에는 멀티채널 오디오 서비스를 이동방송이나 IPTV 등과 같이 대역폭이 제한된 환경에서 제공하기 위하여 멀티채널 오디오 신호가 가지는 공간정보(spatial cue)를 파라미터로 표현하여 압축하는 공간 오디오 부호화(spatial audio coding) 기술이 개발되고 있다. 공간 오디오 부호화 기술은 멀티채널 오디오 신호를 모노 또는 스테레오 신호로 다운믹스하고, 멀티채널 오디오 신호를 복원하기 위해 필요한 공간 파라미터(spatial parameter)를 부가정보로 부호화하여 표현하는 기술을 의미한다. 공간 오디오 부호화 기술은 MPEG에서 표준화된 MPEG Surround가 가장 대표적인 기술이다.Recently, in order to provide a multi-channel audio service in a bandwidth-constrained environment such as mobile broadcasting or IPTV, a spatial audio coding technique that expresses and compresses spatial cues of a multi-channel audio signal as a parameter Is being developed. Spatial audio encoding technology refers to a technique for downmixing a multichannel audio signal into a mono or stereo signal and encoding and representing a spatial parameter necessary for reconstructing the multichannel audio signal with additional information. Spatial audio coding technology is MPEG Surround, which is standardized in MPEG.
한편, 3DTV 및 UHDTV와 같은 실감방송 환경에서 재현하고자 하는 현장감을 나타내는 실감오디오를 재대로 표현하기 위해서는 10채널 이상의 라우드스피커가 필요할 수 있다. 일례로, 실감오디오를 표현하는 일례로, 22.2채널 멀티채널 오디오 재생시스템이 그 예가 될 수 있다.On the other hand, in order to express realistic audio that represents realism to be reproduced in realistic broadcasting environments such as 3DTV and UHDTV, a loudspeaker of 10 channels or more may be required. For example, as an example of representing realistic audio, a 22.2 channel multichannel audio reproduction system may be an example.
그러나, 일반적인 가정이나 극장에서 배치할 라우드스피커를 몇 개를 배치해야 하며 또한 어떠한 방식으로 배치하여야 하는 지에 대해 연구가 진행되고 있다. 현재까지는 HDTV와 DVD에 적용된 5.1채널 오디오 신호가 널리 이용되고 있다. 또한, DVD를 대체하고자 제안된 DVD-HD, 블루레이는 최대 7.1채널 오디오 신호까지 지원이 가능하며, 특정 기업에서는 10.2채널 신호까지 지원하는 시스템을 제안하고 있다. 또한, 극장과 같은 대규모 오디오 재생 환경 공간에서, 뛰어난 음장감을 제공하고자 개발된 WFS(Wave Field Synthesis) 시스템에서는 100채널 이상의 라우드스피커를 이용할 수 있다.However, research is being conducted on how many loudspeakers should be arranged and how to arrange them in a typical home or theater. To date, 5.1-channel audio signals used in HDTV and DVD are widely used. In addition, DVD-HD and Blu-ray, which are proposed to replace DVD, can support up to 7.1-channel audio signals, and certain companies are proposing systems supporting up to 10.2-channel signals. In large audio playback environments such as theaters, more than 100 channels of loudspeakers can be used in the WFS (Wave Field Synthesis) system, which was developed to provide a superior sound field.
실제 가정에서의 오디오 재생환경을 고려하며 대부분의 TV와 라디오 시스템은 2채널 라우드스피커를 이용하고 있다. 최근에, HDTV와 DVD의 보급의 활성화로 인해 5.1채널 오디오 신호를 지원하는 재생 환경을 구비한 가정이 점진적으로 증가하고 있는 추세이다. 하지만, 단기간에 10채널 이상의 라우드스피커 배치를 적용하는 재생 환경이 보급화될 가능성은 매우 낮으므로, 신규로 제안되는 멀티채널 오디오 신호의 부호화 및 재생 기술은 이전의 재생 환경에 보급되어 있는 2채널 스테레오 시스템 또는 5.1채널 시스템과 호환성을 유지하거나 변환하는 기능을 제공할 필요가 있다. Considering the audio playback environment at home, most TV and radio systems use two-channel loudspeakers. Recently, homes with a playback environment supporting 5.1-channel audio signals have been gradually increasing due to the proliferation of HDTV and DVD. However, the possibility of widespread adoption of a loudspeaker arrangement of more than 10 channels in a short period of time is very unlikely. Therefore, the newly proposed multi-channel audio signal encoding and reproducing technique is a two-channel stereo system that is widely used in previous reproduction environments. Or it needs to provide the ability to maintain or convert compatibility with 5.1 channel systems.
뿐만 아니라, 3DTV, UHDTV, 3D Cinema, Digital Cinema와 같은 대화면 실감영상기반 동영상 서비스에서 오디오를 통한 임장감을 극대화하기 위해서 라우드스피커 채널 수를 점진적으로 증가시키는 포맷(10.2채널, 22.2채널, 100채널 이상의 WFS 등)이 요구된다. 이러한 요구로 인해서, 오디오 콘텐츠를 효율적으로 압축하고, 전송하는 방법이 오디오 부호화 과정에서부터 필요하다.In addition, in large screen realistic video services such as 3DTV, UHDTV, 3D Cinema, and Digital Cinema, a format that gradually increases the number of loudspeaker channels in order to maximize the sense of presence through audio (10.2, 22.2, 100 WFS or more) Etc.) is required. Due to this demand, a method for efficiently compressing and transmitting audio content is needed from the audio encoding process.
본 발명은 3DTV나 UHDTV(Ultra High Definition TeleVision)와 같이 현장감을 제공하는 실감방송 환경에서 3차원 오디오를 제공하기 위한 멀티채널 오디오 신호를 압축하고 복원하는 방법을 제안한다.The present invention proposes a method of compressing and reconstructing a multichannel audio signal for providing 3D audio in a realistic broadcasting environment that provides a realistic feeling, such as 3DTV or Ultra High Definition TeleVision (UHDTV).
본 발명은 전송환경, 단말의 성능, 청취자의 취향에 따라 적응적인 음질을 제공하는 스케일러블 음질 부호화 및 복호화를 수행하는 장치 및 방법을 제공한다.The present invention provides an apparatus and method for performing scalable sound quality encoding and decoding for providing adaptive sound quality according to a transmission environment, performance of a terminal, and taste of a listener.
본 발명은 전송환경, 단말의 재생환경(스피커 배치환경), 청취자의 취향에 따라 적응적인 멀티채널 음향을 제공하는 스케일러블 채널 부호화 및 복호화를 수행하는 장치 및 방법을 제공한다.The present invention provides an apparatus and method for performing scalable channel encoding and decoding for providing an adaptive multi-channel sound according to a transmission environment, a reproduction environment of a terminal (speaker arrangement environment), and a taste of a listener.
본 발명은 청취자에게 대화형 기능을 제공하거나 특정 오디오 객체신호에 독립적인 3차원 효과를 제공하기 위한 오디오 객체신호를 처리할 수 있는 장치 및 방법을 제공한다.The present invention provides an apparatus and method capable of processing an audio object signal for providing an interactive function to a listener or for providing a three-dimensional effect independent of a specific audio object signal.
본 발명의 일실시예에 따른 부호화 장치는 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 신호 생성부; 상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 제1 부호화부; 상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 제2 부호화부; 및 상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 비트스트림 포맷터를 포함할 수 있다.An encoding apparatus according to an embodiment of the present invention includes a signal generator for generating a compatible multichannel audio signal using an audio object signal and an input multichannel audio signal; A first encoder configured to hierarchically encode the compatible multichannel audio signal to generate a first bitstream; A second encoder which encodes the audio object signal to generate a second bitstream; And a bitstream formatter configured to generate an output bitstream using the first bitstream and the second bitstream.
본 발명의 일실시예에 따른 복호화 장치는 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 비트스트림 역다중화부; 상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 제1 복호화부; 상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 제2 복호화부; 상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 렌더링부를 포함할 수 있다.A decoding apparatus according to an embodiment of the present invention is a bitstream demultiplexer for extracting a first bitstream including an encoded multichannel audio signal and a second bitstream including an encoded audio object signal from an output bitstream. ; A first decoder which decodes the first bitstream and outputs a compatible multichannel audio signal; A second decoder which outputs an audio object signal by decoding the second bitstream; The apparatus may include a renderer configured to synthesize the output compatible multichannel audio signal and an audio object signal.
본 발명의 일실시예에 따른 부호화 방법은 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 단계; 상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 단계; 상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 단계; 상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 단계를 포함할 수 있다.An encoding method according to an embodiment of the present invention comprises the steps of: generating a compatible multichannel audio signal using an audio object signal and an input multichannel audio signal; Hierarchically encoding the compatible multichannel audio signals to generate a first bitstream; Encoding the audio object signal to generate a second bitstream; The method may include generating an output bitstream using the first bitstream and the second bitstream.
본 발명의 일실시예에 따른 복호화 방법은 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 단계; 상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 단계; 상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 단계; 및 상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 단계를 포함할 수 있다.A decoding method according to an embodiment of the present invention includes extracting a first bitstream including a coded compatible multichannel audio signal and a second bitstream including a coded audio object signal from an output bitstream; Decoding the first bitstream to output a compatible multichannel audio signal; Outputting an audio object signal by decoding the second bitstream; And synthesizing the output compatible multichannel audio signal and an audio object signal.
본 발명의 일실시예에 따른 출력 비트스트림은 멀티채널 오디오 신호와 오디오 객체 신호가 부호화된 제1 비트스트림; 상기 오디오 객체 신호가 부호화된 제2 비트스트림; 및 상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보 중 적어도 하나를 포함하는 부가 정보를 포함할 수 있다.An output bitstream according to an embodiment of the present invention includes a first bitstream in which a multichannel audio signal and an audio object signal are encoded; A second bitstream in which the audio object signal is encoded; First additional information for editing an audio object signal in the compatible multichannel audio signal; And additional information including at least one of second additional information related to the compatible multichannel audio signal and third additional information related to the audio object signal.
본 발명의 일실시예에 따르면, 3DTV나 UHDTV(Ultra High Definition TeleVision)와 같이 현장감을 제공하는 실감방송 환경에서 3차원 오디오를 제공하기 위한 멀티채널 오디오 신호를 압축하고 복원할 수 있다.According to an embodiment of the present invention, a multi-channel audio signal for providing 3D audio may be compressed and reconstructed in a realistic broadcast environment that provides a realistic feeling, such as 3DTV or Ultra High Definition TeleVision (UHDTV).
본 발명의 일실시예에 따르면, 전송환경, 단말의 성능, 청취자의 취향에 따라 적응적인 음질을 제공하는 스케일러블 음질 부호화 및 복호화를 수행할 수 있다.According to an embodiment of the present invention, scalable sound quality encoding and decoding may be performed to provide adaptive sound quality according to a transmission environment, performance of a terminal, and taste of a listener.
본 발명의 일실시예에 따르면, 전송환경, 단말의 재생환경(스피커 배치환경), 청취자의 취향에 따라 적응적인 멀티채널 음향을 제공하는 스케일러블 채널 부호화 및 복호화를 수행할 수 있다.According to an embodiment of the present invention, scalable channel encoding and decoding may be performed to provide an adaptive multichannel sound according to a transmission environment, a reproduction environment of a terminal (speaker arrangement environment), and a taste of a listener.
본 발명의 일실시예에 따르면, 청취자에게 대화형 기능을 제공하거나 특정 오디오 객체신호에 독립적인 3차원 효과를 제공하기 위한 오디오 객체신호를 처리할 수 있다.According to an embodiment of the present invention, an audio object signal may be processed to provide an interactive function to a listener or to provide a three-dimensional effect independent of a specific audio object signal.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.3 is a diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 스케일러블 채널 부호화 방식을 설명하기 위한 도면이다.4 is a diagram for describing a scalable channel coding method according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 스케일러블 채널 복호화 방식을 설명하기 위한 도면이다.5 is a diagram for describing a scalable channel decoding method according to an embodiment of the present invention.
도 6은 본 발명의 일실시예에 따른 스케일러블 음질 부호화 방식을 설명하기 위한 도면이다.6 is a diagram for describing a scalable sound quality coding scheme according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 스케일러블 음질 복호화 방식을 설명하기 위한 도면이다.7 is a diagram for describing a scalable sound quality decoding method according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 출력 비트스트림의 구성 요소를 도시한 도면이다.8 illustrates components of an output bitstream according to an embodiment of the present invention.
도 9는 본 발명의 일실시예에 따른 비트스트림을 모듈화하여 도시한 도면이다.9 is a diagram illustrating a modularized bitstream according to an embodiment of the present invention.
도 10은 본 발명의 일실시예에 따른 모듈화된 비트스트림의 기본 구조를 나타내는 도면이다.10 illustrates the basic structure of a modular bitstream according to an embodiment of the present invention.
도 11은 본 발명의 일실시예에 따른 비트스트림 기본 구조에서 처리 유닛(PU) 패이로드의 종류를 도시한 도면이다.FIG. 11 is a diagram illustrating the types of processing unit (PU) payloads in a bitstream basic structure according to an embodiment of the present invention.
도 12는 본 발명의 일실시예에 따른 오디오 재생 환경에 따라 오디오 신호를 복원하는 과정을 도시한 도면이다.12 illustrates a process of restoring an audio signal according to an audio reproduction environment according to an embodiment of the present invention.
도 13은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.13 is a diagram illustrating an encoding method according to an embodiment of the present invention.
도 14는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.14 is a diagram illustrating a decoding method according to an embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.1 is a diagram illustrating an encoding device and a decoding device according to an embodiment of the present invention.
도 1을 참고하면, 부호화 장치(101)는 오디오 객체 신호와 멀티채널 오디오 신호를 입력받을 수 있다. 그리고, 부호화 장치(101)는 오디오 객체 신호 및 오디오 객체 신호와 멀티채널 오디오 신호가 조합된 호환 멀티채널 오디오 신호를 각각 부호화하여 출력 비트스트림을 생성할 수 있다. 이 때, 부호화 장치(101)는 오디오 객체 신호를 위한 부가 정보, 호환 멀티채널 오디오 신호를 위한 부가 정보를 출력 비트스트림에 추가할 수 있다. 또한, 부호화 장치(101)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하거나 추출하기 위한 부가 정보를 출력 비트스트림에 추가할 수 있다.Referring to FIG. 1, the encoding apparatus 101 may receive an audio object signal and a multichannel audio signal. The encoding apparatus 101 may generate an output bitstream by encoding the audio object signal and the compatible multichannel audio signal in which the audio object signal and the multichannel audio signal are combined. In this case, the encoding apparatus 101 may add additional information for the audio object signal and additional information for the compatible multichannel audio signal to the output bitstream. In addition, the encoding apparatus 101 may add additional information for removing or extracting the audio object signal from the compatible multichannel audio signal to the output bitstream.
이 때, 부호화 장치(101)는 부호화 과정에 스케일러블 채널 부호화와 스케일러블 음질 부호화를 적용할 수 있다. 스케일러블 채널 부호화와 스케일러블 음질 부호화에 대해서는 이후에 구체적으로 설명하기로 한다.In this case, the encoding apparatus 101 may apply scalable channel encoding and scalable sound quality encoding in the encoding process. Scalable channel coding and scalable sound quality coding will be described in detail later.
이와 같은 출력 비트스트림은 실시간으로 복호화 장치(102)에 전송되거나, 또는 복호화 장치(102)에 미리 전송되어 복호화 장치(102)의 버퍼, 메모리와 같은 저장 매체에 저장될 수 있다. 또는 출력 비트스트림은 CD-ROM, CD-RW, DVD-R, DVD-RW 등과 같은 광 기록 매체에 저장되어 배포될 수 있다.Such an output bitstream may be transmitted to the decoding apparatus 102 in real time, or may be previously transmitted to the decoding apparatus 102 and stored in a storage medium such as a buffer or a memory of the decoding apparatus 102. Alternatively, the output bitstream may be stored and distributed in an optical recording medium such as a CD-ROM, CD-RW, DVD-R, DVD-RW, or the like.
복호화 장치(101)는 입력된 출력 비트스트림으로부터 오디오 객체 신호와 호환 멀티채널 오디오 신호를 추출할 수 있다. 그리고, 복호화 장치(101)는 추출된 호환 멀티채널 오디오 신호를 그대로 출력하거나 또는 오디오 객체 신호와 조합하여 렌더링된 출력 신호를 출력할 수 있다. 여기서, 렌더링 과정은 복호화 장치와 관련된 음향 재생 환경을 고려하여 진행될 수 있다. 복호화 장치(101)는 유선 또는 무선 네트워크와 연결될 수 있는 재생 단말을 의미한다. 또한, 복호화 장치(101)는 적어도 하나의 스피커와 연결되어 다양한 형태로 오디오 신호를 재생할 수 있다.The decoding apparatus 101 may extract a multichannel audio signal compatible with the audio object signal from the input output bitstream. In addition, the decoding apparatus 101 may output the extracted compatible multichannel audio signal as it is, or output the rendered output signal in combination with the audio object signal. Here, the rendering process may be performed in consideration of the sound reproduction environment associated with the decoding apparatus. The decoding device 101 refers to a playback terminal that can be connected to a wired or wireless network. In addition, the decoding apparatus 101 may be connected to at least one speaker to reproduce the audio signal in various forms.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment of the present invention.
도 2를 참고하면, 부호화 장치(101)는 신호 생성부(201), 제1 부호화부(202), 제2 부호화부(203) 및 비트스트림 포맷터(204)를 포함할 수 있다.Referring to FIG. 2, the encoding apparatus 101 may include a signal generator 201, a first encoder 202, a second encoder 203, and a bitstream formatter 204.
신호 생성부(201)는 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 믹싱하여 호환 멀티채널 오디오 신호(backward compatible multichannel audio signal) 를 생성할 수 있다. 그리고, 신호 생성부(201)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하거나 또는 추출할 때 필요한 제1 부가 정보를 예측할 수 있다. 만약 오디오 객체 신호가 부호화 장치(101)에 입력되는 멀티채널 오디오 신호에 이미 포함되어 있는 경우, 신호 생성부(201)는 입력된 멀티채널 오디오 신호를 호환 멀티채널 오디오 신호로서 출력할 수 있다. 이 경우, 신호 생성부(201)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보만 예측할 수 있다.The signal generator 201 may generate a backward compatible multichannel audio signal by mixing the audio object signal and the input multichannel audio signal. The signal generator 201 may predict first additional information necessary for removing or extracting the audio object signal from the compatible multichannel audio signal. If the audio object signal is already included in the multichannel audio signal input to the encoding apparatus 101, the signal generator 201 may output the input multichannel audio signal as a compatible multichannel audio signal. In this case, the signal generator 201 may predict only the first additional information for removing or extracting the audio object signal from the compatible multichannel audio signal.
여기서, 예측된 제1 부가 정보는 시간 또는 주파수의 격자당 공간 파라미터, 잔차 신호를 포함할 수 있다. 또한, 제1 부가 정보를 예측하기 위해, 오디오 객체 신호와 관련된 제3 부가 정보가 추가로 이용될 수 있다. 여기서, 제3 부가정보는 렌더링 정보를 포함할 수 있다.Here, the predicted first additional information may include a spatial parameter and a residual signal per grid of time or frequency. In addition, third additional information associated with the audio object signal may be further used to predict the first additional information. Here, the third additional information may include rendering information.
여기서, 오디오 객체 신호는 오디오 신호의 음원(sound source)과 관련된다. 이 때, 오디오 객체 신호는 시간 도메인에 대응하는 오디오 객체 신호 또는 제2 부호화부(203)의 부호화 과정에서 주파수 도메인으로 변환된 오디오 객체 신호 중 어느 하나를 포함할 수 있다. 그리고, 멀티채널 오디오 신호는 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 등 복수의 채널로 구성된 오디오 신호를 의미한다. Here, the audio object signal is associated with a sound source of the audio signal. In this case, the audio object signal may include any one of an audio object signal corresponding to the time domain or an audio object signal converted into the frequency domain in the encoding process of the second encoder 203. The multi-channel audio signal refers to an audio signal composed of a plurality of channels such as 2 channels, 5.1 channels, 7.1 channels, 10.2 channels, and 22.2 channels.
제1 부호화부(202)는 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성할 수 있다. 여기서, 제1 비트스트림은 스케일러블 채널 비트스트림(scalable channel bitstream)으로 표현될 수 있다. 그리고, 제1 부호화부(202)는 호환 멀티채널 오디오 신호의 계층적 부호화 과정에서 표현되지 않은 채널 포맷을 지원하기 위한 제2 부가 정보를 예측할 수 있다. 여기서, 제2 부가 정보는 다운믹스 매트릭스, 다운믹스 파라미터, 업믹싱 매트릭스, 업믹스 파라미터를 포함할 수 있다.The first encoder 202 may hierarchically encode a compatible multichannel audio signal to generate a first bitstream. Here, the first bitstream may be represented as a scalable channel bitstream. The first encoder 202 may predict second additional information for supporting a channel format that is not represented in the hierarchical encoding process of the compatible multichannel audio signal. Here, the second additional information may include a downmix matrix, a downmix parameter, an upmix matrix, and an upmix parameter.
제2 부호화부(203)는 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성할 수 있다. The second encoder 203 may generate a second bitstream by encoding the audio object signal.
비트스트림 포맷터(204)는 제1 부호화부(202)의 제1 비트스트림과 제2 부호화부(203)의 제2 비트스트림을 다중화하여 출력 비트스트림을 생성할 수 있다. 또한, 비트스트림 포맷터(204)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보, 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 오디오 객체 신호와 관련된 제3 부가 정보를 출력 비트스트림에 추가할 수 있다.The bitstream formatter 204 may generate an output bitstream by multiplexing the first bitstream of the first encoder 202 and the second bitstream of the second encoder 203. In addition, the bitstream formatter 204 may include first additional information for editing the audio object signal in the compatible multichannel audio signal, second additional information related to the compatible multichannel audio signal, and third additional information related to the audio object signal. Can be added to the output bitstream.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.3 is a diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment of the present invention.
도 3을 참고하면, 복호화 장치(102)는 비트스트림 역다중화부(301), 제1 복호화부(302), 제2 복호화부(303) 및 렌더링부(304)를 포함할 수 있다.Referring to FIG. 3, the decoding device 102 may include a bitstream demultiplexer 301, a first decoder 302, a second decoder 303, and a renderer 304.
본 발명의 일실시예에 따르면, 출력 비트스트림이 호환 가능구조로 되어 있는 경우, 복호화 장치(102)는 레거시 멀티채널 복호화부(미도시됨)를 통해 스테레오, 5.1 채널과 같이 일반적으로 알려진 멀티채널 오디오 신호를 복원할 수 있다.According to an embodiment of the present invention, when the output bitstream has a compatible structure, the decoding device 102 uses a legacy multichannel decoding unit (not shown), and generally known multichannels such as stereo and 5.1 channels. The audio signal can be restored.
비트스트림 역다중화부(301)는 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출할 수 있다.The bitstream demultiplexer 301 may extract a first bitstream including the encoded compatible multichannel audio signal and a second bitstream including the encoded audio object signal from the output bitstream.
구체적으로, 비트스트림 역다중화부(301)는 출력 비트스트림을 복호화 블록별로 복수의 비트스트림의 블록으로 구분할 수 있다. 여기서, 구분되는 비트스트림의 블록은 스케일러블 채널 비트스트림, 객체 비트스트림, 스케일러블 음질 비트스트림, 및 상기 비트스트림들을 위한 부가 정보, 출력 비트스트림와 관련된 헤더 정보를 포함할 수 있다. 이 때, 헤더 정보는 복호화 장치(102)의 전체에 대한 초기화 및 복호화 장치(102)의 각 구성 요소에 대한 초기화를 위해 필요한 정보를 포함할 수 있다.In detail, the bitstream demultiplexer 301 may divide the output bitstream into blocks of a plurality of bitstreams for each decoding block. Here, the block of the divided bitstream may include a scalable channel bitstream, an object bitstream, a scalable sound quality bitstream, additional information for the bitstreams, and header information related to an output bitstream. In this case, the header information may include information necessary for initializing the entirety of the decoding apparatus 102 and for initializing each component of the decoding apparatus 102.
제1 복호화부(302)는 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력할 수 있다. 제1 복호화부(302)는 호환 멀티채널 오디오 신호와 관련된 부가 정보를 이용하여 복호화 장치의 음향 재생 환경에 대응하는 호환 멀티채널 오디오 신호를 추출할 수 있다. 여기서, 호환 멀티채널 오디오 신호와 관련된 부가 정보는 스케일러블 채널을 위한 부가 정보를 의미할 수 있다. 추출된 호환 멀티채널 오디오 신호는 그대로 제1 출력 신호로서 출력되거나, 또는 렌더링부(304)에 전달될 수 있다.The first decoder 302 may output a compatible multichannel audio signal by decoding the first bitstream. The first decoder 302 may extract a compatible multichannel audio signal corresponding to a sound reproduction environment of the decoding apparatus by using additional information related to the compatible multichannel audio signal. Here, the additional information related to the compatible multichannel audio signal may mean additional information for the scalable channel. The extracted compatible multichannel audio signal may be output as the first output signal as it is or transmitted to the renderer 304.
복호화 장치의 음향 재생 환경은 복호화 장치(102)와 관련된 멀티채널 오디오 신호의 재생 환경을 의미한다. 구체적으로, 음향 재생 환경은 복호화 장치와 관련된 스피커 개수와 위치에 따라 결정된다.The sound reproduction environment of the decoding apparatus refers to a reproduction environment of a multichannel audio signal associated with the decoding apparatus 102. In detail, the sound reproducing environment is determined according to the number and positions of speakers associated with the decoding apparatus.
제2 복호화부(303)는 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력할 수 있다.The second decoder 303 may output the audio object signal by decoding the second bitstream.
렌더링부(304)는 제1 복호화부(302)로부터 출력된 호환 멀티채널 오디오 신호와 제2 복호화부(303)으로부터 출력된 제2 오디오 객체 신호를 합성할 수 있다. 구체적으로, 렌더링부(304)는 복호화 장치(102)의 음향 재생 환경을 고려하여 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성할 수 있다.The renderer 304 may synthesize the compatible multichannel audio signal output from the first decoder 302 and the second audio object signal output from the second decoder 303. In detail, the rendering unit 304 may synthesize the compatible multichannel audio signal and the audio object signal in consideration of the sound reproduction environment of the decoding device 102.
만약, 호환 멀티채널 오디오 신호에 오디오 객체 신호가 이미 포함되어 있는 경우, 렌더링부(304)는 오디오 객체 신호를 제거하기 위한 부가 정보를 이용하여 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거할 수 있다. 그러면, 렌더링부(304)는 호환 멀티채널 오디오 신호에 제2 복호화부(303)로부터 전달된 오디오 객체 신호를 렌더링하여 제2 출력 신호를 출력할 수 있다.If the audio object signal is already included in the compatible multichannel audio signal, the rendering unit 304 may remove the audio object signal from the compatible multichannel audio signal by using additional information for removing the audio object signal. . Then, the renderer 304 may render the audio object signal transmitted from the second decoder 303 to the compatible multichannel audio signal and output the second output signal.
만약, 호환 멀티채널 오디오 신호에 오디오 객체 신호가 포함되어 있지 않은 경우, 렌더링부(304)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하는 과정을 수행할 필요는 없다. 한편, 렌더링부(304)는 오디오 객체 신호가 렌더링되는 위치에 기초하여 호환 멀티채널 오디오 신호에 오디오 객체 신호를 렌더링할 수 있다. 여기서, 오디오 객체 신호가 렌더링되는 위치는 오디오 객체 신호와 관련된 부가 정보에 포함될 수 있다.If the audio object signal is not included in the compatible multichannel audio signal, the rendering unit 304 does not need to perform a process of removing the audio object signal from the compatible multichannel audio signal. Meanwhile, the renderer 304 may render the audio object signal on the compatible multichannel audio signal based on the position where the audio object signal is rendered. Here, the position where the audio object signal is rendered may be included in additional information related to the audio object signal.
도 4는 본 발명의 일실시예에 따른 스케일러블 채널 부호화 방식을 설명하기 위한 도면이다.4 is a diagram for describing a scalable channel coding method according to an embodiment of the present invention.
스케일러블 채널 부호화 방식은 도 2의 제1 부호화부(202)에 적용될 수 있다. 구체적으로, 제1 부호화부(202)는 스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 스케일러블 채널 비트스트림인 제1 비트스트림을 생성할 수 있다.The scalable channel coding method may be applied to the first encoder 202 of FIG. 2. In detail, the first encoder 202 may generate a first bitstream that is a scalable channel bitstream by hierarchically encoding a compatible multichannel audio signal according to the scalable channel encoding scheme.
도 4는 멀티채널 오디오 신호가 22.2채널 신호인 경우, 스케일러블 채널 부호화 방식에 따라 부호화하는 과정을 나타낸다. 구체적으로, 도 4는 22.2채널 신호가 5.1채널 신호, 10.2채널 신호, 22.2채널 신호로 계층적 부호화되는 과정을 나타낸다.4 illustrates a process of encoding according to a scalable channel encoding method when the multichannel audio signal is a 22.2 channel signal. Specifically, FIG. 4 illustrates a process in which 22.2 channel signals are hierarchically encoded into 5.1 channel signals, 10.2 channel signals, and 22.2 channel signals.
도 4는 스케일러블 채널복호화(204)기의 블록도이며, 도 4의 부호화 과정을 거친 5.1채널, 10.2채널, 22.2채널 계층 부호화 비트스트림을 복호화하는 과정을 도시하였다.4 is a block diagram of a scalable channel decoder 204, and illustrates a process of decoding a 5.1-channel, 10.2-channel, and 22.2-channel hierarchical encoding bitstream through the encoding process of FIG.
도 4에서, 입력된 22.2채널 신호는 제1 다운믹싱(401)을 통해 10.2 채널 신호로 다운믹스된다. 22.2채널 신호는 다운믹스 10.2 채널 신호가 입력된 제1 채널 변환(402)을 통해 12채널 신호로 변환된다.In FIG. 4, the input 22.2 channel signal is downmixed into a 10.2 channel signal through the first downmixing 401. The 22.2 channel signal is converted into a 12 channel signal through the first channel conversion 402 to which the downmix 10.2 channel signal is input.
한편, 다운믹스 10.2 채널 신호는 제2 다운믹싱(403)을 통해 다운믹스 5.1 채널 신호로 다운믹스된다. 제2 다운믹싱(403)을 통해 출력된 다운믹스 5.1 채널 신호는 기본 계층 부호화(405)에 따라 부호화될 수 있다. 기본 계층 부호화(405)에 따라 부호화된 결과는 기본 계층 비트스트림을 의미한다.Meanwhile, the downmix 10.2 channel signal is downmixed into the downmix 5.1 channel signal through the second downmixing 403. The downmix 5.1 channel signal output through the second downmixing 403 may be encoded according to the base layer encoding 405. The result encoded according to the base layer encoding 405 means a base layer bitstream.
그리고, 제1 다운믹싱(401)에 따라 출력된 다운믹스 10.2 채널 신호는 제2 다운믹싱(403)에 따라 출력된 다운믹스 5.1 채널 신호가 입력된 제2 채널 변환(404)을 통해 5.1 채널 신호로 변환된다. 변환된 5.1 채널 신호는 제1 향상 계층 부호화(406)를 통해 부호화될 수 있다. 제1 향상 계층 부호화(406)를 통해 부호화된 결과는 제1 향상 계층 비트스트림을 의미한다.The downmix 10.2 channel signal output according to the first downmixing 401 is a 5.1 channel signal through a second channel conversion 404 to which the downmix 5.1 channel signal output according to the second downmixing 403 is input. Is converted to. The converted 5.1 channel signal may be encoded through the first enhancement layer encoding 406. The result encoded through the first enhancement layer encoding 406 means a first enhancement layer bitstream.
또한, 제1 채널 변환(402)에 따라 출력된 12채널 신호는 제2 향상 계층 부호화(407)을 통해 부호화될 수 있다. 제2 향상 계층 부호화(407)을 통해 부호화된 결과는 제2 향상 계층 비트스트림을 의미한다.In addition, the 12-channel signal output according to the first channel transform 402 may be encoded through the second enhancement layer encoding 407. The result encoded through the second enhancement layer encoding 407 means a second enhancement layer bitstream.
그러면, 기본 계층 비트스트림, 제1 향상 계층 비트스트림 및 제2 향상 계층 비트스트림은 비트스트림 포맷팅(408)을 통해 다중화되어, 제1 비트스트림이 생성될 수 있다. 스케일러블 채널 부호화 과정에서 생성된 다운믹스, 채널 변환과 관련된 정보는 복호화 장치(102)의 복호화 과정을 위해 스케일러블 채널 부가 정보로서 제공된다.The base layer bitstream, the first enhancement layer bitstream, and the second enhancement layer bitstream may then be multiplexed via bitstream formatting 408 to produce a first bitstream. Information related to downmix and channel conversion generated in the scalable channel encoding process is provided as scalable channel side information for the decoding process of the decoding apparatus 102.
결국, 스케일러블 채널 부호화 방식은 적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 방식을 의미한다. 도 4에 도시된 다운믹스와 채널 변환의 횟수는 입력된 멀티채널 오디오 신호에 따라 달라질 수 있다.As a result, the scalable channel coding method refers to a method of encoding a multichannel audio signal of a base layer and a multichannel audio signal of an enhancement layer derived through at least one downmixing and channel conversion. The number of downmixes and channel conversions shown in FIG. 4 may vary depending on the input multichannel audio signal.
도 5는 본 발명의 일실시예에 따른 스케일러블 채널 복호화 방식을 설명하기 위한 도면이다.5 is a diagram for describing a scalable channel decoding method according to an embodiment of the present invention.
도 5는 복호화 장치(102)에서 제1 비트스트림을 스케일러블 채널 복호화 방식을 통해 복호화하는 과정을 나타낸다. 제1 비트스트림은 비트스트림 역다중화(501)를 통해 기본 계층 비트스트림, 제1 향상 계층 비트스트림 및 제2 향상 계층 비트스트림으로 역다중화될 수 있다.5 illustrates a process of decoding the first bitstream by the scalable channel decoding method in the decoding apparatus 102. The first bitstream may be demultiplexed into a base layer bitstream, a first enhancement layer bitstream, and a second enhancement layer bitstream through bitstream demultiplexing 501.
기본 계층 스트림은 기본 계층 복호화(502)를 통해 복호화되어, 호환 5.1 채널 신호가 출력될 수 있다. 그러면, 호환 5.1 채널 신호는 제1 신호 변환(507)을 통해 5.1채널 출력 사운드로 출력될 수 있다. 이 때, 호환 5.1 채널 신호가 주파수 도메인의 신호인 경우, 호환 5.1 채널 신호는 제1 신호 변환(507)을 통해 주파수 도메인에서 시간 도메인으로 변환될 수 있다.The base layer stream may be decoded through base layer decoding 502 to output a compatible 5.1 channel signal. Then, the compatible 5.1 channel signal may be output as the 5.1 channel output sound through the first signal conversion 507. In this case, when the compatible 5.1 channel signal is a signal in the frequency domain, the compatible 5.1 channel signal may be converted from the frequency domain to the time domain through the first signal conversion 507.
제1 향상 계층 비트스트림은 제1 향상 계층 복호화(503)를 통해 5.1 채널 신호로 출력될 수 있다. 그러면, 기본 계층 복호화(502)를 통해 출력된 호환 5.1 채널 신호와 제1 향상 계층 복호화(503)를 통해 출력된 5.1 채널 신호는 제1 채널 합성(505)에 따라 10.2 채널 신호로 합성될 수 있다. 이 때, 제1 채널 합성(505)은 스케일러블 채널 부가 정보에 포함된 부가 정보에 따라 처리될 수 있다. 그리고, 합성된 10.2 채널 신호는 제2 신호 변환(508)을 통해 10.2 채널 출력 사운드로 출력될 수 있다.The first enhancement layer bitstream may be output as a 5.1 channel signal through the first enhancement layer decoding 503. Then, the compatible 5.1 channel signal output through the base layer decoding 502 and the 5.1 channel signal output through the first enhancement layer decoding 503 may be synthesized into 10.2 channel signals according to the first channel synthesis 505. . In this case, the first channel synthesis 505 may be processed according to the additional information included in the scalable channel additional information. The synthesized 10.2 channel signal may be output as a 10.2 channel output sound through the second signal conversion 508.
제2 향상 계층 비트스트림은 제2 향상 계층 복호화(504)를 통해 12 채널 신호로 출력될 수 있다. 그러면, 제1 채널 합성(505)을 통해 출력된 10.2 채널 신호와 제2 향상 계층 복호화(504)를 통해 출력된 12 채널 신호는 제2 채널 합성(506)에 따라 22.2 채널 신호로 합성될 수 있다. 이 때, 제2 채널 합성(506)은 스케일러블 채널 부가 정보에 포함된 부가 정보에 따라 처리될 수 있다. 그리고, 합성된 22.2 채널 신호는 제3 신호 변환(509)을 통해 22.2 채널 출력 사운드로 출력될 수 있다.The second enhancement layer bitstream may be output as a 12 channel signal through the second enhancement layer decoding 504. Then, the 10.2 channel signal output through the first channel synthesis 505 and the 12 channel signal output through the second enhancement layer decoding 504 may be synthesized into 22.2 channel signals according to the second channel synthesis 506. . In this case, the second channel synthesis 506 may be processed according to the additional information included in the scalable channel additional information. The synthesized 22.2 channel signal may be output as a 22.2 channel output sound through the third signal conversion 509.
도 5의 모든 과정은 복호화 장치(102)의 제1 복호화부(502)에서 수행될 수 있다. 또한, 부호화 장치(101)로부터 전달되거나 또는 복호화 장치(102) 자체에서 제공되는 재생 환경 정보에 기초하여, 도 5의 모든 동작들이 제어된다. 또한, 도 5에 도시된 계층별 채널 구성(5.1 채널, 10.2 채널, 22.2 채널)을 제외한 다른 채널 구성(예를 들면, 7.1 채널)일 경우, 제1 채널 합성(505)과 제2 채널 합성(506)은 다른 채널 구성에 따라 다운믹스 또는 업믹스 과정을 포함할 수 있다. 다운믹스 또는 업믹스를 수행하기 위해 필요한 정보는 부호화 장치(101)에서 부가 정보로 전달되거나 또는 복호화 장치(102)에서 예측하여 사용될 수 있다.All processes of FIG. 5 may be performed by the first decoder 502 of the decoder 102. In addition, all operations in FIG. 5 are controlled based on the reproduction environment information transmitted from the encoding apparatus 101 or provided by the decoding apparatus 102 itself. In addition, when the channel configuration (for example, 7.1 channel) other than the hierarchical channel configuration (5.1 channel, 10.2 channel, 22.2 channel) shown in FIG. 5, the first channel synthesis 505 and the second channel synthesis ( 506 may include a downmix or upmix process according to another channel configuration. Information necessary for performing the downmix or upmix may be transmitted as additional information in the encoding apparatus 101 or may be used in prediction in the decoding apparatus 102.
결국, 스케일러블 채널 복호화 방식은 적어도 1회 이상의 업믹싱과 채널 합성을 통해 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 복호화하는 복호화 방식을 의미한다.As a result, the scalable channel decoding method refers to a decoding method of decoding a multichannel audio signal of a base layer and a multichannel audio signal of an enhancement layer through at least one upmixing and channel synthesis.
도 6은 본 발명의 일실시예에 따른 스케일러블 음질 부호화 방식을 설명하기 위한 도면이다.6 is a diagram for describing a scalable sound quality coding scheme according to an embodiment of the present invention.
도 6의 스케일러블 음질 부호화 방식은 부호화 장치(101)의 제1 부호화부(202)와 제2 부호화부(203)에 적용될 수 있다. 도 6에서 입력 신호는 오디오 객체 신호 또는 호환 멀티채널 오디오 신호를 의미할 수 있다.The scalable sound quality coding method of FIG. 6 may be applied to the first encoder 202 and the second encoder 203 of the encoder 101. In FIG. 6, an input signal may mean an audio object signal or a compatible multichannel audio signal.
입력 신호는 기본 계층 부호화(601)와 기본 계층 복호화(602)에 따라 처리될 수 있다. 기본 계층 부호화(601)를 통해 기본 계층 비트스트림이 생성될 수 있다. 그리고, 입력 신호와 기본 계층 복호화(602)를 통해 출력된 합성 신호 간의 차이인 제1 잔차 신호가 생성된다.The input signal may be processed according to base layer coding 601 and base layer decoding 602. The base layer bitstream may be generated through the base layer encoding 601. A first residual signal, which is a difference between the input signal and the synthesized signal output through the base layer decoding 602, is generated.
제1 잔차 신호는 제1 향상 계층 부호화(603)와 제1 향상 계층 복호화(604)에 따라 처리될 수 있다. 제1 향상 계층 부호화(603)를 통해 제1 향상 계층 비트스트림이 생성될 수 있다. 그리고, 제1 잔차 신호와 제1 향상 계층 복호화(604)를 통해 출력된 합성 신호 간의 차이인 제2 잔차 신호가 생성된다.The first residual signal may be processed according to the first enhancement layer encoding 603 and the first enhancement layer decoding 604. The first enhancement layer bitstream may be generated through the first enhancement layer encoding 603. A second residual signal, which is a difference between the first residual signal and the synthesized signal output through the first enhancement layer decoding 604, is generated.
제2 잔차 신호는 제2 향상 계층 부호화(605)와 제2 향상 계층 복호화(606)에 따라 처리될 수 있다. 제2 향상 계층 부호화(605)를 통해 제2 향상 계층 비트스트림이 생성될 수 있다. 그리고, 제2 잔차 신호와 제2 향상 계층 복호화(606)를 통해 출력된 합성 신호 간의 차이인 제3 잔차 신호가 생성된다.The second residual signal may be processed according to the second enhancement layer encoding 605 and the second enhancement layer decoding 606. The second enhancement layer bitstream may be generated through the second enhancement layer encoding 605. A third residual signal, which is a difference between the second residual signal and the synthesized signal output through the second enhancement layer decoding 606, is generated.
위에서 언급한 과정은 미리 설정한 음질의 출력 신호가 도출될 때까지 반복적으로 진행된다. 그리고, 기본 계층 부호화(601)를 통해 출력된 기본 계층 비트스트림, 제1 향상 계층 부호화(603)를 통해 출력된 제1 향상 계층 비트스트림, 및 제2 향상 계층 부호화(605)를 통해 출력된 제2 향상 계층 비트스트림은 비트스트림 포맷팅(607)을 통해 다중화되어 제1 비트스트림 또는 제2 비트스트림으로 출력될 수 있다.  The above process is repeated until the output signal of the preset sound quality is derived. The base layer bitstream output through the base layer encoding 601, the first enhancement layer bitstream output through the first enhancement layer encoding 603, and the second output layer encoding through the second enhancement layer encoding 605. The 2 enhancement layer bitstream may be multiplexed through the bitstream formatting 607 and output as the first bitstream or the second bitstream.
따라서, 도 6은 음질에 대한 스케일러빌리티 기능을 제공하기 위해 진행될 수 있다. 그리고, 도 6의 스케일러블 음질 부호화 방식은 입력된 호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 부호화와 적어도 하나의 향상 계층 부호화를 반복적으로 수행하는 것을 의미할 수 있다.Thus, FIG. 6 may proceed to provide a scalability function for sound quality. The scalable sound quality coding method of FIG. 6 may mean repeatedly performing base layer coding and at least one enhancement layer coding on an input compatible multichannel audio signal or an audio object signal.
도 7은 본 발명의 일실시예에 따른 스케일러블 음질 복호화 방식을 설명하기 위한 도면이다.7 is a diagram for describing a scalable sound quality decoding method according to an embodiment of the present invention.
도 7에서 입력 비트스트림은 오디오 객체 신호 또는 호환 멀티채널 오디오 신호가 스케일러블 음질 부호화에 따라 부호화된 결과를 의미한다. 입력 비트스트림은 비트스트림 역다중화(701)를 통해 각 계층별 비트스트림으로 구분될 수 있다. 일례로, 입력 비트스트림은 비트스트림 역다중화(701)를 통해 하나의 기본 계층 비트스트림과 복수의 향상 계층 비트스트림으로 구분될 수 있다. 기본 계층 비트스트림은 기본 계층 복호화(702)를 통해 기본 계층 출력 신호로 출력된다. In FIG. 7, an input bitstream means a result of encoding an audio object signal or a compatible multichannel audio signal according to scalable sound quality coding. The input bitstream may be divided into bitstreams for each layer through bitstream demultiplexing 701. For example, the input bitstream may be divided into one base layer bitstream and a plurality of enhancement layer bitstreams through the bitstream demultiplexing 701. The base layer bitstream is output as a base layer output signal through base layer decoding 702.
그리고, 제1 향상 계층에 대응하는 제1 향상 계층 비트스트림은 제1 향상 계층 복호화(703)를 통해 복호화된다. 그리고, 제1 향상 계층 복호화(703)를 통해 복호화된 출력 신호는 기본 계층 출력 신호와 합산되어, 제1 향상 계층 출력 신호로 출력된다.The first enhancement layer bitstream corresponding to the first enhancement layer is decoded through the first enhancement layer decoding 703. The output signal decoded through the first enhancement layer decoding 703 is summed with the base layer output signal and output as the first enhancement layer output signal.
또한, 제2 향상 계층에 대응하는 제2 향상 계층 비트스트림은 제2 향상 계층 복호화(704)를 통해 복호화된다. 그리고, 제2 향상 계층 복호화(704)를 통해 복호화된 출력 신호는 제1 향상 계층 출력 신호와 합산되어 제2 향상 계층 출력 신호로 출력된다. 도 7의 과정은 입력 비트스트림에 따라 반복적으로 진행된다.In addition, the second enhancement layer bitstream corresponding to the second enhancement layer is decoded through the second enhancement layer decoding 704. The output signal decoded through the second enhancement layer decoding 704 is summed with the first enhancement layer output signal and output as a second enhancement layer output signal. The process of FIG. 7 is repeatedly performed according to the input bitstream.
도 8은 본 발명의 일실시예에 따른 출력 비트스트림의 구성 요소를 도시한 도면이다.8 illustrates components of an output bitstream according to an embodiment of the present invention.
도 2에서 도시된 바와 같이, 부호화 장치(101)의 제1 부호화부(202), 제2 부호화부(203)를 통해 부호화된 결과인 비트스트림들은 비트스트림 포맷터(204)를 통해 다중화되어 출력 비트스트림이 생성된다. 도 8은 기존의 스테레오 오디오 신호 또는 5.1 채널 오디오 신호를 지원하는 복호화 장치와 호환성을 유지하면서 비트스트림을 다중화한 결과인 출력 비트스트림을 나타낸다.As shown in FIG. 2, the bitstreams that are the results of the encoding through the first encoder 202 and the second encoder 203 of the encoding apparatus 101 are multiplexed through the bitstream formatter 204 to output bits. The stream is created. 8 shows an output bitstream that is a result of multiplexing the bitstream while maintaining compatibility with a decoding apparatus that supports a conventional stereo audio signal or a 5.1 channel audio signal.
출력 비트스트림은 호환성을 유지하기 위해 MPEG-2 Audio Backward compatibility 비트스트림 구조인 스테레오 채널(2채널) 또는 5.1채널 신호와 관련된 호환 비트스트림 구조(legacy 2/5.1)를 포함한다. 호환 비트스트림 구조는 스테레오 채널(2채널) 또는 5.1채널 신호와 관련된 스케일러블 채널 신호, 스케일러블 품질 신호, 오디오 객체 신호 및 부가 정보를 포함할 수 있다.The output bitstream includes a compatible bitstream structure (legacy 2 / 5.1) associated with a stereo channel (2 channel) or 5.1 channel signal that is an MPEG-2 Audio Backward compatibility bitstream structure to maintain compatibility. The compatible bitstream structure may include a scalable channel signal, a scalable quality signal, an audio object signal, and additional information associated with a stereo channel (2 channel) or 5.1 channel signal.
한편, 출력 비트스트림은 스케일러블 채널 신호, 스케일러블 음질 신호, 오디오 객체 신호, 및 부가 정보를 MPEG-2 Audio Backward compatibility 비트스트림 구조의 ancillary data 영역과 같은 부가데이터 영역에 포함할 수 있다.The output bitstream may include a scalable channel signal, a scalable sound quality signal, an audio object signal, and additional information in an additional data area such as an ancillary data area of the MPEG-2 Audio Backward compatibility bitstream structure.
스케일러블 채널 신호의 컨테이너(container)는 채널이 증가 또는 향상되는 게층별 비트스트림과 부가 정보 등으로 구성된다. 그리고, 스케일러블 음질 신호의 컨테이너는 음질이 향상되는 계층별 비트스트림과 부가정보 등으로 구성된다. 또한, 오디오 객체 신호의 컨테이너는 오디오 객체 신호, 오디오 객체 신호와 관련된 부가 정보 및 오디오 객체 신호의 추출 정보 등으로 구성된다. 부가 정보의 컨테이너는 스케일러블 채널 신호, 스케일러블 음질 신호 및 오디오 객체 신호 각각의 컨테이너에 삽입되는 부가 정보들로 구성될 수 있다. 또한, 부가 정보의 컨테이너는 복호화 장치 및 복호화 장치의 각 구성 요소를 초기화하는데 필요한 헤더정보, 메타데이터 등으로 구성된다.A container of a scalable channel signal is composed of a bitstream for each layer and additional information, etc., in which a channel is increased or improved. The container of the scalable sound quality signal includes a bitstream for each layer, additional information, and the like, for improving sound quality. Also, the container of the audio object signal is composed of an audio object signal, additional information related to the audio object signal, extraction information of the audio object signal, and the like. The container of additional information may be configured with additional information inserted into each container of the scalable channel signal, the scalable sound quality signal, and the audio object signal. In addition, the container of the additional information is composed of header information, metadata, and the like necessary for initializing each component of the decoding apparatus and the decoding apparatus.
도 9는 본 발명의 일실시예에 따른 비트스트림을 모듈화하여 도시한 도면이다.9 is a diagram illustrating a modularized bitstream according to an embodiment of the present invention.
도 9는 H.264/AVC에서 이용하는 NAL(Network Abstraction Layer) unit과 같이 부호화된 출력 비트스트림을 전송환경에 따라 취사선택할 수 있도록 구성하는 경우를 나타낸다. 또는, 도 9는 복호화 장치에서 출력 비트스트림으로부터 필요한 정보들을 간편하게 선택하여 처리할 수 있도록 부호화 장치를 구성하는 각 구성 요소에서 출력되는 비트스트림들을 모듈화한 결과를 나타낸다.FIG. 9 illustrates a case in which a coded output bitstream, such as a network abstraction layer (NAL) unit used in H.264 / AVC, can be cooked according to a transmission environment. Alternatively, FIG. 9 illustrates a result of modularizing bitstreams output from each component constituting the encoding device so that the decoding device can easily select and process necessary information from the output bitstream.
도 9는 도 10에 도시된 처리 유닛(PU)를 이용하여 코어 계층(기본 멀티채널 신호), 두 개의 채널 향상계층, 한 개의 음질 향상계층, 두 개의 객체신호 계층으로 출력 비트스트림이 구성될 때, 프레임에 포함된 처리 유닛들의 구성과 이를 전송할 때의 순서를 나타낸다. dependency_id(종속성 ID)는 처리 유닛을 복호화하기 위해 이전 계층의 정보가 필요함을 알려준다.FIG. 9 illustrates an output bitstream composed of a core layer (basic multichannel signal), two channel enhancement layers, one sound quality enhancement layer, and two object signal layers using the processing unit PU illustrated in FIG. 10. , The configuration of the processing units included in the frame and the order in which they are transmitted. dependency_id (dependency ID) indicates that information of the previous layer is needed to decrypt the processing unit.
도 9에서 블록별 번호는 도 11의 pu_type을 나타낸다. 먼저 복호화 장치를 초기화하기 위해 필요한 정보를 포함하는 시퀀스 헤더(sequence header)가 전달되고, 그 이후로 프레임 헤더(frame header), 및 프레임 메타데이터(frame metadata)가 배치된다. 그 이후로, 각 부호화 블록(제1 부호화부, 제2 부호화부)로부터 출력된 비트스트림이 기본블록 데이터(core block data)와 채널/음질/객체 향상계층 데이터들로 구분되어 배치된다. 그리고, 각 부호화 블록(제1 부호화부, 제2 부호화부)별 데이터 또는 비트스트림에 부가로 필요한 정보들도 배치된다.In FIG. 9, the block number indicates a pu_type of FIG. 11. First, a sequence header including information necessary for initializing a decoding apparatus is delivered, and then a frame header and frame metadata are disposed. After that, the bitstreams output from the respective coding blocks (the first encoder and the second encoder) are divided into core block data and channel / sound / object enhancement layer data. In addition, information necessary for each coding block (first encoder and second encoder) or bitstream is also disposed.
복호화 장치는 이렇게 전달된 처리 유닛을 복호화 장치의 음향 재생환경 또는 사용자의 취향에 맞게 취사선택한 후, 출력하고자 할 오디오 신호를 생성할 수 있다. The decoding apparatus may generate the audio signal to be output after selecting the processing unit thus delivered according to the sound reproduction environment of the decoding apparatus or the user's preference.
도 10은 본 발명의 일실시예에 따른 모듈화된 비트스트림의 기본 구조를 나타내는 도면이다.10 illustrates the basic structure of a modular bitstream according to an embodiment of the present invention.
도 10은 도 8에 도시된 비트스트림을 모듈화한 결과의 기본 구조를 나타내며, 출력 비트스트림을 구성하는 기본 단위가 될 수 있다. 이러한 기본 단위는 처리 유닛(Processing Unit: PU)라고 정의디며, 처리 유닛의 헤더는 random_access (1 bit), dependency_id (3 bits), su_type (4 bits)와 같은 정보로 1바이트가 할당된다. random_access는 처리 유닛에서 이전 계층의 정보없이 복호화가 가능한지 여부를 알려주는 플래그이며, dependency_id(종속성 ID)는 처리 유닛을 복호화하기 위해 이전 계층의 정보가 필요함을 알려준다. 예를 들어, dependency_id가 1일 경우에는 1개의 이전 계층(즉 기본계층)이 필요하다는 것을 의미한다. pu_type은 처리 유닛의 페이로드에 입력되는 비트스트림의 종류를 나타낸다. pu_type에 대해서는 도 11에서 구체적으로 설명하기로 한다.FIG. 10 illustrates a basic structure of a result of modularizing the bitstream illustrated in FIG. 8, and may be a basic unit configuring an output bitstream. This basic unit is defined as a processing unit (PU), and a header of a processing unit is allocated with information such as random_access (1 bit), dependency_id (3 bits), and su_type (4 bits). random_access is a flag indicating whether decryption is possible in the processing unit without information of the previous layer, and dependency_id (dependency ID) indicates that information of the previous layer is needed to decrypt the processing unit. For example, if dependency_id is 1, this means that one previous layer (that is, the base layer) is required. pu_type indicates the type of bitstream input to the payload of the processing unit. The pu_type will be described in detail with reference to FIG. 11.
도 11은 본 발명의 일실시예에 따른 비트스트림 기본 구조에서 처리 유닛(PU) 의 패이로드의 종류를 도시한 도면이다.11 is a diagram illustrating a type of payload of a processing unit (PU) in a bitstream basic structure according to an embodiment of the present invention.
pu_type은 처리 유닛의 패이로드에 입력되는 비트스트림의 종류를 나타낸다. pu_type에 따라 정의되는 처리 유닛의 패이로드에서 시퀀스 헤더(sequence header)는 부호화 장치에 입력된 출력 비트스트림의 헤더를 나타낸다. 그리고, 프레임 헤더(frame header)는 각 프레임별 헤더를 나타낸다. 처리 유닛의 패이로드는 부호화 장치의 구성 요소에서 추출되는 부호화된 비트스트림인 액세스 유닛(Access Unit: AU)이다. pu_type indicates the type of bitstream input to the payload of the processing unit. In a payload of a processing unit defined according to pu_type, a sequence header indicates a header of an output bitstream input to the encoding apparatus. The frame header indicates a header for each frame. The payload of the processing unit is an access unit (AU) which is an encoded bitstream extracted from the components of the encoding apparatus.
도 12는 본 발명의 일실시예에 따른 오디오 재생 환경에 따라 오디오 신호를 복원하는 과정을 도시한 도면이다.12 illustrates a process of restoring an audio signal according to an audio reproduction environment according to an embodiment of the present invention.
도 12는 7.1 채널 오디오 신호를 부호화한 비트스트림으로부터 오디오 신호의 음향 재생 환경에 따라 분산해서 부호화한 후, 이를 복원하는 과정을 나타낸다. 도 12를 참고하면, 7.1채널 오디오 신호는 2채널 스테레오와 3.1채널 확장 A, 2채널 확장 B의 세가지 컴포넌트로 분산해서 부호화될 수 있다. 분산된 부호화 결과는 다중화되어 하나의 전체 비트스트림으로 전송될 수 있다.12 illustrates a process of distributing and encoding a 7.1-channel audio signal according to a sound reproduction environment of an audio signal from the encoded bitstream, and then restoring it. Referring to FIG. 12, a 7.1-channel audio signal may be distributed and encoded into three components, 2 channel stereo, 3.1 channel extension A, and 2 channel extension B. The distributed encoding result may be multiplexed and transmitted in one entire bitstream.
그러면, 스테레오 신호를 재생할 수 있는 단말에서는 전체 비트스트림에서 2채널 스테레오와 관련된 비트스트림만을 추출하여 재생할 수 있다. 그리고, 5.1채널 신호를 재생할 수 있는 단말에서는 2채널 스테레오 비트스트림과 3.1채널 확장A 비트스트림을 이용하여 5.1채널 신호를 재생한다. 또한, 7.1채널 신호를 재생할 수 있는 단말에서는 전체 비트스트림에 포함된 모든 비트스트림들을 이용하여 7.1채널 신호를 재생할 수 있다. Then, the terminal capable of reproducing the stereo signal can extract and reproduce only the bitstream related to the two-channel stereo from the entire bitstream. A terminal capable of reproducing a 5.1-channel signal reproduces a 5.1-channel signal using a 2-channel stereo bitstream and a 3.1-channel extended A bitstream. In addition, the terminal capable of reproducing the 7.1-channel signal can reproduce the 7.1-channel signal using all the bitstreams included in the entire bitstream.
즉, 본 발명에 의하면, 스테레오 신호와 5.1채널 신호를 재생할 수 있는 음향 재생 환경이라도, 별도의 부가적인 변환과정을 거치지 않고 전체 비트스트림에서 필요한 비트스트림을 활용하여 단말의 재생환경에 맞게 오디오 신호를 복원할 수 있다.That is, according to the present invention, even in a sound reproduction environment capable of reproducing a stereo signal and a 5.1 channel signal, the audio signal is adapted to the reproduction environment of the terminal by utilizing the required bitstream in the entire bitstream without performing an additional conversion process. Can be restored
도 13은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.13 is a diagram illustrating an encoding method according to an embodiment of the present invention.
단계(1301)에서, 부호화 장치(101)는 입력된 오디오 객체 신호와 멀티채널 오디오 신호를 합성하여 호환 멀티채널 오디오 신호를 생성할 수 있다.In operation 1301, the encoding apparatus 101 may synthesize the input audio object signal and the multichannel audio signal to generate a compatible multichannel audio signal.
단계(1302)에서, 부호화 장치(101)는 입력된 오디오 객체 신호를 부호화하여 오디오 객체 신호와 관련된 비트스트림을 생성할 수 있다. 일례로, 부호화 장치(101)는 스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화할 수 있다.In operation 1302, the encoding apparatus 101 may generate a bitstream related to the audio object signal by encoding the input audio object signal. As an example, the encoding apparatus 101 may hierarchically encode the audio object signal according to the scalable sound quality encoding scheme.
단계(1303)에서, 부호화 장치(101)는 호환 멀티채널 오디오 신호를 부호화하여 호환 멀티채널 오디오 신호와 관련된 비트스트림을 생성할 수 있다. 일례로, 부호화 장치(101)는 스케일러블 음질 부호화 방식 또는 스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화할 수 있다.In operation 1303, the encoding apparatus 101 may encode a compatible multichannel audio signal to generate a bitstream associated with the compatible multichannel audio signal. For example, the encoding apparatus 101 may hierarchically encode a compatible multichannel audio signal according to the scalable sound quality encoding method or the scalable channel encoding method.
단계(1304)에서, 부호화 장치(101)는 생성된 비트스트림들을 다중화하여 최종적으로 출력 비트스트림을 생성할 수 있다. 한편, 부호화 장치(101)는 오디오 객체 신호, 호환 멀티채널 오디오 신호와 관련된 부가 정보도 출력 비트스트림에 포함시킬 수 있다.In operation 1304, the encoding apparatus 101 may finally generate an output bitstream by multiplexing the generated bitstreams. Meanwhile, the encoding apparatus 101 may also include additional information related to the audio object signal and the compatible multichannel audio signal in the output bitstream.
도 14는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.14 is a diagram illustrating a decoding method according to an embodiment of the present invention.
단계(1401)에서, 복호화 장치(102)는 부호화 장치(101)에서 전송된 출력 비트스트림을 역다중화할 수 있다. 그러면, 호환 멀티채널 오디오 신호가 부호화된 제1 비트스트림과 오디오 객체 신호가 부호화된 제2 비트스트림이 출력 비트스트림으로부터 구분될 수 있다.In operation 1401, the decoding apparatus 102 may demultiplex an output bitstream transmitted from the encoding apparatus 101. Then, the first bitstream encoded with the compatible multichannel audio signal and the second bitstream encoded with the audio object signal may be distinguished from the output bitstream.
단계(1402)에서, 복호화 장치(102)는 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력할 수 있다. 일례로, 복호화 장치(102)는 스케일러블 음질 복호화 방식 또는 스케일러블 채널 복호화 방식에 따라 제1 비트스트림으로부터 호환 멀티채널 오디오 신호를 추출할 수 있다. 출력된 호환 멀티채널 오디오 신호는 그대로 외부에 출력될 수 있다.In operation 1402, the decoding device 102 may output a compatible multichannel audio signal by decoding the first bitstream. For example, the decoding apparatus 102 may extract a compatible multichannel audio signal from the first bitstream according to the scalable sound quality decoding method or the scalable channel decoding method. The output compatible multichannel audio signal may be externally output as it is.
단계(1403)에서, 복호화 장치(102)는 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력할 수 있다. 일례로, 복호화 장치(102)는 스케일러블 음질 복호화 방식에 따라 제2 비트스트림으로부터 오디오 객체 신호를 출력할 수 있다.In operation 1403, the decoding apparatus 102 may output an audio object signal by decoding the second bitstream. For example, the decoding apparatus 102 may output an audio object signal from the second bitstream according to the scalable sound quality decoding scheme.
단계(1404)에서, 복호화 장치(102)는 호환 멀티채널 오디오 신호와 오디오 객체 신호를 조합하여 렌더링된 결과를 도출할 수 있다. 구체적으로, 복호화 장치(102)는 음향 재생 환경인 라우드스피커의 위치 또는 배치를 고려하여 오디오 객체 신호를 조합할 수 있다. 또한, 복호화 장치(102)는 음향 재생 환경인 라우드스피커의 위치 또는 배치를 고려하여 호환 멀티채널 오디오 신호에서 반복적인 채널 변환과 합성을 통해 최종적으로 출력할 멀티채널 오디오 신호를 도출할 수 있다.In operation 1404, the decoding apparatus 102 may derive the rendered result by combining the compatible multichannel audio signal and the audio object signal. In detail, the decoding apparatus 102 may combine the audio object signals in consideration of the position or arrangement of the loudspeakers, which are sound reproduction environments. In addition, the decoding apparatus 102 may derive the multi-channel audio signal to be finally output through repeated channel conversion and synthesis from the compatible multi-channel audio signal in consideration of the position or arrangement of the loudspeaker which is the sound reproduction environment.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

Claims (20)

  1. 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 신호 생성부;A signal generator for generating a compatible multichannel audio signal using the audio object signal and the input multichannel audio signal;
    상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 제1 부호화부;A first encoder configured to hierarchically encode the compatible multichannel audio signal to generate a first bitstream;
    상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 제2 부호화부; 및A second encoder which encodes the audio object signal to generate a second bitstream; And
    상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 비트스트림 포맷터A bitstream formatter for generating an output bitstream using the first bitstream and the second bitstream
    를 포함하는 부호화 장치.Encoding apparatus comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 비트스트림 포맷터는,The bitstream formatter,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보 중 적어도 하나를 포함하는 부호화 장치.First additional information for editing an audio object signal in the compatible multichannel audio signal; And at least one of second additional information related to the compatible multichannel audio signal and third additional information related to the audio object signal.
  3. 제1항에 있어서,The method of claim 1,
    상기 제1 부호화부는,The first encoder,
    스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 부호화 장치.A coding device for generating a first bitstream by hierarchically encoding a compatible multichannel audio signal according to a scalable channel coding scheme.
  4. 제3항에 있어서,The method of claim 3,
    상기 스케일러블 채널 부호화 방식은,The scalable channel coding scheme,
    적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 부호화 방식을 포함하는 부호화 장치.And an encoding method for encoding the multi-channel audio signal of the base layer and the multi-channel audio signal of the enhancement layer derived through at least one downmixing and channel conversion.
  5. 제1항에 있어서,The method of claim 1,
    상기 제1 부호화부는,The first encoder,
    스케일러블 음질 부호화 방식에 따라 멀티채널 오디오 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하거나, 또는A first bitstream is generated by hierarchically encoding a multichannel audio compatible multichannel audio signal according to a scalable sound quality encoding scheme, or
    상기 제2 부호화부는,The second encoder,
    스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화하여 제2 비트스트림을 생성하는 부호화 장치.An encoding apparatus for generating a second bitstream by hierarchically encoding an audio object signal according to a scalable sound quality encoding method.
  6. 제5항에 있어서,The method of claim 5,
    상기 스케일러블 음질 부호화 방식은,The scalable sound quality coding method,
    입력된 호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 부호화와 적어도 하나의 향상 계층 부호화를 반복적으로 수행하는 부호화 장치.An encoding apparatus for performing base layer encoding and at least one enhancement layer encoding on an input compatible multichannel audio signal or an audio object signal repeatedly.
  7. 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 비트스트림 역다중화부;A bitstream demultiplexer for extracting a first bitstream including an encoded compatible multichannel audio signal and a second bitstream including an encoded audio object signal from an output bitstream;
    상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 제1 복호화부;A first decoder which decodes the first bitstream and outputs a compatible multichannel audio signal;
    상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 제2 복호화부; 및A second decoder which outputs an audio object signal by decoding the second bitstream; And
    상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 렌더링부A rendering unit configured to synthesize the output compatible multichannel audio signal and an audio object signal
    를 포함하는 복호화 장치.Decoding apparatus comprising a.
  8. 제7항에 있어서,The method of claim 7, wherein
    상기 역다중화부는,The demultiplexer,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보 중 적어도 하나를 포함하는 복호화 장치.First additional information for editing an audio object signal in the compatible multichannel audio signal; And at least one of second additional information related to the compatible multichannel audio signal and third additional information related to the audio object signal.
  9. 제7항에 있어서,The method of claim 7, wherein
    상기 제1 복호화부는,The first decoder,
    스케일러블 채널 복호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 복호화하여 제1 비트스트림을 생성하는 복호화 장치.A decoding apparatus for generating a first bitstream by hierarchically decoding a compatible multichannel audio signal according to a scalable channel decoding method.
  10. 제7항에 있어서,The method of claim 7, wherein
    상기 스케일러블 채널 복호화 방식은,The scalable channel decoding method,
    적어도 1회 이상의 업믹싱과 채널 합성을 통해 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 복호화하는 복호화 방식을 포함하는 복호화 장치.And a decoding method for decoding the multi-channel audio signal of the base layer and the multi-channel audio signal of the enhancement layer through at least one upmixing and channel synthesis.
  11. 제7항에 있어서,The method of claim 7, wherein
    상기 제1 복호화부는,The first decoder,
    스케일러블 음질 복호화 방식에 따라 멀티채널 오디오 호환 멀티채널 오디오 신호를 계층적으로 복호화하여 제1 비트스트림을 생성하거나, 또는Generating a first bitstream by hierarchically decoding a multichannel audio compatible multichannel audio signal according to a scalable sound quality decoding scheme; or
    상기 제2 복호화부는,The second decoding unit,
    스케일러블 음질 복호화 방식에 따라 오디오 객체 신호를 계층적으로 복호화하여 제2 비트스트림을 생성하는 복호화 장치.And a second bitstream, hierarchically decoding the audio object signal according to the scalable sound quality decoding method.
  12. 제11항에 있어서,The method of claim 11,
    상기 스케일러블 음질 복호화 방식은,The scalable sound quality decoding method,
    입력된 호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 복호화와 적어도 하나의 향상 계층 복호화를 반복적으로 수행하는 복호화 장치.A decoding apparatus for repeatedly performing base layer decoding and at least one enhancement layer decoding on an input compatible multichannel audio signal or an audio object signal.
  13. 제7항에 있어서,The method of claim 7, wherein
    상기 제1 복호화부는,The first decoder,
    호환 멀티채널 오디오 신호와 관련된 제2 부가 정보를 이용하여 복호화 장치의 음향 재생 환경에 대응하는 호환 멀티채널 오디오 신호를 추출하는 복호화 장치.And a decoding apparatus for extracting a compatible multichannel audio signal corresponding to a sound reproduction environment of the decoding apparatus using second additional information related to the compatible multichannel audio signal.
  14. 제7항에 있어서,The method of claim 7, wherein
    상기 렌더링부는,The rendering unit,
    복호화 장치의 음향 재생 환경을 고려하여 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 복호화 장치.A decoding apparatus for synthesizing a compatible multichannel audio signal and an audio object signal in consideration of a sound reproduction environment of the decoding apparatus.
  15. 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 단계;Generating a compatible multichannel audio signal using the audio object signal and the input multichannel audio signal;
    상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 단계;Hierarchically encoding the compatible multichannel audio signals to generate a first bitstream;
    상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 단계;Encoding the audio object signal to generate a second bitstream;
    상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 단계Generating an output bitstream using the first bitstream and the second bitstream
    를 포함하는 부호화 방법.Encoding method comprising a.
  16. 제15항에 있어서,The method of claim 15,
    상기 제1 비트스트림을 생성하는 단계는,Generating the first bitstream may include:
    스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 부호화 방법.A coding method for generating a first bitstream by hierarchically encoding a compatible multichannel audio signal according to a scalable channel coding scheme.
  17. 제15항에 있어서,The method of claim 15,
    상기 스케일러블 채널 부호화 방식은,The scalable channel coding scheme,
    적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 부호화 방식을 포함하는 부호화 방법.And a coding scheme for encoding the multichannel audio signal of the base layer and the multichannel audio signal of the enhancement layer derived through at least one downmixing and channel conversion.
  18. 제15항에 있어서,The method of claim 15,
    상기 제1 비트스트림을 생성하는 단계는,Generating the first bitstream may include:
    스케일러블 음질 부호화 방식에 따라 멀티채널 오디오 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하거나, 또는A first bitstream is generated by hierarchically encoding a multichannel audio compatible multichannel audio signal according to a scalable sound quality encoding scheme, or
    상기 제2 비트스트림을 생성하는 단계는,Generating the second bitstream may include:
    스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화하여 제2 비트스트림을 생성하는 부호화 방법.A coding method for generating a second bitstream by hierarchically encoding an audio object signal according to a scalable sound quality coding scheme.
  19. 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 단계;Extracting a first bitstream including the encoded compatible multichannel audio signal and a second bitstream including the encoded audio object signal from the output bitstream;
    상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 단계;Decoding the first bitstream to output a compatible multichannel audio signal;
    상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 단계; 및Outputting an audio object signal by decoding the second bitstream; And
    상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 단계Synthesizing the output compatible multichannel audio signal and an audio object signal;
    를 포함하는 복호화 방법.Decryption method comprising a.
  20. 스케일러블 다채널 오디오 신호를 위한 출력 비트스트림에 있어서,An output bitstream for a scalable multichannel audio signal,
    상기 출력 비트스트림은,The output bitstream,
    멀티채널 오디오 신호와 오디오 객체 신호가 부호화된 제1 비트스트림;A first bitstream in which the multichannel audio signal and the audio object signal are encoded;
    상기 오디오 객체 신호가 부호화된 제2 비트스트림; 및A second bitstream in which the audio object signal is encoded; And
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보 중 적어도 하나를 포함하는 부가 정보First additional information for editing an audio object signal in the compatible multichannel audio signal; Additional information including at least one of second additional information related to the compatible multichannel audio signal and third additional information related to the audio object signal;
    를 포함하는 출력 비트스트림.Output bitstream comprising a.
PCT/KR2012/009543 2011-11-14 2012-11-13 Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same WO2013073810A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/358,104 US20140310010A1 (en) 2011-11-14 2012-11-13 Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110118102 2011-11-14
KR10-2011-0118102 2011-11-14
KR1020120127499A KR102172279B1 (en) 2011-11-14 2012-11-12 Encoding and decdoing apparatus for supprtng scalable multichannel audio signal, and method for perporming by the apparatus
KR10-2012-0127499 2012-11-12

Publications (1)

Publication Number Publication Date
WO2013073810A1 true WO2013073810A1 (en) 2013-05-23

Family

ID=48429830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009543 WO2013073810A1 (en) 2011-11-14 2012-11-13 Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same

Country Status (1)

Country Link
WO (1) WO2013073810A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805727B2 (en) 2013-04-03 2017-10-31 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
CN110677369A (en) * 2014-07-09 2020-01-10 韩国电子通信研究院 Apparatus and method for transmitting broadcast signal using hierarchical division multiplexing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US20110022402A1 (en) * 2006-10-16 2011-01-27 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US20110022402A1 (en) * 2006-10-16 2011-01-27 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805727B2 (en) 2013-04-03 2017-10-31 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
US10276172B2 (en) 2013-04-03 2019-04-30 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
US10553225B2 (en) 2013-04-03 2020-02-04 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
US10832690B2 (en) 2013-04-03 2020-11-10 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
US11270713B2 (en) 2013-04-03 2022-03-08 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
US11769514B2 (en) 2013-04-03 2023-09-26 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
CN110677369A (en) * 2014-07-09 2020-01-10 韩国电子通信研究院 Apparatus and method for transmitting broadcast signal using hierarchical division multiplexing

Similar Documents

Publication Publication Date Title
KR101283783B1 (en) Apparatus for high quality multichannel audio coding and decoding
KR102172279B1 (en) Encoding and decdoing apparatus for supprtng scalable multichannel audio signal, and method for perporming by the apparatus
WO2014021588A1 (en) Method and device for processing audio signal
JP6088444B2 (en) 3D audio soundtrack encoding and decoding
WO2009123409A2 (en) Method and apparatus for generating additional information bit stream of multi-object audio signal
JP5174527B2 (en) Acoustic signal multiplex transmission system, production apparatus and reproduction apparatus to which sound image localization acoustic meta information is added
US20100324915A1 (en) Encoding and decoding apparatuses for high quality multi-channel audio codec
US20200013426A1 (en) Synchronizing enhanced audio transports with backward compatible audio transports
US20050273322A1 (en) Audio signal encoding and decoding apparatus
RU2323551C1 (en) Method for frequency-oriented encoding of channels in parametric multi-channel encoding systems
WO2009134085A2 (en) Method and apparatus for transmitting/receiving multi - channel audio signals using super frame
TW201907391A (en) Layered intermediate compression for audio data for high-end stereo surround sound
US11081116B2 (en) Embedding enhanced audio transports in backward compatible audio bitstreams
WO2014021586A1 (en) Method and device for processing audio signal
WO2013073810A1 (en) Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same
KR101003415B1 (en) Method of decoding a dmb signal and apparatus of decoding thereof
US11062713B2 (en) Spatially formatted enhanced audio data for backward compatible audio bitstreams
WO2014058275A1 (en) Device and method for generating audio data, and device and method for playing audio data
JP7182751B1 (en) System, method, and apparatus for conversion of channel-based audio to object-based audio
WO2015147433A1 (en) Apparatus and method for processing audio signal
KR20110085155A (en) Apparatus for generationg and reproducing audio data for real time audio stream and the method thereof
KR100208004B1 (en) Device and method for reproducing stereo audio using upper/lower channel audio signals
KR100516733B1 (en) Dolby prologic audio apparatus
KR20220030983A (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
KR20100020889A (en) Method and apparatus for encoding and decoding audio signal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12848852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14358104

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12848852

Country of ref document: EP

Kind code of ref document: A1