WO2020009082A1 - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法 Download PDF

Info

Publication number
WO2020009082A1
WO2020009082A1 PCT/JP2019/026200 JP2019026200W WO2020009082A1 WO 2020009082 A1 WO2020009082 A1 WO 2020009082A1 JP 2019026200 W JP2019026200 W JP 2019026200W WO 2020009082 A1 WO2020009082 A1 WO 2020009082A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
encoding
prediction
unit
section
Prior art date
Application number
PCT/JP2019/026200
Other languages
English (en)
French (fr)
Inventor
スリカンス ナギセティ
江原　宏幸
ロヒス マース
チョンスン リム
利昭 櫻井
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020528992A priority Critical patent/JP7407110B2/ja
Priority to CN201980042253.6A priority patent/CN112352277B/zh
Priority to US17/256,899 priority patent/US11545165B2/en
Publication of WO2020009082A1 publication Critical patent/WO2020009082A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients

Definitions

  • the present disclosure relates to an encoding device and an encoding method.
  • signals of each channel (left and right channels) constituting a stereo signal are an M signal (or a sum signal) and an S signal (or a difference signal). And the M signal and the S signal are respectively encoded by a monaural audio-acoustic codec.
  • M / S stereo codec a coding method for predicting an S signal using an M signal (hereinafter, referred to as MS prediction coding) has been proposed (for example, see Patent Documents 1-3).
  • Japanese Patent No. 5122681 JP 2014-516425 A Japanese Patent No. 5705964
  • the non-limiting embodiment of the present disclosure contributes to providing an encoding device and an encoding method that can efficiently encode an S signal in MS prediction encoding.
  • An encoding device encodes a sum signal indicating a sum of a left channel signal and a right channel signal included in a stereo signal, and generates first encoded information.
  • a prediction parameter for predicting a difference signal indicating a difference between the left channel signal and the right channel signal is calculated using a circuit and a parameter regarding an energy difference between the left channel signal and the right channel signal.
  • An encoding method encodes a sum signal indicating a sum of a left channel signal and a right channel signal constituting a stereo signal, generates first encoded information, and generates the first encoded information.
  • an S signal in MS prediction encoding, can be efficiently encoded.
  • FIG. 2 is a block diagram showing a configuration example of a part of an encoding device according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating a configuration example of an encoding device according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating a configuration example of a decoding device according to Embodiment 1.
  • FIG. 7 is a block diagram showing a configuration example of an encoding device according to Embodiment 2.
  • FIG. 13 is a block diagram showing a configuration example of a decoding device according to Embodiment 2.
  • FIG. 14 is a block diagram illustrating a configuration example of an encoding device according to Embodiment 3.
  • FIG. 14 is a block diagram showing a configuration example of a decoding device according to Embodiment 3.
  • FIG. 14 is a block diagram showing a configuration example of a decoding device according to Embodiment 3.
  • FIG. 17 is a block diagram showing another configuration example of the encoding device according to Embodiment 3.
  • FIG. 17 is a block diagram showing another configuration example of the decoding device according to the third embodiment.
  • FIG. 17 is a block diagram illustrating a configuration example of an encoding device according to Embodiment 4.
  • FIG. 14 is a block diagram showing a configuration example of a decoding device according to Embodiment 4.
  • FIG. 21 is a block diagram illustrating a configuration example of an encoding device according to Embodiment 5.
  • FIG. 21 is a block diagram showing another configuration example of the encoding device according to Embodiment 5.
  • the communication system includes an encoding device (encoder) 100 and a decoding device (decoder) 200.
  • FIG. 1 is a block diagram showing a partial configuration of encoding apparatus 100 according to the present embodiment.
  • M signal encoding section 106 encodes a sum signal indicating the sum of a left channel signal and a right channel signal forming a stereo signal to generate first encoded information.
  • Energy difference calculation section 101 calculates a prediction parameter for predicting a difference signal indicating a difference between the left channel signal and the right channel signal, using a parameter related to an energy difference between the left channel signal and the right channel signal.
  • the entropy encoding unit 103 encodes the prediction parameter to generate second encoded information.
  • FIG. 2 is a block diagram illustrating a configuration example of the encoding device 100 according to the present embodiment.
  • encoding apparatus 100 includes energy difference calculating section 101, quantization section 102, entropy encoding section 103, inverse quantization section 104, downmix section 105, M signal encoding section 106, , An adder 107, an M signal energy calculator 108, an MS predictor 109, an adder 110, a residual encoder 111, and a multiplexer 112.
  • an L signal (Left channel signal) and an R signal (Right channel signal) constituting a stereo signal are input to the energy difference calculation unit 101 and the downmix unit 105.
  • Energy difference calculator 101 the energy of the energy and R signals of the L signal respectively calculated, to calculate the energy difference d E of the L and R signals.
  • Energy difference calculation section 101 outputs calculated energy difference d E to quantization section 102 as a prediction parameter for predicting an S signal (difference signal) indicating a difference between the L signal and the R signal.
  • the quantization unit 102 scalar-quantizes the prediction parameter input from the energy difference calculation unit 101 and outputs the obtained quantization index to the entropy coding unit 103 and the inverse quantization unit 104.
  • the quantization index may take a difference between adjacent subbands.
  • the quantization unit 102 may perform subband quantization (referred to as “difference quantization”) between adjacent subbands.
  • difference quantization subband quantization
  • the efficiency of entropy coding may be increased by performing differential quantization.
  • the entropy coding unit 103 performs entropy coding (for example, Huffman coding, etc .; see, for example, Non-Patent Document 1 or Non-Patent Document 2) on the quantization index input from the quantization unit 102, and performs coding.
  • the multiplexing result (prediction parameter coding information) is output to multiplexing section 112.
  • the entropy coding unit 103 calculates the number of bits required for the coding result, and information indicating the difference (the number of surplus bits) between the maximum number of bits usable for the coding result and the calculated bit number (in other words, , Information indicating how many bits are smaller than the maximum number of bits) to at least one of the M signal encoding unit 106 and the residual encoding unit 111.
  • the inverse quantization unit 104 decodes the quantization index input from the quantization unit 102 and outputs the obtained decoded prediction parameter (decoding energy difference) to the MS prediction unit 109.
  • the downmix unit 105 converts the input L signal and R signal into an M signal (sum signal) indicating the sum of the L signal and the R signal, and an S signal (difference signal) indicating the difference between the L signal and the R signal. ) (LR-MS conversion). Downmixing section 105 outputs the M signal to M signal encoding section 106, adder 107, M signal energy calculation section 108, and MS prediction section 109. Downmix section 105 outputs the S signal to adder 110.
  • the downmix unit 105 converts the L signal (L (f)) and the R signal (R (f)) into the M signal (M (f)) and the S signal (S (f)) according to Equation (1). Convert.
  • Equation (1) shows the LR-MS conversion in the frequency domain (frequency f), but the downmix unit 105 performs, for example, the LR-MS conversion in the time domain (time n) as shown in equation (2). May be performed.
  • M signal encoding section 106 encodes the M signal input from downmix section 105 and outputs the encoding result (M signal encoded information) to multiplexing section 112. Further, M signal encoding section 106 decodes the encoding result and outputs obtained decoded M signal M ′ to adder 107.
  • the M signal encoding unit 106 may determine (for example, add) the number of encoded bits of the M signal based on information indicating the number of surplus bits input from the entropy encoding unit 103.
  • the adder 107 calculates the M signal input from the down-mix unit 105, a residual signal E m is the difference between the decoded M signal received as input from M signal encoding unit 106 (or encoding error), Output to residual coding section 111.
  • the M signal energy calculation unit 108 calculates the energy M Energy of the M signal using the M signal input from the downmix unit 105 and outputs the calculated energy M Energy to the MS prediction unit 109.
  • the MS prediction section 109 includes an M signal input from the downmix section 105, an energy of the M signal input from the M signal energy calculation section 108, and a decoding prediction parameter (decoding) input from the inverse quantization section 104.
  • the S signal is predicted using the energy difference).
  • M-S prediction unit 109 For example, M-S prediction unit 109, according to the following equation (3) to calculate ⁇ a prediction S signal S.
  • b represents the sub-band number
  • M b represents an M signal in the subband b
  • H b shows the frequency response in the subband b.
  • the frequency response Hb is represented, for example, by the following equation (4).
  • L b represents an L signal in the subband b
  • R b represents an R signal in the subband b
  • d E (b) shows the decoded energy difference in the subband b.
  • the function E (x) is a function that returns an expected value of x.
  • MS prediction section 109 receives the decoding energy difference (corresponding to d E (b) in equation (4)), which is a prediction parameter input from inverse quantization section 104, and the M signal energy calculation section 108
  • the ratio (corresponding to H b in Equations (3) and (4)) to the energy of the M signal (corresponding to M b 2 in Equation (4)) is converted into the M signal (M b in Equation (3)) )
  • Expression (3) shows the predicted S signal (S 1 to b ) for each subband b as an example, but is not limited thereto.
  • the MS prediction unit 109 may calculate a predicted S signal in a group unit of a plurality of subbands, may calculate a predicted S signal in the entire frequency domain, and may calculate a predicted S signal in the time domain. May be calculated.
  • MS prediction section 109 outputs the obtained predicted S signal to adder 110.
  • the adder 110 calculates the S signal input from the down-mix unit 105, a residual signal E s is the difference between the predicted S signal input from the M-S prediction unit 109 (or encoding error), Output to residual coding section 111.
  • Residual coding unit 111 a residual signal E s input from residual signal E m and the adder 110 is input from the adder 107 encodes, multiplexes the encoded result (residual coding information) Output to the unit 112.
  • residual coding unit 111 may encode a combination of residual signal E m and the residual signal E s.
  • the residual encoding unit 111 may determine (for example, add) the number of encoded bits of the residual signal based on information indicating the number of surplus bits input from the entropy encoding unit 103.
  • Multiplexing section 112 receives prediction parameter coding information input from entropy coding section 103, M signal coding information input from M signal coding section 106, and residual signal input from residual coding section 111.
  • the difference coded information is multiplexed.
  • the multiplexing unit 112 transmits, for example, the obtained bit stream to the decoding device 200 via a transport layer or the like.
  • FIG. 3 is a block diagram showing a configuration example of the decoding device 200 according to the present embodiment.
  • decoding apparatus 200 includes separating section 201, entropy decoding section 202, energy difference decoding section 203, residual decoding section 204, M signal decoding section 205, adder 206, and M signal energy calculation.
  • the bit stream transmitted from the encoding device 100 is input to the separation unit 201.
  • prediction parameter coding information, M signal coding information, and residual coding information are multiplexed in the bit stream.
  • the separation unit 201 separates prediction parameter coding information, M signal coding information, and residual coding information from the input bit stream.
  • Demultiplexing section 201 outputs prediction parameter coding information to entropy decoding section 202, outputs residual coding information to residual decoding section 204, and outputs M signal coding information to M signal decoding section 205.
  • the entropy decoding unit 202 decodes the prediction parameter coding information input from the separation unit 201 and outputs a decoded quantization index to the energy difference decoding unit 203.
  • the energy difference decoding unit 203 decodes the decoding quantization index input from the entropy decoding unit 202 and outputs the obtained decoding prediction parameter (decoding energy difference d E ) to the MS prediction unit 208.
  • Residual decoding section 204 decodes the residual coded information input from separating section 201, and obtains decoded residual signal E m ′ of M signal and decoded residual signal E s ′ of S signal. Residual decoding section 204 outputs decoded residual signal E m ′ to adder 206, and outputs decoded residual signal E s ′ to adder 209.
  • the M signal decoding unit 205 decodes the M signal coded information input from the separation unit 201, and outputs a decoded M signal M ’to the adder 206.
  • the adder 206 adds the decoded residual signal Em ′ input from the residual decoding unit 204 and the decoded M signal M ′ input from the M signal decoding unit 205, and obtains a decoded M signal M Is output to the M signal energy calculation unit 207, the MS prediction unit 208, and the upmix unit 210.
  • M signal energy calculating section 207 calculates the M signal energy M En # using decoded M signal M # inputted from adder 206, and outputs the result to MS predicting section 208.
  • the MS prediction unit 208 receives the decoded M signal M # input from the adder 206, the energy M En # of the M signal input from the M signal energy calculation unit 207, and the energy difference decoding unit 203.
  • the S signal is predicted using the decoding energy difference d E.
  • the MS prediction unit 208 calculates the decoding energy difference d E (corresponding to d E (b) in Expression (4)) according to Expressions (3) and (4), similarly to the MS prediction unit 109. , M signal energy M En ⁇ (corresponding to M b 2 in Equation (4)) (corresponding to H b in Equations (3) and (4)), and the decoded M signal M ⁇ (Equation (3) by multiplying the corresponding) to the M b of), to calculate the predicted S signal S '.
  • MS prediction section 208 outputs predicted S signal S ′ to adder 209.
  • the adder 209 adds the decoded residual signal E s ′ input from the residual decoding unit 204 and the predicted S signal S ′ input from the MS prediction unit 208, and outputs a decoded S signal S ⁇ is output to upmix section 210.
  • Upmix section 210 converts decoded M signal M # input from adder 206 and decoded S signal S # input from adder 209 into decoded L signal L # and decoded R signal R # (MS -LR conversion).
  • the upmix unit 210 converts the decoded M signal and the decoded S signal into a decoded L signal and a decoded R signal according to Expression (5).
  • Equation (5) shows the MS-LR conversion in the frequency domain (frequency f), but the upmix unit 210 performs, for example, the MS-LR conversion in the time domain (time n) as shown in equation (6). May be performed.
  • the encoding device 100 and the decoding device 200 according to the present embodiment have been described above.
  • encoding apparatus 100 calculates an energy difference between the L signal and the R signal as a prediction parameter for predicting the S signal. Accordingly, the encoding apparatus 100 does not calculate the cross-correlation between the M signal and the S signal for predicting the S signal, and outputs the stereo signals (the energy of the L signal and the R signal) input to the encoding apparatus 100. Can be used to calculate a predicted S signal.
  • the coding apparatus 100 can reduce the amount of calculation for calculating a predicted S signal in MS prediction coding. Therefore, according to the present embodiment, in MS prediction encoding, an S signal can be efficiently encoded.
  • encoding apparatus 100 performs entropy encoding on a prediction parameter (quantization index) indicating an energy difference between the L signal and the R signal.
  • the code length is variable. Accordingly, when there is a bit (surplus bit) that is not used in encoding the prediction parameter, the encoding device 100 can encode the M signal or the residual signal by adding the extra bit. That is, the encoding apparatus 100 can encode the M signal or the residual signal by using the surplus bits obtained by entropy encoding in addition to the number of bits allocated to each. Therefore, according to the present embodiment, the quantization performance of the M signal or the residual signal in encoding apparatus 100 can be improved, and decoding apparatus 200 can realize a high-quality decoded stereo signal.
  • the encoding apparatus 100 encodes the residual signal E m of the M signal and transmits to the decryption device 200. Then, the decoding device 200 generates a decoded M signal M ′ used for calculating the predicted S signal by using the residual signal E m (decoded residual signal) of the M signal. For example, when the encoding error of the M signal increases, the prediction error of the S signal increases, and the quality of the S signal may be degraded. On the other hand, in the present embodiment, by including the residual signal of the M signal in the coding information, the coding error of the M signal can be suppressed and the prediction error of the S signal can be suppressed. Quality can be improved.
  • the encoding apparatus 100 encodes the residual signal E s predictions S signal is transmitted to the decoding device 200. Then, the decoding device 200 generates a decoded S signal S ′ using the residual signal E s (decoding residual signal) of the predicted S signal.
  • the prediction error of the S signal can be suppressed by including the residual signal of the predicted S signal in the encoded information, so that the quality of the S signal can be improved.
  • the decoding device 200 may decode (predict) the S signal based on the M signal encoding information transmitted from the encoding device 100 and the prediction parameter encoding information (for example, energy difference).
  • M signal energy calculating section 108 and MS predicting section 109 calculate the energy of M signal and the predicted S signal using M signal.
  • the encoding device 100 may calculate the energy of the M signal and the predicted S signal using the decoded M signal output from the M signal encoding unit 106.
  • the encoding device 100 can generate the predicted S signal under the same conditions as those of the decoding device 200 by using the energy of the M signal and the decoded M signal used for calculating the predicted S signal in the decoding device 200. .
  • the encoding apparatus 100 the residual signal E m of the M signal (e.g., the output of the residual encoding unit 111) 'and m, decoded M signal M' decoded residual signal E obtained by decoding (e.g. , And the output of the M signal encoding unit 106) to generate a decoded M signal M ⁇ , and calculate the energy of the M signal and the predicted S signal using the decoded M signal M ⁇ .
  • the encoding device 100 can further improve the prediction accuracy of the S signal.
  • the decoded residual signal E 'm required in order to obtain a residual signal E s
  • the encoding apparatus 100 without combination with the residual signal E s and the residual signal E m Encode.
  • FIG. 4 is a block diagram illustrating a configuration example of an encoding device 300 according to the present embodiment.
  • the same components as those in the first embodiment (FIG. 2) are denoted by the same reference numerals, and description thereof will be omitted.
  • Prediction coefficient calculation section 301 calculates an MS prediction coefficient using the S signal input from downmix section 105 and the decoded M signal input from M signal encoding section 106.
  • the prediction coefficient calculation unit 301 outputs the calculated MS prediction coefficient to the quantization unit 302 as a prediction parameter for predicting the S signal.
  • the prediction coefficient calculation unit 301 calculates an MS prediction coefficient according to the following equation (7).
  • S b indicates an S signal in subband b
  • M ′ b indicates a decoded M signal in subband b
  • M ′ Ene (b) indicates an energy of the decoded M signal in subband b.
  • the function E (x) is a function that returns an expected value of x.
  • the molecular component of the equation (7) is calculated according to the following equation (8).
  • the energy M'Ene (b) of the decoded M signal shown in the equation (7) is calculated according to the following equation (9).
  • Equations (8) and (9) k start indicates the start number of the spectral coefficient in subband b, and k end indicates the end number of the spectral coefficient in subband b.
  • N bands indicates the number of subbands. “*” Indicates a complex conjugate.
  • M-S prediction coefficient (prediction parameter) shown in Equation (7) 'the correlation value between the S signal S, the energy M of the decoded M signal' decoded M signal M by a factor obtained by normalizing with Ene is there.
  • the MS prediction coefficient (prediction parameter) shown in equation (7) includes an error corresponding to the coding error between the M signal and the decoded M signal, but the difference between the L signal and the R signal. This is a parameter related to the energy difference.
  • the quantization unit 302 scalar-quantizes the prediction parameter input from the prediction coefficient calculation unit 301, and outputs the obtained quantization index to the entropy coding unit 303 and the inverse quantization unit 304.
  • the entropy coding unit 303 performs entropy coding (for example, Huffman coding or the like) on the quantization index input from the quantization unit 302, and outputs the coding result (prediction parameter coding information) to the multiplexing unit 112. Output to entropy coding (for example, Huffman coding or the like) on the quantization index input from the quantization unit 302, and outputs the coding result (prediction parameter coding information) to the multiplexing unit 112. Output to
  • the entropy coding unit 303 calculates the number of bits required for the coding result, and information indicating the difference (the number of surplus bits) between the maximum number of bits usable for the coding result and the calculated bit number (in other words, , Information indicating how many bits are smaller than the maximum number of bits) to at least one of the M signal encoding unit 106 and the residual encoding unit 306. At least one of the M signal encoding unit 106 and the residual encoding unit 306 may encode the M signal and the residual signal based on information indicating the number of surplus bits, for example.
  • the inverse quantization unit 304 decodes the quantization index input from the quantization unit 302 and outputs the obtained decoded prediction parameter (decoded MS prediction coefficient) to the MS prediction unit 305.
  • the MS prediction section 305 uses the decoded M signal input from the M signal encoding section 106 and the decoded prediction parameter (decoded MS prediction coefficient) input from the inverse quantization section 304 to generate an S signal. To predict.
  • the MS prediction unit 305 calculates the predicted S signal S ′′ according to the following equation (10).
  • b represents the sub-band number
  • M 'b represents the decoded M signal in the subband b
  • H b represents an M-S prediction coefficients in the subband b (see equation (7)) .
  • M-S prediction unit 305 Ene 'M of (corresponding to b, the decoded M signal energy (equation (7) correlation value between the decoded M signal and S signal S b M of Equation (7))' the ratio of the corresponding) to correspond to H b (equation (7)), 'by multiplying the corresponding b), the predicted S signal S' decoding M signal M (formula (7) to calculate the 'b .
  • Residual coding unit 306 a residual signal E s of the S signal received as input from adder 110 encodes and outputs the encoded result (the residual coding information) to the multiplexing unit 112.
  • FIG. 5 is a block diagram illustrating a configuration example of a decoding device 400 according to the present embodiment.
  • the same components as those in the first embodiment (FIG. 3) are denoted by the same reference numerals, and description thereof will be omitted.
  • the entropy decoding unit 401 decodes the prediction parameter coding information input from the separation unit 201, and outputs a decoded quantization index to the prediction coefficient decoding unit 402.
  • the prediction coefficient decoding unit 402 decodes the decoding quantization index input from the entropy decoding unit 401, and outputs the obtained decoding prediction parameter (decoded MS prediction coefficient) to the MS prediction unit 404.
  • Residual decoding section 403 decodes the residual coded information input from demultiplexing section 201 to obtain decoded residual signal E s ′ of the S signal. Residual decoding section 403 outputs decoded residual signal E s ' to adder 209.
  • MS prediction section 404 predicts an S signal using decoded M signal M ′ input from M signal decoding section 205 and decoded MS prediction coefficient input from prediction coefficient decoding section 402.
  • M-S prediction unit 404 like the M-S prediction unit 305, according to equation (10), the M-S prediction coefficient H b, by multiplying the decoded M signal M 'b, prediction S signal S b ′′ is calculated.
  • the encoding device 300 and the decoding device 400 according to the present embodiment have been described above.
  • the MS prediction section 404 calculates the predicted S signal S ′′ using the decoded MS prediction coefficient and the decoded M signal.
  • MS prediction section 305 calculates predicted S signal S ′′ using the decoded MS prediction coefficient and the decoded M signal.
  • prediction coefficient calculation section 301 calculates an MS prediction coefficient using the decoded M signal.
  • encoding apparatus 300 uses the decoded M signal used in decoding apparatus 400 in both the calculation processing of the MS prediction coefficient and the prediction processing of the S signal. In other words, the encoding device 300 performs the S signal prediction processing under the same conditions as the S signal prediction processing in the decoding device 400, and reproduces the processing in the decoding device 400.
  • the encoding device 300 can perform MS prediction encoding in consideration of the encoding error of the M signal, and can improve the prediction accuracy of the S signal in the MS prediction encoding. Therefore, according to the present embodiment, in MS prediction encoding, an S signal can be efficiently encoded.
  • the present embodiment is particularly effective at a low bit rate where the coding error (or coding distortion) of the M signal becomes large.
  • prediction coefficient calculation section 301 of encoding apparatus 300 calculates an MS prediction coefficient using an M signal (for example, the output of downmix section 105) instead of the decoded M signal. May be. Also in this case, encoding apparatus 300 predicts an S signal in MS prediction section 305 using the decoded M signal and the decoded MS prediction coefficient in the same manner as decoding apparatus 400. Therefore, for example, even when a difference occurs in the MS prediction coefficient calculated between the case where the decoded M signal is used and the case where the M signal is used, the prediction error caused by the difference in the prediction coefficient is determined by the residual of the S signal. it is possible to include in the signal E s, it can be suppressed quality deterioration of the decoded stereo signal.
  • M signal for example, the output of downmix section 105
  • the communication system includes an encoding device (encoder) 500 and a decoding device (decoder) 600.
  • FIG. 6 is a block diagram illustrating a configuration example of an encoding device 500 according to the present embodiment.
  • coding apparatus 500 includes downmix section 501, M signal coding section 502, prediction coefficient calculation section 503, quantization coding section 504, inverse quantization section 505, and channel prediction section 506. , A residual calculator 507, a residual encoder 508, and a multiplexer 509.
  • the L signal and the R signal that constitute a stereo signal are input to the downmix unit 501, the prediction coefficient calculation unit 503, and the residual calculation unit 507.
  • the downmix unit 501 converts the input L signal and R signal into M signals (LR-M conversion). Downmixing section 501 outputs the M signal to M signal encoding section 502 and prediction coefficient calculation section 503. For example, the downmix unit 501 converts the L signal and the R signal into an M signal according to Equation (1) or Equation (2).
  • M signal encoding section 502 encodes the M signal input from downmix section 501, and outputs the encoding result (M signal encoded information) to multiplexing section 509. Further, M signal coding section 106 decodes the coding result and outputs the obtained decoded M signal M ′ to channel prediction section 506.
  • the prediction coefficient calculation unit 503 calculates an ML prediction coefficient and an MR prediction coefficient using the input L signal and R signal and the M signal input from the downmix unit 501, respectively.
  • the prediction coefficient calculation unit 503 outputs the calculated ML prediction coefficient and the MR prediction coefficient to the quantization encoding unit 504 as prediction parameters for predicting the L signal and the R signal.
  • the prediction coefficient calculation unit 503 calculates the ML prediction coefficient X LM (b) and the MR prediction coefficient X RM (b) of the subband b according to the following equations (11) and (12).
  • L b represents an L signal in the subband b
  • R b represents an R signal in the subband b
  • M b represents an M signal in the subband b.
  • the function E (x) is a function that returns an expected value of x. That is, the ML prediction coefficient X LM indicates a correlation value between the L signal and the M signal, and the MR prediction coefficient X RM indicates a correlation value between the R signal and the M signal.
  • the quantization encoding unit 504 scalar-quantizes the prediction parameters (ML prediction coefficient and MR prediction coefficient) input from the prediction coefficient calculation unit 503, and encodes the obtained quantization index.
  • the coding result (prediction parameter coding information) is output to multiplexing section 509. Further, the quantization encoding unit 504 outputs the quantization index to the inverse quantization unit 505.
  • the inverse quantization unit 505 decodes the quantization index input from the quantization encoding unit 504, and obtains the decoded prediction parameters (decoded ML prediction coefficient and decoded MR prediction coefficient) obtained by the channel prediction unit 506. Output to
  • the channel prediction unit 506 converts the decoded prediction parameters (decoded ML prediction coefficient and decoded MR prediction coefficient) input from the inverse quantization unit 505 and the decoded M signal input from the M signal encoding unit 502. To predict the L and R signals.
  • Channel prediction section 506 outputs the predicted L signal and predicted R signal to residual calculation section 507.
  • the channel prediction unit 506 calculates the predicted L signal L ′ according to the following equations (13) and (14).
  • H L b indicates a frequency response in subband b
  • M ′ b indicates a decoded M signal in subband b
  • M Ene (b ) shows the energy of the decoded M signal in the subband b.
  • the function E (x) is a function that returns an expected value of x.
  • the channel prediction unit 506 calculates the predicted R signal R ′ according to the following equations (15) and (16).
  • H R b represents a frequency response in the subband b
  • M 'b denotes the decoded M signal in the subband b
  • M Ene (b ) shows the energy of the decoded M signal in the subband b.
  • the function E (x) is a function that returns an expected value of x.
  • Residual calculation section 507 calculates the L signal is input, the residual signal E L which is a difference between the predicted L signal inputted from the channel estimation unit 506, and outputs the residual coding unit 508. Further, the residual calculator 507 calculates the R signal input, the residual signal E R which is a difference between the predicted R signal inputted from the channel estimation unit 506, and outputs the residual coding unit 508 .
  • Residual coding unit 508 a residual signal E L and the residual signal E R inputted from the residual calculation section 507 encodes and outputs the encoded result (the residual coding information) to the multiplexing unit 509 .
  • the multiplexing unit 509 receives the M signal encoded information input from the M signal encoding unit 502, the prediction parameter encoded information input from the quantization encoding unit 504, and the residual signal encoding unit 508.
  • the residual encoded information is multiplexed.
  • the multiplexing unit 509 transmits, for example, the obtained bit stream to the decoding device 600 via a transport layer or the like.
  • FIG. 7 is a block diagram illustrating a configuration example of a decoding device 600 according to the present embodiment.
  • the decoding apparatus 600 includes a separating unit 601, an M signal decoding unit 602, a prediction coefficient decoding inverse quantization unit 603, a residual decoding unit 604, a channel prediction unit 605, and an adding unit 606. Including.
  • a bit stream transmitted from the encoding device 500 is input to the separation unit 601.
  • prediction parameter coding information, M signal coding information, and residual coding information are multiplexed in the bit stream.
  • the separation unit 601 separates prediction parameter coding information, M signal coding information, and residual coding information from an input bit stream. Separating section 601 outputs M signal encoded information to M signal decoding section 602, outputs prediction parameter encoded information to prediction coefficient decoding inverse quantization section 603, and outputs residual encoded information to residual decoding section 604. Output.
  • M signal decoding section 602 decodes the M signal encoded information input from separation section 601 and outputs decoded M signal M ′ to channel prediction section 605.
  • the prediction coefficient decoding inverse quantization unit 603 decodes the prediction parameter coding information input from the separation unit 601 and decodes the prediction prediction parameters (decoding ML prediction coefficient X LM and decoding M- R prediction coefficient X RM ) is output to channel prediction section 605.
  • the residual decoding unit 604 decodes the residual coded information input from the separating unit 601 to obtain a decoded residual signal EL ′ of the L signal and a decoded residual signal E R ′ of the R signal. Residual decoding section 604 outputs decoded residual signal E L ′ and decoded residual signal E R ′ to adding section 606.
  • the channel prediction unit 605 includes a decoded M signal input from the M signal decoding unit 602 and a decoded prediction parameter (decoded ML prediction coefficient and MR prediction coefficient) input from the prediction coefficient decoding inverse quantization unit 603. Is used to predict the L and R signals.
  • Channel prediction section 605 outputs the predicted L signal and predicted R signal to addition section 606.
  • the channel prediction unit 605 calculates the predicted L signal L ′ according to Equations (13) and (14), and generates the predicted R signal R ′ according to Equations (15) and (16). calculate.
  • the adding section 606 adds the decoded residual signal E L 'input from the residual decoding section 604 and the predicted L signal input from the channel prediction section 605, and outputs a decoded L signal L ⁇ ⁇ as the addition result. I do. Further, adding section 606 adds decoded residual signal E R ′ input from residual decoding section 604 and the predicted R signal input from channel prediction section 605, and outputs decoded R signal R ⁇ Is output.
  • the encoding device 500 and the decoding device 600 according to the present embodiment have been described above.
  • the coding apparatus 500 uses the M signal, the L signal and the R signal, and performs prediction parameters (ML prediction). Coefficient and MR prediction coefficient).
  • encoding apparatus 500 predicts the L signal and the R signal using the decoded M signal and the decoded prediction parameter.
  • the encoding device 500 performs the L signal and R signal prediction processing under the same conditions as the L signal and R signal prediction processing in the decoding device 600, and reproduces the processing in the decoding device 600. Therefore, the encoding device 500 can perform channel prediction encoding in consideration of the encoding error of the M signal and the prediction errors and the encoding errors of the ML prediction and the MR prediction. The encoding performance of the L signal and the R signal can be improved.
  • the present embodiment in the channel prediction coding, the L signal and the R signal can be efficiently coded.
  • the present embodiment is particularly effective at a low bit rate where the coding error (or coding distortion) of the M signal becomes large.
  • the prediction coefficient calculation unit 503 calculates the ML prediction coefficient and the MR prediction coefficient using the M signal input from the downmix unit 501.
  • the prediction coefficient calculation unit 503 may calculate the ML prediction coefficient and the MR prediction coefficient using the decoded M signal input from the M signal encoding unit 502 instead of the M signal.
  • encoding apparatus 500 can calculate a prediction parameter using the decoded M signal used in decoding apparatus 600, so that the prediction accuracy of the L signal and the R signal in decoding apparatus 600 can be improved.
  • encoding of a stereo signal (a signal of two channels of an L channel and an R channel) has been described, but the signal to be encoded is not limited to a stereo signal, and may be a multi-channel signal (for example, 2 channels). Channel or more).
  • FIG. 8 is a block diagram illustrating a configuration example of an encoding device 500a that encodes a multi-channel signal (N channels, where N is an integer of 2 or more), and FIG. 9 decodes the multi-channel signal.
  • FIG. 14 is a block diagram showing a configuration example of a decoding device 600a.
  • Each component of the encoding device 500a illustrated in FIG. 8 and the decoding device 600a illustrated in FIG. 9 performs the same processing as each component of the encoding device 500 illustrated in FIG. 6 and the decoding device 600 illustrated in FIG. 6 and 7 are that the processing is performed on the two channels of the L signal and the R signal constituting the stereo signal, whereas the processing is performed on the N channel in FIGS. 8 and 9. That is, the encoding device 500a and the decoding device 600a predict each channel signal using the M signal (or the decoded M signal).
  • the communication system includes an encoding device (encoder) 700 and a decoding device (decoder) 800.
  • FIG. 10 is a block diagram illustrating a configuration example of an encoding device 700 according to the present embodiment.
  • coding apparatus 700 includes downmix section 701, M signal coding section 702, S signal coding section 703, coding mode coding section 704, and multiplexing section 705.
  • an L signal (Left channel signal) and an R signal (Right channel signal) constituting a stereo signal are input to the downmix unit 701 and the S signal encoding unit 703.
  • the downmix unit 701 converts the input L and R signals into M and S signals (LR-MS conversion). Downmixing section 701 outputs the M signal to M signal encoding section 702 and S signal encoding section 703, and outputs the S signal to S signal encoding section 703. For example, the downmix unit 701 converts an L signal and an R signal into an M signal and an S signal according to Equation (1) or Equation (2).
  • M signal encoding section 702 encodes the M signal input from downmix section 701 and outputs an encoding result (M signal encoded information) Cm to multiplexing section 705.
  • the S signal encoding unit 703 encodes the S signal using at least one of the input L signal and R signal, and the M signal and the S signal input from the downmix unit 701.
  • S signal encoding section 703 outputs the encoding result (S signal encoded information) Cs to multiplexing section 705.
  • the S signal encoding unit 703 encodes the S signal using both a “prediction mode” for performing MS prediction encoding and a “normal mode” for performing normal encoding. I do. Then, the S signal encoding unit 703 compares the encoding result in the prediction mode with the encoding result in the normal mode, selects an encoding mode with a better encoding result, and encodes the code in the selected encoding mode. It outputs S signal encoded information Cs including the multiplexing result to multiplexing section 705. Also, S signal encoding section 703 outputs information indicating the selected encoding mode to encoding mode encoding section 704.
  • the S signal Encode In the “prediction mode”, for example, as described in Embodiment 1 (for example, see FIG. 2) or Embodiment 2 (for example, see FIG. 4), the S signal Encode.
  • S signal encoding section 703 When the prediction mode is selected as the encoding mode, S signal encoding section 703 outputs prediction parameter encoding information and residual encoding information to multiplexing section 705 as S signal encoded information Cs.
  • the S signal encoding unit 703 performs monaural encoding on the S signal in, for example, an M / S stereo codec.
  • the S signal encoding unit 703 outputs the monaural encoding result of the S signal to the multiplexing unit 705 as S signal encoded information Cs.
  • the S signal encoding unit 703 may select an encoding mode having a smaller encoding error from the encoding result in the prediction mode and the encoding result in the normal mode.
  • the S signal encoding unit 703 may select an encoding mode that requires a smaller number of bits for the encoding result, from the encoding result in the prediction mode and the encoding result in the normal mode.
  • the coding mode selection criterion is not limited to the coding error and the number of coding bits, but may be another criterion related to coding performance.
  • Coding mode coding section 704 codes the coding mode input from S signal coding section 703, and outputs obtained mode coding information Cg to multiplexing section 705.
  • the multiplexing unit 705 receives the M signal encoded information input from the M signal encoding unit 702, the S signal encoded information input from the S signal encoding unit 703, and the input from the encoding mode encoding unit 704. Multiplex the mode coding information.
  • the multiplexing unit 705 transmits, for example, the obtained bit stream to the decoding device 800 via a transport layer or the like.
  • FIG. 11 is a block diagram illustrating a configuration example of a decoding device 800 according to the present embodiment.
  • decoding apparatus 800 includes a separating section 801, an M signal decoding section 802, an encoding mode decoding section 803, an S signal decoding section 804, and an upmix section 805.
  • the bit stream transmitted from the encoding device 700 is input to the separation unit 801.
  • M signal encoded information Cm, S signal encoded information Cs, and mode encoded information Cg are multiplexed.
  • the separation unit 801 separates M signal encoded information, S signal encoded information, and mode encoded information from an input bit stream. Separating section 801 outputs M signal encoded information to M signal decoding section 802, outputs mode encoded information to encoded mode decoding section 803, and outputs S signal encoded mode to S signal decoding section 804.
  • the M signal decoding unit 802 decodes the M signal coded information input from the separation unit 801 and outputs a decoded M signal M ′ to the S signal decoding unit 804 and the upmix unit 805.
  • Coding mode decoding section 803 decodes mode coding information input from separation section 801 and outputs information indicating the obtained coding mode to S signal decoding section 804.
  • the S signal decoding unit 804 decodes the coded S signal information based on the coding mode input from the coding mode decoding unit 803 to obtain a decoded S signal S ′.
  • S signal decoding section 804 outputs the decoded S signal to upmix section 805.
  • the S-signal decoding unit 804 When the encoding mode is the “prediction mode”, the S-signal decoding unit 804 performs, for example, as described in Embodiment 1 (for example, see FIG. 3) or Embodiment 2 (for example, see FIG. 5). , Using the decoded M signal input from the M signal decoding unit 802 and the S signal encoding information (the prediction parameter and the residual signal) input from the separation unit 801.
  • the S signal decoding unit 804 When the encoding mode is the “normal mode”, the S signal decoding unit 804 performs monaural decoding on the S signal encoded information, for example, to obtain a decoded S signal.
  • the upmix unit 805 converts the decoded M signal M ′ input from the M signal decoding unit 802 and the decoded S signal S ′ input from the S signal decoding unit 804 into a decoded L signal L ′ and a decoded R signal R ′. (MS-LR conversion). For example, the upmix unit 805 converts the decoded M signal and the decoded S signal into a decoded L signal and a decoded R signal according to Expression (5) or Expression (6).
  • the encoding device 700 and the decoding device 800 according to the present embodiment have been described above.
  • the coding apparatus 700 performs both predictive coding and monaural coding on the S signal, and selects a coding mode with a better coding result. Thereby, encoding apparatus 700 can efficiently encode the S signal, and decoding apparatus 800 can improve the decoding performance of the S signal.
  • the coding mode for the S signal may be a coding mode other than the prediction mode and the normal mode.
  • a case where two types of coding modes are used has been described, but three or more types of coding modes may be used. For example, when the correlation between the L signal and the R signal is low, a mode in which LR is dual-mono encoded may be used without using MS stereo encoding.
  • the encoding process on the S signal may be performed for each of a plurality of subbands, or may be performed for all of the plurality of subbands.
  • S signal encoding information and mode encoding information are generated for each subband.
  • the mode encoding information may be, for example, binary encoding information in which the band in which the prediction mode is selected is represented by “1” and the band in which the normal mode is selected is represented by “0”.
  • FIG. 12 is a block diagram illustrating a configuration example of an encoding device 900 according to the present embodiment.
  • the same components as those in the fourth embodiment are denoted by the same reference numerals, and description thereof will be omitted.
  • the decoding device according to the present embodiment has the same basic configuration as decoding device 800 according to Embodiment 4, and thus will be described with reference to FIG.
  • cross-correlation calculating section 901 calculates a normalized cross-correlation between input L signal and R signal. For example, the cross-correlation calculating unit 901 calculates a normalized cross-correlation value for each subband. Cross-correlation calculation section 901 outputs the calculated normalized cross-correlation value for each sub-band to sub-band classification section 902.
  • the cross-correlation calculating unit 901 calculates the normalized cross-correlation value X LR (b) of the subband b according to the following equation (17).
  • k start indicates the start number of spectral coefficients in the subband b
  • k end The represents the end number of spectral coefficients in the subband b
  • b is 0, 1
  • ..., is N bands -1 .
  • N bands indicates the number of subbands. “*” Indicates a complex conjugate
  • the function E (x) is a function that returns an expected value of x.
  • the sub-band classification unit 902 classifies the sub-bands into a plurality of groups based on the normalized cross-correlation value for each sub-band input from the cross-correlation calculation unit 901.
  • the number of subband groups may be, for example, the same as the number of selectable coding modes in S signal coding section 903.
  • the sub-band classification unit 902 classifies the sub-bands whose normalized cross-correlation values are within a predetermined range into groups corresponding to prediction modes (for example, MS prediction coding), and sets the normalized cross-correlation values to the predetermined range. Subbands outside the range are classified into groups corresponding to the normal mode (for example, monaural coding).
  • the sub-band classification unit 902 outputs classification information indicating a sub-band classification result to the S signal encoding unit 903 and the classification information encoding unit 904.
  • S signal encoding section 903 selects an S signal encoding mode (for example, either prediction mode or normal mode) based on the classification information input from subband classification section 902. Then, S signal encoding section 903 encodes the S signal input from downmix section 701 based on the selected encoding mode, and encodes the encoding result (S signal encoded information) Cs to multiplexing section 705. Output.
  • S signal encoding mode for example, either prediction mode or normal mode
  • the classification information encoding unit 904 encodes the classification information input from the subband classification unit 902, and outputs an encoding result (mode encoding information) Cg to the multiplexing unit 705.
  • the classification information encoding unit 904 expresses binary encoding information indicating a subband included in a group corresponding to the prediction mode by “1” and a subband included in a group corresponding to the normal mode by “0”. May be generated.
  • the decoding apparatus 800 determines the coding mode of the S signal for each subband based on the mode coding information (in other words, the classification information), and determines the S mode according to the determined coding mode. Decode the signal.
  • the MS coding for example, as the spectral shapes of the L signal and the R signal are similar (in other words, as the normalized cross-correlation value is higher), the number of S signals indicating the difference between the L signal and the R signal is smaller. Highly efficient encoding can be performed using the number of bits. In other words, the higher the normalized cross-correlation value of the L signal and the R signal is, the more efficiently the S signal is coded by the normal mode coding without predicting the S signal by the MS prediction coding (prediction mode). it can.
  • the prediction error of the MS prediction coding (prediction mode) becomes larger, so that the MS prediction code Coding may require more coded bits than normal mode coding.
  • the subband classification unit 902 classifies the subband b whose normalized cross-correlation value X LR (b) is in the range of 0.5 to 0.8 into a subband corresponding to the prediction mode. Further, the sub-band classification unit 902 classifies the sub-band b whose normalized cross-correlation value X LR (b) is out of the range of 0.5 to 0.8 into the sub-band corresponding to the normal mode.
  • S signal encoding section 903 has a small difference signal (ie, S signal) between the L signal and the R signal. Therefore, the S signal can be encoded with high efficiency using the normal mode. Also, for example, in a subband b in which the normalized cross-correlation value X LR (b) is in the range of 0.5 to 0.8, the S signal encoding unit 903 encodes the S signal using the prediction mode. Accordingly, the number of bits of the S signal encoded information can be reduced as compared with the case where the normal mode is used.
  • the S signal encoding unit 903 encodes the S signal in the normal mode to obtain the S signal encoded information. Can be prevented from inadvertently increasing the number of bits.
  • the range of the normalized cross-correlation value X LR (b) classified into the sub-band corresponding to the prediction mode is not limited to the range of 0.5 to 0.8, and may be another range.
  • encoding apparatus 900 can efficiently encode an S signal by selecting an encoding mode suitable for the correlation between an L signal and an R signal. Further, since encoding apparatus 900 encodes the S signal using one encoding mode selected based on the correlation between the L signal and the R signal, encoding apparatus 900 performs encoding using each of the plurality of encoding modes. The amount of calculation can be reduced as compared with the case of performing
  • the sub-band classification unit 902 may classify the plurality of sub-bands into the same number of groups as the S signal encoding modes.
  • the sub-band classification unit 902 classifies the sub-band b having the normalized cross-correlation value X LR (b) in the range of 0.5 to 0.8 into the sub-band corresponding to the prediction mode, and The sub-band b in which the value X LR (b) is larger than 0.8 is classified into the sub-band corresponding to the normal mode (for example, monaural coding), and the normalized cross-correlation value X LR (b) is set to 0. Subbands b in a range of less than 5 may be classified into subbands corresponding to dual mono mode (dual mono encoding). In dual mono coding, the S signal coding unit 903 performs monaural coding on the L signal and the R signal separately.
  • the coding mode used by the coding apparatus 900 is not limited to two or three as described above, and may be four or more.
  • the coding mode is not limited to a case where the coding mode is determined for each subband.
  • the coding mode may be determined for each group of a plurality of subbands, or may be determined for all bands.
  • encoding apparatus 900 selects an encoding mode based on a normalized cross-correlation value between an L signal and an R signal.
  • the parameter is not limited to the normalized cross-correlation value, and may be, for example, another parameter relating to the correlation between the L signal and the R signal.
  • a parameter serving as a criterion for selecting an encoding mode may be a prediction gain in MS prediction.
  • the encoding device 900 may select the prediction mode when the calculated prediction gain is high (for example, when the calculated prediction gain exceeds a predetermined threshold or is equal to or higher than a predetermined threshold).
  • the prediction gain can be defined as an S / N ratio between a signal to be predicted (an S signal in the present embodiment) and a prediction residual signal (an error signal between a predicted S signal and an actual S signal).
  • the reciprocal of the S / N ratio for the S signal is represented by the following equation (18).
  • M Ene (b ) shows the energy of the M signal in the subband b
  • S Ene (b) shows the energy of the S signal in the subband b
  • X SM (b) is in the sub-band b shows the cross-correlation value between the S signal and the M signal
  • S b represents the S signal in the subband b
  • M b represents a M signal in the subband b
  • S b M b is S signal and M in the sub-band b
  • S (k) indicates an S signal in each frequency bin k in subband b
  • M (k) indicates an M signal in each frequency bin k in subband b
  • H b Indicates the MS prediction coefficient in subband b (for example, see equation (7)).
  • the function E (x) represents a function that returns an expected value of x.
  • the prediction gain increases as (X SM (b)) 2 / E (S E n (b)) E (M E n (b)) increases. That is, the encoding apparatus 900 obtains a value obtained by normalizing the square of the cross-correlation between the M signal and the S signal by a value obtained by multiplying the energy of the M signal by the energy of the S signal. Cross-correlation "is calculated. Then, when the “normalized cross-correlation between the M signal and the S signal” is equal to or greater than a predetermined threshold (or exceeds the threshold), the encoding apparatus 900 determines that the prediction gain is high, and uses the prediction mode. Just fine.
  • FIG. 13 shows the configuration of encoding apparatus 900a in this case. 13 is different from coding apparatus 900 (FIG. 12) in that the input signal of cross-correlation calculation section 901a is an M signal and an S signal, which are output signals of downmix section 701. Are different.
  • the cross-correlation calculating unit 901a calculates the above-described “normalized cross-correlation between the M signal and the S signal”.
  • Each functional block used in the description of the above-described embodiment is partially or entirely realized as an LSI which is an integrated circuit, and each process described in the above-described embodiment is partially or entirely performed. It may be controlled by one LSI or a combination of LSIs.
  • the LSI may be composed of individual chips, or may be composed of one chip so as to include some or all of the functional blocks.
  • the LSI may have data input and output.
  • the LSI may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit, a general-purpose processor, or a dedicated processor. Further, a programmable FPGA (Field Programmable Gate Array) or a reconfigurable processor capable of reconfiguring connection and setting of circuit cells inside the LSI after manufacturing the LSI may be used.
  • the present disclosure may be implemented as digital processing or analog processing. Furthermore, if an integrated circuit technology that replaces the LSI appears due to the progress of the semiconductor technology or another technology derived therefrom, the functional blocks may be naturally integrated using the technology. Application of biotechnology, etc. is possible.
  • Non-limiting examples of communication devices include phones (mobile phones, smartphones, etc.), tablets, personal computers (PCs) (laptops, desktops, notebooks, etc.), cameras (digital still / video cameras, etc.). ), Digital players (such as digital audio / video players), wearable devices (such as wearable cameras, smart watches, tracking devices, etc.), game consoles, digital book readers, telehealth and telemedicine (remote health) Care / medicine prescription) devices, vehicles or vehicles with communication capabilities (automobiles, airplanes, ships, etc.), and combinations of the various devices described above.
  • communication devices include phones (mobile phones, smartphones, etc.), tablets, personal computers (PCs) (laptops, desktops, notebooks, etc.), cameras (digital still / video cameras, etc.). ), Digital players (such as digital audio / video players), wearable devices (such as wearable cameras, smart watches, tracking devices, etc.), game consoles, digital book readers, telehealth and telemedicine (remote health) Care / medicine prescription) devices
  • the communication device is not limited to a portable or movable device, and may be any type of device, device, system, such as a smart home device (a home appliance, a lighting device, a smart meter, Measurement equipment, control panels, etc.), vending machines, and any other "things" that can exist on an IoT (Internet of Things) network.
  • a smart home device a home appliance, a lighting device, a smart meter, Measurement equipment, control panels, etc.
  • vending machines and any other "things” that can exist on an IoT (Internet of Things) network.
  • IoT Internet of Things
  • Communication includes not only data communication by cellular systems, wireless LAN systems, communication satellite systems, etc., but also data communication by combinations of these.
  • the communication device also includes a device such as a controller or a sensor that is connected or connected to a communication device that performs the communication function described in the present disclosure.
  • a controller or a sensor that generates a control signal or a data signal used by a communication device that performs a communication function of the communication device is included.
  • the communication device includes infrastructure equipment such as a base station, an access point, and any other device, device, or system that communicates with or controls the above-described various devices. .
  • An encoding device encodes a sum signal indicating a sum of a left channel signal and a right channel signal included in a stereo signal, and generates first encoded information. And calculating a prediction parameter for predicting a difference signal indicating a difference between the left channel signal and the right channel signal using a parameter related to an energy difference between the left channel signal and the right channel signal.
  • a second encoding circuit that encodes the prediction parameter to generate second encoded information.
  • the prediction circuit predicts the difference signal using the prediction parameter and the sum signal, and generates a prediction difference signal;
  • a third encoding circuit that encodes the residual signal to generate third encoded information.
  • the third encoded information includes encoding of a residual signal between the sum signal and a decoded sum signal obtained by decoding the first encoded information. Results are included.
  • the parameter related to the energy difference is a correlation value between a decoded sum signal obtained by decoding the first encoded information and the difference signal, This is a coefficient obtained by normalizing with energy.
  • the second encoding circuit performs entropy encoding on the prediction parameter.
  • An encoding method encodes a sum signal indicating a sum of a left channel signal and a right channel signal forming a stereo signal, generates first encoded information, and generates the first encoded information. And calculating a prediction parameter for predicting a difference signal indicating a difference between the left channel signal and the right channel signal using a parameter regarding an energy difference between the left channel signal and the right channel signal.
  • the second encoded information is generated.
  • One embodiment of the present disclosure is useful for a voice communication system using MS prediction coding technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ＭＳ予測符号化において、Ｓ信号を効率良く符号化することができる符号化装置。Ｍ信号符号化部（１０６）は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１符号化情報を生成する。エネルギ差算出部（１０１）は、左チャネル信号と右チャネル信号との間のエネルギ差に関するパラメータを用いて、左チャネル信号と右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する。エントロピ符号化部（１０３）は、予測パラメータを符号化して、第２符号化情報を生成する。

Description

符号化装置及び符号化方法
　本開示は、符号化装置及び符号化方法に関する。
　Ｍ／Ｓ（Middle/Side）ステレオコーデックでは、ステレオ信号を構成する各チャネル（左チャネル及び右チャネル）の信号をＭ信号（又は和信号と呼ぶ）、及び、Ｓ信号（又は差信号と呼ぶ）に変換し、Ｍ信号及びＳ信号をそれぞれモノラル音声音響コーデックにより符号化する。また、Ｍ／Ｓステレオコーデックにおいて、Ｍ信号を用いてＳ信号を予測する符号化方法（以下、ＭＳ予測符号化と呼ぶ）が提案されている（例えば、特許文献１－３を参照）。
特許第５１２２６８１号公報 特表２０１４－５１６４２５号公報 特許第５７０５９６４号公報
　しかしながら、ＭＳ予測符号化において、Ｓ信号を効率良く符号化する方法について十分に検討されていない。
　本開示の非限定的な実施例は、ＭＳ予測符号化において、Ｓ信号を効率良く符号化することができる符号化装置及び符号化方法の提供に資する。
　本開示の一実施例に係る符号化装置は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、を具備する。
　本開示の一実施例に係る符号化方法は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、前記予測パラメータを符号化して、第２の符号化情報を生成する。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一実施例によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。
　本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
実施の形態１に係る符号化装置の一部の構成例を示すブロック図 実施の形態１に係る符号化装置の構成例を示すブロック図 実施の形態１に係る復号装置の構成例を示すブロック図 実施の形態２に係る符号化装置の構成例を示すブロック図 実施の形態２に係る復号装置の構成例を示すブロック図 実施の形態３に係る符号化装置の構成例を示すブロック図 実施の形態３に係る復号装置の構成例を示すブロック図 実施の形態３に係る符号化装置の他の構成例を示すブロック図 実施の形態３に係る復号装置の他の構成例を示すブロック図 実施の形態４に係る符号化装置の構成例を示すブロック図 実施の形態４に係る復号装置の構成例を示すブロック図 実施の形態５に係る符号化装置の構成例を示すブロック図 実施の形態５に係る符号化装置の他の構成例を示すブロック図
　以下、本開示の実施の形態について図面を参照して詳細に説明する。
　（実施の形態１）
　［通信システムの概要］
　本実施の形態に係る通信システムは、符号化装置（encoder）１００及び復号装置（decoder）２００を備える。
　図１は、本実施の形態に係る符号化装置１００の一部の構成を示すブロック図である。図１に示す符号化装置１００において、Ｍ信号符号化部１０６は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１符号化情報を生成する。エネルギ差算出部１０１は、左チャネル信号と右チャネル信号との間のエネルギ差に関するパラメータを用いて、左チャネル信号と右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する。エントロピ符号化部１０３は、予測パラメータを符号化して、第２符号化情報を生成する。
　［符号化装置の構成］
　図２は、本実施の形態に係る符号化装置１００の構成例を示すブロック図である。図２において、符号化装置１００は、エネルギ差算出部１０１と、量子化部１０２と、エントロピ符号化部１０３と、逆量子化部１０４と、ダウンミックス部１０５と、Ｍ信号符号化部１０６と、加算器１０７と、Ｍ信号エネルギ算出部１０８と、Ｍ－Ｓ予測部１０９と、加算器１１０と、残差符号化部１１１と、多重化部１１２と、を含む。
　図２において、エネルギ差算出部１０１及びダウンミックス部１０５には、ステレオ信号を構成するＬ信号（Left channel signal）、及び、Ｒ信号（Right channel signal）が入力される。
　エネルギ差算出部１０１は、Ｌ信号のエネルギ及びＲ信号のエネルギをそれぞれ算出し、Ｌ信号とＲ信号とのエネルギ差ｄＥを算出する。エネルギ差算出部１０１は、算出したエネルギ差ｄＥを、Ｌ信号とＲ信号との差を示すＳ信号（差信号）を予測するための予測パラメータとして量子化部１０２に出力する。
　量子化部１０２は、エネルギ差算出部１０１から入力される予測パラメータをスカラ量子化し、得られる量子化インデックスをエントロピ符号化部１０３及び逆量子化部１０４に出力する。なお、量子化インデックスは、隣接するサブバンド間で差分を取っても良い。例えば、量子化部１０２は、隣接するサブバンド間でサブバンド量子化（「差分量子化」と呼ぶ）を行っても良い。隣接するサブバンド間で量子化値が近くなる場合には、差分量子化を行った方がエントロピ符号化の効率が上がる場合がある。
　エントロピ符号化部１０３は、量子化部１０２から入力される量子化インデックスに対してエントロピ符号化（例えば、ハフマン符号化等。例えば、非特許文献１又は非特許文献２を参照）を行い、符号化結果（予測パラメータ符号化情報）を多重化部１１２に出力する。
　また、エントロピ符号化部１０３は、符号化結果に要するビット数を算出し、符号化結果に使用可能な最大ビット数と、算出したビット数との差（余剰ビット数）を示す情報（換言すると、最大ビット数と比較して何ビット少ないかを示す情報）を、Ｍ信号符号化部１０６及び残差符号化部１１１の少なくとも一方に出力する。
　逆量子化部１０４は、量子化部１０２から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号エネルギ差）をＭ－Ｓ予測部１０９に出力する。
　ダウンミックス部１０５は、入力されるＬ信号及びＲ信号を、Ｌ信号とＲ信号との和を示すＭ信号（和信号）、及び、Ｌ信号とＲ信号との差を示すＳ信号（差信号）に変換（LR-MS変換）する。ダウンミックス部１０５は、Ｍ信号をＭ信号符号化部１０６、加算器１０７、Ｍ信号エネルギ算出部１０８、及び、Ｍ－Ｓ予測部１０９に出力する。ダウンミックス部１０５は、Ｓ信号を加算器１１０に出力する。
　例えば、ダウンミックス部１０５は、式（１）に従ってＬ信号（L(f)）及びＲ信号（R(f)）を、Ｍ信号（M(f)）及びＳ信号（S(f)）に変換する。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）は、周波数領域（周波数ｆ）におけるLR-MS変換を示すが、ダウンミックス部１０５は、例えば、式（２）に示すように時間領域（時間ｎ）におけるLR-MS変換を行ってもよい。
Figure JPOXMLDOC01-appb-M000002
　Ｍ信号符号化部１０６は、ダウンミックス部１０５から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）を多重化部１１２に出力する。また、Ｍ信号符号化部１０６は、符号化結果を復号し、得られる復号Ｍ信号Ｍ’を加算器１０７に出力する。
　なお、Ｍ信号符号化部１０６は、エントロピ符号化部１０３から入力される余剰ビット数を示す情報に基づいて、Ｍ信号の符号化ビット数を決定（例えば、追加）してもよい。
　加算器１０７は、ダウンミックス部１０５から入力されるＭ信号と、Ｍ信号符号化部１０６から入力される復号Ｍ信号との差分（又は符号化誤差）である残差信号Ｅｍを算出し、残差符号化部１１１に出力する。
　Ｍ信号エネルギ算出部１０８は、ダウンミックス部１０５から入力されるＭ信号を用いて、Ｍ信号のエネルギＭＥｎｅを算出し、Ｍ－Ｓ予測部１０９に出力する。
　Ｍ－Ｓ予測部１０９は、ダウンミックス部１０５から入力されるＭ信号、Ｍ信号エネルギ算出部１０８から入力されるＭ信号のエネルギ、及び、逆量子化部１０４から入力される復号予測パラメータ（復号エネルギ差）を用いて、Ｓ信号を予測する。
　例えば、Ｍ－Ｓ予測部１０９は、次式（３）に従って、予測Ｓ信号Ｓ～を算出する。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、ｂはサブバンド番号を示し、ＭｂはサブバンドｂにおけるＭ信号を示し、Ｈｂはサブバンドｂにおける周波数応答を示す。周波数応答Ｈｂは、例えば、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、ＬｂはサブバンドｂにおけるＬ信号を示し、ＲｂはサブバンドｂにおけるＲ信号を示し、ｄＥ（ｂ）はサブバンドｂにおける復号エネルギ差を示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
　すなわち、Ｍ－Ｓ予測部１０９は、逆量子化部１０４から入力される予測パラメータである復号エネルギ差（式（４）のｄＥ（ｂ）に対応）と、Ｍ信号エネルギ算出部１０８から入力されるＭ信号のエネルギ（式（４）のＭｂ ２に対応）との比（式（３）及び式（４）のＨｂに対応）を、Ｍ信号（式（３）のＭｂに対応）に乗算することにより、予測Ｓ信号Ｓ～ ｂを算出する。
　なお、式（３）は、一例として、サブバンドｂ毎の予測Ｓ信号（Ｓ～ ｂ）を示すが、これに限定されない。例えば、Ｍ－Ｓ予測部１０９は、複数のサブバンドのグループ単位の予測Ｓ信号を算出してもよく、周波数領域の全帯域における予測Ｓ信号を算出してもよく、時間領域の予測Ｓ信号を算出してもよい。
　Ｍ－Ｓ予測部１０９は、得られた予測Ｓ信号を加算器１１０に出力する。
　加算器１１０は、ダウンミックス部１０５から入力されるＳ信号と、Ｍ－Ｓ予測部１０９から入力される予測Ｓ信号との差分（又は符号化誤差）である残差信号Ｅｓを算出し、残差符号化部１１１に出力する。
　残差符号化部１１１は、加算器１０７から入力される残差信号Ｅｍ及び加算器１１０から入力される残差信号Ｅｓを符号化し、符号化結果（残差符号化情報）を多重化部１１２に出力する。例えば、残差符号化部１１１は、残差信号Ｅｍ及び残差信号Ｅｓを組み合わせて符号化してもよい。
　また、残差符号化部１１１は、エントロピ符号化部１０３から入力される余剰ビット数を示す情報に基づいて、残差信号の符号化ビット数を決定（例えば、追加）してもよい。
　多重化部１１２は、エントロピ符号化部１０３から入力される予測パラメータ符号化情報、Ｍ信号符号化部１０６から入力されるＭ信号符号化情報、及び、残差符号化部１１１から入力される残差符号化情報を多重化する。多重化部１１２は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置２００へ送信する。
　［復号装置の構成］
　図３は、本実施の形態に係る復号装置２００の構成例を示すブロック図である。図３において、復号装置２００は、分離部２０１と、エントロピ復号部２０２と、エネルギ差復号部２０３と、残差復号部２０４と、Ｍ信号復号部２０５と、加算器２０６と、Ｍ信号エネルギ算出部２０７と、Ｍ－Ｓ予測部２０８と、加算器２０９と、アップミックス部２１０と、を含む。
　図３において、分離部２０１には、符号化装置１００から送信されるビットストリームが入力される。ビットストリームには、例えば、予測パラメータ符号化情報、Ｍ信号符号化情報、及び、残差符号化情報が多重化されている。
　分離部２０１は、入力されるビットストリームから、予測パラメータ符号化情報と、Ｍ信号符号化情報と、残差符号化情報とを分離する。分離部２０１は、予測パラメータ符号化情報をエントロピ復号部２０２に出力し、残差符号化情報を残差復号部２０４に出力し、Ｍ信号符号化情報をＭ信号復号部２０５に出力する。
　エントロピ復号部２０２は、分離部２０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスをエネルギ差復号部２０３に出力する。
　エネルギ差復号部２０３は、エントロピ復号部２０２から入力される復号量子化インデックスを復号して、得られる復号予測パラメータ（復号エネルギ差ｄＥ）をＭ－Ｓ予測部２０８に出力する。
　残差復号部２０４は、分離部２０１から入力される残差符号化情報を復号し、Ｍ信号の復号残差信号Ｅｍ’及びＳ信号の復号残差信号Ｅｓ’を得る。残差復号部２０４は、復号残差信号Ｅｍ’を加算器２０６に出力し、復号残差信号Ｅｓ’を加算器２０９に出力する。
　Ｍ信号復号部２０５は、分離部２０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’を加算器２０６に出力する。
　加算器２０６は、残差復号部２０４から入力される復号残差信号Ｅｍ’と、Ｍ信号復号部２０５から入力される復号Ｍ信号Ｍ’とを加算し、加算結果である復号Ｍ信号Ｍ＾を、Ｍ信号エネルギ算出部２０７、Ｍ－Ｓ予測部２０８、及び、アップミックス部２１０に出力する。
　Ｍ信号エネルギ算出部２０７は、加算器２０６から入力される復号Ｍ信号Ｍ＾を用いて、Ｍ信号のエネルギＭＥｎｅ＾を算出し、Ｍ－Ｓ予測部２０８に出力する。
　Ｍ－Ｓ予測部２０８は、加算器２０６から入力される復号Ｍ信号Ｍ＾、Ｍ信号エネルギ算出部２０７から入力されるＭ信号のエネルギＭＥｎｅ＾、及び、エネルギ差復号部２０３から入力される復号エネルギ差ｄＥを用いて、Ｓ信号を予測する。
　例えば、Ｍ－Ｓ予測部２０８は、Ｍ－Ｓ予測部１０９と同様、式（３）及び式（４）に従って、復号エネルギ差ｄＥ（式（４）のｄＥ（ｂ）に対応）と、Ｍ信号のエネルギＭＥｎｅ＾（式（４）のＭｂ ２に対応）との比（式（３）及び式（４）のＨｂに対応）を、復号Ｍ信号Ｍ＾（式（３）のＭｂに対応）に乗算することにより、予測Ｓ信号Ｓ’を算出する。
　Ｍ－Ｓ予測部２０８は、予測Ｓ信号Ｓ’を加算器２０９に出力する。
　加算器２０９は、残差復号部２０４から入力される復号残差信号Ｅｓ’と、Ｍ－Ｓ予測部２０８から入力される予測Ｓ信号Ｓ’とを加算し、加算結果である復号Ｓ信号Ｓ＾を、アップミックス部２１０に出力する。
　アップミックス部２１０は、加算器２０６から入力される復号Ｍ信号Ｍ＾、及び、加算器２０９から入力される復号Ｓ信号Ｓ＾を、復号Ｌ信号Ｌ＾及び復号Ｒ信号Ｒ＾に変換（MS-LR変換）する。例えば、アップミックス部２１０は、式（５）に従って復号Ｍ信号及び復号Ｓ信号を、復号Ｌ信号及び復号Ｒ信号に変換する。
Figure JPOXMLDOC01-appb-M000005
　なお、式（５）は、周波数領域（周波数ｆ）におけるMS-LR変換を示すが、アップミックス部２１０は、例えば、式（６）に示すように時間領域（時間ｎ）におけるMS-LR変換を行ってもよい。
Figure JPOXMLDOC01-appb-M000006
　以上、本実施の形態に係る符号化装置１００及び復号装置２００について説明した。
　本実施の形態では、符号化装置１００は、Ｓ信号を予測するための予測パラメータとして、Ｌ信号とＲ信号との間のエネルギ差を算出する。これにより、符号化装置１００は、Ｓ信号の予測のためにＭ信号とＳ信号との相互相関を算出することなく、符号化装置１００に入力されるステレオ信号（Ｌ信号及びＲ信号のエネルギ）を用いて、予測Ｓ信号を算出できる。
　よって、符号化装置１００は、ＭＳ予測符号化において予測Ｓ信号を算出するための演算量を削減できる。よって、本実施の形態によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。
　また、本実施の形態では、符号化装置１００は、Ｌ信号とＲ信号との間のエネルギ差を示す予測パラメータ（量子化インデックス）をエントロピ符号化する。例えば、エントロピ符号化では、符号長は可変となる。これにより、符号化装置１００は、予測パラメータの符号化において使用されないビット（余剰ビット）が存在する場合、当該余剰ビットを追加してＭ信号又は残差信号を符号化できる。すなわち、符号化装置１００は、Ｍ信号又は残差信号に対して、各々に配分されたビット数に加え、エントロピ符号化によって得られる余剰ビットを用いて符号化できる。よって、本実施の形態によれば、符号化装置１００におけるＭ信号又は残差信号の量子化性能を向上でき、復号装置２００では、高品質な復号ステレオ信号を実現できる。
　また、本実施の形態では、符号化装置１００は、Ｍ信号の残差信号Ｅｍを符号化して、復号装置２００へ送信する。そして、復号装置２００は、Ｍ信号の残差信号Ｅｍ（復号残差信号）を用いて、予測Ｓ信号の算出に用いる復号Ｍ信号Ｍ’を生成する。例えば、Ｍ信号の符号化誤差が大きくなると、Ｓ信号の予測誤差は大きくなり、Ｓ信号の品質が劣化してしまう可能性がある。これに対して、本実施の形態では、Ｍ信号の残差信号を符号化情報に含めることにより、Ｍ信号の符号化誤差を抑え、Ｓ信号の予測誤差を抑えることができるので、Ｓ信号の品質を向上させることができる。
　また、本実施の形態では、符号化装置１００は、予測Ｓ信号の残差信号Ｅｓを符号化して、復号装置２００へ送信する。そして、復号装置２００は、予測Ｓ信号の残差信号Ｅｓ（復号残差信号）を用いて、復号Ｓ信号Ｓ’を生成する。これにより、本実施の形態では、予測Ｓ信号の残差信号を符号化情報に含めることにより、Ｓ信号の予測誤差を抑えることができるので、Ｓ信号の品質を向上させることができる。
　なお、本実施の形態では、符号化装置１００から復号装置２００へＭ信号の残差信号及びＳ信号の残差信号を送信する場合について説明した。しかし、Ｍ信号の残差信号及びＳ信号の残差信号の少なくとも一方は、符号化装置１００から復号装置２００へ送信されなくてもよい。例えば、復号装置２００は、符号化装置１００から送信されるＭ信号符号化情報、及び、予測パラメータ符号化情報（例えば、エネルギ差）に基づいて、Ｓ信号を復号（予測）すればよい。
　また、本実施の形態において、図２に示す符号化装置１００では、Ｍ信号エネルギ算出部１０８及びＭ－Ｓ予測部１０９において、Ｍ信号を用いてＭ信号のエネルギ及び予測Ｓ信号を算出する場合について説明したがこれに限定されない。例えば、符号化装置１００は、Ｍ信号符号化部１０６から出力される復号Ｍ信号を用いて、Ｍ信号のエネルギ及び予測Ｓ信号を算出してもよい。このように、符号化装置１００は、復号装置２００においてＭ信号のエネルギ及び予測Ｓ信号の算出に使用される復号Ｍ信号を用いることにより、復号装置２００と同様の条件で予測Ｓ信号を生成できる。つまり、実際のＳ信号（符号化装置１００におけるＳ）と復号装置におけるＭ－Ｓ予測信号Ｓ～との差分信号を残差信号Ｅｓとして符号化することができるので、Ｓ信号の符号化誤差を減らすことができる。
　または、符号化装置１００は、Ｍ信号の残差信号Ｅｍ（例えば、残差符号化部１１１の出力）を復号して得られる復号残差信号Ｅ’ｍと、復号Ｍ信号Ｍ’（例えば、Ｍ信号符号化部１０６の出力）と、を加算して、復号Ｍ信号Ｍ＾を生成し、復号Ｍ信号Ｍ＾を用いてＭ信号のエネルギ及び予測Ｓ信号を算出してもよい。これにより、符号化装置１００は、Ｓ信号の予測精度を更に向上できる。ただし、この場合、残差信号Ｅｓを求めるためには復号残差信号Ｅ’ｍが必要となるため、符号化装置１００は、残差信号Ｅｓと残差信号Ｅｍとは組み合わせずに符号化する。
　（実施の形態２）
　実施の形態１では、予測Ｓ信号の算出に用いる予測パラメータを、ステレオ信号のＬ信号とＲ信号とのエネルギ差を用いて算出する場合について説明した。これに対して、本実施の形態では、予測Ｓ信号の算出に用いる予測パラメータを、Ｍ信号及びＳ信号を用いて算出する場合について説明する。
　［符号化装置の構成］
　図４は、本実施の形態に係る符号化装置３００の構成例を示すブロック図である。なお、図４において、実施の形態１（図２）と同様の構成には同一の符号を付し、その説明を省略する。
　予測係数算出部３０１は、ダウンミックス部１０５から入力されるＳ信号、及び、Ｍ信号符号化部１０６から入力される復号Ｍ信号を用いて、Ｍ－Ｓ予測係数を算出する。予測係数算出部３０１は、算出したＭ－Ｓ予測係数を、Ｓ信号を予測するための予測パラメータとして量子化部３０２に出力する。
　例えば、予測係数算出部３０１は、次式（７）に従って、Ｍ－Ｓ予測係数を算出する。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、ＳｂはサブバンドｂにおけるＳ信号を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示し、Ｍ’Ｅｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
　例えば、式（７）の分子成分は、次式（８）に従って算出される。
Figure JPOXMLDOC01-appb-M000008
　また、例えば、式（７）に示す復号Ｍ信号のエネルギＭ’Ｅｎｅ（ｂ）は、次式（９）に従って算出される。
Figure JPOXMLDOC01-appb-M000009
　式（８）及び式（９）において、ｋｓｔａｒｔはサブバンドｂにおけるスペクトル係数の開始番号を示し、ｋｅｎｄはサブバンドｂにおけるスペクトル係数の終了番号を示す。また、Ｎｂａｎｄｓは、サブバンド数を示す。また、「＊」は複素共役を示す。
　すなわち、式（７）に示すＭ－Ｓ予測係数（予測パラメータ）は、復号Ｍ信号Ｍ’とＳ信号Ｓとの相関値を、復号Ｍ信号のエネルギＭ’Ｅｎｅで正規化して得られる係数である。ここで、Ｍ信号及びＳ信号は、Ｌ信号及びＲ信号の和及び差であるので、Ｍ信号とＳ信号との相関値は、Ｌ信号とＲ信号との間のエネルギ差と等しい。よって、式（７）に示すＭ－Ｓ予測係数（予測パラメータ）は、Ｍ信号と復号Ｍ信号との符号化誤差に対応する分の誤差が含まれるものの、Ｌ信号とＲ信号との間のエネルギ差に関するパラメータである。
　量子化部３０２は、予測係数算出部３０１から入力される予測パラメータをスカラ量子化し、得られる量子化インデックスをエントロピ符号化部３０３及び逆量子化部３０４に出力する。
　エントロピ符号化部３０３は、量子化部３０２から入力される量子化インデックスに対してエントロピ符号化（例えば、ハフマン符号化等）を行い、符号化結果（予測パラメータ符号化情報）を多重化部１１２に出力する。
　また、エントロピ符号化部３０３は、符号化結果に要するビット数を算出し、符号化結果に使用可能な最大ビット数と、算出したビット数との差（余剰ビット数）を示す情報（換言すると、最大ビット数と比較して何ビット少ないかを示す情報）を、Ｍ信号符号化部１０６及び残差符号化部３０６の少なくとも一方に出力する。Ｍ信号符号化部１０６及び残差符号化部３０６の少なくとも一方は、例えば、余剰ビット数を示す情報に基づいて、Ｍ信号及び残差信号を符号化してもよい。
　逆量子化部３０４は、量子化部３０２から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｓ予測係数）をＭ－Ｓ予測部３０５に出力する。
　Ｍ－Ｓ予測部３０５は、Ｍ信号符号化部１０６から入力される復号Ｍ信号、及び、逆量子化部３０４から入力される復号予測パラメータ（復号Ｍ－Ｓ予測係数）を用いて、Ｓ信号を予測する。
　例えば、Ｍ－Ｓ予測部３０５は、次式（１０）に従って、予測Ｓ信号Ｓ''を算出する。
Figure JPOXMLDOC01-appb-M000010
　式（１０）において、ｂはサブバンド番号を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示し、ＨｂはサブバンドｂにおけるＭ－Ｓ予測係数（式（７）を参照）を示す。
　すなわち、Ｍ－Ｓ予測部３０５は、復号Ｍ信号とＳ信号との相関値（式（７）のＳｂＭ’ｂに対応）と、復号Ｍ信号のエネルギ（式（７）のＭ’Ｅｎｅに対応）との比（式（７）のＨｂに対応）を、復号Ｍ信号（式（７）のＭ’ｂに対応）に乗算することにより、予測Ｓ信号Ｓ’’ｂを算出する。
　残差符号化部３０６は、加算器１１０から入力されるＳ信号の残差信号Ｅｓを符号化し、符号化結果（残差符号化情報）を多重化部１１２に出力する。
　［復号装置の構成］
　図５は、本実施の形態に係る復号装置４００の構成例を示すブロック図である。なお、図５において、実施の形態１（図３）と同様の構成には同一の符号を付し、その説明を省略する。
　エントロピ復号部４０１は、分離部２０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスを予測係数復号部４０２に出力する。
　予測係数復号部４０２は、エントロピ復号部４０１から入力される復号量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｓ予測係数）をＭ－Ｓ予測部４０４に出力する。
　残差復号部４０３は、分離部２０１から入力される残差符号化情報を復号し、Ｓ信号の復号残差信号Ｅｓ’を得る。残差復号部４０３は、復号残差信号Ｅｓ’を加算器２０９に出力する。
　Ｍ－Ｓ予測部４０４は、Ｍ信号復号部２０５から入力される復号Ｍ信号Ｍ’、及び、予測係数復号部４０２から入力される復号Ｍ－Ｓ予測係数を用いて、Ｓ信号を予測する。
　例えば、Ｍ－Ｓ予測部４０４は、Ｍ－Ｓ予測部３０５と同様、式（１０）に従って、Ｍ－Ｓ予測係数Ｈｂを、復号Ｍ信号Ｍ’ｂに乗算することにより、予測Ｓ信号Ｓｂ’’を算出する。
　以上、本実施の形態に係る符号化装置３００及び復号装置４００について説明した。
　ここで、図５に示す復号装置４００において、Ｍ－Ｓ予測部４０４は、復号Ｍ－Ｓ予測係数、及び、復号Ｍ信号を用いて予測Ｓ信号Ｓ’’を算出する。これに対して、図４に示す符号化装置３００において、Ｍ－Ｓ予測部３０５は、復号Ｍ－Ｓ予測係数、及び、復号Ｍ信号を用いて予測Ｓ信号Ｓ’’を算出する。また、符号化装置３００において、予測係数算出部３０１は、復号Ｍ信号を用いてＭ－Ｓ予測係数を算出する。
　このように、本実施の形態では、符号化装置３００は、Ｍ－Ｓ予測係数の算出処理及びＳ信号の予測処理の双方において、復号装置４００でも使用される復号Ｍ信号を用いる。換言すると、符号化装置３００は、復号装置４００におけるＳ信号の予測処理と同様の条件でＳ信号の予測処理を行い、復号装置４００における処理を再現する。
　よって、符号化装置３００では、Ｍ信号の符号化誤差を考慮したＭＳ予測符号化が可能となり、ＭＳ予測符号化において、Ｓ信号の予測精度を向上できる。よって、本実施の形態によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。例えば、本実施の形態は、Ｍ信号の符号化誤差（又は、符号化歪み）が大きくなるような低ビットレートにおいて特に有効である。
　なお、本実施の形態において、符号化装置３００の予測係数算出部３０１は、復号Ｍ信号の代わりに、Ｍ信号（例えば、ダウンミックス部１０５の出力）を用いて、Ｍ－Ｓ予測係数を算出してもよい。この場合でも、符号化装置３００は、Ｍ－Ｓ予測部３０５において、復号装置４００と同様にして復号Ｍ信号と復号Ｍ－Ｓ予測係数を用いてＳ信号を予測する。よって、例えば、復号Ｍ信号を用いた場合とＭ信号を用いた場合とで算出されるＭ－Ｓ予測係数に差が発生する場合でも、予測係数の違いによって生じる予測誤差をＳ信号の残差信号Ｅｓに含めることができるので、復号ステレオ信号の品質劣化を抑えることができる。
　（実施の形態３）
　実施の形態１，２では、予測符号化において、Ｍ信号を用いてＳ信号の予測を行う場合について説明した。これに対して、本実施の形態では、予測符号化において、Ｍ信号を用いてＬ信号及びＲ信号の予測を行う場合について説明する。換言すると、本実施の形態では、符号化装置及び復号装置はＳ信号の予測を行わない。
　［通信システムの概要］
　本実施の形態に係る通信システムは、符号化装置（encoder）５００及び復号装置（decoder）６００を備える。
　［符号化装置の構成］
　図６は、本実施の形態に係る符号化装置５００の構成例を示すブロック図である。図６において、符号化装置５００は、ダウンミックス部５０１と、Ｍ信号符号化部５０２と、予測係数算出部５０３と、量子化符号化部５０４と、逆量子化部５０５と、チャネル予測部５０６と、残差算出部５０７と、残差符号化部５０８と、多重化部５０９と、を含む。
　図６において、ダウンミックス部５０１、予測係数算出部５０３、及び、残差算出部５０７には、ステレオ信号を構成するＬ信号、及び、Ｒ信号が入力される。
　ダウンミックス部５０１は、入力されるＬ信号及びＲ信号を、Ｍ信号に変換（LR-M変換）する。ダウンミックス部５０１は、Ｍ信号をＭ信号符号化部５０２及び予測係数算出部５０３に出力する。例えば、ダウンミックス部５０１は、式（１）又は式（２）に従ってＬ信号及びＲ信号を、Ｍ信号に変換する。
　Ｍ信号符号化部５０２は、ダウンミックス部５０１から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）を多重化部５０９に出力する。また、Ｍ信号符号化部１０６は、符号化結果を復号し、得られる復号Ｍ信号Ｍ’をチャネル予測部５０６に出力する。
　予測係数算出部５０３は、入力されるＬ信号、Ｒ信号、及び、ダウンミックス部５０１から入力されるＭ信号を用いて、Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数をそれぞれ算出する。予測係数算出部５０３は、算出したＭ－Ｌ予測係数及びＭ－Ｒ予測係数を、Ｌ信号及びＲ信号を予測するための予測パラメータとして量子化符号化部５０４に出力する。
　例えば、予測係数算出部５０３は、次式（１１）及び式（１２）に従って、サブバンドｂのＭ－Ｌ予測係数ＸＬＭ（ｂ）及びＭ－Ｒ予測係数ＸＲＭ（ｂ）を算出する。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　式（１１）及び式（１２）において、ＬｂはサブバンドｂにおけるＬ信号を示し、ＲｂはサブバンドｂにおけるＲ信号を示し、ＭｂはサブバンドｂにおけるＭ信号を示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。すなわち、Ｍ－Ｌ予測係数ＸＬＭは、Ｌ信号とＭ信号との相関値を示し、Ｍ－Ｒ予測係数ＸＲＭは、Ｒ信号とＭ信号との相関値を示す。
　量子化符号化部５０４は、予測係数算出部５０３から入力される予測パラメータ（Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）をスカラ量子化し、得られる量子化インデックスに対して符号化を行い、符号化結果（予測パラメータ符号化情報）を多重化部５０９に出力する。また、量子化符号化部５０４は、量子化インデックスを逆量子化部５０５に出力する。
　逆量子化部５０５は、量子化符号化部５０４から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｌ予測係数及び復号Ｍ－Ｒ予測係数）をチャネル予測部５０６に出力する。
　チャネル予測部５０６は、逆量子化部５０５から入力される復号予測パラメータ（復号Ｍ－Ｌ予測係数及び復号Ｍ－Ｒ予測係数）、及び、Ｍ信号符号化部５０２から入力される復号Ｍ信号を用いて、Ｌ信号及びＲ信号を予測する。チャネル予測部５０６は、予測Ｌ信号及び予測Ｒ信号を残差算出部５０７に出力する。
　例えば、チャネル予測部５０６は、次式（１３）及び式（１４）に従って、予測Ｌ信号Ｌ’を算出する。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　式（１３）において、ＨＬ ｂはサブバンドｂにおける周波数応答を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示す。また、式（１４）において、ＭＥｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
　同様に、例えば、チャネル予測部５０６は、次式（１５）及び式（１６）に従って、予測Ｒ信号Ｒ’を算出する。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　式（１５）において、ＨＲ ｂはサブバンドｂにおける周波数応答を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示す。また、式（１６）において、ＭＥｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
　残差算出部５０７は、入力されるＬ信号と、チャネル予測部５０６から入力される予測Ｌ信号との差分である残差信号ＥＬを算出し、残差符号化部５０８に出力する。また、残差算出部５０７は、入力されるＲ信号と、チャネル予測部５０６から入力される予測Ｒ信号との差分である残差信号ＥＲを算出し、残差符号化部５０８に出力する。
　残差符号化部５０８は、残差算出部５０７から入力される残差信号ＥＬ及び残差信号ＥＲを符号化し、符号化結果（残差符号化情報）を多重化部５０９に出力する。
　多重化部５０９は、Ｍ信号符号化部５０２から入力されるＭ信号符号化情報、量子化符号化部５０４から入力される予測パラメータ符号化情報、及び、残差符号化部５０８から入力される残差符号化情報を多重化する。多重化部５０９は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置６００へ送信する。
　［復号装置の構成］
　図７は、本実施の形態に係る復号装置６００の構成例を示すブロック図である。図７において、復号装置６００は、分離部６０１と、Ｍ信号復号部６０２と、予測係数復号逆量子化部６０３と、残差復号部６０４と、チャネル予測部６０５と、加算部６０６と、を含む。
　図７において、分離部６０１には、符号化装置５００から送信されるビットストリームが入力される。ビットストリームには、例えば、予測パラメータ符号化情報、Ｍ信号符号化情報、及び、残差符号化情報が多重化されている。
　分離部６０１は、入力されるビットストリームから、予測パラメータ符号化情報と、Ｍ信号符号化情報と、残差符号化情報とを分離する。分離部６０１は、Ｍ信号符号化情報をＭ信号復号部６０２に出力し、予測パラメータ符号化情報を予測係数復号逆量子化部６０３に出力し、残差符号化情報を残差復号部６０４に出力する。
　Ｍ信号復号部６０２は、分離部６０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’をチャネル予測部６０５に出力する。
　予測係数復号逆量子化部６０３は、分離部６０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスに対応する、復号予測パラメータ（復号Ｍ－Ｌ予測係数ＸＬＭ及び復号Ｍ－Ｒ予測係数ＸＲＭ）をチャネル予測部６０５に出力する。
　残差復号部６０４は、分離部６０１から入力される残差符号化情報を復号し、Ｌ信号の復号残差信号ＥＬ’及びＲ信号の復号残差信号ＥＲ’を得る。残差復号部６０４は、復号残差信号ＥＬ’及び復号残差信号ＥＲ’を加算部６０６に出力する。
　チャネル予測部６０５は、Ｍ信号復号部６０２から入力される復号Ｍ信号、及び、予測係数復号逆量子化部６０３から入力される復号予測パラメータ（復号Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）を用いて、Ｌ信号及びＲ信号を予測する。チャネル予測部６０５は、予測Ｌ信号及び予測Ｒ信号を加算部６０６に出力する。
　例えば、チャネル予測部６０５は、チャネル予測部５０６と同様、式（１３）及び式（１４）に従って予測Ｌ信号Ｌ’を算出し、式（１５）及び式（１６）に従って予測Ｒ信号Ｒ’を算出する。
　加算部６０６は、残差復号部６０４から入力される復号残差信号ＥＬ’と、チャネル予測部６０５から入力される予測Ｌ信号とを加算し、加算結果である復号Ｌ信号Ｌ＾を出力する。また、加算部６０６は、残差復号部６０４から入力される復号残差信号ＥＲ’と、チャネル予測部６０５から入力される予測Ｒ信号とを加算し、加算結果である復号Ｒ信号Ｒ＾を出力する。
　以上、本実施の形態に係る符号化装置５００及び復号装置６００について説明した。
　このように、本実施の形態では、Ｌ信号及びＲ信号の予測符号化を行う場合、符号化装置５００は、Ｍ信号と、Ｌ信号及びＲ信号と、を用いて予測パラメータ（Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）を算出する。また、符号化装置５００は、復号Ｍ信号及び復号予測パラメータを用いてＬ信号及びＲ信号を予測する。換言すると、符号化装置５００は、復号装置６００におけるＬ信号及びＲ信号の予測処理と同様の条件でＬ信号及びＲ信号の予測処理を行い、復号装置６００における処理を再現する。よって、符号化装置５００では、Ｍ信号の符号化誤差、および、Ｍ－Ｌ予測及びＭ－Ｒ予測の予測誤差と符号化誤差を考慮したチャネル予測符号化が可能となり、チャネル予測符号化において、Ｌ信号及びＲ信号の符号化性能を向上できる。
　よって、本実施の形態によれば、チャネル予測符号化において、Ｌ信号及びＲ信号を効率良く符号化できる。例えば、本実施の形態は、Ｍ信号の符号化誤差（又は、符号化歪み）が大きくなるような低ビットレートにおいて特に有効である。
　なお、図６において、予測係数算出部５０３は、ダウンミックス部５０１から入力されるＭ信号を用いてＭ－Ｌ予測係数及びＭ－Ｒ予測係数を算出する場合について説明した。しかし、予測係数算出部５０３は、Ｍ信号の代わりに、Ｍ信号符号化部５０２から入力される復号Ｍ信号を用いてＭ－Ｌ予測係数及びＭ－Ｒ予測係数を算出してもよい。これにより、符号化装置５００は、復号装置６００において使用される復号Ｍ信号を用いて予測パラメータを算出できるので、復号装置６００でのＬ信号及びＲ信号の予測精度を向上できる。
　また、本実施の形態では、ステレオ信号（Ｌチャネル及びＲチャネルの２チャネルの信号）の符号化について説明したが、符号化される信号はステレオ信号に限定されず、マルチチャネル信号（例えば、２チャネル以上の信号）でもよい。
　例えば、図８は、マルチチャネル信号（Ｎチャネル。ただし、Ｎは２以上の整数）を符号化する符号化装置５００ａの構成例を示すブロック図を示し、図９は、マルチチャネル信号を復号する復号装置６００ａの構成例を示すブロック図を示す。図８に示す符号化装置５００ａ及び図９に示す復号装置６００ａの各構成部は、図６に示す符号化装置５００及び図７に示す復号装置６００の各構成部と同様の処理を行う。ただし、図６及び図７では、ステレオ信号を構成するＬ信号及びＲ信号の２チャネルに対する処理が行われるのに対して、図８及び図９では、Ｎチャネルに対する処理が行われる点が異なる。すなわち、符号化装置５００ａ及び復号装置６００ａは、Ｍ信号（又は復号Ｍ信号）を用いて、各チャネル信号を予測する。
　（実施の形態４）
　本実施の形態では、MS予測符号化を含む複数の符号化モードのうち、ステレオ信号の符号化に用いる符号化モードを切り替える方法について説明する。
　［通信システムの概要］
　本実施の形態に係る通信システムは、符号化装置（encoder）７００及び復号装置（decoder）８００を備える。
　［符号化装置の構成］
　図１０は、本実施の形態に係る符号化装置７００の構成例を示すブロック図である。図１０において、符号化装置７００は、ダウンミックス部７０１と、Ｍ信号符号化部７０２と、Ｓ信号符号化部７０３と、符号化モード符号化部７０４と、多重化部７０５と、を含む。
　図１０において、ダウンミックス部７０１及びＳ信号符号化部７０３には、ステレオ信号を構成するＬ信号（Left channel signal）、及び、Ｒ信号（Right channel signal）が入力される。
　ダウンミックス部７０１は、入力されるＬ信号及びＲ信号を、Ｍ信号及びＳ信号に変換（LR-MS変換）する。ダウンミックス部７０１は、Ｍ信号をＭ信号符号化部７０２及びＳ信号符号化部７０３に出力し、Ｓ信号をＳ信号符号化部７０３に出力する。例えば、ダウンミックス部７０１は、式（１）又は式（２）に従ってＬ信号及びＲ信号を、Ｍ信号及びＳ信号に変換する。
　Ｍ信号符号化部７０２は、ダウンミックス部７０１から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）Ｃｍを多重化部７０５に出力する。
　Ｓ信号符号化部７０３は、入力されるＬ信号及びＲ信号、及び、ダウンミックス部７０１から入力されるＭ信号及びＳ信号の少なくとも１つを用いて、Ｓ信号を符号化する。Ｓ信号符号化部７０３は、符号化結果（Ｓ信号符号化情報）Ｃｓを多重化部７０５に出力する。
　例えば、Ｓ信号符号化部７０３は、Ｍ－Ｓ予測符号化を行う「予測モード」、及び、通常の符号化を行う「通常モード」の双方の符号化モードを用いて、Ｓ信号を符号化する。そして、Ｓ信号符号化部７０３は、予測モードの符号化結果と、通常モードの符号化結果とを比較して、より良い符号化結果の符号化モードを選択し、選択した符号化モードの符号化結果を含むＳ信号符号化情報Ｃｓを多重化部７０５に出力する。また、Ｓ信号符号化部７０３は、選択した符号化モードを示す情報を符号化モード符号化部７０４に出力する。
　「予測モード」では、Ｓ信号符号化部７０３は、例えば、実施の形態１（例えば、図２を参照）又は実施の形態２（例えば、図４を参照）において説明したように、Ｓ信号を符号化する。符号化モードとして予測モードが選択される場合、Ｓ信号符号化部７０３は、Ｓ信号符号化情報Ｃｓとして、予測パラメータ符号化情報、及び、残差符号化情報を多重化部７０５に出力する。
　また、「通常モード」では、Ｓ信号符号化部７０３は、例えば、Ｍ／Ｓステレオコーデックにおいて、Ｓ信号に対してモノラル符号化を行う。符号化モードとして通常モードが選択される場合、Ｓ信号符号化部７０３は、Ｓ信号符号化情報Ｃｓとして、Ｓ信号のモノラル符号化結果を多重化部７０５に出力する。
　例えば、Ｓ信号符号化部７０３は、予測モードの符号化結果及び通常モードの符号化結果のうち、符号化誤差がより小さい符号化モードを選択してもよい。または、Ｓ信号符号化部７０３は、予測モードの符号化結果及び通常モードの符号化結果のうち、符号化結果に要するビット数がより少ない符号化モードを選択してもよい。なお、符号化モードの選択基準は、符号化誤差及び符号化ビット数に限定されず、符号化性能に関する他の基準でもよい。
　符号化モード符号化部７０４は、Ｓ信号符号化部７０３から入力される符号化モードを符号化し、得られるモード符号化情報Ｃｇを多重化部７０５に出力する。
　多重化部７０５は、Ｍ信号符号化部７０２から入力されるＭ信号符号化情報、Ｓ信号符号化部７０３から入力されるＳ信号符号化情報、及び、符号化モード符号化部７０４から入力されるモード符号化情報を多重化する。多重化部７０５は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置８００へ送信する。
　［復号装置の構成］
　図１１は、本実施の形態に係る復号装置８００の構成例を示すブロック図である。図１１において、復号装置８００は、分離部８０１と、Ｍ信号復号部８０２と、符号化モード復号部８０３と、Ｓ信号復号部８０４と、アップミックス部８０５と、を含む。
　図１１において、分離部８０１には、符号化装置７００から送信されるビットストリームが入力される。ビットストリームには、例えば、Ｍ信号符号化情報Ｃｍ、Ｓ信号符号化情報Ｃｓ、及び、モード符号化情報Ｃｇが多重化されている。
　分離部８０１は、入力されるビットストリームから、Ｍ信号符号化情報と、Ｓ信号符号化情報と、モード符号化情報とを分離する。分離部８０１は、Ｍ信号符号化情報をＭ信号復号部８０２に出力し、モード符号化情報を符号化モード復号部８０３に出力し、Ｓ信号符号化モードをＳ信号復号部８０４に出力する。
　Ｍ信号復号部８０２は、分離部８０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’を、Ｓ信号復号部８０４及びアップミックス部８０５に出力する。
　符号化モード復号部８０３は、分離部８０１から入力されるモード符号化情報を復号し、得られた符号化モードを示す情報を、Ｓ信号復号部８０４に出力する。
　Ｓ信号復号部８０４は、符号化モード復号部８０３から入力される符号化モードに基づいて、Ｓ信号符号化情報を復号し、復号Ｓ信号Ｓ’を得る。Ｓ信号復号部８０４は、復号Ｓ信号をアップミックス部８０５に出力する。
　符号化モードが「予測モード」の場合、Ｓ信号復号部８０４は、例えば、実施の形態１（例えば、図３を参照）又は実施の形態２（例えば、図５を参照）において説明したように、Ｍ信号復号部８０２から入力される復号Ｍ信号、及び、分離部８０１から入力されるＳ信号符号化情報（予測パラメータ及び残差信号）を用いてＳ信号を予測・復号する。
　また、符号化モードが「通常モード」の場合、Ｓ信号復号部８０４は、例えば、Ｓ信号符号化情報に対してモノラル復号を行い、復号Ｓ信号を得る。
　アップミックス部８０５は、Ｍ信号復号部８０２から入力される復号Ｍ信号Ｍ’、及び、Ｓ信号復号部８０４から入力される復号Ｓ信号Ｓ’を、復号Ｌ信号Ｌ’及び復号Ｒ信号Ｒ’に変換（MS-LR変換）する。例えば、アップミックス部８０５は、式（５）又は式（６）に従って復号Ｍ信号及び復号Ｓ信号を、復号Ｌ信号及び復号Ｒ信号に変換する。
　以上、本実施の形態に係る符号化装置７００及び復号装置８００について説明した。
　このように、本実施の形態では、符号化装置７００は、Ｓ信号に対して、予測符号化及びモノラル符号化の双方の符号化を行い、符号化結果がより良い符号化モードを選択する。これにより、符号化装置７００は、Ｓ信号を効率良く符号化でき、復号装置８００では、Ｓ信号の復号性能を向上できる。
　なお、本実施の形態では、Ｓ信号に対する符号化モードとして、予測モード及び通常モードを用いる場合について説明した。しかし、Ｓ信号に対する符号化モードは、予測モード及び通常モード以外の符号化モードでもよい。また、本実施の形態では、２種類の符号化モードを用いる場合について説明したが、３種類以上の符号化モードを用いてもよい。例えば、Ｌ信号とＲ信号との相関が低い場合には、ＭＳステレオ符号化を用いず、ＬＲをデュアルモノ符号化するモードを用いても良い。
　また、本実施の形態において、Ｓ信号に対する符号化処理は、複数のサブバンド毎に行われてもよく、複数のサブバンド全体に対して行われてもよい。Ｓ信号に対する符号化処理が複数のサブバンド毎に行われる場合、Ｓ信号符号化情報及びモード符号化情報は、サブバンド毎に生成される。また、この場合、モード符号化情報は、例えば、予測モードが選択された帯域を「１」で表し、通常モードが選択された帯域を「０」で表すバイナリ符号化情報でもよい。
　（実施の形態５）
　実施の形態４では、符号化装置において複数の符号化モードを用いてＳ信号をそれぞれ符号化し、符号化結果がより良好である符号化モードを選択する場合について説明した。これに対して、実施の形態５では、符号化装置において、複数の符号化モードの中から１つの符号化モードを選択し、選択した符号化モードを用いてＳ信号を符号化する場合について説明する。
　図１２は、本実施の形態に係る符号化装置９００の構成例を示すブロック図である。なお、図１２において、実施の形態４と同様の構成には同一の符号を付し、その説明を省略する。また、本実施の形態に係る復号装置は、実施の形態４に係る復号装置８００と基本構成が共通するので、図１１を援用して説明する。
　図１２に示す符号化装置９００において、相互相関算出部９０１は、入力されるＬ信号とＲ信号との正規化相互相関を算出する。例えば、相互相関算出部９０１は、サブバンド毎の正規化相互相関値を算出する。相互相関算出部９０１は、算出したサブバンド毎の正規化相互相関値をサブバンド分類部９０２に出力する。
　例えば、相互相関算出部９０１は、次式（１７）に従って、サブバンドｂの正規化相互相関値ＸＬＲ（ｂ）を算出する。
Figure JPOXMLDOC01-appb-M000017
　式（１７）において、ｋｓｔａｒｔはサブバンドｂにおけるスペクトル係数の開始番号を示し、ｋｅｎｄはサブバンドｂにおけるスペクトル係数の終了番号を示し、ｂは０，１，…, Ｎｂａｎｄｓ－１である。Ｎｂａｎｄｓはサブバンド数を示す。また、「＊」は複素共役を示し、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
　サブバンド分類部９０２は、相互相関算出部９０１から入力されるサブバンド毎の正規化相互相関値に基づいて、サブバンドを複数のグループに分類する。サブバンドのグループ数は、例えば、Ｓ信号符号化部９０３において選択可能な符号化モードの数と同一でもよい。例えば、サブバンド分類部９０２は、正規化相互相関値が所定の範囲であるサブバンドを予測モード（例えば、ＭＳ予測符号化）に対応するグループに分類し、正規化相互相関値が上記所定の範囲以外であるサブバンドを通常モード（例えば、モノラル符号化）に対応するグループに分類する。サブバンド分類部９０２は、サブバンドの分類結果を示す分類情報をＳ信号符号化部９０３及び分類情報符号化部９０４に出力する。
　Ｓ信号符号化部９０３は、サブバンド分類部９０２から入力される分類情報に基づいて、Ｓ信号の符号化モード（例えば、予測モード又は通常モードの何れか）を選択する。そして、Ｓ信号符号化部９０３は、選択した符号化モードに基づいて、ダウンミックス部７０１から入力されるＳ信号を符号化し、符号化結果（Ｓ信号符号化情報）Ｃｓを多重化部７０５に出力する。
　分類情報符号化部９０４は、サブバンド分類部９０２から入力される分類情報を符号化し、符号化結果（モード符号化情報）Ｃｇを多重化部７０５に出力する。例えば、分類情報符号化部９０４は、予測モードに対応するグループに含まれるサブバンドを「１」で表し、通常モードに対応するグループに含まれるサブバンドを「０」で表すバイナリ符号化情報を生成してもよい。
　復号装置８００（例えば、図１１を参照）は、モード符号化情報（換言すると、分類情報）に基づいて、Ｓ信号の符号化モードをサブバンド毎に決定し、決定した符号化モードに従って、Ｓ信号を復号する。
　次に、サブバンド分類部９０２におけるサブバンドの分類方法の一例を説明する。
　ＭＳ符号化では、例えば、Ｌ信号とＲ信号とのスペクトル形状が似ているほど（換言すると、正規化相互相関値が高いほど）、Ｌ信号とＲ信号との差を示すＳ信号をより少ないビット数を用いて高効率に符号化できる。換言すると、Ｌ信号及びＲ信号の正規化相互相関値が高いほど、ＭＳ予測符号化（予測モード）によりＳ信号を予測しなくても、通常モードの符号化によってＳ信号を高効率に符号化できる。
　一方、Ｌ信号とＲ信号とのスペクトル形状が似ていない場合（換言すると、正規化相互相関値が低い場合）、ＭＳ予測符号化（予測モード）の予測誤差はより大きくなるので、ＭＳ予測符号化では、通常モードの符号化よりも符号化ビット数をより多く要する可能性がある。
　そこで、例えば、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂを、予測モードに対応するサブバンドに分類する。また、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲以外のサブバンドｂを、通常モードに対応するサブバンドに分類する。
　これにより、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．８より大きいサブバンドｂでは、Ｓ信号符号化部９０３は、Ｌ信号とＲ信号との差信号（すなわちＳ信号）が小さいことが期待されるので、通常モードを用いてＳ信号を高効率に符号化できる。また、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂでは、Ｓ信号符号化部９０３は、予測モードを用いてＳ信号を符号化することにより、通常モードを用いる場合と比較して、Ｓ信号符号化情報のビット数を削減できる。また、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．５未満のサブバンドｂでは、Ｓ信号符号化部９０３は、通常モードでＳ信号を符号化することにより、Ｓ信号符号化情報のビット数が不用意に多くなることを回避することができる。
　なお、予測モードに対応するサブバンドに分類する正規化相互相関値ＸＬＲ（ｂ）の範囲は、０．５～０．８の範囲に限定されず、他の範囲でもよい。
　このように、本実施の形態では、符号化装置９００は、Ｌ信号とＲ信号との相関に適した符号化モードを選択することにより、Ｓ信号を効率良く符号化できる。また、符号化装置９００は、Ｌ信号とＲ信号との相関に基づいて選択された１つの符号化モードを用いてＳ信号を符号化するので、複数の符号化モードのそれぞれを用いて符号化を行う場合と比較して演算量を削減できる。
　なお、本実施の形態では、Ｓ信号の符号化モードに、予測モード及び通常モードの２種類のモードを用いる場合について説明した。しかし、Ｓ信号の符号化モードは、３種類以上でもよい。この場合、サブバンド分類部９０２は、複数のサブバンドを、Ｓ信号の符号化モードと同数のグループに分類すればよい。
　例えば、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂを、予測モードに対応するサブバンドに分類し、正規化相互相関値ＸＬＲ（ｂ）が０．８より大きい範囲のサブバンドｂを、通常モード（例えば、モノラル符号化）に対応するサブバンドに分類し、正規化相互相関値ＸＬＲ（ｂ）が０．５未満の範囲のサブバンドｂを、デュアルモノモード（デュアルモノ符号化）に対応するサブバンドに分類してもよい。デュアルモノ符号化では、Ｓ信号符号化部９０３は、Ｌ信号及びＲ信号を別々にモノラル符号化する。
　また、符号化装置９００が用いる符号化モードは、上述したような２種類又は３種類に限定されず、４種類以上でもよい。
　また、本実施の形態では、サブバンド毎の符号化モードを決定する場合について説明したが、符号化モードはサブバンド単位に決定される場合に限定されない。例えば、符号化モードは、複数のサブバンドのグループ単位に決定されてもよく、全ての帯域において決定されてもよい。
　また、本実施の形態では、符号化装置９００は、Ｌ信号とＲ信号との正規化相互相関値に基づいて、符号化モードを選択する場合について説明したが、符号化モードの選択基準となるパラメータは、正規化相互相関値に限定されず、例えば、Ｌ信号とＲ信号との相関に関する他のパラメータでもよい。
　または、符号化モードの選択基準となるパラメータは、Ｍ－Ｓ予測における予測利得でもよい。例えば、符号化装置９００は、算出した予測利得が高い場合（例えば、所定の閾値を超えるあるいは所定の閾値以上の場合）に予測モードを選択しても良い。予測利得は、予測対象となる信号（本実施の形態ではＳ信号）と予測残差信号（予測されたＳ信号と実際のＳ信号との誤差信号）とのＳ／Ｎ比として定義できる。この場合、Ｓ信号を対象とした場合のＳ／Ｎ比の逆数は、次式（１８）で表される。
Figure JPOXMLDOC01-appb-M000018
　式（１８）において、ＭＥｎｅ（ｂ）はサブバンドｂにおけるＭ信号のエネルギを示し、ＳＥｎｅ（ｂ）はサブバンドｂにおけるＳ信号のエネルギを示し、ＸＳＭ（ｂ）はサブバンドｂにおけるＳ信号とＭ信号との相互相関値を示し、ＳｂはサブバンドｂにおけるＳ信号を示し、ＭｂはサブバンドｂにおけるＭ信号を示し、ＳｂＭｂはサブバンドｂにおけるＳ信号とＭ信号とのクロススペクトルを示し、Ｓ(ｋ)はサブバンドｂ内の各周波数ビンｋにおけるＳ信号を示し、Ｍ(ｋ)はサブバンドｂ内の各周波数ビンｋにおけるＭ信号を示し、ＨｂはサブバンドｂにおけるＭ－Ｓ予測係数を示す（例えば、式（７）を参照）。関数Ｅ(ｘ)はｘの期待値を返す関数を表す。
　式（１８）によれば、（ＸＳＭ（ｂ））２／Ｅ（ＳＥｎｅ（ｂ））Ｅ（ＭＥｎｅ（ｂ））が大きいほど、予測利得が高くなる。つまり、符号化装置９００は、Ｍ信号とＳ信号との相互相関の二乗をＭ信号のエネルギとＳ信号のエネルギとを掛けた値で正規化して得られる、「Ｍ信号とＳ信号との正規化相互相関」を算出する。そして、符号化装置９００は、「Ｍ信号とＳ信号との正規化相互相関」が所定の閾値以上（または閾値を超える）場合に予測利得が高いと判断して、予測モードを用いるようにすればよい。また、符号化装置９００は、例えば、予測利得が低い場合にデュアルモノ符号化モードを用いるようにすれば、モードの判定にＬ信号及びＲ信号の相互相関（例えば、式（１７）又はこれに準じた式）を計算する必要はない。この場合の符号化装置９００ａの構成を図１３に示す。図１３に示す符号化装置９００ａでは、符号化装置９００（図１２）と比較すると、相互相関算出部９０１ａの入力信号がダウンミックス部７０１の出力信号であるＭ信号とＳ信号になっている点が異なる。また、図１３において、相互相関算出部９０１ａは、上述した「Ｍ信号とＳ信号との正規化相互相関」を算出する。
　以上、本開示の各実施の形態について説明した。
　なお、本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
　通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
　通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
　また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。
　また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
　本開示の一実施例における符号化装置は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、を具備する。
　本開示の一実施例における符号化装置において、前記予測パラメータ及び前記和信号を用いて前記差信号を予測して、予測差信号を生成する予測回路と、前記差信号と前記予測差信号との残差信号を符号化して、第３の符号化情報を生成する第３符号化回路と、を更に具備する。
　本開示の一実施例における符号化装置において、前記第３符号化情報には、前記和信号と、前記第１の符号化情報を復号して得られる復号和信号との残差信号の符号化結果が含まれる。
　本開示の一実施例における符号化装置において、前記エネルギ差に関するパラメータは、前記第１の符号化情報を復号して得られる復号和信号と前記差信号との相関値を、前記復号和信号のエネルギで正規化して得られる係数である。
　本開示の一実施例における符号化装置において、前記第２の符号化回路は、前記予測パラメータに対してエントロピ符号化を行う。
　本開示の一実施例における符号化方法は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、前記予測パラメータを符号化して、第２の符号化情報を生成する。
　２０１８年７月３日出願の特願２０１８－１２６８４２及び２０１８年１１月７日出願の特願２０１８－２０９９４０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示の一実施例は、MS予測符号化技術を用いた音声通信システムに有用である。
　１００，３００，５００，７００，９００，９００ａ　符号化装置
　１０１　エネルギ差算出部
　１０２，３０２　量子化部
　１０３，３０３　エントロピ符号化部
　１０４，３０４，５０５　逆量子化部
　１０５，５０１，７０１　ダウンミックス部
　１０６，５０２，７０２　Ｍ信号符号化部
　１０７，１１０，２０６，２０９　加算器
　１０８，２０７　Ｍ信号エネルギ算出部
　１０９，２０８，３０５，４０４　Ｍ－Ｓ予測部
　１１１，３０６，５０８　残差符号化部
　１１２，５０９，７０５　多重化部
　２００，４００，６００，８００　復号装置
　２０１，６０１，８０１　分離部
　２０２，４０１　エントロピ復号部
　２０３　エネルギ差復号部
　２０４，４０３，６０４　残差復号部
　２０５，６０２，８０２　Ｍ信号復号部
　２１０，８０５　アップミックス部
　３０１，５０３　予測係数算出部
　４０２　予測係数復号部
　５０４　量子化符号化部
　５０６，６０５　チャネル予測部
　５０７　残差算出部
　６０３　予測係数復号逆量子化部
　６０６　加算部
　７０３，９０３　Ｓ信号符号化部
　７０４　符号化モード符号化部
　８０３　符号化モード復号部
　８０４　Ｓ信号復号部
　９０１，９０１ａ　相互相関算出部
　９０２　サブバンド分類部
　９０４　分類情報符号化部

Claims (6)

  1. 　ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、
    　前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、
    　前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、
    　を具備する符号化装置。
  2. 　前記予測パラメータ及び前記和信号を用いて前記差信号を予測して、予測差信号を生成する予測回路と、
    　前記差信号と前記予測差信号との残差信号を符号化して、第３の符号化情報を生成する第３符号化回路と、を更に具備する、
    　請求項１に記載の符号化装置。
  3. 　前記第３符号化情報には、前記和信号と、前記第１の符号化情報を復号して得られる復号和信号との残差信号の符号化結果が含まれる、
    　請求項２に記載の符号化装置。
  4. 　前記エネルギ差に関するパラメータは、前記第１の符号化情報を復号して得られる復号和信号と前記差信号との相関値を、前記復号和信号のエネルギで正規化して得られる係数である、
    　請求項１に記載の符号化装置。
  5. 　前記第２符号化回路は、前記予測パラメータに対してエントロピ符号化を行う、
    　請求項１に記載の符号化装置。
  6. 　ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、
    　前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、
    　前記予測パラメータを符号化して、第２の符号化情報を生成する、
    　符号化方法。
PCT/JP2019/026200 2018-07-03 2019-07-02 符号化装置及び符号化方法 WO2020009082A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020528992A JP7407110B2 (ja) 2018-07-03 2019-07-02 符号化装置及び符号化方法
CN201980042253.6A CN112352277B (zh) 2018-07-03 2019-07-02 编码装置及编码方法
US17/256,899 US11545165B2 (en) 2018-07-03 2019-07-02 Encoding device and encoding method using a determined prediction parameter based on an energy difference between channels

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018126842 2018-07-03
JP2018-126842 2018-07-03
JP2018-209940 2018-11-07
JP2018209940 2018-11-07

Publications (1)

Publication Number Publication Date
WO2020009082A1 true WO2020009082A1 (ja) 2020-01-09

Family

ID=69060388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026200 WO2020009082A1 (ja) 2018-07-03 2019-07-02 符号化装置及び符号化方法

Country Status (3)

Country Link
US (1) US11545165B2 (ja)
JP (1) JP7407110B2 (ja)
WO (1) WO2020009082A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323314A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd マルチチャネル音声信号をバイノーラルキュー符号化する装置
JP2007183528A (ja) * 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
WO2017125562A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization
WO2017161315A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Multi channel coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519552C2 (sv) * 1998-09-30 2003-03-11 Ericsson Telefon Ab L M Flerkanalig signalkodning och -avkodning
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US8032240B2 (en) * 2005-07-11 2011-10-04 Lg Electronics Inc. Apparatus and method of processing an audio signal
CN102037507B (zh) 2008-05-23 2013-02-06 皇家飞利浦电子股份有限公司 参数立体声上混合设备、参数立体声译码器、参数立体声下混合设备、参数立体声编码器
ES2415155T3 (es) * 2009-03-17 2013-07-24 Dolby International Ab Codificación estéreo avanzada basada en una combinación de codificación estéreo izquierda/derecha o central/lateral seleccionable de manera adaptativa y de codificación estéreo paramétrica
CN101533641B (zh) * 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
US8924207B2 (en) * 2009-07-23 2014-12-30 Texas Instruments Incorporated Method and apparatus for transcoding audio data
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
ES2950751T3 (es) * 2010-04-13 2023-10-13 Fraunhofer Ges Forschung Codificador de audio o vídeo, decodificador de audio o vídeo y métodos relacionados para procesar señales de audio o vídeo multicanal usando una dirección de predicción variable
US8654984B2 (en) 2011-04-26 2014-02-18 Skype Processing stereophonic audio signals
BR112015025092B1 (pt) * 2013-04-05 2022-01-11 Dolby International Ab Sistema de processamento de áudio e método para processar um fluxo de bits de áudio
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323314A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd マルチチャネル音声信号をバイノーラルキュー符号化する装置
JP2007183528A (ja) * 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
WO2017125562A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization
WO2017161315A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Multi channel coding

Also Published As

Publication number Publication date
JP7407110B2 (ja) 2023-12-28
US11545165B2 (en) 2023-01-03
US20210280201A1 (en) 2021-09-09
CN112352277A (zh) 2021-02-09
JPWO2020009082A1 (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
KR101340233B1 (ko) 스테레오 부호화 장치, 스테레오 복호 장치 및 스테레오부호화 방법
JP5383676B2 (ja) 符号化装置、復号装置およびこれらの方法
US8374883B2 (en) Encoder and decoder using inter channel prediction based on optimally determined signals
EP2856776B1 (en) Stereo audio signal encoder
KR102460820B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
WO2007105586A1 (ja) 符号化装置および符号化方法
JPWO2006046587A1 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
KR102327149B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
JP5746974B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5714002B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
US20160035357A1 (en) Audio signal encoder comprising a multi-channel parameter selector
WO2010140350A1 (ja) ダウンミックス装置、符号化装置、及びこれらの方法
US8271275B2 (en) Scalable encoding device, and scalable encoding method
CN111710342B (zh) 编码装置、解码装置、编码方法、解码方法及程序
KR102204136B1 (ko) 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법
US20160111100A1 (en) Audio signal encoder
WO2011045926A1 (ja) 符号化装置、復号装置およびこれらの方法
CN107077850B (zh) 用于对子带组的子带配置数据进行编码或解码的方法和装置
JP7407110B2 (ja) 符号化装置及び符号化方法
CN112352277B (zh) 编码装置及编码方法
KR102363275B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
WO2010098120A1 (ja) チャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法
JP5544371B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5990954B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829756

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528992

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19829756

Country of ref document: EP

Kind code of ref document: A1