RU2323551C1

RU2323551C1 - Method for frequency-oriented encoding of channels in parametric multi-channel encoding systems

Info

Publication number: RU2323551C1
Application number: RU2006134979/09A
Authority: RU
Inventors: Кристоф ФАЛЛЕР (CH); Кристоф ФАЛЛЕР; Юрген ХЕРРЕ (DE); Юрген ХЕРРЕ
Original assignee: Эйджир Системс Инк.; Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date: 2004-03-04
Filing date: 2005-02-23
Publication date: 2008-04-27
Also published as: CN1930914B; CN1930914A

Abstract

FIELD: stereophonic systems with more than two channels.

SUBSTANCE: in accordance to the method, data is generated for parametric codes of first subset of sound input channels for first frequency area by using parametric multi-channel encoding; and parameter code data is generated for second subset of sound input channels for second frequency area by means of application of parametric multi-channel audio-encoding, where the second frequency area is different from the first frequency area; and the second subset of sound input channels is different from the first subset of sound input channels.

EFFECT: reduced data processing load in encoder and decoder, and also reduced BCC bit code streams.

6 cl, 2 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Настоящее изобретение относится к кодированию звуковых сигналов и последующему синтезу акустических сцен из кодированных аудиоданных.The present invention relates to the encoding of audio signals and the subsequent synthesis of acoustic scenes from encoded audio data.

Уровень техникиState of the art

Многоканальные аудиосистемы звукового окружения являются стандартными в кинотеатрах уже на протяжении многих лет. По мере совершенствования технологии появилась возможность создания многоканальных систем звукового окружения и для использования в домашних условиях. В настоящее время продажа таких систем осуществляется главным образом в составе "систем домашнего кинотеатра". В соответствии со стандартом ITU-R подавляющее большинство этих систем обеспечивает пять регулярных звуковых каналов и один низкочастотный канал сабвуфера (называемый каналом низкочастотных эффектов или LFE каналом). Такая многоканальная система носит название система звукового окружения формата 5.1. Имеются и другие системы звукового окружения, такие как система формата 7.1 (семь регулярных каналов и один LFE канал) и система формата 10.2 (десять регулярных каналов и два LFE канала).Multichannel audio surround sound systems have been standard in movie theaters for many years. With the improvement of technology, it became possible to create multi-channel sound environment systems for use at home. Currently, the sale of such systems is carried out mainly as part of the "home theater systems." In accordance with the ITU-R standard, the vast majority of these systems provide five regular sound channels and one subwoofer low-frequency channel (called the low-frequency effects channel or LFE channel). Such a multi-channel system is called 5.1 surround sound system. There are other surround sound systems, such as a 7.1 format system (seven regular channels and one LFE channel) and a 10.2 format system (ten regular channels and two LFE channels).

В работах "Efficient representation of spatial audio coding using perceptual parametrization" ("Эффективное представление пространственного аудиокодирования с использованием перцептуальной параметризации"), IEEE Workshop on Appl. of Sig. Proc. to Audio and Acoust., October 2001 и "Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression" ("Бинауральное кодирование сигнала при сжатии стерео- и многоканального звука"), Preprint 112th Conv. Aud. Eng. Soc., May 2002 (вместе именуемых "статьями по BCC"), авторами которых являются C. Faller и F. Baumgarte и идеи которых включены в данный документ путем ссылки, описывается технология параметрического многоканального аудиокодирования (называемая BCC-кодированием).In "Efficient representation of spatial audio coding using perceptual parametrization", IEEE Workshop on Appl. of sig. Proc. to Audio and Acoust., October 2001 and "Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression", Preprint 112th Conv. Aud. Eng. Soc., May 2002 (collectively referred to as “BCC Articles”), sponsored by C. Faller and F. Baumgarte and incorporated herein by reference, is a parametric multi-channel audio coding technology (referred to as BCC coding).

На фиг. 1 представлена блок-схема системы 100 обработки звукового сигнала, выполняющей бинауральное кодирование сигнала (BCC) в соответствии со статьями по BCC. BCC-система 100 имеет BCC-кодер 102, который принимает C каналов 108 звукового ввода, например один от каждого из C различных микрофонов 106. BCC-кодер 102 имеет схему 110 микширования с уменьшением числа каналов, осуществляющую преобразование C каналов звукового ввода в суммарный монозвуковой сигнал 112.In FIG. 1 is a block diagram of an audio signal processing system 100 performing binaural signal coding (BCC) in accordance with BCC articles. The BCC system 100 has a BCC encoder 102 that receives C channels of audio input 108, for example, one from each of the C different microphones 106. The BCC encoder 102 has a channel number mixing circuit 110 that converts C channels of audio input to a total mono sound signal 112.

Кроме того, BCC-кодер 102 имеет BCC-анализатор 114, который генерирует поток 116 данных кодов BCC-сигнала для C каналов ввода. В состав кодов BCC-сигнала (называемых также параметрами акустической сцены) входят данные межканальной разности уровней сигналов (ICLD) и межканальной разности моментов времени прихода сигналов (ICTD) для каждого канала ввода. BCC-анализатор 114 выполняет полосно-ориентированную обработку данных для генерации данных ICLD и ICTD для одного или более различных частотных поддиапазонов (например, для различных критических полос) каналов звукового ввода.In addition, the BCC encoder 102 has a BCC analyzer 114, which generates a stream of BCC signal code data 116 for C input channels. The BCC signal codes (also called acoustic scene parameters) include the data of the inter-channel difference of signal levels (ICLD) and the inter-channel difference of moments of time of arrival of signals (ICTD) for each input channel. The BCC analyzer 114 performs band-oriented data processing to generate ICLD and ICTD data for one or more different frequency subbands (e.g., for different critical bands) of the audio input channels.

BCC-кодер 102 передает суммарный сигнал 112 и поток 116 данных кодов BCC-сигнала (например, в качестве как внутриполосной, так внеполосной дополнительной информации по отношению к суммарному сигналу) в BCC-декодер 104 в составе BCC-системы 100. BCC-декодер 104 имеет процессор 118 дополнительной информации, который обрабатывает поток 116 данных для восстановления кодов 120 BCC-сигнала (например, данных ICLD и ICTD). BCC-декодер 104 имеет также BCC-синтезатор 122, который использует восстановленные коды 120 BCC-сигнала для синтеза C каналов 124 звукового вывода из суммарного сигнала 112 для воспроизведения с помощью соответствующих C динамиков 126.The BCC encoder 102 transmits the sum signal 112 and the BCC signal code data stream 116 (for example, as both in-band and out-of-band additional information with respect to the sum signal) to the BCC decoder 104 as part of the BCC system 100. The BCC decoder 104 has an additional information processor 118 that processes the data stream 116 to recover BCC signal codes 120 (e.g., ICLD and ICTD data). The BCC decoder 104 also has a BCC synthesizer 122, which uses the restored BCC signal codes 120 to synthesize C channels 124 of the audio output from the total signal 112 for reproduction using the respective C speakers 126.

Система 100 обработки звука может быть реализована в контексте многоканальных звуковых сигналов, таких как окружающий звук в формате 5.1. В частности, схема 110 микширования с уменьшением числа каналов в составе BCC-кодера 102 может преобразовывать шесть каналов ввода обычного окружающего звука (звукового окружения) в формате 5.1 (то есть пять регулярных каналов + один LFE канал) в суммарный сигнал 112. Кроме того, BCC-анализатор 114 в составе кодера 102 может преобразовывать шесть каналов ввода в частотную область для генерации соответствующих кодов 116 BCC-сигнала. Аналогичным образом, процессор 118 дополнительной информации в составе BCC-декодера 104 может восстанавливать коды 120 BCC-сигнала из принимаемого потока 116 дополнительной информации, а BCC-синтезатор 122 в составе декодера 104 (1) преобразовывать принимаемый суммарный сигнал 112 в частотную область, (2) использовать восстановленные коды 120 BCC-сигналов применительно к суммарному сигналу в частотной области для генерации шести сигналов частотной области и (3) преобразовывать эти сигналы частотной области в шесть каналов временной области синтезируемого звукового окружения в формате 5.1 (то есть в пять синтезируемых регулярных каналов + один синтезируемый LFE канал) для воспроизведения с помощью динамиков 126.The sound processing system 100 may be implemented in the context of multi-channel audio signals, such as 5.1 surround sound. In particular, the mixing circuit 110 with a decrease in the number of channels in the BCC encoder 102 can convert six input channels of normal surround sound (surround sound) in 5.1 format (that is, five regular channels + one LFE channel) to a total signal 112. In addition, BCC analyzer 114 as part of encoder 102 may convert six input channels into the frequency domain to generate corresponding BCC signal codes 116. Similarly, the additional information processor 118 as part of the BCC decoder 104 can recover the BCC signal codes 120 from the received additional information stream 116, and the BCC synthesizer 122 as part of the decoder 104 (1) transform the received sum signal 112 into the frequency domain, (2 ) use the reconstructed codes of 120 BCC signals as applied to the total signal in the frequency domain to generate six signals of the frequency domain and (3) convert these signals of the frequency domain into six channels of the time domain of the synthesized 5.1 surround sound (i.e., five synthesized regular channels + one synthesized LFE channel) for playback using the speakers 126.

Сущность изобретенияSUMMARY OF THE INVENTION

Применительно к звуковому окружению в вариантах осуществления настоящего изобретения предлагается использование технологии BCC-ориентированного параметрического аудиокодирования, в которой низкочастотный(е) (LFE) канал(ы) сабвуфера для частотных поддиапазонов выше частоты среза полосно-ориентированному BCC-кодированию не подвергаются. Например, для звукового окружения в формате 5.1 BCC-кодирование осуществляется применительно ко всем шести каналам (то есть кодированию подвергаются эти пять регулярных каналов плюс один LFE канал) для поддиапазонов ниже частоты среза, в то время как для поддиапазонов выше частоты среза ВСС-кодирование осуществляется применительно только к этим пяти регулярным каналам (то есть не к LFE каналу). Освобождение от BCC-кодирования LFE канала на "высоких" частотах в этих вариантах осуществления настоящего изобретения позволяет (1) снизить нагрузки по обработке данных и в кодере, и в декодере и (2) уменьшить потоки битов кодов BCC по сравнению с BCC-ориентированными системами, в которых обработке подвергаются все шесть каналов на всех частотах.With regard to the surroundings, embodiments of the present invention propose the use of BCC-oriented parametric audio coding technology in which the low-frequency (e) (LFE) subwoofer channel (s) for frequency subbands above the cut-off frequency are not subjected to band-oriented BCC coding. For example, for 5.1 surround sound environments, BCC coding is applied to all six channels (i.e., these five regular channels plus one LFE channel are encoded) for subbands below the cutoff frequency, while for subbands above the cutoff frequency, BCC coding only applicable to these five regular channels (i.e. not to the LFE channel). The exemption from BCC coding of the LFE channel at “high” frequencies in these embodiments of the present invention allows (1) to reduce data processing loadings in both the encoder and the decoder and (2) to reduce the bit stream of BCC codes in comparison with BCC-oriented systems in which all six channels are processed at all frequencies.

В более широком толковании в настоящем изобретении предлагается использование технологии параметрического аудиокодирования, такой как BCC-кодирование, но не обязательно только BCC-кодирования, в которой два или более различных подмножеств каналов ввода подвергаются обработке для двух или более различных частотных областей. Используемый в этом описании термин "подмножество" может относиться как ко всем каналам ввода, так и к подмножествам, в состав которых включены не все каналы ввода. Использование настоящего изобретения применительно к BCC-кодированию сигналов в формате 5.1 и других сигналов звукового окружения является только одним частным примером настоящего изобретения.In a broader interpretation, the present invention proposes the use of parametric audio coding technology, such as BCC coding, but not only BCC coding, in which two or more different subsets of input channels are processed for two or more different frequency domains. Used in this description, the term "subset" can refer to all input channels, and to subsets, which are not included in all input channels. The use of the present invention with respect to BCC coding of 5.1 signals and other surround sound signals is only one particular example of the present invention.

Краткое описание чертежейBrief Description of the Drawings

Другие особенности, признаки и преимущества настоящего изобретения станут более очевидными из следующего ниже подробного описания, прилагаемой формулы изобретения и прилагаемых чертежей, на которых:Other features, features and advantages of the present invention will become more apparent from the following detailed description, the appended claims, and the accompanying drawings, in which:

фиг. 1 - блок-схема системы обработки звукового сигнала, которая выполняет бинауральное кодирование сигнала (BCC); иFIG. 1 is a block diagram of an audio signal processing system that performs binaural signal coding (BCC); and

фиг. 2 - блок-схема системы обработки звукового сигнала, которая выполняет BCC-кодирование согласно одному варианту осуществления настоящего изобретения.FIG. 2 is a block diagram of an audio signal processing system that performs BCC coding according to one embodiment of the present invention.

Подробное описаниеDetailed description

На фиг. 2 представлена блок-схема системы 200 обработки звукового сигнала, которая выполняет бинауральное кодирование сигнала (BCC) для звукового окружения в формате 5.1 согласно одному варианту осуществления настоящего изобретения. BCC-система 200 имеет BCC-кодер 202, осуществляющий прием шести каналов 208 звукового ввода (то есть пяти регулярных каналов и одного LFE канала). BCC-кодер 202 имеет схему 210 микширования с уменьшением числа каналов, которая преобразует (например, усредняет) каналы звукового ввода (в том числе LFE канал) в один или несколько, но менее чем в шесть, комбинированных каналов 212.In FIG. 2 is a block diagram of an audio signal processing system 200 that performs binaural signal encoding (BCC) for a 5.1 surround sound environment according to one embodiment of the present invention. The BCC system 200 has a BCC encoder 202 that receives six audio input channels 208 (i.e., five regular channels and one LFE channel). The BCC encoder 202 has a channel reduction circuit 210 that converts (e.g., averages) the audio input channels (including the LFE channel) into one or more, but less than six, combined channels 212.

Кроме того, BCC-кодер 202 имеет BCC-анализатор 214, который генерирует поток 216 данных кодов BCC-сигнала для каналов ввода. Как показано на фиг. 2, для частотных поддиапазонов на заданной частоте f_c среза или более низких частотах BCC-анализатор 214 используют все шесть каналов ввода звукового окружения в формате 5.1 (в том числе LFE канал) при генерации данных кодов BCC-сигнала. Для всех других (то есть высокочастотных) поддиапазонов BCC-анализатор 214 использует только эти пять регулярных каналов (а не LFE канал) для генерации данных кодов BCC-сигнала. В результате LFE канал вносит коды BCC только для поддиапазонов BCC на заданной частоте среза или более низких частотах, а не для всего частотного диапазона BCC, обеспечивая таким образом уменьшение общего объема потока битов дополнительной информации.In addition, the BCC encoder 202 has a BCC analyzer 214 that generates a BCC signal code stream 216 for input channels. As shown in FIG. 2, for frequency subbands at a given cutoff frequency f _c or lower frequencies, the BCC analyzer 214 uses all six 5.1 surround input channels (including the LFE channel) to generate BCC signal code data. For all other (i.e., high-frequency) subbands, the BCC analyzer 214 uses only these five regular channels (and not the LFE channel) to generate these BCC signal codes. As a result, the LFE channel enters BCC codes only for BCC subbands at a given cutoff frequency or lower frequencies, and not for the entire BCC frequency range, thereby reducing the total amount of additional information bitstream.

Частота среза в предпочтительном варианте выбирается такой, чтобы эффективная ширина полосы пропускания LFE канала по звуковым частотам была меньше или равна f_c (то есть, чтобы LFE канал имел практически нулевую энергию или пренебрежимо низкую интенсивность спектра звуковых частот вне частоты среза). Если частотные поддиапазоны не согласованы с частотой среза, частота среза приходится на конкретный частотный поддиапазон. В этом случае часть этого поддиапазона будет превышать частоту среза. В данном описании такой поддиапазон именуется поддиапазоном "на" частоте среза. В предпочтительных вариантах осуществления этот поддиапазон LFE канала полностью подвергают BCC-кодированию, а следующий поддиапазон более высоких частот является первым высокочастотным поддиапазоном, который BCC-кодированию не подвергается.The cutoff frequency is preferably selected such that the effective bandwidth of the LFE channel in terms of sound frequency is less than or equal to f _c (i.e., the LFE channel has practically zero energy or a negligible intensity of the spectrum of sound frequencies outside the cutoff frequency). If the frequency subbands are not consistent with the cutoff frequency, the cutoff frequency falls on a particular frequency subband. In this case, part of this subband will exceed the cutoff frequency. In this description, such a subband is referred to as a sub-band “at” a cutoff frequency. In preferred embodiments, this LFE channel subband is fully BCC encoded, and the next higher frequency subband is the first high frequency subband that is not BCC encoded.

В одном примере возможной реализации в состав кодов BCC-сигнала входят данные межканальной разности уровней сигналов (ICLD), межканальной разности моментов времени прихода сигналов (ICTD) и межканальной корреляции (ICC) для каналов ввода. В предпочтительном варианте BCC-анализатор 214 выполняет полосно-ориентированную обработку данных, аналогичную описанной в заявках '877 и '458, для генерации данных ICLD и ICTD для различных частотных поддиапазонов каналов звукового ввода. Кроме того, в предпочтительном варианте BCC-анализатор 214 генерирует степени когерентности в качестве данных ICC для различных частотных поддиапазонов. Более подробное описание этих степеней когерентности приводится в заявках '437 и '591.In one example of a possible implementation, the BCC signal codes include inter-channel signal level difference (ICLD), inter-channel signal arrival time difference (ICTD), and inter-channel correlation (ICC) for input channels. In a preferred embodiment, the BCC analyzer 214 performs band-oriented data processing, similar to that described in the applications '877 and' 458, to generate ICLD and ICTD data for different frequency subbands of the audio input channels. In addition, in a preferred embodiment, the BCC analyzer 214 generates degrees of coherence as ICC data for different frequency subbands. A more detailed description of these degrees of coherence is given in the applications '437 and' 591.

BCC-кодер 202 осуществляет передачу одного или более комбинированных каналов 212 и потока 216 данных кодов BCC-сигнала 216 (например, как внутриполосной, так и внеполосной дополнительной информации по отношению к комбинированным каналам) в BCC-декодер 204 в составе BCC-системы 200. BCC-декодер 204 имеет процессор 218 дополнительной информации, который обрабатывает поток 216 данных для восстановления кодов 220 BCC-сигнала (например, данных ICLD, ICTD и ICC). BCC-декодер 204 также имеет BCC-синтезатор 222, который использует восстановленные коды 220 BCC-сигнала для синтеза шести каналов 224 звукового вывода из одного или нескольких комбинированных каналов 212 для воспроизведения с помощью соответствующих шести динамиков 226 звукового окружения.The BCC encoder 202 transmits one or more combined channels 212 and the data stream 216 of the BCC signal codes 216 (for example, both in-band and out-of-band additional information with respect to the combined channels) to the BCC decoder 204 as part of the BCC system 200. The BCC decoder 204 has an additional information processor 218 that processes the data stream 216 to recover BCC signal codes 220 (e.g., ICLD, ICTD, and ICC data). The BCC decoder 204 also has a BCC synthesizer 222 that uses the reconstructed BCC signal codes 220 to synthesize six audio output channels 224 from one or more combined channels 212 for playback using the respective six surround sound speakers 226.

Как показано на фиг. 2, BCC-синтезатор 222 выполняет BCC-синтез шести каналов для поддиапазонов на частоте среза f_c или более низких частотах для генерации спектра частот для всех шести каналов окружения в формате 5.1 (то есть, включая LFE канал) и выполняет BCC-синтез пяти каналов для поддиапазонов выше частоты среза для генерации спектра частот только для пяти регулярных каналов звукового окружения в формате 5.1. В частности, BCC-синтезатор 222 разбивает принимаемый комбинированный(е) канал(ы) 212 на некоторое число частотных поддиапазонов (например, критических полос). Для получения соответствующих поддиапазонов каналов звукового вывода эти поддиапазоны подвергаются различной обработке. В результате для LFE канала получают только поддиапазоны с частотами на частоте среза или более низких частотах. Другими словами, LFE канал имеет спектр частот только для поддиапазонов на частоте среза или более низких частотах. Верхние поддиапазоны LFE канала (то есть поддиапазоны выше частоты среза) могут быть заполнены нулевыми сигналами (в случае необходимости).As shown in FIG. 2, the BCC synthesizer 222 performs BCC synthesis of six channels for subbands at a cutoff frequency f _c or lower, to generate a frequency spectrum for all six surround channels in 5.1 format (i.e., including an LFE channel) and performs BCC synthesis of five channels for subbands above the cutoff frequency to generate a frequency spectrum for only five regular channels of the surround sound in 5.1 format. In particular, the BCC synthesizer 222 partitions the received combined channel (s) 212 into a number of frequency subbands (e.g., critical bands). To obtain the corresponding subbands of the audio output channels, these subbands are subjected to various processing. As a result, only subbands with frequencies at the cutoff frequency or lower frequencies are obtained for the LFE channel. In other words, the LFE channel has a frequency spectrum only for subbands at a cutoff frequency or lower frequencies. The upper subbands of the LFE channel (i.e., subbands above the cutoff frequency) can be filled with zero signals (if necessary).

В зависимости от конкретного примера реализации BCC-кодер может быть спроектирован для генерации кодов BCC-сигнала для всех частот и может просто не передавать коды для конкретных поддиапазонов (например, для поддиапазонов выше частоты среза и/или для поддиапазонов, имеющих практически нулевую энергию). Точно так же соответствующий BCC-декодер может быть спроектирован для выполнения обычного BCC-синтеза для всех частот и может использовать соответствующие значения кодов BCC-сигнала для поддиапазонов, не имеющих явно передаваемых кодов.Depending on the specific implementation example, the BCC encoder may be designed to generate BCC signal codes for all frequencies and may simply not transmit codes for specific subbands (e.g., for subbands above the cutoff frequency and / or for subbands having substantially zero energy). Similarly, the corresponding BCC decoder can be designed to perform conventional BCC synthesis for all frequencies and can use the corresponding BCC signal code values for subbands that do not have explicitly transmitted codes.

Выше настоящее изобретение описывается в контексте BCC-декодеров, в которых описываемые в заявках '877 и '458 технологии использованы для синтеза акустических сцен, однако настоящее изобретение может быть также осуществлено в контексте BCC-декодеров с использованием других технологий для синтеза акустических сцен, в основе которых лежат не обязательно технологии заявок '877 и '458. Например, рассматриваемая в настоящем изобретении BCC-обработка может быть осуществлена без данных ICTD, ICLD и/или ICC с использованием или без использования других подходящих кодов сигнала, например, связанных с функциями моделирования восприятия звука человеком.Above, the present invention is described in the context of BCC decoders in which the technologies described in the applications '877 and' 458 are used to synthesize acoustic scenes, however, the present invention can also be carried out in the context of BCC decoders using other technologies for synthesizing acoustic scenes, based which are not necessarily technology applications '877 and' 458. For example, the BCC processing of the present invention may be performed without ICTD, ICLD, and / or ICC data using or without other suitable signal codes, for example, associated with human sound perception modeling functions.

В варианте осуществления, иллюстрируемом фиг. 2, окружающий звук (звуковое окружение) в формате 5.1 кодируется путем использования шестиканального BCC-анализа применительно к поддиапазонам на частоте среза или более низких частотах и пятиканального BCC-анализа применительно к поддиапазонам выше частоты среза. В другом варианте осуществления настоящее изобретение может быть использовано применительно к звуковому окружению в формате 7.1, в котором восьмиканальный BCC-анализ применяется к поддиапазонам на заданной частоте среза или более низких частотах, а семиканальный BCC-анализ (исключая один LFE канал) - к поддиапазонам выше частоты среза.In the embodiment illustrated in FIG. 2, surround sound (surround sound) in 5.1 format is encoded using six-channel BCC analysis for subbands at a cutoff frequency or lower frequencies and a five-channel BCC analysis for subbands above a cutoff frequency. In another embodiment, the present invention can be applied to 7.1 surround sound environments in which eight-channel BCC analysis is applied to subbands at a given cutoff frequency or lower frequencies, and seven-channel BCC analysis (excluding one LFE channel) is applied to the subbands above cutoff frequencies.

Настоящее изобретение может быть также использовано применительно к звуковому окружению, имеющему более чем один LFE канал. Например, для звукового окружения в формате 10.2 двенадцатиканальный BCC-анализ может быть применен к поддиапазонам на заданной частоте среза или более низких частотах, в то время как десятиканальный BCC-анализ (исключая два LFE канала) может быть применен к поддиапазонам выше частоты среза. В альтернативном варианте осуществления изобретения может быть две различные заданные частоты среза: первая частота среза для первого LFE канала звукового окружения в формате 10.2 и вторая частота среза для второго LFE канала. В этом случае, если предположить, что первая частота среза ниже, чем вторая частота среза, двенадцатиканальный BCC-анализ может быть применен к поддиапазонам на первой частоте среза или более низких частотах, одиннадцатиканальный BCC-анализ (исключая первый LFE канал) может быть применен к поддиапазонам (1) на частотах выше первой частоты среза и (2) на частотах второй частоты среза или более низких частотах, а десятиканальный BCC-анализ (исключая оба LFE канала) - к поддиапазонам выше второй частоты среза.The present invention can also be applied to an audio environment having more than one LFE channel. For example, for surround sound in 10.2 format, a twelve-channel BCC analysis can be applied to subbands at a given cutoff frequency or lower frequencies, while a ten-channel BCC analysis (excluding two LFE channels) can be applied to subbands above a cutoff frequency. In an alternative embodiment of the invention, there may be two different predetermined cutoff frequencies: a first cutoff frequency for the first LFE sound environment channel in 10.2 format and a second cutoff frequency for the second LFE channel. In this case, assuming that the first cutoff frequency is lower than the second cutoff frequency, the twelve-channel BCC analysis can be applied to the subbands at the first cutoff frequency or lower frequencies, the eleven-channel BCC analysis (excluding the first LFE channel) can be applied to subbands (1) at frequencies above the first cutoff frequency and (2) at frequencies of the second cutoff frequency or lower frequencies, and ten-channel BCC analysis (excluding both LFE channels) to subbands above the second cutoff frequency.

Точно так же бытовая многоканальная аппаратура целенаправленно проектируется с различными каналами вывода, имеющими различные частотные диапазоны. Например, аппаратура звукового окружения в формате 5.1 имеет два тыловых канала, которые спроектированы для воспроизведения частот только ниже 7 кГц. Настоящее изобретение могло быть использовано применительно к таким системам путем задания двух частот среза: одной для LFE канала и более высокой другой для тыловых каналов. В этом случае шестиканальный BCC-анализ может быть применен к поддиапазонам на частоте среза LFE канала или более низких частотах, пятиканальный BCC-анализ (исключая LFE канал) может быть применен к поддиапазонам (1) выше частоты среза LFE канала и (2) на частоте среза тылового канала или более низких частотах, а трехканальный BCC-анализ (исключая LFE канал и два тыловых канала) может быть применен к поддиапазонам выше частоты среза тылового канала.In the same way, household multi-channel equipment is purposefully designed with various output channels having different frequency ranges. For example, 5.1 surround sound equipment has two rear channels that are designed to reproduce frequencies below only 7 kHz. The present invention could be applied to such systems by setting two cutoff frequencies: one for the LFE channel and a higher one for the rear channels. In this case, six-channel BCC analysis can be applied to subbands at the cutoff frequency of the LFE channel or lower frequencies, five-channel BCC analysis (excluding the LFE channel) can be applied to subbands (1) above the cutoff frequency of the LFE channel and (2) at the frequency rear channel cut-off or lower frequencies, and three-channel BCC analysis (excluding the LFE channel and two rear channels) can be applied to subbands above the rear channel cut-off frequency.

Область использования настоящего изобретения может быть дополнительно расширена до применения параметрического аудиокодирования к двум или более различным подмножествам каналов ввода для двух или более различных частотных областей, причем при параметрическом аудиокодировании может использоваться не только технология BCC-кодирования, и выбор различных частотных областей может осуществляться так, чтобы частотный спектр различных каналов ввода был отражен в этих областях. В зависимости от конкретного применения различные каналы могли быть исключены из различных частотных областей в любых подходящих комбинациях. Например, НЧ каналы могут быть исключены из высокочастотных областей и/или ВЧ каналы могут быть исключены из низкочастотных областей. Может даже иметь место случай, при котором ни одна частотная область не будет включена ни в один из каналов ввода.The scope of the present invention can be further expanded to apply parametric audio coding to two or more different subsets of input channels for two or more different frequency domains, moreover, with parametric audio coding, not only BCC coding technology can be used, and the selection of different frequency regions can be carried out so so that the frequency spectrum of the various input channels is reflected in these areas. Depending on the particular application, different channels could be excluded from different frequency domains in any suitable combinations. For example, the low-frequency channels can be excluded from the high-frequency regions and / or the high-frequency channels can be excluded from the low-frequency regions. There may even be a case in which no frequency domain is included in any of the input channels.

Как было описано выше, каналы 208 ввода могут быть подвергнуты микшированию в форматы с меньшим числом каналов для формирования одного комбинированного (например, моно) канала 212, однако в альтернативных примерах реализации множество каналов ввода могут быть микшированы в форматы с меньшим числом каналов для формирования двух или более различных "комбинированных" каналов в зависимости от конкретного применения технологии обработки звуковых сигналов. Подробную информацию о таких технологиях можно найти в заявке на патент США № 10/762100, поданной 20 января 2004 г., идеи которой включены в данный документ путем ссылки.As described above, the input channels 208 can be mixed into formats with fewer channels to form one combined (e.g. mono) channel 212, however, in alternative embodiments, multiple input channels can be mixed into formats with fewer channels to form two or more different “combined” channels, depending on the particular application of the audio signal processing technology. Detailed information about such technologies can be found in US patent application No. 10/762100, filed January 20, 2004, the ideas of which are incorporated herein by reference.

В некоторых примерах реализации, когда при микшировании в форматы с меньшим числом каналов генерируется множество комбинированных каналов, передача данных этих комбинированных каналов может быть осуществлена с использованием обычных технологий передачи звуковых сигналов. Например, при генерации двух комбинированных каналов могут быть использованы обычные технологии передачи стереозвуковых сигналов. В этом случае BCC-декодер может извлекать и использовать коды BCC для синтеза многоканального сигнала (например, звукового окружения в формате 5.1) из этих двух комбинированных каналов. Кроме того, это позволяет обеспечить обратную совместимость в тех случаях, когда эти два комбинированных BCC-канала воспроизводятся с использованием обычных (то есть "не-BCC-ориентированных") стереодекодеров, которые игнорируют BCC-коды. Аналогичным образом, обратная совместимость может быть достигнута для обычного монодекодера, когда генерируется один комбинированный BCC-канал. Следует отметить, что в теории, когда имеется множество "комбинированных" каналов, один или более комбинированных каналов может быть фактически реализован на основе отдельных каналов ввода.In some implementation examples, when multiple mixed channels are generated when mixing into formats with fewer channels, the data transmission of these combined channels can be carried out using conventional audio transmission technologies. For example, when generating two combined channels, conventional stereo audio signal transmission technologies can be used. In this case, the BCC decoder can extract and use BCC codes to synthesize a multi-channel signal (for example, 5.1 surround sound) from these two combined channels. In addition, this allows backward compatibility in cases where these two combined BCC channels are reproduced using conventional (ie, “non-BCC oriented”) stereo decoders that ignore BCC codes. Similarly, backward compatibility can be achieved for a conventional monodecoding when one combined BCC channel is generated. It should be noted that in theory, when there are many "combined" channels, one or more combined channels can actually be implemented on the basis of individual input channels.

В BCC-системе 200 число каналов звукового ввода может совпадать с числом каналов звукового вывода, однако в альтернативных вариантах осуществления число каналов ввода может быть или больше, или меньше, чем число каналов вывода в зависимости от случая конкретного применения. Например, звуковой ввод может соответствовать звуковому окружению в формате 7.1, а синтезируемый звуковой вывод - звуковому окружению в формате 5.1 или наоборот.In the BCC system 200, the number of audio input channels may be the same as the number of audio output channels, however, in alternative embodiments, the number of input channels can be either more or less than the number of output channels depending on the particular application. For example, the sound input may correspond to the sound environment in 7.1 format, and the synthesized sound output to the sound environment in 5.1 format or vice versa.

В общем случае рассматриваемые в настоящем изобретении BCC-кодеры могут быть реализованы в контексте преобразования М каналов звукового ввода в N комбинированных звуковых каналов и один или более соответствующих наборов кодов BCC, где M>N≥1. Точно так же рассматриваемые в настоящем изобретении BCC-декодеры могут быть реализованы в контексте генерации P каналов звукового вывода из N комбинированных звуковых каналов и соответствующих наборов кодов BCC, где P>N, и P может быть равно M или отличаться от М.In general, the BCC encoders discussed in the present invention can be implemented in the context of converting M audio input channels to N combined audio channels and one or more corresponding sets of BCC codes, where M> N≥1. Similarly, the BCC decoders discussed in the present invention can be implemented in the context of generating P audio output channels from N combined audio channels and corresponding sets of BCC codes, where P> N and P may be equal to M or different from M.

В зависимости от случая конкретной реализации различные сигналы, принимаемые и генерируемые как BCC-кодером 202, так и BCC-декодером 204 на фиг. 2, могут быть любой подходящей комбинацией аналоговых и/или цифровых сигналов, в том числе могут быть все аналоговыми или все цифровыми. Несмотря на то, что это не показано на фиг. 2, специалистам в данной области техники очевидно, что один или более комбинированных каналов 212 и поток 216 данных кодов BCC-сигнала могут быть подвергнуты дополнительному кодированию с помощью BCC-кодера 202 и соответствующему декодированию с помощью BCC-декодера 204, например, на основе некоторой подходящей схемы сжатия (например, адаптивной дельта-ИКМ) для дополнительного уменьшения объема передаваемых данных.Depending on the case of a particular implementation, various signals received and generated by both the BCC encoder 202 and the BCC decoder 204 in FIG. 2 may be any suitable combination of analog and / or digital signals, including all may be analog or all digital. Although not shown in FIG. 2, it will be apparent to those skilled in the art that one or more combined channels 212 and the BCC signal code data stream 216 can be further encoded using the BCC encoder 202 and correspondingly decoded using the BCC decoder 204, for example, based on some a suitable compression scheme (e.g. adaptive delta PCM) to further reduce the amount of transmitted data.

Определение передачи данных из BCC-кодера 202 в BCC-декодер 204 будет зависеть от случая конкретного применения системы 200 обработки звукового сигнала. Например, в некоторых примерах применения типа трансляции музыкальных концертов в прямом эфире передача может заключаться в передаче данных для немедленного воспроизведения в реальном времени в удаленную точку. В других примерах применения "передача" может заключаться в сохранении данных на CD или других подходящих носителях информации для последующего (то есть не в реальном масштабе времени) воспроизведения. Разумеется, возможны и другие случаи применения.The determination of the transmission of data from the BCC encoder 202 to the BCC decoder 204 will depend on the particular application of the audio signal processing system 200. For example, in some applications such as broadcasting live music concerts, the transfer may be to transmit data for immediate real-time playback to a remote location. In other application examples, “transfer” may consist of storing data on a CD or other suitable storage medium for subsequent (i.e., not real-time) reproduction. Of course, other applications are possible.

В зависимости от примера конкретной реализации каналы передачи могут быть проводными или беспроводными и могут работать по специализированным или стандартизированным протоколам (например, IP). Для сохранения могут быть использованы носители информации типа CD, DVD, цифровых устройств записи на магнитную ленту и полупроводниковых ЗУ. Кроме того, передача и/или сохранение может, но не обязательно, осуществляться с канальным кодированием. Точно так же, несмотря на то, что выше настоящее изобретение описано в контексте цифровых аудиосистем, специалистам в данной области техники понятно, что настоящее изобретение может быть также осуществлено в контексте аналоговых аудиосистем, типа системы АМ- радиовещания, системы ЧМ-радиовещания и звукового блока системы аналогового ТВ-вещания, каждая из которых поддерживает включение дополнительного внутриполосного канала с низкой скоростью передачи битов.Depending on the specific implementation example, the transmission channels can be wired or wireless and can operate using specialized or standardized protocols (for example, IP). For storage, information carriers such as CD, DVD, digital tape recorders and semiconductor memories can be used. In addition, the transmission and / or storage may, but not necessarily, be carried out with channel coding. Similarly, although the present invention has been described above in the context of digital audio systems, those skilled in the art will understand that the present invention can also be implemented in the context of analog audio systems, such as an AM broadcast system, an FM broadcast system, and a sound unit analogue TV broadcasting systems, each of which supports the inclusion of an additional in-band channel with a low bit rate.

Настоящее изобретение может найти применение во многих различных областях типа воспроизведения музыки, радиовещания и телефонной связи. Например, настоящее изобретение может быть реализовано для цифрового радио/ТВ/интернет-вещания (например, Web-вещания) типа спутникового радио Sirius или XM. Среди других применений можно назвать телефонию на базе IP, телефонную коммутируемую сеть общего пользования или другие сети передачи речевой информации, аналоговое радиовещание и интернет-радио.The present invention may find application in many different fields such as music playback, broadcasting, and telephone communications. For example, the present invention can be implemented for digital radio / TV / Internet broadcasting (eg, Web broadcasting) such as Sirius or XM satellite radio. Other applications include IP-based telephony, public switched telephone networks or other voice networks, analogue broadcasting and Internet radio.

В зависимости от конкретной области применения для встраивания наборов кодов BCC в комбинированный канал и получения BCC-сигнала, рассматриваемого в настоящем изобретении, могут быть использованы различные технологии. Возможность использования любой конкретной технологии может зависеть, по меньшей мере частично, от конкретного средства (средств) передачи/носителя(ей) информации, используемых для BCC-сигнала. Например, протоколы для цифрового радиовещания обычно поддерживают включение дополнительных битов расширения (например, в заголовок пакетов данных), которые игнорируются обычными приемниками. Эти дополнительные биты могут использоваться для представления наборов параметров акустической сцены и обеспечения BCC-сигнала. В общем, настоящее изобретение может быть реализовано с помощью любой подходящей технологии для маркирования звуковых сигналов "водяными знаками", в которой данные, соответствующие наборам параметров акустической сцены, встраиваются в звуковой сигнал для формирования BCC-сигнала. Например, эти технологии могут предусматривать использование данных, скрывающихся под перцептуальными маскирующими кривыми, или данных, скрывающихся в псевдослучайном шуме. Псевдослучайный шум может восприниматься как комфортный шум. Встраивание данных может быть также осуществлено способами, подобными отбрасыванию битов, используемыми в мультиплексной передаче с временным уплотнением для внутриполосной сигнализации. Другая возможная технология заключается в побитовой обработке младших битов путем модуляции, при которой младшие значащие биты используются для передачи данных.Depending on the specific application, various technologies may be used to embed the BCC code sets in the combiner and receive the BCC signal of the present invention. The ability to use any particular technology may depend, at least in part, on the specific transmission medium (s) / information carrier (s) used for the BCC signal. For example, protocols for digital broadcasting typically support the inclusion of additional extension bits (for example, in the header of data packets), which are ignored by conventional receivers. These additional bits can be used to represent sets of acoustic scene parameters and provide a BCC signal. In General, the present invention can be implemented using any suitable technology for marking audio signals with watermarks, in which data corresponding to the sets of parameters of the acoustic scene are embedded in the audio signal to generate a BCC signal. For example, these technologies may involve the use of data hiding under perceptual masking curves or data hiding in pseudo-random noise. Pseudo-random noise can be perceived as comfortable noise. Embedding data can also be accomplished using methods similar to the discarding of bits used in time division multiplexed transmission for in-band signaling. Another possible technology is bitwise processing of the least significant bits by modulation, in which the least significant bits are used to transmit data.

Настоящее изобретение может быть осуществлено в виде схемно-ориентированных процессов, включая возможную реализацию на одной интегральной схеме. Специалисту в данной области техники очевидно, что различные функции схемных элементов могут быть также осуществлены в виде этапов обработки в программе программного обеспечения. Такое программное обеспечение может использоваться, например, в цифровом процессоре сигналов, микроконтроллере или компьютере общего назначения.The present invention can be implemented in the form of circuit-oriented processes, including a possible implementation on a single integrated circuit. One skilled in the art will appreciate that various functions of circuit elements can also be implemented as processing steps in a software program. Such software can be used, for example, in a digital signal processor, microcontroller, or general purpose computer.

Настоящее изобретение может быть реализовано в виде способов и устройств для осуществления этих способов. Настоящее изобретение может также быть реализовано в виде кода программы, реализованного в материальном носителе информации типа гибких дискет, CD-ROM, жестких дисков или любого другого машиночитаемого носителя данных, причем, когда код программы загружается в машину типа компьютера и выполняется ею, машина становится устройством для осуществления изобретения. Настоящее изобретение может быть также реализовано в виде кода программы, например, хранимого на носителе данных, загружаемого в машину и/или выполняемого машиной или передаваемого по какой-либо среде передачи данных или каналу передачи информации типа электрических проводов или кабелей, посредством волоконно-оптических кабелей или с использованием электромагнитного излучения, причем, когда код программы загружается в машину типа компьютера и выполняется ею, эта машина становится устройством для осуществления изобретения. При выполнении процессором общего назначения сегменты кода программы в сочетании с этим процессором создают уникальное устройство, которое работает аналогично специализированным логическим схемам.The present invention can be implemented in the form of methods and devices for implementing these methods. The present invention can also be implemented in the form of program code implemented in a material storage medium such as floppy disks, CD-ROMs, hard disks or any other computer-readable storage medium, and when the program code is loaded into and executed by a computer type machine, the machine becomes a device for carrying out the invention. The present invention can also be implemented in the form of a program code, for example, stored on a storage medium, loaded into a machine and / or executed by a machine or transmitted via some kind of data transmission medium or data transmission channel, such as electric wires or cables, via fiber optic cables or using electromagnetic radiation, and when the program code is loaded into and executed by a computer type machine, this machine becomes a device for carrying out the invention. When executed by a general-purpose processor, program code segments in combination with this processor create a unique device that works similar to specialized logic circuits.

Следует также понимать, что в детали, материалы и расположение элементов, описанных и проиллюстрированных выше с целью объяснения сущности изобретения, допускается внесение различных изменений, не выходящих за пределы объема изобретения, определенного в прилагаемой формуле изобретения, которые могут быть предложены специалистами в данной области техники.It should also be understood that in the details, materials and arrangement of the elements described and illustrated above in order to explain the essence of the invention, various changes are allowed, without departing from the scope of the invention defined in the attached claims, which may be proposed by specialists in this field of technology .

Claims

1. A method of encoding a multi-channel audio signal having a plurality of audio input channels, the method comprising generating parametric code data for a first subset of audio input channels for a first frequency domain by applying parametric multi-channel audio coding; and generating parametric code data for a second subset of audio input channels for the second frequency domain by applying parametric multi-channel audio coding, the second frequency domain being different from the first frequency domain; but

the second subset of audio input channels is different from the first subset of audio input channels.

2. The method according to claim 1, in which the parametric multi-channel audio coding is a binaural signal coding (BCC).

3. The method according to claim 1, in which the multi-channel audio signal is a surround sound signal having a plurality of regular audio input channels and at least one low frequency (LFE) audio input channel; the first subset of audio input channels includes all audio input channels; the first frequency region corresponds to subbands at a given cutoff frequency or lower frequencies; a second subset of audio input channels includes a plurality of regular audio input channels; and the second frequency domain corresponds to subbands above the cutoff frequency.

4. The method according to claim 3, in which the parametric multi-channel audio coding is a BCC coding.

5. The method according to claim 3, in which the cutoff frequency is at least the effective bandwidth of the LFE channel of the audio input at audio frequencies.

6. The method according to claim 3, in which the multi-channel audio signal is a signal of the sound environment in 5.1 format.

7. The method according to claim 1, in which additionally transmit data parametric codes for the first and second subsets of the channels of audio input.

8. A device for encoding a multi-channel audio signal having multiple channels of audio input, containing

means for generating parametric code data for a first subset of audio input channels for a first frequency domain by applying parametric multi-channel audio coding; and

means for generating parametric code data for a second subset of audio input channels for a second frequency domain by applying parametric multi-channel audio coding, wherein

the second frequency region is different from the first frequency region; but

9. A parametric audio encoder comprising a mixing circuit with a decrease in the number of channels, configured to generate one or more combined channels from a plurality of audio input channels for a multi-channel audio signal; and an analyzer configured to generate (1) data of parametric codes for a first subset of audio input channels in a first frequency domain; and (2) parametric code data for a second subset of audio input channels in a second frequency domain, the second frequency domain being different from the first frequency domain; but

10. The audio encoder according to claim 9, in which the data of the parametric codes are binaural coding of signals (BCC).

11. The audio encoder according to claim 9, in which the multi-channel audio signal is a surround signal having multiple regular audio input channels and at least one low frequency (LFE) audio input channel; the first subset of audio input channels includes all audio input channels; the first frequency region corresponds to subbands at a given cutoff frequency or lower frequencies; a second subset of audio input channels includes a plurality of regular audio input channels; and the second frequency domain corresponds to subbands above the cutoff frequency.

12. The audio encoder according to claim 9, which is configured to transmit parametric code data for the first and second subsets of audio input channels.

13. A method for synthesizing a multi-channel audio signal having a plurality of audio output channels, which method comprises: generating a first subset of audio output channels for a first frequency domain by applying parametric multi-channel audio decoding; and generating a second subset of audio output channels for the second frequency domain by applying parametric multi-channel audio decoding, the second frequency domain being different from the first frequency domain; but

the second subset of the audio output channels is different from the first subset of the audio output channels.

14. The method according to item 13, in which the parametric multichannel audio decoding is a decoding of binaural signal coding (BCC).

15. The method according to item 13, in which the multi-channel audio signal is a surround sound signal having many regular channels of sound output and at least one low-frequency (LFE) channel sound output; the first subset of audio output channels includes all audio output channels; the first frequency region corresponds to subbands at a given cutoff frequency or lower frequencies; a second subset of audio output channels includes a plurality of regular audio output channels; and the second frequency domain corresponds to subbands above the cutoff frequency.

16. The method according to clause 15, in which the parametric multi-channel audio decoding is a decoding of binaural signal coding (BCC).

17. The method according to clause 15, in which the cutoff frequency is at least the effective bandwidth of the LFE channel of the sound output by audio frequencies.

18. The method according to clause 15, in which the multi-channel audio signal is a signal of the sound environment in 5.1 format.

19. An apparatus for synthesizing a multi-channel audio signal having a plurality of audio output channels, comprising: means for generating a first subset of audio output channels for a first frequency domain by applying parametric multi-channel audio decoding; and means for generating a second subset of audio output channels for the second frequency domain by applying parametric multi-channel audio decoding, the second frequency domain being different from the first frequency domain; but

20. A parametric audio decoder comprising an additional information processor configured to generate parametric codes; and a synthesizer configured to use parametric codes for one or more combined channels, the synthesizer configured to generate (1) a first subset of audio output channels for a multi-channel audio signal in a first frequency domain and (2) a second subset of audio output channels for a multi-channel an audio signal in a second frequency region, the second frequency region being different from the first frequency region; and the second subset of the audio output channels is different from the first subset of the audio output channels.

21. The audio decoder according to claim 20, in which the parametric codes are binaural signal coding (BCC) codes.

22. The audio decoder according to claim 20, in which the multi-channel audio signal is a surround sound signal having a plurality of regular audio output channels and at least one low frequency (LFE) audio output channel; the first subset of audio output channels includes all audio output channels; the first frequency region corresponds to subbands at a given cutoff frequency or lower frequencies; a second subset of audio output channels includes a plurality of regular audio output channels; and the second frequency domain corresponds to subbands above the cutoff frequency.