EA025020B1 - Аудиодекодер и способ декодирования с использованием эффективного понижающего микширования - Google Patents

Аудиодекодер и способ декодирования с использованием эффективного понижающего микширования Download PDF

Info

Publication number
EA025020B1
EA025020B1 EA201171268A EA201171268A EA025020B1 EA 025020 B1 EA025020 B1 EA 025020B1 EA 201171268 A EA201171268 A EA 201171268A EA 201171268 A EA201171268 A EA 201171268A EA 025020 B1 EA025020 B1 EA 025020B1
Authority
EA
Eurasian Patent Office
Prior art keywords
data
channels
channel
decoding
downmix
Prior art date
Application number
EA201171268A
Other languages
English (en)
Other versions
EA201171268A1 (ru
Inventor
Робин ТЕЗИНГ
Джеймз М. Силва
Роберт Л. Андерсен
Original Assignee
Долби Лабораторис Лайсэнзин Корпорейшн
Долби Интернешнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Лабораторис Лайсэнзин Корпорейшн, Долби Интернешнл Аб filed Critical Долби Лабораторис Лайсэнзин Корпорейшн
Publication of EA201171268A1 publication Critical patent/EA201171268A1/ru
Publication of EA025020B1 publication Critical patent/EA025020B1/ru

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Abstract

Способ, устройство и машиночитаемый носитель данных, сконфигурированный посредством команд для осуществления способа, и логика, кодированная на одном или нескольких машиночитаемых материальных носителях данных, для осуществления действий. Способ заключается в декодировании аудиоданных, которые включают N.n каналов в М.m декодированных аудиоканалов, и включает распаковку метаданных и распаковку и декодирование данных экспонент и мантисс в частотной области; определение коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; обратное преобразование данных в частотной области; и, в случае M<N, понижающее микширование в соответствии с данными понижающего микширования, где понижающее микширование осуществляется эффективно.

Description

Данная заявка заявляет приоритет предварительной заявки на патент США №61/305871, поданной 18 февраля 2010 г., и предварительной заявки на патент США №61/359763, поданной 29 июня 2010 г., которые ссылкой полностью включаются в настоящее описание.
Область изобретения
Настоящее раскрытие в целом относится к обработке звукового сигнала.
Предпосылки
Сжатие цифровых аудиоданных стало важной технологией в индустрии звукозаписи и воспроизведения звука. Были представлены новые форматы, которые позволяют воспроизводить высококачественный звуковой сигнал без необходимости в передаче данных с высокой скоростью, которая требовалась бы при использовании традиционных технологий. Технология кодирования АС-3 и более поздняя технология ЕиЪаисей АС-3 (Е-АС-3) были приняты Комитетом по перспективным телевизионным системам (АТ8С) как стандарт службы звукозаписи и воспроизведения звука для телевидения высокой четкости (НОТУ) в Соединенных Штатах. Е-АС-3 также нашел применения в носителях данных, рассчитанных на широкого потребителя (цифровой видеодиск), и в прямом спутниковом вещании. Е-АС-3 представляет собой пример перцепционного кодирования и предусматривает кодирование нескольких каналов цифрового звукового сигнала в битовый поток кодированного звукового сигнала и метаданных.
Существует интерес к эффективному декодированию битового потока кодированного звукового сигнала. Например, время автономной работы переносных устройств, главным образом, ограничивается энергопотреблением их главного процессора. Энергопотребление процессора тесно связано с вычислительной сложностью решаемых им задач. Поэтому снижение средней вычислительной сложности переносной системы обработки звукового сигнала должно увеличивать время автономной работы такой системы.
Термин х86 традиционно понимается специалистами в данной области как относящийся к семейству архитектур наборов команд процессора, происхождение которых восходит к процессору 1и1е1 8086. В результате повсеместного использования архитектуры набора команд х86 также существует интерес к эффективному декодированию битового потока кодированного звукового сигнала на процессоре или в системе обработки данных, которая содержит архитектуру набора команд х86. Многие реализации декодера универсальны по своей сущности, в то время как другие реализации специально конструируются для встроенных процессоров. Новые процессоры, такие как процессор Сеойе компании АМЭ и новый процессор 1и1е1 А1ош, представляют примеры 32-битных и 64-битных конструкций, которые используют набор команд х86 и используются в небольших переносных устройствах.
Краткое описание графических материалов
Фиг. 1 показывает псевдокод 100 для команд, которые при их выполнении осуществляют типичный процесс декодирования АС-3;
фиг. 2А-2Э - некоторые отличающиеся конфигурации декодера, которые могут преимущественно использовать один или несколько общих модулей, в форме упрощенной блок-схемы;
фиг. 3 - псевдокод и упрощенную блок-схему одного варианта осуществления модуля предварительного декодирования;
фиг. 4 - упрощенную схему потоков данных для работы одного варианта осуществления модуля предварительного декодирования;
фиг. 5А - псевдокод и упрощенную блок-схему одного варианта осуществления модуля конечного декодирования;
фиг. 5В - псевдокод и упрощенную блок-схему другого варианта осуществления модуля конечного декодирования;
фиг. 6 - упрощенную схему потоков данных для работы одного варианта осуществления модуля конечного декодирования;
фиг. 7 - упрощенную схему потоков данных для работы другого варианта осуществления модуля конечного декодирования;
фиг. 8 - схему последовательности операций одного варианта осуществления обработки данных для модуля конечного декодирования, показанного на фиг. 7;
фиг. 9 - пример обработки пяти блоков, которая включает понижающее микширование из 5.1 в 2.0 с использованием варианта осуществления настоящего изобретения для случая преобразования без наложения, которое включает понижающее микширование из 5.1 в 2.0;
фиг. 10 - другой пример обработки пяти блоков, которая включает понижающее микширование из 5.1 в 2.0 с использованием варианта осуществления настоящего изобретения для случая преобразования с наложением;
фиг. 11 - упрощенный псевдокод для одного варианта осуществления понижающего микширования во временной области;
фиг. 12 - упрощенную блок-схему одного варианта осуществления системы обработки данных, которая включает по меньшей мере один процессор и которая может осуществлять декодирование, включающее один или несколько отличительных признаков настоящего изобретения.
- 1 025020
Описание примера вариантов осуществления изобретения
Общий обзор.
Варианты осуществления изобретения включают способ, устройство и логику, кодированные на одном или нескольких машиночитаемых материальных носителях для осуществления действий.
Частные варианты осуществления включают способ функционирования аудиодекодера для декодирования аудиоданных, которые включают кодированные блоки из Ν.η каналов аудиоданных, для формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, при этом η - количество каналов низкочастотных эффектов в кодированных аудиоданных, и т - количество каналов низкочастотных эффектов в декодированных аудиоданных. Способ включает прием аудиоданных, которые включают блоки из Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, который включает преобразование Ν.η каналов цифровых аудиоданных, и формирование и упаковку данных экспонент и мантисс в частотной области; и декодирование принятых аудиоданных. Декодирование включает распаковку и декодирование данных экспонент и мантисс в частотной области; определение коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; обратное преобразование данных в частотной области и применение дальнейшей обработки с целью определения дискретизированных аудиоданных; и понижающее микширование во временной области, по меньшей мере, нескольких блоков определенных дискретизированных аудиоданных в соответствии с данными понижающего микширования для случая Μ<Ν. По меньшей мере одно из А1, В1 и С1 является истинным
А1 заключается в том, что декодирование включает определение блок за блоком того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и, если для конкретного блока определено применение понижающего микширования в частотной области, применение понижающего микширования в частотной области для конкретного блока,
В1 заключается в том, что понижающее микширование во временной области включает проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования для определения плавно микшированных данных понижающего микширования и применение понижающего микширования во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, прямое понижающее микширование во временной области в соответствии с данными понижающего микширования, и
С1 заключается в том, что способ включает идентификацию одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов, и что способ не осуществляет обратное преобразование данных в частотной области и применение дальнейшей обработки одного или нескольких идентифицированных не вносящих вклад каналов.
Частные варианты осуществления включают машиночитаемый носитель данных, хранящий команды декодирования, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают осуществление системой обработки данных декодирования аудиоданных, которые включают кодированные блоки из Ν.η каналов аудиоданных, с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1; η - количество каналов низкочастотных эффектов в кодированных аудиоданных, и т - количество каналов низкочастотных эффектов в декодированных аудиоданных. Команды декодирования включают: команды, которые при их исполнении вызывают прием аудиоданных, которые включают блоки из Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, где способ кодирования включает преобразование Ν.η каналов цифровых аудиоданных, и формирование и упаковку данных экспонент и мантисс в частотной области; и команды, которые при их исполнении вызывают декодирование принятых аудиоданных. Команды, которые при их исполнении вызывают декодирование, включают: команды, которые при их исполнении вызывают распаковку и декодирование данных экспонент и мантисс в частотной области; команды, которые при их исполнении вызывают определение коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; команды, которые при их исполнении вызывают обратное преобразование данных в частотной области и применение дальнейшей обработки с целью определения дискретизированных аудиоданных; и команды, которые при их исполнении вызывают установление того, действительно ли Μ<Ν, и команды, которые при их исполнении вызывают понижающее микширование во временной области, по меньшей мере, нескольких блоков определенных дискретизированных аудиоданных в соответствии с данными понижающего микширования, если Μ<Ν. По меньшей мере одно из А2, В2 и С2 является истинным
А2 заключается в том, что команды, которые при их исполнении вызывают декодирование, включают команды, которые при их исполнении вызывают определение блок за блоком того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и команды, которые при их исполнении вызывают применение понижающего микширования в частотной области, если для конкретного блока определено применение понижающего микширования в частотной области,
- 2 025020
В2 заключается в том, что понижающее микширование во временной области включает проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования для определения плавно микшированных данных понижающего микширования и применение понижающего микширования во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, прямого понижающего микширования во временной области в соответствии с данными понижающего микширования, и
С2 заключается в том, что команды, которые при их исполнении вызывают декодирование, включают идентификацию одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов, и что способ не осуществляет обратное преобразование данных в частотной области и применение дальнейшей обработки на одном или нескольких идентифицированных не вносящих вклад каналах.
Частные варианты осуществления включают устройство для обработки аудиоданных с целью декодирования аудиоданных, которые включают кодированные блоки из Ν.η каналов аудиоданных, для формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, при этом η - количество каналов низкочастотных эффектов в кодированных аудиоданных, и т - количество каналов низкочастотных эффектов в декодированных аудиоданных. Устройство включает средства для приема аудиоданных, которые включают блоки из Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, где способ кодирования включает преобразование Ν.η каналов цифровых аудиоданных, и формирование и упаковку данных экспонент и мантисс в частотной области; и средства для декодирования принятых аудиоданных. Средства для декодирования включают: средства для распаковки и декодирования данных экспонент и мантисс в частотной области; средства для определения коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; средства для обратного преобразования данных в частотной области и применения дальнейшей обработки с целью определения дискретизированных аудиоданных; и средства для понижающего микширования во временной области, по меньшей мере, нескольких блоков определенных дискретизированных аудиоданных в соответствии с данными понижающего микширования для случая Μ<Ν. По меньшей мере одно из А3, В3 и С3 является истинным
А3 заключается в том, что средства для декодирования включают средства для определения блок за блоком того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и средства для применения понижающего микширования в частотной области, где средства для применения понижающего микширования в частотной области применяют понижающее микширование в частотной области для конкретного блока, если для конкретного блока определено применение понижающего микширования в частотной области,
В3 заключается в том, что средства для понижающего микширования во временной области осуществляют проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применяют плавное микширование для определения плавно микшированных данных понижающего микширования и применяют понижающее микширование во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, прямо применяют понижающее микширование во временной области в соответствии с данными понижающего микширования, и
С3 заключается в том, что устройство включает средства для идентификации одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов, и что устройство не осуществляет обратное преобразование данных в частотной области и применение дальнейшей обработки на одном или нескольких идентифицированных не вносящих вклад каналах.
Частные варианты осуществления включают устройство для обработки аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, η=0 или 1 - количество каналов низкочастотных эффектов в кодированных аудиоданных, и т=0 или 1 - количество каналов низкочастотных эффектов в декодированных аудиоданных. Устройство включает средства для приема аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, где способ кодирования включает преобразование Ν.η каналов цифровых аудиоданных таким образом, чтобы обратное преобразование и дальнейшая обработка могли восстановить дискретные значения во временной области без ошибок наложения спектров, формирование и упаковку данных экспонент и мантисс в частотной области и формирование и упаковку метаданных, связанных с данными экспонент и мантисс в частотной области, где метаданные, необязательно, включают метаданные, связанные с обработкой кратковременного предшума; и средства для декодирования принятых аудиоданных. Средства для декодирования включают: одно или несколько средств для предварительного декодирования и одно или несколько средств для конечного декодирования. Средства для предварительного декодирования включают средства для распаковки метаданных, предназначенные для распаковки и декоди- 3 025020 рования данных экспонент и мантисс в частотной области. Средства для конечного декодирования включают средства для определения коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; для обратного преобразования данных в частотной области; для применения операций обработки методом окна и добавления наложения, предназначенных для определения дискретизированных аудиоданных; для применения декодирования любой необходимой обработки кратковременного предшума в соответствии с метаданными, связанными с обработкой кратковременного предшума; и для понижающего микширования во временной области в соответствии с данными понижающего микширования, где понижающее микширование сконфигурировано для понижающего микширования во временной области, по меньшей мере, нескольких блоков данных в соответствии с данными понижающего микширования в случае Μ<Ν. По меньшей мере одно из А4, В4, и С4 является истинным:
А4 заключается в том, что средства для конечного декодирования включают средства для определения блок за блоком того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и средства для применения понижающего микширования в частотной области, где средства для применения понижающего микширования в частотной области применяют понижающее микширование в частотной области для конкретного блока, если для конкретного блока определено применение понижающего микширования в частотной области,
В4 заключается в том, что средства для понижающего микширования во временной области осуществляют проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применяют плавное микширование для определения плавно микшированных данных понижающего микширования и применяют понижающее микширование во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, прямо применяют понижающее микширование во временной области в соответствии с данными понижающего микширования, и
С4 заключается в том, что устройство включает средства для идентификации одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов, и что средства для конечного декодирования не осуществляют обратное преобразование данных в частотной области и применение дальнейшей обработки на одном или нескольких идентифицированных, не вносящих вклад каналах.
Частные варианты осуществления изобретения включают систему для декодирования аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, при этом η количество каналов низкочастотных эффектов в кодированных аудиоданных, и т - количество каналов низкочастотных эффектов в декодированных аудиоданных. Система включает один или несколько процессоров; и подсистему хранения данных, связанную с одним или несколькими процессорами. Система предназначена для приема аудиоданных, которые включают блоки из Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, где способ кодирования включает преобразование Ν.η каналов цифровых аудиоданных, и формирование и упаковку данных экспонент и мантисс в частотной области; а затем - для декодирования принятых аудиоданных, которое включает распаковку и декодирование данных экспонент и мантисс в частотной области; определение коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; обратное преобразование данных в частотной области и применение дальнейшей обработки с целью определения дискретизированных аудиоданных; и понижающее микширование во временной области, по меньшей мере, нескольких блоков определенных дискретизированных аудиоданных в соответствии с данными понижающего микширования для случая Μ<Ν. По меньшей мере одно из А5, В5, и С5 является истинным:
А5 заключается в том, что декодирование включает определение блок за блоком того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и, если для конкретного блока определено применение понижающего микширования в частотной области, применение понижающего микширования в частотной области для конкретного блока,
В5 заключается в том, что понижающее микширование во временной области включает проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования для определения плавно микшированных данных понижающего микширования и понижающего микширования во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, прямого понижающего микширования во временной области в соответствии с данными понижающего микширования, и
С5 заключается в том, что способ включает идентификацию одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов, и что способ не осуществляет обратное преобразование данных в частотной области и применение дальнейшей обработки на одном или нескольких идентифицированных не вносящих вклад каналах.
В некоторых версиях варианта осуществления системы принятые аудиоданные находятся в форме
- 4 025020 битового потока кадров кодированных данных, и подсистема хранения данных конфигурируется посредством команд, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают декодирование принятых аудиоданных.
Некоторые версии варианта осуществления системы включают одну или несколько подсистем, которые объединены в сеть через сетевой канал связи, где каждая подсистема включает по меньшей мере один процессор.
В некоторых вариантах осуществления, где А1, А2, А3, А4 или А5 являются истинными, определение того, применять понижающее микширование в частотной области или понижающее микширование во временной области, включает определение того, присутствует ли какая-либо обработка кратковременного предшума, и определение того, содержит ли какой-либо из N каналов другой тип блока, так что понижающее микширование в частотной области применяется только к блоку, который имеет одинаковый тип блока в N каналах, не подвергался обработке кратковременным предшумом, и если Μ<Ν.
В некоторых вариантах осуществления, где А1, А2, А3, А4 или А5 являются истинными, и где преобразование в способе кодирования использует преобразование с наложением, и дальнейшая обработка включает применение операций обработки методом окна и добавления наложения для определения дискретизированных аудиоданных, (ί) применение к конкретному блоку понижающего микширования в частотной области включает определение того, было ли понижающее микширование для предыдущего блока выполнено посредством понижающего микширования во временной области, и, если понижающее микширование для предыдущего блока было выполнено посредством понижающего микширования во временной области, применение понижающего микширования во временной области (или понижающего микширования в псевдовременной области) к данным предыдущего блока, который должен подвергаться наложению с декодированными данными конкретного блока, и (п) применение к конкретному блоку понижающего микширования во временной области включает определение того, было ли понижающее микширование для предыдущего блока выполнено посредством понижающего микширования в частотной области, и, если понижающее микширование для предыдущего блока было выполнено посредством понижающего микширования в частотной области, обработка конкретного блока иначе, чем если бы понижающее микширование для предыдущего блока не было выполнено посредством понижающего микширования в частотной области.
В некоторых вариантах осуществления, где В1, В2, В3, В4 или В5 являются истинными, используется по меньшей мере один процессор х86, набор команд которого включает расширенния архитектуры с одним потоком команд и множеством потоков данных (88Е), включающую векторные команды, и понижающее микширование во временной области включает выполнение векторных команд на по меньшей мере одном из одного или нескольких процессорах х86.
В некоторых вариантах осуществления, где С1, С2, С3, С4 или С5 являются истинными, п=1 и т=0, так что обратное преобразование и применение дальнейшей обработки не осуществляются на канале низкочастотных эффектов. Кроме того, в некоторых вариантах осуществления, где С является истинным, аудиоданные, включающие кодированные блоки, включают информацию, которая определяет понижающее микширование, и где идентификация одного или нескольких не вносящих вклад каналов использует информацию, которая определяет понижающее микширование. Кроме того, в некоторых вариантах осуществления, где С является истинным, идентификация одного или нескольких не вносящих вклад каналов также включает идентификацию того, содержит ли один или несколько каналов незначительное количество содержимого относительно одного или нескольких других каналов, где канал содержит незначительное количество содержимого относительно другого канала, если его энергия, или абсолютный уровень по меньшей мере на 15 дБ ниже, чем энергия, или абсолютный уровень, другого канала. В некоторых случаях канал содержит незначительное количество содержимого относительно другого канала, если его энергия, или абсолютный уровень по меньшей мере на 18 дБ ниже, чем энергия, или абсолютный уровень, другого канала, в то время как для других приложений канал содержит незначительное количество содержимого относительно другого канала, если его энергия, или абсолютный уровень по меньшей мере на 25 дБ ниже, чем энергия, или абсолютный уровень, другого канала.
В некоторых вариантах осуществления кодированные аудиоданные кодируются в соответствии с одним из набора стандартов, содержащего стандарт АС-3, стандарт Е-АС-3, стандарт, обратно совместимый со стандартом Е-АС-3, стандарт МРЕО-2 ААС и стандарт НЕ-ААС.
В некоторых вариантах осуществления изобретения преобразование в способе кодирования использует преобразование с наложением, и дальнейшая обработка включает применение операций обработки методом окна и добавления наложения с целью определения дискретизированных аудиоданных.
В некоторых вариантах осуществления изобретения способ кодирования включает формирование и упаковку метаданных, относящихся к данным экспонент и мантисс в частотной области, где метаданные, необязательно, включают метаданные, относящиеся к обработке кратковременного предшума и к понижающему микшированию.
Частные варианты осуществления могут предусматривать все, некоторые или ни одну из этих особенностей, отличительных признаков или преимуществ. Частные варианты осуществления могут предусматривать одну или несколько других особенностей, отличительных признаков или преимуществ, одно
- 5 025020 или несколько из которых для специалиста в данной области может быть со всей очевидностью выражено фигурами, описанием и формулой изобретения.
Декодирование кодированного потока.
Варианты осуществления изобретения описаны для декодирования звукового сигнала, который был закодирован в соответствии со стандартом ЕхЮпйсй АС-3 (Е-АС-3) в кодированный битовый поток. Стандарт Е-АС-3 и более ранний стандарт АС-3 подробно описаны в документе официально зарегистрированного Комитета по перспективным телевизионным системам (АТ8С), Ωίβίΐαΐ Λιιύίο Сотргеккюи 81аийатй (АС-3, Е-АС-3), Κονίδίοη В, ЭоситсШ Λ/52Β, 14 1иие 2005, извлеченном 1 декабря 2009 г. из всемирной паутины Интернета по адресу \γ\γ\νΛύοΙΛαΙδΓύοΙΛθΓ§/δΙαηύ;·ΐΓύδ/;·ι_526ΛύοΙΛρύΓ (где ΛάοίΛ обозначает точку (.) в фактическом \УеЬ-адресе). Изобретение, однако, не ограничивается декодированием битового потока, кодированного Е-АС-3, и может быть применено для декодера и для декодирования битового потока, кодированного в соответствии с другим способом кодирования, и для способов такого декодирования, устройств для декодирования, систем, которые осуществляют указанное декодирование, программного обеспечения, которое при его исполнении вызывает осуществление одним или несколькими процессорами указанного декодирования, и/или материальных носителей данных, на которых хранится указанное программное обеспечение. Например, варианты осуществления настоящего изобретения также применимы для декодирования звукового сигнала, который кодируется в соответствии со стандартами МРЕС-2 ААС (18О/1ЕС 13818-7) и МРЕС-4 Аийю (18О/1ЕС 14496-3). Стандарт МРЕС-4 Аийю включает как кодирование Ηφΐι ЕГйшеису ААС \ΌΓδίοη 1 (НЕ-ААС ν1), так и Ηφΐι ЕГйшеису ААС \ΌΓδίοη 2 (НЕ-ААС ν2), которые в данном описании будут совместно обозначаться как НЕ-ААС.
АС-3 и Е-АС-3 также известны как ИОЬВУ® ϋΙΟΠΆΕ и ИОЬВУ® Ι)1(.,1Ί7\Ι. РЬИ8. Версия НЕААС, объединяющая некоторые дополнительные совместимые усовершенствования, также известна как ИОЬВУ® РИЬ8Е. Они являются торговыми марками Ωοΐό}· ^аЬο^аΐο^^еδ Ысеивтд ΟοΓροΓαΙίοπ. патентообладателя настоящего изобретения, и могут быть зарегистрированы в одной или нескольких юрисдикциях. Е-АС-3 совместим с АС-3 и включает дополнительные функциональные возможности.
Архитектура х86.
Термин х86, как правило, понимается специалистами в данной области как относящийся к семейству архитектур наборов команд процессора, происхождение которых восходит к процессору 1п1е1 8086. Эта архитектура реализована в процессорах, производимых такими компаниями, как 1и1с1, Супх, АМЭ, У1А и многими другими. В целом, термин понимается как подразумевающий совместимость на уровне двоичных кодов с набором 32-битных команд процессора 1п1е1 80386. В настоящее время (начало 2010 г.) архитектура х86 является повсеместно распространенной среди настольных компьютеров и ноутбуков, а также для возрастающего большинства серверов и рабочих станций. Эту платформу поддерживает большое количество программных продуктов, включая такие операционные системы, как М8-ОО8, \νίηάονδ, Ьших, Β8Ό, 8ο1;·ιπδ и Мас О8 X.
В том смысле, как он используется в данном описании, термин х86 означает архитектуру набора команд процессора х86, которая также поддерживает расширенние архитектуры (88Е) с одним потоком команд и множеством потоков данных (81МО). 88Е - это расширение архитектур с одним потоком команд и множеством потоков данных (81МО) к оригинальной архитектуре х86, представленной в 1999 г. в процессорах серии 1и1е1 Реийит III и в настоящее время являющейся общей для архитектур х86, изготавливаемых многими производителями.
Битовые потоки АС-3 и Е-АС-3.
Битовый поток АС-3 многоканального звукового сигнала состоит из кадров, представляющих постоянный временной интервал из 1536 дискретных значений звукового сигнала с импульсно-кодовой модуляцией (РСМ) по всем кодированным каналам. Предусматривается до пяти главных каналов и, необязательно, канал низкочастотных эффектов (БЕЕ), обозначаемый .1, т.е. предусматривается до 5.1 каналов звукового сигнала. Каждый кадр имеет фиксированный размер, который зависит только от частоты дискретизации и скорости передачи кодированных данных.
Вкратце, кодирование АС-3 включает использование преобразования с наложением - модифицированного дискретного косинусного преобразования (МОСТ) с окном, производным от окна КайзераБесселя (ΚΒΌ), с 50% наложением - для конверсии временных данных в частотные данные. Частотные данные перцепционно кодируются для сжатия данных с образованием сжатого битового потока кадров, каждый из которых включает кодированные аудиоданные и метаданные. Каждый кадр АС-3 представляет собой независимую сущность, не использующую коллективно с предыдущими кадрами никакие иные данные, кроме данных наложения преобразования, внутренне присущих преобразованию МОСТ и использующихся для конверсии временных данных в частотные данные.
В начале каждого кадра АС-3 находятся поля 81 (информации синхронизации) и Β8Ι (информации битового потока). Поля 8Ι и Β8Ι описывают конфигурацию битового потока, включая частоту дискретизации, скорость передачи данных, количество кодированных каналов и несколько других элементов системного уровня. Кроме того, в каждом кадре присутствует два слова СКС (циклического избыточного кода), одно - в начале, и одно - в конце, которые обеспечивают средства для обнаружения ошибок.
- 6 025020
Внутри каждого кадра находится шесть блоков аудиоданных, каждый из которых представляет 256 дискретных значений РСМ на каждый кодированный канал аудиоданных. Блок аудиоданных содержит флаги коммутации блоков, координаты связывания, экспоненты, параметры распределения битов и мантиссы. В пределах кадра допускается совместное использование данных, поэтому информация, присутствующая в блоке 0, может повторно использоваться в последующих блоках.
Необязательное поле вспомогательных данных располагается в конце кадра. Это поле позволяет специалистам по разработке систем встраивать в битовый поток АС-3 закрытую управляющую информацию или информацию о статусе для ее передачи на системном уровне.
Е-АС-3 сохраняет структуру кадров АС-3 из шести преобразований с 256 коэффициентами, но в то же время допускает более короткие кадры, состоящие из одного, двух и трех блоков преобразования с 256 коэффициентами. Это позволяет передавать звуковой сигнал со скоростями передачи данных более 640 кбит/с. Каждый кадр Е-АС-3 включает метаданные и аудиоданные.
Е-АС-3 допускает значительно большее количество каналов, чем 5.1 в АС-3, в частности, Е-АС-3 допускает перенос общепринятых в настоящее время звуковых сигналов 6.1 и 7.1, а также перенос по меньшей мере 13.1 каналов для поддержки, например, многоканальных звуковых дорожек в будущем. Дополнительные каналы сверх 5.1 получаются путем привязки битового потока главной аудиопрограммы к дополнительным зависимым подпотокам числом до восьми, и все они уплотняются в один битовый поток Е-АС-3. Это позволяет главной аудиопрограмме передавать 5.1-канальный формат АС-3, в то время как возможность передачи дополнительных каналов исходит от зависимых битовых потоков. Это означает, что всегда доступны 5.1-канальная версия и различные традиционные понижающие микширования, а индуцируемые вычитанием матриц артефакты кодирования исключаются путем использования процесса замещения каналов.
Также доступна поддержка нескольких программ посредством способности нести еще семь независимых аудиопотоков, каждый из которых, возможно, содержит связанные зависимые подпотоки, для повышения количества каналов, переносимых каждой программой сверх 5.1 каналов.
Для перцепционного кодирования аудиоматериала АС-3 использует относительно короткое преобразование и простое скалярное квантование. Е-АС-3, несмотря на то, что он совместим с АС-3, обеспечивает улучшенное спектральное разрешение, усовершенствованное квантование и усовершенствованное кодирование. В Е-АС-3 эффективность кодирования увеличена относительно таковой в АС-3 для того, чтобы позволить выгодно использовать менее высокие скорости передачи данных. Это достигается путем использования усовершенствованного блока фильтров для преобразования временных данных в данные в частотной области, усовершенствованного квантования, усиленного связывания каналов, расширения спектра и технологии, которая называется обработкой кратковременного предшума (ΤΡΝΡ).
В дополнение к преобразованию МОСТ с наложением для конверсии временных данных в частотные данные Е-АС-3 использует адаптивное гибридное преобразование (АНТ) для стационарных звуковых сигналов. АНТ включает МОСТ с накладывающимся окном, производным от окна Кайзера-Бесселя (ΚΒΏ), за которым для стационарных сигналов следует вторичное преобразование блока в форме неоконного дискретного косинусного преобразования (ОСТ) второго типа без наложения. Таким образом, АНТ добавляет второй этап ОСТ после существующего блока фильтров АС-3 МОСТ/ΚΒΏ тогда, когда присутствует звуковой сигнал со стационарными характеристиками, для конверсии шести блоков преобразования с 256 коэффициентами в единый гибридный блок преобразования с 1536 коэффициентами с повышенным частотным разрешением. Повышенное частотное разрешение комбинируется с 6-мерным векторным квантованием (УЦ) и квантованием, адаптивным к коэффициенту усиления (СЛО). для улучшения эффективности кодирования некоторых сигналов, например сигналов, трудно поддающихся кодированию. УЦ используется для эффективного кодирования частотных полос, требующих менее высокой точности, в то время как САО обеспечивает более высокую эффективность кодирования тогда, когда требуется квантование с более высокой точностью.
Улучшенная эффективность кодирования также получается посредством использования связывания каналов с сохранением фазы. Этот способ распространяется на способ связывания каналов в АС-3, где используется высокочастотный монофонический составной канал, который воссоздает высокочастотную часть каждого канала при декодировании. Добавление фазовой информации и управляемая кодером обработка информации спектральной амплитуды, отправляемая в битовом потоке, улучшает точность в этом процессе так, что монофонический составной канал может быть распространен на частоты более низкие, чем это было возможно ранее. Это снижает кодируемую эффективную ширину полосы частот и, таким образом, увеличивает эффективность кодирования.
Е-АС-3 также включает расширение спектра. Расширение спектра включает замещение коэффициентов преобразования более высоких частот спектральными сегментами более низких частот, транслируемыми вверх по частоте. Спектральные характеристики транслируемых сегментов совмещаются с оригинальными посредством спектральной модуляции коэффициентов преобразования, а также посредством смешивания составляющих шума, которым придана форма, с транслируемыми спектральными сегментами более низких частот.
Е-АС-3 включает канал низкочастотных эффектов (ЬРЕ). Это необязательный единичный канал с
- 7 025020 ограниченной (<120 Гц) шириной полосы частот, который предназначен для воспроизведения на уровне +10 дБ относительно каналов с полной шириной полосы частот. Необязательный канал ЬРЕ позволяет обеспечивать высокие уровни звукового давления для низкочастотных звуков. Другие стандарты кодирования, например АС-3 и НЕ-ААС, также включают необязательный канал ЬРЕ.
Дополнительной технологией улучшения качества звукового сигнала на низких скоростях передачи данных является использование обработки кратковременного предшума, которая будет также описана ниже.
Декодирование АС-3.
В типичных реализациях декодера АС-3 для того, чтобы поддерживать требуемые объем памяти и латентность декодера на минимально возможном уровне, каждый кадр АС-3 декодируется посредством ряда вложенных циклов.
Первый этап устанавливает синхронизацию кадра. Это включает нахождение синхрослова АС-3, а затем подтверждение того, что слова обнаружения ошибок СКС указывают на отсутствие ошибок. После нахождения синхронизации кадра данные ΒδΙ распаковываются для определения важной информации кадра, такой как количество кодированных каналов. Одним из каналов может быть канал ЬРЕ. Количество кодированных каналов в данном описании обозначается как Ν.η, где η - количество каналов ЬРЕ и N количество главных каналов. В используемых в настоящее время стандартах кодирования η=0 или 1. В будущем могут возникнуть случаи, где η>1.
Следующим этапом декодирования является распаковка каждого из шести блоков аудиоданных. Для того чтобы минимизировать требуемый объем памяти для буферов выходных данных с импульснокодовой модуляцией (РСМ), блоки аудиоданных распаковываются последовательно. В конце периода каждого блока результаты РСМ во многих реализациях копируются в выходные буферы, которые для работы аппаратного декодера в реальном времени, как правило, являются дважды или циклически буферированными для прямого доступа к прерываниям цифроаналоговым преобразователем (ЭАС).
Обработку блоков аудиоданных в декодере АС-3 можно разделить на два отдельных этапа, называемых в данном описании предварительной и конечной обработкой. Предварительная обработка включает распаковку всего битового потока и манипуляции с кодированными каналами. Конечная обработка относится, в первую очередь, к этапам обратного МОСТ-преобразования - обработке методом окна и добавлению наложения.
Различие делается потому, что количество главных выходных каналов, обозначаемое в данном описании как М>1. генерируемых декодером АС-3 не обязательно совпадает с количеством главных входных каналов, обозначаемым в данном описании как Ν, N>1, закодированных в битовом потоке, где, как правило, но необязательно, Ν>Μ. Используя понижающее микширование, декодер может принимать битовый поток с любым количеством N кодированных каналов и выводить произвольное количество М, М>1 выходных каналов. Следует отметить, что, в общем, количество выходных каналов обозначается в данном описании как М.т, где М - количество главных каналов и т - количество выходных каналов ЬРЕ. В современных приложениях т=0 или 1. В будущем возможно наличие т>1.
Следует отметить, что при понижающем микшировании в выходные каналы включаются не все кодированные каналы. Например, в сигнале, подвергнутом понижающему микшированию из 5.1 в стереофонический сигнал, информация канала ЬРЕ обычно отбрасывается. Поэтому при некоторых понижающих микшированиях η=1 и т=0, т.е. выходной канал ЬРЕ отсутствует.
На фиг. 1 показан псевдокод 100 для команд, которые при их исполнении осуществляют типичный процесс декодирования АС-3.
Предварительная обработка в декодировании АС-3, как правило, начинается тогда, когда декодер распаковывает фиксированные данные блока аудиоданных, которые представляют собой совокупность параметров и флагов, расположенных в начале блока аудиоданных. Фиксированные данные включают такие элементы, как флаги коммутации блоков, информацию связывания, экспоненты и параметры распределения битов. Термин фиксированные данные относится к тому факту, что размеры слов этих элементов битового потока известны а ρτίοτί, и поэтому для восстановления этих элементов не требуется процесс декодирования с варьируемой длиной.
Экспоненты составляют единое, самое большое поле в области фиксированных данных, поскольку они включают все экспоненты из каждого кодированного канала. В зависимости от режима кодирования в АС-3 может содержаться вплоть до одной экспоненты на мантиссу и до 253 мантисс на канал. Вместо того, чтобы распаковывать все эти экспоненты в локальную память, многие реализации декодера сохраняют указатели на поля экспонент и распаковывают их по мере необходимости по одному каналу за раз.
После того как фиксированные данные распакованы, многие известные декодеры АС-3 начинают обработку каждого кодированного канала. В первую очередь, из входного кадра распаковываются экспоненты для данного канала. Затем, как правило, выполняется вычисление распределения битов, для чего берутся экспоненты и параметры распределения битов и вычисляются размеры слов для каждой упакованной мантиссы. Затем, как правило, из входного кадра распаковываются мантиссы. Мантиссы масштабируются для обеспечения соответствующего управления динамическим диапазоном и для того, чтобы в
- 8 025020 случае необходимости отменить операцию связывания, а затем денормализуются посредством экспонент. В конце вычисляется обратное преобразование для определения предварительных данных добавления наложения, данных в области, которая называется оконной областью, и результаты подвергаются понижающему микшированию в соответствующие буферы понижающего микширования для последующей конечной обработки.
В некоторых реализациях экспоненты для индивидуального канала распаковываются в буфер длиной 256 дискретных значений, называемый буфером МОСТ. Эти экспоненты затем группируются вплоть до 50 полос для целей распределения битов. Количество экспонент в каждой полосе увеличивается для более высоких аудиочастот, приблизительно следуя логарифмическому делению, которое моделирует психоакустические критические полосы.
Для каждой из этих полос распределения битов экспоненты и параметры распределения битов комбинируются для того, чтобы генерировать размер слова мантиссы для каждой мантиссы в этой полосе. Эти размеры слов хранятся в буфере полосы длиной 24 дискретных значений, где самая широкая полоса распределения битов составляет 24 элемента разрешения по частоте. После вычисления размеров слов соответствующие мантиссы распаковываются из входного кадра и сохраняются на месте обратно в буфере полосы. Эти мантиссы масштабируются и денормализуются посредством соответствующих экспонент и записываются, например записываются обратно на то же место в буфер МОСТ. После обработки всех полос и распаковки всех мантисс любые остающиеся ячейки в буфере МОСТ, как правило, записываются нулями.
Выполняется обратное преобразование, например преобразование выполняется на месте в буфере МОСТ. Выходной сигнал этой обработки, данные в оконной области, может затем подвергаться понижающему микшированию в соответствующих буферах понижающего микширования в соответствии с параметрами понижающего микширования, определяемыми в соответствии с метаданными, например выбранными из заранее определенных данных в соответствии с метаданными.
После завершения предварительной обработки и полного генерирования данных, подвергшихся понижающему микшированию, в оконной области в буферах понижающего микширования декодер может выполнять конечную обработку. Для каждого выходного канала буфер понижающего микширования и соответствующий ему буфер задержки на половину блока длиной 128 дискретных значений обрабатываются по методу окна и комбинируются, давая 256 выходных дискретных значений РСМ. В аппаратной акустической системе, которая включает декодер и один или несколько цифроаналоговых преобразователей ЭЛС. эти дискретные значения округляются до ширины слова ЭЛС и копируются в выходной буфер. После того как это сделано, половина буфера понижающего микширования затем копируется в соответствующий ему буфер задержки, обеспечивающий 50% наложение информации, необходимое для надлежащей реконструкции следующего блока аудиоданных.
Декодирование Е-АС-3.
Частные варианты осуществления настоящего изобретения включают способ функционирования аудиодекодера, предназначенного для декодирования аудиоданных, которые включают количество каналов, обозначаемое как Ν.η, кодированных аудиоданных, например аудиодекодера Е-АС-3, предназначенного для декодирования кодированных Е-АС-3 аудиоданных с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, η=0 или 1, т=0 или 1, и М>1. η=1 указывает на входной канал ЬЕЕ, т=1 указывает на выходной канал ЬЕЕ, М^ указывает на понижающее микширование, М^ указывает на повышающее микширование.
Способ включает прием аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, например по способу кодирования, который включает преобразование с использованием преобразования с наложением Ν каналов цифровых аудиоданных, формирование и упаковку данных экспонент и мантисс в частотной области и формирование и упаковку метаданных, относящихся к данным экспонент и мантисс в частотной области, где метаданные, необязательно, включают метаданные, относящиеся к обработке кратковременного предшума, например, по способу кодирования Е-АС-3.
Некоторые варианты осуществления, описанные в настоящем описании, сконструированы для приема кодированных аудиоданных, кодированных в соответствии со стандартом Е-АС-3 или в соответствии со стандартом, обратно совместимым с Е-АС-3, и могут включать более 5 кодированных главных каналов.
Как более подробно будет описано ниже, способ включает декодирование принятых аудиоданных, где декодирование включает распаковку метаданных и распаковку и декодирование данных экспонент и мантисс в частотной области; определение коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; обратное преобразование данных в частотной области; применение обработки методом окна и добавления наложения для определения дискретизированных аудиоданных; применение любого необходимого декодирования обработки кратковременного предшума в соответствии с метаданными, относящимися к обработке кратковременного предшума; и, в случае М<^ понижающее микширование в соответствии с данными понижающего микширования. Понижающее микширование включает проверку того, изменились ли данные понижающего микширова- 9 025020 ния относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования для определения плавно микшированных данных понижающего микширования и применение понижающего микширования в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, применение прямого понижающего микширования в соответствии с данными понижающего микширования.
В некоторых вариантах осуществления настоящего изобретения декодер использует по меньшей мере один процессор х86, который исполняет потоковые команды расширенний архитектуры (δδΕ) с одним потоком команд и множеством потоков данных (δΙΜΌ), включающей векторные команды. В этих вариантах осуществления понижающее микширование включает выполнение векторных команд на по меньшей мере одном из одного или нескольких процессорах х86.
В некоторых вариантах осуществления настоящего изобретения способ кодирования для звукового сигнала Е-АС-3, который может представлять собой звуковой сигнал АС-3, разделяется на модули операций, которые могут применяться более чем один раз, т.е. подвергаться обработке более одного раза в различных реализациях декодера. В случае способа, который включает декодирование, декодирование разделяется на набор операций предварительного декодирования (ΡΕΌ), и набор операций конечного декодирования (ΒΕΌ). Как более подробно будет описано ниже, операции предварительного декодирования включают распаковку и декодирование данных экспонент и мантисс в частотной области кадра битового потока АС-3, или Е-АС-3, в распакованные и декодированные данные экспонент и мантисс в частотной области для кадра и распаковку и декодирование сопроводительных метаданных кадра. Операции конечного декодирования включают определение коэффициентов преобразования, обратное преобразование определенных коэффициентов преобразования, применение операций обработки методом окна и добавления наложения, применение любого необходимого декодирования обработки кратковременного предшума и применение понижающего микширования в случае, если количество выходных каналов меньше, чем количество кодированных каналов в битовом потоке.
Некоторые варианты осуществления настоящего изобретения включают машиночитаемый носитель данных, хранящий команды, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают осуществление системой обработки данных декодирования аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1. В современных стандартах η=0 или 1, и т=0 или 1, однако изобретение этим не ограничено. Команды включают команды, которые при их исполнении вызывают прием аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, кодированных по способу кодирования, например, АС-3 или Е-АС-3. Команды также включают команды, которые при их исполнении вызывают декодирование принятых аудиоданных.
В некоторых указанных вариантах осуществления принятые аудиоданные находятся в форме битового потока АС-3 или Е-АС-3 кадров кодированных данных. Команды, которые при их исполнении вызывают декодирование принятых аудиоданных, подразделяются на набор пригодных для повторного использования модулей команд, включающие модуль предварительного декодирования (ΡΕΌ) и модуль конечного декодирования (ΒΕΌ). Модуль предварительного декодирования включает команды, которые при их исполнении вызывают осуществление распаковки и декодирования данных экспонент и мантисс в частотной области кадра битового потока в распакованные и декодированные данные экспонент и мантисс в частотной области для кадра и осуществление распаковки и декодирования сопроводительных метаданных кадра. Модуль конечного декодирования включает команды, которые при их исполнении вызывают определение коэффициентов преобразования, обратное преобразование, применение операций обработки методом окна и добавления наложения, применение любого необходимого декодирования обработки кратковременного предшума и применение понижающего микширования в случае, когда количество выходных каналов меньше, чем количество входных кодированных каналов.
На фиг. 2Λ-2Ω в форме упрощенных блок-схем показаны различные конфигурации декодера, которые преимущественно используют один или несколько общих модулей. На фиг. 2А показана упрощенная блок-схема примера декодера Е-АС-3 200 для кодированного АС-3 или Е-АС-3 звукового сигнала 5.1. Разумеется, термин блок, использованный в отношении блоков на блок-схеме, не идентичен блоку аудиоданных, где последний относится к некоторому количеству аудиоданных. Декодер 200 включает модуль 201 предварительного декодирования (ΕΕΌ), предназначенный для приема кадров АС-3 или Е-АС-3 и для осуществления для последовательных кадров распаковки метаданных кадра и декодирования аудиоданных кадра в данные экспонент и мантисс в частотной области. Декодер 200 также включает модуль 203 конечного декодирования (ΒΕΌ), который принимает данные экспонент и мантисс в частотной области из модуля 201 предварительного декодирования и декодирует их до 5.1 каналов РСМаудиоданных.
Разбиение декодера на модуль предварительного декодирования и модуль конечного декодирования является конструкторским выбором, но не необходимым разделением. Такое разделение предусматривает преимущества, связанные с наличием общих модулей в нескольких альтернативных конфигурациях. Модуль ΡΕΌ для указанных альтернативных конфигураций может являться общим, и многие конфигурации обладают общностью при распаковке метаданных кадра и декодировании аудиоданных кадра
- 10 025020 в данные экспонент и мантисс в частотной области в той форме, как это осуществляется модулем ΡΕΌ.
В качестве одного из примеров альтернативной конфигурации на фиг. 2В показана упрощенная блок-схема декодера/конвертера Е-АС-3 210 для кодированного Е-АС-3 звукового сигнала 5.1, который декодирует и звуковой сигнал, кодированный или АС-3, или Е-АС-3, а также конвертирует кодированный Е-АС-3 кадр с количеством каналов звукового сигнала до 5.1 в кодированный АС-3 кадр с количеством каналов до 5.1. Декодер/конвертер 210 включает модуль 201 предварительного декодирования (ΡΕΌ), который принимает кадры АС-3 и Е-АС-3 для осуществления для последовательных кадров распаковки метаданных кадра и декодирования аудиоданных кадра в данные экспонент и мантисс в частотной области. Декодер/конвертер 210 также включает модуль 203 конечного декодирования (ΒΕΌ), который сходен с модулем 203 ΒΕΌ декодера 200 или аналогичен ему, и который принимает данные экспонент и мантисс в частотной области из модуля 201 предварительного декодирования и декодирует их до 5.1 каналов РСМ-аудиоданных. Декодер/конвертер 210 также включает модуль 205 конвертера метаданных, который конвертирует метаданные, и модуль 207 конечного декодирования, который принимает данные экспонент и мантисс в частотной области из модуля 201 предварительного декодирования и декодирует данные как кадр АС-3 с количеством каналов аудиоданных до 5.1 со скоростью передачи данных не более максимально возможной для АС-3 скорости передачи данных (640 кбит/с).
В качестве одного из примеров альтернативной конфигурации на фиг. 2С показана упрощенная блок-схема декодера Е-АС-3, который декодирует кадр АС-3, содержащий до 5.1 каналов кодированного звукового сигнала, а также декодирует кодированный кадр Е-АС-3, содержащий до 7.1 каналов звукового сигнала. Декодер 220 включает модуль 221 анализа информации кадра, который распаковывает данные Β8Ι, идентифицирует кадры и типы кадров и доставляет кадры в соответствующие предварительные элементы декодера. В типичной реализации, которая включает один или несколько процессоров и память, в которой хранятся команды, которые при их исполнении вызывают осуществление функциональных возможностей модулей, могут работать многие реализации модуля предварительного декодирования и многие реализации модуля конечного декодирования. В некоторых вариантах осуществления декодера Е-АС-3 функция распаковки Β8Ι отделена от модуля предварительного декодирования для проверки данных Β8Ι. Это обеспечивает использование общих модулей в различных альтернативных реализациях. На фиг. 2С показана упрощенная блок-схема декодера с такой архитектурой, пригодного для количества каналов аудиоданных до 7.1. На фиг. 2Ό показана упрощенная блок-схема декодера 240 5.1 с такой архитектурой. Декодер 240 включает модуль 241 анализа информации кадра, модуль 243 предварительного декодирования и модуль 245 конечного декодирования. Конструкция модулей ΡΕΌ и ΒΕΌ может быть сходной с конструкцией модулей, используемых в архитектуре по фиг. 2С.
Возвращаясь к фиг. 2С, модуль 221 анализа информации кадра обеспечивает данные независимого кодированного АС-3/Е-АС3 кадра, содержащего до 5.1 каналов, для модуля 223 предварительного декодирования, который принимает кадры АС-3 и Е-АС-3, и для осуществления для последовательных кадров распаковки метаданных кадра и декодирования аудиоданных кадра в данные экспонент и мантисс в частотной области. Данные экспонент и мантисс в частотной области принимаются модулем 225 конечного декодирования, который аналогичен или сходен с модулем 203 ΒΕΌ декодера 200, и который принимает данные экспонент и мантисс в частотной области из модуля 223 предварительного декодирования и декодирует данные в РСМ-аудиоданные, содержащие до 5.1 каналов. Каждый зависимый кодированный АС-3/Е-АС3 кадр данных дополнительного канала подается во второй модуль 227 предварительного декодирования, который сходен со вторым модулем ΕΕΌ, и, таким образом, распаковывает метаданные кадра и декодирует аудиоданные кадра в данные экспонент и мантисс в частотной области. Модуль 229 конечного декодирования принимает данные из модуля 227 ΡΕΌ и декодирует данные в РСМаудиоданные для каких-либо дополнительных каналов. Модуль 231 сопоставителя РСМ-каналов используется для комбинирования декодированных данных из соответствующих модулей ΒΕΌ для обеспечения до 7.1 каналов РСМ-данных.
Если присутствует более 5 кодированных главных каналов, т.е. в случае N>5, например присутствует 7.1 кодированных каналов, кодированный битовый поток включает независимый кадр, содержащий до 5.1 кодированных каналов, и по меньшей мере один зависимый кадр кодированных данных. Если варианты осуществления программного обеспечения для этого случая, например. варианты осуществления, включающие машиночитаемый носитель данных, на котором хранятся команды для исполнения, команды располагаются как ряд модулей декодирования 5.1 каналов, где каждый модуль декодирования 5.1 каналов включает соответствующую реализацию модуля предварительного декодирования и соответствующую реализацию модуля конечного декодирования. Ряд модулей декодирования 5.1 каналов включает первый модуль декодирования 5.1 каналов, который при исполнении вызывает декодирование первого независимого кадра, и один или несколько модулей декодирования каналов для каждого соответствующего зависимого кадра. В некоторых указанных вариантах осуществления изобретения команды включают модуль анализа информации кадра, включающий команды, которые при их исполнении вызывают распаковку поля информации битового потока (Β8Ι) из каждого кадра для идентификации кадров и типов кадров и обеспечивает идентифицированные кадры для соответствующей реализации модуля предварительного декодера, и модуль сопоставителя каналов, включающий команды, которые при их испол- 11 025020 нении и в случае N>5 вызывают комбинирование декодированных данных из соответствующих модулей конечного декодирования с целью формирования N главных каналов декодированных данных.
Способ функционирования сдвоенного декодера-конвертера АС-3/Е-АС-3
Один из вариантов осуществления изобретения имеет форму сдвоенного декодера-конвертера (ΌΌΟ), который декодирует два входных битовых потока АС-3/Е-АС-3, обозначаемых как главный и связанный, каждый из которых содержит 5.1 каналов, в РСМ-звуковой сигнал, и, в случае конверсии, конвертирует главный битовый поток звукового сигнала из Е-АС-3 в АС-3, и, в случае декодирования, декодирует главный битовый поток и, в случае его наличия, связанный битовый поток. Сдвоенный декодер-конвертер, необязательно, микширует два выходных РСМ-сигнала с использованием метаданных микширования, извлекаемых из связанного битового потока.
Один из вариантов осуществления сдвоенного декодера-конвертера осуществляет способ работы декодера, предназначенный для осуществления процессов, заключающихся в декодировании и/или конверсии до двух входных битовых потоков АС-3/Е-АС-3. Другой вариант осуществления находится в форме материального носителя данных, содержащего на нем команды, например, команды программного обеспечения, которые при их исполнении одним или несколькими процессорами системы обработки данных, вызывают осуществление системой обработки данных процессов, заключающихся в декодировании и/или конверсии до двух входных битовых потоков АС-3/Е-АС-3.
Один из вариантов осуществления сдвоенного декодера-конвертера АС-3/Е-АС-3 содержит шесть субкомпонентов, некоторые из которых включают общие субкомпоненты. Модули представляют собой декодер-конвертер: декодер-конвертер сконфигурирован, при его исполнении, для декодирования входного битового потока АС-3/Е-АС-3 (до 5.1 каналов) в РСМ-звуковой сигнал и/или для конверсии входного битового потока из Е-АС-3 в АС-3. Декодер-конвертер содержит три главных субкомпонента и может реализовывать вариант осуществления 210, показанный выше на фиг. 2В. Главными субкомпонентами являются предварительное декодирование: модуль ΡΕΌ сконфигурирован, при его исполнении, для декодирования кадра битового потока АС-3/Е-АС-3 в необработанные аудиоданные в частотной области и их сопроводительные метаданные;
конечное декодирование: модуль ΒΕΌ сконфигурирован, при его исполнении, для завершения оставшегося процесса декодирования, инициированного модулем ΡΕΌ. В частности, модуль ΒΕΌ декодирует аудиоданные (в формате мантиссы и экспоненты) в РСМ-аудио данные;
конечное декодирование: модуль конечного декодирования сконфигурирован, при его исполнении, для декодирования кадра АС-3 с использованием шести блоков аудиоданных из ΡΕΌ. Модуль конечного декодирования также сконфигурирован, при его исполнении, для синхронизации, распознавания и конверсии метаданных Е-АС-3 в метаданные Эо1Ьу Ωίβίΐαΐ с использованием включенного в него модуля конвертера метаданных;
декодер 5.1: модуль декодера 5.1 сконфигурирован, при его исполнении, для декодирования входного битового потока АС-3/Е-АС-3 (до 5.1 каналов) в РСМ-звуковой сигнал. Декодер 5.1 также, необязательно, выводит метаданные микширования для их использования внешним приложением при микшировании двух битовых потоков АС-3/Е-АС-3. Модуль декодера включает два главных субкомпонента: модуль ΡΕΌ, описанный выше, и модуль ΒΕΌ, описанный выше. Блок-схема примера декодера 5.1 показана на фиг. 2Ό.
Информация кадра: модуль информации кадра сконфигурирован, при его исполнении, для синтаксического анализа кадра АС-3/Е-АС-3 и распаковки информации его битового потока. На кадре, как часть процесса распаковки, выполняется проверка СКС.
Дескрипторы буферов: модуль дескрипторов буферов содержит описания буферов АС-3, Е-АС-3 и РСМ и функции для операций буферов.
Конвертер частоты дискретизации: модуль конвертера частоты дискретизации является необязательным и сконфигурирован, при его исполнении, для повышающей дискретизации в два раза РСМзвукового сигнала.
Внешний микшер: модуль внешнего микшера является необязательным и сконфигурирован, при его исполнении, для микширования главной аудиопрограммы и связанной аудиопрограммы в общую выходную аудиопрограмму с использованием метаданных микширования, доставляемых в связанной аудипрограмме.
Конструкция модуля предварительного декодирования.
Модуль предварительного декодирования декодирует данные в соответствии со способами АС-3 и в соответствии с дополнительными особенностями Е-АС-3, включая декодирование данных АНТ для стационарных сигналов, усиленное связывания каналов в Е-АС-3 и спектральное разрешение.
В случае варианта осуществления изобретения в форме материального носителя данных модуль предварительного декодирования включает команды программного обеспечения, хранящиеся на материальном носителе данных, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают действия, подробно описанные в данном описании для работы модуля предварительного декодирования. В аппаратной реализации модуль предварительного декодирования
- 12 025020 включает элементы, которые конфигурируются для работы по осуществлению действий, подробно описанных в данном описании для работы модуля предварительного декодирования.
При декодировании АС-3 возможно последовательное декодирование блоков. В случае с Е-АС-3 первый аудиоблок - аудиоблок 0 кадра включает мантиссы АНТ всех 6 блоков. Поэтому последовательное декодирование блоков, как правило, не используется, и вместо него несколько блоков обрабатываются одновременно. Однако обработка фактических данных, разумеется, осуществляется на каждом блоке.
В одном варианте осуществления изобретения для того, чтобы использовать унифицированный способ декодирования/архитектуру декодера независимо от того, используется ли АНТ, модуль ΡΕΌ осуществляет два последовательных прохода каналов. Первый проход включает последовательную распаковку метаданных блоков и сохранение указателей на то, где хранятся упакованные данные экспонент и мантисс, а второй проход включает использование сохраненных указателей на упакованные экспоненты и мантиссы и последовательную распаковку и декодирование данных экспонент и мантисс каналов.
На фиг. 3 показана упрощенная блок-схема одного из вариантов осуществления модуля предварительного декодирования, например, реализованного в форме набора команд, хранящихся в памяти, которые при их исполнении вызывают осуществление ΡΕΌ-обработки. На фиг. 3 также показан псевдокод для команд первого прохода двухпроходного модуля 300 декодирования, а также псевдокод для команд второго прохода двухпроходного модуля декодирования. Модуль ΡΕΌ включает следующие модули, каждый из которых включает команды, некоторые из которых являются дефинитивными в том смысле, что они определяют структуры и параметры.
Канал: модуль канала определяет структуры для представления аудиоканала в памяти и предусматривает команды для распаковки и декодирования аудиоканала из битового потока АС-3 и Е-АС-3.
Распределение битов: модуль распределения битов предусматривает команды для вычисления маскирующей кривой и вычисления распределения битов для кодированных данных.
Операции на битовом потоке: модуль операций на битовом потоке предусматривает команды для распаковки данных из битового потока АС-3 или Е-АС-3.
Экспоненты: модуль экспонент определяет структуры для представления экспонент в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования экспонент из битового потока АС-3 или Е-АС-3.
Экспоненты и мантиссы: модуль экспонент и мантисс определяет структуры для представления экспонент и мантисс в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования экспонент и мантисс из битового потока АС-3 или Е-АС-3.
Матрицирование: модуль матрицирования предусматривает команды, сконфигурированные, при их исполнении, для поддержки дематрицирования матрицированных каналов.
Вспомогательные данные: модуль вспомогательных данных определяет структуры вспомогательных данных, используемых в модуле ΡΕΌ для осуществления ΡΕΌ-обработки.
Мантиссы: модуль мантисс определяет структуры для представления мантисс в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования мантисс из битового потока АС-3 или Е-АС-3.
Адаптивное гибридное преобразование: модуль АНТ предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования данных адаптивного гибридного преобразования из битового потока Е-АС-3.
Аудиокадр: модуль аудиокадра определяет структуры для представления аудиокадра в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования аудиокадра из битового потока АС-3 или Е-АС-3.
Усиленное связывание: модуль усиленного связывания определяет структуры для представления канала с усиленным связыванием в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования канала с усиленным связыванием из битового потока АС-3 или Е-АС-3. Усиленное связывание расширяет традиционное связывание в битовом потоке путем обеспечения информации о фазе и хаосе.
Аудиоблок: модуль аудиоблока определяет структуры для представления аудиоблока в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования аудиоблока из битового потока АС-3 или Е-АС-3.
Спектральное разрешение: модуль спектрального разрешения обеспечивает поддержку декодирования спектрального разрешения в битовом потоке Е-АС-3.
Модуль связывания: модуль связывания определяет структуры для представления связанного канала в памяти и предусматривает команды, сконфигурированные, при их исполнении, для распаковки и декодирования связанного канала из битового потока АС-3 или Е-АС-3.
На фиг. 4 показана упрощенная блок-схема для функционирования одного из вариантов осуществления модуля 300 предварительного декодирования, которая показывает, как псевдокод и субмодульные элементы, показанные на фиг. 3, взаимодействуют при осуществлении функций модуля предварительного декодирования. Под функциональным элементом подразумевается элемент, который осуществляет одну из функций обработки. Каждый такой элемент может представлять собой элемент аппаратного
- 13 025020 обеспечения или систему обработки данных и носитель данных, который включает команды, которые при их исполнении осуществляют данную функцию. Функциональный элемент 403 распаковки битового потока принимает кадр АС-3/Е-АС-3 и генерирует параметры распределения битов для функционального элемента 405 стандартного распределения и/или распределения АНТ, который генерирует дальнейшие данные для распаковки битового потока с целью, в конечном итоге, генерировать данные экспонент и мантисс для включаемого функционального элемента 407 стандартного/усовершенствованного разрыва связей. Функциональный элемент 407 генерирует данные экспонент и мантисс для включаемого функционального элемента 409 дематрицирования с целью осуществления любого необходимого дематрицирования. Функциональный элемент 409 генерирует данные экспонент и мантисс для включаемого функционального элемента 411 декодирования спектрального разрешения с целью генерирования любого необходимого спектрального разрешения. Функциональные элементы 407-411 используют данные, полученные функциональным элементом 403 посредством операции распаковки. Результатом предварительного декодирования являются данные экспонент и мантисс, а также дополнительные распакованные параметры аудиокадра и параметры аудиоблока.
Обращаясь более подробно к первому проходу и второму проходу псевдокода, показанному на фиг. 3, команды первого прохода сконфигурированы, при их исполнении, для распаковки метаданных из кадра АС-3/Е-АС-3. В частности, первый проход включает распаковку информации ΒδΙ и распаковку информации аудиокадра. Для каждого блока, начиная от блока 0 и до блока 5 (при 6 блоках на кадр), распаковываются фиксированные данные, и для каждого канала сохраняется указатель на упакованные в битовом потоке экспоненты, и сохраняется позиция в битовом потоке, на которой сохранены постоянно хранящиеся упакованные мантиссы. Вычисляется распределение битов и, на основе распределения битов, мантиссы могут быть пропущены.
Команды второго прохода сконфигурированы, при их исполнении, для декодирования аудиоданных из кадра с целью формирования данных экспонент и мантисс. Для каждого блока, начиная с блока 0, распаковка включает загрузку сохраненного указателя на упакованные экспоненты и распаковку указанных таким образом экспонент, вычисление распределения битов, загрузку сохраненного указателя на упакованные мантиссы и распаковку указанных таким образом мантисс. Декодирование включает выполнение стандартного и усовершенствованного разрыва связей и генерирование полосы (полос) спектрального разрешения, и, для достижения независимости от других модулей, передачу результирующих данных в память, например в память, являющуюся внешней относительно внутренней памяти прохода, так, чтобы результирующие данные могли быть приняты другими модулями, например модулем ΒΕΌ. Указанная память для удобства называется внешней памятью, хотя она, как должно быть ясно специалистам в данной области, может являться частью единой структуры памяти, используемой для всех модулей.
В некоторых вариантах осуществления изобретения для распаковки экспонент, экспоненты, распакованные в ходе первого прохода, с целью минимизации переносов памяти не сохраняются. Если для канала используется АНТ, экспоненты распаковываются из блока 0 и копируются в остальные пять блоков, пронумерованные от 1 до 5. Если АНТ для канала не используется, сохраняются указатели на упакованные экспоненты. Если стратегия по отношению к экспонентам канала заключается в повторном использовании экспонент, экспоненты снова распаковываются с использованием сохраненных указателей.
В некоторых вариантах осуществления изобретения, если для связанного канала используется АНТ, для распаковки связанной мантиссы все шесть блоков мантисс связанного канала с АНТ распаковываются в блок 0 и для каждого канала, который является связанным каналом, регенерируется псевдослучайный сигнал, что приводит к некоррелированному псевдослучайному сигналу. Если АНТ для связанного канала не используется, то сохраняются указатели на связанные мантиссы. Эти сохраненные указатели используются для повторной распаковки связанных мантисс для каждого канала, который в данном блоке является связанным каналом.
Конструкция модуля конечного декодирования.
Модуль конечного декодирования (ΒΕΌ) действует для приема данных экспонент и мантисс в частотной области и для декодирования их в РСМ-аудиоданные с РСМ. РСМ-аудиоданные воспроизводятся на основе выбираемых пользователем режимов, режимов сжатия динамического диапазона и понижающего микширования.
В некоторых вариантах осуществления изобретения, где модуль предварительного декодирования хранит в памяти - мы называем ее внешней памятью - данные экспонент и мантисс отдельно от рабочей памяти модуля предварительного декодирования, модуль ΒΕΌ использует последовательную обработку блоков кадра для минимизации требований буферов понижающего микширования и задержки и, для обеспечения совместимости с выходным сигналом модуля предварительной обработки, использует переносы из внешней памяти для приема данных экспонент и мантисс, предназначенных для обработки.
В случае варианта осуществления изобретения в форме материального носителя данных модуль конечного декодирования включает команды программного обеспечения, хранящиеся на материальном носителе данных, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают действия, подробно описанные в данном описании для функционирования модуля конечного декодирования. В аппаратной реализации модуль конечного декодирования включает элемен- 14 025020 ты, которые в рабочем состоянии сконфигурированы для осуществления действий, подробно описанных в данном описании для работы модуля конечного декодирования.
На фиг. 5А показана упрощенная блок-схема одного из вариантов осуществления модуля 500 конечного декодирования, реализованного в форме хранящихся в памяти команд, которые, при их исполнении, вызывают осуществление ΒΕΌ-обработки. Также на фиг. 5А показан псевдокод для команд модуля 500 конечного декодирования. Модуль 500 ΒΕΌ включает следующие модули, каждый из которых включает команды, некоторые из команд являются дефинитивными.
Управление динамическим диапазоном: Модуль управления динамическим диапазоном предусматривает команды, которые при их исполнении вызывают осуществление функций по управлению динамическим диапазоном декодированного сигнала, включая применение регулирования диапазона усиления и применение управления динамическим диапазоном.
Преобразование: модуль преобразования предусматривает команды, которые при их исполнении вызывают осуществление обратных преобразований, включая осуществление обратного модифицированного дискретного косинусного преобразования (1МЭСТ), которое включает осуществление предварительного вращения, используемого для вычисления обратного ОСТ-преобразования, осуществление последующего вращения, используемого для вычисления обратного ОСТ-преобразования и определения обратного быстрого преобразования Фурье (1РРТ).
Обработка кратковременного предшума: модуль обработки кратковременного предшума предусматривает команды, которые при их исполнении вызывают осуществление обработки кратковременного предшума.
Окно и добавление наложения: модуль окна и добавления наложения с буфером задержки предусматривает команды, которые при их исполнении вызывают осуществление обработки методом окна и операции добавления наложения с целью реконструкции выходных дискретных значений из обратно преобразованных дискретных значений.
Понижающее микширование во временной области (ТО): модуль ТЭ-понижающего микширования предусматривает команды, которые при их исполнении вызывают осуществление понижающего микширования во временной области, что необходимо для получения меньшего количества каналов.
На фиг. 6 показана упрощенная схема потоков данных для работы одного из вариантов осуществления модуля 500 конечного декодирования по фиг. 5А, которая описывает то, как код и субмодульные элементы, показанные на фиг. 5А, взаимодействуют при осуществлении функций модуля конечного декодирования. Функциональный элемент 603 управления усилением принимает данные экспонент и мантисс из модуля 300 предварительного декодирования и применяет любое требуемое управление динамическим диапазоном, диалоговой нормализацией и регулированием диапазона усиления в соответствии с метаданными. Результирующие данные экспонент и мантисс принимаются функциональным элементом 605 денормализации мантисс посредством экспонент, который генерирует коэффициенты преобразования для обратного преобразования. Функциональный элемент 607 обратного преобразования применяет 1МЭСТ к коэффициентам преобразования для генерирования временных дискретных значений, которые являются предварительно обработанными методом окна с добавлением наложения. Указанные дискретные значения во временной области с предварительно добавленным наложением в данном описании называются дискретными значениями в псевдовременной области, и эти дискретные значения находятся в области, которая в данном описании называется псевдовременной областью. Они принимаются функциональным элементом 609 обработки методом окна и добавления наложения, который генерирует РСМ-дискретные значения путем применения операций обработки методом окна и добавления наложения к дискретным значениям в псевдо-временной области. Какая-либо обработка кратковременного предшума применяется функциональным элементом 611 обработки кратковременного предшума в соответствии с метаданными. Если это обусловлено, например, в метаданных или иным способом, результирующие РСМ-дискретные значения, подвергнутые обработке кратковременного предшума, подвергаются понижающему микшированию до количества М.т выходных каналов РСМ-дискретных значений посредством функционального элемента 613 понижающего микширования.
Вновь обращаясь к фиг. 5А, псевдокод для модуля обработки ΒΕΌ включает, для каждого блока данных, перенос данных мантисс и экспонент для блоков канала из внешней памяти и, для каждого канала: применение любого требуемого управления динамическим диапазоном, диалоговой нормализации и регулирования диапазона усиления в соответствии с метаданными; денормализацию мантисс посредством экспонент с целью регенерирования коэффициентов преобразования для обратного преобразования; вычисление 1МЭСТ для коэффициентов преобразования с целью генерирования дискретных значений в псевдовременной области; применение операций обработки методом окна и добавления наложения к дискретным значениям в псевдовременной области; применение любой обработки кратковременного предшума в соответствии с метаданными; и, если требуется, понижающее микширование до количества М.т выходных каналов РСМ-дискретных значений.
Варианты осуществления декодирования, показанные на фиг. 5А, включают осуществление таких регулировок усиления, как применение смещений диалоговой нормализации в соответствии с метаданными и применение коэффициентов усиления для управления динамическим диапазоном в соответствии
- 15 025020 с метаданными. Выполнение указанных регулировок усиления на этапе, где данные представлены в форме мантисс и экспонент в частотной области, является преимущественным. Изменения усиления могут изменяться во времени, и указанные изменения усиления, выполненные в частотной области, приводят к гладкому плавному микшированию тогда, когда происходят операции обратного преобразования и обработки методом окна/добавления наложения.
Обработка кратковременного предшума.
Кодирование и декодирование Е-АС-3 сконструированы для функционирования и обеспечения улучшенного качества звукового сигнала на более низких скоростях передачи данных, чем в АС-3. На более низких скоростях передачи данных качество звукового сигнала кодированного звукового сигнала может подвергаться негативным воздействиям, в особенности, в случае относительно трудно поддающегося кодированию материала, содержащего кратковременные непериодические сигналы. Указанное воздействие на качество звукового сигнала, в первую очередь, связано с ограниченным количеством информационных битов, доступных для точного кодирования сигналов этого типа. Артефакты кодирования кратковременных непериодических сигналов проявляются в форме уменьшения четкости кратковременного непериодического сигнала, а также в форме артефакта кратковременного предшума, который растягивает слышимый шум по всему окну кодирования из-за ошибок квантования при кодировании.
Как описано выше на фиг. 5 и 6, ΒΕΌ предусматривает обработку кратковременного предшума. Кодирование Е-АС-3 включает кодирование обработки кратковременного предшума с целью ослабления артефактов кратковременного предшума, которые могут вноситься тогда, когда звуковой сигнал, содержащий кратковременные непериодические сигналы, кодируется путем замещения соответствующего сегмента звукового сигнала звуковым сигналом, который синтезируется с использованием звукового сигнала, расположенного перед кратковременным предшумом. Звуковой сигнал обрабатывается с использованием синтеза с масштабированием по времени, и, таким образом, длительность увеличивается так, чтобы он имел длину, достаточную для замещения звукового сигнала, содержащего кратковременный предшум. Буфер синтеза звукового сигнала анализируется с использованием анализа сцен звукового сигнала и обработки максимального подобия, а затем масштабируется по времени так, чтобы его длительность увеличивалась достаточно для замещения звукового сигнала, который содержит кратковременный предшум. Синтезированный звуковой сигнал с увеличенной длиной используется для замещения кратковременного предшума и подвергается плавному микшированию в существующий кратковременный предшум непосредственно перед позицией кратковременного непериодического сигнала для того, чтобы обеспечить гладкий переход от синтезированного звукового сигнала к оригинальным кодированным аудиоданным. При использовании обработки кратковременного предшума, длина кратковременного предшума может быть значительно уменьшена или исключена даже в случае, когда коммутация блоков заблокирована.
В одном из вариантов осуществления кодера Е-АС-3 анализ синтеза с масштабированием по времени и обработка для инструмента обработки кратковременного предшума выполняется на данных во временной области для определения информации метаданных, например, включающих параметры масштабирования по времени. Информация метаданных принимается декодером наряду с кодированным битовым потоком. Переданные метаданные кратковременного предшума используются для выполнения обработки во временной области на декодированном звуковом сигнале с целью ослабления или исключения кратковременного предшума, вносимого кодированием звукового сигнала с низкой битовой скоростью передачи данных на низких скоростях передачи данных.
Кодер Е-АС-3 выполняет анализ синтеза масштабирования по времени и определяет параметры масштабирования по времени на основе содержимого звукового сигнала для каждого обнаруженного кратковременного непериодического сигнала. Параметры масштабирования по времени передаются как дополнительные метаданные наряду с кодированными аудиоданными.
В декодере Е-АС-3 оптимальные параметры масштабирования, предоставляемые метаданными ЕАС-3, принимаются как часть принятых метаданных Е-АС-3 для использования в обработке кратковременного предшума. Декодер выполняет стыковку аудиобуфера и плавное микширование с использованием переданных параметров масштабирования по времени, полученных из метаданных Е-АС-3.
Используя оптимальную информацию масштабирования по времени и применяя ее вместе с соответствующей обработкой плавного микширования, при декодировании можно значительно ослабить или исключить кратковременный предшум, вносимый кодированием звукового сигнала с низкой битовой скоростью передачи данных.
Таким образом, обработка кратковременного предшума перезаписывает поверх предшума сегмент звукового сигнала, который имеет наиболее близкое сходство с оригинальным содержимым. Команды обработки кратковременного предшума при их исполнении поддерживают буфер задержки из четырех блоков для копирования поверх. Команды обработки кратковременного предшума при их исполнении в случае, когда происходит перезапись, вызывают выполнение плавного микширования в перезаписанный предшум и из него.
- 16 025020
Понижающее микширование.
Обозначим как Ν.η количество каналов, закодированных в битовом потоке Е-АС-3, где N - количество главных каналов, и η=0 или 1 - количество каналов ЬРЕ. Часто принимается решение о понижающем микшировании Ν главных каналов в меньшее количество, обозначаемое как М, выходных главных каналов. Понижающее микширование из Ν в М каналов, Μ<Ν, поддерживается вариантами осуществления настоящего изобретения. Также возможно повышающее микширование, в этом случае Μ>Ν.
Таким образом, в наиболее общей реализации варианты осуществления аудиодекодера в действии способны декодировать аудиоданные, которые включают Ν.η каналов кодированных аудиоданных, для того, чтобы декодировать аудиоданные, которые включают М.т каналов декодированного звукового сигнала, М>1, где η, т указывают количество каналов ЬРЕ, соответственно, на входе и на выходе. Понижающее микширование представляет случай Μ<Ν и, в соответствии с набором коэффициентов понижающего микширования, включается в случай Μ<Ν.
Понижающее микширование в частотной области против понижающего микширования во временной области.
Понижающее микширование может полностью выполняться в частотной области перед обратным преобразованием, во временной области - после обратного преобразования, однако, в случае обработки добавления наложения блоков, - перед операциями обработки методом окна и добавления наложения, или во временной области - после операции обработки методом окна и добавления наложения.
Понижающее микширование в частотной области (ΡΏ) намного более эффективно, чем понижающее микширование во временной области. Его эффективность основывается, например, на том факте, что любые этапы обработки после этапа понижающего микширования осуществляются только на остающемся количестве каналов, которое, в общем смысле, после понижающего микширования уменьшается. Поэтому уменьшается вычислительная сложность всех этапов обработки, следующих за этапом понижающего микширования, по меньшей мере, на соотношение входных каналов и выходных каналов.
Например, рассмотрим понижающее микширование от 5.0 каналов до стереофонического сигнала. В этом случае вычислительная сложность любого последующего этапа обработки будет уменьшена, приблизительно, в 5/2=2,5 раза.
Понижающее микширование во временной области (ТО) используется в типичных декодерах Е-АС3 и в вариантах осуществления изобретения, описанных выше и проиллюстрированных на фиг. 5А и 6. Существует три главные причины, по которым типичные декодеры Е-АС-3 используют понижающее микширование во временной области.
Каналы с различными типами блоков.
В зависимости от содержимого звукового сигнала, который подвергается кодированию, кодер ЕАС-3 может делать выбор между двумя различными типами блоков - коротким блоком и длинным блоком - для сегментирования данных звукового сигнала. Данные гармонического, медленно меняющегося звукового сигнала обычно сегментируются и кодируются с использованием длинных блоков, в то время как кратковременные непериодические сигналы сегментируются и кодируются в короткие блоки. В результате представление в частотной области коротких блоков и длинных блоков по сути различно и не может комбинироваться в операции понижающего микширования в частотной области.
Каналы могут микшироваться совместно только после того, как в декодере отменяются специфичные для типа блока этапы кодирования. Поэтому в случае преобразований с коммутацией блоков используются различные частные процессы обратного преобразования, и результаты двух различных преобразований не могут комбинироваться напрямую вплоть до этапа обработки методом окна.
Однако известны способы первоначальной конверсии данных преобразования с малой длиной в более длинные данные в частотной области, и в этом случае понижающее микширование может осуществляться в частотной области. Тем не менее в большинстве известных реализаций декодера понижающее микширование осуществляется после обратного преобразования в соответствии с коэффициентами понижающего микширования.
Повышающее микширование.
Если количество выходных главных каналов больше, чем количество входных главных каналов, Μ>Ν, более выгодным является подход микширования во временной области, поскольку он перемещает этап повышающего микширования к концу обработки, уменьшая количество обрабатываемых каналов.
ΤΡΝΡ.
Блоки, которые подвергаются обработке кратковременного предшума (ΤΡΝΡ), могут не подвергаться понижающему микшированию в частотной области, поскольку ΤΡΝΡ функционирует во временной области. Для ΤΡΝΡ требуется история до четырех блоков РСМ-данных (1024 дискретных значения), которые должны быть представлены для канала, к которому применяется ΤΡΝΡ. Переключение к понижающему микшированию во временной области, таким образом, является необходимым для того, чтобы заполнить историю РСМ-данных и выполнить замещение предшума.
Гибридное понижающее микширование с использованием понижающего микширования во временной области и в частотной области.
Авторы изобретения понимают, что каналы в большинстве кодированных звуковых сигналов ис- 17 025020 пользуют блоки одинакового типа более чем 90% времени. Это означает, что более эффективное понижающее микширование в частотной области будет работать для более чем 90% данных в типичном кодированном звуковом сигнале при условии отсутствия в нем ΤΡΝΡ.
Остальные 10% или менее будут требовать понижающего микширования во временной области, что и происходит в типичных декодерах Е-АС-3 на текущем уровне техники.
Варианты осуществления настоящего изобретения включают логику выбора способа понижающего микширования, предназначенную для определения для последовательных блоков того, какой способ понижающего микширования применять, а также логику понижающего микширования во временной области и логику понижающего микширования в частотной области - для применения конкретного способа понижающего микширования в случае необходимости. Так, вариант осуществления способа включает определение для последовательных блоков того, применять понижающее микширование в частотной области или понижающее микширование во временной области. Логика выбора в способе понижающего микширования действует для определения того, применять понижающее микширование в частотной области или понижающее микширование во временной области, и включает определение того, присутствует ли какая-либо обработка кратковременного предшума, а также определение того, содержит ли какойлибо из Ν каналов другой тип блоков. Логика выбора определяет, что понижающее микширование в частотной области будет применяться для блока, который содержит в Ν каналах блоки одного типа, обработка кратковременного предшума отсутствует, и Μ<Ν.
На фиг. 5В показана упрощенная блок-схема одного из вариантов осуществления модуля 520 конечного декодирования, реализованного в форме набора команд, которые хранятся в памяти и которые при их исполнении вызывают осуществление ΒΕΌ-обработки. На фиг. 5В также показан псевдокод для команд модуля 520 конечного декодирования. Модуль 520 конечного декодирования включает модули, показанные на фиг. 5А, которые используют только понижающее микширование во временной области и следующие за ними дополнительные модули, каждый из которых включает команды, и некоторые из этих команд являются дефинитивными.
Модуль выбора способа понижающего микширования, который выполняет проверку (ί) изменения типа блока; (ίί) того, присутствует ли не истинное понижающее микширование (Μ<Ν), но, скорее, повышающее микширование, и (ίίί) того, подвергался ли блок ΤΡΝΡ, и, если ни один из пунктов не является истинным, выбирает понижающее микширование в частотной области. Этот модуль определяет для последовательных блоков, применять понижающее микширование в частотной области или понижающее микширование во временной области.
Модуль понижающего микширования в частотной области, который осуществляет, после денормализации мантисс посредством экспонент, понижающее микширование в частотной области. Следует отметить, что модуль понижающего микширования в частотной области также включает модуль логики перехода из временной области в частотную, который выполняет проверку того, использовалось ли понижающее микширование во временной области для предыдущего блока, и в этом случае блок обрабатывается по-другому, как более подробно будет описано ниже. Кроме того, модуль переходной логики также имеет дело с этапами обработки, связанными с определенными нерегулярно происходящими повторно событиями, например, с такими изменениями программы, как затухающие каналы.
Модуль перехода от ΡΌ- к ΤΌ-понижающему микшированию, который выполняет проверку того, использовалось ли понижающее микширование в частотной области для обработки предыдущего блока, и в этом случае блок обрабатывается по-другому, что более подробно будет описано ниже. Кроме того, модуль переходной логики также имеет дело с этапами обработки, связанными с определенными нерегулярно происходящими повторно событиями, например, с такими изменениями программы, как затухающие каналы.
Также модули, показанные на фиг. 5А, могут вести себя по-другому в вариантах осуществления изобретения, включающих гибридное понижающее микширование, т.е. как ΡΌ-, так и ΤΌ-понижающее микширование в зависимости от одного или нескольких условий для текущего блока.
Обращаясь к псевдокоду на фиг. 5В, некоторые варианты осуществления способа конечного декодирования включают, после переноса данных кадра блоков из внешней памяти, выяснение того, выполнялось ΡΌ- или ΤΌ-понижающее микширование. При ΡΌ-понижающем микшировании способ для каждого канала включает (ί) применение управления динамическим диапазоном и диалоговой нормализации, но, как будет обсуждаться ниже, регулирование диапазона усиления блокируется; (ίί) денормализацию мантисс посредством экспонент; (ίίί) осуществление ΕΌ-понижающего микширования; и (ίν) установление того, присутствуют ли затухающие каналы, или того, подвергался ли предыдущий блок понижающему микшированию во временной области, и в этом случае обработка осуществляется по-другому, что более подробно будет описано ниже. В случае ΤΌ-понижающего микширования, а также для данных, подвергнутых ΡΌ-понижающему микшированию процесс для каждого канала включает: (ί) обработку блоков для ΤΌ-понижающего микширования иначе, чем в случае, когда предыдущий блок был подвергнут ΡΌ-понижающему микшированию, а также обработку любых изменений программы; (ίί) определение обратного преобразования; (ίίί) осуществление обработки методом окна и добавления наложения; и, в случае ΤΌ-понижающего микширования, (ίν) выполнение любой обработки ΤΡΝΡ и понижающего
- 18 025020 микширования для соответствующего выходного канала.
На фиг. 7 показана простая схема потоков данных. Блок 701 соответствует логике выбора способа понижающего микширования, которая проверяет выполнение трех условий: изменение типа блока, наличие ΤΡΝΡ и повышающее микширование, и, если какое-либо из условий является истинным, направляет поток данных к ветви 721 ΤΌ-понижающего микширования, которая включает в блоке 723 переходную логику понижающего микширования, предназначенную для обработки блока по-другому, если блок появляется непосредственно вслед за блоком, обработанным посредством ΡΌ-понижающего микширования, обработку изменений программы, и, в блоке 725, денормализацию мантисс посредством экспонент. После блока 721 поток данных обрабатывается блоком 731 общей обработки. Если проверки блока 701 логики выбора способа понижающего микширования определяют, что блок предназначен для ΡΌпонижающего микширования, поток данных направляется к ветви обработки 711 посредством ΡΌпонижающего микширования, которая включает процесс 713 понижающего микширования в частотной области, который блокирует регулирование диапазона усиления, и, для каждого канала, денормализует мантиссы посредством экспонент и осуществляет ΡΌ-понижающее микширование, и блок 715 переходной логики понижающего микширования, предназначенный для определения того, обрабатывался ли предыдущий блок посредством ΤΌ-понижающего микширования, и для обработки такого блока подругому, а также для обнаружения и обработки любых изменений программы, таких как затухающие каналы. После блока 715 перехода понижающего микширования поток данных направляется к тому же блоку 731 общей обработки.
Блок 731 общей обработки включает обратное преобразование и любую дальнейшую обработку во временной области. Дальнейшая обработка во временной области включает отмену регулирования диапазона усиления, обработку методом окна и обработку добавления наложения. Если блок поступает из блока 721 ΤΌ-понижающего микширования, дальнейшая обработка во временной области также включает любую обработку ΤΡΝΡ и понижающее микширование во временной области.
На фиг. 8 показана схема последовательности операций для одного из вариантов осуществления обработки в модуле конечного декодирования, таком как, например, модуль, показанный на фиг. 7. Схема последовательности операций разделена следующим образом с теми же ссылочными позициями, что и используемые на фиг. 7 для соответствующих сходных функциональных блоков потока данных: секция 701 логики выбора способа понижающего микширования, где логический флаг ΡΌ_ύιη\ используется для указания того, что при значении 1 для блока используется понижающее микширование в частотной области; секция 721 логики ΤΌ-понижающего микширования, которая включает секцию 723 переходной логики ΡΌ-понижающего микширования и логики изменения программы, предназначенной для обработки по-другому блока, который возникает непосредственно вслед за блоком, обработанным посредством ΡΌ-понижающего микширования, и осуществляет обработку изменений программы, и секцию, предназначенную для денормализации мантисс посредством экспонент для каждого входного канала. Поток данных после блока 721 обрабатывается секцией 731 общей обработки. Если блок 701 логики выбора способа понижающего микширования определяет, что блок предназначен для ΡΌ-понижающего микширования, поток данных ответвляется к секции 711 обработки посредством ΡΌ-понижающего микширования, которая включает процесс понижающего микширования в частотной области, который блокирует регулирование диапазона усиления, и, для каждого канала, денормализует мантиссы посредством экспонент и осуществляет ΡΌ-понижающее микширование, и к секции 714 переходной логики ΤΌпонижающего микширования, предназначенной для определения для каждого предшествующего блока того, подвергался ли канал плавному микшированию, или того, обрабатывался ли предшествующий блок посредством ΤΌ-понижающего микширования, и для обработки такого блока по-другому. Поток данных после переходной секции 715 ΤΌ-понижающего микширования направляется к той же секции 731 логики общей обработки. Секция 731 логики общей обработки включает для каждого канала обратное преобразование и любую дальнейшую обработку во временной области. Дальнейшая обработка во временной области включает отмену регулирования диапазона усиления, обработку методом окна и обработку добавления наложения. Если ΡΌ_ύιη\ равен 0, что указывает на ΤΌ-понижающее микширование, дальнейшая обработка во временной области в секции 731 включает любую обработку ΤΡΝΡ и понижающее микширование во временной области.
Следует отметить, что после ΡΌ-понижающего микширования в секции 715 переходной логики ΤΌпонижающего микширования в блоке 817 количество входных каналов N устанавливается так, чтобы оно было таким же, как количество выходных каналов М, и, таким образом, оставшаяся часть обработки, например, обработка в секции 731 логики общей обработки осуществляется только на данных, подвергнутых понижающему микшированию. Это снижает объем вычислений. Разумеется, понижающее микширование во временной области данных из предыдущего блока, где присутствует переход от блока, который подвергался ΤΌ-понижающему микшированию, - указанное ΤΌ-понижающее микширование показано как блок 819 в секции 715, -осуществляется на всех указанных N входных каналах, которые вовлекаются в понижающее микширование.
Обработка перехода.
При декодировании необходимо получить гладкие переходы между аудиоблоками. Е-АС-3 и мно- 19 025020 гие другие способы декодирования используют преобразование с наложением, например МОСТ с 50% наложением. Поэтому при обработке текущего блока существует его 50% наложение с предыдущим блоком и, кроме того, будет существовать его наложение с последующим блоком во временной области. Некоторые варианты осуществления настоящего изобретения используют логику добавления наложения, которая включает буфер добавления наложения. При обработке текущего блока буфер добавления наложения содержит данные из предыдущего аудиоблока. Поскольку необходимо получить гладкие переходы между аудиоблоками, эта логика включена в обработку по-разному переходов от ТО-понижающего микширования к РО-понижающему микшированию и от РО-понижающего микширования к ТОпонижающему микшированию.
На фиг. 9 показан пример обработки пяти блоков, обозначенных как блоки к, к+1, ..., к+4 пятиканального звукового сигнала, включающего, как обычно, левый, центральный, правый, левый окружающий и правый окружающий каналы, обозначаемые соответственно, как Ь, С, К, Ь§ и К§, и понижающее микширование в стереофонический микшированный сигнал с использованием следующих формул:
левый выходной сигнал, обозначаемый Ь'=аС+ЬЬ+сЬ8, и правый выходной сигнал, обозначаемый К'=аС+ЬК+сК§.
На фиг. 9 предполагается, что используется преобразование без наложения. Каждый прямоугольник представляет звуковое содержимое блока.
Горизонтальные оси слева направо представляют блоки к, ..., к+4, а вертикальные оси сверху вниз представляют ход декодирования данных. Предположим, что блок к обработан посредством ТОпонижающего микширования, блоки к+1 и к+2 обработаны посредством РО-понижающего микширования, и блоки к+3 и к+4 - посредством ТО-понижающего микширования. Как видно, для каждого из блоков ТО-понижающего микширования, понижающее микширование не происходит до того, как понижающее микширование во временной области не дойдет до низа, после чего содержимое представляет собой низведенные каналы Ь' и К', в то время как для блока, подвергнутого РО-понижающему микшированию, левый и правый каналы в частотной области являются уже низведенными после понижающего микширования в частотной области, и данные каналов С, Ь8 и К§ игнорируются. Поскольку наложение между блоками отсутствует, обработка специфических случаев при переключении от ТО-понижающего микширования к РО-понижающему микшированию, или от РО-понижающего микширования к ТОпонижающему микшированию, не требуется.
Фиг. 10 описывает случай преобразований с 50% наложением. Предположим, что добавление наложения осуществляется путем декодирования добавления наложения с использованием буфера добавления наложения. На этой диаграмме, где блок данных показан как два треугольника, нижний левый треугольник представляет данные из предыдущего блока в буфере добавления наложения, в то время как верхний правый треугольник показывает данные из текущего блока.
Обработка перехода при переходе от ТО-понижающего микширования к РО-понижающему микшированию.
Рассмотрим блок к+1, который представляет собой блок РО-понижающего микширования, который следует непосредственно за блоком ТО-понижающего микширования. После ТО-понижающего микширования буфер добавления наложения содержит данные Ь, С, К, Ь§ и К§ из последнего блока, которые необходимо включить в текущий блок. В текущий блок также включается вклад блока к+1, который уже подвергнут РО-понижающему микшированию. Для того чтобы надлежащим образом определить низведенные РСМ-данные для вывода, в них необходимо включить как данные текущего блока, так и данные предыдущего блока. Для этого данные предыдущего блока необходимо очистить и, поскольку они еще не являются низведенными, подвергнуть понижающему микшированию во временной области. Оба вклада необходимо сложить для определения низведенных РСМ-данных для вывода. Эта обработка включена в переходную логику 715 ТО-понижающего микширования по фиг. 7 и 8, и в код переходной логики ТО-понижающего микширования, включенный в модуль РО-понижающего микширования, показанный на фиг. 5В. Осуществляемая в нем обработка суммирована в секции 715 переходной логики ТОпонижающего микширования по фиг. 8. Подробнее, обработка перехода при переходе от ТОпонижающего микширования к РО-понижающему микшированию включает очистку буферов наложения путем подачи нулей в логику добавления наложения и осуществление обработки методом окна и добавления наложения. Копирование очищенного выходного сигнала из логики добавления наложения. Эти данные представляют собой РСМ-данные предыдущего блока для конкретного канала перед понижающим микшированием. После этого буфер наложения содержит нули;
понижающее микширование во временной области РСМ-данных из буферов наложения с целью генерирования РСМ-данных ТО-понижающего микширования предыдущего блока;
понижающее микширование в частотной области новых данных из текущего блока. Осуществление обратного преобразования и подача новых данных после РО-понижающего микширования и обратного преобразования в логику добавления наложения. Осуществление обработки методом окна и добавления наложения и т.д. с новыми данными с целью генерирования РСМ-данных РО-понижающего микширования текущего блока;
сложение РСМ-данных ТО-понижающего микширования и РО-понижающего микширования с це- 20 025020 лью генерирования выходного РСМ-сигнала.
Следует отметить, что в альтернативном варианте осуществления изобретения, при условии, что в предыдущем блоке не было ΊΈΝΡ, данные в буферах добавления наложения являются низведенными, и тогда операция добавления наложения выполняется на низведенных выходных каналах. Это позволяет избежать необходимости осуществления операции добавления наложения для каждого канала предыдущего блока. Кроме того, как описано выше для декодирования АС-3, когда используется буфер понижающего микширования и соответствующий ему буфер задержки на пол-блока длиной 128 дискретных значений, которые обрабатываются методом окна и комбинируются, давая 256 выходных дискретных РСМ-значений, операция понижающего микширования является более простой, поскольку буфер задержки содержит лишь 128 дискретных значений, а не 256. Эта особенность уменьшает пиковую вычислительную сложность, которая присуща обработке перехода. Поэтому в некоторых вариантах осуществления изобретения для блока, который подвергнут ΡΌ-понижающему микшированию и следует за блоком, данные которого подвергнуты ТО-понижающему микшированию, обработка перехода включает применение понижающего микширования в псевдо-временной области к данным предыдущего блока, который необходимо наложить на декодированные данные конкретного блока.
Обработка перехода при переходе от ΡΟ-понижающего микширования к ТО-понижающему микшированию.
Рассмотрим блок к+3, который является блоком ТО-понижающего микширования и который следует непосредственно за блоком к+2 ΡΌ-понижающего микширования. Поскольку предыдущий блок был блоком понижающего микширования в ΡΌ-области, буфер добавления наложения на более ранних этапах, например, перед ТО-понижающим микшированием, содержит низведенные данные в левом и правом каналах и не содержит данных в других каналах. Вклады текущего блока не подвергаются понижающему микшированию вплоть до ТО-понижающего микширования. Для того чтобы надлежащим образом определить низведенные РСМ-данные для вывода, необходимо включить в них данные как текущего блока, так и предыдущего блока. Для этого данные предыдущего блока нуждаются в очистке. Данные текущего блока нуждаются в понижающем микшировании во временной области и в добавлении к обратно преобразованным данным, которые были очищены, с целью определения низведенных РСМданных для вывода. Эта обработка включена в переходную логику 723 ΡΌ-понижающего микширования согласно фиг. 7 и 8, и в код модуля переходной логики ΡΌ-понижающего микширования, показанный на фиг. 5В. Выполняемая в этом модуле обработка суммирована в секции 723 логики перехода от ΡΌпонижающего микширования согласно фиг. 8. Подробнее, при условии, что для каждого выходного канала присутствуют выходные РСМ-буферы, обработка перехода от ΡΌ-понижающего микширования к ТО-понижающему микшированию включает очистку буферов наложения путем подачи нулей в логику добавления наложения и осуществления обработки методом окна и добавления наложения. Копирование выходного сигнала в выходной РСМбуфер. Очищенные данные представляют собой РСМ-данные ΡΟ-понижающего микширования предыдущего блока. После этого буфер наложения содержит нули;
осуществление обратного преобразования новых данных текущего блока с целью генерирования предварительных данных понижающего микширования текущего блока. Подачу этих новых данных во временной области (после преобразования) в логику добавления наложения;
осуществление обработки методом окна и добавления наложения, ТР№, если она присутствует, и ТО-понижающее микширование с новыми данными из текущего блока с целью генерирования РСМданных ТО-понижающего микширования текущего блока;
добавление РСМ-данных ТО-понижающего микширования и ΡΌ-понижающего микширования с целью генерирования выходного РСМ-сигнала.
В дополнение к переходам от понижающего микширования во временной области к понижающему микшированию в частотной области в переходной логике понижающего микширования во временной области и в обработчике изменений программы обрабатываются изменения программы. Вновь возникающие каналы автоматически включаются в понижающее микширование и поэтому не требуют какойлибо специальной обработки. Каналы, которые больше не присутствуют в новой программе, нуждаются в плавном ослаблении. Это осуществляется, как показано в секции 715 на фиг. 8 для случая ΡΌпонижающего микширования, путем очистки буферов наложения затухающих каналов. Очистка осуществляется путем подачи нулей в логику наложения-сложения и осуществления обработки методом окна и добавления наложения.
Следует отметить, что на показанной схеме последовательности операций и в некоторых вариантах осуществления изобретения секция 711 логики понижающего микширования в частотной области включает блокирование необязательной возможности регулирования диапазона усиления для всех каналов, которые являются частью низведенного сигнала в частотной области. Каналы могут обладать различными параметрами регулирования диапазона усиления, которые могут индуцировать различное масштабирование спектральных коэффициентов каналов и, таким образом, препятствовать понижающему микшированию.
В альтернативной реализации секция 711 логики ΡΌ-понижающего микширования модифицируется
- 21 025020 так, чтобы минимальный коэффициент усиления среди всех коэффициентов усиления использовался для выполнения регулирования диапазона усиления низведенного (в частотной области) канала.
Понижающее микширование во временной области с изменением коэффициентов понижающего микширования и необходимостью плавного микширования в прямой форме.
Понижающее микширование может приводить к нескольким трудностям. В различных обстоятельствах требуются различные уравнения понижающего микширования, поэтому может потребоваться динамическое изменение коэффициентов понижающего микширования на основе условий сигнала. Доступны параметры метаданных, которые позволяют приспосабливать коэффициенты понижающего микширования для достижения оптимальных результатов.
Так, коэффициенты понижающего микширования могут изменяться с течением времени. Если происходит изменение от первого набора коэффициентов понижающего микширования ко второму набору коэффициентов понижающего микширования, данные должны плавно микшироваться от первого набора ко второму набору.
Когда понижающее микширование осуществляется в частотной области, а также во многих реализациях декодера, например, в декодере АС-3 на текущем уровне техники, как показано на фиг. 1, понижающее микширование осуществляется перед операциями обработки методом окна и добавления наложения. Преимущество осуществления понижающего микширования в частотной области, или во временной области перед обработкой методом окна и добавлением наложения, заключается во внутренне присущем им плавном микшировании в результате операций добавления наложения. Поэтому во многих декодерах АС-3 и способах декодирования, где понижающее микширование осуществляется в оконной области после обратного преобразования, или в частотной области - в гибридных реализациях понижающего микширования, - операция плавного микширования в прямой форме отсутствует.
В случае понижающего микширования во временной области и обработки кратковременного предшума (ΤΡΝΡ) может возникать задержка на один блок при декодировании обработки кратковременного предшума, вызванная особенностями изменения программы, например в декодере 7.1. Так, в вариантах осуществления настоящего изобретения, когда понижающее микширование осуществляется во временной области и используется ΤΡΝΡ, понижающее микширование во временной области осуществляется после обработки методом окна и добавления наложения. Порядок обработки, который используется в случае понижающего микширования во временной области, таков: осуществление обратного преобразования, например МОСТ, осуществление обработки методом окна и добавление наложения, осуществление какого-либо декодирования обработки кратковременного предшума (без задержки), а затем понижающего микширования во временной области.
В этом случае, понижающее микширование во временной области требует плавного микширования предыдущих и текущих данных понижающего микширования, например коэффициентов понижающего микширования или таблиц понижающего микширования, для того чтобы обеспечить сглаживание любых изменений коэффициентов понижающего микширования.
Один из возможных вариантов заключается в осуществлении операции плавного микширования для вычисления результирующего коэффициента. Обозначим используемые коэффициенты микширования как ο[ί], где ί обозначает временной индекс 256 дискретных значений во временной области, т.е. интервал 1=0,... ,255. Обозначим положительную оконную функцию как ν2[ί] так, чтобы ν2[ί]+ν2[255-ί]=1 для 1=0,... ,255. Обозначим как со|,| коэффициент микширования перед модификацией, и как οη6ν - модифицированный коэффициент микширования. Операция плавного микширования представляет собой ^ί|=\ν2|ί|<ΙΙΛν+ν·2|255-ί|·ςοΐ,ι для 1=0,... ,255.
После каждого прохода через операцию плавного микширования коэффициентов старые коэффициенты модифицируются новыми как со|,| сП(,„.
На следующем проходе, если коэффициенты не модифицируются с||| ν’|ϊ|<ικ,,,ν+ν2|255-ί|-^=^.
Иными словами, влияние набора старых коэффициентов полностью исключается!
Авторы изобретения наблюдали, что во многих аудиопотоках и ситуациях понижающего микширования коэффициенты микширования часто не изменяются. Для улучшения рабочих характеристик процесса понижающего микширования во временной области варианты осуществления модуля понижающего микширования во временной области включают проверку, устанавливающую, изменились ли коэффициенты понижающего микширования относительно их предыдущих значений, и, если нет, осуществляется понижающее микширование, иначе, если они изменились, осуществляется плавное микширование коэффициентов понижающего микширования в соответствии с заранее выбранной положительной оконной функцией. В одном из вариантов осуществления оконная функция аналогична оконной функции, используемой в операциях обработки методом окна и добавления наложения. В другом варианте осуществления изобретения используется другая оконная функция.
На фиг. 11 показан упрощенный псевдокод для одного из вариантов осуществления понижающего микширования. Декодер для этого варианта осуществления изобретения использует по меньшей мере один процессор х86, который исполняет векторные команды §§Е-архитектуры. Понижающее микширо- 22 025020 вание включает установление того, изменились ли новые данные понижающего микширования относительно старых данных понижающего микширования. Если это так, то понижающее микширование включает настройку выполнения векторных команд δδΕ-архитектуры на по меньшей мере одном из одного или нескольких процессоров х86 и понижающее микширование с использованием неизменных данных понижающего микширования, включая исполнение по меньшей мере одной выполняемой векторной команды δδΕ-архитектуры. В противном случае, если новые данные понижающего микширования изменились относительно старых данных понижающего микширования, способ включает определение плавно микшированных данных понижающего микширования путем операции плавного микширования.
Исключение обработки данных, не являющихся необходимыми.
В некоторых ситуациях понижающего микширования существует по меньшей мере один канал, который не вносит вклад в выходной сигнал понижающего микширования. Например, во многих случаях понижающего микширования из звукового сигнала 5.1 в стереофонический сигнал, канал ΌΡΕ не включается, т.е. понижающее микширование производится из 5.1 в 2.0. Исключение канала ΌΡΕ из низведенного сигнала может быть присущим формату кодирования, как, например, в случае АС-3, или может управляться метаданными, как в случае Е-АС-3. В Е-АС-3 параметр 1Гспих1сусо6с определяет, включается канал ΌΡΕ в низведенный сигнал или нет. Когда параметр 1Гспих1сусо6с равен 0, канал ΌΡΕ не включается в низведенный сигнал.
Следует напомнить, что понижающее микширование может выполняться в частотной области, в псевдовременной области после обратного преобразования, но перед обработкой методом окна и операцией добавления наложения, или после обратного преобразования и после обработки методом окна и операции добавления наложения. Понижающее микширование во временной области в чистом виде осуществляется во многих известных декодерах Е-АС-3 и в некоторых вариантах осуществления настоящего изобретения и является преимущественным, например, из-за присутствия ΤΡΝΡ, понижающее микширование в псевдовременной области осуществляется во многих декодерах АС-3 и в некоторых вариантах осуществления настоящего изобретения и является преимущественным из-за того, что операция добавления наложения предусматривает внутренне присущее ей плавное микширование, которое является преимущественным при изменении коэффициентов понижающего микширования, и понижающее микширование в частотной области осуществляется в некоторых вариантах осуществления настоящего изобретения тогда, когда это позволяют условия.
Как обсуждалось в данном описании, понижающее микширование в частотной области является наиболее эффективным способом понижающего микширования, поскольку оно минимизирует количество обратных преобразований, обработок методом окна и операций добавления наложения, необходимых для получения 2-канального выходного сигнала из 5.1-канального входного сигнала. В некоторых вариантах осуществления настоящего изобретения, когда осуществляется ΡΌ-понижающее микширование, например на фиг. 8, в секции 711 цикла ΡΌ-понижающего микширования, в цикле, который начинается с элемента 813, заканчивается элементом 814 и переходит в блоке 815 к следующему каналу, каналы, не включаемые в низведенный сигнал, исключаются из обработки.
Понижающее микширование в псевдовременной области после обратного преобразования, но перед обработкой методом окна и добавлением наложения, или во временной области после обратного преобразования, обработки методом окна и добавления наложения, в вычислительном смысле менее эффективно, чем в частотной области. Во многих современных декодерах, таких как современные декодеры АС-3, понижающее микширование осуществляется в псевдовременной области. Операция обратного преобразования осуществляется независимо от операции понижающего микширования, например в отдельных модулях. Обратное преобразование в таких декодерах осуществляется на всех входных каналах. В вычислительном смысле это относительно неэффективно, поскольку в случае, когда канал ΌΡΕ не включается, обратное преобразование для этого канала по-прежнему осуществляется. Такая не являющаяся необходимой обработка существенна, поскольку, несмотря на то что канал ΌΡΕ имеет ограниченную ширину полосы частот, применение обратного преобразования к каналу ΌΡΕ требует такого же объема вычислений, что и применение обратного преобразования к любому каналу с полной полосой частот. Авторы изобретения приняли во внимание эту неэффективность. Некоторые варианты настоящего изобретения включают идентификацию одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где канал, не вносящий вклад, представляет канал, который не вносит вклад в число М.т выходных каналов декодированного звукового сигнала. В некоторых вариантах осуществления изобретения идентификация использует информацию, например метаданные, которые определяют понижающее микширование. В примере понижающего микширования из 5.1 в 2.0, канал ΌΡΕ, таким образом, идентифицируется как не вносящий вклад канал. Некоторые варианты осуществления изобретения включают выполнение преобразования частоты во время на каждом канале, который вносит вклад в число М.т выходных каналов, и не выполняют какого-либо преобразования частоты во время на каждом идентифицированном канале, который не вносит вклад в М.т-канальный сигнал. В примере 5.1 в 2.0, где канал ΌΡΕ не вносит вклад в низведенный сигнал, обратное преобразование, т.е. 1МСЭТ. выполняется только на пяти каналах с полной полосой частот, и, таким образом, участок обратного преобразования осуществляется с приблизительно 16% снижением относительно вычислительных ресурсов, необходи- 23 025020 мых для всех 5.1 каналов. Поскольку 1МОСТ является существенным источником вычислительной сложности в способе декодирования, это снижение может быть существенным.
Во многих современных декодерах, таких как современные декодеры Е-АС-3, понижающее микширование осуществляется во временной области. Операция обратного преобразования и операции добавления наложения осуществляются перед любой ΤΡΝΡ и перед понижающим микшированием независимо от операции понижающего микширования, например, в отдельных модулях. Обратное преобразование и операции обработки методом окна и добавления наложения в таких декодерах осуществляются на всех входных каналах. В вычислительном смысле это относительно неэффективно, поскольку в случае, когда канал ЬРЕ не включается, обратное преобразование и обработка методом окна/добавление наложения для этого канала по-прежнему осуществляются. Не являющаяся необходимой обработка существенна, поскольку, даже тогда, когда канал ЬРЕ имеет ограниченную ширину полосы частот, применение обратного преобразования и добавления наложения к каналу ЬРЕ требует такого же объема вычислений, что и применение обратного преобразования и обработки методом окна/добавления наложения к любому из каналов с полной полосой частот. В некоторых вариантах осуществления настоящего изобретения понижающее микширование осуществляется во временной области, а в других вариантах осуществления изобретения понижающее микширование может осуществляться во временной области в зависимости от результата применения логики выбора способа понижающего микширования. Некоторые варианты осуществления настоящего изобретения, в которых используется ΤΌ-понижающее микширование, включают идентификацию одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов. В некоторых вариантах осуществления изобретения идентификация использует информацию, например, метаданные, которые определяют понижающее микширование. В примере понижающего микширования от 5.1 до 2.0, канал ЬРЕ, таким образом, идентифицируется как не вносящий вклад канал. Некоторые варианты осуществления изобретения включают выполнение обратного преобразования, т.е. трансформацию частоты во время, на каждом канале, который вносит вклад в число М.т выходных каналов, и не включают выполнение какой-либо трансформации частоты во время и другую обработку во временной области на любом канале, идентифицированном как канал, не вносящий вклад в М.т-канальный сигнал. В примере 5.1 в 2.0, где канал ЬРЕ не вносит вклад в низведенный сигнал, обратное преобразование, например 1МСЭТ, добавление наложения и ΤΡΝΡ осуществляются только для пяти каналов с полной полосой частот, и, таким образом, обратное преобразование и участки обработки методом окна/добавления наложения осуществляются с приблизительно 16% снижением вычислительных ресурсов, требуемых для всех каналов 5.1. На схеме последовательности операций согласно фиг. 8 в секции 731 логики общей обработки один из отличительных признаков некоторых вариантов осуществления изобретения включает обработку в цикле, который начинается в элементе 833, продолжающимся в элементе 834 и включает переход к элементу 835 следующего канала, и осуществляется для всех каналов, кроме каналов, не вносящих вклад. Это событие внутренне присуще блоку, который подвергается ΡΌ-понижающему микшированию.
В то время как в некоторых вариантах осуществления изобретения не вносящим вклад каналом является канал ЬРЕ, т.е. он не включается в низведенные выходные каналы, что является общим для АС-3 и Е-АС-3, в других вариантах осуществления изобретения не вносящим вклад каналом является, наряду с каналом ЬРЕ или вместо него, другой канал, и этот канал не включается в низведенный выходной сигнал. Некоторые варианты осуществления изобретения включают проверку указанных условий для идентификации того, какие из одного или нескольких каналов, если они присутствуют, являются не вносящими вклад каналами, и в этом случае указанный канал не включается в низведенный сигнал, и, в случае понижающего микширования во временной области, обработка посредством обратного преобразования и операций обработки методом окна и добавления наложения не выполняется для любого из идентифицированных не вносящих вклад каналов.
Например, в АС-3 и Е-АС-3 существуют определенные условия, при которых в низведенные выходные каналы не включаются окружающие каналы и/или центральный канал. Эти условия определяются метаданными, включаемыми в кодированный битовый поток и принимающими заранее заданные значения. Например, метаданные могут включать информацию которая определяет понижающее микширование, включающее параметры уровня микширования сигнала.
Некоторые примеры таких параметров уровня микширования сигнала будут с иллюстративными целями описаны ниже для случая Е-АС-3. При понижающем микшировании в Е-АС-3 в стереофонический сигнал предусматриваются два типа понижающего микширования: понижающее микширование в матрицу ЫК1 кодированной стереофонической пары с окружающими каналами, понижающее микширование в традиционный стереофонический сигнал ЬоКо. Низведенный стереофонический сигнал (ЬоКо или ЫК1) может затем микшироваться в монофонический сигнал. 3-битный код уровня микширования окружающих каналов для ЫК1, обозначаемый как Ит18игт1х1еу, и 3-битный код уровня микширования окружающих каналов для ЬоКо, обозначаемый как 1ото8игт1х1еу, указывают номинальный уровень понижающего микширования окружающих каналов относительно левого и правого каналов в низведенных сигналах, соответственно, для ЫК1 или ЬоКо. Двоичное значение '111' указывает на уровень понижающего микширования 0, т.е. -да дБ. 3-битные коды уровня микширования центрального канала для ЫК1 и
- 24 025020
ЬоКо, обозначаемые как 11г1ст1.\1еу, 1огост1х1еу, указывают номинальный уровень понижающего микширования центрального канала относительного левого и правого каналов в низведенном сигнале, соответственно, ЫК1 или ЬоКо. Двоичное значение '111' указывает на уровень понижающего микширования 0, т.е. -да дБ
Существуют условия, при которых окружающие каналы не включаются в низведенные выходные каналы. В Е-АС-3 эти условия идентифицируются посредством метаданных. Условия включают случаи, когда 5игт1х1еу='10' (только в АС-3), 11г15игт1х1еу='111', и 1ого5игпнх1еу='111'. Для этих условий в некоторых вариантах осуществления изобретения декодер включает метаданные уровня микширования, предназначенные для идентификации того, чтобы, в случае, когда эти метаданные указывают на то, что окружающие каналы не включаются в низведенный сигнал, не обрабатывать окружающие каналы посредством обратного преобразования и этапов обработки методом окна и добавления наложения. Кроме того, существуют условия, при которых в низведенные выходные каналы не включается центральный канал, что идентифицируется по 11г1ст1х1еу='111', 1огост1х1еу='111'. Для этих условий в некоторых вариантах осуществления изобретения декодер включает использование метаданных уровня микширования для идентификации того, чтобы, в случае, когда эти метаданные указывают на то, что центральный канал не включается в низведенный сигнал, не обрабатывать центральный канал посредством обратного преобразования и этапов обработки методом окна и добавления наложения.
В некоторых вариантах осуществления изобретения идентификация одного или нескольких не вносящих вклад каналов зависит от содержимого. В одном из примеров идентификация включает идентификацию того, содержит ли один или несколько каналов значительное количество содержимого, относящегося к одному или нескольким другим каналам. Используется критерий количества содержимого. В одном из вариантов осуществления изобретения критерием количества содержимого является энергия, в то время как в другом варианте осуществления изобретения критерием количества содержимого является абсолютный уровень. Идентификация включает сопоставление разности критериев количества содержимого между парами каналов на устанавливаемое пороговое значение. Например, в одном из вариантов осуществления изобретения, идентификация одного или нескольких не вносящих вклад каналов включает установление того, является ли количество содержимого блока окружающего канала меньшим, чем количества содержимого каждого из передних каналов, по меньшей мере, на устанавливаемое пороговое значение, для того, чтобы установить, является ли окружающий канал каналом, не вносящим вклад.
В идеале, пороговое значение выбирается как можно меньшим в отсутствие внесения заметных артефактов в низведенную версию сигнала для того, чтобы максимизировать идентификацию каналов как каналов, не вносящих вклад, с целью снижения объема требуемых вычислений, и, в то же время, чтобы минимизировать потерю качества. В некоторых вариантах осуществления изобретения для различных применений декодирования предусматриваются различные пороговые значения с возможностью выбора для конкретного применения декодирования порогового значения, представляющего для конкретного применения приемлемый баланс между качеством низведенного сигнала (более высокие пороговые значения) и снижением вычислительной сложности (менее высокие пороговые значения).
В некоторых вариантах осуществления настоящего изобретения канал считается незначительным относительно другого канала, если его энергия, или абсолютный уровень по меньшей мере на 15 дБ ниже, чем у другого канала. В идеале канал является незначительным относительно другого канала, если его энергия, или абсолютный уровень по меньшей мере на 25 дБ ниже, чем у другого канала.
Использование порогового значения для разности между двумя каналами А и В, которая эквивалентна 25 дБ, приблизительно эквивалентно утверждению, что уровень суммы абсолютных значений этих двух каналов, находится в пределах 0,5 дБ относительно уровня доминирующего канала. Т.е., если канал А имеет уровень -6 άΒΡδ (дБ относительно полной шкалы) и канал В имеет уровень -31 άΒΡδ, сумма абсолютных значений каналов А и В будет приблизительно составлять -5,5 άΒΡδ, или на около 0,5 дБ выше уровня канала А.
Если звуковой сигнал имеет относительно низкое качество и для применений с низкой себестоимостью допустимо пожертвовать качеством для снижения сложности, пороговое значение может быть меньше 25 дБ. В одном из примеров используется пороговое значение 18 дБ. В этом случае сумма двух каналов может находиться в пределах около 1 дБ относительно уровня канала с более высоким уровнем. В некоторых случаях это может быть слышно, но не должно быть слишком заметным на слух. В другом варианте осуществления изобретения используется пороговое значение 15 дБ, и в этом случае сумма двух каналов находится в пределах 1,5 дБ относительно уровня доминирующего канала.
В некоторых вариантах осуществления изобретения используется несколько пороговых значений, например, 15, 18 и 25 дБ.
Следует отметить, что несмотря на то что идентификация не вносящих вклад каналов описана выше в данном описании для АС-3 и Е-АС-3, отличительный признак идентификации не вносящих вклад каналов в данном изобретении не ограничивается этими форматами. Для идентификации одного или нескольких не вносящих вклад каналов применимы и другие форматы, например, которые также предусматривают информацию, например метаданные, относящиеся к понижающему микшированию. Как ΜΡΕΟ-2 ААС (ΙδΘ/ΙΕΟ 13818-7), так и ΜΡΕΟ-4 Лийю (Ιδϋ/ΙΕΡ 14496-3) пригодны для переноса того,
- 25 025020 что называется в стандартах коэффициентом матрицы понижающего микширования. Некоторые варианты осуществления изобретения для декодирования указанных форматов используют этот коэффициент для построения стереофонического сигнала из сигнала 3/2, т.е. сигнала с левым, центральным, правым, левым окружающим и правым окружающим каналами. Коэффициент матрицы понижающего микширования определяет то, как окружающие каналы микшируются с передними каналами для построения стереофонического или монофонического выходного сигнала. В соответствии с указанными стандартами возможны четыре значения коэффициента матрицы понижающего микширования, одно из которых является нулевым. Значение 0 приводит к тому, что окружающие каналы не включаются в низведенный сигнал. Некоторые варианты осуществления декодеров ΜΡΕΟ-2 ААС или ΜΡΕΟ-4 ЛцДю согласно изобретению включают генерирование стереофонического или монофонического низведенного сигнала из сигнала 3/2 с использованием коэффициентов понижающего микширования, передаваемых как сигналы в битовом потоке, а также включают идентификацию не вносящего вклад канала посредством равного 0 коэффициента матрицы понижающего микширования, и, в этом случае, обратное преобразование и обработка методом окна/добавления наложения не осуществляется.
На фиг. 12 показана упрощенная блок-схема одного из вариантов осуществления системы 1200 обработки данных, которая включает по меньшей мере один процессор 1203. В этом примере показан один процессор х86, набор команд которого включает векторные команды δδΕ-архитектуры. Также на упрощенной блок-схеме показана подсистема 1205 шины данных, посредством которой связываются различные компоненты системы обработки данных. Система обработки данных включает подсистему 1211 хранения данных, связанную с процессором (процессорами), например посредством подсистемы 1205 шины данных, где подсистема 1211 хранения данных содержит одно или несколько устройств хранения данных, включая, по меньшей мере, память и в некоторых вариантах осуществления изобретения одно или несколько других устройств хранения данных, таких как магнитные и/или оптические компоненты хранения данных. Некоторые варианты осуществления изобретения также включают по меньшей мере один сетевой интерфейс 1207 и подсистему 1209 ввода/вывода звукового сигнала, которая может принимать РСМ-данные и которая включает один или несколько ЭЛС для конверсии РСМ-данных в электрические колебательные сигналы для приведения в действие набора громкоговорителей или наушников. В систему обработки данных также могут включаться и другие элементы, которые очевидны для специалистов в данной области и которые для простоты не показаны на фиг. 12.
Подсистема 1211 хранения данных включает команды 1213, которые при их исполнении в системе обработки данных вызывают осуществление системой декодирования аудиоданных, которые включают Ν.η каналов кодированных аудиоданных, например данных Е-АС-3, для формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, и, в случае понижающего микширования, Μ<Ν. Для известных на сегодняшний день форматов кодирования η=0 или 1, и т=0 или 1, но изобретение этим не ограничивается. В некоторых вариантах осуществления изобретения команды 1211 разделяются на модули. В подсистему хранения данных, как правило, также включаются и другие команды 1215 (другое программное обеспечение). Показанный вариант осуществления изобретения включает следующие модули команд 1211: два модуля декодера: модуль 1223 декодера независимого кадра 5.1-канального сигнала, который включает модуль 1231 предварительного декодирования и модуль 1233 конечного декодирования, модуль 1225 декодера зависимого кадра, который включает модуль 1235 предварительного декодирования и модуль 1237 конечного декодирования, модуль команд 1221 анализа информации кадра, которые при их исполнении вызывают распаковку поля данных информации битового потока (ΒδΙ) из каждого кадра с целью идентификации кадров и типов кадров и для доставки идентифицированных кадров в соответствующие реализации 1231 или 1235 модуля предварительного декодирования, модуль команд 1227 сопоставителя каналов, которые при их исполнении и в случае N>5 вызывают комбинирование декодированных данных из соответствующих модулей конечного декодирования для формирования Ν.η каналов декодированных данных.
Альтернативные варианты осуществления системы обработки данных могут включать один или несколько процессоров, которые связаны по меньшей мере одним сетевым каналом связи, т.е. могут быть распределены. Т.е. один или несколько модулей могут находиться в других системах обработки данных, связанных с главной системой обработки данных посредством сетевого канала связи. Эти альтернативные варианты осуществления изобретения должны быть очевидны для специалистов в данной области. Таким образом, в некоторых вариантах осуществления система включает одну или несколько подсистем, которые объединены в сеть посредством сетевого канала связи, где каждая подсистема включает по меньшей мере один процессор.
Таким образом, система обработки данных согласно фиг. 12 образует вариант осуществления устройства для обработки аудиоданных, которые включают Ν.η каналов кодированных аудиоданных с целью формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, М>1, в случае понижающего микширования, Μ<Ν, и для повышающего микширования - Μ>Ν. Несмотря на то что для современных стандартов η=0 или 1, и т=0 или 1, возможны и другие варианты осуществления изобретения. Устройство включает несколько функциональных элементов, ко- 26 025020 торые функционально выражены как средства для осуществления некоторой функции. Под функциональным элементом подразумевается элемент, который осуществляет функцию обработки. Каждый такой элемент может представлять собой элемент аппаратного обеспечения, например аппаратное обеспечение специального назначения, или систему обработки данных, которая включает носитель данных, который включает команды, которые при их исполнении осуществляют определенную функцию. Устройство согласно фиг. 12 включает средства для приема аудиоданных, которые включают N каналов кодированных аудиоданных, кодированных по способу кодирования, например по способу кодирования ЕАС-3, или, в более общем выражении, по способу кодирования, который включает преобразование с использованием преобразования с наложением N каналов цифровых аудиоданных, формирование и упаковку данных экспонент и мантисс в частотной области и формирование и упаковку метаданных, относящихся к данным экспонент и мантисс в частотной области, где метаданные, необязательно, включают метаданные, относящиеся к обработке кратковременного предшума.
Устройство включает средства для декодирования принятых аудиоданных.
В некоторых вариантах осуществления изобретения средства для декодирования включают средства для распаковки метаданных и средства для распаковки и декодирования данных экспонент и мантисс в частотной области, средства для определения коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; средства для обратного преобразования данных в частотной области; средства для применения операций обработки методом окна добавления наложения с целью определения дискретизированных аудиоданных; средства для применения декодирования любой требуемой обработки кратковременного предшума в соответствии с метаданными, связанными с обработкой кратковременного предшума; и средства для ΤΌ-понижающего микширования в соответствии с данными понижающего микширования. Средства для ΤΌ-понижающего микширования, в случае Μ<Ν, выполняют понижающее микширование в соответствии с данными понижающего микширования, включая в некоторых вариантах осуществления изобретения проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования с целью определения плавно микшированных данных понижающего микширования, или, если они не изменились, прямое понижающее микширование в соответствии с данными понижающего микширования.
Некоторые варианты осуществления изобретения включают средства для установления того, использовать для блока ΤΌ-понижающее микширование или ΡΌ-понижающее микширование, и средства для ΡΌ-понижающего микширования, которые активируются в том случае, если средства для установления того, использовалось для блока ΤΌ-понижающее микширование или ΡΌ-понижающее микширование, устанавливают использование ΡΌ-понижающего микширования, включая средства для обработки перехода от ΤΌ- к ΡΌ-понижающему микшированию. Эти варианты осуществления включают средства для обработки перехода от ΤΌ- к ΡΌ-понижающему микшированию. Функционирование данных элементов происходит так, как описано в данном описании.
В некоторых вариантах осуществления изобретения устройство включает средства для идентификации одного или нескольких не вносящих вклад каналов из числа Ν.η входных каналов, где не вносящий вклад канал представляет собой канал, который не вносит вклад в число М.т каналов. Устройство не осуществляет обратное преобразование данных в частотной области и применение дальнейшей обработки, такой как, например, ΤΡΝΡ или добавление наложения, на одном или нескольких идентифицируемых не вносящих вклад каналах.
В некоторых вариантах осуществления изобретения устройство включает по меньшей мере один процессор х86, набор команд которого включает расширение архитектуры с одним потоком команд и множеством потоков данных (δδΕ-архитектуру), включающей векторные команды. Средства для понижающего микширования в ходе работы выполняют векторные команды по меньшей мере на одном из одного или нескольких процессоров х86.
Также возможны устройства, альтернативные устройству, показанному на фиг. 12. Например, один или несколько элементов могут быть реализованы в устройствах аппаратного обеспечения, в то время как другие элементы могут быть реализованы путем приведения в действие процессора х86. Указанные изменения должны быть очевидными для специалистов в данной области.
В некоторых вариантах осуществления устройства средства для декодирования включают одно или несколько средств для предварительного декодирования и одно или несколько средств для конечного декодирования. Средства для предварительного декодирования включают средства для распаковки метаданных и средства для распаковки и декодирования данных экспонент и мантисс в частотной области. Средства для предварительного декодирования включают средства для установления того, использовать для блока ΤΌ-понижающее микширование или ΡΌ-понижающее микширование, средства для ΡΌпонижающего микширования, которые включают средства для обработки перехода от ΤΌ- к ΡΌпонижающему микшированию, средства для обработки перехода от ΡΌ- к ΤΌ-понижающему микшированию, средства для определения коэффициентов преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; для обратного преобразования данных в частотной области; для применения операций обработки методом окна и добавления наложения с целью определе- 27 025020 ния дискретизированных аудиоданных; для применения декодирования любой обработки кратковременного предшума в соответствии с метаданными, относящимися к обработке кратковременного предшума; и для понижающего микширования во временной области в соответствии с данными понижающего микширования. Понижающее микширование во временной области, в случае Μ<Ν, выполняет понижающее микширование в соответствии с данными понижающего микширования, включая в некоторых вариантах осуществления изобретения проверку того, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, применение плавного микширования с целью определения плавно микшированных данных понижающего микширования и плавное микширование в соответствии с плавно микшированными данными понижающего микширования, или, если они не изменились, понижающее микширование в соответствии с данными понижающего микширования.
Для обработки данных Е-АС-3, состоящих из более чем 5.1 каналов кодированных данных, средства для декодирования включают ряд экземпляров средств предварительного декодирования и средств конечного декодирования, включая первые средства для предварительного декодирования и первые средства для конечного декодирования, предназначенные для декодирования независимого кадра для каналов в количестве до 5.1, вторые средства для предварительного декодирования и вторые средства для конечного декодирования - для декодирования одного или нескольких зависимых кадров данных. Устройство также включает средства для распаковки поля данных информации битового потока с целью идентификации кадров и типов кадров и для доставки идентифицированных кадров в соответствующие средства предварительного декодирования, и средства для комбинирования декодированных данных из соответствующих средств для конечного декодирования с целью формирования N каналов декодированных данных.
Следует отметить, что, несмотря на то что Е-АС-3 и другие способы кодирования используют преобразование с добавлением наложения и при обратном преобразовании включают операции обработки методом окна и добавления наложения, известно, что возможны и другие формы преобразований, которые выполняют операции таким образом, чтобы обратное преобразование и дальнейшая обработка могли восстанавливать дискретные значения во временной области без ошибок наложения спектров. Поэтому изобретение не ограничивается преобразованиями с добавлением наложения, всякий раз, когда упоминается обратное преобразование данных в частотной области и осуществление операции обработки методом окна-добавления наложения для определения дискретных значений во временной области, специалисты в данной области должны понимать, что, в общем, эти операции могут быть определены как обратное преобразование данных в частотной области и применение дальнейшей обработки с целью определения дискретизированных аудиоданных.
Несмотря на то что термины экспонента и мантисса используются во всем данном описании, поскольку они являются терминами, используемыми в АС-3 и Е-АС-3, другие форматы кодирования могут использовать другие термины, например масштабные коэффициенты и спектральные коэффициенты в случае НЕ-ААС, и использование терминов экспонента и мантисса не ограничивает объем изобретения форматами, которые используют термины экспонента и мантисса.
Если прямо не обусловлено обратное, как очевидно из следующего описания, следует отметить, что во всем данном описании обсуждения, в которых используются такие термины, как обработка, вычисление, расчет, определение, генерирование и т.п., относятся к действию и/или процессам элемента аппаратного обеспечения, например, к компьютеру или вычислительной системе, системе обработки данных или сходному электронному вычислительному устройству, которое совершает манипуляции и/или преобразование данных, представленных как физические, такие как электронные, величины, в другие данные, аналогично представленные как физические величины.
Сходным образом, термин процессор может относиться к любому устройству или части устройства, которая обрабатывает электронные данные, например, из регистров и/или памяти, с целью преобразования этих электронных данных в другие электронные данные, которые, например, могут храниться в регистрах и/или в памяти. Система обработки данных, или компьютер, или вычислительная машина, или вычислительная платформа, может включать один или несколько процессоров.
Следует отметить, что, если описывается способ, который включает несколько элементов, например несколько этапов, если это не обусловлено в явном виде, какое-либо упорядочение этих элементов, или этапов, не подразумевается.
В некоторых вариантах осуществления изобретения машиночитаемый носитель данных конфигурируется, например кодируется, например хранит, команды, которые при их исполнении одним или несколькими процессорами системы обработки данных, такой как, например, система цифровой обработки сигналов или подсистема, которая включает по меньшей мере один процессорный элемент и подсистему хранения данных, вызывают осуществление способа, описанного в данном описании. Следует отметить, что в вышеприведенном описании, когда определено, что команды сконфигурированы, при их выполнении, для осуществления процесса, следует понимать, что это означает, что команды при их исполнении вызывают выполнение одним или несколькими процессорами операций таким образом, чтобы аппаратное устройство, например система обработки данных, осуществляло процесс.
- 28 025020
Методологии, описанные в данном описании, в некоторых вариантах осуществления изобретения выполнимы одним или несколькими процессорами, которые принимают логические команды, закодированные на одном или нескольких машиночитаемых носителях данных. При исполнении одним или несколькими процессорами команды вызывают осуществление по меньшей мере одного из описанных в данном описании способов. Включается любой процессор, способный исполнять набор команд (последовательных или других), которые определяют предпринимаемые действия. Так, одним из примеров является типичная система обработки данных, которая включает один или несколько процессоров. Каждый процессор может включать одно или несколько СРИ или сходных элементов, графический процессор (ОРИ) и/или программируемый блок Ό8Ρ. Система обработки данных также включает подсистему хранения данных по меньшей мере с одним носителем данных, который может включать память, внедренную в полупроводниковое устройство, или отдельную подсистему памяти, включающую главную РАМ и/или статическую РАМ, и/или РОМ, а также кэш-память. Подсистема хранения данных также может включать одно или несколько устройств хранения данных, таких как магнитные, и/или оптические, и/или другие твердотельные устройства хранения данных. Для обеспечения связи между компонентами может включаться подсистема шины данных. Кроме того, система обработки данных может представлять собой распределенную систему обработки данных с процессорами, связанными посредством сети, например, посредством устройств сетевого интерфейса или устройств беспроводного сетевого интерфейса. Если система обработки данных включает дисплей, этот дисплей может включать, например, жидкокристаллический дисплей (ЬСО), дисплей на основе органических светодиодов (ОЬЕО) или дисплей с катоднолучевой трубкой (СРТ). Если требуется ввод данных вручную, система обработки данных также включает устройство ввода данных, такое как одно или несколько буквенно-цифровых устройств ввода данных, таких как, например, клавиатура, координатно-указательных устройств, таких как, например, мышь, и т.д. Термины устройство хранения данных, подсистема хранения данных или запоминающее устройство в том смысле, как они используются в данном описании, если это ясно из контекста и в прямой форме не обусловлено обратное, также охватывают такую систему хранения данных, как дисковый накопитель. Система обработки данных в некоторых конфигурациях может включать устройство вывода звука и устройство сетевого интерфейса.
Таким образом, подсистема хранения данных также включает машиночитаемый носитель данных, который конфигурируется, например кодируется, посредством команд, например посредством логики, например посредством программного обеспечения, которое при исполнении одним или несколькими процессорами вызывает осуществление одного или нескольких этапов способа, описанных в данном описании. Программное обеспечение в ходе его исполнения вычислительной системой может постоянно храниться на жестком диске, а также может постоянно храниться, полностью или, по меньшей мере, частично, в памяти, такой как, например, РАМ, и/или во внутренней памяти процессора. Таким образом, память и процессор, который включает память, также составляют машиночитаемый носитель данных, на котором закодированы команды.
Кроме того, машиночитаемый носитель данных может образовывать компьютерный программный продукт или может включаться в компьютерный программный продукт.
В альтернативных вариантах осуществления изобретения один или несколько процессоров функционируют как автономное устройство или могут соединяться, например посредством сети, с другим (другими) процессором (процессорами), в объединенную в сеть развернутую систему, один или несколько процессоров могут функционировать в качестве машины-сервера или машины-клиента в сетевой среде типа клиент-сервер, или в качестве машины-пира - в пиринговой, или распределенной, сетевой среде. Термин система обработки данных охватывает все указанные возможности, если в явном виде не обусловлено их исключение. Один или несколько процессоров могут образовывать персональный компьютер (РС), устройство воспроизведения данных, планшетный ПК, дополнительное внешнее устройство (8ТВ), персональный цифровой помощник (ΡΌΛ). игровую вычислительную машину, сотовый телефон, устройство АеЬ-интерфейса, сетевой маршрутизатор, коммутатор или мост, или любую машину, способную исполнять набор команд (последовательный или другой), которые задают действия, которые должны предприниматься этой машиной.
Следует отметить, что несмотря на то что на некоторых схемах показан только один процессор и одна подсистема хранения данных, например одна память, которая хранит логику, включающую команды, специалисты в данной области должны понимать, что многие из описанных выше компонентов включены, но в явном виде не показаны или не описаны для того, чтобы не делать менее ясными особенности изобретения. Например, несмотря на то что проиллюстрирована только одна машина, термин машина должен восприниматься как включающий любой набор машин, которые вместе или по отдельности исполняют набор (или несколько наборов) команд с целью выполнения одной или нескольких описанных в данном описании методологий.
Так, один из вариантов осуществления каждого из способов, описанных в данном описании, присутствует в форме машиночитаемого носителя данных, сконфигурированного набором команд, например, компьютерной программой, которая при ее исполнении на одном или нескольких процессорах, например, на одном или нескольких процессорах, которые составляют часть устройства хранения данных,
- 29 025020 вызывает осуществление этапов данного способа. Некоторые варианты осуществления находятся в форме логики как таковой. Поэтому, как должны понимать специалисты в данной области, варианты осуществления настоящего изобретения могут осуществляться как способ, как такое устройство, как, например, устройство специального назначения, такое устройство, как, например, система обработки данных, как логика, например, осуществленная на машиночитаемом носителе данных, или как машиночитаемый носитель данных, который кодируется командами, например машиночитаемый носитель данных, сконфигурированный как компьютерный программный продукт. Машиночитаемый носитель данных конфигурируется набором команд, которые при их исполнении одним или несколькими процессорами вызывают осуществление этапов способа. Соответственно, особенности настоящего изобретения могут принимать форму способа, полностью аппаратного варианта осуществления изобретения, который включает несколько функциональных элементов, где под функциональным элементом подразумевается элемент, который осуществляет функцию обработки. Каждый такой элемент может представлять собой элемент аппаратного обеспечения, например аппаратное обеспечение специального назначения, или систему обработки данных, которая включает носитель данных, который включает команды, которые при их исполнении осуществляют функцию. Особенности настоящего изобретения могут принимать форму полностью программного варианта осуществления изобретения или варианта осуществления изобретения, сочетающего особенности программного и аппаратного обеспечения. Кроме того, настоящее изобретение может принимать форму логики программы, например на машиночитаемом носителе, например компьютерной программы, на машиночитаемом носителе, или машиночитаемого носителя, сконфигурированного посредством машиночитаемого программного кода, например компьютерного программного продукта. Следует отметить, что в случае аппаратного обеспечения специального назначения определение функции аппаратного обеспечения достаточно для того, чтобы специалист в данной области был способен написать функциональное описание, которое может обрабатываться программами, которые затем автоматически определяют описание аппаратного обеспечения для генерирования аппаратного обеспечения с целью осуществления функции. Таким образом, приведенное описание является достаточным для определения указанного аппаратного обеспечения специального назначения.
Несмотря на то что машиночитаемый носитель данных показан в иллюстративном варианте осуществления изобретения как единственный носитель, термин носитель следует воспринимать как включающий единичный носитель данных или множество носителей данных (например, несколько запоминающих устройств, централизованную или распределенную базу данных и/или связанные устройства кэш-памяти и сервера), которые хранят один или несколько наборов команд. Машиночитаемый носитель данных может принимать множество форм, включая в качестве неограничивающих примеров энергонезависимые носители данных и энергозависимые носители данных. Энергонезависимые носители данных включают, например, оптические, магнитные диски и магнитооптические диски. Энергозависимые носители данных включают динамическую память, такую как основная память.
Также следует понимать, что варианты осуществления настоящего изобретения не ограничиваются какой-либо конкретной реализацией или способом программирования и что изобретение может реализовываться с использованием любого пригодного способа для реализации описанной в данном описании функциональной возможности. Кроме того, варианты осуществления не ограничиваются каким-либо конкретным языком программирования или операционной системой.
Отсылка в данном описании к одному варианту осуществления изобретения или варианту осуществления изобретения означает, что конкретный отличительный признак, конструкция или характеристика, описанная в связи с данным вариантом осуществления изобретения, включена в по меньшей мере один вариант осуществления изобретения. Поэтому появление фразы в одном варианте осуществления изобретения или варианте осуществления изобретения в различных местах данного описания может, но необязательно, относиться к одному и тому же варианту осуществления изобретения. Кроме того, конкретные отличительные признаки, конструкции или характеристики могут комбинироваться в одном или нескольких вариантах осуществления изобретения любым подходящим образом, что должно быть очевидно для средних специалистов в данной области из данного описания.
Аналогично, следует понимать, что в приведенном выше описании иллюстративных вариантов осуществления изобретения различные отличительные признаки изобретения иногда группируются в один вариант осуществления изобретения, фигуру или их описание с целью выбора оптимального пути описания и для обеспечения понимания одной или нескольких различных особенностей изобретения. Такой способ раскрытия, однако, не следует интерпретировать как отражающий намерение того, что заявленное изобретение требует большего количества отличительных признаков, чем те, которые в прямой форме перечислены в каждом пункте формулы изобретения. Скорее, как отражает нижеследующая формула изобретения, особенности изобретения заключаются менее чем во всех отличительных признаках вышеизложенного единого варианта осуществления изобретения. Поэтому формула изобретения, следующая за описанием иллюстративных вариантов осуществления изобретения в прямой форме включается в это описание иллюстративных вариантов осуществления изобретения, где каждый пункт формулы изобретения следует рассматривать сам по себе как отдельный вариант осуществления данного изобретения.
Кроме того, несмотря на то что некоторые варианты осуществления изобретения, описанные в дан- 30 025020 ном описании, включают одни, а не другие отличительные признаки, включенные в другие варианты осуществления изобретения, комбинации отличительных признаков из различных вариантов осуществления изобретения подразумеваются как находящиеся в пределах объема изобретения и образующие другие варианты осуществления изобретения, как должно быть понятно специалистам в данной области. Например, в нижеследующей формуле изобретения любые заявленные варианты осуществления изобретения могут использоваться в любой комбинации.
Кроме того, некоторые варианты осуществления изобретения описаны в данном описании как способ или комбинация элементов способа, которые могут быть реализованы процессором или вычислительной системой, или другими средствами осуществления функции. Таким образом, процессор с необходимыми командами для осуществления указанного способа или элемента способа образует средства для осуществления способа или элемента способа. Кроме того, описанный в данном описании элемент варианта осуществления устройства представляет собой пример средств осуществления функции, выполняемой элементом с целью осуществления изобретения.
В приведенном здесь описании изложено множество конкретных деталей. Однако следует понимать, что варианты осуществления изобретения могут использоваться на практике и при отсутствии этих конкретных деталей. В других случаях хорошо известные способы, конструкции и технологии подробно не показаны для того, чтобы не делать менее ясным понимание данного описания.
В том смысле как оно используется здесь, использование порядковых числительных первый, второй, третий и т.д. для описания общего объекта указывает единственно на то, что производится отсылка к различным примерам сходных объектов, и оно не предназначено для обозначения того, что объекты, описанные таким образом, должны находится в данной последовательности во времени, в пространстве, по рангу или любым иным образом.
Следует понимать, что, несмотря на то что изобретение описано в контексте стандарта Е-АС-3, изобретение не ограничивается этими контекстами и может применяться для декодирования данных, закодированных и другими способами, которые используют технологии, имеющие некоторое сходство с ЕАС-3. Например, варианты осуществления изобретения применимы также и для декодирования кодированного звукового сигнала, который является обратно совместимым с Е-АС-3. Другие варианты осуществления изобретения применимы для декодирования кодированного звукового сигнала, который кодируется в соответствии со стандартом НЕ-ААС, и для декодирования кодированного звукового сигнала, который является обратно совместимым с НЕ-ААС. Другие кодированные потоки также могут преимущественно декодироваться с использованием вариантов осуществления настоящего изобретения.
Все процитированные в данном описании патенты США, заявки на патенты США и международные заявки (РСТ), происхождением из Соединенных Штатов, ссылкой включаются в настоящее описание. В случае если правила патентования или патентное законодательство не допускают включение ссылкой материала, который сам включает информацию, включенную ссылкой, включение ссылкой материала в данное описание исключает любую информацию, включенную ссылкой в указанный включенный ссылкой материал, если эта информация не включена ссылкой в настоящее описание в прямой форме.
Любое обсуждение текущего уровня техники в данном обсуждении никоим образом не следует рассматривать как допущение того, что текущий уровень техники широко известен, публично известен или образует часть общедоступных знаний в данной области.
В приведенной ниже формуле изобретения и в данном описании любой из терминов включающий, включаемый или который включает является открытым термином, что означает включение, по меньшей мере, следующих за ним элементов/отличительных признаков, но не исключение других элементов/отличительных признаков. Поэтому термин включающий при его использовании в формуле изобретения не следует интерпретировать как ограничивающий в отношении средств или элементов, или этапов, перечисляемых после него. Например, объем выражения устройство, включающее А и В не следует ограничивать устройствами, состоящими только из элементов А и В. Любой из терминов включающий, который включает и который содержит, используемых в данном описании, также является открытым термином, что также означает включение, по меньшей мере, элементов/отличительных признаков, которые следуют за этим термином, но не исключение других элементов/отличительных признаков. Таким образом, включающий является синонимом и означает содержащий.
Сходным образом, следует обратить внимание, что термин связанный при его использовании в формуле изобретения не следует интерпретировать как ограничивающийся только прямыми соединениями. Могут использоваться термины связанный и соединенный наряду с их производными. Следует понимать, что эти термины не предполагаются как синонимы друг друга. Поэтому объем выражения устройство А связано с устройством В не следует ограничивать устройствами и системами, где выход устройства А непосредственно связан с входом устройства В. Это означает, что существует путь между выходом устройства А и входом устройства В, который может представлять собой путь, включающий другие устройства и средства. Связанный может означать то, что два или большее количество элементов находятся или в прямом физическом, или электрическом контакте, или то, что два или большее количество элементов не находятся в прямом контакте друг с другом, однако по-прежнему кооперируются или взаимодействуют друг с другом.
- 31 025020
Таким образом, несмотря на то что здесь описано то, что полагается предпочтительными вариантами осуществления изобретения, специалистам в данной области должно быть понятно, что в них могут вноситься другие и дальнейшие модификации без отступления от идеи изобретения, и подразумевается, что все указанные изменения и модификации заявляются как подпадающие под объем изобретения. Например, любые приведенные выше формулы являются единственно примерами процедур, которые могут использоваться. Функциональные возможности могут добавляться к блок-схемам или исключаться из блок-схем, а операции между функциональными элементами могут подвергаться взаимному обмену. Этапы могут добавляться к способам или исключаться из способов, описанных в пределах объема изобретения.

Claims (16)

  1. ФОРМУЛА ИЗОБРЕТЕНИЯ
    1. Способ работы аудиодекодера (200) для декодирования аудиоданных, которые включают кодированные блоки из Ы.и каналов аудиоданных, где Ы.и - количество кодированных каналов, для формирования декодированных аудиоданных, которые включают М.т каналов декодированного звукового сигнала, где М.т - количество декодированных выходных каналов, М>1, где N - количество главных каналов в кодированных аудиоданных, и - количество каналов низкочастотных эффектов в кодированных аудиоданных, М - количество главных каналов в декодированных аудиоданных, а т - количество каналов низкочастотных эффектов в декодированных аудиоданных, где способ включает этапы, на которых принимают аудиоданные, которые включают блоки из Ки каналов кодированных аудиоданных, кодированных по способу кодирования, где способ кодирования включает преобразование Ки каналов цифровых аудиоданных, а также формирование и упаковку данных экспонент и мантисс в частотной области; и декодируют принятые аудиоданные, где декодирование включает этапы, на которых распаковывают и декодируют (403) данные экспонент и мантисс в частотной области; определяют коэффициенты (605) преобразования из распакованных и декодированных данных экспонент и мантисс в частотной области; осуществляют обратное преобразование (607) данных в частотной области и используют дальнейшую обработку для определения дискретизированных аудиоданных; и осуществляют понижающее микширование (613) во временной области блоков определенных дискретизированных аудиоданных в соответствии с данными понижающего микширования для случая М<Ц где понижающее микширование во временной области включает этапы, на которых (1100) проверяют, изменились ли данные понижающего микширования относительно ранее использовавшихся данных понижающего микширования, и, если они изменились, используют плавное микширование для определения плавно микшированных данных понижающего микширования и понижающее микширование во временной области в соответствии с плавно микшированными данными понижающего микширования, и, если они не изменились, осуществляют прямое понижающее микширование во временной области в соответствии с данными понижающего микширования.
  2. 2. Способ по п.1, отличающийся тем, что дополнительно включает этап, на котором идентифицируют (835) любой не вносящий вклад канал из числа Ки входных каналов, где под не вносящим вклад каналом понимают канал, который не вносит вклад в каналы из числа М.т каналов, и для которого не осуществляются обратное преобразование данных и использование дальнейшей обработки.
  3. 3. Способ по п.1, отличающийся тем, что преобразование в способе кодирования использует преобразование с наложением и где дальнейшая обработка включает этап, на котором используют операции (609) обработки методом окна и добавления наложения для определения дискретизированных аудиоданных.
  4. 4. Способ по п.1, отличающийся тем, что способ кодирования включает этап, на котором формируют метаданные, относящиеся к экспоненте и мантиссе в частотной области.
  5. 5. Способ по п.4, отличающийся тем, что метаданные включают метаданные, относящиеся к обработке кратковременного предшума и к понижающему микшированию.
  6. 6. Способ по п.1, отличающийся тем, что декодер использует по меньшей мере один процессор х86, набор команд которого включает расширения архитектуры с одним потоком команд и множеством потоков данных (88Е), включающую векторные команды, и где понижающее микширование во временной области включает этап, на котором выполняют векторные команды на по меньшей мере одном процессоре х86, причем процессор х86 представляет собой процессор, архитектура набора команд которого содержит архитектуру набора команд х86.
  7. 7. Способ по п.2, отличающийся тем, что и=1 и т=0, и, таким образом, обратное преобразование и использование дальнейшей обработки не осуществляются на канале низкочастотных эффектов.
  8. 8. Способ по п.2, отличающийся тем, что аудиоданные, которые включают кодированные блоки, включают информацию, которая определяет понижающее микширование, и где идентификация любого не вносящего вклад канала использует информацию, которая определяет понижающее микширование.
  9. 9. Способ по п.8, отличающийся тем, что информация, которая определяет понижающее микширование, включает параметры уровня микширования, которые имеют заранее заданные значения, которые указывают на то, что по меньшей мере один канал является не вносящим вклад каналом.
  10. 10. Способ по п.2, отличающийся тем, что идентификация любого не вносящего вклад канала также включает этапы, на которых идентифицируют, содержит ли какой-либо канал незначительное количест- 32 025020 во звукового содержимого относительно по меньшей мере одного другого канала, и тем, что идентификация того, содержит ли какой-либо канал незначительное количество звукового содержимого относительно по меньшей мере одного другого канала, включает этап, на котором сравнивают разности критериев количества звукового содержимого между парами каналов до устанавливаемого порогового значения, причем канал содержит незначительное количество звукового содержимого относительно другого канала, если его энергия или абсолютный уровень по меньшей мере на 15 дБ ниже, чем у другого канала, или, если его энергия или абсолютный уровень по меньшей мере на 18 дБ ниже, чем у другого канала, или, если его энергия или абсолютный уровень по меньшей мере на 25 дБ ниже, чем у другого канала.
  11. 11. Способ по п.1, отличающийся тем, что принятые аудиоданные представлены в форме битового потока кадров кодированных данных, и где декодирование разделяется на набор операций (201) предварительного декодирования и набор операций (203) конечного декодирования, где операции предварительного декодирования включают этапы, на которых распаковывают и декодируют данные экспонент и мантисс в частотной области кадра битового потока в распакованные и декодированные данные экспонент и мантисс в частотной области для кадра, и сопроводительных метаданных кадра, и где операции конечного декодирования включают этапы, на которых определяют коэффициенты преобразования, осуществляют обратное преобразование и используют дальнейшую обработку, используют любое требуемое декодирование обработки кратковременного предшума, и осуществляют понижающее микширование в случае М<К
  12. 12. Способ по п.11, отличающийся тем, что операции предварительного декодирования осуществляются на первом проходе и следующем за ним втором проходе, где первый проход включает этапы, на которых распаковывают метаданные для последовательных блоков и сохраняют указатели на то, где хранятся упакованные данные экспонент и мантисс, и второй проход включает этапы, на которых используют сохраненные указатели на упакованные экспоненты и мантиссы, а также распаковывают и декодируют данные экспонент и мантисс для последовательных каналов.
  13. 13. Способ по п.1, отличающийся тем, что кодированные аудиоданные кодируются в соответствии с одним стандартом из набора стандартов, состоящего из стандарта АС-3, стандарта Е-АС-3 и стандарта НЕ-ААС.
  14. 14. Машиночитаемый носитель данных, хранящий команды декодирования, которые при их исполнении одним или несколькими процессорами системы обработки данных вызывают осуществление системой обработки способа по любому из предыдущих пунктов.
  15. 15. Устройство для осуществления способа по пп.1-13, содержащее процессор, выполненный с возможностью осуществления всех этапов способа по пп.1-13; подсистему хранения данных, связанную с процессором и включающую команды декодирования; по меньшей мере один сетевой интерфейс; подсистему ввода/вывода звукового сигнала для принятия данных импульсно-кодовой модуляции (РСМ) и конверсии РСМ-данных в электрические колебательные сигналы; подсистему шины данных для связывания компонентов устройства; причем все компоненты устройства связаны посредством указанной подсистемы шины данных.
  16. 16. Устройство по п.15, отличающееся тем, что по меньшей мере один процессор включает по меньшей мере один процессор х86, набор команд которого включает расширения архитектуры с одним потоком команд и множеством потоков данных (88Е), включающую векторные команды, и где понижающее микширование во временной области включает выполнение векторных команд на по меньшей мере одном процессоре х86, причем процессор х86 представляет собой процессор, архитектура набора команд которого содержит архитектуру набора команд х86.
    Распаковка данных В81
    Для блока=1 до В (количество блоков)
    Распаковка фиксированных данных Сохранение указателей на упакованные экспоненты Хтя канала=1 до N (количество кодированных каналов) Распаковка экспонент
    Для полвс=1 до Ь {количество полос)
    Вычисление распределения битов Распаковка мантисс
    Распаковка связанного канала (сохранение ρίΐ“>) Масштабирование маатисс'отмена связывания Денормализация мантисс посредством экспонент Вычисление обратного преобразования в оконную область Понижающее микширование до соответствующего количества М выходных (выходного) каналов (канала)
    Хтя кяналов=2 до М (количество выходных каналов)
    Обработка методом окна в добавление наложения с буфером задержке
    Копирование значения яз буфера понижающего микширования в буфер задержки
EA201171268A 2010-02-18 2011-02-03 Аудиодекодер и способ декодирования с использованием эффективного понижающего микширования EA025020B1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30587110P 2010-02-18 2010-02-18
US35976310P 2010-06-29 2010-06-29
PCT/US2011/023533 WO2011102967A1 (en) 2010-02-18 2011-02-03 Audio decoder and decoding method using efficient downmixing

Publications (2)

Publication Number Publication Date
EA201171268A1 EA201171268A1 (ru) 2012-03-30
EA025020B1 true EA025020B1 (ru) 2016-11-30

Family

ID=43877072

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201171268A EA025020B1 (ru) 2010-02-18 2011-02-03 Аудиодекодер и способ декодирования с использованием эффективного понижающего микширования

Country Status (36)

Country Link
US (3) US8214223B2 (ru)
EP (2) EP2698789B1 (ru)
JP (2) JP5501449B2 (ru)
KR (2) KR101327194B1 (ru)
CN (2) CN102428514B (ru)
AP (1) AP3147A (ru)
AR (2) AR080183A1 (ru)
AU (1) AU2011218351B2 (ru)
BR (1) BRPI1105248B1 (ru)
CA (3) CA2794047A1 (ru)
CO (1) CO6501169A2 (ru)
DK (1) DK2360683T3 (ru)
EA (1) EA025020B1 (ru)
EC (1) ECSP11011358A (ru)
ES (1) ES2467290T3 (ru)
GE (1) GEP20146086B (ru)
GT (1) GT201100246A (ru)
HK (2) HK1160282A1 (ru)
HN (1) HN2011002584A (ru)
HR (1) HRP20140506T1 (ru)
IL (3) IL215254A (ru)
MA (1) MA33270B1 (ru)
ME (1) ME01880B (ru)
MX (1) MX2011010285A (ru)
MY (1) MY157229A (ru)
NI (1) NI201100175A (ru)
NZ (1) NZ595739A (ru)
PE (1) PE20121261A1 (ru)
PL (1) PL2360683T3 (ru)
PT (1) PT2360683E (ru)
RS (1) RS53336B (ru)
SG (1) SG174552A1 (ru)
SI (1) SI2360683T1 (ru)
TW (2) TWI557723B (ru)
WO (1) WO2011102967A1 (ru)
ZA (1) ZA201106950B (ru)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948406B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Signal processing method, encoding apparatus using the signal processing method, decoding apparatus using the signal processing method, and information storage medium
US20120033819A1 (en) * 2010-08-06 2012-02-09 Samsung Electronics Co., Ltd. Signal processing method, encoding apparatus therefor, decoding apparatus therefor, and information storage medium
TWI716169B (zh) 2010-12-03 2021-01-11 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
KR101809272B1 (ko) * 2011-08-03 2017-12-14 삼성전자주식회사 다 채널 오디오 신호의 다운 믹스 방법 및 장치
WO2013101137A1 (en) * 2011-12-30 2013-07-04 Intel Corporation On die/off die memory management
KR101915258B1 (ko) * 2012-04-13 2018-11-05 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법
US10083700B2 (en) 2012-07-02 2018-09-25 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
CA2843226A1 (en) * 2012-07-02 2014-01-09 Sony Corporation Decoding device, decoding method, encoding device, encoding method, and program
KR20150012146A (ko) * 2012-07-24 2015-02-03 삼성전자주식회사 오디오 데이터를 처리하기 위한 방법 및 장치
PL2880654T3 (pl) * 2012-08-03 2018-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder i sposób realizacji uogólnionej parametrycznej koncepcji kodowania przestrzennych obiektów audio dla przypadków wielokanałowego downmixu/upmixu
JP6242916B2 (ja) 2013-01-21 2017-12-06 ドルビー ラボラトリーズ ライセンシング コーポレイション メタデータのトランスコード
KR102473260B1 (ko) * 2013-01-21 2022-12-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
KR20140117931A (ko) 2013-03-27 2014-10-08 삼성전자주식회사 오디오 디코딩 장치 및 방법
KR102586356B1 (ko) 2013-03-28 2023-10-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
BR112015025092B1 (pt) * 2013-04-05 2022-01-11 Dolby International Ab Sistema de processamento de áudio e método para processar um fluxo de bits de áudio
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
CN108806704B (zh) * 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN104143334B (zh) * 2013-05-10 2017-06-16 中国电信股份有限公司 可编程图形处理器及其对多路音频进行混音的方法
EP2804176A1 (en) * 2013-05-13 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object separation from mixture signal using object-specific time/frequency resolutions
EP2973551B1 (en) 2013-05-24 2017-05-03 Dolby International AB Reconstruction of audio scenes from a downmix
MY178342A (en) 2013-05-24 2020-10-08 Dolby Int Ab Coding of audio scenes
US11146903B2 (en) 2013-05-29 2021-10-12 Qualcomm Incorporated Compression of decomposed representations of a sound field
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2830043A3 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
CN105531759B (zh) * 2013-09-12 2019-11-26 杜比实验室特许公司 用于下混合音频内容的响度调整
ES2641538T3 (es) 2013-09-12 2017-11-10 Dolby International Ab Codificación de contenido de audio multicanal
US10095468B2 (en) 2013-09-12 2018-10-09 Dolby Laboratories Licensing Corporation Dynamic range control for a wide variety of playback environments
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
US9502045B2 (en) * 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
WO2015124597A1 (en) * 2014-02-18 2015-08-27 Dolby International Ab Estimating a tempo metric from an audio bit-stream
RU2646320C1 (ru) 2014-04-11 2018-03-02 Самсунг Электроникс Ко., Лтд. Способ и устройство для рендеринга звукового сигнала и компьютерно-читаемый носитель информации
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
JP6683618B2 (ja) * 2014-09-08 2020-04-22 日本放送協会 音声信号処理装置
US9886962B2 (en) * 2015-03-02 2018-02-06 Google Llc Extracting audio fingerprints in the compressed domain
US9837086B2 (en) * 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
ES2956344T3 (es) * 2015-08-25 2023-12-19 Dolby Laboratories Licensing Corp Descodificador de audio y procedimiento de descodificación
US10015612B2 (en) 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
SG10202100336WA (en) * 2017-01-10 2021-02-25 Fraunhofer Ges Forschung Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
US10210874B2 (en) * 2017-02-03 2019-02-19 Qualcomm Incorporated Multi channel coding
US11582383B2 (en) 2017-11-10 2023-02-14 Koninklijke Kpn N.V. Obtaining image data of an object in a scene
TWI681384B (zh) * 2018-08-01 2020-01-01 瑞昱半導體股份有限公司 音訊處理方法與音訊等化器
US11765536B2 (en) 2018-11-13 2023-09-19 Dolby Laboratories Licensing Corporation Representing spatial audio by means of an audio signal and associated metadata
CN110035299B (zh) * 2019-04-18 2021-02-05 雷欧尼斯（北京）信息技术有限公司 沉浸式对象音频的压缩传输方法与系统
CN110417978B (zh) * 2019-07-24 2021-04-09 广东商路信息科技有限公司 菜单配置方法、装置、设备及存储介质
JP7314398B2 (ja) * 2019-08-15 2023-07-25 ドルビー・インターナショナル・アーベー 変更オーディオビットストリームの生成及び処理のための方法及び装置
CN113035210A (zh) * 2021-03-01 2021-06-25 北京百瑞互联技术有限公司 一种lc3音频混合方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043466A1 (en) * 1997-03-21 1998-10-01 Sony Electronics, Inc. Audiochannel mixing
WO2004059643A1 (en) * 2002-12-28 2004-07-15 Samsung Electronics Co., Ltd. Method and apparatus for mixing audio stream and information storage medium

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5274740A (en) 1991-01-08 1993-12-28 Dolby Laboratories Licensing Corporation Decoder for variable number of channel presentation of multidimensional sound fields
JP4213708B2 (ja) * 1995-09-29 2009-01-21 ユナイテッド・モジュール・コーポレーション オーディオ復号装置
US5867819A (en) 1995-09-29 1999-02-02 Nippon Steel Corporation Audio decoder
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
SG54379A1 (en) 1996-10-24 1998-11-16 Sgs Thomson Microelectronics A Audio decoder with an adaptive frequency domain downmixer
SG54383A1 (en) * 1996-10-31 1998-11-16 Sgs Thomson Microelectronics A Method and apparatus for decoding multi-channel audio data
US5986709A (en) 1996-11-18 1999-11-16 Samsung Electronics Co., Ltd. Adaptive lossy IDCT for multitasking environment
TW405328B (en) * 1997-04-11 2000-09-11 Matsushita Electric Ind Co Ltd Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment
US5946352A (en) 1997-05-02 1999-08-31 Texas Instruments Incorporated Method and apparatus for downmixing decoded data streams in the frequency domain prior to conversion to the time domain
EP0990368B1 (en) 1997-05-08 2002-04-24 STMicroelectronics Asia Pacific Pte Ltd. Method and apparatus for frequency-domain downmixing with block-switch forcing for audio decoding functions
US6141645A (en) 1998-05-29 2000-10-31 Acer Laboratories Inc. Method and device for down mixing compressed audio bit stream having multiple audio channels
US6246345B1 (en) 1999-04-16 2001-06-12 Dolby Laboratories Licensing Corporation Using gain-adaptive quantization and non-uniform symbol lengths for improved audio coding
JP2002182693A (ja) 2000-12-13 2002-06-26 Nec Corp オーディオ符号化、復号装置及びその方法並びにその制御プログラム記録媒体
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
CN1312662C (zh) 2001-05-10 2007-04-25 杜比实验室特许公司 通过降低前噪声改善音频编码系统的瞬时性能的方法
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7450727B2 (en) * 2002-05-03 2008-11-11 Harman International Industries, Incorporated Multichannel downmixing device
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
JP2004194100A (ja) * 2002-12-12 2004-07-08 Renesas Technology Corp オーディオ復号再生装置
KR20040060718A (ko) * 2002-12-28 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법, 그 장치 및 그 정보저장매체
US7318027B2 (en) 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
JP2007526687A (ja) * 2004-02-19 2007-09-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 可変ブロック長信号の復号化スキーム
US7516064B2 (en) 2004-02-19 2009-04-07 Dolby Laboratories Licensing Corporation Adaptive hybrid transform for signal analysis and synthesis
EP2065885B1 (en) * 2004-03-01 2010-07-28 Dolby Laboratories Licensing Corporation Multichannel audio decoding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2006126844A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
KR20070003593A (ko) * 2005-06-30 2007-01-05 엘지전자 주식회사 멀티채널 오디오 신호의 인코딩 및 디코딩 방법
US8494667B2 (en) * 2005-06-30 2013-07-23 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
KR100760976B1 (ko) 2005-08-01 2007-09-21 (주)펄서스 테크놀러지 프로그래머블 프로세서에서 ｍｐｅｇ-2 또는 ｍｐｅｇ-4ａａｃ 오디오 복호 알고리즘을 처리하기 위한 연산 회로및 연산 방법
KR100771401B1 (ko) 2005-08-01 2007-10-30 (주)펄서스 테크놀러지 프로그래머블 프로세서에서 ｍｐｅｇ-2 또는 ｍｐｅｇ-4ａａｃ 오디오 복호 알고리즘을 처리하기 위한 연산 회로및 연산 방법
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
JP4801174B2 (ja) * 2006-01-19 2011-10-26 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
CN101361117B (zh) * 2006-01-19 2011-06-15 Lg电子株式会社 处理媒体信号的方法和装置
RU2407226C2 (ru) * 2006-03-24 2010-12-20 Долби Свидн Аб Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов
JP5134623B2 (ja) * 2006-07-07 2013-01-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数のパラメータ的に符号化された音源を合成するための概念
JP2008236384A (ja) * 2007-03-20 2008-10-02 Matsushita Electric Ind Co Ltd 音声ミキシング装置
JP4743228B2 (ja) * 2008-05-22 2011-08-10 三菱電機株式会社 デジタル音声信号解析方法、その装置、及び映像音声記録装置
RU2495503C2 (ru) * 2008-07-29 2013-10-10 Панасоник Корпорэйшн Устройство кодирования звука, устройство декодирования звука, устройство кодирования и декодирования звука и система проведения телеконференций

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043466A1 (en) * 1997-03-21 1998-10-01 Sony Electronics, Inc. Audiochannel mixing
WO2004059643A1 (en) * 2002-12-28 2004-07-15 Samsung Electronics Co., Ltd. Method and apparatus for mixing audio stream and information storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDERSEN, ROBERT L.; CROCKETT, BRETT G.; DAVIDSON, GRANT A.; DAVIS, MARK F.; FIELDER, LOUIS D.; TURNER, STEPHEN C.; VINTON, MARK S: "Introduction to Dolby Digital Plus, an Enhancement to the Dolby Digital Coding System", AES CONVENTION 117; OCTOBER 2004, AES, 60 EAST 42ND STREET, ROOM 2520 NEW YORK 10165-2520, USA, 6196, 1 October 2004 (2004-10-01), 60 East 42nd Street, Room 2520 New York 10165-2520, USA, XP040506945 *
ANONYMOUS: "A/52B, ATSC standard, Digital audio compression standard (AC-3, E-AC-3), revision B", NOT KNOWN, a_52b, 14 June 2005 (2005-06-14), XP030001573 *

Also Published As

Publication number Publication date
AP2011005900A0 (en) 2011-10-31
US20120016680A1 (en) 2012-01-19
TW201142826A (en) 2011-12-01
ME01880B (me) 2014-12-20
BRPI1105248B1 (pt) 2020-10-27
BRPI1105248A2 (pt) 2016-05-03
CN102428514A (zh) 2012-04-25
JP5501449B2 (ja) 2014-05-21
AR080183A1 (es) 2012-03-21
IL215254A0 (en) 2011-12-29
CN103400581A (zh) 2013-11-20
CA2757643A1 (en) 2011-08-25
TW201443876A (zh) 2014-11-16
SI2360683T1 (sl) 2014-07-31
US8868433B2 (en) 2014-10-21
KR101327194B1 (ko) 2013-11-06
HK1170059A1 (en) 2013-02-15
ES2467290T3 (es) 2014-06-12
IL227702A (en) 2015-01-29
CA2757643C (en) 2013-01-08
CO6501169A2 (es) 2012-08-15
AU2011218351A1 (en) 2011-10-20
RS53336B (en) 2014-10-31
US9311921B2 (en) 2016-04-12
EP2360683A1 (en) 2011-08-24
KR101707125B1 (ko) 2017-02-15
HRP20140506T1 (hr) 2014-07-04
AR089918A2 (es) 2014-10-01
CN102428514B (zh) 2013-07-24
NZ595739A (en) 2014-08-29
EP2698789A2 (en) 2014-02-19
MX2011010285A (es) 2011-12-16
CN103400581B (zh) 2016-05-11
ECSP11011358A (es) 2012-01-31
JP2012527021A (ja) 2012-11-01
ZA201106950B (en) 2012-12-27
DK2360683T3 (da) 2014-06-16
NI201100175A (es) 2012-06-14
EP2698789B1 (en) 2017-02-08
CA2794047A1 (en) 2011-08-25
EA201171268A1 (ru) 2012-03-30
IL227701A (en) 2014-12-31
TWI557723B (zh) 2016-11-11
HK1160282A1 (en) 2012-08-10
PL2360683T3 (pl) 2014-08-29
GEP20146086B (en) 2014-05-13
IL227702A0 (en) 2013-09-30
CA2794029C (en) 2018-07-17
US8214223B2 (en) 2012-07-03
KR20130055033A (ko) 2013-05-27
CA2794029A1 (en) 2011-08-25
JP5863858B2 (ja) 2016-02-17
JP2014146040A (ja) 2014-08-14
GT201100246A (es) 2014-04-04
WO2011102967A1 (en) 2011-08-25
MA33270B1 (fr) 2012-05-02
EP2360683B1 (en) 2014-04-09
HN2011002584A (es) 2015-01-26
US20120237039A1 (en) 2012-09-20
AP3147A (en) 2015-03-31
PE20121261A1 (es) 2012-09-14
KR20120031937A (ko) 2012-04-04
IL215254A (en) 2013-10-31
SG174552A1 (en) 2011-10-28
TWI443646B (zh) 2014-07-01
AU2011218351B2 (en) 2012-12-20
US20160035355A1 (en) 2016-02-04
IL227701A0 (en) 2013-09-30
EP2698789A3 (en) 2014-04-30
PT2360683E (pt) 2014-05-27
MY157229A (en) 2016-05-13

Similar Documents

Publication Publication Date Title
EA025020B1 (ru) Аудиодекодер и способ декодирования с использованием эффективного понижающего микширования
US20220051681A1 (en) Audio encoder and decoder using a frequency domain processor , a time domain processor, and a cross processing for continuous initialization
EP3268958B1 (en) Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
CA2672165C (en) Encoder, decoder and methods for encoding and decoding data segments representing a time-domain data stream
JP7311573B2 (ja) 時間領域ステレオエンコーディング及びデコーディング方法並びに関連製品
AU2013201583B2 (en) Audio decoder and decoding method using efficient downmixing

Legal Events

Date Code Title Description
MM4A Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s)

Designated state(s): AM AZ KG TJ

QB4A Registration of a licence in a contracting state