UA120372C2 - Спосіб декодування і декодер для посилення діалогу - Google Patents

Спосіб декодування і декодер для посилення діалогу Download PDF

Info

Publication number
UA120372C2
UA120372C2 UAA201703054A UAA201703054A UA120372C2 UA 120372 C2 UA120372 C2 UA 120372C2 UA A201703054 A UAA201703054 A UA A201703054A UA A201703054 A UAA201703054 A UA A201703054A UA 120372 C2 UA120372 C2 UA 120372C2
Authority
UA
Ukraine
Prior art keywords
parameters
dialogue
subset
mixing
dialog
Prior art date
Application number
UAA201703054A
Other languages
English (en)
Inventor
Йерун КОППЕНС
Пер Екстранд
Пэр Экстранд
Original Assignee
Долбі Інтернешнл Аб
Долби Интернешнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долбі Інтернешнл Аб, Долби Интернешнл Аб filed Critical Долбі Інтернешнл Аб
Publication of UA120372C2 publication Critical patent/UA120372C2/uk

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Надано спосіб посилення діалогу в декодері аудіосистеми. Спосіб включає приймання ряду сигналів знижувального мікшування, які являють собою результат знижувального мікшування більшої кількості каналів; приймання параметрів для посилення діалогу, визначених стосовно підмножини ряду каналів, підданих знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; параметричне підвищувальне мікшування підмножини ряду сигналів знижувального мікшування з метою відновлення підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу; застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом; і піддавання мікшуванню щонайменше одного сигналу з посиленим діалогом з метою надання версій з посиленим діалогом підмножини сигналів знижувального мікшування.

Description

Галузь техніки
Винахід, який розкривається в даному документі, в цілому стосується кодування звуку.
Зокрема він стосується способів і пристроїв для виконання посилювання діалогу в аудіосистемах на основі каналів.
Передумови винаходу
Посилення діалогу полягає в виконанні посилювання діалогу стосовно іншого звукового вмісту. Воно може бути використане, наприклад, для надання можливості особам з порушенням слуху слідкувати за діалогом в кінострічці. Для звукового вмісту на основі каналів діалог, як правило, присутній в декількох каналах, а також є мікшованим з іншим звуковим вмістом. Тому посилення діалогу являє собою нетривіальну задачу.
Відомі декілька способів виконання посилення діалогу в декодері. Згідно з деякими з цих способів спочатку декодують повний вміст каналів, тобто повну конфігурацію каналів, а потім використовують отримані параметри посилення діалогу для передбачення діалогу на основі цього повного вмісту каналів. Передбачений діалог потім використовують для посилення діалогу у відповідних каналах. Проте такі способи декодування покладаються на декодер, здатний декодувати повну конфігурацію каналів.
Втім декодери з низькою складністю, як правило, не розраховані на декодування повної конфігурації каналів. Замість цього декодер з низькою складністю може декодувати і виводити меншу кількість каналів, які представляють піддану знижувальному мікшуванню версію повної конфігурації каналів. Відповідно, в декодері з низькою складністю повна конфігурація каналів є недоступною. Оскільки параметри посилення діалогу визначені стосовно каналів повної конфігурації каналів (чи принаймні стосовно деяких з каналів повної конфігурації каналів), відомі способи посилення діалогу не можуть бути прямо застосовані декодером з низькою складністю.
Зокрема, це пояснюється тим, що канали, стосовно яких застосовні параметри посилення діалогу, можуть все ж бути мікшованими з іншими каналами.
Таким чином існує простір для удосконалень, які дозволяють використовувати декодер з низькою складністю для посилення діалогу без необхідності декодування повної конфігурації каналів.
Стислий опис графічних матеріалів
Надалі наведені для прикладу варіанти здійснення будуть описані більш докладно з посиланням на супровідні графічні матеріали, на яких: фіг. Та -- схематична ілюстрація конфігурації каналів 7.144, підданої знижувальному мікшуванню в конфігурацію знижувального мікшування 5.1 згідно з першою схемою знижувального мікшування; фіг. 10 -- схематична ілюстрація конфігурації каналів 7.144, підданої знижувальному мікшуванню в конфігурацію знижувального мікшування 5.1 згідно з другою схемою знижувального мікшування; фіг 2 - схематична ілюстрація декодера на відомому рівні техніки для виконання посилення діалогу на повністю декодованій конфігурації каналів; фіг. 3 -- схематична ілюстрація посилення діалогу згідно з першим способом; фіг. 4 -- схематична ілюстрація посилення діалогу згідно з другим способом; фіг. 5-- схематична ілюстрація декодера згідно з наведеними для прикладу варіантами здійснення; фіг. 6-- схематична ілюстрація декодера згідно з наведеними для прикладу варіантами здійснення; фіг. 7 - схематична ілюстрація декодера згідно з наведеними для прикладу варіантами здійснення; фіг. 8 -- схематична ілюстрація кодера, який відповідає будь-якому з декодерів, представлених на фіг. 2, фіг. 5, фіг. 6 і фіг. 7;
БО фіг. 9 -- схеми способів обчислення операції ВА об'єднаної обробки даних, яка складається з двох підоперацій А та В, на основі параметрів, які управляють кожною з цих підоперацій.
Усі фігури є схематичними і в цілому наводять лише елементи, які є необхідними для ілюстрації даного винаходу, тоді як іншими елементами можна знехтувати чи лише запропонувати.
Докладний опис винаходу
Зважаючи на наведене вище метою даного винаходу є надання декодера та пов'язаних способів, які дозволяють використовувати посилення діалогу без необхідності декодування повної конфігурації каналів.
І. Огляд
Згідно з першою особливістю наведені для прикладу варіанти здійснення передбачають спосіб посилення діалогу в декодері аудіосистеми. Вказаний спосіб включає етапи: приймання ряду сигналів знижувального мікшування, які представляють собою результат знижувального мікшування більшої кількості каналів; приймання параметрів для посилення діалогу, причому ці параметри визначені стосовно підмножини ряду каналів, яка включає канали, які містять діалог, причому цю підмножину ряду каналів піддано знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; приймання параметрів відновлення, які надають можливість параметричного відновлення каналів, підданих знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; параметричного підвищувального мікшування підмножини ряду сигналів знижувального мікшування на основі параметрів відновлення з метою відновлення підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу; застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом; і піддавання мікшуванню щонайменше одного сигналу з посиленим діалогом з метою надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування.
При такій схемі декодеру не доводиться відновлювати повну конфігурацію каналів для виконання посилення діалогу, завдяки чому зменшується складність. Замість цього декодер відновлює ті канали, які потрібні для застосування посилення діалогу. Це включає, зокрема, підмножину ряду каналів, стосовно якої визначені прийняті параметри для посилення діалогу.
Після виконання посилення діалогу, тобто коли щонайменше один сигнал з посиленим діалогом був визначений на основі параметрів для посилення діалогу і підмножини ряду каналів, стосовно якої визначені ці параметри, версії з посиленим діалогом прийнятих сигналів знижувального мікшування визначають шляхом піддання сигналу (сигналів) з посиленим діалогом процедурі мікшування. В результаті отримують версії з посиленим діалогом сигналів знижувального мікшування для наступного відтворювання аудіосистемою.
Зо В наведених для прикладу варіантах здійснення операція підвищувального мікшування може бути повною (такою, що відновлює всю множину закодованих каналів) або частковою (такою, що відновлює підмножину каналів).
В межах цього документа сигнал знижувального мікшування стосується сигналу, який являє собою комбінацію одного чи більше сигналів/каналів.
В межах цього документа параметричне підвищувальне мікшування стосується відновлення одного чи більше сигналів/каналів із сигналу знижувального мікшування з використанням параметричних методик. Варто підкреслити, що наведені для прикладу варіанти здійснення, розкриті в даному документі, не обмежені вмістом на основі каналів (в розумінні звукових сигналів, пов'язаних з незмінними чи наперед визначеними напрямками, кутами і/або положеннями в просторі), а також поширюються на вміст на основі об'єктів.
Згідно з наведеними для прикладу варіантами здійснення на етапі параметричного підвищувального мікшування підмножини ряду сигналів знижувального мікшування декорельовані сигнали не використовують з метою відновлення підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу.
Перевага цього полягає в тому, що зменшується складність обчислень, і одночасно збільшується якість отримуваних в результаті версій з посиленим діалогом сигналів знижувального мікшування (тобто якість на виході). Більш докладно, переваги, отримувані шляхом використання декорельованих сигналів при підвищувальному мікшуванні, зменшуються при наступному мікшуванні, якому піддають сигнал з посиленим діалогом. Через це використання декорельованих сигналів переважно можна оминати, тим самим зменшуючи складність обчислень. Фактично використання при підвищувальному мікшуванні декорельованих сигналів в сполученні з посиленням діалогу могло б в результаті призводити до гіршої якості, оскільки це могло спричинити реверберацію декорелятора на посиленому діалозі.
Згідно з наведеними для прикладу варіантами здійснення мікшування виконують згідно з параметрами мікшування, які описують внесок щонайменше одного сигналу з посиленим діалогом в версії з посиленим діалогом підмножини ряду сигналів знижувального мікшування.
Відтак можуть існувати певні параметри мікшування, які описують те, яким чином слід мікшувати щонайменше один сигнал з посиленим діалогом з метою надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування. Наприклад, параметри бо мікшування можуть мати форму вагових коефіцієнтів, які описують те, наскільки щонайменше один сигнал з посиленим діалогом слід мікшувати в кожен з сигналів знижувального мікшування в підмножині ряду сигналів знижувального мікшування для отримання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування. Такі вагові коефіцієнти можуть, наприклад, мати форму параметрів представлення, які слугують ознакою просторових положень, пов'язаних з щонайменше одним сигналом з посиленим діалогом відносно просторових положень, пов'язаних з рядом каналів і, таким чином, з відповідною підмножиною сигналів знижувального мікшування. Згідно з іншими прикладами параметри мікшування можуть вказувати, має чи не має щонайменше один сигнал з посиленим діалогом вносити вклад, наприклад, входити до складу, до однієї конкретної версії з посиленим діалогом підмножини сигналів знижувального мікшування. Наприклад, "1" може вказувати, що сигнал з посиленим діалогом слід включати при формуванні однієї конкретної з версій з посиленим діалогом сигналів знижувального мікшування, а "0" може вказувати на те, що його включати не слід.
На етапі піддавання мікшуванню щонайменше одного сигналу з посиленим діалогом з метою надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування сигнали з посиленим діалогом можуть бути мікшовані з іншими сигналами/каналами.
Згідно з наведеними для прикладу варіантами здійснення щонайменше один сигнал з посиленим діалогом мікшують з каналами, які відновлюють на етапі підвищувального мікшування, проте які не було піддані посиленню діалогу. Більш докладно, етап параметричного підвищувального мікшування підмножини ряду сигналів знижувального мікшування може включати відновлення щонайменше одного додаткового каналу окрім ряду каналів, стосовно яких визначені параметри для посилення діалогу, і при цьому мікшування включає мікшування щонайменше одного додаткового каналу разом з щонайменше одним сигналом з посиленим діалогом. Наприклад, можуть бути відновлені і включені до мікшування всі канали, піддані знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування. В таких варіантах здійснення, як правило, має місце пряма відповідність між кожним сигналом з посиленим діалогом і певним каналом.
Згідно з іншими наведеними для прикладу варіантами здійснення щонайменше один сигнал з посиленим діалогом мікшують з підмножиною ряду сигналів знижувального мікшування. Більш
Зо докладно, етап параметричного підвищувального мікшування підмножини ряду сигналів знижувального мікшування може включати відновлення тільки підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, і етап застосування посилення діалогу може включати здійснення передбачення і посилення діалогової складової з підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу, щоб надавати щонайменше один сигнал з посиленим діалогом, і мікшування може включати мікшування щонайменше одного сигналу з посиленим діалогом з підмножиною ряду сигналів знижувального мікшування. Таким чином такі варіанти здійснення слугують для передбачення і посилення діалогового вмісту і його мікшування в підмножину ряду сигналів знижувального мікшування.
В цілому варто відзначити, що канал може містити діалоговий вміст, мікшований з вмістом, який не стосується діалогу. Окрім того, діалоговий вміст, який відповідає одному діалогу, може бути мікшований в декілька каналів. Під здійсненням передбачення діалогової складової з підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, зазвичай розуміють те, що діалоговий вміст здобувають, тобто виділяють, з каналів і комбінують з метою відновлення діалогу.
Якість посилення діалогу можна додатково підвищити шляхом приймання і використання звукового сигналу, який представляє діалог. Наприклад, звуковий сигнал, який представляє діалог, може бути закодований з низькою бітовою швидкістю, що призводить до появи добре чутних артефактів при його окремому прослуховуванні. Втім при використанні разом з параметричним посиленням діалогу, тобто при використанні параметрів для посилення діалогу на етапі застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, отримуване в результаті посилення діалогу можна покращити, наприклад, в плані якості звуку. Більш докладно, спосіб може додатково включати приймання звукового сигналу, який представляє діалог, при цьому етап застосування посилення діалогу включає застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з додатковим використанням звукового сигналу, який представляє діалог.
В деяких варіантах здійснення параметри мікшування можуть бути вже доступними в декодері, наприклад, вони можуть бути жорстко запрограмовані. Зокрема, це може мати місце 60 тоді, коли щонайменше один сигнал з посиленим діалогом завжди мікшують однаковим чином,
наприклад, якщо його завжди мікшують з одними й тими самими відновленими каналами. В інших варіантах здійснення спосіб включає приймання параметрів мікшування для етапу піддавання мікшуванню щонайменше одного сигналу з посиленим діалогом. Наприклад, параметри мікшування можуть утворювати частину параметрів посилення діалогу.
Згідно з наведеними для прикладу варіантами здійснення спосіб включає приймання параметрів мікшування, які описують схему знижувального мікшування, яка описує, в який сигнал знижувального мікшування мікшований кожен з ряду каналів. Наприклад, якщо кожен сигнал з посиленим діалогом відповідає каналу, який, в свою чергу, є мікшованим з іншими відновленими каналами, то мікшування здійснюють у відповідності до схеми знижувального мікшування так, що кожен канал мікшують в правильний сигнал знижувального мікшування.
Схема знижувального мікшування може змінюватись з часом, тобто вона може бути динамічною, таким чином збільшуючи гнучкість системи.
Спосіб може також включати приймання даних, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу. Наприклад, дані, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу, можуть бути включені в параметри для посилення діалогу. Таким чином декодеру може бути надано сигнал про те, для яких каналів слід здійснити посилення діалогу. Альтернативно така інформація може бути доступною в декодері, наприклад, вона може бути жорстко запрограмована, що означає, що параметри для посилення діалогу завжди визначені стосовно одних й тих самих каналів. Зокрема, спосіб може також включати приймання інформації, яка вказує, які сигнали з сигналів з посиленим діалогом слід піддати мікшуванню. Наприклад, спосіб згідно з даним варіантом може бути реалізований системою декодування, яка працює в певному режимі, в якому сигнали з посиленим діалогом не мікшують назад в повністю ідентичний набір сигналів знижувального мікшування, який був використаний для надання сигналів з посиленим діалогом. Таким чином, операція мікшування на практиці може бути обмежена неповною вибіркою (одного чи більше сигналів) з підмножини ряду сигналів знижувального мікшування. Інші сигнали з посиленим діалогом додають до дещо відмінних сигналів знижувального мікшування, таких як сигнали знижувального мікшування, які пройшли перетворення формату. Як тільки стають відомими дані, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу, і схема знижувального мікшування, можна знайти підмножину ряду сигналів знижувального мікшування, в яку виконане знижувальне мікшування підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу. Більш докладно, дані, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу, можна використовувати разом зі схемою знижувального мікшування для знаходження підмножини ряду сигналів знижувального мікшування, в яку виконане знижувальне мікшування підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу.
Етапи підвищувального мікшування підмножини ряду сигналів знижувального мікшування, застосування посилення діалогу і мікшування можуть бути виконані як матричні операції, визначені, відповідно, параметрами відновлення, параметрами для посилення діалогу і параметрами мікшування. Перевага цього полягає в тому, що спосіб можна ефективним чином реалізувати шляхом виконання матричного множення.
Більш того, спосіб може включати об'єднання шляхом матричного множення матричних операцій, які відповідають етапам підвищувального мікшування підмножини ряду сигналів знижувального мікшування, застосування посилення діалогу і мікшування, в єдину матричну операцію перед застосуванням до підмножини ряду сигналів знижувального мікшування. Таким чином різні матричні операції можуть бути об'єднані в єдину матричну операцію, таким чином додатково підвищуючи ефективність і знижуючи обчислювальну складність способу.
Параметри посилення діалогу і/або параметри відновлення можуть залежати від частоти, таким чином надаючи можливість вказаним параметрами бути різними для різних смуг частот.
Таким чином посилення діалогу і відновлення можна оптимізувати в різних смугах частот, тим самим підвищуючи якість звуку на виході.
Більш докладно, параметри для посилення діалогу можуть бути визначені стосовно першого набору смуг частот, а параметри відновлення можуть бути визначені стосовно другого набору смуг частот, при цьому другий набір смуг частот відрізняється від першого набору смуг частот.
Це може бути переважним при зменшенні бітової швидкості для передавання параметрів для посилення діалогу і параметрів відновлення в бітовому потоці, коли, наприклад, процес відновлення потребує параметрів з більш високою роздільністю за частотою, ніж процес посилення діалогу, і/або коли, наприклад, процес посилення діалогу виконують на меншій смузі бо пропускання, ніж процес відновлення.
Згідно з наведеними для прикладу варіантами здійснення (переважно дискретні) значення параметрів для посилення діалогу можуть бути прийняті неодноразово і пов'язані з першим набором моментів часу, в які відповідні значенні застосовні точно. В даному описі твердження стосовно того, що значення є застосовним, або відомим, "точно" в визначений момент часу, має означати, що це значення було прийняте декодером, як правило, разом з явною чи неявною вказівкою на момент часу, в який воно є застосовним. Навпаки, значення, яке є інтерпольованим або передбаченим для певного моменту часу, в цьому розумінні не є застосовним "точно" у вказаний момент часу, а являє собою оцінку на боці декодера. "Точно" не передбачає, що дане значення досягає точного відновлення звукового сигналу. Між послідовними моментами часу в наборі може бути встановлена наперед визначена перша схема інтерполяції. Схема інтерполяції, яка визначає те, яким чином слід оцінювати приблизне значення параметра в певний момент часу, який знаходиться між двома граничними моментами часу в наборі, в яких значення параметра є відомими, може представляти собою, наприклад, лінійну чи кусково-постійну інтерполяцію. Якщо момент часу передбачення знаходиться на певній відстані від одного з граничних моментів часу, лінійна схема інтерполяції грунтується на припущені про те, що значення параметра в момент часу передбачення лінійно залежить від вказаної відстані, тоді як кусково-постійна схема інтерполяції гарантує, що значення параметра не змінюється між кожним відомим і наступним значеннями. Також можуть мати місце й інші можливі схеми інтерполяції, в тому числі, наприклад, схеми, в яких для оцінювання значення параметра в даний момент часу передбачення використовують многочлени зі степенем більше одиниці, сплайни, раціональні функції, гаусові процеси, тригонометричні многочлени, вейвлети або їх сполучення. Набір моментів часу може не бути переданий чи заявлений в явному виді, а замість цього він може бути домислений зі схеми інтерполяції, наприклад, початковою точкою або кінцевою точкою інтервалу лінійної інтерполяції, які можуть бути неявно прив'язані до меж кадру алгоритму обробки звуку. Параметри відновлення можна отримати подібним чином: (переважно дискретні) значення параметрів відновлення можуть бути пов'язані з другим набором моментів часу, і між послідовними моментами часу може бути виконана друга схема інтерполяції.
Спосіб може також включати здійснення вибору типу параметрів, причому параметри даного типу представляють собою або параметри для посилення діалогу, або параметри відновлення, таким чином, що набір моментів часу, пов'язаних з вибраним типом, містить щонайменше один момент передбачення, який представляє собою момент часу, відсутній в наборі, пов'язаному з невибраним типом. Наприклад, якщо набір моментів часу, з яким пов'язані параметри відновлення, містить певний момент часу, відсутній в наборі моментів часу, з яким пов'язані параметри для посилення діалогу, то цей певний момент часу буде моментом часу передбачення, якщо параметрами вибраного типу є параметри відновлення, а параметрами невибраного типу -- параметри для посилення діалогу. Аналогічним чином в іншій ситуації момент передбачення можна замість знайти в наборі моментів часу, з яким пов'язані параметри для посилення діалогу, і тоді вибраний і невибраний типи поміняються місцями. Переважно вибраний тип параметрів представляє собою тип, який має найбільшу щільність моментів часу з пов'язаними значеннями параметрів, в даному випадку використання це може зменшити загальну кількість необхідних операцій передбачення.
Значення параметрів невибраного типу в момент передбачення можуть бути передбачені.
Передбачення можна виконати з використанням придатного способу передбачення, такого як інтерполяція або екстраполяція, з урахуванням наперед визначеної схеми інтерполяції для типів параметрів.
Спосіб може включати етап обчислення на основі щонайменше одного передбаченого значення параметрів невибраного типу і прийнятого значення параметрів вибраного типу об'єднаної операції обробки, яка представляє собою принаймні підвищувальне мікшування підмножини сигналів знижувального мікшування з наступним посиленням діалогу в момент передбачення. Додатково до значень параметрів відновлення і параметрів для посилення діалогу обчислення може грунтуватись і на інших значеннях, таких як значення параметрів для мікшування, і об'єднана операція обробки може представляти також етап мікшування сигналу з посиленим діалогом назад в сигнал знижувального мікшування.
Спосіб може включати етап обчислення на основі принаймні (прийнятого або передбаченого) значення параметрів вибраного типу і принаймні (прийнятого або передбаченого) значення параметрів невибраного типу, причому щонайменше одне з вказаних значень представляє собою прийняте значення, об'єднаної операції обробки в суміжний момент часу в наборі, пов'язаному з вибраним чи невибраним типом. Суміжний момент часу може бути або більш раннім, або більш віддаленим, ніж момент передбачення, і вимога того, щоб цей суміжний момент часу був найближчим сусідом в плані відстані, не є суттєвою.
В даному способі етапи підвищувального мікшування підмножини ряду сигналів знижувального мікшування і застосування посилення діалогу можуть бути виконані між моментом передбачення і суміжним моментом часу за допомогою інтерпольованого значення обчисленої об'єднаної операції обробки. За допомогою інтерполяції обчисленої об'єднаної операції обробки можна досягти зменшення обчислювальної складності. Завдяки тому, що обидва типи параметрів не інтерполюють окремо, і завдяки тому, що не формують добуток (тобто об'єднану операцію обробки), в кожній точці інтерполяції, для досягненні рівною мірою корисного результату в плані якості прослуховування, яка сприймається, може знадобитись менша кількість математичних операцій додавання і множення.
Згідно з додатковими наведеними для прикладу варіантами здійснення об'єднану операцію обробки в суміжний момент часу можна обчислити на основі прийнятого значення параметрів вибраного типу і передбаченого значення параметрів невибраного типу. Також можлива і зворотна ситуація, в якій об'єднану операцію обробки в суміжний момент часу можна обчислити на основі передбаченого значення параметрів вибраного типу і прийнятого значення параметрів невибраного типу. Ситуації, в яких значення параметрів одного й того самого типу є прийнятим значенням в момент передбачення і передбаченим значенням в суміжний момент часу, можуть виникати, якщо, наприклад, моменти часу в наборі, з яким пов'язані параметри вибраного типу, знаходяться суворо поміж моментами часу в наборі, з якими пов'язані параметри невибраного типу.
Згідно з наведеними для прикладу варіантами здійснення об'єднану операцію обробки в суміжний момент часу можна обчислити на основі прийнятого значення параметрів вибраного типу параметрів і прийнятого значення параметрів невибраного типу параметрів. Такі ситуації можуть виникати, наприклад, тоді, коли точні значення параметрів обох типів прийняті для меж кадру, але також -- для вибраного типу -- для моменту часу всередині поміж межами. Тоді суміжний момент часу представляє собою момент часу, пов'язаний з межею кадру, а момент часу передбачення знаходиться посередині між межами кадру.
Згідно з додатковими наведеними для прикладу варіантами здійснення спосіб може також
Зо включати здійснення вибору на основі першої і другої схем інтерполяції об'єднаної схеми інтерполяції згідно з наперед визначеним правилом вибору, при цьому інтерполяція відповідних обчислених об'єднаних операцій обробки відповідає об'єднаній схемі інтерполяції. Наперед визначене правило вибору може бути визначене для випадку, в якому перша і друга схеми інтерполяції є однаковими, а також може бути визначене для випадку, в якому перша і друга схеми інтерполяції є різними. Для прикладу, якщо перша схема інтерполяції є лінійною (Її, переважно, якщо існує лінійний взаємозв'язок між параметрами і кількісними властивостями операції посилення діалогу), а друга схема інтерполяції є кусково-постійною, то об'єднану схему інтерполяції можна вибрати лінійною.
Згідно з наведеними для прикладу варіантами здійснення передбачення значення параметрів невибраного типу в момент передбачення виконують згідно зі схемою інтерполяції для параметрів невибраного типу. Це може включати використання точного значення параметра невибраного типу в момент часу в наборі, пов'язаному з невибраним типом, який є суміжним з моментом передбачення.
Згідно з наведеними для прикладу варіантами здійснення об'єднану операцію обробки обчислюють як єдину матричну операцію і потім застосовують до підмножини ряду сигналів знижувального мікшування. Переважно етапи підвищувального мікшування і застосування посилення діалогу виконують як матричні операції, які визначені параметрами відновлення і параметрами для посилення діалогу. В якості об'єднаної схеми інтерполяції може бути вибрана лінійна схема інтерполяції, і інтерпольоване значення відповідних обчислених об'єднаних операцій обробки можна обчислити за допомогою лінійної матричної інтерполяції. Для зменшення обчислювальної складності інтерполяція може бути обмежена такими матричними елементами, які змінюються між моментом передбачення і суміжним моментом часу.
Згідно з наведеними для прикладу варіантами здійснення прийняті сигнали знижувального мікшування можуть бути розбиті на часові кадри, і спосіб в усталеному режимі роботи може включати етап приймання щонайменше одного значення параметрів відповідних типів, точно застосовного в деякий момент часу в кожному часовому кадрі. В межах даного документа "усталений режим" стосується роботи, яка не включає наявності початкової і кінцевої частин, наприклад, пісні, і роботу, яка не включає внутрішні перехідні стани, які роблять необхідним підрозбиття кадру.
Згідно з другою особливістю передбачений комп'ютерний програмний продукт, який містить машинопрочитуваний носій з командами для виконання способу згідно з першою особливістю.
Машинопрочитуваний носій може представляти собою постійний машинопрочитуваний носій або пристрій.
Згідно з третьою особливістю передбачений декодер для посилення діалогу в аудіосистемі, який містить: компонент приймання, виконаний з можливістю приймання: ряду сигналів знижувального мікшування, які представляють собою результат знижувального мікшування більшої кількості каналів, параметрів для посилення діалогу, причому ці параметри визначені стосовно підмножини ряду каналів, яка включає канали, які містять діалог, причому цю підмножину ряду каналів піддано знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування, і параметрів відновлення, які надають можливість параметричного відновлення каналів, підданих знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; компонент підвищувального мікшування, виконаний з можливістю параметричного підвищувального мікшування підмножини ряду сигналів знижувального мікшування на основі параметрів відновлення з метою відновлення підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу; і компонент посилення діалогу, виконаний з можливістю застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом; і компонент мікшування, виконаний з можливістю піддавання мікшуванню щонайменше одного сигналу з посиленим діалогом з метою надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування.
В цілому друга і третя особливості можуть мати ті самі ознаки і переваги, як і перша особливість.
ІЇ. Наведені для прикладу варіанти здійснення
На фіг. та ї фіг. 16 схематично представлена конфігурація каналів 7.1-4 (відповідно до конфігурації динаміків 7.14-44) з трьома передніми каналами, Г, С, К, двома навколишніми каналами, І 5, К5, двома задніми каналами, ІВ, КВ, чотирма висотними каналами ТЕ, ТЕК,
ТВ, ТВЕ, ї каналом ІЕЕ низькочастотних ефектів. В процесі кодування конфігурації каналів 7.144 канали, як правило, піддають знижувальному мікшуванню, тобто об'єднують в меншу кількість сигналів, які називають сигналами знижувального мікшування. В процесі знижувального мікшування канали можуть бути поєднані різними способами для створення різних конфігурацій знижувального мікшування. На фіг. та представлена перша конфігурація 100а знижувального мікшування 5.1 з сигналами знижувального мікшування Ї, с, г, І5, г5, Ме. Кола на фігурі показують, які канали піддані знижувальному мікшуванню в які сигнали знижувального мікшування. На фіг. 165 представлена друга конфігурація 1006 знижувального мікшування 5.1 з сигналами знижувального мікшування І, с, г, !І, її, Ме. Друга конфігурація 100р. знижувального мікшування 5.1 відрізняється від першої конфігурації 100а знижувального мікшування 5.1 тим, що канали об'єднані в інший спосіб. Наприклад, в першій конфігурації 100а знижувального мікшування канали ЇЇ і ТЕГ піддані знижувальному мікшуванню в сигнал | знижувального мікшування, тоді як в другій конфігурації 100Ю6 знижувального мікшування знижувальному мікшуванню в сигнал | знижувального мікшування піддані канали І, 1/5, ІВ. Конфігурацію знижувального мікшування в даному документі іноді називають схемою знижувального мікшування, яка описує, які канали піддають знижувальному мікшуванню в які сигнали знижувального мікшування. Конфігурація знижувального мікшування, або схема знижувального мікшування, може бути динамічною в тому, що вона може відрізнятись поміж часовими кадрами системи кодування звуку. Наприклад, в деяких часових кадрах може бути використана перша схема 100а знижувального мікшування, тоді як в інших часових кадрах може бути використана друга схема 1006 знижувального мікшування. У випадку динамічної зміни схеми знижувального мікшування кодер може відправляти в декодер дані, які вказують, яка схема знижувального мікшування була використана при здійсненні кодування каналів.
На фіг. 2 представлений декодер 200 для посилення діалогу на відомому рівні техніки. Цей декодер містить три основні компоненти: компонент 202 приймання, компонент 204 підвищувального мікшування, або відновлення, і компонент 206 посилення діалогу (ОЕ).
Декодер 200 належить до типу, який приймає ряд сигналів 212 знижувального мікшування, відновлює повну конфігурацію 218 каналів на основі прийнятих сигналів 212 знижувального мікшування, виконує посилення діалогу стосовно повної конфігурації 218 каналів або, принаймні, її підмножини, і видає повну конфігурацію каналів 220 з посиленим діалогом.
Більш докладно, компонент 202 приймання виконаний з можливістю приймання з кодера потоку 210 даних (який іноді називають бітовим потоком). Потік 210 даних може містити дані різних типів, і компонент 202 приймання може декодувати прийнятий потік 210 даних в дані різних типів. В даному випадку потік даних містить ряд сигналів 212 знижувального мікшування, параметри 214 відновлення і параметри 216 для посилення діалогу.
Компонент 204 підвищувального мікшування потім відновлює повну конфігурацію каналів на основі ряду сигналів 212 знижувального мікшування і параметрів 214 відновлення. Іншими словами, компонент 204 підвищувального мікшування відновлює всі канали 218, які були піддані знижувальному мікшуванню в сигнали 212 знижувального мікшування. Наприклад, компонент 204 підвищувального мікшування на основі параметрів 214 відновлення може параметрично відновлювати повну конфігурацію каналів.
В представленому прикладі сигнали 212 знижувального мікшування відповідають сигналам знижувального мікшування однієї з конфігурацій знижувального мікшування 5.1, представлених на фіг. Та і 1р, а канали 218 відповідають каналам конфігурації каналів 7.14, яка представлена на фіг. Та і 15. Проте зрозуміло, що принципи декодера 200 застосовні й до інших конфігурацій каналів/конфігурацій знижувального мікшування.
Відновлені канали 218 або принаймні підмножину відновлених каналів 218 потім піддають посиленню діалогу за допомогою компонента 206 посилення діалогу. Наприклад, компонент 206 посилення діалогу може виконувати на відновлених каналах 218 або принаймні на підмножині відновлених каналів 218 певну матричну операцію з метою видачі каналів з посиленим діалогом. Така матрична операція, як правило, визначена параметрами 216 посилення діалогу.
Наприклад, компонент 206 посилення діалогу може піддавати посиленню діалогу канали С,
І, К з метою створення каналів Спр, І оє, Коє з посиленим діалогом, тоді як інші канали просто пропускають, як показано на фіг. 2 пунктирними лініями. В такій ситуації параметри посилення діалогу визначені тільки стосовно каналів С, І, ЕК, тобто стосовно підмножини ряду каналів 218.
Наприклад, параметри 216 посилення діалогу можуть визначати матрицю 3х3, яка може бути застосована до каналів С, І, Б. г ВЕ На аа Ота її зе) - тя поз 2 . Й
Аве тля ізз ЛбПза В
Альтернативно канали, не залучені до посилення діалогу, можуть бути пропущені за допомогою матриці посилення діалогу з "1" у відповідних діагональних позиціях і "0" у всіх інших елементах відповідних строк і стовпців.
Свв пі 27» 0 от. 000080 о й
Тов тої йо 0 ота 0 000000 і,
ТЕ, п 011 0000080 о ОРІ ТК
Кк пз йза бот 00000 о0в6о Кк
ТїЕВ по 00 о0 10000000 ЕК 51 о п 00 01000000 5 т ві. о 0 00001000 о0 ов їв 0 п ЕВ. а о ваа1о00о0о05 їн
КУ Ії п о о о 0 поп 1о0009 КУ
ТЕ о 00 00000010 ОР ТЕБК
КЕ 0 0 ЕВ. 0 о виаооо1о КВ
ЕЕ пап пао0опопаоі1 КБЕ
Компонент 206 посилення діалогу може виконувати посилення діалогу згідно з різними способами. Перший спосіб, який в даному документі називають незалежним від каналів параметричним посиленням, представлений на фіг. 3. Посилення діалогу виконують стосовно принаймні підмножини відновлених каналів 218, як правило, каналів, які містять діалог, тут -- каналів І, Е, С. Параметри 216 для посилення діалогу включають набір параметрів для кожного з каналів, які належить посилити. В представленому прикладі набори параметрів представлені параметрами рі, р», рз, які стосуються, відповідно, каналів Г, К, С. В принципі, параметри, які передають в даному способі, представляють відносний внесок діалогу в енергію мікшування для частотно-часової мозаїки в каналі. Крім того, в процесі посилення діалогу бере участь коефіцієнт д підсилення. Коефіцієнт уд підсилення можна виразити як: т д -10:0-1 де б -- коефіцієнт підсилення при посиленні діалогу, виражений в дБ. Коефіцієнт о підсилення при посиленні діалогу може, наприклад, бути введений користувачем, і тому він, як правило, не включений в потік 210 даних, представлений на фіг. 2.
В способі незалежного від каналів параметричного посилення компонент 206 посилення діалогу помножує кожен канал на відповідний йому параметр р; і на коефіцієнт уд підсилення, а потім складає результат з каналом, створюючи канали 220 з посиленим діалогом, тут -- І ов,
Воє, Сов. З використанням матричного представлення це можна записати наступним чином:
Хе - У ваша) віх де А-- матриця, яка містить в якості строк канали 2181, КЕ, С), ХЕ. матриця, яка містить в якості строк канали 220 з посиленим діалогом, Є -- вектор-строка з елементами, відповідними . з дав . параметрам посилення діалогу Рі, М, 3 для кожного каналу, і аівдірі-. діагональна матриця, яка містить на діагоналі елементи ?.
Другий спосіб посилення діалогу, який в даному документі називають багатоканальним передбаченням діалогу, представлений на фіг. 4. В цьому способі компонент 206 посилення діалогу об'єднує декілька каналів 218 в лінійну комбінацію для виконання передбачення сигналу 419 діалогу. Окрім когерентного додавання присутності діалогу в декількох каналах цей підхід може отримувати переваги від віднімання фонового шуму в каналі, який містить діалог, з використанням іншого каналу без діалогу. З цією метою параметри 216 посилення діалогу містять для кожного каналу 218 параметр, який визначає коефіцієнт відповідного каналу при створенні лінійної комбінації. В представленому прикладі параметри 216 посилення діалогу містять параметри рі, рг2, рз, які стосуються, відповідно, каналів Ї, К, С. Як правило, для генерування параметрів передбачення на боці кодера використовують алгоритми оптимізації мінімальної середньоквадратичної похибки (ММ5Е).
Компонент 206 посилення діалогу може потім посилювати, тобто збільшувати, передбачений сигнал 419 діалогу шляхом використання коефіцієнта д підсилення і додавати сигнал з посиленим діалогом до каналів 218 з метою створення каналів 220 з посиленим діалогом. Для додавання сигналу з посиленим діалогом до правильних каналів в правильній просторовій позиції (інакше він не буде посилювати діалог з очікуваним підсиленням) панорамування між трьома каналами передають за допомогою коефіцієнтів представлення, тут - п, г, Із. За умови, що коефіцієнти представлення є такими, що зберігають енергію, тобто тов яті 1 третій коефіцієнт гз представлення можна визначити з перших двох коефіцієнтів так, що:
ІЙ а . та Б 11-76 - КІ, зі че -
З використанням матричного представлення посилення діалогу, виконуване компонентом 206 посилення діалогу в способі багатоканального передбачення діалогу, можна записати наступним чином:
Ха НУРІЕХ або 1 каст рі потр поті рз
Хе Втр 1вд'ст р тр "Х тп т пот ве 1 вдстатрі де І -- матриця тотожного перетворення, Х-- матриця, яка містить в якості строк канали 218 (І, А, С), Хе-- матриця, яка містить в якості строк канали 220 з посиленим діалогом, -- вектор-строка з елементами, які відповідають параметрам Рі, Б, 3 посилення діалогу для кожного каналу, 77 -- вектор-стовпець, який містить в якості елементів коефіцієнти 73, 75, 75 представлення, і 4 -- коефіцієнт підсилення, причому 5 п - 1022-11.
Згідно з третім способом, який називають в даному документі сигнально-параметричним гібридом, компонент 206 посилення діалогу може поєднувати будь-який з першого і другого способів з передачею додаткового звукового сигналу (хвильового сигналу), який представляє діалог. Останній, як правило, кодують з низькою бітовою швидкістю, що призводить до появи добре чутних артефактів при його окремому прослуховуванні. В залежності від властивостей сигналів каналів 218 і діалогу, і від бітової швидкості передачі даних, призначеної для кодування хвильового сигналу діалогу, кодер також визначає параметр змішування, Ус, який вказує, як слід розділяти внески підсилення між параметричним вкладом (з першого або другого способу) і додатковим звуковим сигналом, який представляє діалог.
В сполученні з другим способом посилення діалогу в третьому способі можна записати наступним чином:
Ха -Н'щсач ЯН дос РІХ або 1 дастз трі Яготіб ох 82 ті Вр Вз1сті у
Хвт | Яз' їз ' рі 1 стар» Я сТз' вз щі т й й
Заст ЯзстасТ В 1 дзстз ва ді стз я де йг-- це додатковий звуковий сигнал, який представляє діалог, причому а й ді - ас (1026 - 1), аз - («й (10 - 1).
Для комбінації з незалежним від каналів посиленням (першим способом) звуковий сигнал
Я її г. ї і: т
Яся, який представляє діалог, приймають для кожного каналу 218. В запису хбед, посилення діалогу можна записати наступним чином:
Хе - ді Во в йіад(рі: дз) Х.
На фіг. 5 представлений декодер 500 згідно з наведеними для прикладу варіантами здійснення. Декодер 500 належить до типу, який декодує ряд сигналів знижувального мікшування, які представляють собою результат знижувального мікшування більшої кількості каналів, з метою наступного відтворення. Іншими словами, декодер 500 відрізняється від декодера, представленого на фіг. 2, тим, що він не виконаний з можливістю відновлення повної конфігурації каналів.
Декодер 500 містить компонент 502 приймання і блок 503 посилення діалогу, який містить компонент 504 підвищувального мікшування, компонент 506 посилення діалогу і компонент 508 мікшування.
Як пояснено з посиланням на фіг. 2, компонент 502 приймання приймає потік 510 даних і декодує його на його складові, в даному випадку -- в ряд сигналів 512 знижувального
Зо мікшування, які представляють собою результат знижувального мікшування більшої кількості каналів (пор. фіг. Та і 15), і параметри для посилення 516 діалогу. В деяких випадках потік 510 даних також містить дані, які відображають параметри 522 мікшування. Наприклад, параметри мікшування можуть утворювати частину параметрів для посилення діалогу. В інших випадках параметри 522 мікшування вже є доступними в декодері 500, наприклад, вони можуть бути жорстко запрограмовані в декодері 500. Вінших випадках параметри 522 мікшування є доступними для декількох наборів параметрів мікшування, і дані в потоці 510 даних надають вказівку на те, який набір з цих декількох наборів параметрів мікшування використовують.
Ці параметри для посилення 516 діалогу, як правило, визначені стосовно підмножини ряду каналів. Дані, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу, можна включити в прийнятий потік 510 даних, наприклад, в якості частини параметрів для посилення 516 діалогу. Альтернативно підмножина ряду каналів, стосовно якої визначені параметри для посилення діалогу, може бути жорстко запрограмована в декодері 500. Наприклад, з посиланням на фіг. та, параметри для посилення 516 діалогу можна визначити стосовно каналів Ї, ТЕЇ, підданих знижувальному мікшуванню в сигнал знижувального мікшування, каналу С, який міститься в сигналі знижувального мікшування с, і каналів К, ТЕК, підданих знижувальному мікшуванню в сигнал знижувального мікшування г. З метою ілюстрації припустимо, що діалог є присутнім тільки в каналах І, С і К. Варто відзначити, що параметри для посилення 516 діалогу можна визначити стосовно каналів, які містять діалог, таких як канали Г, С, ЕК, проте можна визначити і стосовно каналів, які не містять діалог, таких як, в даному прикладі, канали ТЕ, ТЕК. Таким чином, фоновий шум в каналі, який містить діалог, можна, наприклад, відняти, використовуючи інший канал без діалогу.
Підмножину каналів, стосовно якої визначені параметри для посилення 516 діалогу, піддають знижувальному мікшуванню в підмножину 512а ряду сигналів 512 знижувального мікшування. В представленому прикладі підмножина 512а сигналів знижувального мікшування містить сигнали знижувального мікшування с, І ї г. Цю підмножину сигналів 512а знижувального мікшування подають в блок 503 посилення діалогу. Відповідну підмножину 512а сигналів знижувального мікшування можна знайти, наприклад, на основі знання підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, і схеми знижувального мікшування.
Компонент 514 підвищувального мікшування використовує для відновлення каналів, підданих знижувальному мікшуванню в підмножину сигналів 512а знижувального мікшування, параметричні методики, відомі в даній галузі техніки. Відновлення грунтується на параметрах 514 відновлення. Зокрема, компонент 504 підвищувального мікшування відновлює підмножину ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу. В деяких варіантах здійснення компонент 504 підвищувального мікшування відновлює тільки підмножину ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу. Ці наведені для прикладу варіанти здійснення будуть описані з посиланням на фіг. 7. В інших варіантах здійснення компонент 504 підвищувального мікшування на додачу до підмножини ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу, відновлює ще щонайменше один канал. Ці наведені для прикладу варіанти здійснення будуть описані з посиланням на фіг. б.
Параметри відновлення можуть бути не тільки змінними в часі, а можуть бути і залежними від частоти. Наприклад, параметри відновлення можуть приймати різні значення для різних смуг частот. Це, як правило, підвищує якість відновлених каналів.
Як відомо в даній галузі техніки, параметричне підвищувальне мікшування, як правило, може включати формування декорельованих сигналів з вхідних сигналів, підданих підвищувальному мікшуванню, і параметрично відновлює сигнали на основі вхідних сигналів і декорельованих сигналів. (Див., наприклад, книгу "Зраїйа! Ацаїо Ргосеззіпд: МРЕС Зйштоцпа апа
ОїШйег Арріїсайопе" авторів дУегоєп Вгеераай і СнНтгізюї Раїіег, ІЗВМ:978-9-470-03350-0). Проте компонент 504 підвищувального мікшування переважно виконує параметричне підвищувальне
Зо мікшування без використання будь-яких таких декорельованих сигналів. Переваги, отримувані при використанні декорельованих сигналів, в даному випадку зменшуються при наступному знижувальному мікшуванні, виконуваному компонентом 508 мікшування. Тому використання декорельованих сигналів переважно може бути пропущене компонентом 504 підвищувального мікшування, завдяки чому зменшується складність обчислень. Фактично використання при підвищувальному мікшуванні декорельованих сигналів в сполученні з посиленням діалогу призводило б до гіршої якості, оскільки воно могло б спричинити реверберацію декорелятора на діалозі.
Компонент 506 посилення діалогу потім застосовує посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу, з метою отримання щонайменше одного сигналу з посиленим діалогом. В деяких варіантах здійснення сигнал з посиленим діалогом відповідає версіям з посиленим діалогом підмножини ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу. Це буде більш докладно пояснено нижче з посиланням на фіг. 6. В інших варіантах здійснення сигнал з посиленим діалогом відповідає передбаченій і посиленій діалоговій складовій з підмножини ряду каналів, стосовно якої визначені параметри для посилення 516 діалогу. Це буде більш докладно пояснено нижче з посиланням на фіг. 7.
Аналогічно параметрам відновлення параметри для посилення діалогу можуть змінюватись в часі, а також з частотою. Більш докладно, параметри для посилення діалогу можуть приймати різні значення для різних смуг частот. Набір смуг частот, стосовно якого визначені параметри відновлення, може відрізнятись від набору смуг частот, стосовно якого визначені параметри посилення діалогу.
Компонент 508 мікшування потім виконує мікшування на основі щонайменше одного сигналу з посиленим діалогом з метою надання версій 520 з посиленим діалогом підмножини 512а сигналів знижувального мікшування. В представленому прикладі версії 520 з посиленим діалогом підмножини 512а сигналів знижувального мікшування мають вид сов, Ірє, Гоє, ЩО відповідає сигналам с, І, г знижувального мікшування, відповідно.
Мікшування може бути виконане згідно з параметрами 522 мікшування, які описують внесок щонайменше одного сигналу з посиленим діалогом в версії 520 з посиленим діалогом підмножини сигналів 512а знижувального мікшування. В деяких варіантах здійснення, див. фіг. 60 б, вказаний щонайменше один сигнал з посиленим діалогом мікшують разом з каналами, які були відновлені компонентом 504 підвищувального мікшування. В цих випадках параметри 522 мікшування можуть відповідати схемі знижувального мікшування, див. фіг. Та і 1р, яка описує, в які з сигналів 520 знижувального мікшування з посиленим діалогом слід мікшувати кожен канал.
В інших варіантах здійснення, див. фіг. 7, вказаний щонайменше один сигнал з посиленим діалогом мікшують разом з підмножиною 512а сигналів знижувального мікшування. В цьому випадку параметри 522 мікшування можуть відповідати ваговим коефіцієнтам, які описують, як в підмножині 512а сигналів знижувального мікшування слід зважувати щонайменше один сигнал з посиленим діалогом.
Операція підвищувального мікшування, виконувана компонентом 504 підвищувального мікшування, операція посилення діалогу, виконувана компонентом 506 посилення діалогу, і операція мікшування, виконувана компонентом 508 мікшування, як правило, представляють собою лінійні операції, кожну з яких можна визначити за допомогою матричної операції, тобто за допомогою добутку матриці і вектора. Це є істинним, принаймні, якщо в операції підвищувального мікшування не використовують сигнали декорелятора. Зокрема, матриця, пов'язана з операцією (а підвищувального мікшування, визначається/може бути отримана з параметрів 514 відновлення. Стосовно цього варто відзначити, що використання сигналів декорелятора в операції підвищувального мікшування зрештою є можливим, проте створення декорельованих сигналів тоді не є частиною матричної операції для підвищувального мікшування. Операцію підвищувального мікшування з декореляторами можна розглядати як двоетапний підхід. На першому етапі вхідні сигнали знижувального мікшування подають на матрицю попереднього декорелятора, і кожен з вихідних сигналів після застосовування матриці попереднього декорелятора подають на декорелятор. На другому етапі вхідні сигнали знижувального мікшування і вихідні сигнали з декореляторів подають на матрицю підвищувального мікшування, де коефіцієнти матриці підвищувального мікшування, які відповідають вхідним сигналам знижувального мікшування, утворюють те, що називають "матрицею сухого підвищувального мікшування", а коефіцієнти, які відповідають вихідним сигналам з декореляторів, утворюють те, що називають "матрицею вологого підвищувального мікшування". Кожна підматриця відображається в конфігурацію каналів підвищувального мікшування. Коли сигнали декорелятора не використовують, матриця, пов'язана з операцією підвищувального мікшування, виконана з можливістю дії тільки стосовно вхідних сигналів 512а, а стовпці, які стосуються декорельованих сигналів (матриці вологого підвищувального мікшування), до матриці не включають. Іншими словами, матриця підвищувального мікшування в цьому випадку відповідає матриці сухого підвищувального мікшування. Проте, як відзначено вище, використання сигналів декорелятора в цьому випадку буде, як правило, призводити до гіршої якості.
Матриця, пов'язана з операцією (МУ посилення діалогу, визначається/може бути отримана з параметрів для посилення 516 діалогу, а матриця, пов'язана з операцією ща. мікшування, визначається/може бути отримана з параметрів 522 мікшування.
Оскільки операція підвищувального мікшування, операція посилення діалогу і операція мікшування всі є лінійними операціями, відповідні матриці можуть бути об'єднані, за допомогою матричного множення, в єдину матрицю Е (тоді ХрЕ ЕС Х причому Е - СА, Тут Х -- вектор-стовпець сигналів 512а знижувального мікшування, і Хвк -- вектор-стовпець сигналів 520 знижувального мікшування з посиленням діалогу. Таким чином, весь блок 503 посилення діалогу може відповідати єдиній матричній операції, застосовуваній до підмножини 512а сигналів знижувального мікшування з метою отримання версій 520 з посиленим діалогом вказаної підмножини 512а сигналів знижувального мікшування. Відповідно, способи, описані в даному документі, можна реалізувати надзвичайно ефективним чином.
На фіг. 6 представлений декодер 600, який відповідає одному з наведених для прикладу варіантів здійснення декодера 500, представленого на фіг. 5. Декодер 600 містить компонент 602 приймання, компонент 604 підвищувального мікшування, компонент 606 посилення діалогу і компонент 608 мікшування.
Аналогічно декодеру 500, представленому на фіг. 5, компонент 602 приймання приймає потік 610 даних і декодує його в ряд сигналів 612 знижувального мікшування, параметри 614 відновлення і параметри для посилення 616 діалогу.
Компонент 604 підвищувального мікшування приймає підмножину 612а (яка відповідає підмножині 512а) ряду сигналів 612 знижувального мікшування. Для кожного з сигналів знижувального мікшування в підмножині 612а компонент 604 підвищувального мікшування відновлює всі канали, які були піддані знижувальному мікшуванню в цьому сигналі знижувального мікшування (Хе - СХ), Це включає канали 618а, стосовно яких визначені параметри для посилення діалогу, і канали 618Б, які не потрібно долучати до посилення діалогу. З посиланням на фіг. 165, канали 6б18а, стосовно яких визначені параметри для посилення діалогу, можуть, наприклад, відповідати каналам Г, І 5, С, К, К5, а канали 6186, які не потрібно долучати до посилення діалогу, можуть відповідати каналам І В, КВ.
Канали 618а, стосовно яких визначені параметри для посилення діалогу С, потім піддають посиленню діалогу за допомогою компонента 606 посилення діалогу (Я. - М. Хі тоді як канали 6186, які не потрібно долучати до посилення діалогу СХ, обходять компонент 606 посилення діалогу.
Компонент 606 посилення діалогу може використовувати будь-який з першого, другого і третього способів посилення діалогу, описаних вище. В разі використання третього способу потік 610 даних може, як пояснено вище, містити звуковий сигнал, який представляє діалог (тобто кодований хвильовий сигнал, який представляє діалог), який належить використати при посиленні діалогу разом с підмножиною 618а ряду каналів, стосовно якої визначені параметри для посилення діалогу
Ще р.а у - дж. (х.-м ТО
В результаті компонент 606 посилення діалогу видає сигнали 619 з посиленим діалогом, які в даному випадку відповідають версіям з посиленим діалогом підмножини 618а каналів, стосовно якої визначені параметри для посилення діалогу. Для прикладу, сигнали 619 з посиленим діалогом можуть відповідати версіям з посиленим діалогом каналів І, І 5, С, К, К5, представлених на фіг. 16.
Компонент 608 мікшування потім мікшує сигнали 619 з посиленим діалогом разом з їв Хе ! | | (Хр С хг) каналами 618р, які не були долучені до посилення діалогу "» зі" з метою отримання версій 620 з посиленим діалогом підмножини 612а сигналів знижувального мікшування. Компонент 608 мікшування виконує мікшування згідно з поточною схемою знижувального мікшування, такою як схема знижувального мікшування, представлена на фіг. 15. В цьому випадку параметри 622 мікшування, таким чином, відповідають схемі знижувального мікшування, яка описує, в який сигнал 620 знижувального мікшування слід мікшувати кожний канал 619, 6186. Схема знижувального мікшування може бути статичною і
Зо через це відомою декодеру 600, що означає, що завжди використовують одну й ту саму схему знижувального мікшування, або ж схема знижувального мікшування може бути динамічною, що означає, що вона може змінюватись від кадру до кадру, або вона може представляти собою одну з декількох схем, відомих в декодері. В останньому випадку в потік 610 даних включають вказівку стосовно схеми знижувального мікшування.
На фіг. 6 декодер обладнаний необов'язковим компонентом 630 перемикання. Компонент 630 перемикання може бути використаний для переходу між різними схемами знижувального мікшування, наприклад, для переходу від схеми 1006 до схеми 100ба. Варто відзначити, що компонент 630 перемикання, як правило, залишає без змін сигнали с і Ме, тобто стосовно цих сигналів він діє як транзитний компонент. Компонент 630 перемикання може виконувати приймання і діяти (не показано) на основі різних параметрів, таких як, наприклад, параметри 614 відновлення і параметри для посилення 616 діалогу.
На фіг. 7 представлений декодер 700, який відповідає одному з наведених для прикладу варіантів здійснення декодера 500, представленого на фіг. 5. Декодер 700 містить компонент 702 приймання, компонент 704 підвищувального мікшування, компонент 706 посилення діалогу і компонент 708 мікшування.
Аналогічно декодеру 500, представленому на фіг. 5, компонент 702 приймання приймає потік 710 даних і декодує його в ряд сигналів 712 знижувального мікшування, параметри 714 відновлення і параметри для посилення 716 діалогу.
Компонент 704 підвищувального мікшування приймає підмножину 712а (яка відповідає підмножині 512а) ряду сигналів 712 знижувального мікшування. На відміну від варіанту здійснення, описаного стосовно фіг. б, компонент 704 підвищувального мікшування відновлює лише підмножину 718а ряду каналів, стосовно якої визначені параметри для посилення 716 діалогу ( у ой З посиланням на фіг. 160, канали 718а, стосовно яких визначені параметри для посилення діалогу, можуть, наприклад, відповідати каналам С, І, І 5, К, К5.
Компонент 706 посилення діалогу потім виконує посилення діалогу на каналах 718а, стосовно яких визначені параметри для посилення діалогу (Ха - Ме: Хі В цьому випадку компонент 706 посилення діалогу приступає до передбачення діалогової складової на основі каналів 7184 шляхом формування лінійної комбінації каналів 718а згідно з другим способом посилення діалогу. Коефіцієнти, використовувані при формуванні цієї лінійної комбінації, позначені на фіг. 7 як рі---ро5, містяться в параметрах для посилення 716 діалогу. Передбачену діалогову складову потім піддають посиленню шляхом множення на коефіцієнт д підсилення для отримання сигналу 719 з посиленим діалогом. Коефіцієнт д підсилення можна виразити як:
Ге д - 1028-11 де сб -- коефіцієнт підсилення при посиленні діалогу, виражений в дБ. Коефіцієнт о підсилення при посиленні діалогу може, наприклад, бути введений користувачем, і тому він, як правило, не включений в потік 710 даних. Варто відзначити, що в випадку, коли існує декілька діалогових складових, описана вище процедура здійснення передбачення і посилення може бути застосована один раз для кожної діалогової складової.
Передбачений сигнал 719 з посиленим діалогом (тобто передбачені і піддані посиленню діалогові складові) потім мікшують в підмножину 712а сигналів знижувального мікшування з метою отримання версій 720 з посиленим діалогом підмножини 712а сигналів знижувального бокс) мікшування СЕ Х / Мікшування виконують згідно з параметрами 722 мікшування, які описують внесок сигналу 719 з посиленим діалогом в версії 720 з посиленим діалогом підмножини сигналів знижувального мікшування. Параметри мікшування, як правило, містяться в потоці 710 даних. В цьому випадку параметри 722 мікшування відповідають ваговим коефіцієнтам г", г2, їз, які описують, як в підмножину 712а сигналів знижувального мікшування слід зважувати щонайменше один сигнал 719 з посиленим діалогом: т т- 100 іо
Хрв - Х Е "Ха - Е 01 | м
ТЗ Кк ) ше
Ка Ка 0 й 1 Хі
Більш докладно, вагові коефіцієнти можуть відповідати коефіцієнтам представлення, які описують панорамування щонайменше одного сигналу 719 з посиленим діалогом стосовно підмножини 712а сигналів знижувального мікшування, так що сигнал 719 з посиленим діалогом додають до сигналів 712а знижувального мікшування в правильних просторових позиціях.
Коефіцієнти представлення (параметри 722 мікшування) в потоці 710 даних можуть відповідати каналам 718а, підданим підвищувальному мікшуванню. В представленому прикладі є п'ять каналів 718а, підданих підвищувальному мікшуванню, і, таким чином, може бути п'ять відповідних коефіцієнтів представлення гс1, гс2,..., по5. Значення І1, г2, гЗ (що відповідає сигналам 712а знижувального мікшування) можуть потім бути обчислені з гс1, гс2,..., го5 в сполученні зі схемою знижувального мікшування. Якщо одному і тому ж сигналу 712а знижувального мікшування відповідає декілька каналів 718а, то коефіцієнти представлення діалогу можуть бути підсумовані. Наприклад, в представленому прикладі виходить, що г1:2гсС1, г2го2ягоЗ3, і г3-гс4-го5. У випадку, якщо знижувальне мікшування каналів було виконане з використанням коефіцієнтів знижувального мікшування, це також може бути зважене підсумовування.
Варто відзначити, що в даному випадку компонент 706 посилення діалогу може також використовувати додатково прийнятий звуковий сигнал, який представляє діалог. В такому випадку передбачений сигнал 719 з посиленим діалогом може бути зважений разом із звуковим сигналом, який представляє діалог, перед подачею в компонент 708 мікшування
Са - (1 - ай Ма Ха бо Відповідне зважування забезпечується параметром Ус змішування, включеним до параметрів для посилення 716 діалогу. Параметр Ус змішування вказує, як слід розділяти внески підсилення між передбаченою діалоговою складовою 719 (описаною вище) і додатковим звуковим сигналом, який представляє діалог Ос.
Це аналогічно тому, що було описано стосовно третього способу посилення діалогу при його сполученні з другим способом посилення діалогу.
На фіг, 7 декодер обладнаний необов'язковим компонентом 730 перемикання.
Компонент 730 перемикання може бути використаний для переходу між різними схемами знижувального мікшування, наприклад, для переходу від схеми 1006 до схеми 100а. Варто відзначити, що компонент 730 перемикання, як правило, залишає без змін сигнали с і Ме, тобто стосовно цих сигналів він діє як транзитний компонент. Компонент 730 перемикання може виконувати приймання і діяти (не показано) на основі різних параметрів, таких як, наприклад, параметри 714 відновлення і параметри для посилення 716 діалогу.
Наведене вище було головним чином пояснено стосовно конфігурації каналів 7.14 і конфігурації знижувального мікшування 5.1. Проте слід розуміти, що принципи декодерів і способів декодування, описані в даному документі, рівною мірою застосовні і до інших конфігурацій каналів і знижувального мікшування.
Фіг. 8 представляє собою ілюстрацію кодера 800, який може бути використаний для кодування ряду каналів 818, деякі з яких містять діалог, з метою отримання потоку 810 даних для передачі в декодер. Кодер 800 можна використовувати з будь-яким з декодерів 200, 500, 600, 700. Кодер 800 містить компонент 805 знижувального мікшування, компонент 806 кодування посилення діалогу, компонент 804 параметричного кодування і компонент 802 передачі.
Кодер 800 приймає ряд каналів 818, наприклад, канали з конфігурацій 100а, 1006 каналів, представлених на фіг. Та їі 165.
Компонент 805 знижувального мікшування виконує знижувальне мікшування ряду каналів 818 в ряд сигналів 812 знижувального мікшування, які потім подають в компонент 802 передачі для включення в потік 810 даних. Ряд каналів 818 можна, наприклад, піддати знижувальному мікшуванню згідно зі схемою знижувального мікшування, такою як схема, представлена на фіг. 1а або на фіг. 1р.
Ряд каналів 818 і сигнали 812 знижувального мікшування вводять в компонент 804 параметричного кодування. На основі своїх вхідних сигналів компонент 804 параметричного кодування обчислює параметри 814 відновлення, які дають можливість відновлення каналів 818 з сигналів 812 знижувального мікшування. Параметри 814 відновлення можуть бути обчислені, наприклад, з використанням алгоритмів оптимізації мінімальної середньоквадратичної похибки (ММ5Е), як відомо в даній галузі техніки. Параметри 814 відновлення потім подають в компонент 802 передачі для включення в потік 810 даних.
Компонент 806 кодування посилення діалогу обчислює параметри для посилення 816 діалогу на основі одного або більше з ряду каналів 818 і одного або більше сигналів 813 діалогу. Сигнали 813 діалогу представляють діалог в чистому вигляді. Зокрема, діалог є вже мікшованим в один або більше каналів 818. В каналах 818, таким чином, може бути одна або більше діалогових складових, які відповідають сигналам 813 діалогу. Як правило, компонент 806 кодування посилення діалогу обчислює параметри для посилення 816 діалогу з використанням алгоритмів оптимізації мінімальної середньоквадратичної похибки (ММ5Е). Ці алгоритми можуть надати параметри, які дозволяють передбачати сигнали 813 діалогу зважаючи на деякі з ряду каналів 818. Ці параметри для посилення 816 діалогу можуть, таким чином, бути визначені стосовно підмножини ряду каналів 818, а саме стосовно тих, з яких можна передбачити сигнали 813 діалогу. Параметри для передбачення 816 діалогу подають в компонент 802 передачі для включення в потік 810 даних.
На завершення, потік 810 даних, таким чином, принаймні містить ряд сигналів 812 знижувального мікшування, параметри 814 відновлення і параметри для посилення 816 діалогу.
Під час нормальної роботи декодера значення параметрів різних типів (таких як параметри для посилення діалогу або параметри відновлення) неодноразово приймаються декодером з певними частотами. Якщо частоти, з якими приймають значення різних параметрів, нижче ніж частота, з якою потрібно обчислювати вихід з декодера, то значення параметрів може бути необхідно інтерполювати. Якщо відомо, що значення узагальненого параметра Р в точках пі
Ї2 в часі дорівнює, відповідно, КУ213 і Рі: то значення ра) цього параметра в проміжний момент часу її БВ З 2 можна обчислити, використовуючи різні схеми інтерполяції. Один приклад такої схеми, яку в даному документі називають лінійною схемою інтерполяції, може обчислювати проміжне значення з використанням лінійної інтерполяції, наприклад рі) - ра) ЇрРС:) ро 13/К2: - 13), |нша схема, яку в даному документі називають кусково-постійною схемою інтерполяції, може замість цього включати підтримування значення параметра прив'язаним до одного з відомих значень протягом всього інтервалу часу, наприклад, РО) - в) або РК) - (22) або до комбінації відомих значень, такої як, наприклад, середнє значення во) - Гр) раз ЛИ, Інформацію про те, яку зі схем інтерполяції необхідно використовувати для певного типу параметрів протягом певного проміжку часу, можна включити в декодер або надати в декодер різними способами, як,
наприклад, разом з самими параметрами або в якості додаткової інформації, яка міститься в прийнятому сигналі.
В одному з ілюстративних прикладів декодер приймає значення параметрів для параметрів першого і другого типу. Прийняті значення параметрів кожного типу є точно застосовними, відповідно, в першій (Т1-4И11, 72, М3, ...)3) ії другій (Т2-421, 122, 123, ...)) множинах моментів часу, і декодер також має доступ до інформації про те, як слід інтерполювати значення параметрів кожного типу у випадку, коли значення необхідно оцінити в момент часу, відсутній у відповідній множині. Значення параметрів управляють кількісними властивостями математичних операцій над сигналами, і ці операції можуть, наприклад, бути представлені у вигляді матриць. В наступному прикладі припускають, що операція, керована параметрами першого типу, представлена першою матрицею А, операція, керована параметрами другого типу, представлена другою матрицею В, і в даному прикладі терміни "операція" і "матриця" можуть бути використані взаємозамінним чином. В момент часу, в який необхідно обчислити вихідне значення з декодера, необхідно обчислити об'єднану операцію обробки даних, яка відповідає композиції обох операцій. Також припускають, що матриця А представляє собою операцію підвищувального мікшування (керовану параметрами відновлення), і що матриця В представляє собою операцію застосування посилення діалогу (керовану параметрами для посилення діалогу), і тоді, відповідно, об'єднана операція обробки підвищувального мікшування з наступним посиленням діалогу представлена матричним добутком ВА.
Способи обчислення об'єднаних операцій обробки представлені на фіг. За--9е, де час проходить вздовж горизонтальної осі, а поділки осі вказують моменти часу, в які необхідно обчислити об'єднану операцію обробки (моменти часу виводу). На фігурах трикутники відповідають матриці А (яка представляє операцію підвищувального мікшування), кола -- матриці В (яка представляє операцію використання посилення діалогу), а квадрати -- матриці
ВА об'єднаної операції (яка представляє об'єднану операцію підвищувального мікшування з наступним посиленням діалогу). Зафарбовані трикутники і кола вказують на те, що відповідна матриця є точно відомою (тобто що точно відомі параметри, які управляють операцією, яку представляє матриця) у відповідний момент часу, тоді як незафарбовані трикутники і кола вказують на те, що значення відповідної матриці є передбаченим, або інтерпольованим
Зо (наприклад, з використанням будь-якої з описаних вище схем інтерполяції). Зафарбований квадрат вказує на те, що матриця ВА об'єднаної операції була обчислена, у відповідний момент часу, наприклад, матричним добутком матриць А і В, а незафарбований квадрат вказує на те, що значення ВА було інтерпольоване з більш раннього моменту часу. Крім того, пунктирні стрілки вказують, між якими моментами часу виконується інтерполяція. Нарешті, суцільна горизонтальна лінія, яка поєднує моменти часу, вказує, що значення матриці в даному інтервалі припускають кусково-постійним.
На фіг. 9а представлений спосіб обчислення об'єднаної операції ВА обробки, яка не передбачає використання даного винаходу. Прийняті значення для операцій А і В точно застосовні в моменти часу, відповідно, 111, 121 їі 42, 122, і для обчислення матриці об'єднаної операції обробки в кожний момент часу виводу цей спосіб інтерполює кожну з матриць окремо.
Для виконання кожного кроку вперед в часі матрицю, яка представляє об'єднану операцію обробки, обчислюють як добуток передбачених значень А і В. Тут припускають, що кожну матрицю належить інтерполювати з використанням лінійної схеми інтерполяції. Якщо матриця А містить М" строк і НІ стовпців, а матриця В містить М строк і А" стовпців, то кожний крок вперед в часі вимагав би ОМ) операцій множення на кожний набір параметрів (для виконання матричного множення, необхідного для обчислення матриці ВА об'єднаної обробки). Тому висока щільність моментів часу виводу і/або більша кількість наборів параметрів створює ризик (через відносно високу обчислювальну складність операції множення в порівнянні з операцією додавання) висування високих вимог до обчислювальних ресурсів. Для зменшення обчислювальної складності можна використати альтернативний спосіб, представлений на фіг. 9р. Шляхом обчислення об'єднаної операції обробки (наприклад, виконання матричного множення) тільки в ті моменти часу, коли значення параметрів змінюються (тобто коли прийняті значення застосовні точно, в И11, 121 і 12, 122), замість інтерполяції матриць А і В окремо можна інтерполювати безпосередньо матрицю ВА об'єднаної операції обробки. Таким чином, якщо операції представлені матрицями, то кожен крок вперед в часі (між моментами часу, в які змінюються точні значення параметрів) вимагатиме лише ОМ) операцій (для складання матриць) на кожен набір параметрів, і зменшена складність обчислення накладатиме менші вимоги на обчислювальні ресурси. Також, якщо матриці А і В є такими, що
М» М х МУСМ М). то матриця, яка представляє об'єднану операцію ВА обробки, буде містити менше елементів, ніж їх знаходиться в окремих матрицях А і В разом. Однак спосіб інтерполяції матриці ВА буде прямо вимагати, щоб як А, так і В були відомими в одні й ті самі моменти часу. Якщо моменти часу, для яких визначено А (принаймні частково), відрізняються від моментів часу, для яких визначено В, то потрібен удосконалений спосіб інтерполяції. Такий удосконалений спосіб згідно з наведеними для прикладу варіантами здійснення даного винаходу представлений на фіг. 9с--9е. В поєднанні з обговоренням фіг. За--9е, для простоти припускають, що матриця ВА об'єднаної операції обробки обчислюється як добуток окремих матриць А ії В, кожна з яких була згенерована на основі (прийнятих або передбачених/інтерпольованих) значень параметрів. В інших ситуаціях може бути рівною мірою або більш переважно обчислювати операцію, яку представляє матриця ВА, безпосередньо із значень параметрів без проходження через представлення у вигляді двох матричних множників. В комбінації з будь-якою з методик, представлених на фіг. 9с--ое, кожний з цих підходів підпадає під обсяг даного винаходу.
На фіг. 9с представлена ситуація, в якій набір Т1 моментів часу для параметра, який відповідає матриці А, включає значення 112 часу, відсутні в наборі Т2 (моменти часу для параметра, який відповідає матриці В). Обидві матриці необхідно інтерполювати з використанням лінійної схеми інтерполяції і даний спосіб визначає момент (ір-На2 передбачення, для якого необхідно передбачити значення матриці В (наприклад, с використанням інтерполяції). Після того, як це значення було знайдене, шляхом перемноження
А ії В можна обчислити значення матриці ВА об'єднаної операції обробки в момент ір. В продовження спосіб обчислює значення ВА в суміжний момент часу 14-11, а потім інтерполює
ВА між із і їр. Спосіб також може за необхідності обчислювати значення ВА в інший суміжний момент часу 14-13 і інтерполювати ВА від їр до їз. И хоча вимагається додаткове матричне множення (в момент ір-ї12), спосіб дозволяє інтерполювати матрицю ВА об'єднаної операції обробки прямо, все ж зменшуючи обчислювальну складність в порівнянні, наприклад, зі способом, представленим на фіг. З9а. Як заявлено вище, об'єднану операцію обробки альтернативно можна обчислити безпосередньо З (прийнятих або передбачених/інтерпольованих) значень параметрів, а не як добуток двох матриць в явному вигляді, які, в свою чергу, залежать від значень відповідних параметрів.
В попередньому випадку тільки тип параметрів, який відповідає А, мав моменти часу, які не знаходились серед моментів часу типу параметрів, який відповідає В. На фіг. 9а представлена відмінна ситуація, в якій момент 112 часу є відсутнім в наборі 12, і в якій момент часу 122 є відсутнім в наборі Т1. Якщо значення ВА потрібно обчислити в проміжний момент часу ї" між 72 і 122, то спосіб може передбачати як значення В в момент їр-й2, так і значення А в момент 143-422. Після обчислення матриці ВА об'єднаної операції обробки в обидва моменти часу ВА можна інтерполювати, щоб знайти її значення в момент !". В цілому, спосіб виконує множення матриць тільки в моменти часу, коли змінюються значення параметрів (тобто в моменти часу в наборах Т1 і Т2, коли прийняті значення є точно застосовними). В проміжках інтерполяція об'єднаної операції обробки вимагає лише матричних складань, які мають меншу обчислювальну складність, ніж множення.
В наведених вище прикладах припускали, що всі схеми інтерполяції є лінійними. На фіг. Уе представлений спосіб інтерполяції в якому параметри спочатку необхідно інтерполювати з використанням інших схем. На цій фігурі значення параметра, який відповідає матриці А, підтримують кусково-постійними до моменту часу М12, в якому значення різко змінюються. Якщо значення параметрів приймають на покадровій основі, то кожний кадр може нести сигнали, які вказують момент часу, в який прийняте значення є застосовним точно. В цьому прикладі параметр, який відповідає В, прийняв тільки значення, застосовні точно в моменти 121 і 122, Її спосіб може спочатку передбачити значення В в момент часу ір, який безпосередньо передує моменту 112. Після обчислення матриці ВА об'єднаної операції обробки в моменти іб і 1-1 матрицю ВА можна інтерполювати між їз і ів. Потім спосіб може передбачити значення В в новий момент ір-Н12 передбачення, обчислити значення ВА в моменти ір і ї-4-122 і інтерполювати ВА безпосередньо між ір і ї3. И знову операція ВА об'єднаної обробки була інтерпольована на всьому інтервалі, і її значення було знайдене у всі моменти часу виводу. В порівнянні з більш ранньою ситуацією, представленою на фіг. да, де А і В були б інтерпольовані окремо, а ВА обчислена шляхом множення А і В в кожний момент часу виводу, вимагається менша кількість матричних множень, і обчислювальна складність зменшується.
Еквіваленти, розширення, альтернативи й інше
Додаткові варіанти здійснення даного опису будуть очевидні для спеціаліста в даній галузі техніки після вивчення опису, наведеного вище. Незважаючи на те, що даний опис і графічні бо матеріали розкривають варіанти здійснення і приклади, розкриття не обмежене даними конкретними прикладами. Можливі численні модифікації і зміни в межах обсягу даного розкриття, визначеного формулою винаходу, яка додається. Будь-які знаки посилань, які зустрічаються в формулі винаходу, не слід розглядати як такі, що обмежують її обсяг.
Крім того, після вивчення графічних матеріалів, опису і прикладеної формули винаходу спеціаліст може зрозуміти і здійснити зміни розкритих варіантів здійснення. В формулі винаходу термін "який містить" не виключає інших елементів або етапів, і форма однини не виключає множини. Сам факт, що деякі ознаки згадані у взаємно відмінних пунктах формули винаходу, не свідчить про те, що не можна з перевагою використати комбінацію цих ознак.
Системи і способи, розкриті вище, можуть бути здійснені в вигляді програмного забезпечення, програмно-апаратного забезпечення, апаратного забезпечення або їх комбінації.
При здійсненні в вигляді апаратного забезпечення поділ задач між функціональними вузлами, про які йшла мова в наведеному вище описі, не обов'язково відповідає поділу на фізичні вузли; навпаки, один фізичний компонент може виконувати декілька функцій, а одна задача може бути виконана декількома фізичними компонентами у взаємодії. Деякі компоненти або всі компоненти можуть бути здійснені в вигляді програмного забезпечення, виконуваного процесором цифрових сигналів або мікропроцесором, або бути здійснені в вигляді апаратного забезпечення або у вигляді спеціалізованої інтегральної мікросхеми. Таке програмне забезпечення може бути розповсюджене на машинопрочитуваних носіях, які можуть включати комп'ютерні носії інформації (або постійні носії) і засоби зв'язку (або тимчасові носії). Як добре відомо спеціалісту в даній галузі техніки, термін "комп'ютерні носії інформації" включає енергонезалежні і енергозалежні, знімні і незнімні носії, реалізовані будь-яким способом або технологією для зберігання інформації, такої як машинопрочитувані команди, структури даних, програмні модулі або інші дані. Комп'ютерні носії інформації включають, проте без обмеження,
ОЗП, ПЗП, ЕСППЗП, флеш-пам'ять або іншу технологію пам'яті, компакт-диски, універсальні цифрові диски (ОМ) або інші оптичні диски для зберігання інформації, магнітні касети, магнітну стрічку, магнітний диск для зберігання інформації або інші магнітні пристрої для зберігання інформації, або будь-який інший носій, який може бути використаний для зберігання необхідної інформації і який може бути доступним за допомогою комп'ютера. Крім того, як добре відомо спеціалісту в даній галузі техніки, засоби зв'язку, як правило, втілюоють машинопрочитувані команди, структури даних, програмні модулі або інші дані в модульованому сигналі даних, такому як хвиля-носій або інший механізм передачі даних, і включають будь-які засоби доставки інформації.

Claims (29)

ФОРМУЛА ВИНАХОДУ
1. Спосіб посилення діалогу в декодері аудіосистеми, який включає етапи: приймання ряду сигналів знижувального мікшування, які являють собою результат знижувального мікшування більшої кількості каналів; приймання параметрів для посилення діалогу, причому ці параметри визначені стосовно підмножини ряду каналів, яка включає канали, які містять діалог, причому цю підмножину ряду каналів піддано знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; приймання параметрів відновлення, які надають можливість параметричного відновлення каналів, підданих знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; параметричного підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування на основі параметрів відновлення з метою відновлення тільки підмножини ряду каналів, яка містить підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу; застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом; і надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування шляхом мікшування щонайменше одного сигналу з посиленим діалогом із щонайменше одним іншим сигналом.
2. Спосіб за п. 1, який відрізняється тим, що на етапі параметричного підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування декорельовані сигнали не використовують з метою відновлення тільки підмножини ряду каналів, яка містить підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу.
З. Спосіб за п. 1, який відрізняється тим, що мікшування виконують згідно з параметрами мікшування, які описують внесок щонайменше одного сигналу з посиленим діалогом в версії з посиленим діалогом підмножини ряду сигналів знижувального мікшування.
4. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що етап параметричного підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування включає відновлення щонайменше одного додаткового каналу окрім ряду каналів, стосовно яких визначені параметри для посилення діалогу, і при цьому мікшування включає мікшування щонайменше одного додаткового каналу разом з щонайменше одним сигналом з посиленим діалогом.
5. Спосіб за будь-яким з пп. 1-3, який відрізняється тим, що етап параметричного підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування включає відновлення тільки підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, причому етап застосування посилення діалогу включає здійснення передбачення і посилення діалогової складової з підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом, і причому мікшування включає мікшування щонайменше одного сигналу з посиленим діалогом з підмножиною ряду сигналів знижувального мікшування.
6. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що додатково включає: приймання звукового сигналу, який представляє діалог, при цьому етап застосування посилення діалогу включає застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з додатковим використанням звукового сигналу, який представляє діалог.
7. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що додатково включає приймання параметрів мікшування для мікшування щонайменше одного сигналу з посиленим діалогом із щонайменше одним іншим сигналом.
8. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що включає приймання параметрів мікшування, які описують схему знижувального мікшування, яка описує, в який Зо сигнал знижувального мікшування мікшований кожен з ряду каналів.
9. Спосіб за п. 8, який відрізняється тим, що схема знижувального мікшування змінюється з часом.
10. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що додатково включає приймання даних, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу.
11. Спосіб за п. 10, причому з залежністю від п. 8 або п. 9, який відрізняється тим, що дані, які ідентифікують підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу, використовують разом зі схемою знижувального мікшування для знаходження підмножини ряду сигналів знижувального мікшування, в яку виконане знижувальне мікшування підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу.
12. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що етапи підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування, застосування посилення діалогу і мікшування виконують як матричні операції, визначені, відповідно, параметрами відновлення, параметрами для посилення діалогу і параметрами мікшування.
13. Спосіб за п. 12, який відрізняється тим, що додатково включає об'єднання шляхом матричного множення матричних операцій, які відповідають етапам підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування, застосування посилення діалогу і мікшування в єдину матричну операцію перед застосуванням до підмножини ряду сигналів знижувального мікшування.
14. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що параметри посилення діалогу і параметри відновлення є залежними від частоти.
15. Спосіб за п. 14, який відрізняється тим, що параметри для посилення діалогу визначають стосовно першого набору смуг частот, а параметри відновлення визначають стосовно другого набору смуг частот, при цьому другий набір смуг частот відрізняється від першого набору смуг частот.
16. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що: значення параметрів для посилення діалогу приймають неодноразово та пов'язують їх з першим набором моментів часу (Т1-ЩН1, М2, М3,...3), в яких відповідні значення є точно застосовними, і причому між послідовними моментами часу необхідно виконувати наперед визначену першу схему інтерполяції (11); і значення параметрів відновлення приймають неодноразово та пов'язують їх з другим набором моментів часу (Т2-121, 122, 123,...3У), в яких відповідні значення є точно застосовними, причому між послідовними моментами часу необхідно виконувати наперед визначену другу схему інтерполяції (12), при цьому спосіб додатково включає: здійснення вибору типу параметрів, які являють собою або параметри для посилення діалогу, або параметри відновлення, таким чином, що набір моментів часу, пов'язаний з вибраним типом, містить щонайменше один момент передбачення, який являє собою момент часу (р), відсутній в наборі, пов'язаному з невибраним типом; здійснення передбачення значення параметрів невибраного типу в момент (Ір) передбачення; обчислення на основі щонайменше одного передбаченого значення параметрів невибраного типу і прийнятого значення параметрів вибраного типу об'єднаної операції обробки, яка являє собою принаймні підвищувальне мікшування тільки підмножини сигналів знижувального мікшування з наступним посиленням діалогу в момент (Ір) передбачення; і обчислення на основі принаймні значення параметрів вибраного типу і значення параметрів невибраного типу, причому щонайменше одне з вказаних значень являє собою прийняте значення, вказаної об'єднаної операції обробки в суміжний момент часу (їз) в наборі, пов'язаному з вибраним чи невибраним типом, причому вказані етапи підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування і застосування посилення діалогу виконують між моментом (р) передбачення і суміжним моментом часу (їз) за допомогою інтерпольованого значення обчисленої об'єднаної операції обробки.
17. Спосіб за п. 16, який відрізняється тим, що параметрами вибраного типу є параметри відновлення.
18. Спосіб за п. 16 або п. 17, який відрізняється тим, що є вірним одне з наступного: вказану об'єднану операцію обробки в суміжний момент часу (їз) обчислюють на основі прийнятого значення параметрів вибраного типу і передбаченого значення параметрів Зо невибраного типу; вказану об'єднану операцію обробки в суміжний момент часу (їз) обчислюють на основі передбаченого значення параметрів вибраного типу і прийнятого значення параметрів невибраного типу.
19. Спосіб за п. 16 або п. 17, який відрізняється тим, що вказану об'єднану операцію обробки в суміжний момент часу (їз) обчислюють на основі прийнятого значення параметрів вибраного типу та прийнятого значення параметрів невибраного типу.
20. Спосіб за будь-яким з пп. 16-19, який відрізняється тим, що додатково включає здійснення вибору на основі першої і другої схем інтерполяції об'єднаної схеми (ІЗ) інтерполяції згідно з наперед визначеним правилом вибору, причому вказана інтерполяція відповідних обчислених об'єднаних операцій обробки відповідає об'єднаній схемі інтерполяції.
21. Спосіб за п. 20, який відрізняється тим, що наперед визначене правило вибору визначене для випадку, в якому перша і друга схеми інтерполяції відрізняються.
22. Спосіб за п. 21, який відрізняється тим, що, у відповідь на те, що перша схема (11) інтерполяції є лінійною, а друга схема (І2) інтерполяції є кусково-постійною, як об'єднану схему інтерполяції вибирають лінійну інтерполяцію.
23. Спосіб за будь-яким з пп. 16-22, який відрізняється тим, що передбачення значення параметрів невибраного типу в момент (Ір) передбачення виконують згідно зі схемою інтерполяції для параметрів невибраного типу.
24. Спосіб за будь-яким з пп. 16-23, який відрізняється тим, що об'єднану операцію обробки обчислюють як єдину матричну операцію перед її застосуванням до підмножини ряду сигналів знижувального мікшування.
25. Спосіб за п. 24, який відрізняється тим, що: як об'єднану схему інтерполяції вибирають лінійну інтерполяцію; і інтерпольоване значення відповідних обчислених об'єднаних операцій обробки обчислюють за допомогою лінійної матричної інтерполяції.
26. Спосіб за будь-яким з пп. 16-25, який відрізняється тим, що вказані прийняті сигнали знижувального мікшування розбивають на часові кадри, причому в усталеному режимі роботи спосіб включає приймання щонайменше одного значення параметрів відповідних типів, точно застосовного в момент часу в кожному часовому кадрі.
27. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що мікшування щонайменше одного сигналу з посиленим діалогом із щонайменше одним іншим сигналом обмежене неповною вибіркою ряду сигналів знижувального мікшування.
28. Машиночитаний носій інформації, що містить команди для виконання способу за будь-яким з пп. 1-27.
29. Декодер для посилення діалогу в аудіосистемі, який містить: компонент приймання, виконаний з можливістю приймання: ряду сигналів знижувального мікшування, які являють собою результат знижувального мікшування більшої кількості каналів, параметрів для посилення діалогу, причому ці параметри визначені стосовно підмножини ряду каналів, яка включає канали, які містять діалог, причому цю підмножину ряду каналів піддано знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування, і параметрів відновлення, які надають можливість параметричного відновлення каналів, підданих знижувальному мікшуванню в підмножину ряду сигналів знижувального мікшування; компонент підвищувального мікшування, виконаний з можливістю параметричного підвищувального мікшування тільки підмножини ряду сигналів знижувального мікшування на основі параметрів відновлення з метою відновлення тільки підмножини ряду каналів, яка містить підмножину ряду каналів, стосовно якої визначені параметри для посилення діалогу; і компонент посилення діалогу, виконаний з можливістю застосування посилення діалогу до підмножини ряду каналів, стосовно якої визначені параметри для посилення діалогу, з використанням параметрів для посилення діалогу з метою надання щонайменше одного сигналу з посиленим діалогом; і компонент мікшування, виконаний з можливістю надання версій з посиленим діалогом підмножини ряду сигналів знижувального мікшування шляхом мікшування щонайменше одного сигналу з посиленим діалогом із щонайменше одним іншим сигналом. р 100а пе з Е ї й Ме: ей С) 2 Г в 1РЕ лк це К те /з ла Е твої / тва ті М/о ів кв шо яв
Фіг. Та
В. 1006 2 в/с ш г: Й т
І. " ів Ї е ЦО Ст вв ! Скелет вх (вв
Фіг. ль
КЗ ! | -ВіЖ В ' ОО 8ІВ ; ї | і і ! : пн ПИ У Ж Ж З Еш ж Я рої п: Тдж З рено реехея я фен во Е | ж ше ОЯЖЕ ь і ! ! Ж рев риннннновв «я І Н 1 ЖЕ ОК Н гоже нео І Тож І рег Я і ке ВУ ЩЕ роож іОТЕя : ТЕЖ ТОЖ и фен нд ню м хх хм сх пф В, НУ І Я 5 Її зе Я і зе - ж ! їх їі : а : ги : Н їж рими пи фен в : Ех їв зві - ОТ Я :ОТВЕ Н : : ж Н 3 : : ів Н І І хх в ВН А НН : о Е пи що і унччняннполняофвх в У дж жа тяотяи нях нн й Е Щі ї Я я а -
Фіг. 2 ча й хх Й УК к ку Ей М кРА-к їж Ш їх іх . У В рн Крх І» і-ї дк ях, щ г п --к сок
Фіг. З пиття ; п Я - | Пон ов Я ВО : ши чн аа т и т в дж ян Н Н х Н чини : Н ' Н х Н : : та ї Н | зн Фін ' С : : В У ІНН бутттнттй Н : : ту НИ Н БО 2 фо- МНК нн т сн: Коля ШЕ ж Н : ї ТТ, Її он нн нон з В нн АНУ
Фіг. 4 че В Ї ту фитттнттнтнтннннн 7 ЗЕ ще Н і й І: --е ож ж юю сю ожюж о зжжо ож жжя ж ЛО ЖЖ Ж З СИЛИ ЖИ АКХ ХАМО МАХ ЯМ сх сю жлюо ож шжж Ж УЮЮ жу жжх зл С ж.
АХ, ІІ ав : ! Н теж я Я а : ЗІ 53 : 1 Н док дк х, х ї і жу Ку т Я Н Н іє пана и п а а З ві мялиолх лилия. тин, : КЕШ і : : рехх трати дуухкююхххххтххххххкккххя реко єєюккєєкн Зх : вт і ! ! ! ме : о і НУ ї ! Н Н Ох Н ов М це : і : | род ї Н х ! Н ї Н Н Н . : х : : СИМ НУ оо: і і і М і : : но ! 5 ж ї ! : Н хе НУ е дів а Щі ж | ще і : ДЕ че и ож Ге : реж тк Н ' ш НН Н ії; рок Н НИЙ : ! і Це й Н НЕ ії 5 і ід Ж : і Я оон З Ух Р І БМ о ! і шок ни ЗК ШУ : СЕ : х : ОО Жоожк Н | х рони Вк Ще ТВ ж Уетннннн ння фік їж де ох : ! кН: мин НЕ ж в іш я | і в, о кА г МЕНЕ НИ СН пз МИ і В; се» ам сш ни ОТ ОЕ Мі ра ї і ЗИ; к іже В біта: К- і вк : й шов і м Я : ОК обо. ток х ї 1 х ' їх «к З семи й ши и нн Не Ж. р ! | Кк ш м щи її фребєскіссфє 10 ее і Її ж яко а Ач ож Те ревно: Я і жл : і ОВ і і ка Н : М лллялляляеєюнююєюююююкютикй Моди В ддхллжжжхллллллллллалАЛАХАЛАМ ; по Я Дж ло мк мк іо сннх сил те вн тях, АК ОМЖХО ОМ ОХХО ЧАК РКО М МР ж жк жк жк скхо сх мк МА АЖ Ах МА Же тк жжоню Й ! їі м 1 зе МЕ : ин нн а ен ооо пн ти : Я І Н В ! ШЕ : Пон но оо он нн нн мн я : : І : : : ; і ! і Н НУ пе І чи нн п ШЕ ве Н Н і Я ви Фіг. 5 і Ж «ее Е Біб : : м пеннннан тя АКААА КАХ АХА ТАКА КАК тт ндлялнялнх плАААААААААН ї се Е і дж : і ї ВШ: ! «в'я ЕЕ ачех ше З Ко | і вла БОаВ ЩЕ; а Н ; ї : З га. | ке х ; і з ж Н М й ї ще ій В Ся ях ї - Н ті ЕІ Ж донос оно мух и п пи чек ки ре їх и й Й веннннннну В ї ЕІ, її; Н Шен гі і І рі : ши : й і ко і! | гра й ше | ! : к З 1 Н КЕ т ік ' | Й х я ї | КР думу жов но х сеї Ш- о о дай АВнвІувютье т 5 ненні Янижувальне ДЕ К- о і ! Ся МіюУвання 7 а НИ ТВ мікшування Мі Еомнннни -і Мн 7 я 1 ж е : Кік т НІ Вдету с : : 1 ще НІ: : ; » ою ц В ї ; | 7 дати : шої ее : Торт ин икАААААААААМ, ! ще В ро Ко їЕ | са Павніувальне три ов пу рю уваНе І ТОЖ ж Ц Хв Ж фс мішнуния ПА ! ПАК одкрууваняя 11 Й НЕ НН АКА вени І оре " І; Н і Ж : Тож яті ж ж нижній Н і Кості Н : ше ЗЛИЛИ МИТ шини ще Пон ши оф - ї к че Щ- шк ШЕ КО іа ЕЕ яв себорея ш їв як : ВАГ : Ше | : же пт КЕНЕ У я я то теки оф і : Я : : фе оон нн нн нн і що : У р Ї зу - ге кешу СО
З сокккюєююююююкі ї Її «хх стру : ! хх ; я Ю І 7 о нн нн нн ря : ' сек ож ї х і | «7 16 : Ж Я | Кі І : фен ту Ї ї і ї х : | ж З і ї : і Ж ї 1 : Ї ї 3 7 ї че с чужим ї ї З Н вих на ї (у ЗК КУ ІВ ї ї ДН й хх : х Ж х г ї ння ТЯ тва 0006 : Н : ї Н Ї КІ І : Н Н В х Н Н х ї ! | Н 3 с Х і 1 х Н Н и і-ї С ї У Н НК Н т ж 5 фл аю Малою жу я ж юю ки Мк. сюжа ж Н Н ке ті Н й феюкккєкккні Н : т ще Н пн Н Х дю ї Н : ! я НН ПТК Рі а і : ' ОРІ Ба Е іш ! : Н С же МНН ї Н ' : ' ЗИ ї СУ : ї х З Н : ШК Ка: и пиши В М ши рі ! ' | М Пс пннвнннн: НАКЯЩЕ БО. ват Ще КОР аа ПАБНШЩУВВЛЬН З ГО чай ше ТТ : т : 12 : хОЕТЯ : см тоне МИ МНН ; шо Н ЯМ Ро рень МІК НаНВЯ оба а род пк, і Е | В ших па "Вин НИ я, : ; ши нн вх У НЕ і с шин а ше поль Ж ОЖЯЩ Р свертттттт ц ан хз: З ВЕ, нб р з ї жі У нен в ГСК Ї Біжу вк в я Я кі Р од КЛВНЕДУВЕЬКНЕ тк) б37; роз НК НЕ Нес І г її : «5 НУ мин : і ВЕ Со рбенбееуернвнеяявя МіІБНЕВИННЯ Гор. ша : же вм і ЕЕ Ку т. р: | : З шен ГОР можн шо жі : ! Са на п В МО, ЩЕ Сов : : ТОВ Моєеєтстєкин са Н Ї ох як "КК, : : ЕМ і Н нн и а КИ с Зк. киже ! нич | и ши пом ке пн Н 1 ЖК... я І т І я Теж У м : ще длллкнлннннн фі ї ом й : | о з : В Яке клааАААААХ АХА КАНА НААН ТРЮК ої же ї Я Б : У Н : ото і рен т Сй Чи: : щі і : пе Дю ле Н ж ТЕО. : Ж ! : ви вин Н й ох В ! : шо і к ПОЛ і Я Ка Х ї - зи ин фентннннннннннннннтн ння ! ї їжу ВЕ ПАААААХАКТ тт тт тт ТА А КААААААААКААЮЬК кн» ше | ! : Кий а Ве Н п п я : жа НК ; ! : їн пен Мо одднннтнттттттттчттттнтх : ка пдддетененння п Кк тк тт т У оо жилжижжко ВД» : і ж х : : 7 х Н Н ТИ У Її ох з З 1 Фіг. 7 таз ї ес ху й як Я зе с Н щі Я -й и я. -КаО ШЕ: і ту зм ї У В ї го дя а т Е о : і Кт ин Доежкх і Н ' Коцеання ШЕ з : Ї Н ее Н 2 рев З КЕФЕУЕТУ Ї тт ддддддлстня й ї ! і : Кен зеНння Діла! Ша Її дав Н Н кі і : ЕВ і : Еш: і аг і сеощмк ї пиття апа АКАХАХАЮ тт тт тт ВК єв ВІВ, 1 ще ШЕ йе ж : ії Зинжуразь Ох Н МТА КУ в, рі: : : у о Яняжувальне В. н КІ ме лико ї АВ ідаучяьо : 7 Н : ї З аукакицвто : МК фев нин и В фонтану МНареметрнхо | Ще : НІ й Ї : ; х Н Н : : А А і Її вада мито Е г. ! і Кодування ; п ИН реко т ІЗ їх. 2 ї Гек нанні дов в її виш ж Н Н З : ! І; ЕН У. дата алла ща Ї пснкни Бий г ЗИ о НО Я УА Ст х не М нан сн ни пелляж вв тУлтткваєюк во дихати яння зешкжжжже жк з и ро яю засут Я у
Фіг. Ча
А . Ва мини ня ан В В ов вона В Но Ме
Фіг. ор Ва пд пили шіхлсхтуюеууат рних рних ктая ух : г й яккжежвеххя скхатх хори ТК фіг. пе Аз дечхлня С и М ' пт по 2 ПЗ З
Фіг. За
А с. техники и жтиннх няння вв ! нема лона анна І в : ! і Гу Е: Ма ско у пихоялянія аа о зхлголтекхеуую кяжуюєкх хв КЗ я из І
Фіг. Зе
UAA201703054A 2014-10-02 2015-09-30 Спосіб декодування і декодер для посилення діалогу UA120372C2 (uk)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462059015P 2014-10-02 2014-10-02
US201562128331P 2015-03-04 2015-03-04
PCT/EP2015/072578 WO2016050854A1 (en) 2014-10-02 2015-09-30 Decoding method and decoder for dialog enhancement

Publications (1)

Publication Number Publication Date
UA120372C2 true UA120372C2 (uk) 2019-11-25

Family

ID=54199263

Family Applications (1)

Application Number Title Priority Date Filing Date
UAA201703054A UA120372C2 (uk) 2014-10-02 2015-09-30 Спосіб декодування і декодер для посилення діалогу

Country Status (19)

Country Link
US (1) US10170131B2 (uk)
EP (1) EP3201918B1 (uk)
JP (1) JP6728146B2 (uk)
KR (1) KR102426965B1 (uk)
CN (1) CN106796804B (uk)
AU (1) AU2015326856B2 (uk)
BR (1) BR112017006325B1 (uk)
CA (1) CA2962806C (uk)
DK (1) DK3201918T3 (uk)
ES (1) ES2709327T3 (uk)
IL (1) IL251263B (uk)
MX (1) MX364166B (uk)
MY (1) MY179448A (uk)
PL (1) PL3201918T3 (uk)
RU (1) RU2701055C2 (uk)
SG (1) SG11201702301SA (uk)
TW (1) TWI575510B (uk)
UA (1) UA120372C2 (uk)
WO (1) WO2016050854A1 (uk)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016050854A1 (en) * 2014-10-02 2016-04-07 Dolby International Ab Decoding method and decoder for dialog enhancement
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
JP7023848B2 (ja) 2016-01-29 2022-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラル・ダイアログ向上
TWI658458B (zh) * 2018-05-17 2019-05-01 張智星 歌聲分離效能提升之方法、非暫態電腦可讀取媒體及電腦程式產品
WO2020216459A1 (en) * 2019-04-23 2020-10-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for generating an output downmix representation

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463410B1 (en) * 1998-10-13 2002-10-08 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US7158933B2 (en) 2001-05-11 2007-01-02 Siemens Corporate Research, Inc. Multi-channel speech enhancement system and method based on psychoacoustic masking effects
WO2004097799A1 (en) 2003-04-24 2004-11-11 Massachusetts Institute Of Technology System and method for spectral enhancement employing compression and expansion
KR20050049103A (ko) 2003-11-21 2005-05-25 삼성전자주식회사 포만트 대역을 이용한 다이얼로그 인핸싱 방법 및 장치
CA3026267C (en) 2004-03-01 2019-04-16 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
WO2006103584A1 (en) 2005-03-30 2006-10-05 Koninklijke Philips Electronics N.V. Multi-channel audio coding
ES2297825T3 (es) * 2005-04-19 2008-05-01 Coding Technologies Ab Cuantificacion dependiente de energia para la codificacion eficaz de parametros de audio espaciales.
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
WO2007004828A2 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
JP2009500656A (ja) 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
EP1906706B1 (en) * 2005-07-15 2009-11-25 Panasonic Corporation Audio decoder
CA2646961C (en) * 2006-03-28 2013-09-03 Sascha Disch Enhanced method for signal shaping in multi-channel audio reconstruction
JP4875142B2 (ja) 2006-03-28 2012-02-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
TWI308739B (en) 2006-06-23 2009-04-11 Mstar Semiconductor Inc Audio processing circuit and method
US7606716B2 (en) 2006-07-07 2009-10-20 Srs Labs, Inc. Systems and methods for multi-dialog surround audio
EP2070391B1 (en) 2006-09-14 2010-11-03 LG Electronics Inc. Dialogue enhancement techniques
US7463170B2 (en) 2006-11-30 2008-12-09 Broadcom Corporation Method and system for processing multi-rate audio from a plurality of audio processing sources
US8050434B1 (en) 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
US8494840B2 (en) 2007-02-12 2013-07-23 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
KR101336237B1 (ko) * 2007-03-02 2013-12-03 삼성전자주식회사 멀티 채널 스피커 시스템의 멀티 채널 신호 재생 방법 및장치
US8515759B2 (en) 2007-04-26 2013-08-20 Dolby International Ab Apparatus and method for synthesizing an output signal
CA2701457C (en) * 2007-10-17 2016-05-17 Oliver Hellmuth Audio coding using upmix
UA101974C2 (uk) 2008-04-18 2013-05-27 Долби Леборетериз Лайсенсинг Корпорейшн Спосіб і пристрій для підтримки сприйманості мови в багатоканальному звуковому супроводі з мінімальним впливом на систему об'ємного звучання
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
US8639502B1 (en) 2009-02-16 2014-01-28 Arrowhead Center, Inc. Speaker model-based speech enhancement system
ES2415155T3 (es) 2009-03-17 2013-07-24 Dolby International Ab Codificación estéreo avanzada basada en una combinación de codificación estéreo izquierda/derecha o central/lateral seleccionable de manera adaptativa y de codificación estéreo paramétrica
RU2011147119A (ru) 2009-04-21 2013-05-27 Конинклейке Филипс Электроникс Н.В. Синтез аудиосигнала
US8204742B2 (en) 2009-09-14 2012-06-19 Srs Labs, Inc. System for processing an audio signal to enhance speech intelligibility
WO2011044064A1 (en) * 2009-10-05 2011-04-14 Harman International Industries, Incorporated System for spatial extraction of audio signals
BR112012009447B1 (pt) * 2009-10-20 2021-10-13 Voiceage Corporation Codificador de sinal de áudio, decodificador de stnai, de áudio, método para codificar ou decodificar um sinal de áudio usando um cancelamento de aliasing
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
BR112013033386B1 (pt) * 2011-07-01 2021-05-04 Dolby Laboratories Licensing Corporation sistema e método para geração, codificação e renderização de sinal de áudio adaptável
JP5856295B2 (ja) 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
US8615394B1 (en) 2012-01-27 2013-12-24 Audience, Inc. Restoration of noise-reduced speech
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
US9055362B2 (en) 2012-12-19 2015-06-09 Duo Zhang Methods, apparatus and systems for individualizing audio, music and speech adaptively, intelligently and interactively
US10026408B2 (en) 2013-05-24 2018-07-17 Dolby International Ab Coding of audio scenes
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
WO2016050854A1 (en) * 2014-10-02 2016-04-07 Dolby International Ab Decoding method and decoder for dialog enhancement

Also Published As

Publication number Publication date
WO2016050854A1 (en) 2016-04-07
BR112017006325A2 (pt) 2018-01-16
SG11201702301SA (en) 2017-04-27
RU2701055C2 (ru) 2019-09-24
CA2962806A1 (en) 2016-04-07
MX2017004194A (es) 2017-05-19
EP3201918A1 (en) 2017-08-09
BR112017006325B1 (pt) 2023-12-26
MX364166B (es) 2019-04-15
TW201627983A (zh) 2016-08-01
KR102426965B1 (ko) 2022-08-01
US10170131B2 (en) 2019-01-01
RU2017110842A3 (uk) 2019-05-15
RU2017110842A (ru) 2018-10-01
TWI575510B (zh) 2017-03-21
CA2962806C (en) 2023-03-14
IL251263B (en) 2019-07-31
JP6728146B2 (ja) 2020-07-22
US20170309288A1 (en) 2017-10-26
PL3201918T3 (pl) 2019-04-30
AU2015326856B2 (en) 2021-04-08
EP3201918B1 (en) 2018-12-12
CN106796804B (zh) 2020-09-18
KR20170063667A (ko) 2017-06-08
ES2709327T3 (es) 2019-04-16
CN106796804A (zh) 2017-05-31
MY179448A (en) 2020-11-06
JP2017534904A (ja) 2017-11-24
AU2015326856A1 (en) 2017-04-06
IL251263A0 (en) 2017-05-29
DK3201918T3 (en) 2019-02-25

Similar Documents

Publication Publication Date Title
AU2021200911B2 (en) Method for and apparatus for decoding an ambisonics audio soundfield representation for audio playback using 2D setups
JP6472863B2 (ja) パラメトリック・マルチチャネル・エンコードのための方法
UA120372C2 (uk) Спосіб декодування і декодер для посилення діалогу
CA3125246A1 (en) Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
KR102482162B1 (ko) 오디오 인코더 및 디코더
KR101637407B1 (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
UA119765C2 (uk) Спосіб і пристрій для застосування стиснення динамічного діапазону до сигналу амбіофонії вищого порядку
JP6275831B2 (ja) ダウンミックス信号を生成するための概念
KR101464977B1 (ko) 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
RU2791673C1 (ru) Устройство понижающего микширования и способ понижающего микширования
KR101904420B1 (ko) 오디오 신호의 디코딩 방법 및 그에 따른 디코딩 장치
JP2016522445A (ja) オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
ES2965084T3 (es) Determinación de correcciones a aplicar a una señal de audio multicanal, codificación y decodificación asociadas
US20210375293A1 (en) Downmixer and Method of Downmixing