TWI618051B - 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 - Google Patents

用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 Download PDF

Info

Publication number
TWI618051B
TWI618051B TW103101429A TW103101429A TWI618051B TW I618051 B TWI618051 B TW I618051B TW 103101429 A TW103101429 A TW 103101429A TW 103101429 A TW103101429 A TW 103101429A TW I618051 B TWI618051 B TW I618051B
Authority
TW
Taiwan
Prior art keywords
channel
audio data
decorrelation
audio
frequency
Prior art date
Application number
TW103101429A
Other languages
English (en)
Other versions
TW201447867A (zh
Inventor
馬修 費勒斯
費南 梅寇特
顏冠傑
葛蘭特 大衛森
馬克 達維斯
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201447867A publication Critical patent/TW201447867A/zh
Application granted granted Critical
Publication of TWI618051B publication Critical patent/TWI618051B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Abstract

所接收的音頻資料可包括第一組頻率係數和第二組頻率係數。可至少部分依據該第一組頻率係數估算用於該第二組頻率係數之至少一部分的空間參數。該等經估算的空間參數可被施用至該第二組頻率係數,以產生修改後的第二組頻率係數。該第一組頻率係數可對應於第一頻率範圍(例如,一個別聲道頻率範圍),而該第二組頻率係數可對應於第二頻率範圍(例如,一耦合聲道頻率範圍)。一複合耦合聲道的組合頻率係數可依據兩個以上聲道的頻率係數。可計算一第一聲道之頻率係數和該等組合頻率係數之間的交叉相關係數。

Description

用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
本公開說明書係關於訊號處理。
對於音頻和視頻資料之數位編碼及解碼處理的發展,持續對娛樂內容之傳遞有著顯著的影響。儘管記憶體裝置的容量增加以及可在越來越高的頻寬廣泛傳遞資料,仍然有持續的壓力要最小化儲存及/或傳送的資料量。音頻和視頻資料經常一起被傳遞,因此用於音頻資料的頻寬經常受到視頻部份需求的限制。
因此,經常以高壓縮因數來編碼音頻資料,有時以30:1或更高的壓縮因數來編碼。因為訊號失真會隨著施用的壓縮量增大,因此須在解碼音頻資料的保真度和儲存及/或傳送編碼資料的效率之間做出取捨。
此外,理想的是減少編碼和解碼演算法的複雜度。編碼關於編碼處理的額外資料可以簡化解碼處理,但代價為儲存及/或傳送額外的編碼資料。雖然現有的音 頻編碼及解碼方法通常可令人滿意,但改進的方法可能是較理想的。
在本公開中所述之標的的一些態樣可以音頻處理方法來實現。某些這種方法可包含接收對應於複數個音頻聲道的音頻資料。該音頻資料可包括對應於音頻編碼或處理系統之濾波器組(filterbank)係數的頻域表示。該方法可包含對至少一些音頻資料施用去相關程序。在一些實施方式中,去相關程序可使用與該音頻編碼或處理系統所用之相同的濾波器組係數來實行。
在一些實施方式中,可以不用將頻域表示之係數轉換為其他頻域或時域表示來實行去相關程序。頻域表示可以是施用一完美重建(perfect reconstruction)、臨界取樣(critically-sampled)濾波器組的結果。去相關程序可包含藉由對至少部分的頻域表示施用線性濾波器來產生混響(reverb)訊號或去相關訊號。頻域表示可以是對時域中的音頻資料施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換(lapped orthogonal transform)的結果。去相關程序可包含施用完全對實數值係數操作的去相關演算法。
依據一些實施方式,去相關程序可包含特定聲道之選擇性或訊號適應性(signal-adaptive)去相關。替代地,或另外地,去相關程序可包含特定頻帶之選擇性或訊號適應性去相關。去相關程序可包含對收到的音頻資 料的一部分施用去相關濾波器來產生經濾波的音頻資料。去相關程序可包含使用非階層(non-hierarchal)混合器,依據空間參數來結合收到的音頻資料的直接部分與經濾波的音頻資料。
在一些實施方式中,去相關資訊可與音頻資料或其他一起被接收。去相關程序可包含依據所接收之去相關資訊來去相關至少一些音頻資料。所接收之去相關資訊可包括個別離散聲道和耦合聲道之間的相關係數、個別的離散聲道之間的相關係數、明確的(explicit)音調資訊及/或暫態(transient)資訊。
該方法可包含依據收到的音頻資料來決定去相關資訊。去相關程序可包含依據所決定之去相關資訊來去相關至少一些音頻資料。該方法可包含接收與音頻資料一起編碼的去相關資訊。去相關程序可包含依據所接收之去相關資訊或所決定之去相關資訊的至少其中一者來去相關至少一些音頻資料。
依據一些實施方式,音頻編碼或處理系統可以是舊有的音頻編碼或處理系統。該方法可包含接收在由該舊有的音頻編碼或處理系統所產生之位元流中的控制機制元素。去相關程序可至少部分依據該控制機制元素。
在一些實施方式中,一設備可包括一介面和一邏輯系統,其被配置來透過該介面接收對應於複數個音頻聲道的音頻資料。該音頻資料可包括對應於一音頻編碼或處理系統之濾波器組係數的頻域表示。該邏輯系統可被 配置來對至少一些音頻資料施用去相關程序。在一些實施方式中,該去相關程序可使用與該音頻編碼或處理系統所用之相同的濾波器組係數來實施。該邏輯系統可包括通用單或多晶片處理器、數位訊號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式閘陣列(FPGA)或其他可程式邏輯裝置、離散閘或電晶體邏輯、或離散硬體元件之至少其中一者。
在一些實施方式中,可以不用將頻域表示之係數轉換為其他頻域或時域表示來實行去相關程序。頻域表示可以是施用臨界取樣濾波器組的結果。去相關程序可包含藉由對至少部分的頻域表示施用線性濾波器來產生混響訊號或去相關訊號。頻域表示可以是施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換至時域中的音頻資料的結果。去相關程序可包含施用完全對實數值係數操作的去相關演算法。
去相關程序可包含特定聲道之選擇性或訊號適應性去相關。去相關程序可包含特定頻帶之選擇性或訊號適應性去相關。去相關程序可包含對收到的音頻資料的一部分施用去相關濾波器來產生經濾波的音頻資料。在一些實施方式中,去相關程序可包含使用非階層混合器,依據空間參數來結合所接收之部分的音頻資料與經濾波的音頻資料。
該設備可能包括一記憶體裝置。在一些實施方式中,該介面可為邏輯系統和記憶體裝置之間的介面。 替代地,該介面可為網路介面。
該音頻編碼或處理系統可以是舊有的音頻編碼或處理系統。在一些實施方式中,該邏輯系統可進一步被配置來透過該介面接收由該舊有的音頻編碼或處理系統所產生之位元流中的控制機制元素。去相關程序可至少部分依據該控制機制元素。
可以在其上儲存有軟體之非暫態媒體中實施本公開之一些態樣。該軟體可包括用於控制一設備接收對應於複數個音頻聲道之音頻資料的指令。該音頻資料可包括對應於一音頻編碼或處理系統之濾波器組係數的頻域表示。該軟體可包括用於控制該設備對至少一些音頻資料施用去相關程序的指令。在一些實施方式中,可使用與該音頻編碼或處理系統所使用之相同的濾波器組係數來實施該去相關程序。
在一些實施方式中,可以不用將頻域表示之係數轉換為其他頻域或時域表示來實行去相關程序。頻域表示可以是施用臨界取樣濾波器組的結果。去相關程序可包含藉由對至少部分的頻域表示施用線性濾波器來產生混響訊號或去相關訊號。頻域表示可以是施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換至時域中的音頻資料的結果。去相關程序可包含施用完全對實數值係數操作的去相關演算法。
一些方法可包含接收對應於複數個音頻聲道之音頻資料,以及決定該音頻資料的音頻特性。該音頻特 性可包括暫態資訊。該方法可包含至少部分基於該音頻特性來決定用於該音頻資料的去相關量,並依據所決定的去相關量來處理該音頻資料。
在一些情況下,沒有明確的暫態資訊可與該音頻資料一起被接收。在一些實施方式中,決定暫態資訊的處理可包含偵測一軟暫態事件(soft transient event)。
決定暫態資訊的處理可包含評估暫態事件之可能性及/或嚴重性。決定暫態資訊之處理可包含評估該音頻資料中的瞬時(temporal)功率變化。
決定該音頻特性之處理可包含接收明確的暫態資訊,與該音頻資料一起。該明確的暫態資訊可包括對應於一明確的暫態事件之暫態控制值、對應於一明確的非暫態事件之暫態控制值、或中間暫態控制值之其中至少一者。該明確的暫態資訊可包括中間暫態控制值或對應於一明確的暫態事件的暫態控制值。該暫態控制值可受到指數衰減函數。
該明確的暫態資訊可包括明確的暫態事件。處理該音頻資料可包含暫時停止(halting)或減緩去相關程序。該明確的暫態資訊可包括對應於明確的非暫態事件之暫態控制值或中間的暫態值。決定暫態資訊的處理可包含偵測一軟暫態事件。偵測軟暫態事件的處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。
所決定的暫態資訊可以是對應於該軟暫態事件之所決定的暫態控制值。該方法可包含結合所決定的暫 態控制值與所接收的暫態控制值以得到新的暫態控制值。結合所決定的暫態控制值與所接收的暫態控制值之處理可包含判斷所決定的暫態控制值與所接收的暫態控制值之最大值。
偵測軟暫態事件之處理可包含偵測音頻資料之瞬時功率變化。偵測瞬時功率變化可包含決定對數功率均值的變化。該對數功率均值可以是頻帶加權的對數功率均值。決定該對數功率均值之變化可包含決定瞬時不對稱功率差。該不對稱功率差可強調增加功率,並可降低減少功率的重要性。該方法可包含依據該不對稱功率差來決定一新的暫態測量。決定該新的暫態測量可包含基於該瞬時不對稱功率差係依據高斯分佈來分佈的假設而計算暫態事件的可能性函數。該方法可包含依據該新的暫態測量來決定一暫態控制值。該方法可包含對該暫態控制值施用指數衰減函數。
某些方法可包含對部分的音頻資料施用去相關濾波器,以產生經濾波的音頻資料,並且依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。決定去相關量的處理可包含至少部分依據暫態控制值來修改混合比例。
某些方法可包含對部分的音頻資料施用去相關濾波器,以產生經濾波的音頻資料。決定用於該音頻資料的去相關量可包含依據暫態資訊衰減輸入至去相關濾波器。決定用於該音頻資料的去相關量的處理可包含回應偵 測一軟暫態事件來減少去相關量。
處理該音頻資料可包含對部分的音頻資料施用去相關濾波器,以產生經濾波的音頻資料,並且依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。減少去相關量的處理可包含修改混合比例。
處理該音頻資料可包含對部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料、估算將被施用於該經濾波的音頻資料的增益、對該經濾波的音頻資料施用該增益、及將該經濾波的音頻資料與接收到的音頻資料之部分混合。
該估算處理可包含將該經濾波的音頻資料的功率與接收到的音頻資料的功率匹配。在一些實施方式中,可使用閃避器(ducker)組來實施估算及施用該增益的處理。該閃避器組可包括緩衝器。可對該經濾波的音頻資料施用一固定的延遲,並且可對該等緩衝器施用相同的延遲。
用於該等閃避器之功率估算平滑窗(smoothing window)或將被施用至經濾波的音頻資料的增益之其中至少一者可至少部分基於所決定的暫態資訊。在一些實施方式中,當偵測到相對較有可能的暫態事件或相對較強的暫態事件時,可施用一較短的平滑窗,而當偵測到相對較不可能的暫態事件、相對較弱的暫態事件或沒有偵測到暫態事件時,可施用一較長的平滑窗。
某些方法可包含對部分的音頻資料施用去相 關濾波器以產生經濾波的音頻資料、估算將要施用到該經濾波的音頻資料的閃避器增益、將該閃避器增益施用到該經濾波的音頻資料並依據一混合比例將該經濾波的音頻資料與接收到的音頻資料的部份混合。決定去相關量的處理可包含至少依據暫態資訊或閃避器增益之其中一者來修改混合比例。
決定音頻特性之處理可包含決定至少一個聲道係區塊交換的(block switched)、一聲道係未耦合的或不使用聲道耦合。決定用於該音頻資料的去相關量可包含決定去相關程序應被減緩或被暫時停止。
處理該音頻資料可包含去相關濾波器顫動(dithering)處理。該方法可包含至少部分依據暫態資訊來決定該去相關濾波器顫動處理應被修改或被暫時停止。依據某些方法,可能決定將藉由改變用於去相關濾波器之顫動極點的最大跨距值來修改去相關濾波器顫動處理。
依據一些實施方式,一設備可包括一介面和一邏輯系統。該邏輯系統被配置來從該介面接收對應於複數個音頻聲道之音頻資料、和被配置來決定該音頻資料之音頻特性。該音頻特性可包括暫態資訊。該邏輯系統可被配置來至少部分依據該音頻特性而決定用於該音頻資料之去相關量、和被配置來依據所決定之去相關量而處理該音頻資料。
在一些實施方式中,沒有明確的暫態資訊可與該音頻資料一起被接收。決定暫態資訊的處理可包含偵 測一軟暫態事件。決定暫態資訊之處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。決定暫態資訊之處理可包含評估該音頻資料中的瞬時功率變化。
在一些實施方式中,決定音頻特性可包含接收明確的暫態資訊與音頻資料。該明確的暫態資訊可包括對應於明確的暫態事件之暫態控制值、對應於明確的非暫態事件之暫態控制值、或中間暫態控制值之其中至少一者。該明確的暫態資訊可包括中間暫態控制值或對應於明確的暫態事件之暫態控制值。該暫態控制值可受到一指數衰減函數。
若明確的暫態資訊指示一明確的暫態事件,則處理該音頻資料可包含暫時減緩或停止去相關程序。若明確的暫態資訊指示一對應於明確的非暫態事件的暫態控制值或一中間的暫態值,則決定暫態資訊的處理可包含偵測一軟暫態事件。所決定的暫態資訊可以是對應於該軟暫態事件之所決定的暫態控制值。
邏輯系統可進一步被組態為結合所決定的暫態控制值和所接收到的暫態控制值來得到一新的暫態控制值。在一些實施方式中,結合所決定的暫態控制值和所接收到的暫態控制值的處理可包含決定該決定的暫態控制值和該接收到的暫態控制值的最大值。
偵測軟暫態事件之處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。偵測軟暫態事件之處理可包含偵測該音頻資料中的瞬時功率變化。
在一些實施方式中,該邏輯系統可進一步被組態為對部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料,並且依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。決定去相關量的處理可包含至少部分依據暫態資訊來修改混合比例。
決定用於該音頻資料之去相關量的處理可包含回應偵測軟暫態事件來減少去相關量。處理該音頻資料可包含對部分的音頻資料施用去相關濾波器,以產生經濾波的音頻資料,並且依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。減少去相關量的處理可包含修改混合比例。
處理該音頻資料可包含對部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料、估算將被施用於該經濾波的音頻資料的增益、對該經濾波的音頻資料施用該增益、及將該經濾波的音頻資料與接收到的音頻資料之部分混合。該估算處理可包含將該經濾波的音頻資料之功率與所接收到的音頻資料的功率匹配。該邏輯系統可包括閃避器組,其被組態為實施估算及施用該增益的處理。
本公開之一些態樣可在其上儲存有軟體之非暫態媒體中實施。該軟體可包括指令,用以控制一設備接收對應於複數個音頻聲道之音頻資料,及決定該音頻資料之音頻特性。在一些實施方式中,該音頻特性可包括暫態資訊。該軟體可包括指令,用以控制一設備至少部分基於該音頻特性來決定用於該音頻資料的去相關量,並依據所 決定的去相關量來處理該音頻資料。
在一些情況下,沒有明確的暫態資訊可與該音頻資料一起被接收。決定暫態資訊的處理可包含偵測一軟暫態事件。決定暫態資訊之處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。決定暫態資訊之處理可包含評估該音頻資料中的瞬時功率變化。
然而,在某些實施方式中,決定該音頻特性可包含接收明確的暫態資訊與該音頻資料。該明確的暫態資訊可包括對應於一明確的暫態事件之暫態控制值、對應於一明確的非暫態事件之暫態控制值及/或一中間暫態控制值。若該明確的暫態資訊指示一暫態事件,則處理該音頻資料可包含暫時停止或減緩去相關程序。
若該明確的暫態資訊指示對應於一明確的非暫態事件之暫態控制值或一中間的暫態值,則決定暫態資訊的處理可包含偵測一軟暫態事件。所決定的暫態資訊可以是對應於軟暫態事件之一決定的暫態控制值。決定暫態資訊的處理可包含結合該決定的暫態控制值和接收到的暫態控制值來獲得一新的暫態控制值。結合該決定的暫態控制值和接收到的暫態控制值的處理可包含決定該決定的暫態控制值和該接收到的暫態控制值的最大值。
偵測軟暫態事件的處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。偵測軟暫態事件的處理可包含偵測該音頻資料中的瞬時功率變化。
該軟體可包括指令,用於控制該設備對部分 的音頻資料施用去相關濾波器來產生經濾波的音頻資料,並且依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。決定去相關量的處理可包含至少部分依據暫態資訊來修改混合比例。決定用於該音頻資料之去相關量的處理可包含回應偵測軟暫態事件來減少去相關量。
處理該音頻資料可包含對部分的音頻資料施用去相關濾波器來產生經濾波的音頻資料,及依據一混合比例將該經濾波的音頻資料與接收到的音頻資料之部分混合。減少去相關量的處理可包含修改混合比例。
處理該音頻資料可包含對部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料、估算將被施用於該經濾波的音頻資料的增益、對該經濾波的音頻資料施用該增益、及將該經濾波的音頻資料與接收到的音頻資料之部分混合。該估算處理可包含將該經濾波的音頻資料之功率與所接收到的音頻資料的功率匹配。
某些方法可包含接收對應於複數個音頻聲道的音頻資料及決定該音頻資料的音頻特性。該音頻特性可包括暫態資訊。該暫態資訊可包括一中間暫態控制值,指示在明確的暫態事件和明確的非暫態事件之間的暫態值。此種方法亦包含形成包括已編碼之暫態資訊的已編碼音頻資料框。
該已編碼的暫態資訊可包括一或多個控制旗標。該方法可包含將該音頻資料之至少兩個或多個聲道之 部分耦合成至少一個耦合聲道。該控制旗標可包括聲道區塊交換旗標、聲道離開耦合(out-of-coupling)旗標或使用耦合(coupling-in-use)旗標之其中至少一者。該方法可包含決定一或多個控制旗標的組合以形成指示明確的暫態事件、明確的非暫態事件、暫態事件之可能性或暫態事件之嚴重性之其中至少一者的已編碼暫態資訊。
決定暫態資訊之處理可包含評估暫態事件之可能性或嚴重性的其中至少一者。該已編碼的暫態資訊可以指示明確的暫態事件、明確的非暫態事件、暫態事件的可能性或暫態事件的嚴重性之其中至少一者。決定暫態資訊之處理可包含評估該音頻資料中的瞬時功率變化。
該已編碼的暫態資訊可包括對應於暫態事件的暫態控制值。該暫態控制值可受到一指數衰減函數。該暫態資訊可以指示一去相關程序應被暫時減緩或暫停。
該暫態資訊可以指示一去相關程序的混合比例應被修改。例如,該暫態資訊可以指示一去相關程序中的去相關量應暫時被減少。
某些方法可包含接收對應於複數個音頻聲道的音頻資料及決定該音頻資料的音頻特性。該音頻特性可包括空間參數資料。該方法可包含至少部分依據該音頻特性來決定用於該音頻資料的至少兩個去相關濾波程序。該去相關濾波程序可導致在至少一對聲道之聲道特定去相關訊號之間的特定的去相關訊號間一致性(inter-decorrelation signal coherence,“IDC”)。該去相關濾波程 序可包含對至少部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料。可藉由在該經濾波的音頻資料上實施操作而產生該聲道特定去相關訊號。
該方法可包含對至少部分的音頻資料施用去相關濾波程序以產生聲道特定去相關訊號、至少部分依據該音頻特性來決定混合參數及依據該等混合參數來混合該聲道特定去相關訊號與該音頻資料的直接部分。該直接部分可對應於被施用去相關濾波器的部分。
該方法亦可包含接收關於輸出聲道數的資訊。決定用於該音頻資料之至少兩個去相關濾波程序的處理可至少部分依據該輸出聲道數。該接收處理可包含接收對應於N個輸入音頻聲道的音頻資料。該方法可包含決定用於N個輸入音頻聲道的音頻資料將被降混(downmix)或升混(upmix)為用於K個輸出音頻聲道的音頻資料,並產生對應於該K個輸出音頻聲道的經去相關的音頻資料。
該方法可包含降混或升混用於N個輸入音頻聲道的音頻資料為用於M個中間音頻聲道的音頻資料、產生用於該M個中間音頻聲道的經去相關的音頻資料及降混或升混用於該M個中間音頻聲道的經去相關的音頻資料為用於K個輸出音頻聲道的經去相關的音頻資料。決定用於該音頻資料的兩個去相關濾波程序可至少部分依據中間音頻聲道的數目M。該去相關濾波程序可至少部分基於N至K、M至K或N至M混合公式而被決定。
該方法亦可包含控制在複數個音頻聲道對之間的聲道間一致性(inter-channel coherence,“ICC”)。控制ICC的處理可包含接收ICC值和決定ICC值之其中至少一者係至少部分依據該空間參數資料。
控制ICC的處理可包含接收一組ICC值或決定該組ICC值之其中至少一者係至少部分依據該空間參數資料。該方法亦可包含至少部分依據該組ICC值來決定一組IDC值,及合成一組聲道特定去相關訊號,其藉由在經濾波的音頻資料上實施操作而與該組IDC值一致。
該方法亦可包含空間參數資料之第一表示及空間參數資料之第二表示之間轉換的處理。空間參數資料之第一表示可包括個別離散聲道和耦合聲道間的一致性的表示。空間參數資料之第二表示可包括個別離散聲道間的一致性的表示。
對至少部分的音頻資料施用去相關濾波程序之程序可包含對複數個聲道的音頻資料施用相同的去相關濾波器以產生經濾波的音頻資料,並將對應於左聲道或右聲道的該經濾波的音頻資料乘以-1。該方法亦可包含參照對應於左聲道之經濾波的音頻資料來反轉對應於左環繞聲道之經濾波的音頻資料的極性,及參照對應於右聲道之經濾波的音頻資料來反轉對應於右環繞聲道之經濾波的音頻資料的極性。
對至少部分的音頻資料施用去相關濾波程序之程序可包含對第一和第二聲道的音頻資料施用第一去相 關濾波器以產生第一聲道經濾波的資料和第二聲道經濾波的資料,以及對第三和第四聲道的音頻資料施用第二去相關濾波器以產生第三聲道經濾波的資料和第四聲道經濾波的資料。該第一聲道可以是左聲道,該第二聲道可以是右聲道,該第三聲道可以是左環繞聲道及該第四聲道可以是右環繞聲道。該方法亦可包含反轉第一聲道經濾波的資料的極性相對於第二聲道經濾波的資料,及反轉第三聲道經濾波的資料的極性相對於第四聲道經濾波的資料。決定至少兩個去相關濾波程序用於該音頻資料的處理可包含決定將不同的去相關濾波器施用到中央聲道的音頻資料,或者是決定不將去相關濾波器施用到中央聲道的音頻資料。
該方法亦可包含接收聲道特定(channel-specific)縮放因子及對應於複數個耦合聲道的耦合聲道訊號。該施用處理可包含施用該等去相關濾波程序之其中至少一者至該耦合聲道以產生聲道特定經濾波的音頻資料,以及施用該聲道特定縮放因子至該聲道特定經濾波的音頻資料以產生聲道特定去相關訊號。
該方法亦可包含至少部分依據該空間參數資料來決定去相關訊號合成參數。該去相關訊號合成參數可以是特定輸出聲道去相關訊號合成參數。該方法亦可包含接收對應於複數個耦合聲道的耦合聲道訊號及聲道特定縮放因子。決定至少兩個去相關濾波程序用於該音頻資料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含藉由對耦合聲道訊號施用一組去相關濾波器來 產生一組種子(seed)去相關訊號,將該等種子去相關訊號發送到合成器,對由該合成器所接收之該等種子去相關訊號施用特定輸出聲道去相關訊號合成參數以產生聲道特定經合成的去相關訊號,將該等聲道特定經合成的去相關訊號與適合各聲道的聲道特定縮放因子相乘以產生經縮放的聲道特定經合成的去相關訊號,及輸出該經縮放的聲道特定經合成的去相關訊號至一直接訊號和去相關訊號混合器。
該方法亦可包含接收聲道特定縮放因子。決定至少兩個去相關濾波程序用於該音頻資料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含:藉由對音頻資料施用一組去相關濾波器來產生一組聲道特定種子去相關訊號;將該等聲道特定種子去相關訊號發送到合成器;至少部分依據該等聲道特定縮放因子來決定特定一組聲道特定對的位準調整參數;對由該合成器所接收的該等聲道特定種子去相關訊號施用該等特定輸出聲道去相關訊號合成參數和聲道特定對位準調整參數以產生聲道特定的經合成的去相關訊號;及將該等聲道特定的經合成的去相關訊號輸出至一直接訊號和去相關訊號混合器。
決定該等特定輸出聲道的去相關訊號合成參數可包含至少部分依據該空間參數資料來決定一組IDC值,及決定與該組IDC值一致的特定輸出聲道去相關訊號合成參數。該組IDC值可至少部分依據個別離散聲道和一 耦合聲道之間的一致性、以及個別離散聲道對之間的一致性而被決定。
該混合處理可包含使用非階層(non-hierarchal)混合器來結合聲道特定去相關訊號與音頻資料的直接部分。決定該音頻特性可包含接收明確的音頻特性資訊與音頻資料。決定該音頻特性可包含依據音頻資料的一或多個屬性來決定音頻特性資訊。該空間參數資料可包括個別離散聲道和耦合聲道間的一致性的表示及/或個別離散聲道對之間的一致性的表示。該音頻特性可包括音調資訊或暫態資訊之至少一者。
決定該等混合參數可至少部分依據該空間參數資料。該方法亦可包含將該等混合參數提供給一直接訊號和去相關訊號混合器。該等混合參數可以是特定輸出聲道混合參數。該方法亦可包含至少部分依據該等特定輸出聲道混合參數和暫態控制資訊來決定經修改的特定輸出聲道混合參數。
依據一些實施方式,一設備可包括一介面和一邏輯系統,其被組態為接收對應於複數個音頻聲道的音頻資料及決定該音頻資料的音頻特性。該音頻特性可包括空間參數資料。該邏輯系統可被組態為至少部分依據該音頻特性來決定用於該音頻資料的至少兩個去相關濾波程序。該去相關濾波程序可能造成用於至少一對聲道之聲道特定去相關訊號之間的特定IDC。該去相關濾波程序可包含對至少部分的音頻資料施用去相關濾波器以產生經濾波 的音頻資料。可藉由在該經濾波的音頻資料上實施操作而產生該聲道特定去相關訊號。
該邏輯系統可被組態為:對至少部分的音頻資料施用去相關濾波程序以產生聲道特定去相關訊號;至少部分依據該音頻特性來決定混合參數;及依據該等混合參數來混合該聲道特定去相關訊號與該音頻資料的直接部分。該直接部分可對應於被施用去相關濾波器的部分。
該接收處理可包含接收關於輸出聲道數的資訊。決定用於該音頻資料之至少兩個去相關濾波程序的處理可至少部分依據該輸出聲道數。例如,該接收處理可包含接收對應於N個輸入音頻聲道的音頻資料及該邏輯系統可被組態為:決定用於N個輸入音頻聲道的音頻資料將被降混或升混為用於K個輸出音頻聲道的音頻資料,並產生對應於該K個輸出音頻聲道的經去相關的音頻資料。
該邏輯系統可進一步被組態為:降混或升混用於N個輸入音頻聲道的音頻資料為用於M個中間音頻聲道的音頻資料;產生用於該M個中間音頻聲道的經去相關的音頻資料;及降混或升混用於該M個中間音頻聲道的經去相關的音頻資料為用於K個輸出音頻聲道的經去相關的音頻資料。
該去相關濾波程序可至少部分依據N至K混合公式而被決定。決定用於該音頻資料的兩個去相關濾波程序可至少部分依據中間音頻聲道的數目M。該去相關濾波程序可至少部分依據M至K或N至M混合公式而被決 定。
該邏輯系統可進一步被組態為控制在複數個音頻聲道對之間的ICC。控制ICC的處理可包含接收ICC值和決定ICC值之其中至少一者係至少部分依據該空間參數資料。該邏輯系統可進一步被組態為至少部分依據該組ICC值來決定一組IDC值,並藉由對經濾波的音頻資料實施操作來合成與該組IDC值相符的一組聲道特定去相關訊號。
該邏輯系統可進一步被組態為空間參數資料之第一表示及空間參數資料之第二表示之間轉換的處理。空間參數資料之第一表示可包括個別離散聲道和耦合聲道間的一致性的表示。空間參數資料之第二表示可包括個別離散聲道間的一致性的表示。
對至少部分的音頻資料施用去相關濾波程序之程序可包含對複數個聲道的音頻資料施用相同的去相關濾波器以產生經濾波的音頻資料,並將對應於左聲道或右聲道的該經濾波的音頻資料乘以-1。該邏輯系統可進一步被組態為參照對應於左側聲道之經濾波的音頻資料來反轉對應於左環繞聲道之經濾波的音頻資料的極性,及參照對應於右側聲道之經濾波的音頻資料來反轉對應於右環繞聲道之經濾波的音頻資料的極性。
對至少部分的音頻資料施用去相關濾波程序之程序可包含對第一和第二聲道的音頻資料施用第一去相關濾波器以產生第一聲道經濾波的資料和第二聲道經濾波 的資料,以及對第三和第四聲道的音頻資料施用第二去相關濾波器以產生第三聲道經濾波的資料和第四聲道經濾波的資料。該第一聲道可以是左側聲道,該第二聲道可以是右側聲道,該第三聲道可以是左環繞聲道及該第四聲道可以是右環繞聲道。
該邏輯系統可進一步被組態為反轉第一聲道經濾波的資料的極性相對於第二聲道經濾波的資料,及反轉第三聲道經濾波的資料的極性相對於第四聲道經濾波的資料。決定至少兩個去相關濾波程序用於該音頻資料的處理可包含決定將不同的去相關濾波器施用到中央聲道的音頻資料,或者是決定不將去相關濾波器施用到中央聲道的音頻資料。
該邏輯系統可進一步被組態為從該介面接收聲道特定縮放因子及對應於複數個耦合聲道的耦合聲道訊號。該施用處理可包含施用該等去相關濾波程序之其中至少一者至該耦合聲道以產生聲道特定經濾波的音頻資料,以及施用該聲道特定縮放因子至該聲道特定經濾波的音頻資料以產生聲道特定去相關訊號。
該邏輯系統可進一步被組態為至少部分依據該空間參數資料來決定去相關訊號合成參數。該去相關訊號合成參數可以是特定輸出聲道去相關訊號合成參數。該邏輯系統可進一步被組態為從該介面接收對應於複數個耦合聲道的耦合聲道訊號和聲道特定縮放因子。
決定至少兩個去相關濾波程序用於該音頻資 料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含:藉由對耦合聲道訊號施用一組去相關濾波器來產生一組種子去相關訊號;將該等種子去相關訊號發送到合成器;對由該合成器所接收之該等種子去相關訊號施用特定輸出聲道去相關訊號合成參數以產生聲道特定的經合成的去相關訊號;將該等聲道特定的經合成的去相關訊號與適合各聲道的聲道特定縮放因子相乘以產生經縮放的聲道特定的經合成的去相關訊號;及輸出該經縮放的聲道特定的經合成的去相關訊號至一直接訊號和去相關訊號混合器。
決定至少兩個去相關濾波程序用於該音頻資料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含:藉由對音頻資料施用一組聲道特定去相關濾波器來產生一組聲道特定種子去相關訊號;將該等聲道特定種子去相關訊號發送到合成器;至少部分依據該等聲道特定縮放因子來決定聲道特定對的位準(level)調整參數;對由合成器所接收的該等聲道特定種子去相關訊號施用該等特定輸出聲道去相關訊號合成參數和該等聲道特定對的位準調整參數以產生聲道特定的經合成的去相關訊號;及將該等聲道特定的經合成的去相關訊號輸出至一直接訊號和去相關訊號混合器。
決定該等特定輸出聲道的去相關訊號合成參數可包含至少部分依據該空間參數資料來決定一組IDC值,及決定與該組IDC值一致的特定輸出聲道去相關訊號 合成參數。該組IDC值可至少部分依據個別離散聲道和一耦合聲道之間的一致性、以及個別離散聲道對之間的一致性而被決定。
該混合處理可包含使用非階層混合器來結合聲道特定去相關訊號與音頻資料的直接部分。決定該音頻特性可包含接收明確的音頻特性資訊與音頻資料。決定該音頻特性可包含依據音頻資料的一或多個屬性來決定音頻特性資訊。該音頻特性可包括音調資訊及/或暫態資訊。
該空間參數資料可包括個別離散聲道和耦合聲道間的一致性的表示及/或個別離散聲道對之間的一致性的表示。決定該等混合參數可至少部分依據該空間參數資料。
該邏輯系統可進一步被組態為將該等混合參數提供給一直接訊號和去相關訊號混合器。該等混合參數可以是特定輸出聲道混合參數。該邏輯系統可進一步被組態為至少部分依據該等特定輸出聲道混合參數和暫態控制資訊來決定經修改的特定輸出聲道混合參數。
該設備可能包括一記憶體裝置。該介面可能為該邏輯系統和該記憶體裝置之間的介面。然而,該介面可能為一網路介面。
本公開的某些態樣可在其上儲存有軟體的非暫態媒體中實施。該軟體可包括指令,用以控制一設備來接收對應於複數個音頻聲道的音頻資料及用於決定該音頻資料的音頻特性。該音頻特性可包括空間參數資料。該軟 體可包括指令,用以控制該設備來至少部分基於該音頻特性而決定用於該音頻資料的至少兩個去相關濾波程序。該去相關濾波程序可導致在至少一對聲道之聲道特定去相關訊號之間的特定的IDC。該去相關濾波程序可包含對至少部分的音頻資料施用去相關濾波器以產生經濾波的音頻資料。可藉由在該經濾波的音頻資料上實施操作而產生該聲道特定去相關訊號。
該軟體可包括指令,用以控制該設備來對至少部分的音頻資料施用去相關濾波程序以產生聲道特定去相關訊號;至少部分依據該音頻特性來混合參數;及依據該等混合參數來混合該聲道特定去相關訊號與該音頻資料的直接部分。該直接部分可對應於被施用去相關濾波器的部分。
該軟體可包括指令,用於控制該設備來接收關於輸出聲道數的資訊。決定用於該音頻資料之至少兩個去相關濾波程序的處理可至少部分依據該輸出聲道數。例如,該接收處理可包含接收對應於N個輸入音頻聲道的音頻資料。該軟體可包括指令,用於控制該設備來決定用於N個輸入音頻聲道的音頻資料將被降混或升混為用於K個輸出音頻聲道的音頻資料,並產生對應於該K個輸出音頻聲道的經去相關的音頻資料。
該軟體可包括指令,用於控制該設備來:將用於N個輸入音頻聲道的音頻資料降混或升混為用於M個中間音頻聲道的音頻資料;產生用於該M個中間音頻 聲道的經去相關的音頻資料;及將用於該M個中間音頻聲道的經去相關的音頻資料降混或升混為為用於K個輸出音頻聲道的經去相關的音頻資料。
決定用於該音頻資料的兩個去相關濾波程序可至少部分依據中間音頻聲道的數目M。該去相關濾波程序可至少部分基於N至K、M至K或N至M混合公式而被決定。
該軟體可包括指令,用於控制該設備來實施控制在複數個音頻聲道對之間的ICC的處理。控制ICC的處理可包含接收ICC值及/或至少部分依據該空間參數資料來決定ICC值。控制ICC的處理可包含接收一組ICC值或決定該組ICC值之其中至少一者係至少部分依據該空間參數資料。該軟體可包括指令,用於控制該設備來實施至少部分依據該組ICC值來決定一組IDC值,並藉由對經濾波的音頻資料實施操作來合成與該組IDC值相符的一組聲道特定去相關訊號的處理。
對至少部分的音頻資料施用去相關濾波程序之程序可包含對複數個聲道的音頻資料施用相同的去相關濾波器以產生經濾波的音頻資料,並將對應於左聲道或右聲道的該經濾波的音頻資料乘以-1。該軟體可包括指令,用於控制該設備來實施參照對應於左側聲道之經濾波的音頻資料來反轉對應於左環繞聲道之經濾波的音頻資料的極性,及參照對應於右側聲道之經濾波的音頻資料來反轉對應於右環繞聲道之經濾波的音頻資料的極性的處理。
對該音頻資料之部分施用去相關濾波器的處理可包含對第一和第二聲道的音頻資料施用第一去相關濾波器以產生第一聲道經濾波的資料和第二聲道經濾波的資料,及對第三和第四聲道的音頻資料施用第二去相關濾波器以產生第三聲道經濾波的資料和第四聲道經濾波的資料。該第一聲道可以是左側聲道,該第二聲道可以是右側聲道,該第三聲道可以是左環繞聲道以及該第四聲道可以是右環繞聲道。
該軟體可包括指令,用於控制該設備來實施反轉第一聲道經濾波的資料的極性相對於第二聲道經濾波的資料,及反轉第三聲道經濾波的資料的極性相對於第四聲道經濾波的資料的處理。決定至少兩個去相關濾波程序用於該音頻資料的處理可包含決定將不同的去相關濾波器施用到中央聲道的音頻資料,或者是決定不將去相關濾波器施用到中央聲道的音頻資料。
該軟體可包括指令,用於控制該設備來接收聲道特定縮放因子及對應於複數個耦合聲道的耦合聲道訊號。該施用處理可包含施用該等去相關濾波程序之其中至少一者至該耦合聲道以產生聲道特定經濾波的音頻資料,以及施用該聲道特定縮放因子至該聲道特定經濾波的音頻資料以產生聲道特定去相關訊號。
該軟體可包括指令,用於控制該設備至少部分依據該空間參數資料來決定去相關訊號合成參數。該去相關訊號合成參數可以是特定輸出聲道去相關訊號合成參 數。該軟體可包括指令,用於控制該設備來接收對應於複數個耦合聲道的耦合聲道訊號和聲道特定縮放因子。決定至少兩個去相關濾波程序用於該音頻資料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含:藉由對耦合聲道訊號施用一組去相關濾波器來產生一組種子去相關訊號;將該等種子去相關訊號發送到合成器;對由該合成器所接收之該等種子去相關訊號施用特定輸出聲道去相關訊號合成參數以產生聲道特定的經合成的去相關訊號;將該等聲道特定的經合成的去相關訊號與適合各聲道的聲道特定縮放因子相乘以產生經縮放的聲道特定的經合成的去相關訊號;及輸出該經縮放的聲道特定的經合成的去相關訊號至一直接訊號和去相關訊號混合器。
該軟體可包括指令,用於控制該設備來接收對應於複數個耦合聲道的耦合聲道訊號和聲道特定縮放因子。決定至少兩個去相關濾波程序用於該音頻資料以及施用去相關濾波程序至部分的音頻資料的其中至少一個處理可包含:藉由對音頻資料施用一組聲道特定去相關濾波器來產生一組聲道特定種子去相關訊號;將該等聲道特定種子去相關訊號發送到合成器;至少部分依據該等聲道特定縮放因子來決定聲道特定對的位準調整參數;對由合成器所接收的該等聲道特定種子去相關訊號施用該等特定輸出聲道去相關訊號合成參數和該等聲道特定對的位準調整參數以產生聲道特定的經合成的去相關訊號;及將該等聲道特定的經合成的去相關訊號輸出至一直接訊號和去相關訊 號混合器。
決定該等特定輸出聲道的去相關訊號合成參數可包含至少部分依據該空間參數資料來決定一組IDC值,及決定與該組IDC值一致的特定輸出聲道去相關訊號合成參數。該組IDC值可至少部分依據個別離散聲道和一耦合聲道之間的一致性、以及個別離散聲道對之間的一致性而被決定。
在一些實施方式中,方法可包含:接收包含第一組頻率係數和第二組頻率係數的音頻資料;至少部分依據該第一組頻率係數來估算用於該第二組頻率係數之至少一部分的空間參數;及對該第二組頻率係數施用該等經估算的空間參數以產生經修改的第二組頻率係數。該第一組頻率係數可對應於第一頻率範圍,而該第二組頻率係數可對應於第二頻率範圍。該第一頻率範圍可低於該第二頻率範圍。
該音頻資料可包括對應於個別聲道和耦合聲道的資料。該第一頻率範圍可對應於一個別聲道頻率範圍,而該第二頻率範圍可對應於一耦合聲道頻率範圍。該施用處理可包含以每個聲道為基礎來施用經估算的空間參數。
該音頻資料可包括兩個以上聲道之第一頻率範圍內的頻率係數。該估算處理可包含基於兩個以上聲道的頻率係數來計算一複合耦合聲道的組合頻率係數,及針對至少第一聲道運算第一聲道之頻率係數和組合頻率係數 之間的交叉相關係數。該組合頻率係數可對應於該第一頻率範圍。
該交叉相關係數可以是經正規化的交叉相關係數。該第一組頻率係數可包括複數個聲道的音頻資料。該估算處理可包含估算用於該複數個聲道之多數聲道的經正規化的交叉相關係數。該估算處理可包含將該第一頻率範圍的至少一部分分割為第一頻率範圍頻帶,且運算各第一頻率範圍頻帶的經正規化的交叉相關係數。
在一些實施方式中,該估算處理可包含將跨一聲道之所有第一頻率範圍頻帶的經正規化的交叉相關係數平均化,並對該等經正規化的交叉相關係數之平均施用一縮放因子以獲得用於該聲道之經估算的空間參數。將該等經正規化的交叉相關係數平均化之處理可包含平均化在跨一聲道之一時間段。該縮放因子可隨著頻率增加而減少。
該方法可包含添加雜訊以模型化該等經估算的空間參數的變異數。所添加之雜訊的變異數可至少部分依據該等經正規化交叉相關係數中的變異數。所添加之雜訊的該變異數可至少部分相依於跨頻帶之空間參數的預測,該變異數對該預測之相依性可基於經驗資料。
該方法可包含接收或決定關於該第二組頻率係數的音調資訊。所施加的雜訊可依據該音調資訊而有所不同。
該方法可包含測量該第一組頻率係數之頻帶 和該第二組頻率係數之頻帶間的每個頻帶的能量比。該等經估算的空間參數可依據該每個頻帶的能量比而有所不同。在一些實施方式中,該等經估算的空間參數可依據輸入音頻訊號的瞬時變化而有所不同。該估算處理可包含僅針對實數值頻率係數之操作。
對該第二組頻率係數施用該等經估算的空間參數的處理可以是去相關程序的一部分。在一些實施方式中,去相關程序可包含產生混響訊號或去相關訊號,並施用其至第二組頻率係數。去相關程序可包含施用完全對實數值係數操作的去相關演算法。去相關程序可包含特定聲道之選擇性或訊號適應性去相關。去相關程序可包含特定頻帶之選擇性或訊號適應性去相關。在一些實施方式中,該第一和第二組頻率係數可以是施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換至時域中的音頻資料的結果。
該估算處理可至少部分依據估計理論。例如,該估算處理可至少部分依據最大概似法、貝式(Bayes)估計量、動差估計量之方法、最小均方誤差估計量或最小變異數不偏估計量之至少一者。
在一些實施方式中,可在依據舊有編碼程序編碼的位元流中接收音頻資料。該舊有編碼程序可以是,例如,AC-3音頻編解碼器或增強型AC-3音頻編解碼器的程序。施用該等空間參數可產生空間上更精準的音頻再生,相較於依據與舊有編碼程序相符之舊有解碼程序來解 碼位元流所獲得之音頻再生。
一些實施方式包含設備,其包括一介面和一邏輯系統。該邏輯系統可被配置來:接收包含第一組頻率係數和第二組頻率係數的音頻資料;依據該第一組頻率係數之至少一部分來估算用於該第二組頻率係數之至少一部分的空間參數;及對該第二組頻率係數施用該等經估算的空間參數以產生經修改的第二組頻率係數。
該設備可能包括一記憶體裝置。該介面可能為該邏輯系統和該記憶體裝置之間的介面。然而,該介面可能為一網路介面。
該第一組頻率係數可對應於第一頻率範圍,而該第二組頻率係數可對應於第二頻率範圍。該第一頻率範圍可低於該第二頻率範圍。該音頻資料可包括對應於個別聲道和耦合聲道的資料。該第一頻率範圍可對應於一個別聲道頻率範圍,而該第二頻率範圍可對應於一耦合聲道頻率範圍。
該施用處理可包含以每個聲道為基礎來施用經估算的空間參數。該音頻資料可包括兩個以上聲道之第一頻率範圍內的頻率係數。該估算處理可包含基於兩個以上聲道的頻率係數來計算一複合耦合聲道的組合頻率係數,並針對至少第一聲道運算第一聲道之頻率係數和組合頻率係數之間的交叉相關係數。
該組合頻率係數可對應於該第一頻率範圍。該交叉相關係數可以是經正規化的交叉相關係數。該第一 組頻率係數可包括複數個聲道的音頻資料。該估算處理可包含估算用於該複數個聲道之多數聲道的經正規化的交叉相關係數。
該估算處理可包含將該第二頻率範圍分割為第二頻率範圍頻帶,及運算各第二頻率範圍頻帶的經正規化的交叉相關係數。該估算處理可包含將該第一頻率範圍分割為第一頻率範圍頻帶,將跨所有第一頻率範圍頻帶之該等經正規化的交叉相關係數平均化,及對該等經正規化的交叉相關係數之平均施用一縮放因子以獲得經估算的空間參數。
將該等經正規化的交叉相關係數平均化之處理可包含跨一聲道之一時間段的平均化。該邏輯系統可進一步被組態為添加雜訊到經修改的第二組頻率係數。該雜訊的添加可被加入以模型化該等經估算的空間參數的變異數。由該邏輯系統所添加的雜訊的變異數可至少部分依據該等經正規化的交叉相關係數的變異數。該邏輯系統可進一步被組態為接收或決定關於該第二組頻率係數的音調資訊,並依據該音調資訊來變化所施加的雜訊。
在一些實施方式中,可在依據舊有編碼程序編碼的位元流中接收音頻資料。例如,該舊有編碼程序可以是AC-3音頻編解碼器或增強型AC-3音頻編解碼器的程序。
本公開的一些態樣可在其上儲存有軟體的非暫態媒體中實施。該軟體可包括指令,用以控制一設備 以:接收包含第一組頻率係數和第二組頻率係數的音頻資料;依據該第一組頻率係數之至少一部分來估算用於該第二組頻率係數之至少一部分的空間參數;及對該第二組頻率係數施用該等經估算的空間參數以產生經修改的第二組頻率係數。
該第一組頻率係數可對應於第一頻率範圍,而該第二組頻率係數可對應於第二頻率範圍。該音頻資料可包括對應於個別聲道和耦合聲道的資料。該第一頻率範圍可對應於一個別聲道頻率範圍,而該第二頻率範圍可對應於一耦合聲道頻率範圍。該第一頻率範圍可低於該第二頻率範圍。
該施用處理可包含以每個聲道為基礎來施用經估算的空間參數。該音頻資料可包括兩個以上聲道之第一頻率範圍內的頻率係數。該估算處理可包含基於兩個以上聲道的頻率係數來計算一複合耦合聲道的組合頻率係數,並針對至少第一聲道運算第一聲道之頻率係數和組合頻率係數之間的交叉相關係數。
該組合頻率係數可對應於該第一頻率範圍。該交叉相關係數可以是經正規化的交叉相關係數。該第一組頻率係數可包括複數個聲道的音頻資料。該估算處理可包含估算用於該複數個聲道之多數聲道的經正規化的交叉相關係數。該估算處理可包含將該第二頻率範圍分割為第二頻率範圍頻帶,及運算各第二頻率範圍頻帶的經正規化的交叉相關係數。
該估算處理可包含:將該第一頻率範圍分割為第一頻率範圍頻帶;將跨所有第一頻率範圍頻帶之該等經正規化的交叉相關係數平均化;及對該等經正規化的交叉相關係數之平均施用一縮放因子以獲得經估算的空間參數。將該等經正規化的交叉相關係數平均化之處理可包含跨一聲道之一時間段的平均化。
該軟體亦可包括指令,用於控制該解碼設備以添加雜訊至經修改的第二組頻率係數,用以模型化該等經估算的空間參數的變異數。所添加之雜訊的變異數可至少部分依據該等經正規化的交叉相關係數中的變異數。該軟體亦可包括指令,用於控制該解碼設備以接收或決定關於該第二組頻率係數的音調資訊。所施加的雜訊可依據該音調資訊而有所不同。
在一些實施方式中,可在依據舊有編碼程序編碼的位元流中接收音頻資料。例如,該舊有編碼程序可以是AC-3音頻編解碼器或增強型AC-3音頻編解碼器的程序。
依據一些實施方式,一方法可包含:接收對應於複數個音頻聲道的音頻資料;決定該音頻資料的音頻特性;至少部分依據該音頻特性來決定用於該音頻資料的去相關濾波器參數;依據該等去相關濾波器參數來形成一去相關濾波器;及對至少一些音頻資料施用該去相關濾波器。例如,該音頻特性可包括音調資訊及/或暫態資訊。
決定該音頻特性可包含一起接收明確的音調 資訊或暫態資訊與音頻資料。決定該音頻特性可包含基於該音頻資料的一或多個屬性來決定音調資訊或暫態資訊。
在一些實施方式中,該去相關濾波器可包括具有至少一個延遲元件的線性濾波器。該去相關濾波器可包括一全通濾波器。
去相關濾波器參數可包括用於全通濾波器之至少一個極點的顫動參數或隨機選取極點位置。例如,該等顫動參數或極點位置可包含極點運動的最大跨距值。對於音頻資料的高音調訊號而言,該最大跨距值可能實質上為零。該等顫動參數或極點位置可以極點運動被限制於其中的限制區域為界。在一些實施方式中,限制區域可以是圓形或環形。在一些實施方式中,可固定限制區域。在一些實施方式中,音頻資料的不同聲道可共用相同的限制區域。
依據一些實施方式,對各聲道而言,極點可獨立地顫動。在一些實施方式中,極點的運動可不以限制區域為界。在一些實施方式中,極點可能保持相對於彼此實質上一致的空間或角度關係。依據一些實施方式,從極點到z平面圓中心的距離可以是音頻資料頻率的函數。
在一些實施方式中,設備可能包括一介面和一邏輯系統。在一些實施方式中,該邏輯系統可包括通用單或多晶片處理器、數位訊號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式閘陣列(FPGA)或其他可程式邏輯裝置、離散閘或電晶體邏輯及/或離散硬體元 件。
該邏輯系統可被組態以從該介面接收對應於複數個音頻聲道的音頻資料及決定該音頻資料的音頻特性。在一些實施方式中,該音頻特性可包括音調資訊及/或暫態資訊。該邏輯系統可被組態以至少部分依據該音頻特性來決定用於該音頻資料的去相關濾波器參數,依據該等去相關濾波器參數來形成一去相關濾波器及對至少一些音頻資料施用該去相關濾波器。
該去相關濾波器可包括具有至少一個延遲元件的線性濾波器。去相關濾波器參數可包括用於去相關濾波器之至少一個極點的顫動參數或隨機選取極點位置。該等顫動參數或極點位置可以極點運動被限制於其中的限制區域為界。該等顫動參數或極點位置可參考極點運動的最大跨距值而被決定。對於音頻資料的高音調訊號而言,該最大跨距值可能實質上為零。
該設備可能包括一記憶體裝置。該介面可能為該邏輯系統和該記憶體裝置之間的介面。然而,該介面可能為一網路介面。
本公開的某些態樣可在其上儲存有軟體的非暫態媒體中實施。該軟體可包括指令,用於控制設備以:收對應於複數個音頻聲道的音頻資料;決定該音頻資料的音頻特性,該音頻特性包含音調資訊或暫態資訊之至少一者;至少部分依據該音頻特性來決定用於音頻資料的去相關濾波器參數;依據該等去相關濾波器參數來形成一去相 關濾波器;及對該音頻資料之至少一些施用該去相關濾波器。該去相關濾波器可包括具有至少一個延遲元件的線性濾波器。
去相關濾波器參數可包括用於去相關濾波器之至少一個極點的顫動參數或隨機選取極點位置。該等顫動參數或極點位置可以極點運動被限制於其中的限制區域為界。該等顫動參數或極點位置可參考極點運動的最大跨距值而被決定。對於音頻資料的高音調訊號而言,該最大跨距值可能實質上為零。
依據一些實施方式,一方法可包含:接收對應於複數個音頻聲道的音頻資料;決定對應於去相關濾波器之最大極點位移量的去相關濾波器控制資訊;至少部分依據該去相關濾波器控制資訊來決定用於音頻資料的去相關濾波器參數;依據該等去相關濾波器參數來形成該去相關濾波器;及對至少一些音頻資料施用該去相關濾波器。
該音頻資料可以是在時域或頻域。決定該去相關濾波器控制資訊可包含接收該最大極點位移量的明確指示。
決定該去相關濾波器控制資訊可包含決定音頻特性資訊,及至少部分依據該音頻特性資訊來決定該最大極點位移量。在一些實施方式中,該音頻特性資訊可包括音調資訊或暫態資訊之至少一者。
將在下面隨附圖式及說明中闡述本說明書中所述之標的之一或多個實施方式的細節。其他特徵、態樣 及優點將透過說明書、圖式及申請專利範圍變得清楚易懂。注意下面圖示之相對尺寸可能不按比例繪製。
200‧‧‧音頻處理系統
201‧‧‧緩衝器
203‧‧‧切換器
205‧‧‧去相關器
207‧‧‧選擇資訊
220‧‧‧音頻資料元素
230‧‧‧去相關的音頻資料元素
240‧‧‧去相關資訊
255‧‧‧逆轉換模組
260‧‧‧時域音頻資料
210‧‧‧音頻資料
212‧‧‧耦合坐標
225‧‧‧升混器
245a‧‧‧音頻資料
245b‧‧‧音頻資料
262‧‧‧N至M升混器/降混器
264‧‧‧M至K升混器/降混器
266‧‧‧混合資訊
268‧‧‧混合資訊
218‧‧‧去相關訊號產生器
227‧‧‧去相關訊號
215‧‧‧混合器
425‧‧‧明確的音調資訊
430‧‧‧明確的暫態資訊
405‧‧‧去相關濾波器控制模組
410‧‧‧去相關濾波器
415‧‧‧固定延遲
420‧‧‧時變部
605‧‧‧合成器
610‧‧‧直接訊號和去相關訊號混合器
615‧‧‧去相關訊號合成參數
620‧‧‧混合係數
625‧‧‧去相關訊號產生器控制資訊
630‧‧‧空間參數資訊
635‧‧‧降混/升混資訊
640‧‧‧控制資訊接收器/產生器
645‧‧‧混合器控制資訊
650‧‧‧濾波器控制模組
655‧‧‧暫態控制模組
660‧‧‧混合器控制模組
665‧‧‧空間參數模組
840‧‧‧極性反轉模組
845‧‧‧特定輸出聲道經混合的音頻資料
850‧‧‧增益控制模組
847‧‧‧去相關訊號產生器控制資訊
880‧‧‧合成與混合係數產生模組
886‧‧‧經合成的去相關訊號
888‧‧‧混合器暫態控制模組
890‧‧‧經修改的混合係數
1125‧‧‧去相關濾波器輸入控制模組
1127‧‧‧時變濾波器
1130‧‧‧軟暫態計算器
1135‧‧‧閃避器模組
1145‧‧‧混合器暫態控制模組
1200‧‧‧裝置
1205‧‧‧介面系統
1210‧‧‧邏輯系統
1215‧‧‧記憶體系統
1220‧‧‧揚聲器
1225‧‧‧麥克風
1230‧‧‧顯示系統
1235‧‧‧使用者輸入系統
1240‧‧‧電力系統
圖1A和1B為顯示音頻編碼處理期間聲道耦合之範例的圖示。
圖2A為描繪音頻處理系統之元件的方塊圖。
圖2B提供可由圖2A之音頻處理系統執行之操作的概述。
圖2C為描繪替代音頻處理系統之元件的方塊圖。
圖2D為示出一去相關器如何被用於音頻處理系統中之範例的方塊圖。
圖2E為描繪替代音頻處理系統之元件的方塊圖。
圖2F為示出去相關器元件之範例的方塊圖。
圖3為說明去相關程序之範例的流程圖。
圖4為示出可被組態為執行圖3之去相關程序的去相關器元件之範例的方塊圖。
圖5A為示出移動全通濾波器之極點的範例的圖形。
圖5B和5C為示出移動全通濾波器之極點的另外範例的圖形。
圖5D和5E為示出當移動全通濾波器之極點 時可施用之限制區域的另外範例的圖形。
圖6A為示出去相關器之替代實施方式的方塊圖。
圖6B為示出去相關器之另一實施方式的方塊圖。
圖6C示出音頻處理系統之替代實施方式。
圖7A和7B為提供空間參數之簡化圖示的向量圖。
圖8A為說明本文所提供之一些去相關方法之方塊的流程圖。
圖8B為說明橫向正負號翻轉方法之方塊的流程圖。
圖8C和8D為示出可用來實施一些正負號翻轉方法之元件的方塊圖。
圖8E為說明由空間參數資料來決定合成係數和混合係數之方法的方塊的流程圖。
圖8F為示出混合器元件之範例的方塊圖。
圖9為概述在多聲道情況中合成去相關訊號之處理的流程圖。
圖10A為提供用於估算空間參數之方法之概述的流程圖。
圖10B為提供用於估算空間參數之替代方法之概述的流程圖。
圖10C為指示縮放項(scaling term)V B 和頻 帶索引l之關係的圖形。
圖10D為指示變數V M q之關係的圖形。
圖11A為概述一些暫態決定和暫態相關控制之方法的流程圖。
圖11B為包括用於暫態決定和暫態相關控制之各種元件之範例的方塊圖。
圖11C為概述至少部分基於音頻資料之瞬時功率變化而決定暫態控制值之一些方法的流程圖。
圖11D為顯示將原始(raw)暫態值映射至暫態控制值之範例的圖形。
圖11E為概述編碼暫態資訊之方法的流程圖。
圖12為提供可配置以實施本文所述之處理態樣的設備的元件範例的方塊圖。
在各個圖式中相同的參考數字和標記指示相同的元素。
下面的描述係針對某些實施方式,目的為說明本發明之一些創新態樣,以及該等創新態樣實施之情境的範例。然而,本文之教示可以各種不同的方式被應用。雖然在此應用中所提供的範例主要依據AC-3音頻編解碼器、及增強型AC-3音頻編解碼器(亦稱為E-AC-3)來描述,但本文所提供之概念亦適用於其他音頻編解碼器,包 括但不限於MPEG-2 AAC和MPEG-4 AAC。此外,所描述之實施方式可在各種音頻處理裝置中實施,該等音頻處理裝置包括但不限於可被包含在行動電話、智慧型手機、桌上型電腦、手持或可攜式電腦、輕省筆電、筆記型電腦、智慧型筆電(smartbook)、平板、立體聲系統、電視、DVD播放器、數位記錄裝置及各種其他裝置中的編碼器及/或解碼器。因此,本發明之教示並不打算限於附圖中所示及/或本文所描述之實施方式,而是具有廣泛的適用性。
包括AC-3和E-AC-3音頻編解碼器(其專有實施係授權為「杜比數位(Dolby Digital)」和「杜比數位Plus(Dolby Digital Plus)」)的一些音頻編解碼器使用某種形式的聲道耦合來利用聲道間的冗餘,更有效效率地編碼資料和減少編碼位元率。例如,使用AC-3和E-AC-3編解碼器,在超出特定「耦合開始頻率」的耦合聲道頻率範圍中,離散聲道(本文亦稱為「個別聲道(individual channels)」)的修改型離散餘弦轉換(MDCT)係數被降混為單一聲道,其在本文可被稱為「複合聲道(composite channel)」或「耦合聲道(coupling channel)」。某些編解碼器可形成兩個以上的耦合聲道。
AC-3和E-AC-3解碼器基於在位元流中發送的耦合坐標,使用縮放因子將耦合聲道的單一訊號升混為離散聲道。在此方式中,解碼器恢復音頻資料在各聲道之耦合聲道頻率範圍中的高頻包絡,而非相位。
圖1A和1B為顯示音頻編碼處理期間聲道耦合之範例的圖示。圖1A的圖形102指示在聲道耦合之前,對應於左聲道的音頻訊號。圖形104指示在聲道耦合之前,對應於右聲道的音頻訊號。圖1B顯示在編碼(包括聲道耦合)和解碼之後的左和右聲道。在此簡化範例中,圖形106指示左聲道的音頻資料基本上沒有改變,而圖形108指示右聲道的音頻資料現在與左聲道的音頻資料同相。
如圖1A和1B中所示,超出耦合開始頻率的已解碼訊號在聲道間可能是同調的。因此,相較於原始訊號,超出耦合開始頻率的已解碼訊號可能聽起來在空間上是收縮的。當降混已解碼聲道時,例如透過耳機虛擬化或在立體揚聲器上播放的雙耳再現,耦合聲道可能同調地相加。當相較於原始基準訊號時,此可導致音色不匹配。聲道耦合的負面影響在已解碼訊號於耳機上雙耳再現時可能特別明顯。
本文所述的各種實施方式可至少部分減輕這些影響。某些此種實施方式包含新穎的音頻編碼及/或解碼工具。此種實施方式可被組態為恢復由聲道耦合所編碼的頻率區域中輸出聲道的相位多樣性。依據各種實施方式,一去相關訊號可從各個輸出聲道之耦合聲道頻率範圍中的已解碼頻譜係數進行合成。
然而,本文描述許多其他類型的音頻處理裝置和方法。圖2A為描繪音頻處理系統之元件的方塊圖。 在此實施方式中,音頻處理系統200包括緩衝器201、切換器203、去相關器205和逆轉換模組255。切換器203可以例如是一交叉點切換器。緩衝器201接收音頻資料元素220a至220n、將音頻資料元素220a至220n轉送到切換器203,並將音頻資料元素220a至220n的複本傳送到去相關器205。
在此範例中,音頻資料元素220a至220n對應於複數個音頻聲道1至N。此處,音頻資料元素220a至220n包括對應於音頻編碼或處理系統的濾波器組係數的頻域表示,該音頻編碼或處理系統可能是舊有的音頻編碼或處理系統。然而,在替代的實施方式中,音頻資料元素220a至220n可對應於複數個頻帶1至N
在此實施方式中,所有的音頻資料元素220a至220n係由切換器203和去相關器205二者接收。此處,去相關器205處理所有的音頻資料元素220a至220n以產生去相關的音頻資料元素230a至230n。此外,切換器203接收所有的去相關的音頻資料元素230a至230n。
然而,逆轉換模組255並非接收所有的去相關的音頻資料元素230a至230n,並轉換為時域音頻資料260。相反的,切換器203選擇去相關的音頻資料元素230a至230n中哪些將由逆轉換模組255所接收。在此範例中,切換器203依據聲道選擇音頻資料元素230a至230n中哪些將由逆轉換模組255接收。此處,例如,音頻資料元素230a係由逆轉換模組255接收,而音頻資料 元素230n則不被接收。相反的,切換器203將未由去相關器205處理的音頻資料元素220n傳送到逆轉換模組255。
在一些實施方式中,切換器203可依據對應於聲道1至N的預定設定來決定要傳送直接音頻資料元素220或是去相關的音頻資料元素230到逆轉換模組255。替代地,或另外地,切換器203可依據選擇資訊207的聲道特定要素來決定要傳送直接音頻資料元素220或去相關的音頻資料元素230到逆轉換模組255,選擇資訊207可由本地(locally)產生或儲存,或與音頻資料220一起被接收。因此,音頻處理系統200可提供特定音頻聲道的選擇性去相關。
替代地,或另外地,切換器203可依據音頻資料220中的變化來決定要傳送直接音頻資料元素220或去相關的音頻資料元素230到逆轉換模組255。例如,切換器203可依據選擇資訊207的訊號適應性要素來決定將去相關的音頻資料元素230中的哪些(若有的話)傳送到逆轉換模組255,選擇資訊207可指示音頻資料220的暫態或音調變化。在替代的實施方式中,切換器203可從去相關器205接收此種訊號適應性資訊。在另一些實施方式中,切換器203可被組態為決定音頻資料中的變化,諸如暫態或音調變化。因此,音頻處理系統200可提供特定音頻聲道的訊號適應性去相關。
如上所述,在一些實施方式中,音頻資料元 素220a至220n可對應於複數個頻帶1至N。在一些這樣的實施方式中,切換器203可依據對應於頻帶的預定設定及/或依據接收到的選擇資訊207來決定要傳送直接音頻資料元素220或去相關的音頻資料元素230到逆轉換模組255。因此,音頻處理系統200可提供特定頻帶的選擇性去相關。
替代地,或另外地,切換器203可依據音頻資料220中的變化,其可由選擇資訊207或從去相關器205所接收的資訊指示,來決定要傳送直接音頻資料元素220或去相關的音頻資料元素230到逆轉換模組255。在一些實施方式中,切換器203可被組態為決定音頻資料中的變化。因此,音頻處理系統200可提供特定頻帶的訊號適應性去相關。
圖2B提供可由圖2A之音頻處理系統執行之操作的概述。在此範例中,方法270起始於接收對應於複數個音頻聲道的音頻資料(方塊272)之程序。該音頻資料可包括對應於音頻編碼或處理系統之濾波器組係數的頻域表示。該音頻編碼或處理系統可為,例如,舊有的音頻編碼或處理系統,諸如AC-3或E-AC-3。一些實施方式可包含,接收在由該舊有的音頻編碼或處理系統所產生之位元流中的控制機制元素,例如方塊切換之指示等等。去相關程序可至少部分依據該控制機制元素。以下提供詳細的範例。在此範例中,方法270亦包含對至少一些音頻資料施用去相關程序(方塊274)。該去相關程序可以該音頻 編碼或處理系統所使用的相同的濾波器組係數來實施。
再次參考圖2A,去相關器205可取決於具體的實施方式來執行各種類型的去相關操作。本文提供許多範例。在一些實施方式中,可以不用將音頻資料元素220之頻域表示的係數轉換為其他頻域或時域表示來實行去相關程序。該去相關程序可包含藉由對至少部分的頻域表示施用線性濾波器來產生混響訊號或去相關訊號。在一些實施方式中,該去相關程序可包含施用完全對實數值係數操作的去相關演算法。如本文所使用,「實數值」意味著僅使用餘弦或正弦調製濾波器組之其一。
該去相關程序可包含對接收到的音頻資料元素220a至220n的部分施用去相關濾波器,以產生經濾波的音頻資料元素。該去相關程序可包含使用一非階層混合器,依據空間參數來將接收到的音頻資料之直接部分(未對其施用去相關濾波器)與經濾波的音頻資料組合。例如,以特定輸出聲道方式來將音頻資料元素220a之直接部分與音頻資料元素220a之經濾波的部分混合。某些實施方式可包括去相關或混響訊號的特定輸出聲道組合器(例如,線性組合器)。下面描述各種範例。
在一些實施方式中,可根據接收到的音頻資料220的分析,由音頻處理系統200來決定空間參數。替代地,或另外地,空間參數可在位元流中與音頻資料220一起被接收,作為部分或所有的去相關資訊240。在一些實施方式中,去相關資訊240可包括個別離散聲道和一耦 合聲道之間的相關係數、個別離散聲道之間的相關係數、明確的音調資訊及/或暫態資訊。該去相關程序可包含至少部分基於去相關資訊240來去相關至少部分的音頻資料220。某些實施方式可被組態為使用由本地決定的以及接收到的空間參數及/或其他去相關資訊。下面描述各種範例。
圖2C為描繪替代音頻處理系統之元件的方塊圖。在此範例中,音頻資料元素220a至220n包括N個音頻聲道的音頻資料。音頻資料元素220a至220n包括對應於一音頻編碼或處理系統之濾波器組係數的頻域表示。在此實施方式中,頻域表示可以是施用完美重建、臨界取樣濾波器組的結果。例如,頻域表示可以是對時域中的音頻資料施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換的結果。
去相關器205對至少部分的音頻資料元素220a至220n施用去相關程序。例如,該去相關程序可包含藉由對至少部分的音頻資料元素220a至220n施用線性濾波器來產生混響訊號或去相關訊號。該去相關程序可至少部分依據由去相關器205所接收的去相關資訊240來執行。例如,去相關資訊240可在位元流中與音頻資料元素220a至220n的頻域表示一起被接收。替代地,或另外地,可例如由去相關器205來本地決定至少一些去相關資訊。
逆轉換模組255施用逆轉換來產生時域音頻 資料260。在此範例中,逆轉換模組255施用相當於完美重建、臨界取樣濾波器組的逆轉換。該完美重建、臨界取樣濾波器組可對應於(例如,藉由編碼裝置)施用於時域中之音頻資料的完美重建、臨界取樣濾波器組,以產生音頻資料元素220a至220n的頻域表示。
圖2D為示出一去相關器如何被用於音頻處理系統中之範例的方塊圖。在此範例中,音頻處理系統200為解碼器,其包括去相關器205。在一些實施方式中,該解碼器可被組態為依據AC-3或E-AC-3音頻編解碼器來作用。然而,在一些實施方式中,該音頻處理系統可被組態為處理用於其他音頻編解碼器的音頻資料。去相關器205可包括各種子元件,諸如本文於他處描述的那些。在此範例中,升混器225接收音頻資料210,其包括耦合聲道之音頻資料的頻域表示。該頻域表示在此範例中為MDCT係數。
升混器225亦接收各聲道及耦合聲道頻率範圍的耦合坐標212。在此實施方式中,在杜比數位或杜比數位Plus編碼器中已經以指數-假數(exponent-mantissa)形式來計算耦合坐標212形式的縮放資訊。升混器225可藉由將耦合聲道頻率坐標乘以用於該聲道的耦合坐標來計算各個輸出聲道的頻率係數。
在此實施方式中,升混器225將耦合聲道頻率範圍中的個別聲道的解耦MDCT係數輸出到去相關器205。因此,在此範例中,輸入至去相關器205的音頻資 料220包括MDCT係數。
在圖2D所示的範例中,由去相關器205輸出的去相關的音頻資料230包括去相關的MDCT係數。在此範例中,並非所有由音頻處理系統200所接收的音頻資料亦由去相關器205去相關。例如,去相關器205並不將音頻資料245a之頻域表示(頻率低於耦合聲道頻率範圍)以及音頻資料245b之頻域表示(頻率高於耦合聲道頻率範圍)去相關。這些資料與去相關器205所輸出的去相關的MDCT係數230被輸入到逆MDCT程序255。在此範例中,音頻資料245b包括由頻譜擴展工具、E-AC-3音頻編解碼器之音頻帶寬擴展工具所決定的MDCT係數。
在此範例中,去相關器205接收去相關資訊240。所接收的去相關資訊240的形式可依據實施方式而不同。在一些實施方式中,去相關資訊240可包括明確的、特定去相關器控制資訊及/或可形成此種控制資訊之基礎的明確的資訊。去相關資訊240可,例如,包括空間參數,諸如個別離散聲道和一耦合聲道之間的相關係數及/或個別離散聲道之間的相關係數。此種明確的去相關資訊240亦可包括明確的音調資訊及/或暫態資訊。此資訊可被用來至少部分決定用於去相關器205的去相關濾波器參數。
然而,在替代的實施方式中,去相關器205不會接收到此種明確的去相關資訊240。依據某些這種實施方式,去相關資訊240可包括來自舊有音頻編解碼器之 位元流的資訊。例如,去相關資訊240可包括在依據AC-3音頻編解碼器或E-AC-3音頻編解碼器所編碼的位元流中的時間分段資訊。去相關資訊240可包括使用耦合資訊、區塊交換資訊、指數資訊、指數策略資訊等等。此種資訊可與音頻資料210一起在一位元流中由音頻處理系統接收。
在一些實施方式中,去相關器205(或音頻處理系統200的其他元件)可依據音頻資料的一或多個屬性來決定空間參數、音調資訊及/或暫態資訊。例如,音頻處理系統200可依據音頻資料245a或245b(在耦合聲道頻率範圍之外)來決定耦合聲道頻率範圍內的空間參數。替代地,或另外地,音頻處理系統200可依據來自舊有音頻編解碼器之位元流的資訊而決定音調資訊。下面將描述一些這種實施方式。
圖2E為描繪替代音頻處理系統之元件的方塊圖。在此實施方式中,音頻處理系統200包括N至M升混器/降混器262和M至K升混器/降混器264。此處,音頻資料元素220a-220n,其包括用於N個音頻聲道的轉換係數,係由N至M升混器/降混器262和去相關器205所接收。
在此範例中,N至M升混器/降混器262可被配置為依據混合資訊266,將N個聲道的音頻資料升混或降混為M個聲道的音頻資料。然而,在一些實施方式中,N至M升混器/降混器262可以是直通(pass- through)元件。在這樣的實施方式中,N=M。混合資訊266可包括N至M混合公式。混合資訊266可以,例如,與去相關資訊240,對應於耦合聲道之頻域表示等等,一起在位元流中由音頻處理系統200接收。在此範例中,去相關器205所接收之去相關資訊240指示去相關器205應將去相關的音頻資料230的M個聲道輸出至切換器203。
切換器203可依據選擇資訊207決定將來自N至M升混器/降混器262的直接音頻資料或是去相關的音頻資料230轉送到M至K升混器/降混器264。M至K升混器/降混器264可被配置為依據混合資訊268,將M個聲道的音頻資料升混或降混為K個聲道的音頻資料。在這樣的實施方式中,混合資訊268可包括M至K混合公式。針對N=M的實施方式而言,M至K升混器/降混器264可依據混合資訊268將N個聲道的音頻資料升混或降混為K個聲道的音頻資料。在這樣的實施方式中,混合資訊268可包括N至K混合公式。混合資訊268可以,例如,與去相關資訊240及其他資料一起,在一位元流中由音頻處理系統200接收。
N至M、M至K或N至K混合公式可以是升混或降混公式。N至M、M至K或N至K混合公式可以是將輸入音頻訊號映射至輸出音頻訊號的一組線性組合係數。依據一些這種實施方式,M至K混合公式可以是立體聲降混公式。例如,M至K升混器/降混器264可被配 置為依據混合資訊268中的M至K混合公式,將4、5、6以上聲道的音頻資料降混為2聲道的音頻資料。在一些這樣的實施方式中,左聲道(“L”)、中央聲道(‘C”)和左環繞聲道(“Ls”)的音頻資料可依據M至K混合公式被組合為一左立體聲輸出聲道Lo。右聲道(“R”)、中央聲道和右環繞聲道(“Rs”)的音頻資料可依據M至K混合公式被組合為右立體聲輸出聲道Ro。例如,M至K混合公式可以如下:Lo=L+0.707C+0.707Ls
Ro=R+0.707C+0.707Rs
替代地,M至K混合公式可以如下:Lo=L+-3dB*C+att*Ls
Ro=R+-3dB*C+att*Rs,其中att可例如表示諸如-3dB、-6dB、-9dB或0的值。針對N=M的實施方式,上述公式可被視為N至K混合公式。
在此範例中,去相關器205所接收的去相關資訊240指示M個聲道的音頻資料將接著被升混或降混為K個聲道。去相關器205可被配置為取決於M個聲道的資料是否將接著被升混或降混為K個聲道的音頻資料,而使用不同的去相關程序。因此,去相關器205可被配置為至少部分依據M至K混合公式來決定去相關濾波程序。例如,若M個聲道將接著被降混為K個聲道,則可將不同的去相關濾波器用於將在隨後降混中被組合的聲道。依據一個這樣的範例,若去相關資訊240指示L、 R、Ls和Rs聲道的音頻資料將被降混為2聲道,則可將一個去相關濾波器用於L和R聲道二者,而將另一個去相關濾波器用於Ls和Rs聲道二者。
在一些實施方式中,M=K。在這樣的實施方式中,M至K升混器/降混器264可以是直通元件。
然而,在其他實施方式中,M>K。在這樣的實施方式中,M至K升混器/降混器264可作用如同降混器。依據一些這種實施方式,可使用產生去相關的降混之一較低計算強度的方法。例如,去相關器205可被配置為僅針對切換器203將傳送到逆轉換模組255的聲道,產生去相關的音頻資料230。例如,若N=6,且M=2,則去相關器205可被配置為產生僅針對2個降混聲道的去相關的音頻資料230。在程序中,去相關器205可使用僅針對2個,而非6個聲道的去相關濾波器,降低複雜性。對應的混合資訊可被包含在去相關資訊240、混合資訊266和混合資訊268中。因此,去相關器205可被配置為至少部分依據N至M、N至K或M至K混合公式而決定去相關濾波程序。
圖2F為示出去相關器元件之範例的方塊圖。圖2F中所示元件可以,例如,在解碼設備(諸如參照圖12於下描述的設備)的邏輯系統中實施。圖2F描述去相關器205,其包括去相關訊號產生器218和混合器215。在一些實施例中,去相關器205可包括其他元件。於本文他處闡述去相關器205之其他元件的範例以及它們如何運 作。
在此範例中,音頻資料220被輸入到去相關訊號產生器218和混合器215。音頻資料220可對應於複數個音頻聲道。例如,音頻資料220可包括在音頻編碼處理期間由聲道耦合所產生的資料,其在被去相關器205接收之前已經被升混。在一些實施例中,音頻資料220可以在時域中,而在其他實施例中,音頻資料220可以在頻域中。例如,音頻資料220可包括轉換係數的時序。
去相關訊號產生器218可形成一或多個去相關濾波器,對音頻資料220施用該等去相關濾波器,以及將產生的去相關訊號227提供給混合器215。在此範例中,該混合器將音頻資料220與去相關訊號227組合以產生去相關的音頻資料230。
在一些實施例中,去相關訊號產生器218可決定針對去相關濾波器的去相關濾波器控制資訊。依據一些這種實施例,去相關濾波器控制資訊可對應於去相關濾波器的最大極點位移。去相關訊號產生器218可至少部分依據去相關濾波器控制資訊來決定用於音頻資料220的去相關濾波器參數。
在一些實施方式中,決定該去相關濾波器控制資訊可包含與音頻資料220一起接收去相關濾波器控制資訊的快速(express)指示(例如,最大極點位移的快速指示)。在替代的實施方式中,決定該去相關濾波器控制資訊可包含決定音頻特性資訊,及至少部分依據該音頻特 性資訊決定去相關濾波器參數(諸如最大極點位移)。在一些實施方式中,該音頻特性資訊可包括空間資訊、音調資訊及/或暫態資訊。
將參照圖3-5E詳細說明去相關器205的一些實施方式。圖3為說明去相關程序之範例的流程圖。圖4為示出可被組態為執行圖3之去相關程序的去相關器元件之範例的方塊圖。圖3的去相關程序300可至少部分在諸如以下參照圖12所述之解碼設備中實施。
在此範例中,程序300起始於當去相關器接收音頻資料時(方塊305)。如上述參照圖2F,該音頻資料可由去相關器205的去相關訊號產生器218和混合器215所接收。此處,至少一些音頻資料接收自一升混器,諸如圖2D的升混器225。因此,該音頻資料對應於複數個音頻聲道。在一些實施方式中,由去相關器所接收的音頻資料可包括在各聲道之耦合聲道頻率範圍內的音頻資料之頻域表示(諸如MDCT係數)的時序。在替代的實施方式中,音頻資料可以在時域中。
在方塊310中,決定去相關濾波器控制資訊。該相關濾波器控制資訊可以,例如,依據音頻資料之音頻特性而決定。在一些實施方式中,例如圖4中所示的範例,此音頻特性可包括與音頻資料一起編碼的明確的空間資訊、音調資訊及/或暫態資訊。
在圖4中所示之實施例中,去相關濾波器410包括一固定延遲415和一時變(time-varying)部420。在 此範例中,去相關訊號產生器218包括一去相關濾波器控制模組405,用於控制去相關濾波器410的時變部420。在此範例中,去相關濾波器控制模組405接收音調旗標形式的明確的音調資訊425。在此實施方式中,去相關濾波器控制模組405亦接收明確的暫態資訊430。在一些實施方式中,明確的音調資訊425及/或明確的暫態資訊430可與音頻資料一起被接收,例如,作為去相關資訊240之部分。在一些實施方式中,明確的音調資訊425及/或明確的暫態資訊430可本地產生。
在一些實施方式中,去相關器205不會接收到明確的空間資訊、音調資訊或暫態資訊。在一些這樣的實施方式中,去相關器205的暫態控制模組(或音頻處理系統的其他元件)可被組態為依據音頻資料的一或多個屬性來決定暫態資訊。去相關器205的空間參數模組可被組態為依據音頻資料的一或多個屬性來決定空間參數。在本文他處描述一些範例。
在圖3的方塊315中,至少部分依據在方塊310所決定的去相關濾波器控制資訊來決定用於音頻資料的去相關濾波器參數。接著可依據去相關濾波器參數來形成去相關濾波器,如方塊320中所示。該濾波器可以例如是具有至少一個延遲元件的線性濾波器。在一些實施方式中,該濾波器可至少部分依據半純函數(meromorphic function)。例如,該濾波器可包括全通濾波器。
在圖4中所示之實施方式中,去相關濾波器 控制模組405可至少部分依據位元流中由去相關器205所接收之音調旗標425及/或明確的暫態資訊430而控制去相關濾波器410的時變部420。下面描述一些範例。在此範例中,僅對耦合聲道頻率範圍內的音頻資料施用去相關濾波器410。
在此實施例中,去相關濾波器410包括一固定延遲415,其後跟著時變部420,其在此範例中為全通濾波器。在一些實施例中,去相關訊號產生器218可包括一全通濾波器組。例如,在一些實施例中,其中音頻資料220在頻域中,去相關訊號產生器218可包括一全通濾波器,用於複數個頻率間隔(frequency bin)之各者。然而,在替代的實施方式中,可對各頻率間隔施用相同的濾波器。替代地,可將頻率間隔分組,而可對各組施用相同的濾波器。例如,該等頻率間隔可被分組為頻帶,可藉由聲道被分組及/或藉由頻帶和藉由聲道被分組。
該固定延遲量可以是可選擇的,例如透過邏輯裝置及/或依據使用者輸入。為了將受控制的混亂導入到去相關訊號227,去相關濾波器控制405可施用去相關濾波器參數來控制(複數個)全通濾波器的極點,使得一或多個極點在一限制區域中隨機地或虛擬隨機地移動。
因此,去相關濾波器參數可包括用於移動全通濾波器之至少一個極點的參數。此種參數可包括用於顫動全通濾波器之一或多個極點的參數。替代地,去相關濾波器參數可包括用於針對全通濾波器之各個極點,在複數 個預定極點位置中選擇一極點位置的參數。在一預定的時間間隔(例如,每杜比數位Plus方塊一次),可隨機地或虛擬隨機地選擇全通濾波器各極點的一新位置。
現在將參照圖5A-5E說明一些這種實施方式。圖5A為示出移動全通濾波器之極點的範例的圖形。圖形500為三階全通濾波器的極點圖。在此範例中,該濾波器具有兩個複數極點(complex poles)(極點505a和505c)以及一個實極點(real pole)(極點505b)。大圓為單位圓515。隨著時間的推移,該等極點位置可能顫動(或者是改變),使得它們在限制區域510a、510b和510c內移動,該等限制區域分別限制極點505a、505b和505c的可能路徑。
在此範例中,限制區域510a、510b和510c為圓形。極點505a、505b和505c的初始(或「種子」)位置係由限制區域510a、510b和510c之中心的圓圈所指示。在圖5A的範例中,限制區域510a、510b和510c為半徑0.2的圓,中心位在初始極點位置。極點505a和505c對應於複數共軛對,而極點505b為實極點。
然而,其他實施方式可包括更多或更少極點。替代的實施方式亦可包括不同大小或形狀的限制區域。圖5D和5E中示出一些範例,並描述於下。
在一些實施方式中,音頻資料的不同聲道共用相同的限制區域。然而,在替代的實施方式中,音頻資料的聲道不共用相同的限制區域。無論音頻資料的聲道是 否共用相同的限制區域,針對各音頻聲道,該等極點可獨立地顫動(或者是移動)。
極點505a的範例軌跡係由限制區域510a內的箭頭所指示。各個箭頭代表極點505a的移動或「跨距(strida)」520。雖然在圖5A中未示出,但複數共軛對的兩個極點,極點505a和505c,同步移動,使得該等極點維持它們的共軛關係。
在一些實施方式中,極點的移動可藉由改變最大跨距值來控制。最大跨距值可對應於距離最近的極點位置的最大極點位移。最大跨距值可定義一具有半徑等於該最大跨距值的圓。
圖5A中示出一個這樣的範例。極點505a從其初始位置位移跨距520a到位置505a’。跨距520a可能已依據先前的最大跨距值,例如,初始的最大跨距值,而受到限制。在極點505a從其初始位置移動到位置505a’之後,決定一新的最大跨距值。該最大跨距值定義最大跨距圓525,其具有等於該最大跨距值的半徑。在圖5A所示的範例中,下一個跨距(跨距520b)恰好等於該最大跨距值。因此,跨距520b移動該極點到位置505a”,在最大跨距圓525的圓周上。然而,該等跨距520通常可小於該最大跨距值。
在一些實施方式中,最大跨距值在每個跨步之後可被重設。在其他實施方式中,最大跨距值可在多個跨步之後及/或依據音頻資料的改變而被重設。
可以各種方式來決定及/或控制最大跨距值。在一些實施方式中,最大跨距值可至少部分依據將被施用去相關濾波器之音頻資料的一或多個屬性。
例如,該最大跨距值可至少部分依據音調資訊及/或暫態資訊。依據一些這種實施方式,針對音頻資料(諸如定音管、大鍵琴等的音頻資料)的高音調訊號,該最大跨距值可能位在或靠近零點,這導致在極點很少或沒有變化發生。在一些實施方式中,在暫態訊號中衝擊的瞬間(諸如爆炸、甩門等的音頻資料),該最大跨距值可位在或靠近零點。接著(例如,經過幾個方塊的時間週期之後),該最大跨距值可攀升到較大值。
在一些實施方式中,可依據音頻資料的一或多個屬性,在解碼器偵測音調及/或暫態資訊。例如,可由諸如控制資訊接收器/產生器640(參照圖6B和6C於下說明)的模組,依據音頻資料的一或多個屬性來決定音調及/或暫態資訊。替代地,明確的音調及/或暫態資訊可以,例如,透過音調及/或暫態旗標,從解碼器傳送,並由解碼器在位元流中接收。
在此實施方式中,可依據顫動參數來控制極點的運動。因此,雖然極點的移動可能依據最大跨距值而受限制,但極點移動的方向及/或程度可包括隨機或半隨機部分。例如,極點的移動可至少部分依據在軟體中實行的隨機數產生器或虛擬亂數產生器演算法的輸出。此種軟體可儲存於非暫態媒體並由邏輯系統執行。
然而,在替代的實施方式中,去相關濾波器參數可能不包含顫動參數。相反的,極點移動可能被限制在預定的極點位置。例如,一些預定的極點位置可能位在由最大跨距值所定義的半徑內。一邏輯系統可隨機地或虛擬隨機地選擇這些預定極點位置的其中一個位置作為下一個極點位置。
可採用各種其他的方法來控制極點移動。在一些實施方式中,若極點接近限制區域的邊界,則極點移動的選擇可能偏向更靠近限制區域中心的新的極點位置。例如,若極點505a朝向限制區域510a的邊界移動,則最大跨距圓525的中心可能朝向限制區域510a的中心向內移動,因此最大跨距圓525始終位在限制區域510a的邊界內。
在一些這樣的實施方式中,可能施用一加權函數以建立傾向移動極點位置遠離限制區域邊界的傾向性。例如,最大跨距圓525內的預定極點位置可能不被分配有被選為下一個極點位置的相同機率。相反的,相較於相對遠離限制區域中心的預定極點位置,更靠近限制區域中心的預定極點位置可被分配有較高的機率。依據一些這種實施方式,當極點505a靠近限制區域510a的邊界時,更可能的是下一個極點移動將朝向限制區域510a的中心。
在此範例中,極點505b的位置亦改變,但受到控制以使極點505b繼續維持實數。因此,極點505b的 位置被限制位於沿著限制區域510b的直徑530。然而,在替代的實施方式中,可將極點505b移動至具有虛部的位置。
在另一些實施方式中,所有的極點位置可能被限制為僅沿著半徑移動。在一些這樣的實施方式中,極點位置的改變僅增加或減少極點(在量值方面),但不影響它們的相位。此種實施方式可能有利於,例如,賦予一選定的混響時間常數。
相較於對應較低頻率之頻率係數的極點,對應較高頻率之頻率係數的極點可能相對地較靠近單位圓515的中心。我們將使用圖5B(圖5A之變形)來示出一範例實施方式。此處,在一給定時間點,三角形505a'''、505b'''和505c'''指示於顫動或一些其他程序之後所得到的在頻率f 0的極點位置,描述它們的時間變化。使z 1表示在505a'''的極點,而z 2表示在505b'''的極點。在505c'''的極點為在505a'''的極點的複數共軛,因此以表示,其中星號表示複數共軛。
針對在任何其他頻率f所使用之濾波器的極點,在此範例中係透過由因子(f)/(f 0)來縮放極點z 1z 2而獲得,其中(f)為音頻資料頻率f的遞減函數。當f=f 0,縮放因子等於1,且極點位在預期的位置。依據一些這種實施方式,可將較小的群延遲施用於對應較高頻率的頻率係數,而非對應較低頻率的頻率係數。在此處所述之實施例中,極點在一個頻率顫動,並縮放以獲得其他頻率 的極點位置。頻率f 0可以是,例如,耦合開始頻率。在替代的實施方式中,極點可在各頻率分開地顫動,而限制區域(510a、510b和510c)可能基本上在較高頻率,相較於較低頻率,更靠近原點。
依據本文所述之各種實施方式,極點505可為可移動的,但相對於彼此可維持基本上一致的空間或角度關係。在一些這樣的實施方式中,極點505的移動可不依據限制區域而受限。
圖5C顯示一個這樣的範例。在此範例中,複數共軛極點505a和505c在單元圓515內可能是可以順時針或反時針方向移動的。當極點505a和505c移動時(例如,在一預定的時間間隔),兩個極點可能以由隨機或半隨機選取的角度θ旋轉。在一些實施例中,可能依據最大角度跨距值而限制此角運動。在圖5C所示的範例中,已在順時針方向以角度θ移動極點505a。因此,極點505c已在反時針方向以角度θ移動,以維持極點505a和極點505c之間的複數共軛關係。
在此範例中,限制極點505b沿著實軸移動。在一些這樣的實施方式中,極點505a和505c亦可朝向或遠離單元圓515的中心移動,例如,如上述參照圖5B。在替代的實施方式中,可能不移動極點505b。在另一些實施方式中,可能從實軸移動極點505b。
在圖5A和5B所示之範例中,限制區域510a、510b和510c為圓形。然而,發明人可考慮各種其 他限制區域形狀。例如,圖5D之限制區域510d的形狀實質上為橢圓形。極點505d可位在橢圓形限制區域510d內的各個位置。在圖5E的範例中,限制區域510e為環形。極點505e可位在限制區域510e的環形內的各個位置。
現在回到圖3,在方塊325中,對至少一些音頻資料施用去相關濾波器。例如,圖4的去相關訊號產生器218可對至少一些輸入音頻資料220施用去相關濾波器。去相關濾波器的輸出227可能與輸入音頻資料220無相關。此外,去相關濾波器的輸出可能與輸入訊號有基本上相同的功率頻譜密度。因此,去相關濾波器的輸出227可能聽起來自然。在方塊330中,去相關濾波器的輸出可能與輸入音頻資料混合。在方塊335中,輸出去相關的音頻資料。在圖4的範例中,在方塊330中,混合器215將去相關濾波器的輸出227(本文稱為「經濾波的音頻資料」)與輸入音頻資料220(本文稱為「直接音頻資料」)組合。在方塊335中,混合器215輸出去相關的音頻資料230。若在方塊340中決定將處理更多的音頻資料,則去相關程序300返回方塊305。否則,結束去相關程序300(方塊345)。
圖6A為示出去相關器之替代實施方式的方塊圖。在此範例中,混合器215和去相關訊號產生器218接收對應於複數聲道的音頻資料元素220。至少一些音頻資料元素220可例如輸出自升混器,例如圖2D的升混器225。
此處,混合器215和去相關訊號產生器218亦接收各種形式的去相關資訊。在一些實施方式中,至少一些去相關資訊可在一位元流中與音頻資料元素220一起被接收。替代地,或另外地,例如,可透過去相關器205的其他元件或透過音頻處理系統200的一或多個其他元件來本地決定至少一些去相關資訊。
在此範例中,所接收的去相關資訊包括去相關訊號產生器控制資訊625。去相關訊號產生器控制資訊625可包括去相關濾波器資訊、增益資訊、輸入控制資訊等等。去相關訊號產生器至少部分依據去相關訊號產生器控制資訊625來產生去相關訊號227。
此處,所接收的去相關資訊亦包括暫態控制資訊430。在本文他處提供去相關器205可如何使用及/或產生暫態控制資訊430的各種範例。
在此實施方式中,混合器215包括合成器605和直接訊號和去相關訊號混合器610。在此範例中,合成器605是去相關或混響訊號,諸如,接收自去相關訊號產生器218的去相關訊號227,的特定輸出聲道組合器。依據一些這種實施方式,合成器605可以是去相關或混響訊號的線性組合器。在此範例中,去相關訊號227對應於複數聲道的音頻資料元素220,去相關訊號產生器對該等音頻資料元素施用一或多個去相關濾波器。因此,去相關訊號227在本文亦可稱為「經濾波的音頻資料」或「經濾波的音頻資料元素」。
此處,直接訊號和去相關訊號混合器610是組合經濾波的音頻資料元素和對應於複數聲道的「直接」音頻資料元素220的特定輸出聲道組合器,用以產生去相關的音頻資料230。因此,去相關器205可提供音頻資料之聲道特定和非階層的去相關。
在此範例中,合成器605依據去相關訊號合成參數615來組合去相關訊號227,去相關訊號合成參數615在本文亦可被稱為「去相關訊號合成係數」。同樣地,直接訊號和去相關訊號混合器610依據混合係數620來組合直接和經濾波的音頻資料元素。去相關訊號合成參數615和混合係數620可至少部分依據所接收的去相關資訊。
此處,所接收的去相關資訊包括空間參數資訊630,其在此範例中為聲道特定的。在一些實施方式中,混合器215可被組態為至少部分依據空間參數資訊630來決定去相關訊號合成參數615及/或混合係數620。在此範例中,所接收的去相關資訊亦包括降混/升混資訊635。例如,降混/升混資訊635可指示有多少音頻資料的聲道被組合以產生降混的音頻資料,其可對應於耦合聲道頻率範圍內的一或多個耦合聲道。降混/升混資訊635亦可指示所欲輸出聲道的數目及/或輸出聲道的特性。如上述參照圖2E,在一些實施方式中,降混/升混資訊635可包括資訊,其對應於N至M升混器/降混器262所接收的混合資訊266及/或M至K升混器/降混器264所接收 的混合資訊268。
圖6B為示出去相關器之另一實施方式的方塊圖。在此範例中,去相關器205包括控制資訊接收器/產生器640。此處,控制資訊接收器/產生器640接收音頻資料元素220和245。在此範例中,對應的音頻資料元素220亦由混合器215和去相關訊號產生器218接收。在一些實施方式中,音頻資料元素220可對應於耦合聲道頻率範圍內的音頻資料,而音頻資料元素245可對應於在耦合聲道頻率範圍之外的一或多個頻率範圍的音頻資料。
在此實施方式中,控制資訊接收器/產生器640依據去相關資訊240及/或音頻資料元素220及/或245來決定去相關訊號產生器控制資訊625和混合器控制資訊645。下面描述控制資訊接收器/產生器640及其功能的一些範例。
圖6C示出音頻處理系統之替代實施方式。在此範例中,音頻處理系統200包括去相關器205、切換器203和逆轉換模組255。在一些實施方式中,切換器203和逆轉換模組255可以實質上如上述參照圖2A。同樣地,混合器215和去相關訊號產生器可基本上如本文他處所述。
控制資訊接收器/產生器640可具有不同的功能,依據特定的實施方式。在此實施方式中,控制資訊接收器/產生器640包括濾波器控制模組650、暫態控制模組655、混合器控制模組660和空間參數模組665。如同使 用音頻處理系統200之其他元件,控制資訊接收器/產生器640的元件可透過硬體、韌體、儲存於非暫態媒體的軟體及/或該等之組合來實施。在一些實施方式中,這些元件可由諸如本文中他處所述之邏輯系統來實施。
濾波器控制模組650可,例如,被組態為控制去相關訊號產生器,如上述參照圖2E-5E及/或如下述參照圖11B。下面提供暫態控制模組655和混合器控制模組660的各種功能範例。
在此範例中,控制資訊接收器/產生器640接收音頻資料元素220和245,其可包括由切換器203及/或去相關器205所接收的音頻資料的至少一部分。音頻資料元素220由混合器215和去相關訊號產生器218接收。在一些實施方式中,音頻資料元素220可對應於耦合聲道頻率範圍內的音頻資料,而音頻資料元素245可對應於耦合聲道頻率範圍之外的頻率範圍內的音頻資料。例如,音頻資料元素245可對應於在耦合聲道頻率範圍之上及/或之下的頻率範圍內的音頻資料。
在此實施方式中,控制資訊接收器/產生器640依據去相關資訊240、音頻資料元素220及/或音頻資料元素245來決定去相關訊號產生器控制資訊625和混合器控制資訊645。控制資訊接收器/產生器640將去相關訊號產生器控制資訊625和混合器控制資訊645分別提供至去相關訊號產生器218和混合器215。
在一些實施方式中,控制資訊接收器/產生器 640可被組態為決定音調資訊,及至少部分依據該音調資訊來決定去相關訊號產生器控制資訊625及/或混合器控制資訊645。例如,控制資訊接收器/產生器640可被組態為透過將例如音調旗標的明確的音調資訊做為部分的去相關資訊240來接收明確的音調資訊。控制資訊接收器/產生器640可被組態為處理所接收的明確的音調資訊,以及決定音調控制資訊。
例如,若控制資訊接收器/產生器640決定在耦合聲道頻率範圍內的音頻資料是高音調的,則控制資訊接收器/產生器640可被組態為提供去相關訊號產生器控制資訊625,其指示最大跨距值應被設定為零或是接近零,這導致在極點很少或沒有變化發生。接著(例如,經過少數區塊的時間週期之後),最大跨距值可攀升至一較大值。在一些實施方式中,若控制資訊接收器/產生器640決定在耦合聲道頻率範圍內的音頻資料是高音調的,則控制資訊接收器/產生器640可被組態為對空間參數模組665指示,在計算各種量(諸如估算空間參數時所使用的能量)時,可施用相對較高程度的平滑化。於本文他處提供回應決定高音調音頻資料的其他範例。
在一些實施方式中,控制資訊接收器/產生器640可被組態為依據音頻資料220之一或多個屬性及/或依據來自透過去相關資訊240所接收之舊有音頻碼的位元流的資訊,諸如指數資訊及/或指數策略資訊來決定音調資訊。
例如,在依據E-AC-3音頻編解碼所編碼之音頻資料的位元流中,用於轉換係數之指數係經差分編碼的。頻率範圍內之絕對指數差的和是沿著在對數強度(log-magnitude)域中之信號的頻譜包絡前進之距離的測量。諸如定音管和大鍵琴的訊號具有柵欄(picket-fence)頻譜,因此沿其測量距離的路徑之特徵在於有許多峰與谷。因此,對於此種訊號,在相同頻率範圍內沿著頻譜包絡前進之距離是較大的,相較於對應於例如掌聲或雨聲之音訊資料的訊號(其具有相對平坦的頻譜)。
因此,在一些實施方式中,控制資訊接收器/產生器640可被組態為至少部分的依據在耦合聲道頻率範圍內的指數差而決定音調度量。例如,控制資訊接收器/產生器640可被組態為依據在耦合聲道頻率範圍內的平均絕對指數差來決定音調度量。依據一些這種實施方式,該音調度量僅在訊框中所有區塊共用耦合指數策略時被計算,並且不指示指數頻率共用,在該情況下,定義一個頻率間隔至下一個頻率間隔之指數差是有意義的。依據一些實施方式,該音調度量僅當E-AC-3適應性混合轉換(“AHT”)旗標針對耦合聲道設定時被計算。
若音調度量被決定為E-AC-3音頻資料的絕對指數差,則在一些實施方式中,該音調度量可採取0到2之間的值,因為-2、-1、0、1和2是依據E-AC-3唯一允許的指數差。為了區分音調和非音調訊號,可設定一或多個音調閾值。例如,某些實施方式包含設定用於進入音調 狀態的一個閾值和用於離開該音調狀態的另一個閾值。用於離開音調狀態的閾值可能低於用於進入音調狀態的閾值。此種實施方式提供一定程度的遲滯現象(hysteresis),使得音調值略低於閾值上限將不會不經意地導致音調狀態改變。在一個範例中,用於離開音調狀態的閾值為0.40,而用於進入音調狀態的閾值為0.45。然而,其他實施方式可包括更多或更少閾值,且該等閾值可為不同值。
在一些實施方式中,音調度量計算可依據訊號中存在的能量進行加權。此能量可能直接自指數導出。對數能量度量可與該指數成反比,因為在E-AC-3中該等指數被表示為2的負冪。依據此種實施方式,頻譜中低能量的部分相較於頻譜中高能量的部分將對於整體音調度量較少貢獻。在一些實施方式中,音調度量計算可能僅在訊框的零區塊(block zero)上被執行。
在圖6C所示的範例中,來自混合器215的去相關的音頻資料230被提供至切換器203。在一些實施方式中,切換器203可決定將直接音頻資料220和去相關的音頻資料230的哪些分量傳送到逆轉換模組255。因此,在一些實施方式中,音頻處理系統200可提供音頻資料分量的選擇性或訊號適應性去相關。例如,在一些實施方式中,音頻處理系統200可提供音頻資料的特定聲道的選擇性或訊號適應性去相關。替代地,或另外地,在一些實施方式中,音頻處理系統200可提供音頻資料的特定頻帶的選擇性或訊號適應性去相關。
在音頻處理系統200的各種實施方式中,控制資訊接收器/產生器640可被組態為決定音頻資料220之空間參數的一或多種形式。在一些實施方式中,至少一些這種功能可由圖6C中所示之空間參數模組665提供。一些這種空間參數可以是個別離散聲道和耦合聲道之間的相關係數,其於本文亦被稱為「alphas」。例如,若耦合聲道包括四個聲道的音頻資料,則可能有四個alphas,各聲道一個alpha。在一些這樣的實施方式中,該四個聲道可能為左聲道(“L”)、右聲道(“R”)、左環繞聲道(“Ls”)及右環繞聲道(“Rs”)。在一些實施方式中,該耦合聲道可能包括上述該等聲道和一中央聲道的音頻資料。針對該中央聲道可能或可能不計算alphas,其取決於該中央聲道是否將被去相關。其他實施方式可包含較多或較少的聲道數。
其他空間參數可能是聲道間(inter-channel)相關係數,其指示一對個別離散聲道之間的相關性。此種參數在本文中有時可被稱為反映「聲道間的一致性」或「ICC」。在上面提到的四個聲道的範例中,可能有六個ICC值,包含針對L-R對、L-L對、L-Rs對、R-Ls對、R-Rs對和Ls-Rs對。
在一些實施方式中,由控制資訊接收器/產生器640決定空間參數可包含,例如,透過去相關資訊240,接收位元流中的明確的空間參數。替代地,或另外地,控制資訊接收器/產生器640可被組態為估算至少一 些空間參數。控制資訊接收器/產生器640可被組態為至少部分依據空間參數來決定混合參數。因此,在一些實施方式中,關於決定和處理空間參數的功能可至少部分藉由混合器控制模組660來實施。
圖7A和7B為提供空間參數之簡化圖示的向量圖。圖7A和7B可被視為N維向量空間中訊號的3-D概念性表示。各個N維向量可表示一實數或複數值的隨機變數,其N坐標對應於任何N個獨立試驗(independent trials)。例如,該N坐標可對應於頻率範圍內及/或時間間隔內(例如,在少數音訊區塊期間)之訊號的N個頻域係數的集合。
首先參照圖7A的左側圖,此向量圖表示左輸入聲道l in 、右輸入聲道r in 和耦合聲道x mono (藉由將l in r in 相加所形成之單降混)之間的空間關係。圖7A為可由編碼裝置實施之形成耦合聲道的簡化範例。左輸入聲道l in 和耦合聲道x mono 間的相關係數為α L ,而右輸入聲道r in 和耦合聲道間的相關係數為α R 。因此,表示左輸入聲道l in 和耦合聲道x mono 的向量之間的角度θ L 等於arccos(α L ),而表示右輸入聲道r in 和耦合聲道x mono 的向量之間的角度θ R 等於arccos(α R )。
圖7A的右圖顯示將一個別輸出聲道與耦合聲道去相關的簡化範例。此種類型的去相關程序可例如由解碼裝置實施。藉由產生與耦合聲道x mono 不相關(垂直)的去相關訊號y L ,並使用適當的加權將它與耦合聲道 x mono 混合,個別輸出聲道(在此範例中為l out )的振幅以及其與耦合聲道x mono 的角距離可準確地反映個別輸入聲道的振幅以及其與耦合聲道的空間關係。去相關訊號y L 應具有與耦合聲道x mono 相同的功率分佈(此處以向量長度表示)。在此範例中,l out =α L x mono + y L 。藉由指示=β L l out =α L x mono +β L y L
然而,回復個別離散聲道和耦合聲道之間的空間關係並不保證回復離散聲道之間的空間關係(以ICCs表示)。此事實示於圖7B中。圖7B中的兩圖顯示兩個極端的情況。當去相關訊號y L y R 相隔180°時,l out r out 之間的間距被最大化,如圖7B的左圖所示。在此情況中,左聲道和右聲道之間的ICC被最小化,l out r out 之間的相位差被最大化。反之,如圖7B的右圖所示,當去相關訊號y L y R 相隔0°時,l out r out 之間的間距被最小化。在此情況中,左聲道和右聲道之間的ICC被最大化,l out r out 之間的相位差被最小化。
在圖7B所示的範例中,所有圖示的向量均在相同平面。在其他範例中,y L y R 可位於相對於彼此之其他角度。然而,y L y R 垂直於、或至少基本上垂直於耦合聲道x mono 係較佳的。在一些範例中,y L y R 可至少部分延伸到與圖7B之圖正交的平面。
由於該等離散聲道最終被重現並呈現給聽者,離散聲道之間的空間關係(ICC)的正確回復可顯著地改善音頻資料之空間特性的回復。如可透過圖7B之範 例所見,ICCs的正確回復取決於建立彼此之間有適當空間關係的去相關訊號(此處為y L y R )。去相關訊號之間的此種相關性在本文可被稱為去相關訊號間的一致性(inter-decorrelation-signal coherence)或「IDC」。
在圖7B的左圖中,y L y R 之間的IDC為-1。如上所述,此IDC與左聲道和右聲道間的最小ICC相符。藉由比較圖7B之左圖和圖7A之左圖,可觀察到在這個有兩個耦合聲道的範例中,l out r out 之間的空間關係準確地反映了l in r in 之間的空間關係。在圖7B的右圖中,y L y R 之間的IDC為1(完全相關)。藉由比較圖7B之右圖和圖7A之左圖,可看出在此範例中,l out r out 之間的空間關係無法準確地反映l in r in 之間的空間關係。
因此,藉由將空間上相鄰的個別聲道之間的IDC設定為-1,這些聲道之間的ICC可被最小化,並且當這些聲道為主要(dominant)時,該等聲道之間的空間關係可以緊密地被回復。這導致一整體聲音圖像,其感知上接近原始音頻訊號的聲音圖像。此種方法於本文可被稱為「正負號翻轉(sign-flip)」法。在此種方法中,不需要知道實際的ICC。
圖8A為說明本文所提供之一些去相關方法之方塊的流程圖。如本文描述的其他方法,不一定要以所指示的順序來實施方法800之方塊。此外,方法800的一些實施方式和其他方法可包括多於或少於所指示或描述的方 塊。方法800起始於方塊802,其中,接收對應於複數音頻聲道的音頻資料。該音頻資料可,例如,由音頻解碼系統之元件所接收。在一些實施方式中,該音頻資料可由音頻解碼系統之去相關器所接收,諸如本文所揭示之去相關器205的實施方式之一。該音頻資料可包括複數個音頻聲道的音頻資料元素,其由升混對應於一耦合聲道的音頻資料所產生。依據一些實施方式,該音頻資料可能已藉由對對應於該耦合聲道的音頻資料施加聲道特定、隨時間變化的縮放因子而被升混。下面提供一些範例。
在此範例中,方塊804包含決定音頻資料的音頻特性。此處,該音頻特性包括空間參數資料。該空間參數資料可包括alphas,個別音頻聲道和耦合聲道之間的相關係數。方塊804可包含接收空間參數資料,例如,透過去相關資訊240,如上述參照圖2A起之各圖。替代地,或另外地,方塊804可包含例如,以控制資訊接收器/產生器640(見,例如,圖6B或6C)而本地估算空間參數。在一些實施方式中,方塊804可包含決定其他音頻特性,諸如暫態特性或音調特性。
此處,方塊806包含至少部分依據該音頻特性來決定用於該音頻資料的至少兩個去相關濾波程序。該去相關濾波程序可以是聲道特定的去相關濾波程序。依據一些實施方式,在方塊806中所決定之各個去相關濾波程序包括一連串關於去相關的操作。
施用在方塊806中所決定之至少兩個去相關 濾波程序可產生聲道特定去相關訊號。例如,施用在方塊806中所決定的去相關濾波程序可導致在至少一對聲道之聲道特定去相關訊號之間的特定的去相關訊號間一致性(「IDC」)。一些這種去相關濾波程序可包含對該音頻資料之至少一部分施用至少一個去相關濾波器(例如,參考圖8B或圖8E之方塊820於下所述)以產生經濾波的音頻資料,於本文亦被稱為去相關訊號。可在該經濾波的音頻資料上實施進一步的操作已產生該聲道特定去相關訊號。一些這種去相關濾波程序可包含橫向正負號翻轉(lateral sign-flip)處理,諸如參考圖8B-8D於下所述之橫向正負號翻轉處理的其中之一。
在一些實施方式中,可在方塊806中決定將使用相同的去相關濾波器來產生對應於所有將被去相關之聲道的經濾波的音頻資料,而在其他實施方式中,可在方塊806中決定將使用不同的去相關濾波器來產生至少一些將被去相關之聲道的經濾波的音頻資料。在一些實施方式中,可在方塊806中決定對應於中央聲道的音頻資料將不被去相關,而在其他實施方式中,方塊806可包含決定一不同的去相關濾波器用於中央聲道之音頻資料。此外,雖然在一些實施方式中,方塊806中所決定之各個去相關濾波程序包括一連串關於去相關的操作,然而在替代的實施方式中,方塊806中所決定之各個去相關濾波程序可與整體去相關程序之一特定階段一致。例如,在替代的實施方式中,方塊806中所決定之各個去相關濾波程序可與一連 串關於產生至少兩個聲道之去相關訊號的操作內之一特定操作(或一組相關操作)一致。
在方塊808中,將實施方塊806中所決定之去相關濾波程序。例如,方塊808可包含對至少部分所接收到的音頻資料施用一去相關濾波器或複數濾波器,以產生經濾波的音頻資料。該經濾波的音頻資料可,例如,與去相關訊號產生器218(如上述參考圖2F、圖4及/或圖6A-6C)所產生之去相關訊號227一致。方塊808亦可包含各種其他操作,其範例將於下文提供。
此處,方塊810包含至少部分依據音頻特性決定混合參數。方塊810可至少部分由控制資訊接收器/產生器640之混合器控制模組660(見圖6C)所實施。在一些實施方式中,該等混合參數可以是特定輸出聲道混合參數。例如,方塊810可包含接收或估算將被去相關之各個音頻聲道的alpha值,並至少部分基於該alphas來決定混合參數。在一些實施方式中,該alphas可依據暫態控制資訊而被修改,該暫態控制資訊可由暫態控制模組655(見圖6C)決定。在方塊812中,該經濾波的音頻資料可依據混合參數與音頻資料的直接部分混合。
圖8B為說明橫向正負號翻轉方法之方塊的流程圖。在一些實施方式中,圖8B中所示的方塊為圖8A之「決定」方塊806和「施用」方塊808的範例。因此,這些方塊在圖8B中被標示為「806a」和「808a」。在此範例中,方塊806a包含決定去相關濾波器和用於至少兩 個相鄰聲道之去相關訊號的極性,以造成該對聲道的去相關訊號之間的特定IDC。在此實施方式中,方塊820包含對所接收到的音頻資料的至少一部分施用方塊806a中所決定的一或多個去相關濾波器,以產生經濾波的音頻資料。該經濾波的音頻資料可,例如,與去相關訊號產生器218(如上述參照圖2E和圖4)所產生之去相關訊號227一致。
在一些四聲道範例中,方塊820可包含對第一和第二聲道的音頻資料施用第一去相關濾波器以產生第一聲道經濾波的資料和第二聲道經濾波的資料,以及對第三和第四聲道的音頻資料施用第二去相關濾波器以產生第三聲道經濾波的資料和第四聲道經濾波的資料。例如,該第一聲道可以是左聲道,該第二聲道可以是右聲道,該第三聲道可以是左環繞聲道,而該第四聲道可以是右環繞聲道。
可在升混音頻資料之前或之後施用去相關濾波器,其取決於具體實施方式。在一些實施方式中,例如,可對音頻資料之一耦合聲道施用一去相關濾波器。接著,可施用適於各聲道的縮放因子。以下參照圖8C說明某些範例。
圖8C和8D為示出可用來實施一些正負號翻轉方法之元件的方塊圖。首先參照圖8B,在此實施方式中,在方塊820中對輸入音頻資料之一耦合聲道施用一去相關濾波器。在圖8C所示之範例中,去相關訊號產生器 218接收去相關訊號產生器控制資訊625和音頻資料210(其包括對應於該耦合聲道的頻域表示)。在此範例中,去相關訊號產生器218輸出去相關訊號227,其對於將被去相關的所有聲道係相同的。
圖8B的程序808a可包含對經濾波的音頻資料執行操作,以產生去相關訊號,其具有至少一對聲道之去相關訊號之間的一特定的去相關訊號間一致性IDC。在此實施方式中,方塊825包含將極性施用至方塊820中所產生的經濾波的音頻資料。在此範例中,方塊820中所施用的極性係在方塊806a中被決定。在一些實施方式中,方塊825包含反轉相鄰聲道之經濾波的音頻資料之間的極性。例如,方塊825可包含將對應於左側聲道或右側聲道的經濾波的音頻資料乘以-1。方塊825可包含參照對應於左側聲道之經濾波的音頻資料來反轉對應於左環繞聲道之經濾波的音頻資料的極性。方塊825亦可包含參照對應於右側聲道之經濾波的音頻資料來反轉對應於右環繞聲道之經濾波的音頻資料的極性。在上述四聲道的範例中,方塊825可包含反轉第一聲道經濾波的資料的極性相對於第二聲道經濾波的資料,以及反轉第三聲道經濾波的資料的極性相對於第四聲道經濾波的資料。
在圖8C所示的範例中,極性反轉模組840接收去相關訊號227,其亦表示為y。極性反轉模組840被組態為反轉相鄰聲道之去相關訊號的極性。在此範例中,極性反轉模組840被組態為反轉右聲道和左環繞聲道之去 相關訊號的極性。然而,在其他實施方式中,極性反轉模組840可被組態為反轉其他聲道之去相關訊號的極性。例如,極性反轉模組840可被組態為反轉左聲道和右環繞聲道之去相關訊號的極性。其他實施方式可包含反轉又其他聲道之去相關訊號的極性,其取決於所包含的聲道數目和它們的空間關係。
極性反轉模組840將去相關訊號227(包括正負號翻轉的去相關訊號227)提供給聲道特定混合器215a-215d。聲道特定混合器215a-215d亦接收耦合聲道之直接、未經濾波的音頻資料210以及特定輸出聲道空間參數資訊630a-630d。替代地,或另外地,在一些實施方式中,聲道特定混合器215a-215d可接收經修改的混合係數890,其參照圖8F於下文說明。在此範例中,已依據暫態資料,例如,依據來自如圖6C中所示之暫態控制模組的輸入,來修改特定輸出聲道空間參數資訊630a-630d。下面提出依據暫態資料來修改空間參數的範例。
在此實施方式中,聲道特定混合器215a-215d依據特定輸出聲道空間參數資訊630a-630d,將去相關訊號227與耦合聲道之直接音頻資料210混合,並將所得到之特定輸出聲道經混合的音頻資料845a-845d輸出到增益控制模組850a-850d。在此範例中,增益控制模組850a-850d被組態為對特定輸出聲道經混合的音頻資料845a-845d施用特定輸出聲道增益,本文亦稱為縮放因子。
現在將參照圖8D說明替代的正負號翻轉法。 在此範例中,至少部分依據聲道特定去相關控制資訊847a-847d,由去相關訊號產生器218a-218d對音頻資料210a-210d施用聲道特定去相關濾波器。在一些實施方式中,去相關訊號產生器控制資訊847a-847d可在一位元流中與音頻資料一起被接收,而在其他實施方式中,可例如由去相關濾波器控制模組405本地產生(至少部分)去相關訊號產生器控制資訊847a-847d。此處,去相關訊號產生器218a-218d亦可依據接收自去相關濾波器控制模組405的去相關濾波器係數資訊來產生聲道特定的去相關濾波器。在一些實施方式中,一單一濾波器描述可由去相關濾波器控制模組405產生,其可被所有聲道共用。
在此範例中,在音頻資料210a-210d被去相關訊號產生器218a-218d接收之前,已對音頻資料210a-210d施用聲道特定的增益/縮放因子。例如,若音頻資料係依據AC-3或E-AC-3音頻編解碼器編碼,該等縮放因子可以是耦合坐標或「cplcoords」,其與剩下的音頻資料一起被編碼,並且由音頻處理系統,諸如解碼裝置,在一位元流中被接收。在一些實施方式中,cplcoords亦可為特定輸出聲道縮放因子的基礎,該等特定輸出聲道縮放因子由增益控制模組850a-850d施用至特定輸出聲道經混合的音頻資料845a-845d(見圖8C)。
因此,去相關訊號產生器218a-218d輸出將被去相關之所有聲道的聲道特定去相關訊號227a-227d。圖8D中,去相關訊號227a-227d亦分別被參考為y L y R y LS y RS
去相關訊號227a-227d由極性反轉模組840接收。極性反轉模組840被組態為反轉相鄰聲道之去相關訊號的極性。在此範例中,極性反轉模組840被組態為反轉右聲道和左環繞聲道之去相關訊號的極性。然而,在其他實施方式中,極性反轉模組840可被組態為反轉其他聲道之去相關訊號的極性。例如,極性反轉模組840可被組態為反轉左聲道和右環繞聲道之去相關訊號的極性。其他實施方式可包含反轉又其他聲道之去相關訊號的極性,其取決於所包含的聲道數目和它們的空間關係。
極性反轉模組840將去相關訊號227a-227d(包括正負號翻轉的去相關訊號227b和227c)提供給聲道特定混合器215a-215d。此處,聲道特定混合器215a-215d亦接收直接音頻資料210a-210d以及特定輸出聲道空間參數資訊630a-630d。在此範例中,特定輸出聲道空間參數資訊630a-630d已依據暫態資料修改。
在此實施方式中,聲道特定混合器215a-215d依據特定輸出聲道空間參數資訊630a-630d將去相關訊號227與直接音頻資料210a-210d混合,並輸出特定輸出聲道經混合的音頻資料845a-845d。
此處提供用於回復離散輸入聲道間之空間關係的替代方法。該方法可包含系統化地決定合成係數,以決定去相關或混響訊號將如何被合成。依據一些這種方法,最佳IDCs係由alphas和目標ICCs來決定。此種方 法可包含依據被決定為最佳的IDCs來系統化地合成一組聲道特定去相關訊號。
將參照圖8E和8F來說明一些這種系統方法的概述。進一步的細節,其中包括某些範例的基本數學式,將隨後說明。
圖8E為說明由空間參數資料來決定合成係數和混合係數之方法的方塊的流程圖。圖8F為示出混合器元件之範例的方塊圖。在此範例中,方法851在圖8A之方塊802和804之後開始。因此,圖8E中所示之方塊可被視為圖8A之「決定」方塊806和「施用」方塊808之進一步範例。因此,圖8E之方塊855-865被標示為「806b」,而方塊820和870被標示為「808b」。
然而,在此範例中,方塊806中所決定之去相關程序可包含依據合成係數對經濾波的音頻資料執行操作。下面提供一些範例。
可選方塊855可包含從空間參數的一種形式轉換為等效的表示形式。參考圖8F,例如,合成與混合係數產生模組880可接收空間參數資訊630b,其包括說明N個輸入聲道間之空間關係、或是這些空間關係之子集的資訊。模組880可被組態為將至少一些空間參數資訊630b從空間參數的一種形式轉換為等效的表示形式。例如,alphas可被轉換為ICCs,或反過來。
在替代的音頻處理系統實施方式中,合成與混合係數產生模組880的至少一些功能可由混合器215以 外的元件執行。例如,在一些替代的實施方式中,合成與混合係數產生模組880的至少一些功能可由諸如圖6C所示及說明如上的控制資訊接收器/產生器640所執行。
在此實施方式中,方塊860包含以空間參數表示式決定輸出聲道之間所欲的空間關係。如圖8F中所示,在一些實施方式中,合成與混合係數產生模組880可接收降混/升混資訊635,其可包括對應於由圖2E之N至M升混器/降混器262所接收之混合資訊266及/或由M至K升混器/降混器264所接收之混合資訊268的資訊。合成與混合係數產生模組880亦可接收空間參數資訊630a,其包括說明K個輸出聲道間之空間關係或這些空間關係之子集的資訊。如上述參照圖2E,輸入聲道數可以或可以不等於輸出聲道數。模組880可被組態為計算至少幾對K個輸出聲道之間的所欲的空間關係(例如,ICC)。
在此範例中,方塊865包含依據所欲的空間關係來決定合成係數。亦可至少部分依據所欲的空間關係來決定混合係數。再一次參照圖8F,在方塊865中,合成與混合係數產生模組880可依據輸出聲道間之期望的空間關係來決定去相關訊號合成參數615。合成與混合係數產生模組880亦可依據輸出聲道間之期望的空間關係來決定混合係數620。
合成與混合係數產生模組880可將去相關訊號合成參數615提供給合成器605。在一些實施方式中, 去相關訊號合成參數615可以是特定輸出聲道的。在此範例中,合成器605亦可接收去相關訊號227,其可由諸如圖6A中所示之去相關訊號產生器218產生。
在此範例中,方塊820包含對至少部分所接收的音頻資料施用一或多個去相關濾波器,以產生經濾波的音頻資料。該經濾波的音頻資料可,例如,與如上述參照圖2E和圖4之去相關訊號產生器218所產生的去相關訊號227相符。
方塊870可包含依據合成係數來合成去相關訊號。在一些實施方式中,方塊870可包含藉由對方塊820中所產生之經濾波的音頻資料執行操作而合成去相關訊號。因此,經合成的去相關訊號可被視為經濾波的音頻資料的修改版。在圖8F所示的範例中,合成器605可被組態為依據去相關訊號合成參數615對去相關訊號227執行操作,並將經合成的去相關訊號886輸出至直接訊號和去相關訊號混合器610。此處,經合成的去相關訊號886為聲道特定的經合成的去相關訊號。在一些這樣的實施方式中,方塊870可包含將聲道特定的經合成的去相關訊號乘以適用於各聲道的縮放因子,以產生經縮放的聲道特定經合成的去相關訊號886。在此範例中,合成器605依據去相關訊號合成參數615作出去相關訊號227的線性組合。
合成與混合係數產生模組880可將混合係數620提供給混合器暫態控制模組888。在此實施方式中, 混合係數620為特定輸出聲道的混合係數。混合器暫態控制模組888可接收暫態控制資訊430。暫態控制資訊430可與音頻資料一起被接收,或是可由暫態控制模組,諸如圖6C中所示之暫態控制模組655,來本地決定。混合器暫態控制模組888可至少部分依據暫態控制資訊430來產生經修改的混合係數890,並且可將經修改的混合係數890提供給直接訊號和去相關訊號混合器610。
直接訊號和去相關訊號混合器610可將去相關訊號886與直接、未經過濾的音頻資料220混合及合成。在此範例中,音頻資料220包括對應於N個輸入聲道的音頻資料元素。直接訊號和去相關訊號混合器610在特定輸出聲道的基礎上將該等音頻資料元素與聲道特定經合成的去相關訊號886混合,並輸出用於N個或M個輸出聲道的去相關的音頻資料230,其取決於實際實施方式(見,例如,圖2E和其對應描述)。
下面是方法851之一些程序的詳細範例。雖然這些方法至少部分參照AC-3和E-AC-3音頻編解碼器之特徵而被描述,但這些方法對其他音頻編解碼器具有廣泛應用性。
一些這種方法的目標為精確地再現所有的ICCs(或選定一組ICCs),以回復由於聲道耦合而喪失的音頻源資料的空間特性。混合器的功能可以公式表示如下:
在公式1中,x表示耦合聲道訊號,α i 表示聲道I的空間參數alpha,g i 表示聲道I的「cplcoord」(對應於縮放因子),y i 表示去相關訊號,而D i (x)表示產生自去相關濾波器D i 的去相關訊號。理想的是去相關濾波器的輸出具有和輸入音頻資料相同的頻譜功率分佈,但不與該輸入音頻資料相關。依據AC-3和E-AC-3音頻編解碼器,cplcoords和alphas係依照耦合聲道頻帶,而訊號和濾波器係依照頻率間隔。並且,訊號的樣本對應於濾波器組係數的區塊。為了簡化,這裡省略時間和頻率索引。
該等alpha值表示音頻來源資料之離散聲道和耦合聲道之間的相關性,其可表示如下:
在公式2中,E表示在大括號中該(等)項的期望值,x*表示x的共軛複數,而s i 表示聲道I的離散訊號。
一對去相關訊號之間的聲道間一致性或ICC可推導如下:
在公式3中,IDC i1,i2表示D i1(x)和D i2(x)之間的去相關訊號間一致性(“IDC”)。使用固定的alphas,ICC在IDC為+1時最大化,而在IDC為-1時最小化。當音頻來源資料的ICC為已知時,複製它所需的最佳IDC 可如下解:
可藉由選擇滿足公式4之最佳IDC條件的去相關訊號而控制去相關訊號間的ICC。將於下面說明產生此種去相關訊號的一些方法。在討論之前,說明這些空間參數之其中一些空間參數之間的關係,特別是ICCs和alphas之間的關係是有幫助的。
如上參照方法851的可選方塊855所述,本文所提供的一些實施方式可包含將空間參數的一種形式轉換為等效的表示形式。在一些這樣的實施方式中,可選方塊855可包含從alphas轉換為ICCs或反過來。例如,若已知cplcoords(或類似的縮放因子)和ICCs,可唯一地決定alphas。
耦合聲道可被產生如下:
在公式5中,s i 表示參與耦合之聲道i的離散訊號,而g x 表示對x施加的任意增益調整。以公式5之等效式取代公式2的x項,聲道i的alpha可表示如下:
各個離散聲道的功率可以耦合聲道之功率及對應的cplcoord的功率來表示如下:
交叉相關項可被取代如下:E{s i s j *}=g i g j E{|x|2}ICC i,j
因此,alphas可以此方式表示:
依據公式5,x的功率可表示如下:
因此,增益調整g x 可表示如下:
因此,若已知所有的cplcoords和ICCs,alphas可依據下面公式來計算:
如上所述,藉由選擇滿足公式4的去相關訊號可控制去相關訊號之間的ICC。在立體聲的情況中,可形成一單一的去相關濾波器,其產生不與耦合聲道訊號相關的去相關訊號。例如,依據上述正負號翻轉法之一,可藉由簡單的正負號翻轉來達到-1的最佳IDC。
然而,在多聲道情況下控制ICCs的任務是更複雜的。除了保證所有的去相關訊號基本上不與耦合聲道 相關之外,去相關訊號之間的IDCs亦應滿足公式4。
為了產生具有所欲IDCs的去相關訊號,可先產生一組互不相關的「種子」去相關訊號。例如,去相關訊號227可依據本文於他處所述之方法來產生。接著,可藉由線性組合這些種子和適當的權重來合成所欲的去相關訊號。上面參照圖8E和8F說明一些範例的概述。
從一個降混產生許多高品質且互不相關的(例如,正交的)去相關訊號可能具有挑戰性。此外,計算適當的組合權重可包含矩陣反轉,這可能帶來複雜度和穩定性方面的挑戰。
因此,在本文所提供的一些範例中,可能實施「錨和擴展(anchor-and-expand)」處理。在一些實施方式中,一些IDCs(和ICCs)可能比其他更重要。例如,橫向ICCs可能比對角線ICCs於感知上更重要。在杜比5.1聲道的範例中,L-R、L-Ls、R-Rs和Ls-Rs聲道對的ICCs可能感知上比L-Rs和R-Ls聲道對的ICCs更重要。前方聲道可能感知上比後方或環繞聲道更重要。
在一些這樣的實施方式中,可藉由結合兩個正交的(種子)去相關訊號以合成所涉及之兩個聲道的去相關訊號來先滿足公式4針對最重要之IDC的項。然後,使用這些經合成的去相關訊號作為錨並增加新的種子,可滿足公式4針對次重要之IDCs的項,並且可合成對應的去相關訊號。可重複此處理直到滿足公式4針對所有[DCs的項。此種實施方式允許使用更高質量的去相關訊 號來控制相對更關鍵的ICCs。
圖9為概述在多聲道情況中合成去相關訊號之處理的流程圖。方法900的方塊可被視為圖8A之方塊806的「決定」程序和圖8A之方塊808的「施用」程序的進一步範例。因此,在圖9中,方塊905-915被標示為「806c」,而方法900之方塊920和925被標示為「808c」。方法900提供了在5.1聲道情境下的範例。然而,方法900可廣泛的適用於其他情境。
在此範例中,方塊905-915包含計算將被施用至在方塊920中所產生的一組互不相關的種子去相關訊號D ni (x)的合成參數。在一些5.1聲道的實施方式中,i={1,2,3,4}。如果中央聲道將被去相關,則可能涉及第五種子去相關訊號。在一些實施方式中,不相關(正交)的去相關訊號D ni (x)可透過將單聲道降混訊號輸入到幾個不同的去相關濾波器而產生。替代地,可將初始的升混訊號分別輸入道唯一的去相關濾波器。下面提供各種範例。
如上所述,前方聲道可能感知上比後方或環繞聲道更重要。因此,在方法900中,L和R聲道的去相關訊號係共同地下錨固定(anchored)在前兩個種子,接著Ls和Rs聲道的去相關訊號係使用這些錨和剩下的種子來進行合成。
在此範例中,方塊905包含計算用於前方L和R聲道的合成參數ρρ r 。此處,ρρ r 係推導自L-R IDC,如下:
因此,方塊905亦包含從公式4計算L-R IDC。因此,在此範例中,使用ICC資訊來計算L-R IDC。該方法的其他程序亦可使用ICC值作為輸入。ICC值可由已編碼位元流獲得或是由在解碼器側,例如,依據未耦合之較低頻帶或較高頻帶、cplcoords、alphas等來估算獲得。
在方塊925中可使用合成參數ρρ r 來合成L和R聲道的去相關訊號。Ls和Rs聲道的去相關訊號可使用L和R聲道的去相關訊號作為錨而被合成。
在一些實施方式中,可能期望控制Ls-Rs ICC。依據方法900,以種子去相關訊號之其中二者來合成中間去相關訊號D’ Ls (x)和D’ Rs (x)包含計算合成參數σσ r 。因此,可選的方塊910包含計算用於環繞聲道的合成參數σσ r 。可推導出中間去相關訊號D’ Ls (x)和D’ Rs (x)之間的所需的相關係數可表示如下:
變數σσ r 可由它們的相關係數導出:
因此,D Ls (x)和D Rs (x)可定義如下:
然而,若不考慮Ls-Rs ICC,D’ Ls (x)和D’ Rs (x)之間的相關係數可被設定為-1。因此,這兩個訊號可以簡單地為彼此的正負號翻轉版本,其係由剩下的種子去相關訊號所構建。
中央聲道可以被或可不被去相關,取決於實際的實施方式。因此,方塊915之計算用於中央聲道之合成參數t 1t 2的程序是可選的。例如,若希望控制L-C和R-C ICCs,可計算用於中央聲道之合成參數。如此,一第五種子D n5(x)可被增加,且用於C聲道的去相關訊號可表示如下:
為了達到期望的L-C和R-C ICCs,應滿足公式4之L-C和R-C IDCs:IDC L,C =ρt 1 *+ρ r t 2 *
IDC R,C =ρ r t 1 *+ρt 2 *
星號表示共軛複數。因此,用於中央聲道的合成參數t 1t 2可表示如下:
在方塊920中,可產生一組互不相關的種子去相關訊號D ni (x),i={1,2,3,4}。若中央聲道將被去相關,在方塊920中可產生一第五種子去相關訊號。這些不 相關(正交)的去相關訊號D ni (x)可透過將單聲道降混訊號輸入到幾個不同的去相關濾波器而產生。
在此範例中,方塊925包含對合成去相關訊號施用上面導出的項,如下:D L (x)=ρD n1(x)+ρ r D n2(x)
D R (x)=ρD n2(x)+ρ r D n1(x)
在此範例中,用於合成Ls和Rs聲道之去相關訊號(D Ls (x)D Rs (x))的公式與用於合成L和R聲道之去相關訊號(D L (x)D R (x))的公式是相依的。在方法900中,L和R聲道之去相關訊號係共同地下錨固定以減輕由於不完美的去相關訊號而造成的潛在的左右偏差。
在上述範例中,在方塊920中種子去相關訊號係產生自單聲道降混訊號x。替代地,種子去相關訊號可透過將初始的升混訊號分別輸入到唯一的去相關濾波器而產生。在此情況中,所產生的種子去相關訊號可以是特定頻道的:D ni (g i x),i={L,R,Ls,Rs,C}。這些特定頻道的種子去相關訊號通常具有由於升混過程而不同的功率位準。因此,理想的是當結合這些種子時,使這些種子中的功率水平一致。為了達到這目標,方塊925的合成公式可修改如下: D L (x)=ρD nL (g L x)+ρ r λ L,R D nR (g R x)
D R (x)=ρD nR (g R x)+ρ r λ R,L D nL (g L x)
在修改後的合成公式中,所有合成參數維持不變。然而,當使用產生自聲道j的種子去相關訊號來合成用於聲道i的去相關訊號時,需要水平調整參數λ i,j 來使功率水平一致。這些聲道特定對的水平調整參數可依據所估算的聲道水平差來計算,例如:
此外,因為在此情況中,聲道特定縮放因子已被併入經合成的去相關訊號,應由公式1修改方塊812(圖8A)的混合器公式如下:
如本文他處所述,在一些實施方式中,空間參數可與音頻資料一起被接收。該等空間參數可能,例如,已與該音頻資料一起被編碼。該經編碼的空間參數和音頻資料可由諸如解碼器,例如,如上述參照圖2D,之音頻處理系統於一位元流中接收。在那範例中,空間參數透過明確的去相關資訊240由去相關器205接收。
然而,在替代的實施方式中,沒有已編碼的空間參數(或一組不完整的空間參數)由去相關器205接 收。依據一些這種實施方式,控制資訊接收器/產生器640,如上述參照圖6B和6C(或音頻處理系統200的其他元件),可被組態為依據音頻資料的一或多個屬性來估算空間參數。在一些實施方式中,控制資訊接收器/產生器640可包括空間參數模組665,其被組態用於空間參數估算及本文所述之相關功能。例如,空間參數模組665可依據在耦合聲道頻率範圍之外的音頻資料的特性來估算在耦合聲道頻率範圍內之頻率的空間參數。將參照圖10A等等說明一些這種實施方式。
圖10A為提供用於估算空間參數之方法之概述的流程圖。在方塊1005中,音頻處理系統接收包括第一組頻率係數和第二組頻率係數的音頻資料。例如,第一和第二組頻率係數可以是對時域中的音頻資料施用修改的離散正弦轉換、修改的離散餘弦轉換或重疊正交轉換的結果。在一些實施方式中,該音頻資料可能已經依據舊有編碼程序被編碼。例如,該舊有編碼程序可以是AC-3音頻編解碼器或增強型AC-3音頻編解碼器的程序。因此,在一些實施方式中,該第一和第二組頻率係數可以是實數值頻率係數。然而,方法1000在其應用中並不限於這些編解碼器,而可廣泛地適用於許多音訊編解碼器。
該第一組頻率係數可對應於第一頻率範圍和該第二組頻率係數可對應於第二頻率範圍。例如,該第一頻率範圍可對應於一個別聲道頻率範圍,而第二頻率範圍可對應於所接收之耦合聲道頻率範圍。在一些實施方式 中,第一頻率範圍可低於第二頻率範圍。然而,在替代的實施方式中,第一頻率範圍可高於第二頻率範圍。
參考圖2D,在一些實施方式中,第一組頻率係數可對應於音頻資料245a或245b,其包括在耦合聲道頻率範圍之外的音頻資料的頻域表示。音頻資料245a和245b在此範例中不被去相關,但仍可被使用作為由去相關器205所執行之空間參數估算的輸入。該第二組頻率係數可對應於音頻資料210或220,其包括對應於耦合聲道的頻域表示。然而,不像圖2D之範例,方法1000可不包含與耦合聲道之頻率係數一起接收空間參數資料。
在方塊1010中,估算用於第二組頻率係數之至少一部分的空間參數。在一些實施方式中,該估算係基於估算理論的一或多個態樣。例如,估算程序可至少部分基於最大近似法、貝式估計量(Bayes estimator)、動差估計方法、最小均方誤差估計及/或最小變異數不偏估計量。
一些這種實施方式可包含估算較低頻率和較高頻率之空間參數的聯合機率密度函數(“PDFs”)。例如,假設有兩個聲道L和R,且在各個聲道中有在個別聲道頻率範圍中的一低頻帶和在耦合聲道頻率範圍中的一高頻帶。因此可以有ICC_lo,其表示在個別聲道頻率範圍中L和R聲道之間的聲道間一致性,及ICC_hi,其存在耦合聲道頻率範圍中。
如果我們有大的聲音訊號的訓練組,則可將 它們分割,並且對於各個分割區段(segment)可計算ICC_lo和ICC_hi。因此,我們可能有大的ICC對(ICC_lo,ICC_hi)的訓練組。此參數對的一共同PDF可被計算為直方圖及/或透過參數模型(例如,高斯混合模型(Gaussian Mixture Models))來建模。此模型可以是在解碼器已知的不隨時間變化的模型。替代地,可透過位元流定期地將模型參數發送至解碼器。
在解碼器處,可例如依據本文所述之個別聲道和複合耦合聲道之間的交叉相關係數如何被計算,來計算所接收之音頻資料的特定區段的ICC_lo。給定此ICC_lo值和參數之共同PDF的模型,解碼器可嘗試估算ICC_hi為何。一個這樣的估算為最大似然(“ML”)估算,其中,給定ICC_lo值,解碼器可計算ICC_hi之有條件的PDF。此有條件的PDF目前基本上為正實數值函數,其可在一x-y軸上表示,x軸表示ICC-hi值的連續性,而y軸表示每一個這種值的條件機率。該ML估算可包含選擇此函數峰值作為ICC_hi之估算。另一方面,最小均方差(“MMSE”)估算為此條件式PDF的平均值,其為ICC_hi的另一有效估算。估算理論提供許多這種工具來得出ICC_hi的估算。
上述兩個參數的範例係非常簡單的例子。在一些實施方式中,可能會有更多數目的聲道及頻帶。空間參數可以是alphas或ICCs。此外,PDF模型可以訊號型態為條件。例如,針對暫態可能有一不同的模型,針對音 調訊號有一不同的模型等等。
在此範例中,方塊1010的估算係至少部分依據第一組頻率係數。例如,該第一組頻率係數可包括在第一頻率範圍內之兩個以上個別聲道的音頻資料,該第一頻率範圍在所接收之耦合聲道頻率範圍之外。該估算處理可包含依據該兩個以上的聲道的頻率係數來計算在該第一頻率範圍內之複合耦合聲道的組合頻率係數。該估算程序可包含計算組合頻率係數和第一頻率範圍內之個別聲道的頻率係數之間的交叉相關係數。估算程序的結果可能依據輸入音頻訊號的瞬時變化而不同。
在方塊1015中,可對第二組頻率係數施用經估算的空間參數,以產生經修改的第二組頻率係數。在一些實施方式中,對該第二組頻率係數施用該等經估算的空間參數的處理可以是去相關程序的一部分。該去相關程序可包含產生混響訊號或去相關訊號,並將其施用至該第二組頻率係數。在一些實施方式中,該去相關程序可包含施用完全對實數值係數操作的去相關演算法。該去相關程序可包含特定聲道及/或特定頻帶的選擇性或訊號適應性去相關。
將參照圖10B說明更多詳細範例。圖10B為提供用於估算空間參數之替代方法之概述的流程圖。方法1020可由音頻處理系統,如解碼器,來實施。例如,方法1020可至少部分由控制資訊接收器/產生器640,如圖6C中所示者,來實施。
在此範例中,該第一組頻率係數在個別聲道頻率範圍內。該第二組頻率係數對應於音頻處理系統所接收之一耦合聲道。該第二組頻率係數在所接收之耦合聲道頻率範圍內,在此範例中所接收之耦合聲道頻率範圍在個別聲道頻率範圍之上。
因此,方塊1022包含接收個別聲道或所接收之耦合聲道的音頻資料。在一些實施方式中,可能依據舊有編碼程序編碼該音頻資料。對所接收之耦合聲道的音頻資料施用依據方法1000或方法1020所估算的空間參數可能產生空間上更精確的音頻再生,相較於依據與舊有編碼程序相應之舊有解碼程序來解碼所接收之音頻資料而得之音頻再生。在一些實施方式中,該舊有編碼程序可以是AC-3音頻編解碼器或增強型AC-3音頻編解碼器的程序。因此,在一些實施方式中,方塊1022可包含接收實數值頻率係數而非具有虛數值的頻率係數。然而,方法1020並不限於這些編解碼器,而可廣泛地適用於許多音訊編解碼器。
在方法1020之方塊1025中,至少部分的個別聲道頻率範圍被分為複數個頻帶。例如,個別聲道頻率範圍可被分為2、3、4或更多個頻帶。在一些實施方式中,各個頻帶可包括一預定數目的連續頻率係數,例如,6、8、10、12或更多的連續頻率係數。在一些實施方式中,僅有部分的個別聲道頻率範圍可被分為複數個頻帶。例如,一些實施方式可包含僅將個別聲道頻率範圍的較高 頻部分(相對地更靠近所接收之耦合聲道頻率範圍)分為複數個頻帶。依據一些以E-AC-3為基的範例,個別聲道頻率範圍的較高頻部分可被分為2個或3個頻帶,各個頻帶包括12個MDCT係數。依據一些這種實施方式,僅個別聲道頻率範圍高於1kHz、高於1.5kHz等的部分可被分為複數個頻帶。
在此範例中,方塊1030包含計算在個別聲道頻帶中的能量。在此範例中,若一個別聲道已被排除在耦合之外,則在方塊1030中將不計算被排除之聲道的能帶。在一些實施方式中,方塊1030中所計算之能值可能是平滑的。
在此實施方式中,依據個別聲道在個別聲道頻率範圍內的音頻資料,於方塊1035中建立一複合耦合聲道。方塊1035可包含計算用於複合耦合聲道之頻率係數,其於本文可被稱為「組合頻率係數」。該等組合頻率係數可使用兩個以上聲道在個別聲道頻率範圍內的頻率係數而被建立。例如,若音頻資料已依據E-AC-3編解碼器而被編碼,方塊1035可包含計算低於「耦合開始頻率」之MDCT係數的本地降混,該耦合開始頻率為所接收之耦合聲道頻率範圍內的最低頻率。
在方塊1040中,在個別聲道頻率範圍的各個頻帶內,可決定複合耦合聲道的能量。在一些實施方式中,方塊1040中所計算之能值可能是平滑的。
在此範例中,方塊1045包含決定交叉相關係 數,其對應於個別聲道之頻帶與複合耦合聲道之對應頻帶之間的相關性。此處,方塊1045中計算交叉相關係數亦包含計算各個個別聲道之頻帶的能量以及複合耦合聲道之對應頻帶的能量。交叉相關係數可被正規化。依據一些實施方式,若一個別聲道已被排除在耦合之外,則在交叉相關係數之計算中將不使用被排除之聲道的頻率係數。
方塊1050包含估算用於已被耦合至所接收之耦合聲道的各個聲道的空間參數。在此實施方式中,方塊1050包含依據交叉相關係數估算空間參數。該估算處理可包含平均跨所有個別聲道頻帶之正規化的交叉相關係數。該估算處理亦可包含對該等經正規化的交叉相關係數之平均施用一縮放因子以獲得經估算的空間參數,用於已被耦合至所接收之耦合聲道的個別聲道。在一些實施方式中,該縮放因子可隨著頻率增加而減少。
在此範例中,方塊1055包含將雜訊加到經估算的空間參數。可增加該雜訊以對經估算之空間參數的變異數建模。可依據一組對應於跨頻帶之空間參數的期望預測的規則而增加該雜訊。該等規則可基於經驗數據。該經驗數據可對應於源自一大組音頻資料採樣的觀察及/或測量。在一些實施方式中,所增加之雜訊的變異數可基於一頻帶之經估算的空間參數、頻帶索引及/或正規化交叉相關係數之變異數。
一些實施方式可包含接收或決定關於第一或第二組頻率係數的音調資訊。依據一些這種實施方式,方 塊1050及/或1055的程序可能依據音調資訊而不同。例如,若圖6B或圖6C之控制資訊接收器/產生器640決定在耦合聲道頻率範圍內的音頻資料為高音調的,則控制資訊接收器/產生器640可被組態為暫時減少在方塊1055中所增加的雜訊量。
在一些實施方式中,經估算的空間參數可以是經估算的alphas,用於所接收之耦合聲道頻帶。一些這種實施方式可包含將alphas施用至對應於該耦合聲道的音頻資料,例如,作為去相關程序的一部分。
現在將說明方法1020之更詳細的範例。在E-AC-3音頻編解碼器之環境中提供這些範例。然而,這些範例所示之概念並不限於E-AC-3音頻編解碼器之環境,而是可更廣泛地應用至許多音頻編解碼器。
在此範例中,計算複合耦合聲道作為離散來源的混合:
在公式8中,其中S Di 表示聲道i之特定頻率範圍(k start ..k end )的已解碼之MDCT轉換的列向量,其中k end =K CPL ,間隔(bin)索引對應於E-AC-3耦合開始頻率(所接收之耦合聲道頻率範圍的最低頻率)。此處,g x 表示不影響估算程序的正規化項。在一些實施方式中,可將g x 設為1。
關於在k start k end 之間所分析之間隔的數量的決定,可依據複雜度限制和估算alpha之所欲精確度之 間的折衷。在一些實施方式中,k start 可對應於在或高於特定閾值(例如,1kHz)之頻率,使得在相對靠近所接收之耦合聲道頻率範圍的頻率範圍內的音頻資料被使用,以改善alpha值的估算。頻率區域(k start ..k end )可被分成多個頻帶。在一些實施方式中,用於這些頻帶的交叉相關係數可計算如下:
在公式9中,s Di (l)表示對應於較低頻率範圍之頻帶l的區段s Di ,而x D (l)表示對應的區段x D 。在一些實施方式中,期望值E{}可使用一簡單的零極點無限脈衝響應(“IIR”)濾波器來近似,例如,如下所示:
在公式10中,E{y}(n)表示使用多達區塊n個採樣的E{y}的估算。在此範例中,cc i (l)僅針對那些在目前區塊耦合的聲道而計算。為了平滑僅給定實數為基之MDCT係數的功率估計的目的,發現a=0.2的值係足夠的。對於MDCT以外的轉換,且特定用於複雜轉換,可使用一較大的a值。在此種情況中,在0.2<a<0.5之範圍內的a值可能是合理的。一些較低複雜度的實施方式可包含所計算之相關係數cc i (l)的時間平滑,取代功率和交叉相關係數。雖然並非在數學上等效於分別估算分子和分母,但此種較低複雜度的平滑被發現可提供交叉相關係數之足夠精確的估算。作為第一階IIR濾波器的估算函數的特定 實施方式並不排除透過其他架構,例如依據先進後出(“FILO”)緩衝器的實施方式。在這樣的實施方式中,可從目前的估算E{}減去緩衝器中最舊的採樣,而可將最新的採樣加進目前的估算E{}
在一些實施方式中,平滑處理會考慮針對前一個區塊,係數S Di 是否耦合中。例如,若在前一個區塊中,聲道i並未耦合,則針對目前的區塊,a可被設定為1.0,因為用於前一個區塊的MDCT係數將不會被包含在耦合聲道中。並且,前一個MDCT轉換可使用E-AC-3短區塊模式被編碼,其進一步驗證了在此情況中設定a為1.0。
在此階段,已決定多個個別聲道和一複合耦合聲道之間的交叉相關係數。在圖10B的範例中,執行對應於方塊1022至1045的程序。下面程序為依據交叉相關係數估算空間參數的範例。這些程序為方法1020之方塊1050的範例。
在一個範例中,使用低於K CPL (接收之耦合聲道頻率範圍的最低頻率)之頻帶的交叉相關係數,可產生將被用於高於K CPL 之MDCT係數的去相關之alphas的估算。依據一個這種實施方式來從cc i (l)值計算經估算的alphas之虛擬碼係如下所示:
產生alphas之上述外插法處理的主要輸入為CCm,其表示整個目前區域之相關係數(cc i (l))的平均。一「區域」可以是連續E-AC-3區塊的任意分組。一E-AC-3訊框可由一個以上的區域構成。然而,在一些實施方式中,複數區域並不會跨訊框邊界。CCm可計算如下(在上述虛擬碼中表示為函數MeanRegion()):
在公式11中,i表示聲道索引,L表示用於估算之低頻帶(低於K CPL )的數量,而N表示在目前區域內的區塊數量。此處,我們延伸標記cc i (l)以包括區塊索引n。交叉相關係數之平均可接下來透過下面縮放運算的重複應用被外插到所接收之耦合聲道頻率範圍,以產生用於各個耦合聲道頻帶之預測的alpha值: fAlphaRho=fAlphaRho * MAPPED_VAR_RHO (公式12)
當應用公式12時,用於第一耦合聲道頻帶的fAlphaRho可以是CCm(i)*MAPPED_VAR_RHO。在虛擬碼範例中,藉由觀察平均alpha值傾向隨著頻帶索引增加而減少來試探性地推導出變數MAPPED_VAR_RHO。因此,設定MAPPED_VAR_RHO小於1.0。在一些實施方式中,設定MAPPED_VAR_RHO為0.98。
在此階段,已估算空間參數(在此範例為alphas)。在圖10B的範例中,執行對應於方塊1022至1050的程序。下面程序為增加雜訊至經估算的空間參數或「顫動」經估算的空間參數的範例。這些程序為方法1020之方塊1055的範例。
依據預測誤差如何隨著不同類型之多聲道輸入訊號的一大型資料庫的頻率而不同的分析,本案發明人已制定了試探性規則:控制施加在經估算的alpha值之隨機的程度。在耦合聲道頻率範圍內的經估算的空間參數(透過從較低頻率之相關計算接著外插法而得)最終可能具有相同的統計數據,如同當所有的個別聲道係可用的而未被耦合時,這些參數已自原始訊號在耦合聲道頻率範圍內被直接計算一般。增加雜訊之目的為賦予類似於憑經驗觀察的一統計變異數。在上面的虛擬碼中,V B 表示一源自經驗(empirically-derived)的縮放項,其規定變異數如何改變作為頻帶索引的函數。V M 表示一源自經驗的特徵,其依據施加合成變異數之前的alpha的預測。這說明 了一個事實,即預測誤差的變異數實際上為預測的函數。例如,當一頻帶之alpha的線性預測接近1.0時,變異數是非常低的。項CCv表示依據針對目前共用區塊區域之經計算的cc i 值的本地變異數之控制。CCv亦可如下計算(由上面虛擬碼中的VarRegion()所指示):
在此範例中,V B 依據頻帶索引控制顫動變異數。V B 係藉由檢查跨從來源計算之alpha預測誤差的頻帶的變異數而經驗性地獲得。本案申請人發現,正規化變異數和頻帶索引l之間的關係可依據下列公式建模:
圖10C為指示縮放項(scaling term)V B 和頻帶索引l之關係的圖形。圖10C示出併入V B 特徵將導致經估算的alpha將具有逐漸增大的變異數作為頻帶索引的函數。在公式13中,頻帶索引l 3對應於低於3.42kHz(E-AC-3音頻編解碼器的最低耦合開始頻率)的區域。因此,V B 值對於那些頻帶索引是不重要的。
V M 參數係藉由檢查預測誤差之行為作為預測本身的函數而獲得。具體而言,本案發明人經由多聲道內容的大量資料庫分析發現,當預測的alpha值為負數時,預測誤差的變異數增加,在alpha之峰值=-0.59375。這意味著,當被分析的目前聲道與降混x D負相關時,經估 算的alpha通常可能更混亂。下面,公式14,建立期望行為的模型:
在公式14中,q表示預測的量化版本(在虛擬碼中標記為fAlphaRho),且可依據下列而計算:q=floor(fAlphaRho*128)
圖10D為指示變數V M q之關係的圖形。應注意的是,V M 係以在q=0的值來正規化,使得V M 修改有助於預測誤差變異數的其他因子。因此,項V M 僅影響針對q=0以外的值的整體預測誤差變異數。在虛擬碼中,符元iAlphaRho被設定為q+128。此映射避免了需要iAlphaRho之負值,並允許直接從資料結構,例如,一表格讀取V M (q)的值。
在此實施方式中,下一個步驟為以三個因子V M V b CCv來縮放隨機變數w。可計算V M CCv之間的幾何平均值,並作為縮放因子施加至該隨機變數。在一些實施方式中,w可被實現為一非常大的亂數表,具有零均值單位變異數高斯分佈。
在縮放程序之後,可施加一平滑處理。例如,可跨時間平滑顫動的經估算的空間參數,其係例如,藉由使用一簡單的零極點或FILO平滑器。平滑係數可被 設定為1.0,若先前的區塊未在耦合中,或者若目前的區塊為一複數區塊之區域的第一個區塊。因此,來自雜訊紀錄w的經縮放的亂數可能是經低通濾波的,其被發現將更好的匹配經估算的alpha值的變異數至來源中的alphas的變異數。在一些實施方式中,此平滑處理可以是較不積極的(即,具有較短脈衝響應的IIR),相較於用於cc i (l)s的平滑。
如上所述,估算alphas及/或其他空間參數中所涉及的該等程序可至少部分以控制資訊接收器/產生器640,如圖6C中所示者來實施。在一些實施方式中,控制資訊接收器/產生器640之暫態控制模組655(或音頻處理系統之一或多個其他元件)可被組態為提供暫態相關的功能。將參照圖11A等等來說明暫態偵測及因而控制去相關程序的某些範例。
圖11A為概述一些暫態決定和暫態相關控制之方法的流程圖。在方塊1105中,例如,以解碼裝置或其他此種音頻處理系統來接收對應於付數個音頻聲道的音頻資料。如下所述,在一些實施方式中,可能以編碼裝置來實施相似的程序。
圖11B為包括用於暫態決定和暫態相關控制之各種元件之範例的方塊圖。在一些實施方式中,方塊1105可包含以包括暫態控制模組655之音頻處理系統來接收音頻資料220和音頻資料245。音頻資料220和245可包括音頻訊號之頻域表示。音頻資料220可包括耦合聲 道頻率範圍內的音頻資料元素,而音頻資料元素245可包括在耦合聲道頻率範圍之外的音頻資料。音頻資料元素220及/或245可被路由至一去相關器,其包括暫態控制模組655。
在方塊1105中,除了音頻資料元素245和220,暫態控制模組655可接收其他相關聯的音頻資訊,例如去相關資訊240a和240b。在此範例中,去相關資訊240a可包括明確的特定去相關器的控制資訊。例如,去相關資訊240a可包括明確的暫態資訊,諸如下面所述。去相關資訊240b可包括來自舊有音頻編解碼器之位元流的資訊。例如,去相關資訊240b可包括時間分段資訊,其在依據AC-3音頻編解碼器或E-AC-3音頻編解碼器來編碼的位元流中係可用的。例如,去相關資訊240b可包括使用耦合資訊、區塊交換資訊、指數資訊、指數策略資訊等。此種資訊可與音頻資料220一起於一位元流中由音頻處理系統接收。
方塊1110包含決定該音頻資料的音頻特性。在各種實施方式中,方塊1110包含,例如,由暫態控制模組655決定暫態資訊。方塊1115包含至少部分依據音頻特性來決定音頻資料之去相關量。例如,方塊1115可包含至少部分依據暫態資訊來決定去相關控制資訊。
在方塊1115中,圖11B之暫態控制模組655可將去相關訊號產生器控制資訊625提供給去相關訊號產生器,諸如本文他處所述之去相關訊號產生器218。在方 塊1115中,暫態控制模組655亦可將混合器控制資訊645提供給混合器,諸如混合器215。在方塊1120中,音頻資料可依據方塊1115中所做的決定而被處理。例如,去相關訊號產生器218和混合器215的運算可至少部分依據暫態控制模組655所提供之去相關控制資訊而被實施。
在一些實施方式中,圖11A的方塊1110可包含與音頻資料一起接收明確的暫態資訊,且至少部分依據該明確的暫態資訊來決定暫態資訊。
在一些實施方式中,該明確的暫態資訊可以指示對應於明確的暫態事件之暫態值。此種暫態值可以是相對高的(或最大的)暫態值。高的暫態值可對應於暫態事件之高可能性及/或高嚴重性。例如,若可能的暫態值範圍為0到1,則在0.9和1之間的暫態值範圍可對應於一明確的及/或嚴重的暫態事件。然而,可使用任何適當的暫態值範圍,例如,0到9、1到100等等。
該明確的暫態資訊可以指示對應於明確的非暫態事件之暫態值。例如,若可能的暫態值範圍為1到100,則在範圍1-5中的值可對應於一明確的非暫態事件或一非常輕微的暫態事件。
在一些實施方式中,明確的暫態資訊可具有二進位表示,例如,不是0就是1。例如,1的值可與明確的暫態事件相符。然而,0的值可能不指示一明確的非暫態事件。相反的,在某些此種實施方式中,0的值可能單純指示沒有明確的及/或嚴重的暫態事件。
然而,在一些實施方式中,該明確的暫態資訊可包括在最小暫態值(例如,0)和最大暫態值(例如,1)之間的中間暫態值。中間暫態值可對應於暫態事件之中間可能性及/或中間嚴重性。
圖11B之去相關濾波器輸入控制模組1125可依據透過去相關資訊240a所接收之明確的暫態資訊來決定方塊1110中的暫態資訊。替代地,或另外地,去相關濾波器輸入控制模組1125可依據來自舊有音頻編解碼器之位元流的資訊而決定方塊1110中的暫態資訊。例如,依據去相關資訊240b,去相關濾波器輸入控制模組1125可決定目前區塊不使用聲道耦合、目前區塊中聲道離開耦合及/或目前區塊中聲道係區塊交換的。
在方塊1110中,依據去相關資訊240a及/或240b,去相關濾波器輸入控制模組1125可能偶爾決定對應於一明確的暫態事件的暫態值。若是如此,則在一些實施方式中,去相關濾波器輸入控制模組1125可在方塊1115中決定一去相關程序(及/或一去相關濾波器顫動程序)應被暫時停止。因此,在方塊1120中,去相關濾波器輸入控制模組1125可產生去相關訊號產生器控制資訊625e,指示一去相關程序(及/或一去相關濾波器顫動程序)應被暫時停止。替代地,或另外地,在方塊1120中,軟暫態計算器1130可產生去相關訊號產生器控制資訊625f,指示一去相關濾波器顫動程序應被暫時停止或減慢。
在替代的實施方式中,方塊1110可包含沒有明確的暫態資訊與音頻資料一起被接收。然而,無論是否有接收明確的暫態資訊,方法1100的一些實施方式可包含依據音頻資料220的分析來偵測暫態事件。例如,在一些實施方式中,可在方塊1110中偵測一暫態事件,即使明確的暫態資訊沒有指示一暫態事件。由解碼器或類似的音頻處理系統依據音頻資料220的分析所決定或偵測到的暫態事件於本文可被稱為「軟暫態事件」。
在一些實施方式中,無論一暫態值是被提供作為一明確的暫態值或是被決定作為一軟暫態值,該暫態值可取決於指數衰減函數。例如,該指數衰減函數可導致該暫態值在經過一段時間後平滑地從初始值衰減至零。經過指數衰減函數的暫態值可防止與突然切換相關聯的雜訊(artifacts)。
在一些實施方式中,偵測軟暫態事件可包含評估暫態事件之可能性及/或嚴重性。此種評估可包含計算音頻資料220中的瞬時功率變化。
圖11C為概述至少部分基於音頻資料之瞬時功率變化而決定暫態控制值之一些方法的流程圖。在一些實施方式中,方法1150可至少部分由暫態控制模組655的軟暫態計算器1130來實施。然而,在一些實施方式中,方法1150可由編碼裝置來實施。在一些這樣的實施方式中,明確的暫態資訊可由編碼裝置依據方法1150而被決定,並且與其他音頻資料一起被包括在位元流中。
方法1150起始於方塊1152,其中接收耦合聲道頻率範圍內的升混音頻資料。在圖11B中,例如,升混音頻資料元素220可在方塊1152中由軟暫態計算器1130接收。在方塊1154中,所接收之耦合聲道頻率範圍被分為一個或一個以上的頻帶,其於本文亦可稱為「功率帶(power bands)」。
方塊1156包含針對各個聲道以及經升混的音頻資料的區塊來計算頻帶加權的對數功率(“WLP”)。為了計算WLP,各個功率帶的功率可被決定。這些功率可被轉換為對數值,然後跨整個功率帶而被平均。在一些實施方式中,可依據下列公式執行方塊1156:WLP[ch][blk]=mean pwr_bnd {log(P[ch][blk][pwr_bnd])} (公式15)
在公式15中,WLP[ch][blk]表示針對一聲道和區塊的加權對數功率,[pwr_bnd]表示一頻帶或「功率帶」,所接收的耦合聲道頻率範圍已被分割為該頻帶或該功率帶,而mean pwr_bnd {log(P[ch][blk][pwr_bnd])}表示跨該聲道和區塊之功率帶的功率的對數平均。
由於以下原因,分帶(banding)可預先強調在較高頻率中的功率變化。若整個耦合聲道頻率範圍為一個頻帶,則P[ch][blk][pwr_bnd]可以是在耦合聲道頻率範圍內之各個頻率的功率的算術平均值,而通常具有較高功率的較低頻率可能傾向陷入(swamp)P[ch][blk][pwr_bnd]的值,因而成為log(P[ch][blk][pwr_bnd])的值。(在此範例中log(P[ch][blk][pwr_bnd])可能具有和平均 log(P[ch][blk][pwr_bnd])相同的值,因為可能僅有一個頻帶。)因此,暫態偵測將在很大程度上依據較低頻率中的瞬時變化。將耦合聲道頻率範圍分成為,例如,較低頻帶和較高頻帶,並接著將在對數域的兩個頻帶之功率平均係等效於計算該較低頻率之功率和該較高頻率之功率的幾何平均值。此幾何平均值可能接近較高頻率的功率,而不是可能為算術平均值。因此分帶,決定log(功率)並接著決定平均值,會傾向於導致在較高頻率對瞬時變化更敏感的數量。
在此實施方式中,方塊1158包含依據WLP決定一不對稱功率差(“APD”)。例如,可如下決定該APD:
在公式16中,dWLP[ch][blk]表示針對一聲道和區塊的差分加權對數功率,而WLP[ch][blk][blk-2]表示針對兩個區塊之前的聲道的加權對數功率。公式16的範例有助於處理透過諸如E-AC-3和AC-3之音頻編解碼器而編碼的音頻資料,其中,在連續的區塊之間有50%的重疊。因此,目前區塊的WLP和兩個區塊之前的WLP比較。如果在連續區塊之間沒有重疊,則目前的WLP可能與前一個區塊的WLP比較。
這個範例利用了先前區塊之可能的時域遮蔽(temporal maksing)效應的優勢。因此,若目前區塊的 WLP大於或等於先前區塊的WLP(在此範例中為兩個區塊之前的WLP),則APD被設定為實際WLP差分。然而,若目前區塊的WLP小於先前區塊的WLP,則APD被設定為實際WLP差分的一半。因此,APD強調增加的功率而不強調降低的功率。在其他實施方式中,可使用實際WLP差分的不同分數,例如,¼的實際WLP差分。
方塊1160可包含依據APD來決定原始(raw)暫態測量(“RTM”)。在此實施方式中,決定該原始暫態測量包含基於該瞬時不對稱功率差係依據高斯分佈來分佈的假設而計算暫態事件的可能性函數:
在公式17中,RTM[ch][blk]表示針對一聲道和區塊之原始暫態測量,而S APD 表示調諧參數。在此範例中,當S APD 增加時,將需要一相對較大的功率差來產生RTM的相同值。
一暫態控制值,於本文中亦可被稱為「暫態測量」,可由方塊1162中的RTM來決定。在此範例中,依據公式18決定暫態控制值:
在公式18中,TM[ch][blk]表示針對一聲道和區塊的暫態測量,T H 表示上限值,而T L 表示下限值。圖11D提供施用公式18及如何使用閾值T H T L 的範例。 其他的實施方式可包含RTM至TM的其他類型的線性或非線性映射。依據一些這種實施方式,TM為RTM的一非遞減函數。
圖11D為顯示將原始(raw)暫態值映射至暫態控制值之範例的圖形。此處,原始暫態值和暫態控制值二者的範圍均為0.0至1.0,但其他的實施方式可包含其他範圍的值。如公式18和圖11D中所示,若原始暫態值大於或等於上限值T H ,則將暫態控制值設定為其最大值,在此範例中為1.0。在一些實施方式中,最大暫態控制值可能與明確的暫態事件一致。
若原始暫態值小於或等於下限值T L ,則將暫態控制值設定為其最小值,在此範例中為0.0。在一些實施方式中,最小暫態控制值可能與明確的非暫態事件一致。
然而,若原始暫態值在下限值T L 和上限值T H 之間的範圍1166內,則暫態控制值可能被縮放為一中間暫態控制值,在此範例中為介於0.0和1.0之間。該中間暫態控制值可能與暫態事件之相對可能性及/或相對嚴重性一致。
再次參考圖11C,在方塊1164中,一指數衰減函數可被施用於方塊1162中所決定的暫態控制值。例如,該指數衰減函數可能導致暫態控制值在經過一段時間後平滑地從初始值衰減到零。經過指數衰減函數的暫態控制值可防止與突然切換相關聯的雜訊。在一些實施方式 中,各個目前區塊的暫態控制值可被計算,並與先前區塊之暫態控制值的指數衰減版相比較。目前區塊的最後暫態控制值可被設定為兩個暫態控制值的最大值。
暫態資訊,無論是與其他音頻資料一起被接收或是由解碼器決定,可被用來控制去相關程序。該暫態資訊可包括暫態控制值,如上面所述的那些。在一些實施方式中,可至少部分依據此暫態資訊而修改(例如,減少)音頻資料的去相關量。
如上所述,此種去相關程序可包含對部分的音頻資料施用去相關濾波器,以產生經濾波的音頻資料,及依據混合比例將經濾波的音頻資料與部分所接收的音頻資料混合。一些實施方式可包含依據暫態資訊來控制混合器215。例如,此種實施方式可包含至少部分依據暫態資訊來修改混合比例。此種暫態資訊可,例如,被包括在混合器暫態控制模組1145之混合器控制資訊645中。(見圖11B)
依據某些這種實施方式,混合器215可使用暫態控制值來修改alphas,以中止或減少暫態事件期間的去相關。例如,可依據下列虛擬碼來修改alphas:
在上面虛擬碼中,alpha[ch][bnd]表示針對一個聲道之頻帶的alpha值。decorrelationDecayArray[ch] 項表示指數衰減變量,其取值範圍從0至1。在一些範例中,在暫態事件期間可將alphas朝向+/-1修改。修改的程度可與decorrelationDecayArray[ch]成正比,其將去相關訊號的混合權重朝向0減少,因而暫停或減少去相關。decorrelationDecayArray[ch]的指數衰減緩慢地恢復正常的去相關程序。
在一些實施方式中,軟暫態計算器1130可將軟暫態資訊提供給空間參數模組665。至少部份依據該軟暫態資訊,空間參數模組665可選擇一平滑器,用於平滑位元流中所接收之空間參數,或者是用於平滑空間參數估算中所涉及的能量及其他數量。
一些實施方式可包含依據暫態資訊控制去相關訊號產生器218。例如,此種實施方式可包含至少部分依據暫態資訊修改或暫時停止去相關濾波器顫動程序。這可能是有利的,因為在暫態事件期間顫動全通濾波器的極點可能造成不想要的振鈴雜訊(ringing artifacts)。在一些這樣的實施方式中,用於顫動一去相關濾波器之極點的最大跨距值可能至少部分依據暫態資訊而被修改。
例如,軟暫態計算器1130可將去相關訊號產生器控制資訊625f提供給去相關訊號產生器218的去相關濾波器控制模組405(亦見圖4)。去相關濾波器控制模組405可能回應去相關訊號產生器控制資訊625f而產生時變濾波器1127。依據一些實施方式,去相關訊號產生器控制資訊625f可包含用於控制最大跨距值的資訊, 其係依據指數衰減變量的最大值,例如:
例如,當在任何聲道偵測到暫態事件時,該最大跨距值可能乘以前述公式。該顫動程序因而可被暫停或減慢。
在一些實施方式中,可至少部分依據暫態資訊而對經濾波的音頻資料施用一增益。例如,該經濾波的音頻資料的功率可能與直接音頻資料的功率相匹配。在一些實施方式中,此種功能可能由圖11B之閃避器模組1135提供。
閃避器模組1135可從軟暫態計算器1130接收暫態資訊,例如暫態控制值。閃避器模組1135可依據該等暫態控制值來決定去相關訊號產生器控制資訊625h。閃避器模組1135可將去相關訊號產生器控制資訊625h提供給去相關訊號產生器218。例如,去相關訊號產生器控制資訊625h包括一增益值,去相關訊號產生器218可將該增益值施用至去相關訊號227,以將經濾波的音頻資料的功率維持在小於或等於直接音頻資料之功率的位準。閃避器模組1135可藉由針對各個耦合中的已接收聲道,計算在耦合聲道頻率範圍中的每個頻帶的能量,而決定去相關訊號產生器控制資訊625h。
閃避器模組1135可,例如,包括閃避器組。在一些這樣的實施方式中,該等閃避器可包括緩衝器,用於暫時儲存在由閃避器模組1135所決定之耦合聲道頻率 範圍中的每個頻帶的能量。可對經濾波的音頻資料施用一固定延遲,並可對緩衝器施用相同的延遲。
閃避器模組1135亦可決定混合器相關的資訊,並可將該混合器相關的資訊提供給混合器暫態控制模組1145。在一些實施方式中,閃避器模組1135可提供用於控制混合器215的資訊,以依據將施用至經濾波的音頻資料的增益來修改混合比例。依據一些這種實施方式,閃避器模組1135可提供用於控制混合器215的資訊,以暫停或減少暫態事件期間的去相關。例如,閃避器模組1135可提供下面的混合器相關資訊:
在上面的虛擬碼中,TransCtrlFlag表示暫態控制值,而DecorrGain[ch][bnd]表示施用至經濾波的音頻資料之聲道的頻帶的增益。
在一些實施方式中,閃避器的功率估算平滑窗可至少部分依據暫態資訊。例如,當一暫態事件相對較可能或偵測到一相對較強的暫態事件時,可施用一較短的平滑窗。當一暫態事件相對較不可能、或偵測到一相對較弱的暫態事件或沒有偵測到暫態事件時,可施用一較長的平滑窗。例如,平滑窗長度可依據暫態控制值而動態地調整,使得窗長度於旗標值接近最大值(例如,1.0)時較 短,而旗標值接近最小值(例如,0.0)時較長。此種實施方式可幫助避免暫態事件期間的時間拖尾(smearing),而導致在非暫態情況期間的平滑增益因子。
如上所述,在一些實施方式中,暫態資訊可由一編碼裝置來決定。圖11E為概述編碼暫態資訊之方法的流程圖。在方塊1172中,接收對應於複數音頻聲道的音頻資料。在此範例中,該音頻資料係由一編碼裝置所接收。在一些實施方式中,該音頻資料可由時域轉換至頻域(可選方塊1174)。
在方塊1176中,決定包括暫態資訊之音頻特性。例如,可如上所述參照圖11A-11D來決定暫態資訊。例如,方塊1176可包含評估該音頻資料中的瞬時功率變化。方塊1176可包含依據該音頻資料中的瞬時功率變化來決定暫態控制值。此等暫態控制值可指示明確的暫態事件、明確的非暫態事件、暫態事件之可能性及/或暫態事件之嚴重性。方塊1176可包含施用一指數衰減函數於該等暫態控制值。
在一些實施方式中,方塊1176中所決定的音頻特性可包括空間參數,其可基本上如本文於他處所述而被決定。然而,可由計算耦合聲道頻率範圍內的相關性來決定該等空間參數,而非計算耦合聲道頻率範圍之外的相關性。例如,可決定將以耦合進行編碼的個別聲道的alphas,其係藉由在頻帶基礎上計算該聲道和耦合聲道之轉換係數之間的相關性。在一些實施方式中,編碼器可使 用音頻資料的複合頻率表示來決定該等空間參數。
方塊1178包含將音頻資料之兩個以上聲道的至少一部分耦合成為一耦合聲道。例如,該耦合聲道之音頻資料的頻域表示,其在耦合聲道頻率範圍內,可於方塊1178中被結合。在一些實施方式中,方塊1178中可形成一個以上的耦合聲道。
在方塊1180中,形成已編碼音頻資料框。在此範例中,該等已編碼音頻資料框包括對應於(複數)耦合聲道的資訊、及方塊1176中所決定的已編碼暫態資訊。例如,該已編碼暫態資訊可包括一或多個控制旗標。該等控制旗標可包括聲道區塊切換旗標、聲道離開耦合旗標及/或使用耦合旗標。方塊1180可包含決定一或多個控制旗標的組合以形成指示明確的暫態事件、明確的非暫態事件、暫態事件之可能性或暫態事件之嚴重性的已編碼暫態資訊。
無論是否由結合控制旗標來形成,該已編碼暫態資訊可包括用於控制去相關程序的資訊。例如,該暫態資訊可包括應暫時停止一去相關程序。該暫態資訊可指示應暫時減少一去相關程序中的去相關量。該暫態資訊可指示應修改一去相關程序的混合比例。
已編碼音頻資料訊框亦可包括各種其他類型的音頻資料,其包括用於個別聲道(在耦合聲道頻率範圍之外)的音頻資料、用於非耦合中聲道的音頻資料等等。在一些實施方式中,已編碼音頻資料訊框亦可包括空間參 數、耦合坐標及/或諸如本文他處所述之其他類型的旁資訊。
圖12為提供可配置以實施本文所述之處理態樣的設備的元件範例的方塊圖。裝置1200可以是行動電話、智慧型手機、桌上型電腦、手持或可攜式電腦、輕省筆電、筆記型電腦、智慧型筆電、平板、立體聲系統、電視、DVD播放器、數位記錄裝置、或任何各種其他裝置。裝置1200可包括一編碼工具及/或一解碼工具。然而,圖12中所示之元件僅為示例。一特定裝置可被配置以實施本文所述之各種實施例,但可或可不包括所有元件。例如,某些實施方式可能不包括揚聲器或麥克風。
在此範例中,該裝置包括介面系統1205。介面系統1205可包括網路介面,例如無線網路介面。替代地,或另外地,介面系統1205可包括通用序列匯流排(USB)介面或其他此種介面。
裝置1200包括邏輯系統1210。邏輯系統1210可包括處理器,例如通用單或多晶片處理器。邏輯系統1210可包括數位訊號處理器(DSP)、特定應用積體電路(ASIC)、現場可程式閘陣列(FPGA)或其他可程式邏輯裝置、離散閘或電晶體邏輯、或離散硬體元件、或其之組合。邏輯系統1210可被配置來控制裝置1200之其他元件。雖然圖12中並未圖示在裝置1200之元件之間的介面,但邏輯系統1210可被配置來與其他元件通訊。其他元件適當地可或可不被配置來彼此通訊。
邏輯系統1210可被組態為執行各種類型的音頻處理功能,例如編碼器及/或解碼器功能。此種編碼器及/或解碼器功能可包括但不限於本文所述之編碼器及/或解碼器功能的類型。例如,邏輯系統1210可被組態為提供本文所述之去相關器相關的功能。在一些這樣的實施方式中,邏輯系統1210可被組態為(至少部分)依據儲存於一或多個非暫態媒體上的軟體而運行。該非暫態媒體可包括與邏輯系統1210關聯的記憶體,諸如隨機存取憶體(RAM)及/或唯讀記憶體(ROM)。該非暫態媒體可包括記憶體系統1215之記憶體。記憶體系統1215可包括一或多種合適類型的非暫態儲存媒體,例如快閃記憶體、硬碟等等。
例如,邏輯系統1210可被組態為透過介面系統1205接收已編碼之音頻資料的訊框,並依據本文所述之方法解碼該已編碼的音頻資料。替代地,或另外地,邏輯系統1210可被組態為透過記憶體系統1215和邏輯系統1210之間的介面來接收已編碼之音頻資料的訊框。邏輯系統1210可被組態為依據已解碼之音頻資料來控制(複數)揚聲器1220。在一些實施方式中,邏輯系統1210可被組態為依據傳統編碼方法及/或依據本文所述之編碼方法來編碼音頻資料。邏輯系統1210可被組態為透過麥克風1225、透過介面系統1205等等來接收此種音頻資料。
顯示系統1230可包括一或多種合適類型的顯示器,取決於裝置1200的表現形式。例如,顯示系統 1230可包括液晶顯示器、電漿顯示器、雙穩態顯示器等等。
使用者輸入系統1235可包括一或多個被組態為接受由使用者輸入的裝置。在一些實施方式中,使用者輸入系統1235可包括覆蓋顯示系統1230之顯示器的觸控螢幕。使用者輸入系統1235可包括按鍵、鍵盤、開關等等。在一些實施方式中,使用者輸入系統1235可包括麥克風1225:使用者透過麥克風1225提供語音命令給裝置1200。邏輯系統可被配置用於語音辨識,及用於依據此種語音命令來控制裝置1200的至少一些操作。
電力系統1240可包括一或多種合適類型的能量儲存裝置,例如鎳-鎘電池或鋰離子電池。電力系統1240可被配置來從電源插座接收電力。
本發明所屬技術領域中具有通常知識者可輕易瞭解對本公開中所述之實施方式的各種修改。本文所界定之一般原理可施用於其他實施方式,而不脫離本發明之精神或範圍。例如,當各種實施方式以杜比數位(Dolby Digital)及杜比數位Plus來描述的同時,本文所述之該等方法可與其他音頻編解碼器一起被實現。因此,申請專利範圍並非意圖限於本文所述之實施方式,而要符合使最廣範圍與本公開、本文所揭露之原則和新穎特徵一致。

Claims (15)

  1. 一種用於音頻訊號處理的方法,包含:接收包含第一組頻率係數和第二組頻率係數的音頻資料;至少部分依據該第一組頻率係數來估算用於該第二組頻率係數之至少一部分的空間參數;及對該第二組頻率係數施用該等經估算的空間參數以產生經修改的第二組頻率係數,其中該第一組頻率係數對應於第一頻率範圍,而該第二組頻率係數對應於第二頻率範圍;其中該音頻資料包含對應於個別聲道和一耦合聲道的資料,且其中該第一頻率範圍對應於一個別聲道頻率範圍,而該第二頻率範圍對應於一耦合聲道頻率範圍;其中該音頻資料包含用於兩個以上聲道的在該第一頻率範圍內的頻率係數;且其中該估算程序包含:基於在該第一頻率範圍內的個別聲道的音頻資料來建立一複合耦合聲道,其包含基於在該第一頻率範圍內的兩個以上聲道的頻率係數來計算該複合耦合聲道的組合頻率係數;以及針對至少第一聲道運算第一聲道之頻率係數和組合頻率係數之間的交叉相關係數。
  2. 如申請專利範圍第1項之方法,其中該施用程序包含對以每聲道為基礎施用該經估算的空間參數。
  3. 如申請專利範圍第1項之方法,其中該等交叉相關係數為正規化的交叉相關係數。
  4. 如申請專利範圍第3項之方法,其中該估算處理包含將該第一頻率範圍的至少一部分分割為第一頻率範圍頻帶,及運算各第一頻率範圍頻帶的經正規化的交叉相關係數。
  5. 如申請專利範圍第4項之方法,其中該估算處理包含:將跨一聲道之所有第一頻率範圍頻帶之經正規化的交叉相關係數平均化;及對該等經正規化的交叉相關係數之平均施用一縮放因子以獲得用於該聲道之經估算的空間參數,其中,可選地,該縮放因子隨著頻率增加而減少。
  6. 如申請專利範圍第5項之方法,更包含添加雜訊以模型化該等經估算的空間參數的變異數,其中,可選地,該添加的雜訊的變異數係至少部分依據該等經正規化的交叉相關係數中的該變異數。
  7. 如申請專利範圍第1至6項之任一項的方法,更包含測量該第一組頻率係數之頻帶和該第二組頻率係數之頻帶間的每個頻帶的能量比,其中該等經估算的空間參數依據該每個頻帶的能量比而改變。
  8. 如申請專利範圍第1至6項之任一項的方法,其中該等經估算的空間參數依據輸入音頻訊號的瞬時(temporal)變化而改變。
  9. 如申請專利範圍第1至6項之任一項的方法,其中該對該第二組頻率係數施用該等經估算的空間參數的程序係一去相關程序的一部分。
  10. 如申請專利範圍第9項之方法,其中該去相關程序包含產生一混響訊號或一去相關訊號,並將其施用至該第二組頻率係數。
  11. 如申請專利範圍第9項之方法,其中該去相關程序包含特定聲道及/或特定頻帶的選擇性或訊號適應性去相關。
  12. 如申請專利範圍第1至6項之任一項的方法,其中在一依據舊有編碼程序編碼的位元流中接收該音頻資料。
  13. 如申請專利範圍第12項之方法,其中,相較於藉由依據與舊有編碼程序相符之舊有解碼程序解碼該位元流而獲得的音頻重現,施用該等空間參數產生一空間上更精準的音頻重現。
  14. 一種用於音頻訊號處理的設備,包含:一介面;以及一邏輯系統,被組態以執行申請專利範圍第1至13項之任一項之方法的所有步驟。
  15. 一種具有軟體儲存於其上之非暫態媒體,該軟體包括指令,該等指令適於控制一設備以執行申請專利範圍第1至13項之任一項之方法的所有步驟。
TW103101429A 2013-02-14 2014-01-15 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 TWI618051B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361764869P 2013-02-14 2013-02-14
US61/764,869 2013-02-14

Publications (2)

Publication Number Publication Date
TW201447867A TW201447867A (zh) 2014-12-16
TWI618051B true TWI618051B (zh) 2018-03-11

Family

ID=50069321

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103101429A TWI618051B (zh) 2013-02-14 2014-01-15 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置

Country Status (22)

Country Link
US (1) US9489956B2 (zh)
EP (1) EP2956934B1 (zh)
JP (1) JP6138279B2 (zh)
KR (1) KR101724319B1 (zh)
CN (1) CN105900168B (zh)
AR (1) AR094775A1 (zh)
AU (1) AU2014216732B2 (zh)
BR (1) BR112015019525B1 (zh)
CA (1) CA2898271C (zh)
CL (1) CL2015002277A1 (zh)
DK (1) DK2956934T3 (zh)
HK (1) HK1218674A1 (zh)
HU (1) HUE032018T2 (zh)
IL (1) IL239945B (zh)
IN (1) IN2015MN01955A (zh)
MX (1) MX344170B (zh)
PL (1) PL2956934T3 (zh)
RU (1) RU2620714C2 (zh)
SG (1) SG11201506129PA (zh)
TW (1) TWI618051B (zh)
UA (1) UA113682C2 (zh)
WO (1) WO2014126683A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9564144B2 (en) * 2014-07-24 2017-02-07 Conexant Systems, Inc. System and method for multichannel on-line unsupervised bayesian spectral filtering of real-world acoustic noise
TWI628454B (zh) 2014-09-30 2018-07-01 財團法人工業技術研究院 基於聲波的空間狀態偵測裝置、系統與方法
WO2016082875A1 (en) * 2014-11-26 2016-06-02 Kone Corporation Local navigation system
TWI573133B (zh) * 2015-04-15 2017-03-01 國立中央大學 音訊處理系統及方法
CN105931648B (zh) * 2016-06-24 2019-05-03 百度在线网络技术(北京)有限公司 音频信号解混响方法和装置
US9913061B1 (en) 2016-08-29 2018-03-06 The Directv Group, Inc. Methods and systems for rendering binaural audio content
US10254121B2 (en) * 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
CN108268695B (zh) * 2017-12-13 2021-06-29 杨娇丽 一种放大电路的设计方法及放大电路
EP3724876B1 (en) * 2018-02-01 2022-05-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio scene encoder, audio scene decoder and related methods using hybrid encoder/decoder spatial analysis
TWI691955B (zh) * 2018-03-05 2020-04-21 國立中央大學 多通道之多重音頻串流方法以及使用該方法之系統
GB2576769A (en) * 2018-08-31 2020-03-04 Nokia Technologies Oy Spatial parameter signalling
CN110047503B (zh) * 2018-09-25 2021-04-16 上海无线通信研究中心 一种声波的多径效应抑制方法
WO2020178322A1 (en) * 2019-03-06 2020-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for converting a spectral resolution
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200742275A (en) * 2006-03-21 2007-11-01 Dolby Lab Licensing Corp Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information
EP2209114A1 (en) * 2007-10-31 2010-07-21 Panasonic Corporation Encoder and decoder

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH572650A5 (zh) * 1972-12-21 1976-02-13 Gretag Ag
GB8308843D0 (en) 1983-03-30 1983-05-11 Clark A P Apparatus for adjusting receivers of data transmission channels
ES2236999T3 (es) * 1993-11-18 2005-07-16 Digimarc Corporation Video con informacion digital oculta en banda.
US6134521A (en) * 1994-02-17 2000-10-17 Motorola, Inc. Method and apparatus for mitigating audio degradation in a communication system
EP0976306A1 (en) 1998-02-13 2000-02-02 Koninklijke Philips Electronics N.V. Surround sound reproduction system, sound/visual reproduction system, surround signal processing unit and method for processing an input surround signal
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7218665B2 (en) 2003-04-25 2007-05-15 Bae Systems Information And Electronic Systems Integration Inc. Deferred decorrelating decision-feedback detector for supersaturated communications
SE0301273D0 (sv) 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
ATE390683T1 (de) * 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
BRPI0513255B1 (pt) 2004-07-14 2019-06-25 Koninklijke Philips Electronics N.V. Dispositivo e método para converter um primeiro número de canais de áudio de entrada em um segundo número de canais de áudio de saída, sistema de áudio, e, meio de armazenamento legível por computador
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
CN101040322A (zh) 2004-10-15 2007-09-19 皇家飞利浦电子股份有限公司 处理音频数据以便生成交混回响的系统和方法
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
WO2006132857A2 (en) 2005-06-03 2006-12-14 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
JP4944029B2 (ja) 2005-07-15 2012-05-30 パナソニック株式会社 オーディオデコーダおよびオーディオ信号の復号方法
US7765104B2 (en) * 2005-08-30 2010-07-27 Lg Electronics Inc. Slot position coding of residual signals of spatial audio coding application
RU2383942C2 (ru) * 2005-08-30 2010-03-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования аудиосигнала
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8208641B2 (en) 2006-01-19 2012-06-26 Lg Electronics Inc. Method and apparatus for processing a media signal
ES2362920T3 (es) 2006-03-28 2011-07-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Método mejorado para la conformación de señales en reconstrucción de audio multicanal.
EP1845699B1 (en) 2006-04-13 2009-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decorrelator
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
EP1883067A1 (en) 2006-07-24 2008-01-30 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
WO2008032255A2 (en) 2006-09-14 2008-03-20 Koninklijke Philips Electronics N.V. Sweet spot manipulation for a multi-channel signal
RU2406166C2 (ru) * 2007-02-14 2010-12-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов
DE102007018032B4 (de) 2007-04-17 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung dekorrelierter Signale
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
AU2008243406B2 (en) 2007-04-26 2011-08-25 Dolby International Ab Apparatus and method for synthesizing an output signal
US8046214B2 (en) 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US20100040243A1 (en) 2008-08-14 2010-02-18 Johnston James D Sound Field Widening and Phase Decorrelation System and Method
EP2144229A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
JP5326465B2 (ja) 2008-09-26 2013-10-30 富士通株式会社 オーディオ復号方法、装置、及びプログラム
TWI413109B (zh) 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2234103B1 (en) 2009-03-26 2011-09-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method for manipulating an audio signal
US8497467B2 (en) 2009-04-13 2013-07-30 Telcordia Technologies, Inc. Optical filter control
DE102009035230A1 (de) 2009-07-29 2011-02-17 Wagner & Co. Solartechnik Gmbh Solaranlage zur Warmwasseraufbereitung
GEP20146081B (en) * 2009-12-07 2014-04-25 Dolby Laboratories Licensing Corp Decoding of multichannel aufio encoded bit streams using adaptive hybrid transformation
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
TWI516138B (zh) 2010-08-24 2016-01-01 杜比國際公司 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品
SG187950A1 (en) 2010-08-25 2013-03-28 Fraunhofer Ges Forschung Apparatus for generating a decorrelated signal using transmitted phase information
EP2477188A1 (en) 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
EP2686848A1 (en) * 2011-03-18 2014-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frame element positioning in frames of a bitstream representing audio content
US8527264B2 (en) 2012-01-09 2013-09-03 Dolby Laboratories Licensing Corporation Method and system for encoding audio data with adaptive low frequency compensation
ES2549953T3 (es) 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200742275A (en) * 2006-03-21 2007-11-01 Dolby Lab Licensing Corp Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information
EP2209114A1 (en) * 2007-10-31 2010-07-21 Panasonic Corporation Encoder and decoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. BRIAND, et al., "Parametric coding of stereo audio based on principal component analysis", (20060918), pages 291 - 296, PROCEEDINGS OF THE 9TH INTERNATIONAL CONFERENCE ON DIGITAL AUDIO EFFECTS (DAFX-06), MONTRÉAL, QUÉBEC, CANADA, URL: http://www.dafx.ca/proceedings/papers/p_291.pdf *

Also Published As

Publication number Publication date
IN2015MN01955A (zh) 2015-08-28
BR112015019525A2 (pt) 2017-07-18
JP6138279B2 (ja) 2017-05-31
DK2956934T3 (en) 2017-02-27
EP2956934B1 (en) 2017-01-04
CA2898271C (en) 2019-02-19
CA2898271A1 (en) 2014-08-21
IL239945B (en) 2019-02-28
KR20150109400A (ko) 2015-10-01
RU2015133584A (ru) 2017-02-21
IL239945A0 (en) 2015-08-31
MX2015010166A (es) 2015-12-09
RU2620714C2 (ru) 2017-05-29
SG11201506129PA (en) 2015-09-29
KR101724319B1 (ko) 2017-04-07
CN105900168B (zh) 2019-12-06
PL2956934T3 (pl) 2017-05-31
BR112015019525B1 (pt) 2021-12-14
CL2015002277A1 (es) 2016-02-05
JP2016510569A (ja) 2016-04-07
WO2014126683A1 (en) 2014-08-21
UA113682C2 (xx) 2017-02-27
AR094775A1 (es) 2015-08-26
EP2956934A1 (en) 2015-12-23
HK1218674A1 (zh) 2017-03-03
AU2014216732A1 (en) 2015-07-30
HUE032018T2 (en) 2017-08-28
AU2014216732B2 (en) 2017-04-20
MX344170B (es) 2016-12-07
US9489956B2 (en) 2016-11-08
US20160005413A1 (en) 2016-01-07
CN105900168A (zh) 2016-08-24
TW201447867A (zh) 2014-12-16

Similar Documents

Publication Publication Date Title
TWI618051B (zh) 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
TWI618050B (zh) 用於音訊處理系統中之訊號去相關的方法及設備
JP6046274B2 (ja) 上方混合されたオーディオ信号のチャネル間コヒーレンスの制御方法
US9830917B2 (en) Methods for audio signal transient detection and decorrelation control
US20150371646A1 (en) Time-Varying Filters for Generating Decorrelation Signals