JP2014518407A

JP2014518407A - 多チャンネル・オーディオ信号を処理する方法および装置

Info

Publication number: JP2014518407A
Application number: JP2014519373A
Authority: JP
Inventors: タレブ，アニセ; ヴィレッテ，デイヴィッド; パン，リユン; ラン，ユエ
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2011-07-15
Filing date: 2011-07-15
Publication date: 2014-07-28
Anticipated expiration: 2031-07-15
Also published as: CN103155030B; CN103155030A; JP5734517B2; EP2710592B1; EP2710592A1; US20140140516A1; WO2012167479A1; US9406302B2; EP2710592A4

Abstract

本発明は、複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を担持する多チャンネル・オーディオ信号（２０１）を処理する方法に関する。本方法は、前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を使って時間スケーリング位置（２０５）を決定する段階（１０１）と；前記時間スケーリング位置（２０５）に従って前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号を時間スケーリングして（１０３）複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）を得る段階とを含む。

Description

本発明は、多チャンネル・オーディオ信号を処理する方法および装置に関する。

時間スケーリング・アルゴリズムは、信号のローカル周波数内容を保持しつつオーディオ信号の継続時間を変え、結果として、もとの信号のピッチや音色に影響することなく記録されたオーディオ信号の知覚される再生レートを速くしたり遅くしたりする全体的な効果を与える。換言すれば、もとの信号の継続時間は増大または減少させられるが、もとの信号の知覚的に重要な特徴は不変のままである。発話の場合、時間スケーリングされた信号は、もとの話者がより速いまたはより遅いレートで話したかのように聞こえる。音楽の場合、時間スケーリングされた信号は、音楽家が異なるテンポで演奏したかのように聞こえる。時間スケーリング・アルゴリズムは、VoIPアプリケーションまたはオーディオ／ビデオ放送における適応的なジッタ・バッファ管理（JBM: jitter buffer management）、オーディオ／ビデオ・ポストプロダクション同期およびマルチトラック・オーディオ・レコーディングおよびミキシングのために使用されることができる。

IPを通じた音声（ボイス・オーバーIP）のアプリケーションでは、発話信号はまず発話エンコーダを使って圧縮される。相互運用性を維持するため、IPを通じた音声のシステムは通例、オープンな発話コーデックの上に構築される。そのようなシステムは、たとえばITU-Tまたは3GPPコーデックにおいて標準化されていることができ（いくつかの標準化された発話コーデックがVoIPのために使用される：G.711、G.722、G.729、G.723.1、AMR-WB）、あるいは独自フォーマットをもつことができる（Speex、Silk、CELT）。エンコードされた発話信号はパケット化され、IPパケットの形で送信される。

パケットはVoIPにおいてさまざまなネットワーク遅延に遭遇する。よって、パケットは不規則な間隔で到着する。そのようなジッタをなめらかにするため、受信されたパケットがしばらくの間バッファリングされてスケジューリングされた時間に逐次的に再生される、ジッタ・バッファ管理機構が通例、受信機において必要とされる。再生時間が各パケットについて調整されることができる場合、サウンド・カードにおける音声データの連続的な再生を保証するために、時間スケール修正が必要とされることがありうる。

遅延は一定の遅延ではないので、時間スケーリング・アルゴリズムが、所与の受信パケットの継続時間を引き伸ばすまたは圧縮するために使われる。ジッタ・バッファ管理機構を含む多チャンネルVoIPアプリケーションの場合、特に多チャンネル・オーディオ・コーデックがデュアル／マルチ・モノ・モードで動作するモノ・コーデックに基づいているとき、すなわち一つのモノ・エンコーダ／デコーダが各チャンネルについて使用されるとき、各チャンネルについての時間スケーリング・アルゴリズムの独立な適用を使うと、特に空間的音像の、品質劣化につながることがある。独立した時間スケーリングは、空間的手がかりが保存されることを保証しないからである。オーディオ／ビデオ放送およびポストプロダクション／アプリケーションでは、各チャンネルを別個に時間スケーリングすることは、ビデオとオーディオの間の同期を保持しうるが、空間的手がかりがもとと同じであることは保証できない。空間的知覚のための最も重要な空間的手がかりはチャンネル間のエネルギー差、チャンネル間の時間差もしくは位相差およびチャンネル間のコヒーレンスもしくは相関である。時間スケーリング・アルゴリズムが動作する際、オーディオ信号の伸張および圧縮動作、エネルギー遅延および時間スケーリングされたチャンネル間のコヒーレンスはもととは異なることがある。

空間的知覚を保存する、多チャンネル・オーディオ・アプリケーションにおけるジッタ・バッファ管理のための概念を提供することが本発明の目的である。

前記目的は、独立請求項の特徴によって達成される。さらなる実装形態は従属請求項、明細書の記述および図面から明白である。

本発明は、多チャンネル時間スケーリング処理の間に多チャンネル・オーディオ信号の空間的手がかりを保存することが空間的知覚を保存するという知見に基づく。空間的手がかりは、チャンネル間時間差（ITD）、チャンネル間レベル差（ILD）、チャンネル間コヒーレンス／チャンネル間相互相関（ICC）その他といった、多チャンネル信号の空間的情報である。

本発明を詳細に説明するため、以下の用語、略語および記法が使用される。

ITD: チャンネル間時間差（Inter-channel Time Difference）、
ILD: チャンネル間レベル差（Inter-channel Level Difference）、
ICC: チャンネル間コヒーレンス（Inter-Channel Coherence）、
IC: チャンネル間相互相関（Inter-channel Cross Correlation）、
相互AMDF: 相互平均絶対値差関数（Cross Average Magnitude Difference Function）、
WSOLA: 波形類似性に基づく同期された重複加算（Waveform-similarity-based Synchronized Overlap-Add）、
IP:インターネット・プロトコル（Internet Protocol）、
VoIP: インターネット・プロトコルを通じた音声（Voice over Internet Protocol）。

第一の側面によれば、本発明は、多チャンネル・オーディオ信号を処理する方法であって、前記多チャンネル・オーディオ信号は複数のオーディオ・チャンネル信号を担持し、当該方法は：前記複数のオーディオ・チャンネル信号を使って時間スケーリング位置を決定する段階と；前記時間スケーリング位置に従って前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号を時間スケーリングして複数の時間スケーリングされたオーディオ・チャンネル信号を得る段階とを含む、方法に関する。

前記時間スケーリング位置は、空間的情報を保持するために異なるオーディオ・チャンネル信号を同期させることを許容する。ジッタ・バッファ管理機構を含む多チャンネルVoIPアプリケーションの場合、多チャンネル・オーディオ・コーデックがデュアル／マルチ・モノ・モードで動作するモノ・コーデックに基づいているとき、すなわち一つのモノ・エンコーダ／デコーダが各チャンネルについて使用されるとき、各チャンネルについての時間スケーリング・アルゴリズムの独立な適用を使っても、品質劣化につながらない。各チャンネルについての時間スケーリングが時間スケーリング位置によって同期され、よって空間的手がかりが、よって空間的音像が保存されるからである。ユーザーは多チャンネル・オーディオ信号の著しいよりよい知覚をもつ。

オーディオ／ビデオ放送およびポストプロダクション・アプリケーションでは、共通の時間スケーリング位置を用いて別個に各チャンネルを時間スケーリングすることは、ビデオとオーディオの間の同期を保持し、空間的手がかりが変化しないことを保証する。

空間的知覚についての最も重要な空間的手がかりはチャンネル間のエネルギー差、チャンネル間の時間差もしくは位相差およびチャンネル間のコヒーレンスもしくは相関である。時間スケーリング位置を決定することによって、これらの手がかりは保存され、もとの手がかりと異ならなくなる。ユーザー知覚が改善される。

前記第一の側面に基づく方法の第一の可能な実装形態では、本方法は：前記複数のオーディオ・チャンネル信号から第一の組の空間的手がかりパラメータを抽出する段階であって、前記第一の組の空間的手がかりパラメータは、前記複数のオーディオ・チャンネル信号と前記複数のオーディオ・チャンネル信号の少なくとも一つから導出される基準オーディオ・チャンネル信号との間の差の差指標（difference measure）に関係する、段階と；前記複数の時間スケーリングされたオーディオ・チャンネル信号から第二の組の空間的手がかりパラメータを抽出する段階であって、前記第二の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第二の組の空間的手がかりパラメータは、前記複数の時間スケーリングされたオーディオ・チャンネル信号と、前記複数の時間スケーリングされたオーディオ・チャンネル信号の少なくとも一つから導出される基準の時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、段階と；前記第二の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関してある品質基準を満足するかどうかを判定する段階とを含む。

前記差指標は、式(5)、(1)、(8)および(6)によって定義され、図２に関して下記で説明する相互相関（cc: cross-correlation）、規格化された相互相関（cn: normalized cross-correlation）および相互平均絶対値差関数（ca）のうちの一つであってもよい。前記品質基準は、最適化基準であってもよく、前記第二の組の空間的手がかりパラメータと前記第一の組の空間的手がかりパラメータとの間の類似性に基づいていてもよい。前記基準信号は、たとえば、前記オーディオ・チャンネル信号のうちの一つまたは前記複数のオーディオ・チャンネル信号の一部または全部から導出されるダウンミックス信号であることができる。時間スケーリングされたオーディオ・チャンネル信号についても同様である。

前記第一の側面の前記第一の実装形態に基づく前記方法の第二の可能な実装形態では、前記第一の組の空間的手がかりパラメータのうちのある空間的手がかりパラメータの抽出は、前記複数のオーディオ・チャンネル信号のうちのあるオーディオ・チャンネル信号と前記基準オーディオ・チャンネル信号との相関を調べることを含み；前記第二の組の空間的手がかりパラメータのうちのある空間的手がかりパラメータの抽出は、前記複数の時間スケーリングされたオーディオ・チャンネル信号のうちのある時間スケーリングされたオーディオ・チャンネル信号と前記基準オーディオ・チャンネル信号との相関を調べることを含む。

前記基準オーディオ・チャンネル信号は、前記複数のオーディオ・チャンネル信号のうち、そのスペクトル成分、そのエネルギーおよびその発話音に関して他のオーディオ・チャンネル信号と同様の振る舞いを示すものであってもよい。前記基準オーディオ・チャンネル信号は、モノ・ダウンミックス信号であってもよく、該モノ・ダウンミックス信号は、Mチャンネル全部の平均として計算されてもよい。ダウンミックス信号を多チャンネル・オーディオ信号についての基準として使うことの利点は、無音信号（silent signal）を基準信号として使うことを避けるということである。実際、ダウンミックスは全チャンネルのエネルギーの平均を表し、よって無音である可能性が少なくなる。同様に、時間スケーリングされたオーディオ・チャンネル信号は、前記複数の時間スケーリングされたオーディオ・チャンネル信号のうち、そのスペクトル成分、そのエネルギーおよびその発話音に関して他の時間スケーリングされたオーディオ・チャンネル信号と同様の振る舞いを示すものであってもよい。前記基準の時間スケーリングされたオーディオ・チャンネル信号は、モノ・ダウンミックス信号であってもよく、該モノ・ダウンミックス信号は、M個の時間スケーリングされたチャンネル全部の平均であり、よって無音である可能性が少なくなる。

前記第一の側面の前記第一または第二の実装形態に基づく前記方法の第三の可能な実装形態では、本方法は、抽出された第二の組の空間的手がかりパラメータが前記品質基準を満足しない場合、以下の段階を含む：あるさらなる時間スケーリング位置に従って前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号を時間スケーリングして、さらなる複数の時間スケーリングされたオーディオ・チャンネル信号を得る段階であって、前記さらなる時間スケーリング位置は前記複数のオーディオ・チャンネル信号を使って決定される、段階と；前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号から第三の組の空間的手がかりパラメータを抽出する段階であって、前記第三の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第三の組の空間的手がかりパラメータは、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号と、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号の少なくとも一つから導出されるさらなる基準の時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、段階と；前記第三の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関して前記品質基準を満足するかどうかを判定する段階と；前記第三の組の空間的手がかりパラメータが前記品質基準を満足する場合、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号を出力する段階。

前記品質基準は厳しいものであって、それにより高品質の前記組の空間的手がかりパラメータを与えてもよい。

前記第一の側面の前記実装形態のいずれか一つに基づく前記方法の第四の可能な実装形態では、それぞれの組の空間的手がかりパラメータは、該それぞれの組の空間的手がかりパラメータがある空間的手がかりパラメータ範囲内にある場合に、前記第一の組の空間的手がかりパラメータに関して前記品質基準を満足する。前記空間的手がかりパラメータ範囲によって、ユーザーは、本方法によって与えられるべき品質のレベルを制御しうる。それぞれの組の空間的手がかりパラメータがいずれも前記品質基準を満足していない場合には、前記範囲は逐次的に拡大されてもよい。一つの空間的手がかりパラメータだけでなく、組全体が前記パラメータ範囲内である必要がある。

前記第一の側面自身に基づくまたは前記第一の側面の前記実装形態のいずれか一つに基づく前記方法の第五の可能な実装形態では、それぞれの組の空間的手がかりパラメータは以下のパラメータの一つを含む：チャンネル間時間差（ITD）、チャンネル間レベル差（ILD）、チャンネル間コヒーレンス（ICC）およびチャンネル間相互相関（IC）。これらのパラメータについての定義は、ILDについては式(11)、ITDについては式(12)、ICおよびICCについては式(13)で与えられる。これについては図２との関連で後述する。

前記第一の側面自身に基づくまたは前記第一の側面の前記実装形態のいずれか一つに基づく前記方法の第六の可能な実装形態では、時間スケーリング位置を決定する段階は：前記複数のオーディオ・チャンネル信号のそれぞれについて、パラメータとして候補時間スケーリング位置をもつチャンネル相互相関関数を決定する段階と；候補時間スケーリング位置に依存して前記複数のチャンネル相互相関関数を累積することによって累積相互相関関数を決定する段階と；前記累積相互相関関数の最大の累積相互相関値に関連付けられている時間スケーリング位置を選択して前記時間スケーリング位置を得る段階とを含む。

前記品質基準を満足する時間スケーリング位置がみつからない場合、最大の相互相関（cc）、規格化された相互相関（cn）または相互平均絶対値差関数（ca）をもつ時間スケーリング位置が選ばれてもよい。少なくとも、どんな場合でもより劣った時間スケーリング位置はみつけることができる。二番目に大きい累積相互相関値に関連付けられているさらなる時間スケーリング位置が選択されてもよい。三番目、四番目などに大きい累積相互相関値に関連付けられているさらなる時間スケーリング位置が選択されてもよい。

前記第一の側面の第六の実装形態に基づく前記方法の第七の可能な実装形態では、それぞれの相互相関関数は、以下の相互相関関数の一つである：相互相関関数、規格化された相互相関関数および相互平均絶対値差関数（Cross-AMD F）これらの関数は図２に関して説明する式(2)、(3)および(4)によって与えられる。

前記第一の側面の第六または第七の実装形態に基づく前記方法の第八の可能な実装形態では、前記方法はさらに：前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号について、空間的手がかりパラメータから重み付け因子を決定する段階であって、前記空間的手がかりパラメータは前記オーディオ・チャンネル信号および前記複数のオーディオ・チャンネル信号のうちの少なくとも一つから導出される基準オーディオ・チャンネル信号に基づいて抽出され、前記空間的手がかりパラメータは特にチャンネル間レベル差である、段階と；そのオーディオ・チャンネル信号について決定された重み付け因子により各チャンネル相互相関関数に個々に重み付けする段階とを含む。

重み付け因子の決定は、図２に関して述べるように、式(7)においておよび代替的に式(9)において定義されるようなものである。

重み付け因子は、前記第一の組の空間的手がかりパラメータのうちのある空間的手がかりパラメータであることができる空間的手がかりパラメータから、あるいは少なくとも同じ型から決定されるが、別の型の空間的手がかりパラメータであることもできる。たとえば、前記第一の組はITDを空間的手がかりパラメータとして使うが、重み付け因子はILDに基づく。

前記第一の側面自身に基づくまたは前記第一の側面の前記実装形態のいずれかに基づく前記方法の第九の可能な実装形態では、本方法はさらに、前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号を時間スケーリングするのに先立って前記複数のオーディオ・チャンネル信号をバッファリングすることを含む。前記バッファはメモリ・セル、RAMまたは他の任意の物理的メモリであってもよい。前記バッファは、図５に関して後述するジッタ・バッファであることができる。

前記第一の側面自身に基づくまたは前記第一の側面の前記実装形態のいずれかに基づく前記方法の第十の可能な実装形態では、前記時間スケーリングは、同じオーディオ・チャンネル信号の諸オーディオ・チャンネル信号部分を重複させて加算することを含む。重複および加算は、波形類似性に基づく同期された重複加算（WSOLA）アルゴリズムの一部であることができる。

前記第一の側面自身に基づくまたは前記第一の側面の前記実装形態のいずれかに基づく前記方法の第十一の可能な実装形態では、前記多チャンネル・オーディオ信号は、複数のエンコードされたオーディオ・チャンネル信号を含み、前記方法は：前記複数のエンコードされたオーディオ・チャンネル信号をデコードして前記複数のオーディオ・チャンネル信号を得ることを含む。

デコーダが、発話信号であってもよい前記多チャンネル・オーディオ信号を圧縮解除するために使われる。前記デコーダは、IPを通じた音声システムとの相互運用性を維持するために、標準的なデコーダであってもよい。前記デコーダは、オープンな発話コーデック、たとえば標準化されたITU-Tまたは3GPPコーデックを利用してもよい。前記デコーダのコーデックは、G.711、G.722、G.729、G.723.1およびAMR-WBであるVoIPのための標準化されたフォーマットの一つまたはSpeex、SilkおよびCELTである独自フォーマットの一つを実装していてもよい。エンコードされた発話信号はパケット化され、IPパケットの形で送信される。これは、現場で使われている標準的なVoIPアプリケーションとの相互運用性を保証する。

前記第一の側面の第十一の実装形態に基づく前記方法の第十二の可能な実装形態では、前記方法はさらに：単一のオーディオ信号パケットを受領する段階と；受領された単一のオーディオ信号パケットから前記複数のエンコードされたオーディオ・チャンネルを抽出する段階とを含む。前記多チャンネル・オーディオ信号は単一のIPパケット内にパケット化されることができ、それにより各オーディオ・チャンネル信号によって同じジッタが経験される。これは、多チャンネル・オーディオ信号についてサービス品質（QoS: quality of service）を維持することを助ける。

前記第一の側面の第十一の実装形態に基づく前記方法の第十三の可能な実装形態では、前記方法はさらに：複数のオーディオ信号パケットを受領する段階であって、各オーディオ信号パケットは、前記複数の別個にエンコードされたオーディオ・チャンネルのあるエンコードされたオーディオ・チャンネルおよびそれぞれのエンコードされたオーディオ・チャンネルを示すチャンネル・インデックスを含む、段階と；前記受領された複数のオーディオ信号パケットから前記複数のエンコードされたオーディオ・チャンネルを抽出する段階と；受領されたチャンネル・インデックスに基づいて前記複数のエンコードされたオーディオ・チャンネルを整列させる段階とを含む。

前記チャンネル・インデックスによって、エンコードされた多チャンネル・オーディオ信号内のそれぞれのエンコードされたオーディオ・チャンネルの時間位置が受信機に提供されることができ、それにより、受信機内のジッタ・バッファ制御機構がそれぞれのチャンネルの厳密な位置を再構成しうる。諸オーディオ信号フレームがネットワークを通じて異なる仕方で送信され、それにより異なる遅延を経験する場合には、ジッタ・バッファ機構が異なる伝送経路の遅延について補償してもよい。そのようなジッタ・バッファ機構は、図５との関連で後述するジッタ・バッファ管理装置において実装される。

第二の側面によれば、本発明は、多チャンネル・オーディオ信号を処理するオーディオ信号処理装置であって、前記多チャンネル・オーディオ信号は複数のオーディオ・チャンネル信号を含み、当該オーディオ信号処理装置は：前記複数のオーディオ・チャンネル信号を使って時間スケーリング位置を決定するよう適応された決定器と；前記時間スケーリング位置に従って前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号を時間スケーリングして複数の時間スケーリングされたオーディオ・チャンネル信号を得るよう適応された時間スケーリング器とを有する、装置に関する。

前記時間スケーリング位置は、空間的情報を保存するために異なるオーディオ・チャンネル信号を同期させることを許容する。ジッタ・バッファ管理機構を含む多チャンネルVoIPアプリケーションの場合、多チャンネル・オーディオ・コーデックがデュアル／マルチ・モノ・モードで動作するモノ・コーデックに基づいているとき、すなわち一つのモノ・エンコーダ／デコーダが各チャンネルについて使用されるとき、各チャンネルについての時間スケーリング・アルゴリズムの独立な適用を使っても、品質劣化につながらない。各チャンネルについての時間スケーリングが時間スケーリング位置によって同期され、よって空間的手がかりが、よって空間的音像が保存されるからである。ユーザーは多チャンネル・オーディオ信号の著しいよりよい知覚をもつ。

オーディオ／ビデオ放送およびポストプロダクション・アプリケーションでは、共通の時間スケーリング位置を用いて別個に各チャンネルを時間スケーリングすることは、ビデオとオーディオの間の同期を保持し、空間的手がかりが変化しないことを保証する。空間的知覚についての最も重要な空間的手がかりはチャンネル間のエネルギー差、チャンネル間の時間差もしくは位相差およびチャンネル間のコヒーレンスもしくは相関である。時間スケーリング位置を決定することによって、これらの手がかりは保存され、もとの手がかりと異ならなくなる。ユーザー知覚が改善される。

前記第二の側面に基づくオーディオ信号処理装置の第一の可能な実装形態では、前記多チャンネル・オーディオ信号は、複数のエンコードされたオーディオ・チャンネル信号を含み、前記オーディオ信号処理装置は：前記複数のエンコードされたオーディオ・チャンネル信号をデコードして前記複数のオーディオ・チャンネル信号を得るよう適応されたデコーダを有する。

前記デコーダは、図５に関して後述するように、前記オーディオ信号処理装置の外部に実装されていてもよい。前記デコーダは、IPを通じた音声システムとの相互運用性を維持するために、標準的なデコーダであってもよい。前記デコーダは、オープンな発話コーデック、たとえば標準化されたITU-Tまたは3GPPコーデックを利用してもよい。前記デコーダのコーデックは、G.711、G.722、G.729、G.723.1およびAMR-WBであるVoIPのための標準化されたフォーマットの一つまたはSpeex、SilkおよびCELTである独自フォーマットの一つを実装していてもよい。エンコードされた発話信号はパケット化され、IPパケットの形で送信される。これは、現場で使われている標準的なVoIPアプリケーションとの相互運用性を保証する。

前記第二の側面自身に基づくまたは前記第二の側面の第一の実装形態に基づくオーディオ信号処理装置の第二の可能な実装形態では、本オーディオ信号処理装置は：前記複数のオーディオ・チャンネル信号から第一の組の空間的手がかりパラメータを抽出するよう適応された抽出器であって、前記第一の組の空間的手がかりパラメータは、前記複数のオーディオ・チャンネル信号と前記複数のオーディオ・チャンネル信号の少なくとも一つから導出される基準オーディオ・チャンネル信号との間の差の差指標（difference measure）に関係し、前記抽出器はさらに、前記複数の時間スケーリングされたオーディオ・チャンネル信号から第二の組の空間的手がかりパラメータを抽出するよう適応されており、前記第二の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第二の組の空間的手がかりパラメータは、前記複数の時間スケーリングされたオーディオ・チャンネル信号と、前記複数の時間スケーリングされたオーディオ・チャンネル信号の少なくとも一つから導出される基準の時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、抽出器と；前記第二の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関してある品質基準を満足するかどうかを判定する処理器とを有する。

前記差指標は、式(1)、(5)、(6)および(8)によって定義され、図２に関して下記で説明する相互相関（cc: cross-correlation）、規格化された相互相関（cn: normalized cross-correlation）および相互平均絶対値差関数（ca）のうちの一つであってもよい。前記品質基準は、最適化基準であってもよく、前記第二の組の空間的手がかりパラメータと前記第一の組の空間的手がかりパラメータとの間の類似性に基づいていてもよい。

前記基準オーディオ・チャンネル信号は、前記複数のオーディオ・チャンネル信号のうち、そのスペクトル成分、そのエネルギーおよびその発話音に関して他のオーディオ・チャンネル信号と同様の振る舞いを示すものであってもよい。前記基準オーディオ・チャンネル信号は、Mチャンネル全部の平均であるモノ・ダウンミックス信号であってもよい。ダウンミックス信号を多チャンネル・オーディオ信号についての基準として使うことの利点は、無音信号（silent signal）を基準信号として使うことを避けるということである。実際、ダウンミックスは全チャンネルのエネルギーの平均を表し、よって無音である可能性が少なくなる。同様に、時間スケーリングされたオーディオ・チャンネル信号は、前記複数の時間スケーリングされたオーディオ・チャンネル信号のうち、そのスペクトル成分、そのエネルギーおよびその発話音に関して他の時間スケーリングされたオーディオ・チャンネル信号と同様の振る舞いを示すものであってもよい。前記基準時間スケーリングされたオーディオ・チャンネル信号は、モノ・ダウンミックス信号であってもよく、該モノ・ダウンミックス信号は、M個の時間スケーリングされたチャンネル全部の平均であり、よって無音である可能性が少なくなる。

前記第二の側面自身に基づくまたは前記第二の側面の前記実装形態のいずれか一つに基づく前記オーディオ信号処理装置の第三の可能な実装形態では、前記決定器は、前記複数のオーディオ・チャンネル信号のそれぞれについて、諸候補時間スケーリング位置に依存してチャンネル相互相関関数を決定し、前記諸候補時間スケーリング位置に依存して前記複数のチャンネル相互相関関数を累積することによって累積相互相関関数を決定し；前記累積相互相関関数の最大の累積相互相関値に関連付けられている時間スケーリング位置を選択して前記時間スケーリング位置を得るよう適応されている。

前記品質基準を満足する時間スケーリング位置がみつからない場合、最大の相互相関（cc）、規格化された相互相関（cn）または相互平均絶対値差関数（ca）をもつ時間スケーリング位置が選ばれてもよい。少なくとも、どんな場合でもより劣った時間スケーリング位置はみつけることができる。

第三の側面によれば、本発明は、多チャンネル・オーディオ信号を処理するためのプログラム可能に構成されたオーディオ信号処理装置に関係し、前記多チャンネル・オーディオ信号は複数のオーディオ・チャンネル信号を含み、当該プログラム可能に構成されたオーディオ信号処理装置は、前記第一の側面自身に基づくまたは前記第一の側面の実装形態のいずれかに基づく方法を実行するためのコンピュータ・プログラムを実行するよう構成されているプロセッサを有する。

プログラム可能に構成されたオーディオ信号処理装置は、前記第三の側面の第一の可能な実装形態によれば、前記プロセッサ上で走るソフトウェアまたはファームウェアを含み、種々の環境において柔軟に使用されることができる。エラーが見出されるまたはよりよいアルゴリズムまたはアルゴリズムのよりよいパラメータが見出される場合、オーディオ信号処理装置のパフォーマンスを改善するために、ソフトウェアはプログラムし直されることができる、あるいはファームウェアは前記プロセッサ上にロードし直されることができる。プログラム可能に構成されたオーディオ信号処理装置は、現場で早期にインストールされ、問題があった場合にはプログラムし直され、あるいはロードし直され。それにより、市場投入までの時間を加速し、遠隔通信事業者の設置されている基盤を改善することができる。

本発明は、デジタル電子回路において、あるいはコンピュータ・ハードウェア、ファームウェア、ソフトウェアまたはそれらの組み合わせにおいて実装されることができる。

本発明のさらなる実施形態は、以下の図面に関して記述される。

ある実装形態に基づく、多チャンネル・オーディオ信号を処理する方法のブロック図である。ある実装形態に基づく、オーディオ信号処理装置のブロック図である。ある実装形態に基づく、オーディオ信号処理装置のブロック図である。ある実装形態に基づく、多チャンネル・オーディオ信号を処理する方法のブロック図である。ある実装形態に基づく、ジッタ・バッファ管理装置のブロック図である。ある実装形態に基づく、オーディオ信号処理装置によって適用される制約された時間スケーリングを示す時間図である。

図１は、ある実装形態に基づく、複数のオーディオ・チャンネル信号を担持する多チャンネル・オーディオ信号を処理する方法のブロック図を示している。本方法は、前記複数のオーディオ・チャンネル信号を使って時間スケーリング位置を決定し（１０１）、前記時間スケーリング位置に従って前記複数のオーディオ・チャンネル信号の各オーディオ・チャンネル信号を時間スケーリングして（１０３）複数の時間スケーリングされたオーディオ・チャンネル信号を得ることを含む。

図２は、ある実装形態に基づく、複数M個のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍを含む多チャンネル・オーディオ信号２０１を処理するオーディオ信号処理装置２００のブロック図を示している。オーディオ信号処理装置２００は、決定器２０３および時間スケーリング器２０７を有する。決定器２０３は、前記複数のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍを使って時間スケーリング位置２０５を決定するよう構成されている。前記時間スケーリング器２０７は、前記時間スケーリング位置２０５に従って前記複数のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍの各オーディオ・チャンネル信号を時間スケーリングして複数の時間スケーリングされたオーディオ・チャンネル信号２０９＿１、２０９＿２、……、２０９＿Ｍを得るよう構成されている。これら複数の時間スケーリングされたオーディオ・チャンネル信号が時間スケーリングされた多チャンネル・オーディオ信号２０９をなす。決定器２０３は、前記複数M個のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍを受領するためのM個の入力および前記時間スケーリング位置２０５を提供するための一つの出力を有する。時間スケーリング器２０７は、前記複数M個のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍを受領するためのM個の入力および前記時間スケーリング位置２０５を受領するための一つの入力を有する。時間スケーリング器２０７は、時間スケーリングされた多チャンネル・オーディオ信号２０９をなす前記複数M個の時間スケーリングされたオーディオ・チャンネル信号２０９＿１、２０９＿２、……、２０９＿Ｍを提供するためのM個の出力をもつ。

オーディオ信号処理装置２００の第一の実装形態では、決定器２０３は、多チャンネル・オーディオ信号２０１から時間スケーリング位置δを計算することによって時間スケーリング位置２０５を決定するよう構成されている。

決定器２０３は、次式

のようにして、相互相関cc(m,δ)、規格化された相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算し、

を最大化する、各チャンネル1…Mについての時間スケーリング位置δを決定する。

相互相関cc(m,δ)、規格化された相関cn(m,δ)および相互平均絶対値差関数（相互AMDF）ca(m,δ)は次式のようにして決定される類似性指標である。

ここで、最良のセグメントmは、時間期間

のまわりの許容差領域[−Δ_max,Δ_max]内にあり、選ばれた類似性指標を最大にする値

を見出すことによって決定される。Nは相互相関関数の窓長、mはセグメント・インデックス、nはサンプル・インデックス、cc、cnおよびcaはそれぞれ相互相関、規格化された相互相関および相互AMDFの略である。Δは時間スケーリング位置候補を表す。

時間スケーリング器２０７は、M個のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍのそれぞれを、決定器２０３によって決定された対応する時間スケーリング位置δ ２０５で時間スケーリングして、時間スケーリングされた多チャンネル・オーディオ信号２０９をなすM個の時間スケーリングされたオーディオ・チャンネル信号２０９＿１、２０９＿２、……、２０９＿Ｍを得る。

オーディオ信号処理装置２００の第二の実装形態では、多チャンネル・オーディオ信号２０１は、左および右のオーディオ・チャンネル信号２０１＿１および２０１＿２を含む２チャンネルのステレオ・オーディオ信号である。決定器２０３は、ステレオ・オーディオ信号２０１から相互相関関数を計算することによって時間スケーリング位置δ ２０５を決定するよう構成される。

決定器２０３は、次式

のようにして、相互相関

と、規格化された相互相関cn(m,δ)と、および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)とを計算する。ここで、lおよびrは左および右チャンネルの略であり、mはセグメント・インデックスである。

を最大にする左および右チャンネルについての時間スケーリング位置

を決定する。

相互相関cc(m,δ)、規格化された相関cn(m,δ)および相互平均絶対値差関数（相互AMDF）ca(m,δ)は第一の実装形態に関して上述したように決定される類似性指標である。

時間スケーリング器２０７は、左および右のオーディオ・チャンネル信号２０１＿１および２０１＿２を、決定器２０３によって決定された対応する時間スケーリング位置δ ２０５で時間スケーリングして、時間スケーリングされた２チャンネル・オーディオ信号２０９をなす左および右の時間スケーリングされたオーディオ・チャンネル信号２０９＿１および２０９＿２を得る。

オーディオ信号処理装置２００の第三の実装形態では、決定器２０３は、多チャンネル・オーディオ信号２０１から時間スケーリング位置δ ２０５を決定するよう構成されている。

決定器２０３は、次式

のようにして、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。ここで、エネルギー重みw_iは、式

を使って多チャンネル・オーディオ信号から直接計算される。ここで、x_i(n)は時間領域におけるM個のオーディオ・チャンネル信号２０１＿１、２０１＿２、……、２０１＿Ｍである。Nはフレーム長、nはサンプル・インデックスである。

決定器２０３は、第一の実装形態に関して上述したように

を最大にする各チャンネル1…Mについての時間スケーリング位置δを決定する。

オーディオ信号処理装置２００の第四の実装形態では、多チャンネル・オーディオ信号２０１は、左および右のオーディオ・チャンネル信号２０１＿１および２０１＿２を含む２チャンネルのステレオ・オーディオ信号である。決定器２０３は、ステレオ・オーディオ信号２０１から時間スケーリング位置δ ２０５を決定するよう構成される。

決定器２０３は、次式

のようにして、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

左および右チャンネルの相互相関cc_l(m,5)およびcc_r(m,5)、左および右チャンネルの規格化された相関cn_l(m,5)およびcn_r(m,5)および左および右チャンネルの相互平均絶対値差関数（相互AMDF）ca_l(m,5)およびca_r(m,5)は第一の実装形態に関して上述したように決定される類似性指標である。ここでは計算は左および右チャンネルの信号値に基づく。エネルギー重みw_lおよびw_rは左チャンネルlおよび右チャンネルrに対応し、式(9)を使ってILD空間パラメータから計算される。

これら二つのチャンネルの一方が基準信号を提供する基準チャンネルとして取られる。ILDは式(11)から次式のようにして計算される。

ここで、kは周波数ビンのインデックス、bは周波数帯のインデックス、k_bは帯域bの開始ビン、k_b+1−1は帯域bの終点、X_refは基準信号のスペクトル、（[1,2]内のlについての）X_iは２チャンネル・ステレオ・オーディオ信号２０１の左および右チャンネルのスペクトルである。3/4およびX_i*はそれぞれX_refおよびXiの共役である。基準信号X_refのスペクトルは、そのチャンネルにおいて、基準信号として取られる。通常、帯域bの数が1であるフル帯域ILDが使われる。

決定器２０３は、cc(m,δ)、cn(m,δ)またはca(m,δ)を最大にする、左および右チャンネルについての時間スケーリング位置δを決定する。

第五の実装形態では、決定器２０３は、多チャンネル・オーディオ信号２０１から空間的パラメータを抽出し、図２に関して述べた上記四つの実装形態の一つに従って相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および相互平均絶対値差関数（相互AMDF）ca(m,δ)である諸類似性指標のうちの少なくとも一つを計算する。少なくとも一つの空間的手がかりを保存しない波形を消去するために、決定器２０３は、制約された時間スケーリング（波形類似性に基づく同期された重複加算、WSOLA）をすべてのチャンネルに適用し、計算された類似性指標、すなわち相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を修正する。

決定器２０３によって適用されるWSOLAの基本的発想は、関係するサンプル・インデックスn＝τ(ρ)の対応する近傍におけるもとの波形x(p)との最大の局所的類似性を維持する合成波形y(n)を生成する理想的な時間スケーリング位置を決定するというものである。WSOLAアルゴリズムを示す図６から、もとの波形のインデックスpがp＝τ^-1(n)によって得られることが見て取れる。

規則的な間隔の合成時点L_k＝k'Lおよび

のような合成窓を選ぶことによって、合成の式は次のように書ける。

kはここでは合成の時点のインデックスを表していることを注意しておく。左から右に進むと、圧縮動作について、図６からのセグメント(2)は入力から切り取られ、時点L_k-1＝(k−1)・Lにおいて出力に加えられた最後のセグメントであったことが想定される。すなわち、セグメント(a)＝セグメント(2)。するとWSOLAは、同期された仕方で(a)と重複加算されることになり、かつ時点

のまわりで入力から切り取られることのできるセグメント(b)を見出す必要がある。(1')は自然な仕方で(2)＝(a)に重複加算されてもとの入力発話の一部をなすので、WSOLAは、できるだけ(1')によく似ており入力波においてτ^-1(k・L)のまわりで所定の許容差区間[−Δ_max,Δ_max]内に位置されるよう、(b)を選択することができる。この最良のセグメント(3)の位置は、(1')の基礎になるサンプル・シーケンスと入力発話との間の類似性指標（相互相関または相互AMDF（平均絶対値差関数）など）を最大にすることによって見出される。(b)を(a)と重複加算したのち、WSOLAは次の出力セグメントに進み、(2')が今度は先のステップにおける(1')と同じ役割を果たす。

最良のセグメントmは、τ^-1(m'L)のまわりで許容差領域[−Δ_max,Δ_max]内にあり、選ばれた類似性指標を最大にする値

を見出すことによって決定される。類似性指標は、式(2)(3)(4)で与えられるようなものである。

制約された時間スケーリング（WSOLA）をすべてのチャンネルに適用することによって、決定器２０３は抽出されたδを検証する。類似性値を計算するために使われる実装形態に基づく式(5)(1)(8)(6)から、決定器２０３は、最良のcc、cnまたはcaから最悪のcc、cnまたはcaの順にされていてもよいδについてのj個の候補のリストを計算する。第二のステップでは、ICCおよび／またはITDが合成された波形に対して計算され、ICCおよび／またはITDがもとのICCおよび／またはITDのまわりのある範囲内でなければ、候補δはリストから消去され、次のδ候補が試験される。ICCおよび／またはITD制約が満たされるなら、そのδが選択される。

チャンネル間時間差（ITD）、チャンネル間レベル差（ILD）およびチャンネル間コヒーレンス／チャンネル間相互相関（ICC）は、下記で述べるように、多チャンネル・オーディオ信号２０１から決定器２０３によって抽出される空間的情報である。

決定器２０３は、式(11)を使って多チャンネル・オーディオ信号２０１からILDを抽出する。

この情報に基づいて、決定器２０３はM−1個の空間的手がかりを計算する。さらに、決定器２０３は、各チャンネルlについて、チャンネル信号iと基準チャンネルとの間の遅延を表すチャンネル間時間差（ITD）を、次式に基づいて多チャンネル・オーディオ信号２０１から計算する。

IC_i(d)は

のように定義された規格化された相互相関であり、x_refは基準信号を表し、x_iはチャンネル信号lを表す。ICC_iパラメータはICC_i＝IC_i[d]として定義される。

第四の実装形態の第一の変形および第五の実装形態の第一の変形において、X_refは、全Mチャンネルの平均であるモノ・ダウンミックス信号のスペクトルである。M個の空間的手がかりが決定器２０３において計算される。ダウンミックス信号を多チャンネル・オーディオ信号についての基準として使うことの利点は、無音信号（silent signal）を基準信号として使うことを避けるということである。実際、ダウンミックスは全チャンネルのエネルギーの平均を表し、よって無音である可能性が少なくなる。

第六の実装形態では、決定器２０３は、第五の実装形態に従って、抽出されたδを検証する。しかしながら、制約された時間スケーリング（WSOLA）に関して制約条件を満たすδがない場合には、最大のcc、cnまたはcaをもつδが選ばれることになる。

図３は、ある実装形態に基づく、複数のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍを含む多チャンネル・オーディオ信号３０１を処理するオーディオ信号処理装置３００のブロック図を示している。オーディオ信号処理装置３００は、決定器３０３および時間スケーリング器３０７を有する。決定器３０３は、前記複数のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍを使って時間スケーリング位置δ ３０５を決定するよう構成されている。前記時間スケーリング器３０７は、前記時間スケーリング位置δ ３０５に従って前記複数のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍの各オーディオ・チャンネル信号を時間スケーリングして複数の時間スケーリングされたオーディオ・チャンネル信号３０９＿１、３０９＿２、……、３０９＿Ｍを得るよう構成されている。これら複数の時間スケーリングされたオーディオ・チャンネル信号が時間スケーリングされた多チャンネル・オーディオ信号３０９をなす。決定器３０３は、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍを受領するためのM個の入力および前記時間スケーリング位置２０５を提供するための一つの出力を有する。時間スケーリング器３０７は、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍを受領するためのM個の入力および前記時間スケーリング位置３０５を受領するための一つの入力を有する。時間スケーリング器３０７は、時間スケーリングされた多チャンネル・オーディオ信号３０９をなす前記複数M個の時間スケーリングされたオーディオ・チャンネル信号３０９＿１、３０９＿２、……、３０９＿Ｍを提供するためのM個の出力をもつ。

決定器３０３は、空間的パラメータを抽出するよう構成されているM個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍと、スケーリング位置δ ３０５を計算するよう構成されている一つの計算ユニット３０４とを有する。

オーディオ信号処理装置３００の第一の実装形態では、M個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍのそれぞれは、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍのそれぞれについて空間的パラメータを抽出する。計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第一の実装形態に従って、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍについて、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第一の実装形態に従って、最良のセグメントmを、時間区間τ^-1(m・L)のまわりで許容差領域[−Δ_max,Δ_max]内にあり、選ばれた類似性指標を最大にする値δ＝Δ_mを見出すことによって計算する。

オーディオ信号処理装置３００の第二の実装形態では、多チャンネル・オーディオ信号３０１は、左および右のオーディオ・チャンネル信号３０１＿１および３０１＿２を含む２チャンネルのステレオ・オーディオ信号である。決定器３０３は、左および右のオーディオ・チャンネル信号３０１＿１および３０１＿２から空間的パラメータを抽出するよう構成されている二つの抽出ユニット３０３＿１、３０３＿２と、スケーリング位置δ ３０５を計算するよう構成されている一つの計算ユニット３０４とを有する。

左および右の抽出ユニット３０３＿１および３０３＿２のそれぞれはILDおよび／またはITDおよび／またはICCを抽出する。

計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第二の実装形態に従って、左および右のオーディオ・チャンネル信号２０１＿１および２０１＿２について、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第二の実装形態に従って、最良のセグメントmを、時間区間τ^-1(m・L)のまわりで許容差領域[−Δ_max,Δ_max]内にあり、選ばれた類似性指標を最大にする値δ＝Δ_mを見出すことによって計算する。

オーディオ信号処理装置３００の第三の実装形態では、M個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍのそれぞれは、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍのそれぞれについて空間的パラメータを抽出する。計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第三の実装形態に従って、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍについて、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

計算ユニット３０４は、前記第三の実装形態に関して述べたように、cc(m,δ)、cn(m,δ)またはcs(m,δ)を最大化する、各チャンネル1……Mについての時間スケーリング位置δを決定する。

オーディオ信号処理装置３００の第四の実装形態では、多チャンネル・オーディオ信号３０１は、左および右のオーディオ・チャンネル信号３０１＿１および３０１＿２を含む２チャンネルのステレオ・オーディオ信号である。決定器３０３は、左および右のオーディオ・チャンネル信号３０１＿１および３０１＿２から空間的パラメータを抽出するよう構成されている二つの抽出ユニット３０３＿１、３０３＿２と、スケーリング位置δ ３０５を計算するよう構成されている一つの計算ユニット３０４とを有する。

計算ユニット３０４は、前記第四の実装形態に関して述べたように、cc(m,δ)、cn(m,δ)またはa(m,δ)最大にする、各チャンネルについての時間スケーリング位置δを決定する。

オーディオ信号処理装置３００の第五の実装形態では、M個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍのそれぞれは、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍのそれぞれについて空間的パラメータを抽出する。計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第五の実装形態に従って、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍについて、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

計算ユニット３０４は、前記第五の実装形態に関して述べたように、cc(m,δ)、cn(m,δ)またはca(m,δ)を最大にする、各チャンネル1……Mについての時間スケーリング位置δを決定する。

オーディオ信号処理装置３００の第六の実装形態では、M個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍのそれぞれは、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍのそれぞれについて空間的パラメータを抽出する。計算ユニット３０４は、図２に関して述べたオーディオ信号処理装置２００の第六の実装形態に従って、前記複数M個のオーディオ・チャンネル信号３０１＿１、３０１＿２、……、３０１＿Ｍについて、相互相関cc(m,δ)、規格化された相互相関cn(m,δ)および／または相互平均絶対値差関数（相互AMDF）ca(m,δ)を計算する。

計算ユニット３０４は、前記第六の実装形態に関して述べたように、cc(m,δ)、cn(m,δ)またはca(m,δ)を最大にする、各チャンネル1……Mについての時間スケーリング位置δを決定する。

図４は、ある実装形態に基づく、多チャンネル・オーディオ信号を処理する方法のブロック図を示している。本方法は、多チャンネルの情報をバッファリングし（４０１）；空間的パラメータを抽出し（４０３）；各チャンネルについて最適な時間スケーリング位置δを見出し（４０５）；最適な時間スケーリング位置δに従って各チャンネルを時間スケーリングする（４０７）ことを含む。バッファリング４０１は、図２および図３に関して述べた多チャンネル・オーディオ信号２０１、３０１に関係する。バッファリングのために、メモリ・セルまたはRAMまたは他のハードウェア・ベースのバッファが使用される。抽出４０３は、図３に関して述べた空間的パラメータを抽出するよう構成されているM個の抽出ユニット３０３＿１、３０３＿２、……、３０３＿Ｍに関係する。各チャンネルについての最適な時間スケーリング位置δを見出すこと４０５は、図３に関して述べたスケーリング位置δ ３０５を計算するよう構成された計算ユニット３０４に関する。時間スケーリング４０７は、図３に関して述べたスケーリング・ユニット３０７に関係する。方法ステップ４０１、４０３、４０５および４０７のそれぞれは、図３に関して述べたそれぞれのユニットの機能を実行するよう構成される。

図５は、ある実装形態に基づく、ジッタ・バッファ管理装置５００のブロック図を示している。ジッタ・バッファ管理装置５００は、ジッタ・バッファ５３０、デコーダ５４０、適応再生アルゴリズム・ユニット５５０およびオーディオ信号処理装置５２０を有する。ジッタ・バッファ５３０は、入力フレーム５１１を受領するデータ入力と、ジッタ制御信号５５１を受領する制御入力とを有する。ジッタ・バッファ５３０は、バッファリングされた入力フレームをデコーダ５４０に提供するデータ出力を有する。デコーダ５４０は、バッファリングされた入力フレームをジッタ・バッファ５３０から受領するデータ入力と、デコードされたフレームをオーディオ信号処理装置５２０に提供するデータ出力とを有する。オーディオ信号処理装置５２０は、デコーダ５４０からのデコードされたフレームを受領するデータ入力と、出力フレーム５０９を提供するデータ出力とを有する。オーディオ信号処理装置５２０は、適応再生アルゴリズム・ユニット５５０から期待されるフレーム長５２３を受領する制御入力と、適応再生アルゴリズム・ユニット５５０に新しいフレーム長５２１を提供する制御出力とを有する。適応再生アルゴリズム・ユニット５５０は、入力フレーム５１１を受領するデータ入力と、新しいフレーム長５２１をオーディオ信号処理装置５２０から受領する制御入力とを有する。適応再生アルゴリズム・ユニット５５０は、期待されるフレーム長５２３をオーディオ信号処理装置５２０に提供する第一の制御出力と、ジッタ制御信号５５１をジッタ・バッファ５３０に提供する第二の制御出力とを有する。

IPを通じた音声のアプリケーションでは、発話信号がまず発話エンコーダを使って圧縮される。相互運用性を維持するため、IPを通じた音声のシステムは通例、オープンな発話コーデックの上に構築される。そのようなシステムは、たとえばITU-Tまたは3GPPコーデックにおいて標準化されていることができ（いくつかの標準化された発話コーデックがVoIPについて使用される：G.711、G.722、G.729、G.723.1、AMR-WB）、あるいは独自フォーマット（Speex、Silk、CELT）であることができる。エンコードされた発話信号をデコードするために、デコーダは、標準化された発話コーデックG.711、G.722、G.729、G.723.1およびAMR-WBのうちの一つまたは独自の発話コーデックSpeex、Silk、CELTのうちの一つを適用するよう構成される。

エンコードされた発話信号は、パケット化され、IPパケットの形で送信される。パケットはVoIPにおいてさまざまなネットワーク遅延に遭遇する。よって、パケットは不規則な間隔で到着する。そのようなジッタをなめらかにするため、受信機において通例、ジッタ・バッファ管理機構が必要とされる。受領されたパケットがしばらくの間バッファリングされてスケジューリングされた時間に逐次的に再生されるのである。諸実装形態において、ジッタ・バッファ５３０は、受領されたパケット、すなわち入力フレーム５１１を、適応再生アルゴリズム・ユニット５５０から与えられるジッタ制御信号５５１に従ってバッファリングするよう構成される。

再生時間が各パケットについて調整されることができる場合、サウンド・カードにおける音声データの連続的な再生を保証するために、時間スケール修正が必要とされる。オーディオ信号処理装置５２０は、サウンド・カードにおける音声データの連続的な再生を保証するための時間スケール修正を提供するよう構成される。遅延は一定の遅延ではないので、オーディオ信号処理装置５２０は、所与の受信パケットの継続時間を引き伸ばすまたは圧縮するよう構成される。ある実装形態では、オーディオ信号処理装置５２０は、時間スケーリングのためにWSOLA技術を使うよう構成される。オーディオ信号処理装置２００は、図２に関して述べたオーディオ信号処理装置２００または図３に関して述べたオーディオ信号処理装置３００に対応する。

ある実装形態では、ジッタ・バッファ管理装置５００は、ステレオまたは多チャンネルのVoIP通信を管理するよう構成される。

ある実装形態では、デコーダ５４０は、特定の多チャンネル・オーディオ符号化方式、特にパラメトリックな空間的オーディオ符号化方式を適用する多チャンネル・コーデックを有する。

ある実装形態では、デコーダ５４０は、デュアル／マルチ・モノ・モードで動作するモノ・コーデックに基づく。すなわち一つのモノ・エンコーダ／デコーダが各チャンネルについて使用される。各チャンネルについて時間スケーリング・アルゴリズムの独立な適用を使うと、（特に空間的音像の）品質劣化につながることがある。独立した時間スケーリングは、空間的手がかりが保存されることを保証しないからである。したがって、図２に関して述べたオーディオ信号処理装置２００または図３に関して述べたオーディオ信号処理装置３００に対応するオーディオ信号処理装置５２０は、ジッタ・バッファ管理装置５００が空間的音像に関してパフォーマンス劣化を示さないよう、空間的手がかりを保存するよう構成される。

オーディオ／ビデオ放送およびポストプロダクション・アプリケーションでは、源素材が記録されたのとは異なるレートでビデオを再生することが必要になることがある。その結果、付随するオーディオ信号のピッチが変化したバージョンが生じる。これは、24フレーム毎秒のフィルム・レートのコンテンツが25フレーム毎秒の再生レートをもつシステムへの転送のためにより速いレートで再生されるときのフレーム・レート変換の際に普通に起こる。オーディオ信号処理装置５２０によって実行される時間スケーリングは、もとの源素材のピッチを保存しつつ、ビデオとオーディオの間の同期を維持する。

時間スケーリング・アルゴリズムの独立した適用は、話者の位置の修正につながる。ジッタ・バッファ管理装置５００は、ITD、ILDおよびICCその他である最も重要な空間的手がかりを保存する。それらの空間的手がかりは、時間スケーリング・アルゴリズムを制約するために使われる。よって、時間スケーリングが多チャンネル・オーディオ信号を伸張または圧縮するために使われるときでも、空間的音像は修正されない。

ジッタ・バッファ管理装置５００は、多チャンネル時間スケーリング処理を通じて空間的手がかりを保存するよう構成される。ある実装形態では、オーディオ信号処理装置５２０は、複数のオーディオ・チャンネル信号を担持する多チャンネル・オーディオ信号を処理する方法を適用する。前記方法は：ITD（チャンネル間時間差）、ILD（チャンネル間レベル差）またはICC（チャンネル間コヒーレンス／チャンネル間相互相関）のような空間的情報を、時間スケーリングされていない多チャンネル信号から抽出し；制約された時間スケーリング・アルゴリズムを各チャンネルに適用して、空間的手がかりが保存されることを保証することを含む。

ある実装形態では、オーディオ信号処理装置５２０は、複数のオーディオ・チャンネル信号を担持する多チャンネル・オーディオ信号を処理する方法を適用する。前記方法は：前記空間的パラメータを前記多チャンネル信号から抽出し；制約された時間スケーリング（WSOLA）を全チャンネルに適用し；少なくとも一つの空間的手がかりを保存しない波形を消去するために、類似性指標、すなわち相互相関、規格化された相互相関または相互AMDFを修正することを含む。この実装形態のある変形では、類似性指標は、空間的手がかりの全部は保存しないような波形を消去するために修正される。

多チャンネルVoIPアプリケーションの場合、すべてのチャンネルからのデータが、送り側から受信側に送信されるとき、一つのパケットまたは種々のパケットにカプセル化される。ある実装形態に基づく受信機は、図５に描かれたようなジッタ／バッファ管理装置５００を有する。全チャンネルが一つのパケットに入れられる場合、それらのチャンネルは同じジッタをもつ。全チャンネルが種々のパケットにパケット化される場合、それらのチャンネルは通例各チャンネルについて異なるジッタをもち、それらのパケットは異なる順序で到着する。ジッタを補償し、全チャンネルを整列させるために、最大遅延が設定される。パケットがくるのが遅すぎ、最大遅延を超える場合、データは失われたと考えられ、パケット損失隠蔽アルゴリズムが使われる。チャンネルが種々のパケットにおいて送信される特定の場合、デコーダ５４０が各チャンネルについて独立してパケットを並べ替えることができることを保証するために、フレーム・インデックスがチャンネル・インデックスと一緒に使用される。

オーディオ／ビデオ放送およびポストプロダクション・アプリケーションにおいて、各チャンネルの時間スケール位置が同じ場合、ITDは維持されることができる。各チャンネルのエネルギーが時間スケーリングの前および後で変更されない場合、ILDは保持されることができる。ある実装形態では、ジッタ・バッファ管理装置５００は時間スケーリングの前および後で各チャンネルのエネルギーを変えない。

ある実装形態では、ジッタ・バッファ管理装置５００は、多チャンネル・デコーダがいくつかのモノ・デコーダ、すなわちステレオの場合についてはデュアル・モノの動作に基づくアプリケーションにおいて、あるいは入力ステレオ信号に従ってデュアル・モノ・モデルとモノ／ステレオ・モデルとの間でジョイント・ステレオ（joint stereo）・コーデックが切り替わるアプリケーションにおいて使われる。ある実装形態では、ジッタ・バッファ管理装置５００はオーディオ／ビデオ放送および／またはポストプロダクション・アプリケーションにおいて使用される。

Claims

多チャンネル・オーディオ信号（２０１）を処理する方法であって、前記多チャンネル・オーディオ信号（２０１）は複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を担持し、当該方法は：
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を使って時間スケーリング位置（２０５）を決定する段階（１０１）と；
前記時間スケーリング位置（２０５）に従って前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号を時間スケーリングして（１０３）複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）を得る段階とを含む、
方法。
請求項１記載の方法であって：
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）から第一の組の空間的手がかりパラメータを抽出する段階であって、前記第一の組の空間的手がかりパラメータは、前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）と前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の少なくとも一つから導出される基準オーディオ・チャンネル信号との間の差の差指標に関係する、段階と；
前記複数の時間スケーリングされたオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）から第二の組の空間的手がかりパラメータを抽出する段階であって、前記第二の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第二の組の空間的手がかりパラメータは、前記複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）と、前記複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）の少なくとも一つから導出される基準時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、段階と；
前記第二の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関してある品質基準を満足するかどうかを判定する段階とを含む、
方法。
請求項２記載の方法であって、前記第一の組の空間的手がかりパラメータのうちのある空間的手がかりパラメータの抽出は、前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）のうちのあるオーディオ・チャンネル信号と前記基準オーディオ・チャンネル信号との相関を調べることを含み；
前記第二の組の空間的手がかりパラメータのうちのある空間的手がかりパラメータの抽出は、前記複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）のうちのある時間スケーリングされたオーディオ・チャンネル信号と前記基準オーディオ・チャンネル信号との相関を調べることを含む、
方法。
請求項２または３記載の方法であって、抽出された前記第二の組の空間的手がかりパラメータが前記品質基準を満足しない場合、以下の段階、すなわち：
あるさらなる時間スケーリング位置に従って前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号を時間スケーリングして、さらなる複数の時間スケーリングされたオーディオ・チャンネル信号を得る段階であって、前記さらなる時間スケーリング位置は前記複数のオーディオ・チャンネル信号を使って決定される、段階と；
前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号から第三の組の空間的手がかりパラメータを抽出する段階であって、前記第三の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第三の組の空間的手がかりパラメータは、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号と、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号の少なくとも一つから導出されるさらなる基準時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、段階と；
前記第三の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関して前記品質基準を満足するかどうかを判定する段階と；
前記第三の組の空間的手がかりパラメータが前記品質基準を満足する場合、前記さらなる複数の時間スケーリングされたオーディオ・チャンネル信号を出力する段階とを含む、
方法。
請求項２ないし４のうちいずれか一項記載の方法であって、それぞれの組の空間的手がかりパラメータは、該それぞれの組の空間的手がかりパラメータがある空間的手がかりパラメータ範囲内にある場合に、前記第一の組の空間的手がかりパラメータに関して前記品質基準を満足する、方法。
請求項１ないし５のうちいずれか一項記載の方法であって、それぞれの組の空間的手がかりパラメータは以下のパラメータ、すなわち：
チャンネル間時間差（ITD）、
チャンネル間レベル差（ILD）、
チャンネル間コヒーレンス（ICC）および
チャンネル間相互相関（IC）
の一つである、方法。
請求項１ないし６のうちいずれか一項記載の方法であって、時間スケーリング位置（２０５）を決定する段階（１０１）は：
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）のそれぞれについて、パラメータとして候補時間スケーリング位置をもつチャンネル相互相関関数を決定する段階と；
前記候補時間スケーリング位置に依存して前記複数のチャンネル相互相関関数を累積することによって累積相互相関関数を決定する段階と；
前記累積相互相関関数の最大の累積相互相関値に関連付けられている時間スケーリング位置（２０５）を選択して前記時間スケーリング位置（２０５）を得る段階とを含む、
方法。
請求項７記載の方法であって、それぞれの相互相関関数は、以下の相互相関関数、すなわち：
相互相関関数、
規格化された相互相関関数および
相互平均絶対値差関数（Cross-AMD F）関数
のうちの一つである、方法。
請求項７または８記載の方法であって、さらに：
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号（２０１＿ｉ）について、空間的手がかりパラメータから重み付け因子を決定する段階であって、前記空間的手がかりパラメータは前記オーディオ・チャンネル信号（２０１＿ｉ）および前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）のうちの少なくとも一つから導出される基準オーディオ・チャンネル信号に基づいて抽出され、前記空間的手がかりパラメータは特にチャンネル間レベル差である、段階と；
前記オーディオ・チャンネル信号（２０１＿ｉ）について決定された重み付け因子により各チャンネル相互相関関数に個々に重み付けする段階とを含む、
方法。
請求項１ないし９のうちいずれか一項記載の方法であって、前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号を時間スケーリングする（１０３）のに先立って前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）をバッファリングする段階を含む、方法。
請求項１ないし１０のうちいずれか一項記載の方法であって、前記時間スケーリング（１０３）は、同じオーディオ・チャンネル信号の諸オーディオ・チャンネル信号部分を重複させて加算することを含む、方法。
請求項１ないし１１のうちいずれか一項記載の方法であって、前記多チャンネル・オーディオ信号（２０１）は、複数のエンコードされたオーディオ・チャンネル信号を含み、当該方法は：
前記複数のエンコードされたオーディオ・チャンネル信号をデコードして前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を得ることを含む、
方法。
多チャンネル・オーディオ信号（２０１）を処理するオーディオ信号処理装置（２００）であって、前記多チャンネル・オーディオ信号（２０１）は複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を含み、当該オーディオ信号処理装置（２００）は：
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を使って時間スケーリング位置（２０５）を決定するよう適応された決定器（２０３）と；
前記時間スケーリング位置（２０５）に従って前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）の各オーディオ・チャンネル信号を時間スケーリングして複数の時間スケーリングされたオーディオ・チャンネル信号（２０９＿１、２０９＿２、２０９＿Ｍ）を得るよう適応された時間スケーリング器（２０７）とを有する、
オーディオ信号処理装置。
請求項１３記載のオーディオ信号処理装置であって、前記多チャンネル・オーディオ信号（２０１、３０１）は、複数のエンコードされたオーディオ・チャンネル信号を含み、当該オーディオ信号処理装置（２００、３００）は：
前記複数のエンコードされたオーディオ・チャンネル信号をデコードして前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ；３０１＿１、３０１＿２、３０１＿Ｍ）を得るよう適応されたデコーダを有する、
オーディオ信号処理装置。
請求項１３または１４記載のオーディオ信号処理装置であって、さらに：
前記複数のオーディオ・チャンネル信号（３０１＿１、３０１＿２、３０１＿Ｍ）から第一の組の空間的手がかりパラメータを抽出するよう適応された抽出器（３０３＿１）であって、前記第一の組の空間的手がかりパラメータは、前記複数のオーディオ・チャンネル信号（３０１＿１、３０１＿２、３０１＿Ｍ）と前記複数のオーディオ・チャンネル信号（３０１＿１、３０１＿２、３０１＿Ｍ）の少なくとも一つから導出される基準オーディオ・チャンネル信号との間の差の差指標に関係し、
前記抽出器（３０３＿１）はさらに、前記複数の時間スケーリングされたオーディオ・チャンネル信号（３０９＿１、３０９＿２、３０９＿Ｍ）から第二の組の空間的手がかりパラメータを抽出するよう適応されており、前記第二の組の空間的手がかりパラメータは、前記第一の組の空間的手がかりパラメータが関係するのと同じ型の差指標に関係し、前記第二の組の空間的手がかりパラメータは、前記複数の時間スケーリングされたオーディオ・チャンネル信号（３０９＿１、３０９＿２、３０９＿Ｍ）と、前記複数の時間スケーリングされたオーディオ・チャンネル信号（３０９＿１、３０９＿２、３０９＿Ｍ）の少なくとも一つから導出される基準時間スケーリングされたオーディオ・チャンネル信号との間の差に関係する、抽出器と；
前記第二の組の空間的手がかりパラメータが、前記第一の組の空間的手がかりパラメータに関してある品質基準を満足するかどうかを判定する処理器とを有する、
オーディオ信号処理装置。
請求項１３ないし１５のうちいずれか一項記載のオーディオ信号処理装置であって、前記決定器（２０３。３０３）は、
前記複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）のそれぞれについて、諸候補時間スケーリング位置に依存してチャンネル相互相関関数を決定し、
前記諸候補時間スケーリング位置に依存して前記複数のチャンネル相互相関関数を累積することによって累積相互相関関数を決定し；
前記累積相互相関関数の最大の累積相互相関値に関連付けられている時間スケーリング位置（２０５、δ）を選択して前記時間スケーリング位置（２０５、δ）を得るよう適応されている、
オーディオ信号処理装置。
多チャンネル・オーディオ信号（２０１）を処理するためのプログラム可能に構成されたオーディオ信号処理装置（２００）であって、前記多チャンネル・オーディオ信号（２０１）は複数のオーディオ・チャンネル信号（２０１＿１、２０１＿２、２０１＿Ｍ）を含み、当該プログラム可能に構成されたオーディオ信号処理装置（２００）は、請求項１ないし１２のうちいずれか一項記載の方法を実行するためのコンピュータ・プログラムを実行するよう構成されているプロセッサを有する、オーディオ信号処理装置。