JP2013519253A - 空間音声再生 - Google Patents

空間音声再生 Download PDF

Info

Publication number
JP2013519253A
JP2013519253A JP2012550544A JP2012550544A JP2013519253A JP 2013519253 A JP2013519253 A JP 2013519253A JP 2012550544 A JP2012550544 A JP 2012550544A JP 2012550544 A JP2012550544 A JP 2012550544A JP 2013519253 A JP2013519253 A JP 2013519253A
Authority
JP
Japan
Prior art keywords
spatial
signal
playback
channel audio
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012550544A
Other languages
English (en)
Other versions
JP2013519253A5 (ja
JP6013918B2 (ja
Inventor
アキ サカリ ハルマ
ブルアイン ワーナー パウルス ジョセフス デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013519253A publication Critical patent/JP2013519253A/ja
Publication of JP2013519253A5 publication Critical patent/JP2013519253A5/ja
Application granted granted Critical
Publication of JP6013918B2 publication Critical patent/JP6013918B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

空間音声再生のための装置は、マルチチャネル音声信号を受信するための受信器１０１を有する。アナライザ１０７は、空間複雑さ又は空間的構成のようなマルチチャネル音声信号の空間特性を決定する。選択プロセッサ１０９は、その後、複数のマルチチャネル音声再生モードが異なる空間レンダリング技術を使用する当該複数のマルチチャネル音声再生モードから再生モードを選択する。再生回路１０３は、その後、選択された再生モードを使用して、マルチチャネル音声信号を再生するために、ラウドスピーカー１０５のセットを駆動する。再生モード間の切換えは、急速であり（例えば１００ｍｓから１０秒のオーダーで）、これにより信号特徴への再生モードの短期適合を可能にする。当該アプローチは、特に、改良された空間経験をリスナーに提供する。

Description

本発明は、空間音声再生、排他的ではないが、特に、マルチチャネル音声信号のアップミキシングを含む空間音声再生に関する。
ステレオ記録及び再生の形式の空間音声再生は、数十年の歴史がある。最近の年代において、改良された空間リスニング経験を提供するために、より高度なアレンジメント及び信号処理が用いられた。特に、例えば５台又は７台の空間スピーカを使用するサラウンドサウンドの使用は、例えば映画又はテレビを視聴することに関連して強化された経験を提供するために主流になった。加えて、「サウンドバー」のようなコンパクトなマルチドライバラウドスピーカーシステムは、従来のステレオ及び５．１システムに対する普及しているオプションになっている。これらの装置は、小さな装置からでさえ広い空間オーディオイメージの経験をリスナーに提供する。これは、信号のデジタル処理及び装置の特別な物理的配置に基づく。
空間サウンド処理は、改良された空間経験を提供するために、音声再生の一部として先進の信号処理を益々利用する。例えば、複雑なアルゴリズムが、音声信号をより高い数のチャネルにアップミキシングするために用いられる。例えば、５チャネルサラウンド信号は、送信側でステレオ又はモノラルの信号にダウンミックスされる。この信号は、その後配信され、音声再生は、元の５チャネル信号へ受信信号をアップミキシングすることを含む。
別の例として、信号処理は、サウンド拡散効果をステレオ信号へ供給するために用いられ、結果的によりワイドなサウンドをリスナーが経験することになる。通常、これらの方法は、チャネル間の相関を低減する信号処理オペレーションに基づく。これらの技術は、前述のコンパクトなラウドスピーカーシステムで特に普及している。
別の例として、空間信号の再生は、例えばステレオ信号内の主要な音源の抽出を含む。残りの残差信号は、拡散する周囲ステレオイメージに通常対応する。再生特徴が各信号に対して最適化されるように、その後、主要な信号及び周囲信号が異なって再生される。
しかしながら、斯様な空間音声再生技術はリスニング経験を改善するにもかかわらず、幾つかの関連する不利な点がある傾向がある。特に、再生は、全ての状況において最適空間経験を提供するというわけではなく、信号処理は、場合によっては実際のところ劣化する空間経験に結果としてなる。
従って、空間音声再生のための改良されたシステムは有利であり、特に、増大された柔軟性、容易にされたオペレーション、容易にされた実行、改良された空間リスニング経験及び／又は改良されたパフォーマンスを可能にするシステムは有利である。
従って、本発明は、好ましくは単独で又は任意の組合せで、上述の不利な点の一つ以上を緩和し、軽減し又は除去しようとする。
本発明の一態様によると、マルチチャネル音声信号を受信するための受信器と、マルチチャネル音声信号の空間特性を決定するための回路と、複数のマルチチャネル音声再生モードが異なる空間レンダリング技術を使用する当該複数の音声再生モードから選択される再生モードを選択するための回路と、選択された再生モードを使用して、マルチチャネル音声信号を再生するために、ラウドスピーカーのセットにより供給される空間チャネルのセットを駆動するための再生回路とを有する、空間音声再生のための装置が提供される。
本発明は、多くの実施例で改良された音声再生を提供する。特に、改良された空間経験は、多くのシナリオにおいて提供される。通常、空間再生は、特定の音声信号に対して改善される。このアプローチは、更に、多くの実施例において複雑さが低い実行及び容易にされたオペレーションを可能にする。
適切な再生方法の選択は、低い複雑さを維持すると共に、経験される特定の条件に対して最適化される。
空間特性は、信号の空間的構成及び／又は空間複雑さを表す。例えば、空間特性は、主要な音源を抽出するための適切な基準又はプロセスに従う一つ以上の主要な音源の存在を表す。ある実施例では、空間特性は、マルチチャネル信号により表されるサウンドイメージの音源の空間分布を表す。
ラウドスピーカーのセットは、具体的には、（おそらく空間的でない低周波効果のスピーカ又はサブウーファを加えて）例えば３台、５台又は７台の空間スピーカを有するサラウンドサウンドセットアップのラウドスピーカーである。ラウドスピーカーのセットは、１台の物理的装置の通常３つ以上の個別に駆動されるラウドスピーカー（又は、ラウドスピーカーアレイ）を持つマルチドライバラウドスピーカーシステムである。ラウドスピーカーのセットは、複数の斯様な装置を有してもよい。
本発明の任意の特徴によると、音声再生モードの少なくとも１つが、マルチチャネル音声信号のチャネルの数より多い数の空間チャネルにアップミキシングすることと、マルチチャネル音声信号のチャネルの数より少ない数の空間チャネルにダウンミキシングすることとの少なくとも一つを有する。
本発明は、改良された空間経験を提供する。例えば、ステレオ信号の幾つかのサウンドイメージは、モノラル信号として再生されるとき改良された空間経験を提供する。ステレオ信号の他のサウンドイメージは、センター信号と結合された拡張ステレオ信号として再生されるとき、すなわち３つの空間チャネルを使用して再生されるとき、改良された空間経験を提供する。
本発明の任意の特徴によると、空間チャネルのセットは、マルチチャネル音声信号とは異なる数のチャネルを有する。
本発明は、音声再生システムに対する改良された空間経験を提供し、特に、音声再生を特定のサウンドイメージ及び空間特徴に適応させて、追加の自由度を可能にする。
本発明の任意によると、音声再生モード間の切換えの最大スイッチ周波数は、１Ｈｚを超える。
これは、音声の様々な特徴に密接にマッチする動的な適合及び最適化を提供し、これによって改良されたリスニング経験を提供する。
このフィーチャは、音声信号に対する再生モードの改良されたパフォーマンス及び改良された適合を可能にし、これによって強化されたリスニング経験を提供する。このアプローチは、信号特徴に対する再生の短期間の適合を可能にする。
幾つかの実施例では、再生モード間の切換えのための最大スイッチ周波数は、０．０１Ｈｚ、０．１Ｈｚ又は１０Ｈｚさえも超える。
最大スイッチ周波数は、装置が再生モード間を切換え可能な最大周波数である。最大周波数は、空間特性推定及び切換え機能の特徴を含むシステムの設計パラメータにより制限される。
本発明の任意の特徴によると、空間特性を決定するための前記回路がせいぜい１０秒の時定数を持つ空間特性を決定する。
これは、音声の様々な特徴に密接にマッチする動的な適合及び最適化を提供し、これにより改良されたリスニング経験を提供する。
この特徴は、音声信号に対する再生モードの改良されたパフォーマンス及び改良された適合を可能にし、これによって強化されたリスニング経験を提供する。このアプローチは、信号特性に対する再生の短期間の適合を可能にする。
幾つかの実施例では、空間特性を決定するための回路は、５００秒未満、１００秒、１秒、５００ｍｓ、１００ｍｓ又は更に５０ｍｓの時定数を持つ空間特性を決定するように有利に設けられる。
時定数は、空間特性がステップ変化に従う最終的な（漸近的な）値の１―１／ｅ＝６３％に達する時間を表わす。
幾つかの実施例では、空間特性を決定するための回路は、空間特性のローパスフィルタを含み、ローパスフィルタは０．００１Ｈｚ、０．０１Ｈｚ、０．１Ｈｚ、１Ｈｚ、１０Ｈｚ又は５０Ｈｚを超える３ｄＢカットオフ周波数を持つ。
本発明の任意の特徴によると、複数の音声再生モードは、モノラル再生モードと、マルチチャネル信号の空間特徴を維持している再生モードと、空間拡散処理を有する再生モードと、少なくとも一つの主要なソース信号へ分離することを有し、少なくとも一つの主要なソース信号及び周囲信号の互いに異なる空間再生を適用する再生モードとの少なくとも一つを有する。
これらの再生技術は、異なる音声特徴に対する改良されたリスニング特徴を提供するために特に有利であり適している。多くの実施例では、複数の音声再生モードは、２つ、３つ又は４つ全ての再生モードを好適に含み、これらが異なる特徴に特に適しているので、よって、音声特徴のかなりの範囲に対する改良された再生を供給する一組のモードも提供する。この技術は、広範囲の音声信号に対する適切な再生特徴も提供する。
本発明の任意の特徴によると、装置は、マルチチャネル音声信号に対するコンテンツ特徴を決定するための回路を更に有し、選択するための前記回路が、コンテンツ特徴に応じて選択される再生アルゴリズムを選択する。
これは、再生の適合を更に改良し、多くの実施例で改良された空間経験を提供する。コンテンツ特性は、例えば、マルチチャネル音声信号及び／又は関連するビデオ信号のコンテンツ分析により決定される。
本発明の任意の特徴によると、コンテンツ特徴を決定するための前記回路は、マルチチャネル音声信号と関連したメタデータに応じて、コンテンツ特徴を決定する。
これは、多くの実施例において有利である特に正確で複雑さが低いアプローチを提供する。
本発明の任意の特徴によると、マルチチャネル音声信号を再生するための前記回路は、コンテンツ特徴に応じて選択される再生モードの空間レンダリング技術の特徴を適応させる。
これは、再生の適合を更に改善し、多くの実施例で改良された空間経験を提供する。
本発明の任意の特徴によると、マルチチャネル音声信号を再生するための前記回路は、空間特性に応じて選択される再生モードの空間レンダリング技術の特徴を適応させる。
これは、再生の適合を更に改善し、多くの実施例で改良された空間経験を提供する。
本発明の任意の特徴によると、空間処理特徴は、マルチチャネル音声信号の少なくとも２つのチャネルに適用される空間拡散の程度である。
これは、空間的拡散が、ある音声特徴に対して著しく強化された空間経験を提供するが、他の音声特徴に対して空間経験を劣化させるので、特に有利な最適化を提供する。従って、音声特徴に対する空間的拡散の最適化は、特に有利なパフォーマンスを提供する。
本発明の任意の特徴によると、マルチチャネル音声信号を再生するための前記回路は、第１の選択される再生アルゴリズムから第２の選択される再生アルゴリズムへ徐々に移行する。
これは、改良されたパフォーマンスを提供し、特に、異なる再生モード間の変化の認知度を低減する。装置は、具体的には、遷移間隔の間に、第１の選択された再生アルゴリズム及び第２の選択された再生アルゴリズム両方を使用してラウドスピーカーのセットのための駆動信号を生成し、加重が遷移間隔の間に動的に変えられる駆動信号の加重組合せとして生成される信号によりラウドスピーカーのセットを駆動するように設けられる。
本発明の任意の特徴によると、空間特性を決定するための前記回路は、マルチチャネル音声信号の少なくとも２つのチャネルの差信号のエネルギー指標に対するマルチチャネル音声信号の少なくとも２つのチャネルの和信号のエネルギー指標に応じて、空間特性を決定する。
これは、空間再生を適合させるため特に有利な空間特性である。特に、これは、多くのシナリオに対して正確さと複雑さとの間の有利なトレードオフを提供する。
本発明の任意の特徴によると、空間特性を決定するための前記回路は、マルチチャネル音声信号を少なくとも一つの主要な音源信号と残差信号とに分解し、残差信号のエネルギー指標に対する主要な音源信号のエネルギー指標に応じて、空間特性を決定する。
これは、空間再生を適合させるための特に有利な空間特性である。特に、これは、多くのシナリオに対して正確さと複雑さとの間の有利なトレードオフを提供する。
本発明の一態様によると、マルチチャネル音声信号を受信するステップと、マルチチャネル音声信号の空間特性を決定するステップと、マルチチャネル音声再生モードが異なる空間レンダリング技術を使用して、複数の音声再生モードから選択される再生モードを選択するステップと、選択された再生モードを使用して、マルチチャネル音声信号を再生するためにラウドスピーカーのセットを駆動するステップとを有する、空間音声再生の方法が提供される。
本発明のこれら及び他の態様、特徴及び利点は、これ以降説明される実施例を参照して明らかに説明されるだろう。
本発明の実施例は、図面を参照して単なる例示として説明されるだろう。
図１は、本発明の幾つかの実施例による空間音声再生のためのシステムの例の具体例である。 図２は、本発明の幾つかの実施例による空間音声再生のためのシステムの要素の例の具体例である。 図３は、本発明の幾つかの実施例による空間音声再生のためのシステムの例の具体例である。
以下の説明は、３つのチャネルへのアップミキシングを使用して、ステレオ信号の空間音声再生に適用できる本発明の実施例に焦点を当てる。しかしながら、本発明は、このアプリケーションに限定されず、多くの他の音声信号及び再生方法に適用されてもよいことは、理解されるだろう。
図１は、本発明の幾つかの実施例による音を再生するためのシステムの例を示す。システムは、複数の音声チャネルを有する空間音声信号を受信する受信器１０１を有する。この例では、入力信号はステレオ信号であるが、他の実施例では、他のチャネル数が使用されてもよいことは、理解されるだろう。例えば、入力信号は、５チャネルサラウンドサウンド入力信号でもよい。幾つかのシナリオでは、入力信号はコード化信号であり、受信器１０１はシステムによる他の処理のため入力信号を部分的に又は完全にデコードする。例えば、各コード化セグメントに対して、入力信号の周波数表現は、コード化スキームにより使用される中間周波数表現として生成されてもよい。入力信号の複数のチャネルが、単一のコード化された音声信号及び関連するパラメータデータにより表されてもよいことは、理解されるだろう。例えば、多チャンネル入力信号は、コード化されたモノラル信号及び空間パラメータデータである。具体例として、入力信号は、パラメトリックステレオ信号である。
入力マルチチャネル音声信号は、内部又は外部ソースから受信される。
受信器１０１は、受信器１０１からマルチチャネル（具体例では、ステレオ信号）を受信するドライバ回路１０３に結合されている。ドライバ回路１０３は、一組のラウドスピーカー１０５のための駆動信号を生成する。ラウドスピーカーのセットは、多くの空間チャネルを供給する。この例では、ラウドスピーカーは、左チャネル、右チャネル及びセンターチャネルを提供するが、他の実施例では、より多くの（又は少ない）空間チャネルが供給されてもよいことは、理解されるだろう。例えば、幾つかの実施例では、ラウドスピーカーは、左チャネル及び右チャネルを提供するだけである。他の実施例では、フルサラウンドシステムは、例えば５つ又は７つの空間チャネルを具備する。
幾つかの例では、ラウドスピーカー１０５のセットのスピーカにより供給される空間チャネルの数は、マルチチャネル信号のチャネルの数に等しい。しかしながら、この例では、ラウドスピーカー１０５のセットにより供給される空間チャネルの数は、マルチチャネル信号のチャネルの数より多い。この例では、ドライバ回路１０３は、マルチチャネル信号のチャネルを空間チャネルの数にアップミキシングすることを含む幾つかの再生モードで動作する。代わりに又は追加的に、ドライバ回路１０３は、少なくとも幾つかの再生モードで利用可能なチャネルのサブセットを選択するための機能を含み、当該サブセットは異なる再生モードで異なる。これらのモードの一つ以上は、更に、入力チャネルのダウンミキシングを含む。例えば、ステレオ入力信号に対して、ある再生モードでは、空間チャネルの２つ（例えば左と右）を使用して出力を供給し、他の再生モードでは、一つの空間チャネル（例えばセンターチャネル）だけを使用し、更に他の再生モードでは、３つの空間的なチャネル（例えば左、右及びセンターチャネル）を使用する。
具体例では、ラウドスピーカー１０５のセットは、空間配置に３つのラウドスピーカーを有し、これにより３つの空間チャネルを供給する。よって、ラウドスピーカー１０５のセットのスピーカは、左、右及びセンタースピーカーに対応する。
ラウドスピーカーのセットは、このように、空間経験を提供するように設けられる。幾つかの実施例では、ドライバ回路１０３は、リスニング位置に対するラウドスピーカーの正確な位置を知っているが、通常は、この場合でなく、従来のサラウンド及びステレオシステムから知られているように、空間音声再生はラウドスピーカーの推定位置に基づく。ラウドスピーカーのセットは、複数の空間チャネルを供給し、例えば、これらは左、右及びセンター空間チャネルを提供し、空間経験をリスナーに提供するために用いられる。しかしながら、ラウドスピーカーのセットは、各チャネルに対する単一の別々のラウドスピーカーを持つ必要はない。例えば、ラウドスピーカーのセットは、ラウドスピーカーアレイを有し、音声ビーム形成技術を使用して空間チャネルを供給するための関連する駆動機能を有する。よって、図１のラウドスピーカー１０５のセットのラウドスピーカーは、所与の空間位置又はチャネルに対応する仮想ラウドスピーカーとして認められる。幾つかの実施例では、各仮想ラウドスピーカーは、物理的ラウドスピーカーに対応するが、これが全ての実施例において必要であるというわけではない。
ラウドスピーカー１０５を駆動するとき、ドライバ回路１０３は異なる音声再生モードを使用するように配される。異なる音声再生モードは、異なる空間レンダリング技術を使用する。このように、異なる音声再生モードは異なる空間処理アルゴリズムを適用し、よって、異なる音声再生モードは異なる空間音声特徴を持つ。例えば、１つの音声再生モードは、単一のラウドスピーカー１０５だけ（すなわちモノラル再生として）を使用してマルチチャネル信号を示し、他の音声再生モードは、空間処理なしに対応する空間チャネルの信号で各ラウドスピーカーを単に駆動し、これにより入力信号の空間特徴を維持する。更に他の再生モードは、全てのラウドスピーカーにわたって入力チャネルを広げて、空間的拡散を導入する。よって、ドライバ回路１０３は、非常に異なる空間処理を提供でき、非常に異なる特性でラウドスピーカー１０５のセットを駆動可能に設計されている。実際、異なる再生モードは、所与の空間処理のために異なるパラメータ設定を使用するだけでなく、異なる基礎をなす原理を適用し、特に異なる空間処理アルゴリズム及び方法を使用する。
斯様な様々な再生モードは、非常に異なる効果をシステムにより供給可能にし、リスナーの空間経験の高い可変性を可能にする。しかしながら、発明者は、空間信号処理が強化された経験を提供するのに対して、空間信号処理は、ある場合には結果的に減少した空間経験にもなると認識した。例えば、（空間拡散、アップミキシング、モノラル信号への変換等のような）感知したステレオイメージ上の音声フォーマット変換アルゴリズムの効果は、異なるコンテンツ及び信号特徴に対して異なる。
例えば、方法はアクション映画シーンに適している広い空間イメージを提供するが、単一の楽器を持つ音楽又はニュース番組の場合には、同じ方法は、落ち着きがなく、はっきりしないと知覚される。すなわち、あるタイプのコンテンツに適しているアップミキシング又はステレオ拡大は、異なるタイプのコンテンツのために使用されるとき、不所望な効果を作り出す。
別の例として、ステレオ信号からセンターチャネルを抽出する目的のアップミキシングアルゴリズムは、ステレオミックス内にクリアなセントラル音源がないとき、必ずしも最適に働かない。センターチャネル抽出方法が斯様なコンテンツに対して用いられる場合、結果的にステレオイメージの幅の低減になる。
エンドユーザが再生モードを手動で選択するか又は調整可能にすることは、ユーザが最も気持ちの良い空間経験を提供するモードを選択することができるので、この感度を緩和可能にできる。しかしながら、発明者は、斯様な解決策が、遅くて非常に扱いにくい適合を可能にするだけなので、しばしば実際的でないと認識した。
解決策は、可能性があるタイプの音声ごとに再生モードを定めることである。例えば、ニュース番組のために、ある特定の再生モードが用いられる、映画のために他の特定の再生モードが用いられる等である。しかしながら、発明者は、好適な空間再生が音声の特定タイプと直接リンクしないので、斯様なアプローチが不正確になりそうであることを認識した。
実際、発明者は、大幅に改良された経験が、適切な再生モードの動的なリアルタイム選択を実行することによりしばしば達成できることを認識した。発明者は、有利なパフォーマンスが入力信号の空間特性に基づいて斯様な動的な選択を実行することにより達成できることを更に認識した。よって、図１のシステムにおいて、再生モードは、入力信号の空間特性に基づいて動的に選択される。このことにより、入力信号の特定の変化に対する再生モードのリアルタイム且つ速い適合が達成される。
斯様なアプローチは、音声再生を信号の現在の特徴に自動的且つ動的に適合可能にし、このことにより強化されたリスニング経験を可能にする。当該アプローチは、更に、例えば音声の特定タイプ又は音声が表す特定のプログラムタイプに対する平均的又は予想される特徴のためよりもむしろ、現在の特徴及び好みのために再生モードが最適化できる非常に速い適合を可能にする。例えば、当該アプローチは、例えばダイアログ及びアクション音声両方が、その特定の音に対して最も適切な再生アルゴリズムにより再生されるように、映画のサウンドトラックの間、再生モードを動的且つ自動的に変化可能にする。例えば、空間イメージがメディアアイテムの期間にわたって連続的にしばしば変化することが知られている。例えば、映画の音声シーンは、俳優の声のような１つの音源だけが聞き取れるときと、ワイドステレオ音声シーンとの間での交番を含む。ステレオイメージがワイドで実体験のように感知できることを所望する第１の場合がある一方、音声に対して明らかに局所的な空間位置を持つことが自然である第２の場合がある。図１のシステムは、斯様な好みを反映するために、再生モードの自動的調整を供給する。
特に、図１のシステムは、マルチチャネル音声信号の空間特性を決定するように設けられるアナライザ１０７を有する。空間特性は、具体的には、入力信号に存在する空間的構成又は複雑さの程度の指標である。空間特性は、空間拡散の程度を表し、特に、入力信号が、一つ以上の単一の明確な音源により特徴づけられるか又は強い方向キューがない周囲音により特徴づけられるかを表す。
アナライザ１０７は、空間特性を供給し、再生モードをドライバ回路１０３により使用できる複数の音声再生モードから選択するように設けられる選択プロセッサ１０９に結合される。選択プロセッサ１０９は、更に、ドライバ回路１０３に結合され、選択された再生モードを使用するためにドライバ回路１０３を制御する。よって、空間特性が変化すると、選択プロセッサ１０９は、現在の特徴に対する最適再生処理を提供するために再生モード間を動的且つ自動的に切り換える。よって、改良された空間経験が達成される。
システムは、特に、信号特徴に対する再生モードの短期適合を可能にするように設けられる。よって、速いスイッチングが可能であり、これにより、（長期間で）平均的に最適化されるだけでなく、より多くの瞬間的な信号変化に合うような空間再生を可能にする。
従って、アナライザ１０７は、比較的高い周波数以外、ローパスフィルタをかけられるか、又は平均化される空間特性の形式で推定値を生成するように設けられる。同様に、再生モード間の実際のスイッチングは、比較的高い周波数で実施される。このように、再生モードを選択し、例えばプログラムを通じてこの再生モードを使用するよりはむしろ、図１のシステムは、信号特徴の短期間の変化に合うように、動的に再生モードを適応させる。
システムの好適な動的特徴は、個々の実施例の特定の特徴及び好みに依存する。
しかしながら、多くの実施例では、特に有利なパフォーマンスは、通常は約５０ｍｓから５分までの範囲にある間隔で再生モードの更新を許容するシステムで達成される。正確な動的性質は、現在の信号特徴に対する適応の正確さとシステムの信頼性との間のトレードオフと、異なるモード間の切換えに関連したアーチファクトの程度に基づいて選択される。
多くの実施例において、空間特性を決定するとき含まれるローパスフィルタは、個々の実施例の特定の好みに依存して、０．００１Ｈｚを超えて、０．０１Ｈｚ、０．１Ｈｚ、１Ｈｚ、１０Ｈｚ又は５０Ｈｚの３ｄＢカットオフ周波数を好適に持つ。同様に、空間特性は、５００秒未満、１００秒、１０秒、１秒、５００ｍｓ、１００ｍｓ又は５０ｍｓの時定数で好適に決定される。時定数は、ステップ変化をフォローする（漸近的な）最終の１―１／ｅ＝６３％に達するまで空間特性がかかる時間として規定される。例えば、空間特性は、追跡するか、又はマルチチャネル信号の一つ以上の空間特徴に依存している。他の全てのパラメータを一定に維持しながら空間特徴のステップ変化は、結果的に空間特性の変化となる。このとき、空間特性を決定するための時定数は、その最終的な（漸近的な）値の領域１―１／ｅ＝６３％に到達するために、この変化がかかる時間として測定される。
同様に、切換えは、同様の動特性に従って設けられる。特に、再生モードの切換えのための最大スイッチ周波数は、０．０１Ｈｚを超え、０．１Ｈｚ、１Ｈｚ又は１０Ｈｚでさえある。最大周波数は、空間特性の決定及び／又は実際の切換動作により可能である最も速い切換えである。よって、最大切換え周波数は、システムがフォローできる音声信号の根底にある空間特徴の最も高い周波数変化である。
特定の実施例において、ドライバ回路１０３は、４つの異なる再生モード間を切り換えるように設けられる。
第１の再生モードでは、ドライバ回路１０３は、元のステレオ信号を単に維持し、何れの空間変更も導入しない。よって、この動作モードは、マルチチャネル入力信号の空間特徴を維持する。具体例において、ステレオ入力信号は単にステレオ信号として再生され、すなわち左入力チャネルが左のラウドスピーカーに入力し、右の入力チャネルが右のラウドスピーカーに入力し、何れの信号もセンターのラウドスピーカーに入力されない。よって、この再生モードでは、ドライバ回路１０３は、元の音声チャネルのステレオ再生を供給する。
第２の再生モードでは、ドライバ回路１０３は、モノラル信号として入力信号を再生する。例えば、２つのステレオチャネルは（例えば単純な加算により）結合され、結果として生じるモノラル信号はセンターのラウドスピーカーに供給され、何れの信号も左又は右のラウドスピーカーに供給されない。よって、ドライバ回路１０３の第２の再生モードは、入力信号のダウンミキシングを含み、モノラル再生モードである。斯様な再生モードは、例えばニュース番組のためのニュースを読む人が音源のような中心に配置された単一の音源に音声が対応するシナリオにおいて、特に好適等である。
第３の再生モードでは、ドライバ回路１０３は、空間拡散処理を導入するように設けられる。具体例では、第３の再生モードは、ステレオ拡散アルゴリズムを入力ステレオ信号に適用することを有する。斯様なステレオ拡散は、拡大された空間イメージの知覚が達成されるようにステレオチャネルの非相関性を提供する傾向がある。様々な空間拡散技術が当業者により知られるだろうし、任意の適切なアルゴリズムが本発明を損なうことなく用いられることは、理解されるだろう。
斯様な処理は、サウンドイメージが特定の局所的な音源よりもむしろ周囲音により支配されるとき、特に有利である。例えば、斯様な処理は、多くの楽器を持つ大規模なオーケストラにより作られる音楽を再生するとき、強化された経験を提供する。
第４の再生モードでは、ドライバ回路１０３は、入力信号を一つ以上の主要なソース信号に分け、各一次信号は、特定の主要な音源からだけの音を有するようにしている。当業者は、主要な音源を検出し抽出するための種々異なるアルゴリズムを知っているだろうし、任意の適切なアルゴリズムが本発明を損なわずに用いられることは、理解されるだろう。ドライバ回路１０３は、更に、主要な音源の抽出の後の信号に対応する残差信号を生成する。第４の再生モードでは、入力ステレオ信号は、このように、一つ以上の主要なサウンドソース信号及び周囲ステレオ又はサラウンド信号に分解される。
主要なサウンドソース信号及び残差信号は、その後、異なる空間処理が信号に適用されるように、異なって処理される。単純な例として、空間拡散は、残差信号に適用されるが、主要なサウンドソース信号に適用されない。このように、主要な音源の空間的に明確な位置決めは変更されないのに対し、強化されたサウンドイメージが、周囲音環境に通常は対応する残差信号に対して達成される。更にまた、主要なサウンドソース信号は例えばセンターの空間チャネルにあり、残差信号は右及び左の空間チャネルにある。よって、この再生モードでは、ラウドスピーカーのセットにより供給される全ての空間チャネルが使われ、当該再生モードは入力信号のアップミキシングを有する。
音声チャネルから空間ソース分布を推定する方法が提案されてきた。例えば、マルチチャネル音声データからの主要な音源の方向の決定及び周囲の音声レベルの推定のための方法は、M.Goodwin及びJ-M.Jotによる'Multichannel surround format conversion and generalized upmix',AES30thint. Conference, Finland, March 2007で提案された。ステレオ混合の複数の音源の分布の推定のための２つの他の方法は、例えば、A.Hａrmａ及びC.Fallerによる"Spatial decomposition of time-frequency regions: subbands or sinusoids", AES116th Convention, Berlin, Germany, 8-11 May 2004で検討された。
第４の再生モードは、例えば特定の音源と周囲の音又はノイズとの混合である信号に特に適している。
アナライザ１０７による入力信号の音源の空間分布の分析は、例えば、各チャネルの音声エネルギーの周波数選択分析及び／又はチャネル間の類似を表す幾つかの適切な数値的尺度の変化の周波数選択分析に基づいている。例えば、アナライザ１０７は、ＭＰＥＧサラウンド規格で使用される分析法と同様の分析法を用いる。よって、これらは、入力信号のサブバンド分解と、異なるチャネルの周波数サブバンド間のエネルギー及び共分散値の計算とに基づいている。しかしながら、例えば信号のパラメータの表現に関した相関計量及び／又は異なるチャネル間の類似性を特徴づけている相互情報量のような、多くの他のアプローチが使用されてもよいことは、理解されるだろう。
図２は、図１のシステムで使われる特定のアプローチを例示する。
この例では、アナライザ１０７は、入力の左及び右の信号が供給される加算器２０１及び減算器２０３を有する。加算器は２つの信号を合計する、減算器２０３は１つをその他から減算する。加算器２０１は、加算器２０１により生成される和信号の信号エネルギーを計算する第１のエネルギー推定器２０５に結合される。減算器２０３は、減算器により生成される差信号の信号エネルギーを測定する第２のエネルギー推定器２０７に結合される。第１及び第２のエネルギー推定器２０５、２０７は、和エネルギー及び差エネルギーの空間特性指標に基づいて再生モードを選択する選択プロセッサ１０９に結合される。
よって、この例では、再生モードの選択は、左右のチャネル信号間の和信号及び差信号の計算とこれらの信号の短時間エネルギーの比較とに基づく。和信号のエネルギーが差信号のエネルギーより著しく大きいとき、入力ステレオ信号が実質的にモノラルであると推定される。和信号及び差信号のエネルギーが同じレベルにある、又は差信号のエネルギーが和信号のエネルギーより大きいとき、入力信号は、通常のステレオ音声信号であると考えられる。
よって、各エネルギー分析期間内の検出値は、以下の式により与えられる。
Figure 2013519253
ここで、Ｅｓｕｍ及びＥｄｉｆｆは、それぞれ和信号及び差信号の短時間エネルギーであり、Ａは、通常は、１より著しく大きいスカラー係数（例えば、Ａ＝１００）である。
ドライバ回路１０３の動作、特に異なる再生モード間のスイッチは、動的なマトリックス動作として以下の式のように実行される。
Figure 2013519253
ここで、ｘｌ（ｎ）及びｘｒ（ｎ）は元の左及び右ステレオ信号であり、ｎはサンプルデジタル信号の指標である。出力ｙｌ（ｎ）、ｙｒ（ｎ）及びｙｃ（ｎ）は、それぞれ左、右及びセンターのスピーカに対する駆動値である。
よって、この例では、和信号及び差信号の信号エネルギーは、センターのスピーカを使用して実質的にモノラルの再生と、左及び右のスピーカを使用してステレオの再生との間を切り換えるために用いられる。
別の例として、和及び差動作は、より汎用の動作により置き換えられてもよい。例えば、主要な音源の方向は、主成分分析法（ＰＣＡ）（又は、適応固有値分解のような他の同様の方法）により推定される。更に、主要な音源が差信号から除去されるように、加重された和及び差が使用されてもよい。これは、構造的に非常に類似しているが、図２の例よりもっと汎用的な解決策を導く。
説明されたアプローチは、例えばフーリエ変換により生成された個々の周波数分類、又はフィルタバンクの周波数サブバンドのような異なる周波数間隔で例えば独立して適用されてもよい。
具体例では、上記アプローチは、入力信号が実質的にモノラルの特徴を持つかを決定するために最初に用いられる。持つ場合は、第２の再生モード（モノラル表現）が用いられる。持たない場合、すなわちρ＝０の場合、更なる処理が、他の再生モードのどれが使用されるべきかを選択するために実施される。これらの再生方法は、具体的には、ｘｌ（ｎ）及びｘｒ（ｎ）に適用される処理を適切に切り換えることにより、切り換わる。例えば、第１の再生モード（入力信号の空間特徴を維持する）に対して、入力チャネルがｘｌ（ｎ）及びｘｒ（ｎ）（よって、ｙｌ（ｎ）及びｙｒ（ｎ））として直接使われるのに対し、第３の再生モード（拡散）に対して、入力信号がｘｌ（ｎ）及びｘｒ（ｎ）（よって、ｙｌ（ｎ）及びｙｒ（ｎ））として使われ、ラウドスピーカーに供給される前に、空間拡散が、入力信号に最初に適用される。
幾つかの実施例では、アナライザ１０７は、一つ以上の主要な音源を有する主要な音源信号を決定する。その後、主要な音源が抽出された後の残りの信号を表わす残差信号が生成される。最後に、空間特性は、残差信号のエネルギー指標に対する主要な音源信号のエネルギー指標に応じて決定される。
例えば、方向性フィルタリング技術は、入力信号のステレオ混合から、主要な音源を抽出するために使用される。この抽出は、当業者に知られているような、ビーム形成アルゴリズム、適応可能アルゴリズム、ブラインドソース分離アルゴリズムを含むマルチチャネル信号分解のための任意の適当な技術と、マルチチャネルノイズ抑制のための方法とを使用する。
混合からの主要な（又は優位な）音源の抽出の後、主要な音源が除去されたか又は抑制されたマルチチャネル残差信号が決定される。
この場合、検出値は、以下のように計算される。
Figure 2013519253
ここで、Ｅｐｒｉｍは優位な又は主要な音源信号のエネルギー尺度であり、Ｅｒｅｓは残差信号のエネルギー尺度である。パラメータＢの値は、通常は、主要な信号抽出の特定の特徴に依存する単位ユニット周辺である。抽出された主要な音源のエネルギーが残余のエネルギーと比較して低い場合、システムは、混合が優位な／主要な音源を含まないと決定する。この場合、第３の再生方法が、強化された空間イメージを提供するために選択される。
さもなければ、装置は、残差信号が他の優位な音源を含むかどうか評価するための処理をする。これは、例えば、主要な音源分離を繰り返し残差信号に適用することによりなされる。別の例として、決定は、マルチチャネル信号間の類似性尺度の計算に基づく。典型的類似性尺度は、ピアソン相関のような様々なタイプの加重相関計量であり、相関関数又は正規化相関関数の最大値に対する推定値である。様々なタイプの大きさ差関数又は相互情報量のような情報理論的尺度を使用することも可能である。尺度が２つの残差信号間の低い類似性を示す場合、これは、（信号が以前に実質的にモノラルではないとわかったので）ある周囲信号を持つ単一の主要な音源の存在を表す。従って、優位な又は主要な音源信号が、（例えば、センターチャネルに供給されるモノラル信号として）空間拡散を持たないで再生されるのに対し、空間拡散は左及び右のラウドスピーカーに供給される残余のステレオ信号に適用されて、第４の再生モードは用いられる。
しかしながら、残差信号のチャネルが高い類似性を持つことがわかる場合、これは、入力信号が第１の再生方法により良好に再生された２つの主要な音源から成り、よってこれが選択されることを反映しているようである。
多くの実施例で好適にも、異なる再生モード間の切換えは、円滑且つ漸進的な遷移である。これは、異なる再生モードの異なる空間特徴から生じるアーチファクトを低減し緩和する。
一例として、モノラルモードからステレオ再生モードへの切換えは、以下の式に従う。
Figure 2013519253
ここで、ｐ（ｎ）＝ａｐ（ｎ−１）＋（１−α）ρであり、時間積分係数ρは間隔［０，１］内の値である。典型的値は、例えばρ＝０．９５である。
より一般的な例として、装置は、再生モードの２つ（又はそれ以上）同時に動作するように設けられる。システムが切換えを行って２つの再生モードから生成された信号は、その後、以前の再生モードから新規な再生モードに徐々に変わるような２つのモードの加重で混合される。例えば、各ラウドスピーカーに対して、２つの再生モードにより生成される対応する信号は、
ｙ（ｎ）＝β（ｎ）・ｘｐ（ｎ）＋（１−β（ｎ））・ｘｎ（ｎ）
により加算される。
ここで、ｙ（ｎ）はスピーカに対する駆動信号であり、ｘｐは以前の再生モードにより生成されるサンプルであり、ｘｎは新規な再生モードにより生成されるサンプルであり、ｎはサンプル指標であり、β（ｎ）は適切な時間的特徴を持って１から０に徐々に変化する値である。
多くの実施例では、１０ｍｓから１秒までの間隔の遷移時間は、有利なパフォーマンスを提供する傾向がある。遷移時間は、新規な再生モードが、結果として生じる結合信号の１０％の加重から９０％の加重に変化する時間として測定される。
幾つかの実施例では、ドライブ回路１０３は、空間特性に応答して、選択された再生モードの空間レンダリング技術の特徴を適応させるように更に設けられる。例えば、第３の再生モードに対して、適用される空間拡散の程度は、空間の優先順位に依存して調整される。よって、斯様な例では、入力信号の空間混合の分析は、非相関性の量を制御する、すなわち空間拡散アルゴリズムの「ステレオ拡散パラメータ」を制御するためにも用いられる。例えば、入力信号が複数のソースを持つリッチ且つワイドな空間イメージ、又は例えば識別可能な音源を持たない拡散信号を含むことを空間特性が示す場合、両方のチャネルに基本的に同じコンテンツがあるときより、再生の際、より多くのステレオ拡散が適用される。第１の場合は、２つの音声チャネル間の相関の量を評価することにより、第２の場合と区別できる。
他の例として、２つの別々の源が左及び右それぞれのチャネルで主要である信号が考えられてもよい。この場合、意図された空間イメージは、ステレオイメージの２つの明らかに局所的な分離された源（例えば、左にデュエットの歌手及び右にギター）から成る。この場合、チャネル間の相関は低い。ステレオ拡散が信号に対する相関のため当該信号に適用される場合、生成される空間イメージはワイドになるだろう。しかしながら、この場合、ステレオイメージは、２つの意図されたステレオイメージの明らかに局所的な特徴を欠いてぼやける。従って、多分そうであるだろうイメージの明らかに局所的な源を保存するために、このタイプのコンテンツのための直接的な（拡散しない）ステレオ再生を使用することが、おそらくより良好であろう。ステレオイメージが少数の無相関の源の単純な混合を持つ場合か、又は複数の音源の複雑な混合である場合かを検出することは可能である。これを実施する単純な方法は、左と右のチャネル間の正規化されたクロス相関Ｃを分析することである。斯様な推論に基づいて、幾つかの実施例における再生モードの選択は、以下の論理に基づく。
Ｃ＜Ｔｌｏｗの場合、コンテンツは左右の２つの相関がない源から成ると考えられ、標準の（拡散がない）ステレオ再生が２つの源の位置を維持するために選択されている。Ｔｌｏｗ＜Ｃ＜Ｔｈｉｇｈの場合、コンテンツは通常の複雑なステレオマテリアルであると考えられる。ステレオ拡散アプローチが、このタイプのコンテンツのための再生のためにしかるべく使われる。
Ｔｈｉｇｈ＜Ｃの場合、コンテンツは一つの明確な源を持つと考えられる。従って、ステレオ再生方法又はモノラルコンテンツのための特定の再生が、このタイプの入力のために選択される。
正規化された相関関数は、例えば以下により与えられるピアソン相関であるか、
Figure 2013519253
又は以下の式により与えられるＡｖｅｎｄａｄｏにより提案される正規化された相関尺度である（C.Avendado, Frequency-domain source identification and manipulation in stereo mixes for enhancement, suppression and re-panning applications, IEEEP roc. WASPAA, NY, USA, 2003）。
Figure 2013519253
検出は、入力信号の小さな時間―周波数セグメントのチャネル間の相関及びレベル差の統計値に基づき得る。
図１のシステムは、多くのシナリオで多くの実生活信号に対して改良されたリスニング経験を提供する。特に、アップミキシングに基づくシステムに対する空間経験は、多くのシナリオで改善される。例えば、ステレオ信号からセンターチャネルを抽出しようとするアップミキシングアルゴリズムは、センターの音源がサウンドイメージに存在するが、ステレオ混合内に明確なセンターイメージがない場合には理想的に必ずしも働かないとき、非常に良好なパフォーマンスを提供する。実際、センターチャネル抽出方法が斯様なコンテンツのために用いられる場合、結果的にステレオイメージの幅の低減になる。説明されたアプローチは、適切なアップミックスアプローチを使用するために入力信号の再生を動的に適合可能にする。
幾つかの実施例では、再生モードの選択は、更に、入力信号に対するコンテンツ特性を考える。斯様な例は、信号に対するコンテンツ特徴を決定するように設けられるコンテンツプロセッサ３０１を含むために修正された図１のシステムを示す図３に図示される。
コンテンツ特徴は、例えば、ジャンル、音声信号と関連したプログラムタイプ（例えば、音声が、例えばテレビ又はラジオ番組のようなメディアアイテムと関連している場合）、音声と関連したアーティスト等を示す。コンテンツ特徴は、例えば入力信号と関連したメタデータから決定される。このように、幾つかのシナリオでは、メタデータは、個別に受信されるか、例えば音声信号に埋め込まれている。コンテンツプロセッサ３０１は、入力信号のコンテンツを記述するデータを抽出するように設けられる。
他の実施例では、コンテンツプロセッサ３０１は、受信入力信号のコンテンツ分析を実施し、斯様なコンテンツ分析に基づいてコンテンツ特徴を決定するように設けられる。例えば、コンテンツプロセッサ３０１は、信号が主にスピーチ、音楽又は例えば大きい爆発を含むかどうかを決定するために、信号を分析する。その後、コンテンツプロセッサ３０１は、対応するタイプのコンテンツを推定し、分析に基づいて、例えば、ニュース番組、音楽プログラム及びアクションフィルムを選択する。種々異なるコンテンツ分析アプローチが当業者に知られていて、適切なアルゴリズムが用いられることは理解されるだろう。視聴信号（すなわち入力音声信号がビデオ信号と結合されている）に対して、コンテンツ分析は、代替的に又は追加的に、入力信号と関連したビデオ信号に基づいてもよい。
コンテンツ特徴は、使用するため再生モードの選択にそれを含める選択プロセッサ１０９に供給される。特に、異なる再生モード間の短期切換えは、空間特性の短期変化に基づいて依然決定されるが、正確な切換基準は、コンテンツが何であるかに依存して修正される。例えば、システムは、ニュース番組のためより、アクション映画のための空間拡散アプローチへ切換えそうである。
よって、コンテントタイプを表すデータが、使用のため最適空間再生方法を選択する際に使われる。特に、コンテンツ特徴は、再生モード選択戦略の信頼性を強化するために用いられる。決定の際、コンテンツ特徴を含むことは、不適当な再生モードが選択されるリスクを低下できる。
例えば、場合によっては、信号の空間分析は、結果的に適切な再生モードを明らかに示さない空間特性になる。この場合、再生モードを選択するとき、コンテンツを考慮することが望ましい。よって、空間信号分析が４つの再生クラスの１つの信号の空間混合を明らかに分類せず、これらのうちの２つ以上の間で不確かな「グレイ」領域にある場合、コンテンツ特徴が考慮される。幾つかの実施例では、再生モードの各々に対応する空間特性の間隔は、例えば特定の特性に依存する。これは、例えばニュース番組及びアクションフィルムに対して異なる、変更なしのステレオ再生モードと拡散ステレオ再生モードとの間の選択に例えば結果としてなる。よって、拡散は、アクションフィルムに対してよりニュース番組に対してあまり使用されない。
幾つかの実施例では、ドライバ回路１０３は、コンテンツ特徴に応答して、選択された再生モードの空間レンダリング技術の特徴を適応させる。よって、入力信号のコンテンツタイプに関する情報を反映するコンテンツ特徴が、選択された空間再生モードのパラメータを制御するために使われる。例えば、ステレオ拡散が最適再生方法であるとシステムが決定するとき適用される拡散の量は、コンテンツタイプに依存して調整される。この目的のために、コンテンツタイプの分類は、例えば、「ニュース」、「映画」、「音楽」、「ドキュメンタリー」などのような分類を識別する高いレベルでなされてもよい。しかしながら、分類は、サブタイプ、例えば音楽の異なるジャンル又は映画の異なるタイプの分類をするためにも有益である。例えば、音楽の特定のジャンルは、通常、どちらかといえば密接な防音スタジオ及び音響雰囲気（例えばシンガーソングライタ又は室内楽）と関連する一方、他のジャンルは広い防音スタジオ及び非常にゆったりしたルーム音響効果（例えばクワイア音楽）と関連する。音楽のジャンルを知っていることは、音声信号の空間混合の分析に加えて、適切な再生モードを選択し、及び／又は空間再生モードのパラメータを設定するのを助ける。
上記説明は、ラウドスピーカーのセットが、入力信号（特に２つのチャネル）より多くの空間チャネル（特に３つの空間チャネル）を供給する実施例に焦点を当てた。しかしながら、他の実施例では、ラウドスピーカーのセットは、入力信号より多くの空間チャネルを提供しないことも理解されるだろう。
実際、多くの実施例で、ラウドスピーカーのセットが入力信号より少ない空間チャネルを提供することが有利である。例えば、７つのチャネルサラウンドサウンド入力信号は、３つの空間チャネルで再生される。このような実施例では、潜在的に複雑な空間処理は、有利なパフォーマンスを提供するために用いられ、説明された原理は、どの再生モードを入力信号の特定の空間特性に適用するべきかを選択するために用いられる。よって、異なるダウンミキシングアルゴリズムが、入力信号の空間特徴に依存して用いられる。
明快さのための上記説明は、種々の機能的回路、ユニット及びプロセッサを参照して本発明の実施例を説明されてきたことは理解されるだろう。しかしながら、種々の機能的回路、ユニット又はプロセッサ間の機能性の任意の適切な配信が本発明を損なうことなく使用されてもよいことは理解されるだろう。例えば、プロセッサ又はコントローラにより実施されるために例示された機能は、同じプロセッサ又はコントローラにより実施されてもよい。よって、特別な機能性ユニット又は回路の参照は、厳格に論理的若しくは物理的構造又は組織を示すよりむしろ説明された機能を供給するための適切な手段の参照として見られるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実行できる。本発明は、オプション的には、一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサで実行するコンピュータソフトウェアとして少なくとも部分的に実行されてもよい。本発明の実施例の要素及び部品が、任意の適当な態様で物理的に、機能的に及び論理的に実行されてもよい。実際、機能は、単一のユニット、複数のユニット、又は他の機能ユニットの一部として実行されてもよい。例えば、本発明は、単一のユニットで実行されてもよいし、種々のユニット、回路及びプロセッサ間で物理的及び／又は機能的に配信されてもよい。
本発明が幾つかの実施例と関連して説明されてきたが、ここで説明される特定の形式に限定されることを意図していない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、特徴が特定の実施例と関連して説明されるように見えるが、当業者は、説明される実施例の様々な特徴が本発明に従って組み合わされてもよいことを認識するだろう。請求項において、「有する」という用語は、他の要素又はステップの存在を除外しない。
更にまた、個々にリストされたが、複数の手段、要素、回路又は方法のステップが単一の回路、ユニット又はプロセッサにより実行されてもよい。加えて、個々の特徴が異なる請求項に含まれているが、これらは、好適に組み合わせられてもよく、異なる請求項に含まれていることは、特徴の組み合わせが可能ではない及び／又は好適ではないことを暗示していない。一つのカテゴリの請求項内の特徴に含まれることは、このカテゴリへの限定を暗示しているわけではなく、むしろ特徴が適当に他の請求項のカテゴリに等しく適用可能であることを示す。更にまた、請求項内の特徴の順番は、特徴が働かなければならない任意の特定の順番を暗示するわけではなく、特に、方法の請求項の個別のステップの順番は、これらのステップがこの順番に実施されなければならないことを暗示するものではない。むしろ、これらのステップは、任意の好適な順番で実施されてもよい。加えて、単一の参照符号は複数を除外しない。このように、「ａ」「ａｎ」「第１」「第２」等の用語は、複数であることを妨げない。請求項内の参照符号は、単に明確な例として提供されていて、いずれの態様においても請求項の範囲を限定するものとして考慮されるべきではない。

Claims (15)

  1. マルチチャネル音声信号を受信するための受信器と、マルチチャネル音声信号の空間特性を決定するための回路と、複数のマルチチャネル音声再生モードが異なる空間レンダリング技術を使用する当該複数のマルチチャネル音声再生モードから選択される再生モードを選択するための回路と、選択された再生モードを使用して、マルチチャネル音声信号を再生するために、ラウドスピーカーのセットにより供給される空間チャネルのセットを駆動するための再生回路とを有する、空間音声再生のための装置。
  2. 音声再生モードの少なくとも１つが、マルチチャネル音声信号のチャネルの数より多い数の空間チャネルにアップミキシングすることと、マルチチャネル音声信号のチャネルの数より少ない数の空間チャネルにダウンミキシングすることとの少なくとも一つを有する、請求項１に記載の装置。
  3. 空間チャネルのセットが、マルチチャネル音声信号とは異なる数のチャネルを有する、請求項１に記載の装置。
  4. 音声再生モード間の切換えのための最大スイッチ周波数が１Ｈｚを超える、請求項１に記載の装置。
  5. 空間特性を決定するための前記回路がせいぜい１０秒の時定数を持つ空間特性を決定する、請求項１に記載の装置。
  6. 複数の音声再生モードが、モノラル再生モードと、マルチチャネル信号の空間特徴を維持している再生モードと、空間拡散処理を有する再生モードと、少なくとも一つの主要なソース信号へ分離することを有し、少なくとも一つの主要なソース信号及び周囲信号の互いに異なる空間再生を適用する再生モードとの少なくとも一つを有する、請求項１に記載の装置。
  7. マルチチャネル音声信号に対するコンテンツ特徴を決定するための回路を更に有し、選択するための前記回路が、コンテンツ特徴に応じて選択される再生アルゴリズムを選択する、請求項１に記載の装置。
  8. コンテンツ特徴を決定するための前記回路が、マルチチャネル音声信号と関連したメタデータに応じて、コンテンツ特徴を決定する、請求項７に記載の装置。
  9. マルチチャネル音声信号を再生するための前記回路がコンテンツ特徴に応じて選択される再生モードの空間レンダリング技術の特徴を適応させる、請求項７に記載の装置。
  10. マルチチャネル音声信号を再生するための前記回路が空間特性に応じて選択される再生モードの空間レンダリング技術の特徴を適応させる、請求項１に記載の装置。
  11. 空間処理特徴がマルチチャネル音声信号の少なくとも２つのチャネルに適用される空間拡散の程度である、請求項１０に記載の装置。
  12. マルチチャネル音声信号を再生するための前記回路が第１の選択される再生アルゴリズムから第２の選択される再生アルゴリズムへ徐々に移行する、請求項１に記載の装置。
  13. 空間特性を決定するための前記回路が、マルチチャネル音声信号の少なくとも２つのチャネルの差信号のエネルギー指標に対するマルチチャネル音声信号の少なくとも２つのチャネルの和信号のエネルギー指標に応じて、空間特性を決定する、請求項１に記載の装置。
  14. 空間特性を決定するための前記回路が、マルチチャネル音声信号を少なくとも一つの主要な音源信号と残差信号とに分解し、残差信号のエネルギー指標に対する主要な音源信号のエネルギー指標に応じて、空間特性を決定する、請求項１に記載の装置。
  15. マルチチャネル音声信号を受信するステップと、マルチチャネル音声信号の空間特性を決定するステップと、複数のマルチチャネル音声再生モードが異なる空間レンダリング技術を使用する当該複数のマルチチャネル音声再生モードから選択される再生モードを選択するステップと、選択された再生モードを使用して、マルチチャネル音声信号を再生するためにラウドスピーカーのセットを駆動するステップとを有する、空間音声再生の方法。
JP2012550544A 2010-02-02 2011-01-26 空間音声再生 Expired - Fee Related JP6013918B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10152388.4 2010-02-02
EP10152388 2010-02-02
PCT/IB2011/050334 WO2011095913A1 (en) 2010-02-02 2011-01-26 Spatial sound reproduction

Publications (3)

Publication Number Publication Date
JP2013519253A true JP2013519253A (ja) 2013-05-23
JP2013519253A5 JP2013519253A5 (ja) 2014-03-13
JP6013918B2 JP6013918B2 (ja) 2016-10-25

Family

ID=43858393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012550544A Expired - Fee Related JP6013918B2 (ja) 2010-02-02 2011-01-26 空間音声再生

Country Status (5)

Country Link
US (1) US9282417B2 (ja)
EP (1) EP2532178A1 (ja)
JP (1) JP6013918B2 (ja)
RU (1) RU2559713C2 (ja)
WO (1) WO2011095913A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021016117A (ja) * 2019-07-16 2021-02-12 ヤマハ株式会社 音響処理装置および音響処理方法
JP2022516429A (ja) * 2018-12-21 2022-02-28 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 音響再生／シミュレーションシステムおよび音響再生をシミュレーションするための方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971546B2 (en) * 2011-10-14 2015-03-03 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to control audio playback devices
WO2013093565A1 (en) 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
US20140056430A1 (en) * 2012-08-21 2014-02-27 Electronics And Telecommunications Research Institute System and method for reproducing wave field using sound bar
MX347100B (es) 2012-12-04 2017-04-12 Samsung Electronics Co Ltd Aparato de suministro de audio y método de suministro de audio.
WO2014170530A1 (en) * 2013-04-15 2014-10-23 Nokia Corporation Multiple channel audio signal encoder mode determiner
EP2997743B1 (en) * 2013-05-16 2019-07-10 Koninklijke Philips N.V. An audio apparatus and method therefor
ES2931952T3 (es) * 2013-05-16 2023-01-05 Koninklijke Philips Nv Un aparato de procesamiento de audio y el procedimiento para el mismo
EP3020042B1 (en) 2013-07-08 2018-03-21 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
KR102231755B1 (ko) 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP6710675B2 (ja) 2014-07-31 2020-06-17 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ処理システムおよび方法
KR20170031392A (ko) * 2015-09-11 2017-03-21 삼성전자주식회사 전자 장치, 음향 시스템 및 오디오 출력 방법
RU2735652C2 (ru) * 2016-04-12 2020-11-05 Конинклейке Филипс Н.В. Обработка пространственного аудио
US10999678B2 (en) * 2017-03-24 2021-05-04 Sharp Kabushiki Kaisha Audio signal processing device and audio signal processing system
JP7103353B2 (ja) * 2017-05-08 2022-07-20 ソニーグループ株式会社 情報処理装置
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10313820B2 (en) * 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
GB2579348A (en) * 2018-11-16 2020-06-24 Nokia Technologies Oy Audio processing
EP3720143A1 (en) * 2019-04-02 2020-10-07 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Sound reproduction/simulation system and method for simulating a sound reproduction
WO2021260683A1 (en) * 2020-06-21 2021-12-30 Biosound Ltd. System, device and method for improving plant growth
CN114205717B (zh) * 2021-11-19 2024-01-05 深圳摩罗志远科技有限公司 一种耳机放大器电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504787A (ja) * 2000-07-19 2004-02-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ステレオサラウンド及び／又はオーディオ中央信号を得るマルチチャンネルステレオコンバータ
JP2006254187A (ja) * 2005-03-11 2006-09-21 Yamaha Corp 音場判定方法及び音場判定装置
JP2008512890A (ja) * 2004-09-06 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号のエンハンスメント
JP2008521046A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データ処理装置及び方法、コンピュータプログラム要素並びにコンピュータ可読媒体
US20090136048A1 (en) * 2007-11-27 2009-05-28 Jae-Hyoun Yoo Apparatus and method for reproducing surround wave field using wave field synthesis

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03236691A (ja) * 1990-02-14 1991-10-22 Hitachi Ltd テレビジョン受信機用音声回路
US6198827B1 (en) 1995-12-26 2001-03-06 Rocktron Corporation 5-2-5 Matrix system
RU2145446C1 (ru) 1997-09-29 2000-02-10 Ефремов Владимир Анатольевич Способ оптимальной передачи сообщений любой физической природы, например, способ оптимального звуковоспроизведения и система для его осуществления, способ оптимального, пространственного, активного понижения уровня сигналов любой физической природы
DE60027170T2 (de) * 1999-12-24 2007-03-08 Koninklijke Philips Electronics N.V. Anordnung zur audiosignalverarbeitung
DE10110422A1 (de) * 2001-03-05 2002-09-19 Harman Becker Automotive Sys Verfahren zur Steuerung eines mehrkanaligen Tonwiedergabesystems und mehrkanaliges Tonwiedergabesystem
CN1307612C (zh) * 2002-04-22 2007-03-28 皇家飞利浦电子股份有限公司 声频信号的编码解码方法、编码器、解码器及相关设备
WO2006048815A1 (en) * 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Encoding and decoding a set of signals
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
EP2005414B1 (en) * 2006-03-31 2012-02-22 Koninklijke Philips Electronics N.V. A device for and a method of processing data
US9088855B2 (en) 2006-05-17 2015-07-21 Creative Technology Ltd Vector-space methods for primary-ambient decomposition of stereo audio signals
US8238560B2 (en) 2006-09-14 2012-08-07 Lg Electronics Inc. Dialogue enhancements techniques
KR20080060641A (ko) * 2006-12-27 2008-07-02 삼성전자주식회사 오디오 신호의 후처리 방법 및 그 장치
JP4786605B2 (ja) * 2007-07-19 2011-10-05 ローム株式会社 信号増幅回路およびそれを用いたオーディオシステム
KR20090017032A (ko) 2007-08-13 2009-02-18 삼성전자주식회사 콘텐츠 녹화 장치 및 방법
GB2467668B (en) 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
CN101889307B (zh) 2007-10-04 2013-01-23 创新科技有限公司 相位-幅度3d立体声编码器和解码器
WO2009084916A1 (en) * 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504787A (ja) * 2000-07-19 2004-02-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ステレオサラウンド及び／又はオーディオ中央信号を得るマルチチャンネルステレオコンバータ
JP2008512890A (ja) * 2004-09-06 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号のエンハンスメント
JP2008521046A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声データ処理装置及び方法、コンピュータプログラム要素並びにコンピュータ可読媒体
JP2006254187A (ja) * 2005-03-11 2006-09-21 Yamaha Corp 音場判定方法及び音場判定装置
US20090136048A1 (en) * 2007-11-27 2009-05-28 Jae-Hyoun Yoo Apparatus and method for reproducing surround wave field using wave field synthesis

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022516429A (ja) * 2018-12-21 2022-02-28 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 音響再生／シミュレーションシステムおよび音響再生をシミュレーションするための方法
JP7321272B2 (ja) 2018-12-21 2023-08-04 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 音響再生／シミュレーションシステムおよび音響再生をシミュレーションするための方法
JP2021016117A (ja) * 2019-07-16 2021-02-12 ヤマハ株式会社 音響処理装置および音響処理方法
JP7451896B2 (ja) 2019-07-16 2024-03-19 ヤマハ株式会社 音響処理装置および音響処理方法

Also Published As

Publication number Publication date
CN102726066A (zh) 2012-10-10
RU2012137189A (ru) 2014-03-10
RU2559713C2 (ru) 2015-08-10
JP6013918B2 (ja) 2016-10-25
WO2011095913A1 (en) 2011-08-11
US9282417B2 (en) 2016-03-08
EP2532178A1 (en) 2012-12-12
US20120328109A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
JP6013918B2 (ja) 空間音声再生
KR101387195B1 (ko) 오디오 신호의 공간 추출 시스템
JP5149968B2 (ja) スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法
US7983922B2 (en) Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
JP5001384B2 (ja) オーディオ信号の処理方法及び装置
JP5957446B2 (ja) 音響処理システム及び方法
JP4664431B2 (ja) アンビエンス信号を生成するための装置および方法
KR20070065401A (ko) 오디오 데이터를 처리하는 시스템 및 방법, 프로그램구성요소, 및 컴퓨터-판독가능 매체
EP2984857B1 (en) Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio
WO2015031505A1 (en) Hybrid waveform-coded and parametric-coded speech enhancement
US11386913B2 (en) Audio object classification based on location metadata
Uhle Center signal scaling using signal-to-downmix ratios
Ibrahim PRIMARY-AMBIENT SEPARATION OF AUDIO SIGNALS
JP2024509254A (ja) メディアタイプに基づく残響除去
RU2384973C1 (ru) Устройство и способ синтезирования трех выходных каналов, используя два входных канала
WO2019027812A1 (en) CLASSIFICATION OF AUDIO OBJECT BASED ON LOCATION METADATA
JP2006325179A (ja) 画像処理装置
KR20110102719A (ko) 오디오 업믹싱 장치 및 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140122

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160923

R150 Certificate of patent or registration of utility model

Ref document number: 6013918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees