JP2012502570A - マイクロホン信号に基づいて一組の空間手がかりを供給する装置、方法およびコンピュータ・プログラムと２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置 - Google Patents

Abstract

２チャンネルのマイクロホン信号に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための装置は、信号解析器と空間補助情報生成器を含む。信号解析器は、成分エネルギー情報が２チャンネルのマイクロホン信号の直接音成分の、そして、２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表すように、そして、方向情報が２チャンネルのマイクロホン信号の直接音成分が生じる方向の推定値を表すように、２チャンネルのマイクロホン信号に基づいて成分エネルギー情報および方向情報を得るように構成される。空間補助情報生成器は、成分エネルギー情報および方向情報を２本以上のチャンネルを有するアップミックスオーディオ信号と関連した空間手がかりの一組を表している空間手がかり情報に写像するように構成される。
【選択図】図１

Description

本発明による実施形態は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置に関する。本発明による別の実施形態は、対応する方法に、そして、対応するコンピュータ・プログラムに関する。本発明による別の実施形態は、処理された、または、未処理の２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置に関する。

本発明による他の実施形態は、空間オーディオ符号器のためのマイクロホンの前工程に関する。

以下に、オーディオ信号のパラメータ表示の分野へのイントロダクションが与えられる。

ステレオおよびサラウンドオーディオ信号のパラメータ表示は、ここ数十年にわたって開発されて、成熟した技術水準に達した。インテンシティステレオ（Ｉｎｔｅｎｓｉｔｙ ｓｔｅｒｅｏ）（Ｒ．ウォール、Ｒ．ヴェルトハイス、「ステレオ・デジタルオーディオ信号のサブバンド符号化」 ＩＥＥＥ会報 ＩＣＡＳＳＰ １９９１、ページ３６０１〜３６０４、１９９１）、（Ｊ．ヘール、Ｋ．ブランデンブルグ、Ｄ．レーデラー、「インテンシティステレオ符号化」、第９６回ＡＥＳコンベンション １９９４年２月、アムステルダム（プレプリント ３７９９）１９９４）は、ＭＰ３（ＩＳＯ／ＩＥＣ、最高約１．５Ｍｂｉｔ／ｓのデジタル蓄積メディアのための動画および関連オーディオの符号化 ―パート３：オーディオ ＩＳＯ／ＩＥＣ １１１７２―３ 国際規格、１９９３、ｊＴＣ１／ＳＣ２９／ＷＧ１１）、および、ＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ、動画および関連オーディオ情報のジェネリック符号化 ―パート７：音楽データの信号圧縮方式 ＩＳＯ／ＩＥＣ １３８１８―７ 国際規格、１９９７、ｊＴＣ１／ＳＣ２９／ＷＧ１１）、他のオーディオ符号器で用いられる。インテンシティステレオは、最初のパラメータステレオ符号化技術であり、ダウンミックスやレベル差情報によりステレオ信号を示している。バイノーラルキュー符号化（ＢＣＣ：Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）（Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、オーディオ及び音響への信号処理応用研究会、２００１年１０月、ページ１９９〜２０２）、（Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び用途」、音声及びオーディオ、ＩＥＥＥ通信 １１巻、Ｎｏ．６、ページ５２０〜５３１、２００３年１１月）は、オーディオ符号化のためというより、むしろパラメトリックステレオ／サラウンド符号化のために異なるフィルタバンクを使用することで、オーディオの品質の大幅な改善を可能にした（Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化がインテンシティステレオ符号化より良い理由」、オーディオ技術協会第１１２回総会配布冊子、２００２年５月）。すなわち、それは、従来のオーディオ符号器への前・後処理装置として見られる。更に、それは、レベル差だけというよりは、パラメータ化のための追加の空間手がかり（ｓｐａｔｉａｌ ｃｕｅｓ）、すなわち時間差やチャンネル間コヒーレンスを使用する。ＩＥＣ／ＩＳＯ ＭＰＥＧにて規格化されたパラメトリックステレオ（ＰＳ：Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ）（Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．パルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、オーディオ技術協会第１１７回総会配布冊子、２００４年５月）は、時間差とは対照的に位相差を用い、それは時間遅延合成よりも人為影響のない合成が得られる。叙述されたパラメトリックステレオ概念は、また、ＢＣＣによるサラウンドサウンドに適用された。ＭＰ３サラウンド（Ｊ．ヘーレ、Ｃ．ファーラー、Ｃ．エルテル、Ｊ．ヒルペルト、Ａ．ホエルツァーおよびＣ．スペンガー、「ＭＰ３ Ｓｕｒｒｏｕｎｄ：マルチチャンネル・オーディオの効率的かつ互換性を持つ符号化」、オーディオ技術協会第１１６回総会配布冊子、２００４年５月）、（Ｃ．ファーラー、「異なる再生フォーマットと互換性を持つ空間オーディオ符号化」、オーディオ技術協会第１１７回総会配布冊子、２００４年１０月）やＭＰＥＧサラウンド（Ｊ．ヘーレ、Ｋ．クジュルリング、Ｊ．ブリーバールト、Ｃ．ファーラー、Ｓ．ディッシュ、Ｈ．パルンハーゲン、Ｊ．コッペンス、Ｊ．ヒルペルト、Ｊ．レーデン、Ｗ．オーメン、Ｋ．リンツマイヤー、Ｋ．Ｓ．チョン、「ＭＰＥＧサラウンド ―効率的かつ互換性を持つマルチチャンネル・オーディオ符号化のためのｉｓｏ／ＭＰＥＧ基準」、オーディオ技術協会第１２２回総会配布冊子、２００７年５月）のオーディオ符号器は、ステレオ・ダウンミックスに基づいた空間合成を導入した。ＢＣＣやＭＰ３サラウンド、ＭＰＥＧサラウンドのようなパラメータ・マルチチャンネル・オーディオ符号器は、しばしば、空間オーディオ符号器（ＳＡＣ：Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｅｒ）と称される。

近年、注目すべき空間インパルス応答生成（ＳＩＲＲ：ｓｐａｔｉａｌ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｒｅｎｄｅｒｉｎｇ）（Ｊ．メリマー、Ｖ．プルキ、「空間インパルス応答の生成ｉ：分析と統合」、オーディオ技術協会誌、５３巻、Ｎｏ．１２、２００５）、（Ｖ．プルキ、Ｊ．メリマー、「空間インパルス応答の生成ｉｉ：拡散音の再生および試聴テスト」、オーディオ技術協会誌、５４巻、Ｎｏ．１、２００６）という技術が提案され、それは、Ｂ-フォーマット信号から得られた空間情報を加えた単一のオーディオチャンネル（Ｂ‐フォーマットのＷシグナル（Ｍ．Ａ．ガーゾン、「Ｐｅｒｉｐｈｏｎｙ（取り囲み音響）：幅―高さサウンド再生」オーディオ技術協会誌、２１巻、Ｎｏ．１、ページ２〜１０、１９７３）、（Ｋ．ファーラー、「サウンドフィールドマイクロホン」、ワイヤレスワールド、ページ４８〜５０、１９７９年１０月）に基づいて（マイクロホンの位置に対する）いかなる方向のインパルス応答も合成する。この技術は、また、後にインパルス応答とは対照的にオーディオ信号にも適用され、方向オーディオ符号化（ＤｉｒＡＣ：ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）（Ｖ．プルキ、Ｃ．ファーラー、「方向オーディオ符号化：フィルタバンクおよびＳＴＦＴベースの設計」、オーディオ技術協会第１２０回総会配布冊子、２００６年５月、プレプリント６６５８）と呼ばれた。方向オーディオ符号化は、直接マイクロホン信号に応用できるＳＡＣとしてみなすことができる。様々なマイクロホン構造が、方向オーディオ符号化を用いた使用のために提案されている（Ｊ．アホネン、Ｇ．Ｄ．ガルド、Ｍ．カリンガー、Ｆ．キュッヒ、Ｖ．プルキ、Ｒ．シュルツ―アムリング、「方向オーディオ符号化のアプリケーションのための平面マイクロホンアレイの分析および調整」、オーディオ技術協会第１２４回総会配布冊子、２００８年５月）、（Ｊ．アホネン、Ｍ．カリンガー、Ｆ．キュッヒ、Ｖ．プルキ、Ｒ．シュルツ―アムリング、「線形マイクロホン配列を有する音場および音再生のアプリケーションの方向性の分析」、オーディオ技術協会第１２４回総会配布冊子、２００８年５月）。方向オーディオ符号化は、いつもＢ-フォーマット信号に基づいており、様々なマイクロホン構造の信号は、Ｂ-フォーマットを得るために処理され、それは、そのとき方向オーディオ符号化の方向解析において使用される。

Ｒ．ウォール、Ｒ．ヴェルトハイス、「ステレオ・デジタルオーディオ信号のサブバンド符号化」 ＩＥＥＥ会報 ＩＣＡＳＳＰ １９９１、ページ３６０１〜３６０４、１９９１（Ｒ． Ｗａａｌ ａｎｄ Ｒ． Ｖｅｌｄｈｕｉｓ， "Ｓｕｂｂａｎｄ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏｐｈｏｎｉｃ ｄｉｇｉｔａｌ ａｕｄｉｏ ｓｉｇｎａｌｓ，" Ｐｒｏｃ． ＩＥＥＥ ＩＣＡＳＳＰ １９９１， ｐｐ． ３６０１−３６０４， １９９１．） Ｊ．ヘール、Ｋ．ブランデンブルグ、Ｄ．レーデラー、「インテンシティステレオ符号化」、第９６回ＡＥＳコンベンション １９９４年２月、アムステルダム（プレプリント ３７９９）１９９４（Ｊ． Ｈｅｒｒｅ， Ｋ． Ｂｒａｎｄｅｎｂｕｒｇ， ａｎｄ Ｄ． Ｌｅｄｅｒｅｒ， "Ｉｎｔｅｎｓｉｔｙ ｓｔｅｒｅｏ ｃｏｄｉｎｇ，" ９６ｔｈ ＡＥＳ Ｃｏｎｖ．， Ｆｅｂ． １９９４， Ａｍｓｔｅｒｄａｍ （ｐｒｅｐｒｉｎｔ ３７９９）， １９９４．） ＩＳＯ／ＩＥＣ、最高約１．５Ｍｂｉｔ／ｓのデジタル蓄積メディアのための動画および関連オーディオの符号化 ―パート３：オーディオ ＩＳＯ／ＩＥＣ １１１７２―３ 国際規格、１９９３、ｊＴＣ１／ＳＣ２９／ＷＧ１１（ＩＳＯ／ＩＥＣ， Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅ ｍｅｄｉａ ａｔ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔ／ｓ − Ｐａｒｔ ３： Ａｕｄｉｏ．ＩＳＯ／ＩＥＣ １１１７２−３ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ， １９９３， ｊＴＣ１／ＳＣ２９／ＷＧ１１．） ＩＳＯ／ＩＥＣ、動画および関連オーディオ情報のジェネリック符号化 ―パート７：音楽データの信号圧縮方式 ＩＳＯ／ＩＥＣ １３８１８―７ 国際規格、１９９７、ｊＴＣ１／ＳＣ２９／ＷＧ１１（ＩＳＯ／ＩＥＣ， Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ − Ｐａｒｔ ７： Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ．ＩＳＯ／ＩＥＣ １３８１８−７ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ， １９９７， ｊＴＣ１／ＳＣ２９／ＷＧ１１．） Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、オーディオ及び音響への信号処理応用研究会、２００１年１０月、ページ１９９〜２０２（Ｃ． Ｆａｌｌｅｒ ａｎｄ Ｆ． Ｂａｕｍｇａｒｔｅ， "Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒａｍｅｔｒｉｚａｔｉｏｎ，" ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌ． Ｏｆ Ｓｉｇ．Ｐｒｏｃ． ｔｏ Ａｕｄｉｏ ａｎｄ Ａｃｏｕｓｔ．， Ｏｃｔ． ２００１， ｐｐ． １９９−２０２．） Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び用途」、音声及びオーディオ、ＩＥＥＥ通信 １１巻、Ｎｏ．６、ページ５２０〜５３１、２００３年１１月（Ｃ． Ｆａｌｌｅｒ ａｎｄ Ｆ． Ｂａｕｍｇａｒｔｅ， "Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，"ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．， ｖｏｌ． １１， ｎｏ． ６， ｐｐ． ５２０−５３１， Ｎｏｖ． ２００３．） Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化がインテンシティステレオ符号化より良い理由」、オーディオ技術協会第１１２回総会配布冊子、２００２年５月（Ｆ． Ｂａｕｍｇａｒｔｅ ａｎｄ Ｃ． Ｆａｌｌｅｒ， "Ｗｈｙ Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ ｉｓ ｂｅｔｔｅｒ ｔｈａｎ Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ，" ｉｎ Ｐｒｅｐｒｉｎｔ １１２ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００２） Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．パルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、オーディオ技術協会第１１７回総会配布冊子、２００４年５月（Ｅ． Ｓｃｈｕｉｊｅｒｓ， Ｊ． Ｂｒｅｅｂａａｒｔ， Ｈ． Ｐｕｒｎｈａｇｅｎ， ａｎｄ Ｊ． Ｅｎｇｄｅｇａｒｄ， "Ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ ｐａｒａｍｅｔｒｉｃ ｓｔｅｒｅｏ ｃｏｄｉｎｇ，" ｉｎ Ｐｒｅｐｒｉｎｔ １１７ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００４．） Ｊ．ヘーレ、Ｃ．ファーラー、Ｃ．エルテル、Ｊ．ヒルペルト、Ａ．ホエルツァーおよびＣ．スペンガー、「ＭＰ３ Ｓｕｒｒｏｕｎｄ：マルチチャンネル・オーディオの効率的かつ互換性を持つ符号化」、オーディオ技術協会第１１６回総会配布冊子、２００４年５月（Ｊ． Ｈｅｒｒｅ， Ｃ． Ｆａｌｌｅｒ， Ｃ． Ｅｒｔｅｌ， Ｊ． Ｈｉｌｐｅｒｔ， Ａ． Ｈｏｅｌｚｅｒ， ａｎｄ Ｃ． Ｓｐｅｎｇｅｒ， "ＭＰ３ Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ ａｎｄ ｃｏｍｐａｔｉｂｌｅ ｃｏｄｉｎｇ ｏｆ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ，" ｉｎ Ｐｒｅｐｒｉｎｔ １１６ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００４．） Ｃ．ファーラー、「異なる再生フォーマットと互換性を持つ空間オーディオ符号化」、オーディオ技術協会第１１７回総会配布冊子、２００４年１０月（Ｃ． Ｆａｌｌｅｒ， "Ｃｏｄｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｌａｙｂａｃｋ ｆｏｒｍａｔｓ，" ｉｎ Ｐｒｅｐｒｉｎｔ １１７ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｏｃｔｏｂｅｒ ２００４．） Ｊ．ヘーレ、Ｋ．クジュルリング、Ｊ．ブリーバールト、Ｃ．ファーラー、Ｓ．ディッシュ、Ｈ．パルンハーゲン、Ｊ．コッペンス、Ｊ．ヒルペルト、Ｊ．レーデン、Ｗ．オーメン、Ｋ．リンツマイヤー、Ｋ．Ｓ．チョン、「ＭＰＥＧサラウンド ―効率的かつ互換性を持つマルチチャンネル・オーディオ符号化のためのｉｓｏ／ＭＰＥＧ基準」、オーディオ技術協会第１２２回総会配布冊子、２００７年５月（Ｊ． Ｈｅｒｒｅ， Ｋ．Ｋｊｏｅｒｌｉｎｇ， Ｊ． Ｂｒｅｅｂａａｒｔ， Ｃ． Ｆａｌｌｅｒ， Ｓ． Ｄｉｓｃｈ， Ｈ． Ｐｕｒｎｈａｇｅｎ， Ｊ． Ｋｏｐｐｅｎｓ， Ｊ． Ｈｉｌｐｅｒｔ， Ｊ．Ｒｏｅｄｅｎ， Ｗ． Ｏｏｍｅｎ， Ｋ． Ｌｉｎｚｍｅｉｅｒ， ａｎｄ Ｋ． Ｓ． Ｃｈｏｎｇ， "Ｍｐｅｇ ｓｕｒｒｏｕｎｄ − ｔｈｅ ｉｓｏ／ｍｐｅｇ ｓｔａｎｄａｒｄ ｆｏｒ ｅｆｆｉｃｉｅｎｔ ａｎｄ ｃｏｍｐａｔｉｂｌｅ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｄｉｎｇ，" ｉｎ Ｐｒｅｐｒｉｎｔ １２２ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００７．） Ｊ．メリマー、Ｖ．プルキ、「空間インパルス応答の生成ｉ：分析と統合」、オーディオ技術協会誌、５３巻、Ｎｏ．１２、２００５（Ｊ． Ｍｅｒｉｍａａ ａｎｄ Ｖ． Ｐｕｌｋｋｉ， "Ｓｐａｔｉａｌ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｒｅｎｄｅｒｉｎｇ ｉ：Ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ，" Ｊ． Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ５３， ｎｏ． １２， ２００５．） Ｖ．プルキ、Ｊ．メリマー、「空間インパルス応答の生成ｉｉ：拡散音の再生および試聴テスト」、オーディオ技術協会誌、５４巻、Ｎｏ．１、２００６（Ｖ． Ｐｕｌｋｋｉ ａｎｄ Ｊ． Ｍｅｒｉｍａａ， "Ｓｐａｔｉａｌ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｒｅｎｄｅｒｉｎｇ ｉｉ：Ｒｅｐｒｏｄｕｃｔｉｏｎ ｏｆ ｄｉｆｆｕｓｅ ｓｏｕｎｄ ａｎｄ ｌｉｓｔｅｎｉｎｇ ｔｅｓｔｓ，" Ｊ． Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ５４， ｎｏ． １， ２００６．） Ｍ．Ａ．ガーゾン、「Ｐｅｒｉｐｈｏｎｙ（取り囲み音響）：幅―高さサウンド再生」オーディオ技術協会誌、２１巻、Ｎｏ．１、ページ２〜１０、１９７３（Ｍ． Ａ． Ｇｅｒｚｏｎ， "Ｐｅｒｉｐｈｏｎｙ：Ｗｉｄｔｈ−Ｈｅｉｇｈｔ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ，" Ｊ． Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ２１， ｎｏ． １， ｐｐ． ２−１０， １９７３．） Ｋ．ファーラー、「音場マイクロホン」、ワイヤレスワールド、ページ４８〜５０、１９７９年１０月（Ｋ． Ｆａｒｒａｒ， "Ｓｏｕｎｄｆｉｅｌｄ ｍｉｃｒｏｐｈｏｎｅ，" Ｗｉｒｅｌｅｓｓ Ｗｏｒｌｄ， ｐｐ． ４８−５０， Ｏｃｔ． １９７９．） Ｖ．プルキ、Ｃ．ファーラー、「方向性オーディオ符号化：フィルタバンクおよびＳＴＦＴベースの設計」、オーディオ技術協会第１２０回総会配布冊子、２００６年５月、プレプリント６６５８（Ｖ． Ｐｕｌｋｋｉ ａｎｄ Ｃ． Ｆａｌｌｅｒ， "Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ：Ｆｉｌｔｅｒｂａｎｋ ａｎｄ ＳＴＦＴｂａｓｅｄ ｄｅｓｉｇｎ，" ｉｎ Ｐｒｅｐｒｉｎｔ １２０ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００６， ｐ． ｐｒｅｐｒｉｎｔ ６６５８．） Ｊ．アホネン、Ｇ．Ｄ．ガルド、Ｍ．カリンガー、Ｆ．キュッヒ、Ｖ．プルキ、Ｒ．シュルツ―アムリング、「方向オーディオ符号化のアプリケーションのための平面マイクロホン配列の分析および調整」、オーディオ技術協会第１２４回総会配布冊子、２００８年５月（Ｊ． Ａｈｏｎｅｎ， Ｇ． Ｄ． Ｇａｌｄｏ， Ｍ． Ｋａｌｌｉｎｇｅｒ， Ｆ．Ｋｕｅｃｈ， Ｖ． Ｐｕｌｋｋｉ， ａｎｄ Ｒ． Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ， "Ａｎａｌｙｓｉｓ ａｎｄ ａｄｊｕｓｔｍｅｎｔ ｏｆ ｐｌａｎａｒ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙｓ ｆｏｒ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ，" ｉｎ Ｐｒｅｐｒｉｎｔ １２４ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ． ２００８．） Ｊ．アホネン、Ｍ．カリンガー、Ｆ．キュッヒ、Ｖ．プルキ、Ｒ．シュルツ―アムリング、「線形マイクロホン配列を有する音場および音再生のアプリケーションの方向性の分析」、オーディオ技術協会第１２４回総会配布冊子、２００８年５月（Ｊ． Ａｈｏｎｅｎ， Ｍ． Ｋａｌｌｉｎｇｅｒ， Ｆ．Ｋｕｅｃｈ， Ｖ． Ｐｕｌｋｋｉ， ａｎｄ Ｒ． Ｓｃｈｕｌｔｚ−Ａｍｌｉｎｇ， "Ｄｉｒｅｃｔｉｏｎａｌ ａｎａｌｙｓｉｓ ｏｆ ｓｏｕｎｄ ｆｉｅｌｄ ｗｉｔｈ ｌｉｎｅａｒ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ，" ｉｎ Ｐｒｅｐｒｉｎｔ １２４ｔｈ Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ． Ｓｏｃ．， Ｍａｙ． ２００８．）． Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、ＵＳＡ：Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９７（Ｊ． Ｂｌａｕｅｒｔ， Ｓｐａｔｉａｌ Ｈｅａｒｉｎｇ： Ｔｈｅ Ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ， ｒｅｖｉｓｅｄ ｅｄ． Ｃａｍｂｒｉｄｇｅ， Ｍａｓｓａｃｈｕｓｅｔｔｓ， ＵＳＡ： Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ， １９９７） Ｊ．Ｍ．アーグル、「マルチチャンネルステレオマトリクスシステム：概要」、音声及びオーディオ ＩＥＥＥ通信、１９巻、Ｎｏ．７、ページ５５２〜５５９、１９７１年７月（Ｊ． Ｍ． Ｅａｒｇｌｅ， "Ｍｕｌｔｉｃｈａｎｎｅｌ ｓｔｅｒｅｏ ｍａｔｒｉｘ ｓｙｓｔｅｍｓ： Ａｎ ｏｖｅｒｖｉｅｗ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．， ｖｏｌ． １９， ｎｏ． ７， ｐｐ． ５５２−５５９， Ｊｕｌｙ １９７１．） Ｋ．ガンドレー、「サラウンドサウンドのための新規なアクティブマトリクス復号器」、ＡＥＳ会報第１９回、国際会議、２００１年６月（Ｋ． Ｇｕｎｄｒｙ， "Ａ ｎｅｗ ａｃｔｉｖｅ ｍａｔｒｉｘ ｄｅｃｏｄｅｒ ｆｏｒ ｓｕｒｒｏｕｎｄ ｓｏｕｎｄ，" ｉｎ Ｐｒｏｃ． ＡＥＳ １９ｔｈ Ｉｎｔ． Ｃｏｎｆ．， Ｊｕｎｅ ２００１．） Ｃ．ファーラー、「改良されたマトリクスサラウンド」、オーディオ技術協会第３０回国際会議配布冊子、２００７年３月（Ｃ． Ｆａｌｌｅｒ， "Ｍａｔｒｉｘ ｓｕｒｒｏｕｎｄ ｒｅｖｉｓｉｔｅｄ，" ｉｎ Ｐｒｏｃ． ３０ｔｈ Ｉｎｔ． Ｃｏｎｖ． Ａｕｄ． Ｅｎｇ． Ｓｏｃ．， Ｍａｒｃｈ ２００７．） Ｃ．ファーラー、「ステレオ信号のマルチスピーカ再生」、オーディオ技術協会誌、５４巻、Ｎｏ．１、ページ１０５１〜１０６４、２００６年１１月（Ｃ． Ｆａｌｌｅｒ，"Ｍｕｌｔｉ−ｌｏｕｄｓｐｅａｋｅｒ ｐｌａｙｂａｃｋ ｏｆ ｓｔｅｒｅｏ ｓｉｇｎａｌｓ，" Ｊ． ｏｆ ｔｈｅ Ａｕｄ． Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ５４， ｎｏ． １１， ｐｐ． １０５１−１０６４， Ｎｏｖ． ２００６．） Ｃ．ファーラー、「高指向式２カプセルベースのマイクロホンシステム」、オーディオ技術協会第１２３回総会配布冊子、２００７年１０月（Ｃ． Ｆａｌｌｅｒ，"Ａ ｈｉｇｈｌｙ ｄｉｒｅｃｔｉｖｅ ２−ｃａｐｓｕｌｅ ｂａｓｅｄ ｍｉｃｒｏｐｈｏｎｅ ｓｙｓｔｅｍ，" ｉｎ Ｐｒｅｐｒｉｎｔ １２３ｒｄ Ｃｏｎｖ． Ａｕｄ． Ｅｎｇ． Ｓｏｃ．， Ｏｃｔ． ２００７．） ＩＴＵ（ｒｅｃ．ＩＴＵ―Ｒ ＢＳ．７７５、画像添付あり又はなしのマルチチャンネルステレオサウンドシステム、ＩＴＵ（１９９３）、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｏｒｇ．)ＩＴＵ （Ｒｅｃ． ＩＴＵ−Ｒ ＢＳ．７７５， Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ Ｓｔｅｒｅｏｐｈｏｎｉｃ Ｓｏｕｎｄ Ｓｙｓｔｅｍ ｗｉｔｈ ｏｒ ｗｉｔｈｏｕｔ Ａｃｃｏｍｐａｎｙｉｎｇ Ｐｉｃｔｕｒｅ． ＩＴＵ， １９９３， ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｏｒｇ．） Ｓ．ヘイキン、適応フィルタ理論（第三版）、プレンティス・ホール、１９９６（Ｓ． Ｈａｙｋｉｎ， Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒ Ｔｈｅｏｒｙ （ｔｈｉｒｄ ｅｄｉｔｉｏｎ）． Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９６．） Ｖ．プルキ、「ベクトルベースの振幅パンニングを用いた仮想音源位置決め」、オーディオ技術協会誌、４５巻、ページ４５６〜４６６、１９９７年６月（Ｖ． Ｐｕｌｋｋｉ， "Ｖｉｒｔｕａｌ ｓｏｕｎｄ ｓｏｕｒｃｅ ｐｏｓｉｔｉｏｎｉｎｇ ｕｓｉｎｇ Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ，" Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ．， ｖｏｌ． ４５， ｐｐ． ４５６−４６６， Ｊｕｎｅ １９９７．） Ｄ．グリージンガー、「実施におけるステレオおよびサラウンドパンニング」、オーディオ技術協会第１１２回総会配布冊子、２００２年５月（Ｄ． Ｇｒｉｅｓｉｎｇｅｒ， "Ｓｔｅｒｅｏ ａｎｄ ｓｕｒｒｏｕｎｄ ｐａｎｎｉｎｇ ｉｎ ｐｒａｃｔｉｃｅ，" ｉｎ Ｐｒｅｐｒｉｎｔ １１２ｔｈ Ｃｏｎｖ． Ａｕｄ． Ｅｎｇ． Ｓｏｃ．， Ｍａｙ ２００２．）

上記を考慮して、空間手がかり情報を得るための計算処理上効率的な構想を生み出し、その一方で、音響変換のための労力を合理的に小さく保つことが本発明の目的である。

この問題は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための請求項１に記載の装置、２チャンネルのオーディオ信号と２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための請求項１０に記載の装置、２チャンネルのマイクロホン信号に基づいて処理された２チャンネルのオーディオ信号と２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための請求項１１に記載の装置、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための請求項１２に記載の方法および請求項１３に記載のコンピュータ・プログラムによって解決される。

本発明による実施形態は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置を製作する。その装置は、成分エネルギー情報が２チャンネルのマイクロホン信号の直接音成分の、そして、２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表すように、そして、方向情報が２チャンネルのマイクロホン信号の直接音成分が生じる方向の推定値を表すように、２チャンネルのマイクロホン信号に基づいて、成分エネルギー情報と方向情報を得るように構成された信号解析器を含む。その装置は、また、２チャンネルのマイクロホン信号の成分エネルギー情報と２チャンネルのマイクロホン信号の方向情報を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを表す空間手がかり情報に写像するように構成された空間補助情報生成器を含む。

この実施形態は、直接音成分と拡散音成分のエネルギーおよび方向情報の推定値が２チャンネルの信号から取り出され、空間手がかりに写像される場合、アップミックスオーディオ信号の空間手がかりが特に効率的な方法で算出できるという発見に基づく。というのは、成分エネルギー情報および方向情報は、一般的に２本のチャンネルだけを有するオーディオ信号から適度な計算量によって取り出すことができるが、それでいて、２本以上のチャンネルを有するアップミックス信号と関連した空間手がかりの計算のための非常に良い基準を構成することができるからである。換言すれば、成分エネルギー情報および方向情報が２チャンネル信号に基づく場合であっても、この情報は中間の量として実際にアップミックスオーディオチャンネルを使用することなく、空間手がかりの直接の計算にかなり適している。

好ましい実施形態において、空間補助情報生成器は、方向情報を、方向に依存している直接音からサラウンドオーディオチャンネルへの写像を表している一組の利得係数に写像するように構成される。加えて、空間補助情報生成器は、成分エネルギー情報および利得係数に基づいて、２本以上のサラウンドチャンネルの推定された強度を表しているチャンネル強度推定値を得るように構成される。この場合、空間補助情報生成器は、チャンネル強度推定値に基づいてアップミックスオーディオ信号と関連した空間手がかりを決定するように好ましくは構成される。この実施形態は、アップミックスオーディオ信号を表していて、空間手がかり情報の計算のための基礎を形成している、意味があるチャンネル推定値を得ることが可能であるように、２チャンネルのマイクロホン信号が、方向情報を、方向に依存している方向音からサラウンドオーディオチャンネルへの写像を表している一組の利得係数に、良い結果を有して写像できる方向情報の取り出しを可能にするという発見に基づく。

好ましい実施形態において、空間補助情報生成器は、成分エネルギー情報および利得係数に基づいて、アップミックス信号の異なるチャンネル間の相関を表しているチャンネル相関情報を得るようにも構成される。この実施形態において、空間補助情報生成器は、一つ以上のチャンネル強度推定およびチャンネル相関情報に基づいてアップミックス信号と関連した空間手がかりを決定するように好ましくは構成される。チャンネル相関情報が（アップミックス信号のチャンネルに拡散音の分布を反映しているいくつかの定数を除いて）いかなる別の変数も使用せずに好ましくは計算できるように成分エネルギー情報および利得係数が、チャンネル相関情報の計算に充分である情報を構成することが分かった。更に、チャンネル強度推定値とチャンネル相関情報が知られるとすぐに、アップミックス信号の相互チャンネルの相関を表している空間手がかりを決定することが容易に可能であることが認められた。

他の好ましい実施形態において、空間補助情報生成器は、チャンネルの強度推定を得るために、２チャンネルのマイクロホン信号の直接音成分の強度の推定値および２チャンネルのマイクロホン信号の拡散音成分の強度の推定値を線形に結合するように構成される。この実施形態において、空間補助情報生成器は、利得係数に依存して、そして、方向情報に依存して、直接音成分の強度の推定に重みを加えるように好ましくは構成される。選択的に、空間補助情報生成器は、アップミックスオーディオ信号の異なるチャンネルに拡散音成分の分布を反映している一定値に依存して拡散音成分の強度推定値に重みを加えるように更に構成されることが可能である。成分エネルギー情報から、非常に単純な数学的演算、すなわち、線形結合によってチャンネル強度推定値を引き出すことが可能であることが認められた。ここで、効率的に２チャンネルのマイクロホン信号から引き出すことが可能である利得係数は、適当な重み係数を構成する。

本発明による他の実施形態は、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置を製作する。その装置は、第１の指向性マイクロホンおよび第２の指向性マイクロホンを含んでいるマイクロホン装置を含む。そこにおいて、第１の指向性マイクロホンおよび第２の指向性マイクロホンは好ましくはわずか３０センチメートル（またはたったの５センチメートル）の間隔をあけ、そして、第２の指向性マイクロホンの方向性の特性が第１の指向性マイクロホンの方向特性の回転したバージョンであるように、第１の指向性マイクロホンおよび第２の指向性マイクロホンは方向を定められる。２チャンネルのオーディオ信号を供給するためのその装置は、また、上記のように、２チャンネルのマイクロホン信号に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置を含む。アップミックスオーディオ信号と関連した一組の空間手がかりを供給するためのその装置は、２チャンネルのマイクロホン信号として第１および第２の指向性マイクロホンのマイクロホン信号を受けて、それに基づいて空間手がかりの一組を供給するように好ましくは構成される。２チャンネルのオーディオ信号を供給するためのその装置は、第１および第２の指向性マイクロホンのマイクロホン信号、あるいは、その処理されたバージョンを２チャンネルのオーディオ信号として、供給するように構成される２チャンネルのオーディオ信号プロバイダも含む。本発明によれば、この実施形態は、マイクロホンの方向特性が互いに対して回転されたものである場合、小距離を有するマイクロホンが適当な空間手がかり情報を供給するために使用できるという発見に基づく。このように、比較的小さい物理的な配置に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した、意味がある空間手がかりを計算することが可能であることが認められた。特に、２チャンネルのマイクロホン信号を供給している２つのマイクロホンが比較的小さい距離間隔（例えば、３０センチメートルを上回っていない間隔）で配置されて、結果的に非常に似た拡散音情報を含む場合、空間手がかり情報の効率的な計算を可能にする成分エネルギー情報および方向情報は低い労力で引き出すことができることが分かった。更に、異なる方向特性は直接音および拡散音との間の分離を可能にするので、互いに対して回転された方向特性を有する指向性マイクロホンの使用法が成分エネルギー情報および方向情報の計算を可能にすることが分かった。

本発明による他の実施形態は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックス信号と関連した、処理された２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置を作製する。その処理された２チャンネルのオーディオ信号を供給するための装置は、２チャンネルのマイクロホン信号に基づいて、上記のように２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置を含む。処理された２チャンネル信号および一組の空間手がかりを供給するための装置は、２チャンネルのマイクロホン信号に基づいて処理された２チャンネルのオーディオ信号を供給するように構成された２チャンネルのオーディオ信号プロバイダを含む。２チャンネルのオーディオ信号プロバイダは、処理された２チャンネルのオーディオ信号のうちの第１の処理されたオーディオ信号を得るために、１つ以上の第１のマイクロホン信号のスケーリングファクタを使用して、２チャンネルのマイクロホン信号の第１のオーディオ信号をスケールするように好ましくは構成される。２チャンネルのオーディオ信号プロバイダは、また、処理された２チャンネルのオーディオ信号のうちの第２の処理されたオーディオ信号を得るために、１つ以上の第２のマイクロホン信号のスケーリングファクタを使用して、２チャンネルのマイクロホン信号の第２のオーディオ信号をスケールするようにも好ましくは構成される。２チャンネルのオーディオ信号プロバイダは、一組の空間手がかりを供給するための装置の信号解析器によって供給された成分エネルギー情報に基づいて、１つ以上の第１のマイクロホン信号のスケーリングファクタおよび１つ以上の第２のマイクロホン信号のスケーリングファクタを割り出すように好ましくは構成される。結果として、空間手がかりおよびマイクロホン信号のスケーリングファクタの両方が成分エネルギー情報によって決定される。この実施形態は、一組空間手がかりの計算のための、そして、マイクロホン信号の適当なスケーリングのための信号解析器によって供給される成分エネルギー情報を使用することが効率的であるという考えに基づく。ここにおいて、マイクロホン信号を適当にスケールすることは、結果として、マイクロホン信号および空間手がかりの適合をもたらす。その結果、処理されたマイクロホン信号および空間手がかりを含んでいる複合情報は、所望の空間オーディオ符号化の工業規格（例えばＭＰＥＧサラウンド）に適合し、それによって、従来の空間オーディオ符号化復号器（例えば従来のＭＰＥＧサラウンド復号器）上のオーディオ内容を再生するという可能性を供給する。

本発明の他の実施形態は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する方法を創作する。

本発明によるさらに他の実施形態は、方法を実行するためのコンピュータ・プログラムを創作する。

本発明による実施形態は、同封された図を参照にして、続いて説明される。

図１は、本発明の一実施形態に従った、２チャンネルのマイクロホン信号に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための装置のブロック略図を示す。 図２は、本発明の他の実施例に従った、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための装置のブロック略図を示す。 図３は、本発明の他の実施形態に従った、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための装置のブロック略図を示す。 図４は、本発明の実施例において使用できる２つの双指向性マイクロホンの方向応答性のグラフ表示を示す。 図５ａは、双指向性ステレオマイクロホンのための音響の到達の方向の関数として、左右間の振幅比のグラフ表示を示す。 図５ｂは、双指向性ステレオマイクロホンのための音響の到達の方向の関数として、全出力のグラフ表示を示す。 図６は、本発明のいくつかの実施形態において使用できる２つのカージオイドのマイクロホンの方向応答性のグラフ表示を示す。 図７ａは、カージオイドのステレオマイクロホンのための音響の到達の方向の関数として、左右間の振幅比のグラフ表示を示す。 図７ｂは、カージオイドのステレオマイクロホンのための音響の到達の方向の関数として、全出力の図示を示す。 図８は、本発明のいくつかの実施形態において使用できる２つのスーパーカージオイドのマイクロホンの方向応答性のグラフ表示を示す。 図９ａは、スーパーカージオイドのステレオマイクロホンのための音響の到達の方向の関数として、左右間の振幅比のグラフ表示を示す。 図９ｂは、スーパーカージオイドのステレオマイクロホンのための音響の到達の方向の関数として、全出力のグラフ表示を示す。 図１０ａは、カージオイドのステレオマイクロホンのための音響の到達の方向の関数として、利得修正のグラフ表示を示す。 図１０ｂは、カージオイドのステレオマイクロホンのための音響の到達の方向の関数として、全出力（実線：利得修正なし、破線：利得修正あり）のグラフ表示を示す。 図１１ａは、スーパーカージオイドのステレオマイクロホンのための音響の到達の方向の関数として、利得修正のグラフ表示を示す。 図１１ｂは、スーパーカージオイドのステレオマイクロホンのための音響の到達の方向の関数として、全出力（実線：利得修正なし、破線：利得修正あり）のグラフ表示を示す。 図１２は、本発明の他の実施形態に従った、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置のブロック略図を示す。 図１３は、ステレオマイクロホン信号をＳＡＣ互換のダウンミックスおよび補助情報に変換する符号器と対応する（従来の）ＳＡＣ復号器のブロック略図を示す。 図１４は、ステレオマイクロホン信号をＳＡＣ互換の空間補助情報に変換する符号器のブロック略図を示し、また、ダウンミックス処理を有する対応するＳＡＣ復号器のブロック略図を示す。 図１５は、ＳＡＣダウンミックスおよびＳＡＣ空間補助情報がステレオマイクロホン信号の解析処理によって得られることを特徴とする、ステレオマイクロホン信号を直接供給することができるブラインドＳＡＣ復号器のブロック略図を示す。 図１６は、本発明の一実施形態に従った一組の空間手がかりを供給する方法のフローチャートを示す。

図１は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりに供給する装置１００のブロック略図を示す。装置１００は２チャンネルのマイクロホン信号を受けるように構成される。そして、それは、例えば、第１のチャンネル信号１１０（また、ｘ₁によって指定される）および第２のチャンネル信号１１２（また、ｘ₂によって指定される）を含みうる。装置１００は、空間手がかり情報１２０を供給するように更に構成される。

装置１００は、第１のチャンネル信号１１０および第２のチャンネル信号１１２を受けるように構成された信号解析器１３０を含む。信号解析器１３０は、２チャンネルのマイクロホン信号に基づいて、すなわち、第１のチャンネル信号１１０および第２のチャンネル信号１１２に基づいて、成分エネルギー情報１３２および方向情報１３４を得るように構成される。好ましくは、信号解析器１３０は、成分エネルギー情報１３２が２チャンネルのマイクロホン信号の直接音成分の、そして、２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表すように、そして、方向情報１３４が２チャンネルのマイクロホン信号１１０、１１２の直接音成分が生じる方向の推定値を表すように、成分エネルギー情報１３２および方向情報１３４を得るように構成される。

装置１００は、また、成分エネルギー情報１３２および方向情報１３４を受けるように、そして、それらに基づいて空間手がかり情報１２０を供給するように構成された空間補助情報生成器１４０を含む。好ましくは、空間補助情報生成器１４０は、２チャンネルのマイクロホン信号１１０、１１２の成分エネルギー情報１３２および２チャンネルのマイクロホン信号１１０、１１２の方向情報１３４を空間手がかり情報１２０に写像するように構成される。したがって、空間手がかり情報１２０が２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを表すように、空間補助情報１２０は得られる。

このように、装置１２０は、２チャンネルのマイクロホン信号に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した空間手がかり情報の計算処理上非常に効率的な計算を可能にする。信号解析器１３０は、２チャンネルのマイクロホン信号から、大量の情報、すなわち、直接音成分のエネルギーの推定値および拡散音成分のエネルギーの推定値を表している成分エネルギー情報と２チャンネルのマイクロホン信号の直接音成分が生じる方向の推定値を表している方向情報を得ることができる。２チャンネルのマイクロホン信号１１０、１１２に基づいて信号解析器によって得ることができるこの情報は、２本以上のチャンネルを有するアップミックスオーディオ信号に関してさえ空間手がかり情報を引き出すのに十分であることが分かった。重要なことに、成分エネルギー１３２および方向情報１３４が、中間量として実際にアップミックスオーディオチャンネルを使用することなしで、空間手がかり情報１２０を直接決定するのに十分であることが分かった。

以下に、装置１００のいくつかの拡張が、図２および３を参照として説明される。

図２は、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した２チャンネルのオーディオ信号および一組の空間手がかりを供給する装置２００のブロック略図を示す。装置２００は、第１のチャンネル信号２１２および第２のチャンネル信号２１４を含んでいる２チャンネルのマイクロホン信号を供給するように構成されたマイクロホン装置２１０を含む。図１に関して説明されたように、装置２００は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置１００を更に含む。装置１００は、その入力信号として、マイクロホン装置２１０によって供給される第１のチャンネル信号２１２および第２のチャンネル信号２１４を受けるように構成される。装置１００は、空間手がかり情報１２０と同一でもありうる空間手がかり情報２２０を供給するように更に構成される。装置２００は、マイクロホン装置２１０によって供給された第１のチャンネル信号２１２および第２のチャンネル信号２１４を受けるように、そして、第１のチャンネルのマイクロホン信号２１２および第２のチャンネルのマイクロホン信号２１４またはその処理されたバージョンを２チャンネルオーディオ信号２３２として供給するように構成された、２チャンネルオーディオ信号プロバイダ２３０を更に含む。

マイクロホンアレイ２１０は、第１の指向性マイクロホン２１６と第２の指向性マイクロホン２１８を含む。第１の指向性マイクロホン２１６および第２の指向性マイクロホン２１８は、好ましくはわずか３０センチメートルの間隔で置かれる。したがって、第１の指向性マイクロホン２１６および第２の指向性マイクロホン２１８によって受ける信号は、強く相関しており、そのことが信号解析器１３０によって成分エネルギー情報および方向情報の計算のために有益であると分かった。しかし、第２の指向性マイクロホン２１８の方向特性２１９が第１の指向性マイクロホン２１６の方向特性２１７の回転されたバージョンであるように、第１の指向性マイクロホン２１６および第２の指向性マイクロホン２１８は方向を合わせられる。したがって、第１のチャンネルのマイクロホン信号２１２および第２のチャンネルのマイクロホン信号２１４は、（マイクロホン２１６、２１８の空間的近接のため）強く相関しているが、（指向性マイクロホン２１６、２１８の異なる方向特性２１７、２１９のため）異なったものである。特に、ほぼ一定方向からのマイクロホン装置２１０への指向性の信号の入射によって、時間的に一定の方向に依存する振幅比（または強度比）を有する第１のチャンネルのマイクロホン信号２１２および第２のチャンネルのマイクロホン信号２１４の強く相関している信号成分が生じる。時間的に変化する方向からのマイクロホン装置２１０への周囲のオーディオ信号の入射によって、重要な相関を有するが、時間的に振幅比（または強度比）が変動する第１のチャンネルのマイクロホン信号２１２および第２のチャンネルのマイクロホン信号２１４の信号成分が生じる。したがって、マイクロホン装置２１０は、２チャンネルのマイクロホン信号２１２、２１４を供給する。そして、それは、マイクロホン２１６、２１８が間隔をつめて置かれる場合であっても、装置１００の信号解析器１３０が直接音および拡散音を区別することを可能にする。このように、装置２００は、空間的にコンパクトな形で実施でき、それでいて、２本以上のチャンネルを有する２チャンネルのアップミックス信号と関連した空間手がかりを供給することが可能であるオーディオ信号プロバイダを構成する。空間手がかり２２０は、サラウンドサウンド出力信号を供給するために、空間オーディオ復号器によって、供給された２チャンネルのオーディオ信号２３２と組み合わせて使用できる。

図３は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックス信号と関連した処理された２チャンネルのオーディオ信号および一組の空間手がかりを供給するための装置３００のブロック略図を示す。装置３００は、第１のチャンネル信号３１２および第２のチャンネル信号３１４を含んでいる２チャンネルのマイクロホン信号を受けるように構成される。装置３００は、２チャンネルのマイクロホン信号３１２、３１４に基づいて、空間手がかり情報３１６を供給するように構成される。加えて、装置３００は、２チャンネルのマイクロホン信号の処理されたバージョンを供給するように構成される。ここにおいて、２チャンネルのマイクロホン信号の処理されたバージョンは、第１のチャンネルの信号３２２および第２のチャンネル信号３２４を含む。

装置３００は、２チャンネル信号３１２、３１４に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する装置１００を含む。装置３００において、装置１００は、その入力信号１１０、１１２として、第１のチャンネル信号３１２および第２のチャンネル信号３１４を受けるように構成される。更に、装置１００によって供給される空間手がかり情報１２０は、装置３００の出力情報３１６を構成する。

加えて、装置３００は２チャンネルのオーディオ信号プロバイダ３４０を含む。そして、それは第１のチャンネル信号３１２および第２のチャンネル信号３１４を受けるように構成される。２チャンネルのオーディオ信号プロバイダ３４０はまた、成分エネルギー情報３４２を受けるように更に構成される。そして、それは装置１００の信号解析器１３０によって供給される。２チャンネルのオーディオ信号プロバイダ３４０は、処理された２チャンネルのオーディオ信号の第１のチャンネル信号３２２および第２のチャンネル信号３２４を供給するように更に構成される。

２チャンネルのオーディオ信号プロバイダは、好ましくは、２チャンネルのオーディオ信号のうちの第１のチャンネル信号３２２を得るために、２チャンネルのマイクロホン信号の第１のチャンネル信号３１２を受けるように、そして、第１のチャンネル信号３１２、または、個々の時間／周波数ビンをスケールするように構成されるスケーラ３５０を含む。スケーラ３５０は、また、処理された２チャンネルのオーディオ信号うちの第２のチャンネル信号３２４を得るために、２チャンネルのマイクロホン信号の第２のチャンネル信号３１４を受けるように、そして、第２のチャンネル信号３１４、または、個々の時間／周波数ビンをスケールするように構成される。

２チャンネルのオーディオ信号プロバイダ３４０は、また、成分エネルギー情報３４２に基づいてスケーラ３５０により用いられることになるスケーリングファクタを計算するように構成される、スケーリングファクタ計算機３６０も含む。したがって、２チャンネルのマイクロホン信号の直接音成分の、更には、２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表す成分エネルギー情報３４２は、２チャンネルのマイクロホン信号の第１のチャンネル信号３１２および第２のチャンネル信号３１４のスケーリングを決定する。そして、そのスケーリングは、２チャンネルのマイクロホン信号から処理された２チャンネルのオーディオ信号の第１のチャンネル信号３２２および第２のチャンネル信号３２４を引き出すために適用される。したがって、同成分エネルギー情報は、２チャンネルのマイクロホン信号の第１のチャンネル信号３１２および第２のチャンネル信号３１４のスケーリング、更には、空間手がかり情報１２０を決定するために使用される。成分エネルギー情報３４２の二重の使用法が、計算的に非常に効率的な解決案であり、また、処理された２チャンネルのオーディオ信号および空間手がかり情報との間により良い整合性を確かにすることが分かった。したがって、処理された２チャンネルのオーディオ信号および空間手がかり情報が、標準化されたサラウンド復号器を使用して２チャンネルのマイクロホン信号３１２、３１４によって示されるオーディオ内容のサラウンド再生を可能にするように、それらを生成することが可能である。

［実施例の詳細−サラウンド録音のためのステレオマイクロホンおよびそれらの適合性］
この節では、さまざまな２チャンネルのマイクロホン構造が、後処理によってサラウンドサウンド信号を生成するためのそれらの適合性に関して述べられる。次の節は、これらの洞察を、ステレオマイクロホンを有する空間オーディオ符号化（ＳＡＣ：ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）の使用に適用する。

ここで説明されるマイクロホン構造は、例えば、２チャンネルのマイクロホン信号１１０、１１２または２チャンネルのマイクロホン信号２１２、２１４または２チャンネルのマイクロホン信号３１２、３１４を得るために使用されうる。ここで説明されるマイクロホン構造は、マイクロホン装置２１０において使用されうる。

振幅比が、レベル差、および、同相（ａ（α）＞０）または異相（ａ（α）＜０）にあるかどうかの情報を取り込むことに留意されたい。（例えばマイクロホン信号ｘ₁（ｎ）、ｘ₂（ｎ）の）複合の信号表現が使用される場合、短時間フーリエのような、ａ（α）という位相は、信号間の位相差についての情報とその遅延についての情報を与える。マイクロホンが一致しないときにこの情報は役立つ。

２つの双指向性マイクロホンが全方向からの同じ総応答（０ｄＢ）を有する音をとらえることに留意されたい。

上記説明から、図４で示すような応答を有する２つの双指向性マイクロホンが、サラウンドサウンド信号生成にはあまり適していないと結論付けることができる。それは、これらの理由のためである。
・１８０度の角度範囲の用途にだけ、振幅比は、一意的に音の到達方向を決定する。
・背面および正面の音は、同じ総応答でとらえられる。振幅比が一意である範囲の外の方向からの音の除去はない。

考慮される次のマイクロホン構造は、図６に示すような応答を有する±４５度の方へ向いている２つのカージオイドから成る。前と同様の解析の結果が図７に示される。図７（ａ）は、音の到達方向の関数としてａ（α）を示す。−１３５度と１３５度の間の方向には、ａ（α）は一意的にマイクロホンで音の到達方向を決定することに留意されたい。図７（ｂ）は、到達方向の関数として、総応答を示す。正面の方向からの音がより強くとらえられ、そして、背面からより多く音が到達するにつれてより弱くとらえられることに留意されたい。

この説明から、図６で示すような応答を有する２つのカージオイド・マイクロホンが、以下の理由のために、サラウンドサウンド生成に適していることを結論付けることできる。
・すべての可能な到達方向の４分の３（２７０度）、すなわち、±１３５度の間の方向から到達している音は、振幅比ａ（α）を測定することによって、一意的に決定できる。
・一意的に決定できない方向から、すなわち、１３５度と２２５度の間の背面から到達している音は、減衰させられ、そして、正面方向からくるようなこれらの音を判断することについての負の効果を部分的に軽減する。

特に適したマイクロホン構造は、スーパーカージオイド・マイクロホンまたは負の背面の丸い突出部を有する他のマイクロホンと関係する。約±６０度を向いている２つのスーパーカージオイド・マイクロホンの応答が、図８に示される。到達角の関数としての振幅比は、図９（ａ）に示される。振幅比が一意的に音の到達方向を決定することに留意されたい。これは、両方のマイクロホンが１８０度での空白応答（ｎｕｌｌ ｒｅｓｐｏｎｓｅ）を有するように、我々がマイクロホン方向を選択したからである。他の空白応答は、約±６０度である。

このマイクロホン構造が、約±６０度の範囲の正面方向のための同位相（ａ（α）＞０）の音をとらえることに留意されたい。背面の音は、異相（ａ（α）＜０）で、すなわち、異なる符号でとらえられる。マトリクスサラウンド符号化（Ｊ．Ｍ．アーグル、「マルチチャンネルステレオマトリクスシステム：概要」、音声及びオーディオ ＩＥＥＥ通信、１９巻、Ｎｏ．７、ページ５５２〜５５９、１９７１年７月）（Ｋ．ガンドレー、「サラウンドサウンドのための新規なアクティブマトリクス復号器」、ＡＥＳ会報第１９回、国際会議、２００１年６月）は、マトリクス符号化された２チャンネル信号において、同様の振幅比の手がかり（Ｃ．ファーラー、「改良されたマトリクスサラウンド」、オーディオ技術協会第３０回国際会議配布冊子、２００７年３月）を与える。この見解から、このマイクロホン構造は、とらえた信号を処理することによってサラウンドサウンド信号を生成することに適している。

図９（ｂ）は、到達方向の関数として、マイクロホン構造の総応答を示す。方向のかなりの範囲において、音は同様の強度でとらえられる。総応答は、それが１８０度でゼロ（マイナス無限大ｄＢ）に達するまで、背面へ向かって減衰していく。

図６で示すような２つのカージオイドの例として、到達方向は、±１３５度の範囲であるだろう。音がこの範囲の外側から到達する場合、その振幅比は誤って解釈され、±１３５度間の範囲の方向がその関数によって返される。図８で示すような２つのスーパーカージオイド・マイクロホンの例では、両方のマイクロホンが１８０度でそれらのヌル（ｎｕｌｌ）を有するため、決定された到達方向は、１８０度以外の任意の値でありえる。

同様の解析は、スーパーカージオイドのマイクロホンの対の場合で行われる。図１１（ａ）は、この場合のための利得修正を示す。１８０度の近くでは許容値Ｇ＝１０ｄＢに達する点に留意されたい。図１１（ｂ）は、総応答（実線）および利得修正が適用される場合の総応答（破線）を示す。利得修正の上限のため、総応答は、背面に向かって減少していく。（１８０度においてヌルのため、無限の修正が必要となる）。利得修正後、音はおよそ１６０度の範囲の最大水準（０ｄＢ）でとらえられ、そして、それは原則としてこのステレオマイクロホン構造を、サラウンドサウンド信号に変換されるための信号をとらえるのに非常に適するようにする。

これまでの解析法は原則として、２つのマイクロホンが、サラウンドサウンドオーディオ信号を生成するために充分な情報を含む信号を、取り込むために使用できることを示す。以下において、我々はそれを達成するために空間オーディオ符号化（ＳＡＣ：ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｅｒ）を使用する方法を説明している。

［実施例の詳細−空間オーディオ符号器を有するステレオマイクロホンの使用］
以下に、本発明の概念が、図１２を参照として詳細に説明される。図１２は、２チャンネルの入力オーディオ信号（一般的に２チャンネルのマイクロホン信号）に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを表している処理されたマイクロホン信号および空間手がかり情報の両方を供給するための装置の実施形態を示す。

図１２の装置１２００は、関連する機能を示す。しかし、３つの異なる構成は、マルチチャンネル・サラウンド信号を生成するために空間オーディオ符号器（ＳＡＣ）を有するステレオマイクロホンを使用する方法について説明される。図１３、１４および１５を参照として説明される３つの構成は、同一の機能を含みうる。そこにおいて、前記機能を実施しているブロックは、符号器側および復号器側に異なって分配される。

前節では、適したステレオマイクロホン構造の２つの例（すなわち、２つのカージオイドのマイクロホンを含んでいる装置および２つのスーパーカージオイドのマイクロホンを含んでいる装置）が挙げられていることもまた、留意すべきである。しかし、機能がいくらか劣化しうる場合であっても、双指向性マイクロホンを含んでいる装置のような他のマイクロホン装置もまた、当然に使用されうる。

［十分にＳＡＣ後方互換性のあるシステム］
第１の可能性は、ＳＡＣとの互換性を持つダウンミックスおよびビットストリームを生成している符号器を使用することである。図１２および１３は、ＳＡＣと互換性を持つ符号器１２００および１３００を示す。２つのマイクロホン信号ｘ₁（ｔ）、ｘ₂（ｔ）および対応する方向応答性情報１３１０が与えられると、ＳＡＣ復号器１３７０と互換性を持つ、ＳＡＣ補助情報１２２０、１３２０が生成される。加えて、２つのマイクロホン信号ｘ₁（ｔ）、ｘ₂（ｔ）は、ＳＡＣ復号器１３７０と互換性を持つダウンミックス信号１３２２を生成するように処理される。符号器１２００、１３００でサラウンドオーディオ信号を生成する必要がなく、結果として低い計算量および低い所要メモリ量になることは留意されたい。

［十分にＳＡＣ後方互換性のあるシステム −マイクロホン信号解析］
以下に、信号解析器１２１２によって、または、解析装置１３１２によって実行されうるマイクロホン信号解析が説明される。

（１１）のもう一方の解は、マイクロホン信号エネルギーより大きい拡散音エネルギーを生み出す。そして、それは物理的に不可能である。

直接音の到達方向α（ｋ，ｉ）は、（４）のα（ｋ，ｉ）を使用して計算される。

上記を要約すると、直接音エネルギー情報Ｅ｛ＳＳ^*｝、拡散音エネルギー情報Ｅ｛ＮＮ^*｝および方向情報ａ、αは、信号解析器１２１２または解析装置１３１２によって得られる。マイクロホンの方向特性についての情報は、ここで活用される。２チャンネルのマイクロホン信号を供給しているマイクロホンの方向特性についての情報は、（例えば、方程式（８）に従って）推定された相関係数Φ_diffの計算を可能にし、そして、それは拡散音の信号が、方向音成分より、異なる相関特性を呈するという事実を反映する。マイクロホン特性についての情報は、信号解析器１２１２、１３１２の設計時に適用されうるか、または、実行時間に活用されうる。場合によっては、信号解析器１２１２、１３１２は、マイクロホンの方向特性を表している情報を受けるように構成されうる。その結果、信号解析器１２１２、１３１２は、マイクロホン特性に動的に適合されることが可能である。

更に上記を要約すると、解析器１２１２、１３１２が、連立方程式を解くように構成されることを言うことができ、その連立方程式は、以下を表している：
（１）２チャンネル・マイクロホン信号の第１のチャンネル・マイクロホン信号の推定エネルギー（または強度）、２チャンネル・マイクロホン信号の直接音成分の推定エネルギー（または強度）および２チャンネルのマイクロホン信号の拡散音成分の推定エネルギーの関係；
（２）２チャンネル・マイクロホン信号の第２のチャンネル・マイクロホン信号の推定エネルギー（または強度）、２チャンネル・マイクロホン信号の直接音成分の推定エネルギー（または強度）および２チャンネルのマイクロホン信号の拡散音成分の推定エネルギーの関係、そして；
（３）第１のチャンネル・マイクロホン信号および第２のマイクロホン信号の推定相関値、２チャンネル・マイクロホン信号の直接音成分の推定エネルギー（または強度）および２チャンネル・マイクロホン信号の拡散音成分の推定エネルギー（または強度）の関係；
（方程式（１０）を参照のこと）

この連立方程式を解くときに、信号解析器は、拡散音成分のエネルギーが、第１のチャンネル・マイクロホン信号および第２のチャンネル・マイクロホン信号において等しいという仮定を考慮しうる。加えて、第１のマイクロホン信号および第２のマイクロホン信号の直接音成分のエネルギーの比率が方向に依存することは、考慮されうる。さらに、第１のマイクロホン信号および第２のマイクロホン信号の拡散音成分間の正規化相関係数が１より小さい一定値をとることが考慮されうる。そして、その一定値は、第１のマイクロホン信号および第２のマイクロホン信号を供給しているマイクロホンの方向特性に依存している。方程式（８）において与えられる相関係数は、設計時に事前計算されうる、または、マイクロホン特性を表している情報に基づいて、実行時間に計算されうる。

したがって、まず、第１のマイクロホン信号ｘ₁の自己相関、第２のマイクロホン信号ｘ₂の自己相関および第１のマイクロホン信号ｘ₁と第２のマイクロホン信号ｘ₂間の相互相関を計算することが可能であり、そして、例えば、方程式（１２）、（１３）および（１４）を使用して、得られた自己相関値および得られた相互相関値から、成分エネルギー情報および方向情報を導き出すことが可能である。

これまで論じたマイクロホン信号解析は、例えば、信号解析器１２１２によって、または、解析装置１３１２によって実行されうる。

［十分にＳＡＣ後方互換性のあるシステム −ＳＡＣダウンミックス信号の生成］
好ましい実施形態において、本発明の装置は、ＳＡＣダウンミックス信号生成器１２１４、１３１４を含み、それは２チャンネルのマイクロホン信号ｘ₁、ｘ₂に基づいてＳＡＣダウンミックス信号１２２２、１３２２を供給するためにダウンミックス処理を実行するように構成される。このように、ＳＡＣダウンミックス信号生成器１２１４およびダウンミックス処理１３１４は、２チャンネルのマイクロホン信号ｘ₁、ｘ₂のうちの処理されたバージョン１２２２、１３２２は、ＳＡＣダウンミックス信号の特性を含み、そして、従来のＳＡＣ復号器に入力信号として適用できるように、２チャンネルのマイクロホン信号ｘ₁、ｘ₂を処理または修正するように構成されうる。しかし、ＳＡＣダウンミックス生成器１２１４およびダウンミックス処理１３１４は、選択的であるものとして考慮されるべきだということは、留意すべきである。

ウィナーフィルタ係数は、例えば、方程式（１８）に与えられるように、例えば、ＳＡＣダウンミックス生成器１２１４のフィルタ係数計算機（またはスケーリングファクタ計算機）１２１４ａ、によって計算されうる。一般的に言って、ウィナーフィルタ係数は、ダウンミックス処理１３１４によって計算できる。更に、ウィナーフィルタ係数は、処理された２チャンネルのオーディオ信号を得るために、フィルタ（またはスケーラ）１２１４ｂによって、２チャンネルのマイクロホン信号ｘ₁、ｘ₂に適用されうる、または、処理された第１のチャンネル信号および処理された第２のマイクロホン信号を含んでいるチャンネル・マイクロホン信号１２２２へと処理されうる。一般的に言って、ウィナーフィルタ係数は、２チャンネルのマイクロホン信号ｘ₁、ｘ₂からＳＡＣダウンミックス信号１３２２を引き出すために、ダウンミックス処理１３１４によって適用されうる。

［十分にＳＡＣ後方互換性のあるシステム −空間補助情報の生成］
以下に、空間手がかり情報１２２０が、どのように装置１２００の空間補助情報生成器１２１６によって得られるか、そして、ＳＡＣ補助情報１３２０がどのように装置１３００の解析装置１３１２によって得られるかが、説明される。空間補助情報生成器１２１６および解析装置１３１２の両方とも、同じ出力情報を供給するように構成され、結果として空間手がかり情報１２２０がＳＡＣ補助情報１３２０と等しいものでありうることは留意すべきことである。

第一段階において、直接音α（ｋ，ｉ）の到達方向の関数として、マルチチャンネル振幅パンニング法（Ｖ．プルキ、「ベクトルベースの振幅パンニングを用いた仮想音源位置決め」、オーディオ技術協会誌、４５巻、ページ４５６〜４６６、１９９７年６月）、（Ｄ．グリージンガー、「実施におけるステレオおよびサラウンドパンニング」、オーディオ技術協会第１１２回総会配布冊子、２００２年５月）が、利得係数ｇ₁〜ｇ₅を決定するのに適用される。この計算は、空間補助情報生成器１２１６の利得係数計算機１２１６ａによって実行されうる。それから、発見的手順（ｈｅｕｒｉｓｔｉｃ ｐｒｏｃｅｄｕｒｅ）は、拡散音利得ｈ₁〜ｈ₅を決定するのに使用される。設計時に選択されうる一定値ｈ₁＝１：０、ｈ₂＝１：０、ｈ₃＝０、ｈ₄＝１：０およびｈ₅＝１：０は、合理的な選択である、すなわち、アンビエンス（ａｍｂｉｅｎｃｅ）が正面や背面に均等に分配され、その一方で、センターチャンネルはドライ信号として生成される。

サラウンド信号モデル（１９）を与えられて、使用された特定のＳＡＣの空間手がかり解析は、空間手がかりを得るために、信号モデルに適用される。以下で、我々はＭＰＥＧサラウンドのために必要とされる手がかりを引き出しており、それは出力情報１２２０として空間補助情報生成器１２１６によって得られうる、または、それは解析装置１３１２によるＳＡＣ補助情報１３２０として得られうる。

これらのパワースペクトルは、例えばｈ₁〜ｈ₅に関する一定値を考慮に入れて、信号解析器１２１２および利得係数計算機１２１６によって供給される情報に基づいて、チャンネル強度推定計算機１２１６ｂによって計算されうる。あるいは、これらのパワースペクトルは、解析装置１３１２によって計算されうる。

相互スペクトルは、チャンネル強度推定計算機１２１６ｂによっても計算されうる。あるいは、相互スペクトルは、解析装置１３１２によって計算されうる。

したがって、空間手がかり計算機１２１６は、チャンネル強度推定計算機１２１６ｂによって供給されるチャンネル強度推定値および相互スペクトルに基づいて、方程式（２２）で定義した空間手がかりＩＣＬＤ_LLsおよびＩＣＣ_LLsを計算するように構成されうる。あるいは、解析装置１３１２は、方程式（２２）において定義した空間手がかりを計算しうる。

したがって、空間手がかり計算機１２１６ｃは、チャンネル強度推定計算機１２１６ｂによって供給されたチャンネル強度推定値および相互スペクトルに基づいて、方程式（２３）で定義した空間手がかりＩＣＬＤ_RRsおよびＩＣＣ_RRsを計算するように構成されうる。あるいは、解析装置１３１２は、方程式（２３）で定義した空間手がかりＩＣＬＤ_RRsおよびＩＣＣ_RRsを計算しうる。

したがって、空間手がかり計算機１２１６ｃは、チャンネル強度推定計算機１２１６ｂによって供給されたチャンネル強度推定値に基づいて、方程式（２４）で定義した空間手がかりＩＣＬＤ₁およびＩＣＬＤ₂を計算するように構成されうる。あるいは、解析装置１３１２は、方程式（２４）において定義した空間手がかりＩＣＬＤ₁、ＩＣＬＤ₂を計算しうる。

インデックスｉおよびｋが、表記の簡潔さのために、再度無視されたことは留意されたい。

当然、空間手がかり計算機１２１６ｃが、上述の手がかりＩＣＬＤ_LLs、ＩＣＬＤ_RRs、ＩＣＬＤ₁、ＩＣＬＤ₂、ＩＣＣ_LLs、ＩＣＣ_RRsの全てを計算することは、必須ではない。むしろ、空間手がかり計算機１２１６ｃ（または解析装置１３１２）が、実際の用途に必要とされるいずれかであるこれらの空間手がかりのサブセットを計算する場合、それで充分である。同様に、チャンネル強度推定器１２１６ｂ（または解析装置１３１２）がチャンネル強度推定値Ｐ_L、Ｐ_R、Ｐ_C、Ｐ_Ls、Ｐ_Rsおよび上述の相互スペクトルＰ_LLs、Ｐ_RRsの全てを計算することは必ずしも必要ではない。むしろ、チャンネル強度推定計算機１２１６ｂが、空間手がかり計算機１２１６による、後に続く所望の空間手がかりの計算処理に必要とされるそれらのチャンネル強度推定値および相互スペクトルを計算する場合は、それで当然充分である。

［ダウンミックスとしてマイクロホン信号を使用しているシステム］
ＳＡＣ互換のダウンミックス１２２２、１３２２および空間補助情報１２２０、１３２０を生成している符号器１２００、１３００を使用するという先に述べたシナリオは、従来のＳＡＣ復号器１３２０がサラウンドオーディオ信号を生成するために使用できるという利点を有する。

後方互換性が役割を果たさない場合、そして、何かの理由で修正していないマイクロホン信号ｘ₁、ｘ₂をダウンミックス信号として使用することが所望である場合、 図１４に示すように、「ダウンミックス処理」は、符号器１３００から復号器１３７０に移動させることができる。このシナリオにおいてダウンミックス処理、すなわち、（１８）のために必要とされる情報は、（空間補助情報からこの情報を引き出す発見的アルゴリズム（ｈｅｕｒｉｓｔｉｃ ａｌｇｏｒｉｔｈｍ）がうまく設計されない限り）空間補助情報に加えて、復号器に送られなければならないことは、留意すべきである。

換言すれば、図１４は、空間オーディオ符号化符号器および空間オーディオ符号化復号器のブロック略図を示す。符号器１４００は、解析装置１４１０を含み、その解析装置は、解析装置１３１０と同一でありうるし、それ故、信号解析器１２１２の、そして、空間補助情報生成器１２１６の機能を含みうる。図１４の実施形態において、符号器１４００から拡張復号器１４７０へ送られる信号は、２チャンネルのマイクロホン信号ｘ₁、ｘ₂（またはそれらの符号化された表現）を含む。更に、符号器１４００から拡張復号器１４７０へ送られる信号は、例えば、直接音エネルギー情報Ｅ｛ＳＳ^*｝および拡散音エネルギー情報Ｅ｛ＮＮ^*｝（またはそれらの符号化されたバージョン）を含みうる情報１４１３も含む。さらにまた、符号器１４００から拡張復号器１４７０へ送られる情報は、空間手がかり情報１２２０と、または、ＳＡＣ補助情報１３２０と同一でありうるＳＡＣ補助情報１４２０を含む。図１４の実施形態において、拡張復号器１４７０は、ＳＡＣダウンミックス信号生成器１２１４の、または、ダウンミックス処理装置１３１４の機能を引きつぐダウンミックス処理１４７２を含む。拡張復号器１４７０は、ＳＡＣ復号器１３７０と機能が同一でありうる従来のＳＡＣ復号器１４８０も含みうる。ＳＡＣ復号器１４８０は、従って、符号器１４００の解析装置１４１０によって供給されるＳＡＣ補助情報１４２０、符号器１４００によって供給されるｘ₁、ｘ₂に基づいてその復号器のダウンミックス処理により供給されるＳＡＣダウンミックス情報１４７４、および、符号器１４００によって供給される付加情報１４１３を受けるように構成できる。ＳＡＣダウンミックス情報１４７４は、ＳＡＣダウンミックス情報１３２２と同等でありうる。ＳＡＣ復号器１４８０は、従って、ＳＡＣダウンミックス信号１４７４およびＳＡＣ補助情報１４２０に基づいて２つ以上のオーディオチャンネルを含んでいるサラウンドサウンド出力信号を供給するように構成できる。

［ブラインド・システム］
ステレオマイクロホンを有するＳＡＣを使用するための、説明される第三のシナリオは、サラウンドサウンド信号を生成するために直接マイクロホン信号ｘ₁、ｘ₂を与えられることが可能である修正された「ブラインド」ＳＡＣ復号器である。これは、図１５に示すように、「ダウンミックス処理」ブロック１３１４だけでなく「解析」ブロック１３１２も符号器１３００から復号器１３７０に移動させることに対応する。第１の２つの提案されたシステムの復号器とは対照的に、ブラインドＳＡＣ復号器は、使用される特定のマイクロホン構造に関する情報を必要とする。

この種の修正されたブラインドＳＡＣ復号器のブロック略図は、図１５に示される。図に示すように、修正されたブラインドＳＡＣ復号器１５００は、マイクロホン信号ｘ₁、ｘ₂および選択的に、マイクロホン信号ｘ₁、ｘ₂を生み出しているマイクロホン装置の方向応答性を特徴づけている方向応答性情報を受けとるように構成される。図１５に示すように、その復号器は、解析装置１３１０および解析装置１４１０と同等である解析装置１５１０を含む。加えて、ブラインドＳＡＣ復号器１５００は、ダウンミックス処理１３１４、１４７２と同一であるダウンミックス処理１５１４を含む。加えて、修正されたブラインドＳＡＣ復号器１５００は、ＳＡＣ復号器１３７０、１４８０と同等でありうるＳＡＣ合成１５７０を含む。したがって、上述された構成要素１５１０、１５１４、１５４０、１５７０の全てが復号器側に配置されることを除いて、ブラインドＳＡＣ復号器１５００の機能は、符号器／復号器システム１３００、１３７０および符号器／復号器システム１４００、１４７０の機能と同一である。従って、ＳＡＣ復号器１３７０によって受けとられる処理されたマイクロホン信号１３２２よりはむしろ、未処理のマイクロホン信号ｘ₁、ｘ₂は、ブラインドＳＡＣ復号器１５００によって好ましくは受けとられる。加えて、ブラインドＳＡＣ復号器１５００は、符号器からそれを受けることより、むしろＳＡＣ空間手がかりの形でそれだけでＳＡＣ補助情報を引き出すように構成される。

ＳＡＣ復号器１３７０、１４８０、１５７０に関して、この装置がダウンミックスオーディオ信号および空間手がかり１３２０、１４２０、１５２０に基づいてサラウンドサウンド出力信号を供給する役割を果たす点に留意する必要がある。このように、ＳＡＣ復号器１３７０、１４８０、１５７０は、空間手がかり情報が一般的に以下のパラメータ、すなわち、チャンネル間レベル差（ＩＣＬＤ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）およびチャンネル間相関（ＩＣＣ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ ｃｏｒｒｅｌａｔｉｏｎ）の一つ以上を含むことを特徴とする空間手がかり情報を使用して、ダウンミックス信号（例えば未処理の、または、処理された２チャンネルのマイクロホン信号）に基づいてサラウンドサウンド出力信号（それは、一般的に２つ以上のオーディオチャンネルを含み、好ましくは、６またはそれ以上のオーディオチャンネル（例えば、５つのサラウンドチャンネルと１つの低周波チャンネル）を含む）を合成するように構成されたアップミキサー（ｕｐｍｉｘｅｒ）を含む。

［方法］
図１６は、２チャンネルのマイクロホン信号に基づいて２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給する方法１６００のフローチャートを示す。方法１６００は、成分エネルギー情報が２チャンネルのマイクロホン信号の直接音成分の、そして、２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表すように、および、方向情報が２チャンネルのマイクロホン信号の直接音成分が生じる方向の推定を表すように、２チャンネルのマイクロホン信号に基づいて成分エネルギー情報および方向情報を得るという第１のステップ１６１０を含む。方法１６００はまた、２チャンネルのマイクロホン信号の成分エネルギー情報および２チャンネルのマイクロホン信号の方向情報を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した空間手がかりを表している空間手がかり情報に写像するステップ１６２０を含む。当然、方法１６００は、ここに述べられた本発明の装置の特徴および機能のいずれかによって補うことができる。

［コンピュータ実施例］
装置についての文脈において、いくつかの態様が説明されたが、これらの態様が、対応する方法についての記載を示すこともまた明らかである。ここで、ブロックまたは装置は方法ステップまたは方法ステップの機能に対応する。類似して、方法ステップの文脈において説明された態様は、また、対応するブロックまたは項目、または、対応する装置の機能の記載を示す。

本発明の符号化されたオーディオ信号、例えばＳＡＣ補助情報１３２０と結合するＳＡＣダウンミックス信号１３２２、または情報１４１３と結合するマイクロホン信号ｘ₁、ｘ₂およびＳＡＣ補助情報１４２０、または、マイクロホン信号ｘ₁、ｘ₂は、デジタル記憶媒体に格納できる、または、無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体で送信できる。

特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実施できる。本実施例は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実行できる。各方法が実行されるように、それはプログラミング可能な計算機システムと協動する（または協動できる）。従って、デジタル記憶媒体は、計算機読み込み可能でありうる。

本発明によるいくつかの実施形態は、ここに説明された方法のうちの１つが実行されるように、プログラミング可能な計算機システムと協動可能である、電子的に読み込み可能な制御信号を有するデータキャリアを含む。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施でき、コンピュータ・プログラム製品がコンピュータ上で動作するときに、プログラムコードは、その方法のうちの１つを実行する働きをしている。プログラムコードは、例えば機械読み取り可能なキャリアに格納できる。

他の実施形態は、ここで説明された、機械読み取り可能なキャリアに格納される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。

従って、換言すれば、本発明の方法の実施形態は、コンピュータ・プログラムがコンピュータ上で動作するときに、ここにおいて説明された方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

従って、本発明の方法の別の実施形態は、その上に記録されて、ここで説明された方法のうちの１つを実行するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。

従って、発明の方法の別の実施形態は、ここで説明された方法のうちの１つを実行するためのコンピュータ・プログラムを示しているデータ・ストリームまたは信号のシーケンスである。データ・ストリームまたは信号のシーケンスは、データ通信コネクションを介して、例えばインターネットを介して転送されるように例えば構成されうる。

別の実施形態は、ここで説明された方法の一つを実行するように構成された、または、適用された処理手段、例えばコンピュータまたはプログラム可能な論理装置を含む。

別の実施形態は、その上に、ここで説明された方法のうちの１つを実行するためのコンピュータ・プログラムをインストールされたコンピュータを含む。

いくつかの実施形態では、プログラム可能な論理装置（例えばフィールド・プログラマブル・ゲートアレイ）は、ここで説明された方法の機能のいくつかまたは全てを実行するために使用されうる。いくつかの実施形態では、フィールド・プログラマブル・ゲートアレイは、ここで説明された方法のうちの１つを実行するために、マイクロプロセッサと協動しうる。一般的に、その方法は、いかなるハードウェア装置によっても好ましくは実行される。

上記の実施形態は、本発明の原理のために、単に図示しているだけである。ここで説明された装置やその詳細の修正および変更は、他の当業者にとって明らかであるものと理解される。従って、間近に迫った特許請求の範囲だけによって制限され、本明細書での実施形態の記載および説明として示された具体的な詳細によっては制限されないという意図である。

［結論］
空間オーディオ符号化（ＳＡＣ）を使用することによるサラウンドサウンド録音のためのステレオマイクロホンの適合性が説明された。ステレオマイクロホン信号に基づくマルチチャンネルサラウンドオーディオを生成するためにＳＡＣを使用している３つのシステムが示された。これらのシステム、すなわち、図１２および１３による手がかりシステムのうちの１つは、現存のＳＡＣと互換性を持つビットストリームおよび復号器である。ここで、専用の符号器は、直接、マイクロホンステレオ信号から互換性を持つダウンミックスステレオ信号および補助情報を生成する。図１４に関して説明された第２の提案されたシステムは、ＳＡＣダウンミックス信号としてマイクロホンステレオ信号を直接使用する、そして、図１５に関して説明された第３のシステムは、ステレオマイクロホン信号をマルチチャンネルサラウンドオーディオ信号に直接変換している「ブラインド」ＳＡＣ復号器である。

３つの異なる構成は、マルチチャンネルサラウンドオーディオ信号を生成するために、空間オーディオ符号器（ＳＡＣ）を有するステレオマイクロホンを使用する方法に関して説明された。前節において、特に適したステレオマイクロホン構造の２つの例が挙げられた。

本発明による実施形態は、符号化サラウンドサウンドを直接とらえるために、従来のＳＡＣの使用に、多くの２カプセルベースのマイクロホンの前工程を創作した。提案された方式の機能は、以下の通りである：
・マイクロホン構造は、従来のステレオマイクロホンでありえ、または、特にこの目的のためにステレオマイクロホンを最適化されたものでありうる。
・符号器でサラウンド信号を生成する必要なしで、ＳＡＣ互換のダウンミックスおよび補助情報が生成される。
・高品質ステレオ・ダウンミックス信号が生成され、サラウンドサウンドを生成するためにＳＡＣ復号器によって使用される。
・符号化が所望でない場合、修正された「ブラインド」ＳＡＣ復号器がマイクロホン信号をサラウンドオーディオ信号に直接変換するために使用できる。

本記載において、サラウンドサウンド情報を取り込むための異なるステレオマイクロホン構造の適合性は論じられた。これらの洞察に基づいて、ステレオマイクロホンを用いたＳＡＣの使用のための３つのシステムは提案され、そして、いくつかの結論が提示された。

サラウンドサウンド情報を取り込むための異なるステレオマイクロホン構造の適合性は、「サラウンド録音のためのステレオマイクロホンおよびそれらの適合性」というタイトルの節の下で論じられた。３つのシステムは、「空間オーディオ符号器を有するステレオマイクロホンの使用」というタイトルの節において説明された。

更に要約すると、例えばＭＰＥＧサラウンドのような空間オーディオ符号器は、低ビットレートで、ステレオ後方互換のあるマルチチャンネルサラウンドオーディオの符号化を可能にする。方向オーディオ符号化（ＤｉｒＡＣ）は、特定のマイクロホンの前工程あたりで設計された空間オーディオ符号化としてみなすことができる。ＤｉｒＡＣは、Ｂ-フォーマット空間音響分析に基づいており、直接のステレオ後方互換を有しない。本発明は、多くの２カプセルベースのステレオ互換性を持つマイクロホンの前工程および対応する空間オーディオ符号器修正を生み出し、それは、直接サラウンドサウンドをとらえ、符号化するための空間オーディオ符号器の使用を可能にする。

Claims (13)

1. ２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかり（ＩＣＬＤ_LLs、ＩＣＣ_LLs、ＩＣＬＤ_RRs、ＩＣＣ_RRs、ＩＣＬＤ₁、ＩＣＬＤ₂）を供給するための装置（１００；２００；３００；１２００；１３００；１４００；１５００）であって、前記装置は、
   
   成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）が、前記２チャンネルのマイクロホン信号の直接音成分（Ｓ）の、そして、前記２チャンネルのマイクロホン信号の拡散音成分（Ｎ）のエネルギーの推定値を表すように、および、方向情報（ａ、α）が、前記２チャンネルのマイクロホン信号の前記直接音成分（Ｓ）が生じる方向の推定値を表すように、前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））に基づいて、前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記方向情報（ａ、α）を得るように構成された信号解析器（１３０；１２１２；１３１２；１４１０；１５１０）と、
   
   前記２チャンネルのマイクロホン信号の前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記２チャンネルのマイクロホン信号の前記方向情報（ａ、α）を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した前記一組の空間手がかりを表している空間手がかり情報に、写像するように構成された空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）と、を含むこと、を特徴とする、装置。
2. 前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）が、直接、前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））の前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））の前記方向情報（ａ、α）を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した前記一組の空間手がかりを表している前記空間手がかり情報に、写像するように構成されること、を特徴とする、請求項１に記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
3. 前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）が、前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））の前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））の前記方向情報（ａ、α）を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した前記一組の空間手がかりを表している前記空間手がかり情報（ＩＣＬＤ_LL、ＩＣＣ_LLs、ＩＣＬＤ_RRs、ＩＣＬＤ₁、ＩＣＬＤ₂）に、中間量として前記アップミックスオーディオチャンネルを実際に使用しないで、写像するように構成されること、を特徴とする、請求項１又は請求項２に記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
4. 前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）は、方向に依存している直接音からサラウンドオーディオチャンネルへの写像を表している一組の利得係数（ｇ₁、ｇ₂、ｇ₃、ｇ₄、ｇ₅）に、前記方向情報（ａ、α）を写像するように構成されることと、
   
   前記空間補助情報生成器は、また、前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記利得係数（ｇ₁、ｇ₂、ｇ₃、ｇ₄、ｇ₅）に基づいて、２本以上のサラウンドチャンネル（Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ）の推定された強度を表しているチャンネル強度推定値（Ｐ_L、Ｐ_R、Ｐ_C、Ｐ_Ls、Ｐ_Rs）を得るようにも構成されることと、
   
   前記空間補助情報生成器は、前記チャンネル強度推定値（Ｐ_L、Ｐ_R、Ｐ_C、Ｐ_Ls、Ｐ_Rs）に基づいて、前記アップミックスオーディオ信号と関連した前記空間手がかり（ＩＣＬＤ_LLs、ＩＣＣ_LLs、ＩＣＬＤ_RRs、ＩＣＬＤ₁、ＩＣＬＤ₂）を決定するように構成されることと、を特徴とする、請求項１〜請求項３のうちの１つに記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
5. 前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）は、また、前記成分エネルギー情報（Ｅ｛ＳＳ^*｝、Ｅ｛ＮＮ^*｝）および前記利得係数（ｇ₁、ｇ₂、ｇ₄、ｇ₅）に基づいて、前記アップミックス信号の異なるチャンネル（Ｌ、Ｌｓ、Ｒ、Ｒｓ）間の相関を表しているチャンネル相関情報（Ｐ_LLs、Ｐ_RRs）を得るようにも構成されることと、
   
   前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）は、また、前記チャンネル強度推定値（Ｐ_L、Ｐ_Ls、Ｐ_R、Ｐ_Rs）の一つ以上、および、前記チャンネル相関情報（Ｐ_LLs、Ｐ_RRs）に基づいて、前記アップミックス信号と関連した空間手がかり（ＩＣＣ_LLs、ＩＣＣ_RRs）を決定するようにも構成されることと、を特徴とする、請求項４に記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
6. 前記空間補助情報生成器（１４０；１２１６；１３１２；１４１０；１５１０）は、前記チャンネル強度推定値（Ｐ_L、Ｐ_R、Ｐ_C、Ｐ_Ls、Ｐ_Rs）を得るために、前記２チャンネルのマイクロホン信号（Ｘ₁（ｔ）、Ｘ₂（ｔ））の直接音成分（Ｓ）の強度の推定値（Ｅ｛ＳＳ^*｝）と前記２チャンネルのマイクロホン信号の拡散音成分（Ｎ）の強度の推定値（Ｅ｛ＮＮ^*｝）を線形に結合するように構成されることと、
   
   前記空間補助情報生成器は、前記利得係数（ｇ₁、…、ｇ₅）に依存して、そして、前記方向情報（ａ、α）に依存して、前記直接音成分の前記強度の前記推定値（Ｅ｛ＳＳ^*｝）に重みを加えるように構成されることと、を特徴とする、請求項４または請求項５に記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
7. 
8. 
9. 前記信号解析器（１３０；１２１２；１３１２；１４１０；１５１０）は、
   
   （１）前記２チャンネルのマイクロホン信号の第１のチャンネルのマイクロホン信号（Ｘ₁）の推定されたエネルギー（Ｅ｛Ｘ₁Ｘ₁ ^*｝）、前記２チャンネルのマイクロホン信号の前記直接音成分（Ｓ）の前記推定されたエネルギー（Ｅ｛ＳＳ^*｝）および前記２チャンネルのマイクロホン信号の前記拡散音成分（Ｎ）の前記推定されたエネルギー（Ｅ｛ＮＮ^*｝）間の関係、
   
   （２）前記２チャンネルのマイクロホン信号の第２のチャンネルのマイクロホン信号（Ｘ₂）の推定されたエネルギー（Ｅ｛Ｘ₂Ｘ₂ ^*｝）、前記２チャンネルのマイクロホン信号の前記直接音成分（Ｓ）の前記推定されたエネルギー（Ｅ｛ＳＳ^*｝）および前記２チャンネルのマイクロホン信号の前記拡散音成分（Ｎ）の前記推定されたエネルギー（Ｅ｛ＮＮ^*｝）間の関係、および
   
   （３）前記第１のチャンネルのマイクロホン信号（Ｘ₁）と前記第２のチャンネルのマイクロホン信号（Ｘ₂）の推定された相互相関値（Ｅ｛Ｘ₁Ｘ₂ ^*｝）、前記２チャンネルのマイクロホン信号の前記直接音成分（Ｓ）の前記推定されたエネルギー（Ｅ｛ＳＳ^*｝）および前記２チャンネルのマイクロホン信号の前記拡散音成分（Ｎ）の前記推定されたエネルギー（Ｅ｛ＮＮ^*｝）間の関係、を表している連立方程式を、
   
   前記拡散音成分（Ｎ）の前記エネルギー（Ｅ｛ＮＮ^*｝）が前記第１のチャンネルのマイクロホン信号（Ｘ₁）および前記第２のチャンネルのマイクロホン信号（Ｘ₂）において同一であるという仮定、
   
   前記第１のマイクロホン信号（Ｘ₁）および前記第２のマイクロホン信号（Ｘ₂）における前記直接音成分（Ｓ）のエネルギーの比率（Ｅ｛ＳＳ^*｝、ａ²Ｅ｛ＳＳ^*｝）が、方向に依存しているという仮定、および、
   
   前記第１のマイクロホン信号（Ｘ₁）および前記第２のマイクロホン信号（Ｘ₂）における前記拡散音成分（Ｎ₁、Ｎ₂）間の正規化相互相関係数（Φ）が、１より小さい一定値をとり、その一定値が、前記第１のマイクロホン信号（Ｘ₁）および前記第２のマイクロホン信号（Ｘ₂）を供給しているマイクロホンの方向特性に依存しているという仮定、を考慮に入れて、解くように構成されることを、を特徴とする、請求項１〜請求項８のうちの１つに記載の装置（１００；２００；３００；１２００；１３００；１４００；１５００）。
10. 
11. 
12. ２チャンネルのマイクロホン信号に基づいて、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した一組の空間手がかりを供給するための方法（１６００）であって、前記方法は、
    
    成分エネルギー情報が前記２チャンネルのマイクロホン信号の直接音成分の、および、前記２チャンネルのマイクロホン信号の拡散音成分のエネルギーの推定値を表しているように、そして、方向情報が前記２チャンネルのマイクロホン信号の前記直接音成分が生じる方向の推定値を表すように、前記２チャンネルのマイクロホン信号に基づいて前記成分エネルギー情報および前記方向情報を得るステップ（１６１０）と、
    
    前記２チャンネルのマイクロホン信号の前記成分エネルギー情報、および、前記２チャンネルのマイクロホン信号の前記方向情報を、２本以上のチャンネルを有するアップミックスオーディオ信号と関連した空間手がかりを表している空間手がかり情報に写像するステップ（１６２０）と、を含むこと、を特徴とする、方法。
13. コンピュータ・プログラムがコンピュータ上で動作するときに、請求項１２に記載の方法を実行するための前記コンピュータ・プログラム。

Images