JP2008042721A - 音声信号処理装置、音声信号処理方法および音声信号処理プログラム - Google Patents

Abstract

【課題】目的とする音源の音声信号とそれ以外の音源の音声信号との間の音量バランスを、ユーザの嗜好に応じたように自動調整することができるようにする。
【解決手段】音声信号処理部２において、システムコントローラ４からの分離角度指示信号Ｓ１等によって予め指示するようにされる音源の第１の音声信号と、それ以外の音源の第２の音声信号とを分離し、分離した第１の音声信号と第２の音声信号との音量バランスを調査し、この調査結果と、システムコントローラ４からの音量バランス指示信号Ｓ２とに応じて、第１の音声信号に対する音量の調整値と、第２の音声信号に対する音量の調整値とを特定し、これらを用いて、処理対象の音声信号に含まれる第１の音声信号と第２の音声信号との音量バランスを調整する。
【選択図】図１

Description

この発明は、或る角度に定位している音源の音声信号や目的とする種類の音源の音声信号について音声信号処理を施すための装置、方法、プログラムに関する。

ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などに収録されるコンテンツや、ＴＶ（テレビジョン）放送番組などのコンテンツにおける音声信号には様々な種類の音源が含まれている。例えば、音楽を収録したコンテンツであれば、歌声や楽器の音などといった音源が含まれる。また、ＴＶ放送番組としてのコンテンツであれば、出演者の声や効果音、笑い声、拍手などといった音源が含まれる。

これらの音源は、収録時には別々のマイクロホンにより収録することもあるが、その場合においても音声信号自体は最終的には２チャンネル（２ｃｈ）や５．１チャンネル（５．１ｃｈ）などの予め定められたチャンネル数に絞られることになる。このとき、ミキシング等が行われることで、それぞれの音源がそれぞれ対応する角度に定位するように調整されることになる。なお、この明細書においては、「チャンネル」という文言を上記カッコ内に示したように「ｃｈ」と略称して用いる場合がある。

なお、複数の音源が混合するようにされた音声信号から複数の音源の音声信号を分離して利用できるようにする技術については、以下の特許文献を挙げることができる。
特開２００６−１２１１５２号公報 特開２００６−０８０７０８号公報 特開２００６−０１４２２０号公報

ところで、上述したように、複数の音源が混合するようにされた音声信号を含むコンテンツが、再生装置やＴＶ受像機側などで再生（受信・復調）されると、その再生音声は、これに含まれる複数の音源の音声信号のそれぞれが、収録時に調整するようにされた定位角度を再現したかたちで得られるようになる。

しかしながら、ユーザの嗜好などにより、制作側で意図した音源の定位感が受け入れられない場合もある。また、或る角度に定位している或る周波数範囲の音源の音量を抽出する、或る角度に定位している或る周波数範囲の音源の音量を変更するなど、コンテンツの楽しみ方の幅を広げるような工夫も要請される。

そこで、本願発明者は、先の特許出願（特願２００５−３２７２３７（整理番号０５９０５２９００３））において、ある角度に定位している音源の音声信号のみを抽出したり、消去するようにしたり、音量を調整したりするなど、定位角度ごとに音源の調整を行う手法を提案した。

この手法は、ユーザ自身が操作を行いながら調整する手法であるため、容易にユーザの嗜好を反映する事が可能である。しかし、各音源の音声信号の音量はコンテンツ毎・場面毎により異なるため、また、ある角度に定位している音源の種類がコンテンツ毎・場面毎により異なるため、異なるコンテンツを再生する際に改めてユーザ自身が調整する必要があり、手間がかかる場合がある。

以上のことにかんがみ、この発明は、予め指示するようにされる情報に基づいて、目的とする音源の音声信号とそれ以外の音源の音声信号との間の音量バランスを、ユーザの手を頻繁に煩わせることなく、ユーザの嗜好に応じたように自動調整することができるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の音声信号処理装置は、
処理対象の音声信号について、予め指示するようにされる音源の音声信号である第１の音声信号と、それ以外の音源の音声信号である第２の音声信号とに分離する分離手段と、
前記分離手段で分離される前記第１の音声信号と前記第２の音声信号との音量バランスを調査する調査手段と、
前記調査手段の調査結果と、前記第１の音声信号と前記第２の音声信号とについての予め指示するようにされる目的とする音量バランスとに基づいて、前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とを特定する特定手段と、
前記特定手段からの前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とに基づいて、前記処理対象の音声信号の音量バランスを調整する調整手段と
を備えることを特徴とする。

この請求項１に記載の発明の音声信号処理装置によれば、処理対象の音声信号について、まず、予め指示するようにされる音源の音声信号（第１の音声信号）と、それ以外の音源の音声信号（第２の音声信号）とが、分離手段によって分離される。例えば、処理対象の音声信号が、人の声の音声信号（第１の音声信号）と、人の声以外の音声信号（第２の音声信号）とに分離される。そして、調査手段により、第１の音声信号と第２の音声信号との音量バランスが調査される。

そして、調査手段による調査結果と、予め指示するようにされる第１の音声信号と第２の音声信号とについての目的とする音量バランス（ユーザの嗜好にあった音量バランス）とに基づいて、特定手段により、第１の音声信号に対する音量の調整値と、第２の音声信号に対する音量の調整値とが特定される。この特定手段によって特定された調整値に基づいて、調整手段により、第１の音声信号に対する音量と第２の音声信号に対する音量とが調整されることにより、第１の音声信号と第２の音声信号との音量バランスが調整される。

これにより、目的とする音源の音声信号である第１の音声信号を見立たせ、それ以外の音声信号については目立つことが無いようにするなどの音量バランスの調整を、ユーザの手を頻繁に煩わせることなく、ユーザの嗜好に応じたように自動調整することができるようにされる。

また、請求項２に記載の発明の音声信号処理装置は、請求項１に記載の音声信号処理装置であって、
前記分離手段は、予め指示するようにされる分離角度内に定位している音源の音声信号を前記第１の音声信号とし、前記分離角度外に定位している音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする。

この請求項２に記載の発明の音声信号処理装置によれば、分離手段により、予め指示された方向に定位している音源の音声信号（分離角度範囲内の音声信号）を第１の音声信号とし、それ以外の音源の音声信号（分離角度範囲外の音声信号）を第２の音声信号として分離することができるようにされる。これにより、目的とする方向に定位している音源の音声信号を目立たせ、それ以外の音源の音声信号を目立つことが無いようにするなどのことができるようにされる。

また、請求項３に記載の発明の音声信号処理装置は、請求項１に記載の音声信号処理装置であって、
前記分離手段は、予め指示するようにされる所定の音源の音声信号を前記第１の音声信号とし、前記所定の音源以外の音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする。

この請求項３に記載の発明の音声信号処理装置によれば、分離手段により、予め指示された音源の音声信号を第１の音声信号とし、それ以外の音源の音声信号を第２の音声信号として分離することができるようにされる。これにより、目的とする音源の音声信号を目立たせ、それ以外の音源の音声信号を目立つことが無いようにするなどのことができるようにされる。

この発明によれば、予め指示するようにされる情報に基づいて、同一の音声信号に含まれる目的とする音源の音声信号と、それ以外の音源の音声信号との音量バランスを自動的に調整し、常に好適な音量バランスとなるようにすることができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。

［第１の実施の形態］
［再生装置１００の構成と動作について］
以下に説明する第１の実施の形態においては、この発明による装置、方法、プログラムを音声信号の再生装置（以下、単に再生装置という。）に適用した場合を例にして説明する。

図１は、この第１の実施の形態の再生装置１００を説明するためのブロック図である。図１に示すように、この第１の実施の形態の再生装置１００は、メディア再生部１、音声信号処理部２、Ｄ／Ａコンバータ（Digital/Analog Converter）３、システムコントローラ４、操作部５、コマンド受信部６を備えると共に、リモートコマンダ１０を通じて遠隔制御することができるものである。

メディア再生部１は、例えばＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）、或いはブルーレイディスク（Blu-Ray Disc）などの光ディスク記録媒体や、ＭＤ（Mini Disc（登録商標））などの光磁気ディスク、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体に記録されている音声信号を読み出して再生することができるものである。

この場合、メディア再生部１が対応する記録媒体には、Ｌｃｈ（左チャンネル）とＲｃｈ（右チャンネル）とによる２系統の音声信号によるコンテンツが記録されているものとする。メディア再生部１で再生されたこれらＬｃｈ、Ｒｃｈの音声信号は、音声信号処理部２に供給される。

音声信号処理部２は、メディア再生部１からのＬｃｈ、Ｒｃｈとの音声信号と、後述するシステムコントローラ４からの分離角度指示信号Ｓ１および音量バランス指示信号Ｓ２とに応じ、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々について所要の音声信号処理を施すように構成される。なお、音声信号処理部２の内部構成および具体的な処理については後述する。そして、音声信号処理部２において、所要の音声信号処理が施されたＬｃｈの音声信号Ｌｅｘと、Ｒｃｈの音声信号ＲｅｘとはＤ／Ａ（Digital/Analog）コンバータ３に供給される。

Ｄ／Ａコンバータ３は、音声信号処理部２からのデジタル信号である音声信号Ｌｅｘ、Ｒｅｘのそれぞれをアナログ信号に変換し、アナログ信号とされたＬｃｈの音声信号ＬとＲｃｈの音声信号Ｒとを出力する。これにより、音声信号処理部２において、上述したように、所要の信号処理が施されたＬｃｈとＲｃｈとの音声信号が例えばスピーカに供給されて再生音声をスピーカから放音することができるようにされる。

システムコントローラ４は、図１に示すように、ＣＰＵ（Central Processing Unit）４１、ＲＯＭ（Read Only Memory）４２、ＲＡＭ（Random Access Memory）４３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）４４などの不揮発性メモリがＣＰＵバス４５を通じて接続されて形成されたマイクロコンピュータであり、この第１の実施の形態の再生装置１００の各部を制御するものである。

システムコントローラ４に対しては、図１に示したように、操作部５とコマンド受信部６とが接続されている。操作部５は、当該再生装置１００の筐体外部に表出するようにして設けられた各種の操作子を備え、それたに対するユーザからの操作入力を受け付けて、受け付けた操作入力に応じたコマンド信号を形成し、これをシステムコントローラ４に供給することができるものである。

また、コマンド受信部６は、リモートコマンダ１０から発せられた例えば赤外線信号等に依るコマンド信号を受信し、これを電気信号に変換して、システムコントローラ４に供給する。リモートコマンダ１０上にも各種の操作子が設けられており、上述したように、コマンド受信部６は、これらリモートコマンダ１０上の操作子の操作に応じた赤外線などのコマンド信号を電気信号に変換してシステムコントローラ４に供給する。

システムコントローラ４は、操作部５またはコマンド受信部６からのコマンド信号に応じて、この第１の実施の形態の再生装置１００の各部を制御する。これによって再生装置１００ではユーザの操作入力に応じた動作が実行するようにされる。例えば、操作部５やリモートコマンダ１０にはメディア再生部１に装填された記録媒体に記録されているコンテンツについての再生指示を行うための操作子が備えられており、当該操作子に対する操作に応じたコマンド信号が入力されることに応じて、システムコントローラ４はメディア再生部１を制御してコンテンツの再生処理を開始させることができる。

図２は、この第１の実施の形態の再生装置１００のリモートコマンダ１０の外観の一例について説明するための図である。この第１の実施の形態において、リモートコマンダ１０上には、図２に示すように、右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄからなる方向指示のための操作子と、実行キー１０ｅとが設けられている。

この第１の実施の形態において、ユーザは、右方向キー１０ａまたは左方向キー１０ｂを操作することにより、再生装置１００に対して、分離する定位角度を指示（指示入力）することができる。また、ユーザは、上方向キー１０ｃまたは下方向キー１０ｄを操作することにより、再生装置１００に対して、上述のように指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々の音量バランスを指示（指示入力）することができる。

システムコントローラ４は、図２に示したリモートコマンダ１０の右方向キー１０ａ、左方向キー１０ｂに対するユーザの操作に応じたコマンド信号の入力に応じて、音声信号処理部２に供給すべき分離角度指示信号Ｓ１を生成する。すなわち、分離角度指示信号Ｓ１は、右方向キー１０ａ、左方向キー１０ｂを通じて受け付けたユーザからの指示入力（分離角度指示情報）に応じて生成される分離定位角度を表すための情報である。

また、システムコントローラ４は、図２に示したリモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄに対するユーザの操作に応じたコマンド信号の入力に応じて、音声信号処理部２に供給すべき音量バランス指示信号Ｓ２を生成する。すなわち、音量バランス指示信号Ｓ２は、上方向キー１０ｃ、下方向キー１０ｄを通じて受け付けたユーザからの指示入力（音量バランス指示情報）に応じて生成される音量バランスを表すための情報である。

このように、この第１の実施の形態の再生装置１００においては、メディア再生部１に装填された記録媒体（メディア）に記録されている音声信号を再生するに先立って、システムコントローラ４が、上述したように、例えば、リモートコマンダ１０を通じて入力されるユーザからの分離角度指示情報、音量バランス指示情報の入力を受け付け、これに応じて分離角度指示信号Ｓ１、音量バランス指示信号Ｓ２を生成して、音声信号処理部２に供給する。

これにより、ユーザからの分離角度と音量バランスの指示を受けて、指示された角度内（分離角度内（分離角度範囲内））に定位している音源の音声信号と指示された角度外（分離角度外（分離角度範囲外））に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスで音声信号を再生することができるようにされる。

なお、分離角度指示情報と音量バランス指示情報との入力は、目的とする音声信号を再生するごとに入力することも可能であるが、予め再生装置１００に入力しておき、例えば、システムコントローラ４のＥＥＰＲＯＭ４４に記憶保持しておくようにする。

このようにしておくことにより、分離角度指示情報と音量バランス指示情報とを最初に１回だけ入力しておけば、その後においては繰り返し入力する必要はなく、ＥＥＰＲＯＭ４４に記憶保持するようにした分離角度指示情報と音量バランス指示情報とを用いて、分離角度指示信号Ｓ１と音量バランス指示信号Ｓ２とを生成し、これを用いるようにすることができる。すなわち、毎回ユーザによる調整を必要とせずに常に好適な音量バランスで音声信号の再生を行うようにすることができる。

また、楽曲などの再生対象となる一まとまりの音声データの識別情報と、予め入力するようにした分離角度指示情報と音量バランス指示情報とを対応付けてＥＥＰＲＯＭ４４に記憶保持しておくことにより、再生対象の音声信号ごとに適切な分離角度指示情報と音量バランス指示情報とを用いて、音量バランスを適切に調整し、再生される音声を聴取できるようにすることができる。

この他、分離角度指示情報と音量バランス指示情報とを複数記憶保持するようにし、音声信号を再生するに先立って、再生対象の音声信号に合わせて、どの分離角度指示情報とどの音量バランス指示情報とを用いるかの指示入力を受け付けて、指示された分離角度指示情報と音量バランス指示情報とを用いて、分離角度指示信号Ｓ１と音量バランス指示信号Ｓ２とを生成するようにしてもよい。

［音声信号処理部２の第１の構成例と動作について］
図３は、この第１の実施の形態の再生装置１００の音声信号処理部２の第１の構成例を説明するためのブロック図である。この例の音声信号処理部２は、処理対象の音声信号について、まず、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号とに分離し、その後音量バランスを調査し、指示された音量バランスに基づき音量バランスを調整するものである。

図３に示すように、この例の音声信号処理部２は、分離処理回路２１と、音量バランス調査回路２２と、音量バランス調節回路２３とを備えたものである。図３に示すように、分離処理回路２１には、ＬｃｈとＲｃｈとの左右２チャンネルの音声信号と、図１を用いて説明したように、システムコントローラ４から分離角度指示信号Ｓ１が供給される。

分離処理回路２１は、システムコントローラ４からの分離角度指示信号Ｓ１に従い、これに供給されたＬｃｈとＲｃｈとの音声信号のそれぞれについて、指示された角度内（分離角度範囲内）の音源の音声信号Ｌｉ、Ｒｉ（文字ｉは、inner（内側）の略）、および、指示された角度外（分離角度範囲外）の音源の音声信号Ｌｏ、Ｒｏ（文字ｏは、outer（外側）の略）に分離し、これら４つの信号のそれぞれを、音量バランス調査回路２２および音量バランス調節回路２３へと出力する。

なお、分離処理回路２１は、分離角度指示信号Ｓ１に応じて、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号とに分離する機能を持つ回路であれば種々のものを用いることができ、例えば、特願２００５−３２７２３７（整理番号０５９０５２９００３）に記載されている回路等を用いることができる。

音量バランス調査回路２２は、図３に示すように、分離処理回路２１において分離処理されたＬｃｈの定位角度内（分離角度内）の音声信号Ｌｉと、Ｒｃｈの定位角度内（分離角度内）の音声信号Ｒｉと、Ｌｃｈの定位角度外（分離角度外）の音声信号Ｌｏと、Ｒｃｈの定位角度外（分離角度外）の音声信号Ｒｏとの供給を受けて、指定された角度内と角度外との音量バランスを調査し、システムコントローラ４からの音量バランス指示信号Ｓ２に従い、分離角度内の音声信号と分離角度外の音声信号とが好適な音量バランスとなるように、分離角度内の音声信号に対するゲイン値Ｇｉと、分離位角度外の音声信号に対するゲイン値Ｇｏとを決定し、これらを音量バランス調節回路２３に供給する。

音量バランス調節回路２３は、図３に示したように、分離処理回路２１において分離処理されたＬｃｈの分離角度内の音声信号Ｌｉと、Ｒｃｈの分離角度内の音声信号Ｒｉと、Ｌｃｈの分離角度外の音声信号Ｌｏと、Ｒｃｈの分離角度外の音声信号Ｒｏと、音量バランス調査回路２２からの分離角度内の音声信号に対するゲイン値Ｇｉと、分離角度外の音声信号に対するゲイン値Ｇｏとの供給を受けて、下記［数１］に従った演算を行って、Ｌｃｈの出力音声信号ＬｅｘとＲｃｈの出力音声信号Ｒｅｘとを生成し、これらを出力する。

音量バランス調査回路２２で用いることが可能な音量バランスを調査する手法は幾つか考えられる。ここでその一例について説明する。例えば、
Ｌｃｈの分離角度内の音声信号ＬｉとＲｃｈの分離角度内の音声信号Ｒｉと和信号（Ｌｉ＋Ｒｉ＝ｓｕｍ＿ｉｎｎｅｒ）と、Ｌｃｈの分離角度外の音声信号ＬｏとＲｃｈの分離角度外の音声信号Ｒｏとの和信号（Ｌｏ＋Ｒｏ＝ｓｕｍ＿ｏｕｔｅｒ）とを例えば各々５秒間監視し、その間における、分離角度内の和信号（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と分離角度外の和信号（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）を算出する。

このようにして算出した分離角度内の和信号（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と分離角度外の和信号（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）との比に応じて、処理対象の音声信号についての分離角度内と分離角度外との音量バランスを把握する。そして、この把握した分離角度内と分離角度外との音量バランスと、システムコントローラ４からの音量バランス指示信号Ｓ２とにより、分離角度内の音声信号に対するゲイン値Ｇｉと、分離角度外の音声信号に対するゲイン値Ｇｏとを決定する。

例えば、システムコントローラ４からの音量バランス指示信号Ｓ２が、分離角度内の音声信号と分離角度外の音声信号との音量比を１：１（１対１）とすることを指示しており、かつ、分離角度内の和信号（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と分離角度外の和信号（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）との比が１：２（１対２）である場合には、分離角度内の音声信号に対するゲイン値Ｇｉを「１．５」とし、分離角度外の音声信号に対するゲイン値Ｇｏを「０．７５」とすることにより、分離角度内の和信号（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と分離角度外の和信号（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）との比が１：１（１対１）となる。

この際、音量バランス調節回路２３において、「ゲイン値Ｇｉ＝１．５」、「ゲイン値Ｇｏ＝０．７５」という値を用いて、即時に音量バランスを目的とするバランスに調整してもよいが、音量バランスを変化させる時間として例えば５秒などのように遷移時間を設け、その間に徐々に音量バランスを遷移させることにより音量バランスの急激な変化を避け、ユーザに違和感を抱かせないようにすることができる。

また、分離角度内の音声信号に対するゲイン値Ｇｉと、分離角度外の音声信号に対するゲイン値Ｇｏとを決定する際には、入力信号全体の音量と出力信号全体の音量が聴感上変化しないよう留意する必要がある。

次に、この発明による第１の実施の形態のソフトウェアでの実装例について説明する。図４は、図３に示した構成の音声信号処理部２が用いられて形成された、この発明による第１の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図４に示す処理は、操作部５やリモートコマンダ１０及びコマンド受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、図３を用いて説明したように構成される音声信号処理部２とシステムコントローラ４とが協働して実行する処理である。

まず、再生装置１００のシステムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ１０１）。例えば、再生対象の音声信号がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようにしている。

すなわち、ステップＳ１０１の判断処理において、肯定結果が得られると次のステップＳ１０３へ移るのに対し、ステップＳ１０１の判断処理において、否定結果が得られると、このことは音声信号処理部２が再生対象の音声信号に対して処理を実行することができないことを示しているので、ステップＳ１０２の処理に移ることになる。

したがって、ステップＳ１０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ１０２）。

ステップＳ１０２の処理の後には、または、ステップＳ１０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ４は、音声信号処理部２に対して、分離角度指示信号Ｓ１と、音量バランス指示信号Ｓ２とを供給し、音声信号処理部２において、分離角度指示信号Ｓ１により指示された所定の分離角度内の音源の音声信号Ｌｉ、Ｒｉと、指示された所定の分離角度外の音源の音声信号Ｌｏ、Ｒｏとに分離する処理を行うようにする（ステップＳ１０３）。このステップＳ１０３においての処理は、図３に示したように構成される音声信号処理部２の分離処理回路２１において行われる処理である。

次に、音声信号処理部２は、ＬｃｈとＲｃｈの所定の分離角度内の音源の音声信号Ｌｉ、Ｒｉの和信号のピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と、ＬｃｈとＲｃｈの所定の分離角度外の音源の音声信号Ｌｏ、Ｒｏの和信号のピーク値（ｐｅａｋ＿ｏｕｔｅｒ）とを測定し、これらの値とシステムコントローラ５からの音量バランス指示信号Ｓ２に従い、ＬｃｈとＲｃｈの所定の分離角度内の音源の音声信号Ｌｉ、Ｒｉに対するゲイン値ＧｉおよびＬｃｈとＲｃｈの所定の分離角度外の音源の音声信号Ｌｏ、Ｒｏに対するゲイン値Ｇｏを決定する（ステップＳ１０４）。このステップＳ１０４においての処理は、図３に示したように構成される音声信号処理部２の音量バランス調査回路２２において行われる処理である。

そして、音声信号処理回路２は、上述の［数１］に示した計算式を用いて、Ｌｃｈの所定の分離角度内の音源の音声信号Ｌｉ、Ｌｃｈの所定の分離角度外の音源の音声信号Ｌｏ、所定の分離角度内の音源の音声信号に対するゲイン値Ｇｉ、所定の分離角度外の音源の音声信号に対するゲイン値ＧｏからＬｃｈの出力音声信号Ｌｅｘを求め、Ｒｃｈの所定の分離角度内の音源の音声信号Ｒｉ、Ｒｃｈの所定の分離角度外の音源の音声信号Ｒｏ、所定の分離角度内の音源の音声信号に対するゲイン値Ｇｉ、所定の分離角度外の音源の音声信号に対するゲイン値ＧｏからＲｃｈの出力音声信号Ｒｅｘを求めて出力する（ステップＳ１０５）。このステップＳ１０５においての処理は、図３に示したように構成される音声信号処理部２の音量バランス調節回路２３において行われる処理である。

このようにして生成される出力音声信号Ｌｅｘ、Ｒｅｘは、指示された分離角度内に定位している音源の音声信号と指示された分離角度外に定位している音源の音声信号の音量バランスが、予め指示するようにされる情報に応じて調整され、聴取者の嗜好を反映した状態となっている。

そして、システムコントローラ４は、続いてオーディオ信号処理部２に入力される次の音声信号が存在するか否かを判定し（ステップＳ１０６）、否定結果が得られた場合、処理を行うべき対象が存在しないため、この図４に示す処理を終了する。また、ステップＳ１０６の判定処理において、肯定結果が得られた場合には、このことは次に処理を行うべき次の音声信号が存在することを表しており、再度ステップＳ１０１へ戻って当該ステップＳ１０１以降の処理を繰り返す。

このようにして、図３を用いて説明した構成を有する音声信号処理部２とシステムコントローラ４とが協働することにより、例えば、ユーザから予め指示される分離角度（分離角度範囲）と音量バランスとを示す情報に基づいて、指示された分離角度内に定位している音源の音声信号と指示された分離角度外に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供することができるようにしている。

［音声信号処理部２の第２の構成例と動作について］
図５は、この第１の実施の形態の再生装置１００の音声信号処理部２の第２の構成例を説明するためのブロック図である。この例の音声信号処理部２は、本願発明者の先の特許出願である特願２００５−３２７２３７（整理番号０５９０５２９００３）で提案した手法を利用して、音量バランスを変更する方法である。すなわち、特願２００５−３２７２３７では、或る角度に定位している音源の音声信号の音量を調整する手法を提案したが、この手法に音量バランスを調整する方法を組み込む事で実現可能となる。以下、具体的に説明する。

図５に示すように、この例の音声信号処理部２には、Ｌｃｈの音声信号が入力されるＬｃｈ用の分析フィルタバンク２１Ｌと、Ｒｃｈの音声信号が入力されるＲｃｈ用の分析フィルタバンク２１Ｒとが備えられる。これらＬｃｈ用の分析フィルタバンク２１Ｌと、Ｒｃｈ用の分析フィルタバンク２１Ｒとは、入力音声信号を予め決められる帯域幅を有する複数の周波数帯域に分割するために備えられる。

周知のように、入力信号成分を複数の周波数帯域に分割する手法としては、ＤＦＴ（Discrete Fourier Transform）フィルタバンク、ウェーブレットフィルタバンク、ＱＭＦ（Quadrature Mirror Filter）フィルタバンクなどのフィルタバンクと呼ばれる手法がある。フィルタバンクは、分析フィルタバンクと合成フィルタバンクの１セットで構成される。このフィルタバンクの手法は、入力信号を各帯域ごとに目的に応じて処理する場合などに利用されているもので、例えば非可逆圧縮などで広く用いられている。

この例の分析フィルタバンク２１Ｌは、入力されるＬｃｈの音声信号をｎ個の等帯域の周波数帯域に分割し、ｎ個のサブバンド信号（ｓｕｂ１−Ｌ、ｓｕｂ２−Ｌ、…、ｓｕｂｎ−Ｌ）を生成する。これらｎ個のサブバンド信号ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌの個々は、図示するようにしてｎ個のゲイン器２３（２３（１）〜２３（ｎ））のうち対応する添え字（（１）〜（ｎ））の付されるゲイン器２３を介した後、それぞれ合成フィルタバンク２４Ｌに供給されるようになっている。

合成フィルタバンク２４Ｌでは、上述したように、各ゲイン器２３（１）〜２３（ｎ）のそれぞれから供給されるｎ個のサブバンド信号（ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌ）を合成して元の音声信号の形態（状態）に再構成する。

同様に、この例の分析フィルタバンク２１Ｒは、入力されるＲｃｈの音声信号をｎ個の等帯域の周波数帯域に分割し、ｎ個のサブバンド信号（ｓｕｂ１−Ｒ、ｓｕｂ２−Ｒ、…、ｓｕｂｎ−Ｒ）を生成する。この場合も、これらｎ個のサブバンド信号ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒの個々は、上述したゲイン器２３（２３（１）〜２３（ｎ））のうち対応する添え字（（１）〜（ｎ））の付されるゲイン器２３を介した後、それぞれ合成フィルタバンク２４Ｒに供給される。

合成フィルタバンク２４Ｒでは、上述したように、各ゲイン器２３（１）〜２３（ｎ）のそれぞれから供給されるｎ個のサブバンド信号（ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒ）を合成して元の音声信号の形態（状態）に再構成する。

なお、ここでは分析フィルタバンク２１Ｌ、分析フィルタバンク２１Ｒによって入力音声信号を等帯域のｎ個の周波数帯域に分割するものとして説明したが、これに限るものではない。入力音声信号を非等帯域の複数の周波数帯域に分割するようにしてももちろんよい。

そして、分析フィルタバンク２１Ｌにより生成されたサブバンド信号ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌの個々は、図５に示すように、ｎ個の定位角度・レベル算出回路２２（１）〜２２（ｎ）のうち対応する添え字の付される定位角度・レベル算出回路２２に対してもそれぞれ分岐して供給される。

同様に、分析フィルタバンク２１Ｒにより生成されたサブバンド信号ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒの個々は、図５に示すように、定位角度・レベル算出回路２２（１）〜２２（ｎ）のうち対応する添え字の付される定位角度・レベル算出回路２２に対してもそれぞれ分岐して供給される。

つまり、これによって定位角度・レベル算出回路２２（１）〜２２（ｎ）の個々には、それぞれ対応する帯域のＬｃｈのサブバンド信号ｓｕｂ−ＬとＲｃｈのサブバンド信号ｓｕｂ−Ｒとが入力されるようになっている。

これら定位角度・レベル算出回路２２（１）〜２２（ｎ）は、後述するようにしてそれぞれ入力されるＬｃｈのサブバンド信号ｓｕｂ−ＬとＲｃｈのサブバンド信号ｓｕｂ−Ｒから定位角度およびレベルを算出し、ゲイン調査・調節回路２５へと供給する。

つまり、定位角度・レベル算出回路２２（１）では、サブバンド信号ｓｕｂ１−Ｌ、サブバンド信号ｓｕｂ１−Ｒから定位角度およびレベルを算出し、定位角度・レベル算出回路２２（２）ではサブバンド信号ｓｕｂ２−Ｌ、サブバンド信号ｓｕｂ２−Ｒから定位角度およびレベルを算出するといったように、定位角度・レベル算出回路２２（１）〜２２（ｎ）によっては、それぞれの帯域のサブバンド信号ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌ、サブバンド信号ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒから各定位角度およびレベルが算出され、各々ゲイン調査・調節回路２５へと供給される。なお、定位角度・レベル算出回路２２の内部構成については後述する。

ゲイン調査・調節回路２５では、定位角度・レベル算出回路２２（１）〜２２（ｎ）からの各サブバンドの定位角度情報およびレベル情報と、図１に示したシステムコントローラ５からの分離角度指示信号Ｓ１および音量バランス指示信号Ｓ２に従い好適な音量バランスとなるよう、各ゲイン器２３（１）〜２３（ｎ）へ供給するゲインを決定する。なお、ゲイン調査・調節回路２５の処理方式については後述する。

ゲイン器２３（１）〜２３（ｎ）の個々は、供給されたゲイン値に基づき、それぞれ分析フィルタバンク２１Ｌからのサブバンド信号ｓｕｂ−Ｌ、分析フィルタバンク２１Ｒからのサブバンド信号ｓｕｂ−Ｒのゲインを調整し、サブバンド信号ｓｕｂ−Ｌについては合成フィルタバンク２４Ｌへ、サブバンド信号ｓｕｂ−Ｒについては合成フィルタバンク２４Ｒへそれぞれ供給する。

合成フィルタバンク２４Ｌ、２４Ｒでは、上述もしたようにゲイン器２３（１）〜２３（ｎ）から供給されるサブバンド信号ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌ、サブバンド信号ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒを合成して元の音声信号の形態（状態）に再構成して出力する。

［定位角度・レベル算出回路２２の構成例と動作について］
次に、図５に示したように構成されるこの第２の例の音声信号処理部２の定位角度・レベル算出回路２２の構成例と動作について説明する。図６は、定位角度・レベル算出回路２２の構成例を説明するためのブロック図である。

この例の定位角度・レベル算出回路２２は、図６に示すように、Ｌｃｈ用のフーリエ変換器２２１Ｌと、Ｒｃｈ用のフーリエ変換器２２１Ｒと、定位角度算出器２２２と、レベル算出器２２３とを備えたものである。

図６に示すように、図５に示した分析フィルタバンク２１Ｌからのサブバンド信号ｓｕｂ−Ｌは、フーリエ変換器２２１Ｌに入力され、ここにおいて例えばＦＦＴ（高速フーリエ変換）などのフーリエ変換処理が施される。フーリエ変換処理により得られた複素サブバンド信号ｃｓｕｂ−Ｌは、定位角度算出器２２２とレベル算出器２２３とに供給される。

なお、分析フィルタバンク２１Ｌにおいて、サブバンド信号ｓｕｂ−Ｌがすでに複素サブバンド形式に変換されている場合はフーリエ変換器２２１Ｌは必要とせず、サブバンド信号ｓｕｂ−Ｌが直接に定位角度算出器２２２とレベル算出器２２３とに供給される。

また、分析フィルタバンク２１Ｒからのサブバンド信号ｓｕｂ−Ｒは、フーリエ変換器２２１Ｒに供給されフーリエ変換処理が施され、同様に複素サブバンド信号ｃｓｕｂ−Ｒとして定位角度算出器２２２とレベル算出器２２３とに供給される。なお、分析フィルタバンク２１Ｒにおいても同様に、サブバンド信号ｓｕｂ−Ｒがすでに複素サブバンド形式に変換されている場合はフーリエ変換器２２１Ｒは必要とせず、サブバンド信号ｓｕｂ−Ｒが直接に定位角度算出器２２２とレベル算出器２２３とに供給される。

定位角度算出器２２２では、複素サブバンド信号ｃｓｕｂ−Ｌおよび複素サブバンド信号ｃｓｕｂ−Ｒから位相差およびレベル比を計算し、これらを元に定位角度を求め、図５に示したゲイン調査・調節回路２５へと供給する。

レベル算出器２２３では、複素サブバンド信号ｃｓｕｂ−Ｌおよび複素サブバンド信号ｃｓｕｂ−Ｒからその信号の音の大きさを求め、図５に示したゲイン調査・調節回路２５へと供給する。

ここで、音の大きさを求める手法は幾つか考えられるが、ここでは一例を示す。ここで、時間ωにおける複素サブバンド信号ｃｓｕｂ−Ｌとｃｓｕｂ−ＲとをそれぞれＬ(ω)、Ｒ(ω)とした場合、時間ωにおける複素サブバンド信号ｃｓｕｂ−Ｌと複素サブバンド信号ｃｓｕｂ−Ｒとのレベルｍａｇ（ω）は、次の[数２]により与えられる。但し、Ｒｅ（ｘ）は複素数ｘの実部を、Ｉｍ（ｘ）はｘの虚部を表す。

このようにして、定位角度・レベル算出回路２２（１）〜２２（ｎ）のそれぞれにおいては、供給されるサブバンド信号ｓｕｂ−Ｌ、ｓｕｂ−Ｒとに基づいて、定位角度（分離角度）と信号レベルとが求められる。

［ゲイン調査・調節回路２５の処理方式について］
次に、図５に示したように構成される音声信号処理部２のゲイン調査・調節回路２５における処理方式について説明する。

ゲイン調査・調節回路２５では、システムコントローラ４からの分離角度指示信号Ｓ１と音量バランス指示信号Ｓ２とに基づいて、指示された角度内の音源の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）と指示された角度外の音源の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）を求める処理と、指示された角度内の音源の音声信号と指示された角度外の音源の音声信号との音量バランスを調査し、指示された角度内の音源の音声信号に対するゲイン値Ｇｉおよび指示された角度外の音源の音声信号に対するゲイン値Ｇｏを決定する処理と、各サブバンド毎のゲイン値を決定する処理の３つの処理を行う。

まず、各々定位角度・レベル算出回路２２（１）〜２２（ｎ）からの各サブバンドの定位角度情報と図１に示したシステムコントローラ５からの分離角度指示信号Ｓ１により、各サブバンド信号が指示された角度内の音源の音声信号か否かを判別し、指示された角度内の音源の音声信号であれば角度内の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）に、また、指示された角度外の音源の音声信号であれば角度外の音声信号のレベル和（ｓｕｍ＿ｏｕｔｅｒ）に、該当する各々定位角度・レベル算出回路２２（１）〜２２（ｎ）からのレベル値を加算する。この処理を全てのサブバンドの定位角度情報およびレベル情報に対して行う事で指示された角度内の音源の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）と指示された角度外の音源の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）を求めることが可能となる。

次に、音量バランスを調査する手法は幾つか考えられるが、ここでは一つ目の内部構成例と同様の手法を用いる。すなわち、所定の角度内の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）、所定の角度外の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）を例えば各々５秒間監視し、その間における、所定の角度内の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と、所定の角度外の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）を算出する。

そして、ゲイン調査・調節回路２５は、所定の角度内の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）の音量ピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と所定の角度外の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）の音量ピーク値（ｐｅａｋ＿ｏｕｔｅｒ）との比と、図１に示したシステムコントローラ４からの音量バランス指示信号Ｓ２により所定の角度内の音声信号に対するゲイン値Ｇｉおよび所定の角度外の音声信号に対するゲイン値Ｇｏを決定する。

この際、即時に音量バランスを目的とするバランスに調整してもよいが、音量バランスを変化させる時間として例えば５秒などのように遷移時間を設け、その間に徐々に音量バランスを遷移させることにより音量バランスの急激な変化を避け、ユーザに違和感を抱かせないようにすることができることが第１の例の音声信号処理部２と同様である。

また、定位角度内の音声信号に対するゲイン値Ｇｉと、定位角度外の音声信号に対するゲイン値Ｇｏとを決定する際には、入力信号全体の音量と出力信号全体の音量が聴感上変化しないよう留意する必要があることも第１の例の音声信号処理部２と同様である。

最後に、サブバンド信号が指示された角度内の音源の音声信号であればゲイン値Ｇｉを、指示された角度外の音源の音声信号であればゲイン値Ｇｏを各ゲイン器２３（１）〜２３（ｎ）へ供給する。これにより、上述したように、ゲイン器（１）〜ゲイン器（ｎ）のそれぞれにおいて、供給されるサブバンド信号に対して、指定するようにされるゲイン値が乗算されて、ゲイン調整が行われ、最終的に合成フィルタバンク２４Ｌ、２４Ｒにおいてまとめられて、所定の角度内と角度外とで音量バランスが調整された出力音声信号が生成される。

次に、この発明による第１の実施の形態のソフトウェアでの他の実装例について説明する。図７、図８は、図５、図６を用いて説明した音声信号処理部２が用いられて形成された、この発明による第１の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図７、図８に示す処理もまた、操作部５やリモートコマンダ１０及びコマンド受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、図５、図６を用いて説明したように構成される音声信号処理部２とシステムコントローラ４とが協働して実行する処理である。

まず、再生装置１００のシステムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ２０１）。上述もしたように、例えば、再生対象の音声信号がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようにしている。

すなわち、ステップＳ２０１の判断処理において、肯定結果が得られると次のステップＳ２０３へ移るのに対し、ステップＳ２０１の判断処理において、否定結果が得られると、このことは音声信号処理部２が再生対象の音声信号に対して処理を実行することができないことを示しているので、ステップＳ２０２の処理に移ることになる。

したがって、ステップＳ２０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ２０２）。

ステップＳ２０２の処理の後には、または、ステップＳ２０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ４は、音声信号処理部２に対して、分離角度指示信号Ｓ１と、音量バランス指示信号Ｓ２とを供給すると共に、音声信号処理部２において、Ｌｃｈの音声信号とＲｃｈの音声信号とについて、複数バンド（複数の周波数帯域）に分割する（ステップＳ２０３）。

すなわち、ステップＳ２０３の処理は、図５に示したように構成される音声信号処理部２の分析フィルタバンク２１Ｌ、分析フィルタバンク２１Ｒが、それぞれ入力されるＬｃｈの音声信号、Ｒｃｈの音声信号をｎ個の周波数帯域に分割し、それぞれサブバンド信号ｓｕｂ１−Ｌ〜ｓｕｂｎ−Ｌ、サブバンド信号ｓｕｂ１−Ｒ〜ｓｕｂｎ−Ｒを生成する動作に相当する。

次に、音声信号処理部２においては、分割したＬｃｈの音声信号と、Ｒｃｈの音声信号をフーリエ変換する（ステップＳ２０４）。すなわち、このステップＳ２０４の処理は、図６に示した、定位角度・レベル算出回路２２（１）〜２２（ｎ）内のフーリエ変換器２２１Ｌ、各フーリエ変換器２２１Ｒが、それぞれ入力されるサブバンド信号ｓｕｂ−Ｌ、ｓｕｂ−Ｒについてフーリエ変換処理を施すものである。

なお、上述もしたように、ステップＳ２０３において、サブバンド信号ｓｕｂ−Ｌ、ｓｕｂ−Ｒのそれぞれがすでに複素サブバンド形式に変換されている場合は、ステップＳ２０４の処理は必要とせず、ステップＳ２０４の処理をバイパスしてそのままステップＳ２０５の処理へと進む。

そして、音声信号処理２において、分割されたバンド（周波数帯域）ごとにＬｃｈの音声信号とＲｃｈの音声信号の定位角度およびレベルを算出する（ステップＳ２０５）。すなわち、このステップＳ２０５の処理は、図６に示したように構成される定位角度・レベル算出回路２２（１）〜２２（ｎ）のそれぞれの定位角度算出器２２２と、レベル算出器２２３とにおいて、各サブバンド信号ｓｕｂ−Ｌ、ｓｕｂ−Ｒの定位角度と信号レベルとを算出する処理である。

次に、音声信号処理部２は、バンドごとに求めた定位角度とシステムコントローラ４からの分離角度指示信号Ｓ１を比較する事で、指示された角度内の音源の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）と指示された角度外の音源の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）を求める（ステップＳ２０６）。このステップＳ２０６の処理は、図５に示したように構成される音声信号処理部２のゲイン調査・調節回路２５において行われる処理の１つである。

そして、図８に示すステップＳ２０７の処理に進み、音声信号処理部２は、ステップＳ２０６で求めた、指示された角度内の音源の音声信号のレベルの和（ｓｕｍ＿ｉｎｎｅｒ）と指示された角度外の音源の音声信号のレベルの和（ｓｕｍ＿ｏｕｔｅｒ）とシステムコントローラ４からの音量バランス指示信号Ｓ２に従い、指示された角度内の音源の音声信号に対するゲイン値Ｇｉおよび指示された角度外の音源の音声信号に対するゲイン値Ｇｏを求める（ステップＳ２０７）。

この後、音声信号処理部２は、バンドごとにサブバンド信号ｓｕｂ−Ｌ、ｓｕｂ−Ｒが、指示された角度内の音源の音声信号であればゲイン値Ｇｉを、指示された角度外の音源の音声信号であればゲイン値Ｇｏを与える（ステップＳ２０８）。このステップＳ２０８の処理は、図６に示したように構成される音声信号処理部２のゲイン調査・調節回路２５が算出したゲイン値Ｇｉ、または、ゲイン値Ｇｏをゲイン器２３（１）〜２３（ｎ）に対して供給し、サブバンド信号のそれぞれのゲイン調整を行うようにするものである。

そして、音声信号処理部２は、各バンドのＬｃｈ信号、各バンドのＲｃｈ信号をそれぞれ合成して出力する（ステップＳ２０９）。すなわち、図５に示した合成フィルタバンク２４Ｌがゲイン器２３（１）〜２３（ｎ）から供給される各バンドのＬｃｈ信号を入力してこれらを合成して出力し、また合成フィルタバンク２４Ｒがゲイン器２３（１）〜２３（ｎ）から供給される各バンドのＲｃｈ信号を入力してこれらを合成して出力する。

これによって合成フィルタバンク２４Ｌ、合成フィルタバンク２４Ｒからは、先にも説明したように分離角度指示信号Ｓ１により指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号の音量バランスが聴取者の嗜好を反映されたものとして再現できる音声信号Ｌｅｘ、音声信号Ｒｅｘが出力される。

この後、システムコントローラ４は、続いてオーディオ信号処理部３に入力される次のオーディオ信号が存在するか否かを判定し（ステップＳ２１０）、否定結果が得られた場合、処理を行うべき対象が存在しないため、この図７、図８に示す処理を終了する。これに対して、ステップＳ２１０で肯定結果が得られると、このことは次に処理を行うべき次のオーディオ信号が存在することを表しており、システムコントローラ４は、再度ステップＳ２０１へ戻って当該ステップＳ２０１以降の処理を繰り返す。

このように、音声信号処理部２を図５に示したように構成した場合であっても、図５を用いて説明した構成を有する音声信号処理部２とシステムコントローラ４とが協働することにより、例えば、ユーザから予め指示される分離角度と音量バランスとを示す情報に基づいて、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供することができるようにしている。

なお、図３を用いて説明した音声信号処理部２の第１の構成例の場合には、音量バランス調節回路２３において、［数１］を用いて音量バランスの調節を行うことによって、Ｌｃｈの出力音声信号と、Ｒｃｈの出力音声信号とを形成して出力するようにしたが、これ以外の音量バランスの調節方法を用いるようにしてもよい。例えば、上述の［数１］とは異なる計算式を用いるようにしてもよい。

また、図３を用いて説明した音声信号処理部２の第１の構成例の場合には、分離処理回路２１において、指示された角度内の音源の音声信号をＬｉ、Ｒｉと２チャンネルにて出力したが、これに限るものではない。１チャンネル以上であればいくつであってもよい。したがって、１チャンネルであってもよい。

また、図３を用いて説明した音声信号処理部２の第１の構成例の場合には、例えば５．１ｃｈ入力であって、元々指示された分離角度に基づいて入力チャンネルが分かれているような場合、分離処理回路は必要ないためこれを省略してもよい。

また、図５を用いて説明した音声信号処理部２の第２の構成例の場合には、レベル算出器２２３において、[数２]を用いて音の大きさを求めたが、これ以外の方式であってもよい。またレベル算出器２２３の入力を複素サブバンド信号としたが、サブバンド信号を用いて音の大きさを求めてもよい。

また、上述した第１の実施の形態の再生装置１００においては、音量バランス調整動作の実現にあたり、音声信号処理部２を図４に示した動作、または、図７、図８に示した動作を主にハードウェアにより行う場合について説明した。しかし、これに限るものではない。上述もしたように、図４に示した動作、または、図７、図８に示した動作の一部又は全部をソフトウェア処理により実現することももちろん可能である。

その場合、上述もしたように、主にシステムコントローラ４において実行するプログラムを作成し、システムコントローラ４が音声信号処理部２が制御して処理を実行するようにしてもよい。

また、音声信号処理部２をＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータの構成とし、図４に示した対応する処理、または、図７、図８に示した対応する処理を実行するためのプログラムをＲＯＭに格納しておき、これを音声信号処理部２において実行するようにすることも可能である。

また、これまでの説明では、音量バランスを調査するためにある時間（例えば５秒）監視し、その音量ピーク値や［数２］に示したレベルの和を用いてきたが、音量ピーク値ではなく、音の大きさを示すデシベルの平均値や、ＰＣＭ信号の場合サンプル値の絶対値を平均した値など、音量ピーク値以外であってもよい。

また、上述した第１の実施の形態においては、音量バランスを変化させる遷移時間を設けたが（例えば５秒）、上述もしたとおり、遷移時間は必ずしも設ける必要はなく、即座に目的とするバランスに調整するようにしてもよい。また、遷移時間を設ける場合であっても、例えば２分などのように、比較的に長い遷移時間を設定し、時間を掛けて音量バランスを遷移させるようにしてもよい。

また、上述した実施の形態においては、入力音声信号、出力音声信号とも２ｃｈの場合を例にして説明したが、これに限るものではない。２ｃｈ以上であれば何チャンネルであってもよく、例えば入力２ｃｈ、出力４ｃｈというように、入力と出力とてチャンネル数が異なる場合であっても、この発明を適用できる。

また、音量バランスを調整する代わりに、所定の定位角度範囲内の信号をユーザに近い位置に定位するよう信号処理を施すようにしたり、所定の定位角度範囲外の信号をユーザから遠い位置に定位するよう信号処理を施すようにしたりするなど、何らかの信号処理を施す事により聴感上においての音量バランスの調整を施してもよい。さらには、これらを組み合わせてもよい。

また、所定の定位角度範囲内の信号と所定の定位角度範囲外の信号の音量バランス情報を、音声データに重畳するようにしたり、あるいは、時間情報と共に外部データとして再生対象の音声信号が記録された記録媒体や、あるいは、再生装置１００のＥＥＯＲＯＭなどに書き込むようにしたりするなどして保持しておき、再生時にこれらの情報を元に音量バランスの調整を行うようにすることももちろん可能である。

このように、この第１の再生装置１００は、ユーザからの分離角度と音量バランスの指示を受けて、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供する手法およびこの機能を有するものである。

［第２の実施の形態］
次に、この発明による第２の実施の形態について説明する。以下に説明する第２の実施の形態においても、上述した第１の実施の形態の場合と同様に、この発明による装置、方法、プログラムを音声信号の再生装置（以下、単に再生装置という。）に適用した場合を例にして説明する。

［再生装置２００の構成と動作について］
この第２の実施の形態の再生装置２００は、ユーザからの音源の種類と音量バランスの指示を受けて、指示された音源の音声信号とそれ以外の音源の音声信号との各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供するようにするものである。

図９は、この第２の実施の形態の再生装置２００を説明するためのブロック図である。なお、図９に示した第２の実施の形態の再生装置２００おいて、図１を用いて説明した第１の実施の形態の再生装置１００と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明については省略する。

すなわち、図９に示すように、この第２の実施の形態の再生装置２００は、図１に示した第１の実施の形態の再生装置１００の場合と同様に、メディア再生部１、Ｄ／Ａコンバータ（Digital/Analog Converter）３、操作部５、コマンド受信部６、画面表示部７を備えると共に、リモートコマンダ１０を通じて遠隔制御することができるものである。

しかし、音声信号処理部７の構成と動作、および、システムコントローラ８の動作が、第１の実施の形態の再生装置１００の音声信号処理部２、システムコントローラ４とは異なるものである。なお、システムコントローラ８自体の構成は、図１に示した第１の実施の形態の再生装置１００のシステムコントローラ４の場合と同様に、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、ＥＥＰＲＯＭ４４がＣＰＵバス４５を通じて接続されて形成されたマイクロコンピュータである。

そして、この第２の実施の形態の再生装置２００においても、メディア再生部１を通じて再生されたＬｃｈの音声信号とＲｃｈの音声信号とは、音声信号処理部７に供給される。音声信号処理部７は、メディア再生部１からのＬｃｈの音声信号とＲｃｈの音声信号と、後述するシステムコントローラ８からの音源種類指示信号Ｓ３および音量バランス指示信号Ｓ２とに応じ、指示された音源の音声信号とそれ以外の音源の音声信号各々について所要の音声信号処理を施すように構成される。そして、音声信号処理を施したＬｃｈの音声信号ＬｅｘとＲｃｈの音声信号ＲｅｘをＤ／Ａコンバータ３に供給する。なお、この第２の実施の形態の再生装置２００の音声信号処理部７の詳細については後述する。

音声信号処理部７からの音声信号Ｌｅｘ、Ｒｅｘは、Ｄ／Ａコンバータ３にてＤ／Ａ変換が施され、アナログ音声信号とされたＬｃｈの出力音声信号とＲｃｈの出力音声信号とが出力するようにされている。

この第２の実施の形態の再生装置２００のリモートコマンダ１０上には、図２を用いて説明した第１の実施の形態の再生装置１００のリモートコマンダ１０の場合と同様に、方向指示のための操作子１０ａ、１０ｂ、１０ｃ、１０ｄが備えられている。この第２の実施の形態の再生装置２００においても、ユーザは、右方向キー１０ａ、または、左方向キー１０ｂを操作することにより、再生装置１に対し分離する音源の種類を指示入力することができる。また、ユーザは、上記上方向キー１０ｃ、または、下方向キー１０ｄを操作することにより、再生装置２００に対し分離した音源の音声信号とそれ以外の音源の音声信号の音量バランスを指示入力することができる。

システムコントローラ８は、リモートコマンダ１０の右方向キー１０ａ、左方向キー１０ｂの操作に応じて、当該リモートコマンダ１０から送出され、コマンド受信部６を通じて受け付けたコマンド信号に応じて、音声信号処理部７に供給すべき音源種類指示信号Ｓ３を生成する。すなわち、音源種類指示信号Ｓ３は、右方向キー１０ａ、左方向キー１０ｂの操作により指示入力される音源種類を表すための情報である。

また、システムコントローラ８は、リモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄの操作に応じて、当該リモートコマンダ１０から送出去れ、コマンド受信部６を通じて受け付けたコマンド信号に応じて、音声信号処理部７に供給すべき音量バランス指示信号Ｓ２を生成する。すなわち、音量バランス指示信号Ｓ２は、第１の実施の形態の再生１００の場合と同様に、上方向キー１０ｃ、下方向キー１０ｄの操作により指示入力される音量バランスを表すための情報である。

このように、この第２の実施の形態の再生装置は、ユーザからのリモートコマンダ１０を介して入力される音源種類の指示と音量バランスの指示とに基づいて、指示された音源の音声信号とそれ以外の音源の音声信号との各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供する処理である。なお、音源種類の指示と音量バランスの指示とは、システムコントローラ８のＥＥＰＲＯＭなどの記憶保持し、音声信号の再生時において繰り返し利用することができるようにされる。

［音声信号処理部７の構成例と動作について］
次に、この第２の実施の形態の再生装置２００の音声信号処理部７の構成例と動作について説明する。図１０は、この第２の実施の形態の音声信号処理部７を説明するためのブロック図である。なお、説明を簡単にするため、図１０に示した音声信号処理部７において、図３を用いて説明した第１の実施の形態で用いた音声信号処理部２と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明については省略する。

そして、この第２の実施の形態の再生装置２００で用いられる音声信号処理部７は、図１０に示すように、音源分離処理回路７１と、音量バランス調査回路２２と、音量バランス調節回路２３とを備えたものである。図１０に示すように、音源分離処理回路７１には、Ｌｃｈの音声信号とＲｃｈの音声信号とが供給される。

音源分離処理回路７１は、図９に示したシステムコントローラ８からの音源種類指示信号Ｓ３の供給を受けて、これに従い、指定の音源の音声信号Ｌｉ、Ｒｉとそれ以外の音源の音声信号Ｌｏ、Ｒｏとに分離し、これらを音量バランス調査回路２２および音量バランス調節回路２３へと出力する。

音源分離処理回路７１は、指定の音源の音声信号とそれ以外の音源の音声信号に分離する機能を持つ回路であれば何でもよい。例えば、音源種類として声（人の声）が指定された場合、入力信号から音声（人の声）部分の信号と非音声（人の声でない）部分の信号とを識別する音声-非音声判別技術を用いるようにすることができる。

より具体的には、複数の音声モデルデータを音声信号処理部７内、あるいは、システムコントローラ８内のメモリに記憶保持しておくようにし、入力音声信号（入力音響信号）と音声モデルデータとの照合により、音声か否かを判断するためのスコアを算出し、このスコアを、入力音声信号についての推定したＳ／Ｎ比（Signal to Noise Ratio）で補正し、この補正したスコアを用いて、人の声部分かそうでないかを判別し、入力音声信号について、人の声の部分とそれ以外の部分とに分離することができる。したがって、男性の話音声の音声モデルデータと女性の話音声の音声モデルデータとを用意しておくことにより、人の声の部分であっても、男性の声の部分と、女性の声の部分とを分離するなどのこともできる。

また、人の声だけでなく、種々の楽器などについても、種々の音源モデルデータを記憶保持しておき、再生対象の楽曲データ（入力音声信号）と、音源モデルデータとを照合し、目的とする楽器部分の音声信号と、それ以外の楽器の音声信号とを分離することもできる。このように、種々の音源モデルデータを記憶保持するメモリ手段と、入力音声信号（入力音響信号）と、音源モデルデータとを照合し類似度を算出する照合手段と、算出した類似度に応じて音声信号の分離処理を行う分離手段とを備えることにより、音源分離処理回路を構成することができる。

そして、Ｌｃｈの音声信号においての目的する音源の音声信号Ｌｉとそれ以外の音源の音声信号Ｌｏと、Ｒｃｈの音声信号においての目的する音源の音声信号Ｒｉとそれ以外の音源の音声信号Ｒｏとが、音量バランス調査回路２２と、音量バランス調節回路２３とに供給される。

音量バランス調査回路２２は、図３を用いて説明したように、目的とする音声信号とそれ以外の音声信号との音量バランスを調査し、システムコントローラ８からの音量バランス指示信号Ｓ２に応じて、目的とする音声信号に対するゲイン値Ｇｉと、目的とする音声信号以外の音声信号に対するゲイン値Ｇｏとを決定し、これらを音量バランス調節回路２３に供給する。

具体的には、図１０に示したように、音量バランス調査回路２２は、音源分離処理回路７１において分離処理されたＬｃｈの目的とする音源の音声信号Ｌｉと、Ｒｃｈの目的とする音源の音声信号Ｒｉと、Ｌｃｈの目的とする音源以外の音声信号Ｌｏと、Ｒｃｈの目的とする音源以外の音声信号Ｒｏとの供給を受けて、目的とする音源の音声信号と、それ以外の音源の音声信号との音量バランスを調査し、システムコントローラ４からの音量バランス指示信号Ｓ２に従い、目的とする音源の音声信号とそれ以外の音源の音声信号とが好適な音量バランスとなるように、目的とする音源の音声信号に対するゲイン値Ｇｉと、それ以外の音源の音声信号に対するゲイン値Ｇｏとを決定し、これらを音量バランス調節回路２３に供給する。

音量バランス調節回路２３は、図３を用いて説明したように、目的とする音声信号とそれ以外の音声信号とのそれぞれに音量バランス調査回路２２からのゲイン値Ｇｉ、Ｇｏを乗算して、ゲイン調整し、ゲイン調整後の出力音声信号Ｌｅｘ、Ｒｅｘを出力する。

具体的には、図１０に示したように、音量バランス調節回路２２は、音源分離処理回路７１において分離処理されたＬｃｈの目的とする音源の音声信号Ｌｉと、Ｒｃｈの目的とする音源の音声信号Ｒｉと、Ｌｃｈの目的とする音源以外の音声信号Ｌｏと、Ｒｃｈの目的とする音源以外の音声信号Ｒｏと、音量バランス調査回路２２からの目的とする音源の音声信号に対するゲイン値Ｇｉと、目的とする音源以外の音声信号に対するゲイン値Ｇｏとの供給を受けて、上述した［数１］に従った演算を行って、Ｌｃｈの出力音声信号ＬｅｘとＲｃｈの出力音声信号Ｒｅｘとを生成し、これらを出力する。

このようにして、ユーザからのリモートコマンダ１０を介して入力される音源種類の指示と音量バランスの指示とに基づいて、指示された音源の音声信号とそれ以外の音源の音声信号との各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供することができるようにしている。

次に、この発明による第２の実施の形態のソフトウェアでの実装例について説明する。図１１は、図１０に示した構成の音声信号処理部７が用いられて形成された、この発明による第２の実施の形態の再生装置２００で行われる処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図１１に示す処理は、操作部５やリモートコマンダ１０及びコマンド受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、図１０を用いて説明したように構成される音声信号処理部７とシステムコントローラ８とが協働して実行する処理である。そして、図１１に示すステップＳ３０１、ステップＳ３０２の処理は、第１の実施の形態の図４に示したステップＳ１０１、ステップＳ１０２の処理と同様に行われる処理である。

まず、再生装置２００のシステムコントローラ８は、音声信号処理部７を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ３０１）。例えば、再生対象の音声信号がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようにしている。

ステップＳ３０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ８は、音声信号処理部７を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ３０２）。

ステップＳ３０２の処理の後には、または、ステップＳ３０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ８は、音声信号処理部７に対して、音源種類指示信号Ｓ３と、音量バランス指示信号Ｓ２とを供給し、音声信号処理部７において、音源種類指示信号Ｓ３により指示された音源の音声信号Ｌｉ、Ｒｉと、指示された音源以外の音源の音声信号Ｌｏ、Ｒｏとに分離する処理を行うようにする（ステップＳ３０３）。このステップＳ３０３においての処理は、図１０に示したように構成される音声信号処理部７の音源分離処理回路２１において行われる処理である。

次に、音声信号処理部７は、ＬｃｈとＲｃｈの所定の角度内の音源の音声信号Ｌｉ、Ｒｉの和信号のピーク値（ｐｅａｋ＿ｉｎｎｅｒ）と、ＬｃｈとＲｃｈの所定の角度外の音源の音声信号Ｌｏ、Ｒｏの和信号のピーク値（ｐｅａｋ＿ｏｕｔｅｒ）とを測定し、これらの値とシステムコントローラ５からの音量バランス指示信号Ｓ２に従い、ＬｃｈとＲｃｈの所定の角度内の音源の音声信号Ｌｉ、Ｒｉに対するゲイン値ＧｉおよびＬｃｈとＲｃｈの所定の角度外の音源の音声信号Ｌｏ、Ｒｏに対するゲイン値Ｇｏを決定する（ステップＳ３０４）。このステップＳ３０４においての処理は、図１０に示したように構成される音声信号処理部７の音量バランス調査回路２２において行われる処理である。

そして、音声信号処理回路７は、上述の［数１］に示した計算式を用いて、Ｌｃｈの目的とする音源の音声信号Ｌｉ、Ｌｃｈの目的とする音源以外の音源の音声信号Ｌｏ、目的とする音源の音声信号に対するゲイン値Ｇｉ、目的とする音源以外の音源の音声信号に対するゲイン値ＧｏからＬｃｈの出力音声信号Ｌｅｘを求め、Ｒｃｈの目的とする音源の音声信号Ｒｉ、Ｒｃｈの目的とする音源以外の音源の音声信号Ｒｏ、目的とする音源の音源の音声信号に対するゲイン値Ｇｉ、目的とする音源以外の音源の音声信号に対するゲイン値ＧｏからＲｃｈの出力音声信号Ｒｅｘを求めて出力する（ステップＳ３０５）。このステップＳ３０５においての処理は、図１０に示したように構成される音声信号処理部７の音量バランス調節回路２３において行われる処理である。

このようにして生成される出力音声信号Ｌｅｘ、Ｒｅｘは、目的とする音源の音声信号と、それ以外の音源の音声信号との音量バランスが、予め指示するようにされる情報に応じて調整され、聴取者の嗜好を反映した状態となっている。

そして、システムコントローラ８は、続いて音声信号処理部７に入力される次の音声信号が存在するか否かを判定し（ステップＳ３０６）、否定結果が得られた場合、処理を行うべき対象が存在しないため、この図１１に示す処理を終了する。また、ステップＳ３０６の判定処理において、肯定結果が得られた場合には、このことは次に処理を行うべき次の音声信号が存在することを表しており、再度ステップＳ３０１へ戻って当該ステップＳ３０１以降の処理を繰り返す。

このようにして、図１０を用いて説明した構成を有する音声信号処理部７とシステムコントローラ８とが協働することにより、例えば、ユーザから予め指示される音源の種類と音量バランスとを示す情報とに基づいて、指示された目的とする音源の音声信号とそれ以外の音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節することで毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供することができるようにしている。

このように、この第２の実施の形態の再生装置２００は、ユーザからの音源の種類と音量バランスの指示を受けて、指示された音源の音声信号とそれ以外の音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供する手法およびこの機能を有するものである。

［第３の実施の形態］
上述した第１、第２の実施の形態は、この発明を音声信号の再生装置に適用し場合を例にしたものである。しかし、この発明は、再生装置だけでなく音声信号の記録装置にも適用することができるものである。ここでは、この発明の音声信号の記録再生装置（以下、単に記録再生装置という。）に適用した場合を例にして説明する。

そして、以下に説明するこの第３の実施の形態の記録再生装置は、その記録系に、図１〜図８を用いて説明した第１の実施の形態の再生装置１００に適用した発明と同様の発明を適用することによって、集音して記録媒体に記録する音声信号について、ユーザからの分離角度と音量バランスの指示を受けて、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスで音声信号を記録媒体に記録できるようにするものである。

図１２は、この第３の実施の形態の記録再生装置３００を説明するためのブロック図である。図１２において、図１に示した第１の実施の形態の再生装置１００と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明については省略する。

図１２に示すように、この第３の実施の形態の記録再生装置３００は、左右２チャンネルのマイクロホン３０１Ｌ、３０１Ｒと、アンプ部３０２と、書き込み処理部３０３と、記録媒体ドライブ３０４と、読み出し処理部３０５と、再生処理部３０６と、操作部３０７と、コマンド受信部３１０と、リモートコマンダ３１０と、音声信号処理部２と、システムコントローラ４とを備えたものである。

上述もしたように、音声信号処理部２と、システムコントローラ４は、図１に示した第１の実施の形態の再生装置１００の対応する部分と同様に構成され同様の機能を実現するものである。また、操作部３０７、コマンド受信部３０８、リモートコマンダ３１０もまた、図１に示した第１の実施の形態の再生装置１００においての、操作部５、コマンド受信部６、リモートコマンダ１０と同様に構成され、同様の機能を実現するものであるが、音声信号の記録指示や、記録する音声信号に対する種々の調整処理等をも受け付けることができるものである。

したがって、この第３の実施の形態の記録再生装置３００の場合にも、システムコントローラ４は、リモートコマンダ３１０およびコマンド受信部３０８を通じて、ユーザからの分離角度と音量バランスとの指示入力を受け付けることができるものである。そして、音声信号の記録処理時において、システムコントローラ４は、ユーザからの先の指示入力
に応じて、分離角度指示信号Ｓ１と、音量バランス指示信号Ｓ２とを形成して、これらを音声信号処理部２に供給することができるものである。

そして、左右２チャンネルのマイクロホン３０１Ｌ、３０１Ｒを通じて集音され、電気信号に変換されたＬｃｈとＲｃｈの音声信号のそれぞれは、アンプ部３０２に供給され、ここで増幅処理された後に、音声信号処理部２に供給される。

音声信号処理部２は、第１の実施の形態の再生装置１００において説明したように、これに供給されるＬｃｈとＲｃｈとの音声信号について、分離角度指示信号Ｓ１に応じて、所定の角度内の音声信号と所定の角度外の音声信号とに分離すると共に、所定の角度内の音声信号の音量レベルと所定の角度外の音声信号の音量レベルとを調査する。

そして、音声信号処理部２は、調査した所定の角度内の音声信号の音量レベルと所定の角度外の音声信号の音量レベルと、システムコントローラ４からの音量バランス指示信号Ｓ２に基づいて、所定の角度内の音声信号に対するゲイン値Ｇｉと所定の角度外の音声信号に対するゲイン値Ｇｏを決定する。

この後、音声信号処理部２は、所定の角度内の音声信号に対してはゲイン値Ｇｉを用いてゲイン調整し、所定の角度外の音声信号に対してはゲイン値Ｇｏを用いてゲイン調整することにより、Ｌｃｈの出力音声信号ＬｅｘとＲｃｈの出力音声信号Ｒｅｘとを形成し、これを出力する。

音声信号処理部２から出力されるＬｃｈの出力音声信号ＬｅｘとＲｃｈの出力音声信号Ｒｅｘとは、書き込み処理部３０３に供給され、ここで記録媒体に記録する形式の信号ＷＳに変換された後に、記録媒体ドライブ３０４に供給され、記録媒体ドライブ３０４に装填されている所定の記録媒体に記録される。

ここで記録媒体ドライブ３０４は、種々の記録媒体のものを用いることができる。例えば、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）、或いはブルーレイディスク（Blu-Ray Disc）などの光ディスク記録媒体を用いる光ディスクドライブや、ＭＤ（Mini Disc（登録商標））などの光磁気ディスクを用いる光磁気ディスクドライブや、ハードディスクなどの磁気ディスクを用いる磁気ディスクドライブや、半導体メモリを内蔵した半導体メモリドライブなどである。

このようにして、この第３の実施の形態の記録再生装置３００は、マイクロホン３０１Ｌ、３０１Ｒを通じて集音した音声信号について、指示された定位角度内の音源の音声信号と、指示された定位角度外の音声信号に対して、指示された音量バランスとなるように調整して、調整後の音声信号を記録媒体ドライブ３０４の記録媒体に記録することができるようにしている。

そして、記録媒体ドライブ３０４の記録媒体に記録された音声信号は、システムコントローラ４に制御される読み出し処理部３０５の機能により、当該記録媒体が読み出すことができるようにされる。読み出し処理部３０５によって記録媒体から読み出される音声信号ＲＳは、再生処理部３０６に供給され、ここで、Ｌｃｈの音声信号とＲｃｈの音声信号とに分離されると共に、増幅処理されるなどして出力音声信号Ｌ、Ｒが形成され、これらか出力され、例えばスピーカに供給されて、出力音声信号Ｌ、Ｒに応じた音声が放音するようにされる。

この場合、記録媒体ドライブ３４の記録媒体に記録されている音声信号は、上述したように、音声信号処理部２において、システムコントローラ９からの分離角度指示信号Ｓ１、音量バランス指示信号Ｓ２とに応じて、所定の角度内の音声信号と所定の角度外の音声信号とで、ユーザの嗜好に合うように音声バランスが調整されて記録されたものであるので、再生時にはそのまま再生するだけで、ユーザの嗜好に合うように音声バランスが調整された音声信号を再生して聴取することができる。すなわち、再生時において、音声バランスの調整を行うこともないようにすることができる。

なお、この第３の実施の形態の記録再生装置３００においても、音声信号処理部２は、図３を用いて説明したように構成することもできるし、図５を用いて説明したように構成することもできる。音声信号処理部２を図３に示したように構成した場合には、音声信号処理部２とシステムコントローラ４とが協働して行うべき処理は、図４を用いて説明した処理が行われることになる。また、音声信号処理部２を図５に示したように構成した場合には、音声信号処理部２とシステムコントローラ４とが協働して行うべき処理は、図７、図８を用いて説明した処理が行われることになる。

［第４の実施の形態］
以下に説明する第４の実施の形態は、上述した第３の実施の形態の場合と同様に、この発明を記録再生装置に適用するようにしたものである。

そして、以下に説明するこの第４の実施の形態の記録再生装置は、その記録系に、図９〜図１１を用いて説明した第２の実施の形態の再生装置２００に適用した発明と同様の発明を適用することによって、集音して記録媒体に記録する音声信号について、ユーザからの音源の種類と音量バランスの指示を受けて、指示された音源の音声信号と、それ以外の音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスで音声信号を記録媒体に記録できるようにするものである。

図１３は、この第４の実施の形態の記録再生装置４００を説明するためのブロック図である。図１３において、図９に示した第２の実施の形態の再生装置２００と同様に構成される部分には同じ参照符号を付し、その部分の詳細な説明については省略する。また、図１３において、図１２に示した第３の実施の形態の記録再生装置３００と同様に構成される部分にも同じ参照符号を付し、その部分の詳細な説明については省略する。

すなわち、図１３に示す第４の実施の形態の記録再生装置４００は、図１２に示した記録再生装置３００の音声信号処理部２とシステムコントローラ４とを、第２の実施の形態の再生装置２００で用いた音声信号処理部７、システムコントローラ８を用いるようにしたものである。

したがっいて、左右２チャンネルのマイクロホン３０１Ｌ、３０１Ｒで集音した音声信号を記録媒体ドライブ３０４の記録媒体に記録する場合において、システムコントローラ８は、リモートコマンダ３１０、コマンド受信部３０８を通じて受け付けたユーザからの音源種類指示、音量バランス指示に基づいて、音源種類指示信号Ｓ３と音量バランス指示信号Ｓ２とを生成し、音声信号処理部７に供給する。

音声信号処理部７は、システムコントローラ８からの音源種類指示信号Ｓ３に基づいて、左右のマイクロホン３０１Ｌ、３０１Ｒによって集音され、アンプ部３０２を通じて供給されるＬｃｈの音声信号とＲｃｈの音声信号とのそれぞれについて、指示された音源の音声信号と、それ以外の音声信号とに分離し、それらの音量バランスを調査する。

その上で、音声信号処理部８は、指示された音源の音声信号と、それ以外の音声信号との音量バランスの調査結果と、システムコントローラ８からの音量バランス指示信号Ｓ２とに応じて、指示された音源の音声信号についてのゲイン値Ｇｉと、指示された音源以外の音源の音声信号についてのゲイン値Ｇｏとを特定し、これらを用いて、指示された音源の音声信号と、指示された音源以外の音源の音声信号とのそれぞれについてゲイン調整を行うことによって、指示された音源の音声信号と、指示された音源以外の音源の音声信号との音量バランスをユーザの嗜好に合うように調整する。

このようにして、音量バランスが調整された、指示された音源の音声信号と指示された音源以外の音源の音声信号とは、書き込み処理部３０３を通じて記録媒体ドライブ３０４の記録媒体に記録することができるようにされる。

なお、記録媒体ドライブ３０４の記録媒体に記録された音声信号を再生する場合には、図１２を用いて説明した第３の実施の形態の記録再生装置３００の場合と同様にして読み出されて再生される。この場合、記録媒体ドライブ３４の記録媒体に記録されている音声信号は、上述したように、音声信号処理部２において、システムコントローラ９からの音源種類指示信号Ｓ３、音量バランス指示信号Ｓ２とに応じて、所定の音源の音声信号とそれ以外の音源の音声信号とで、ユーザの嗜好に合うように音声バランスが調整されて記録されたものであるので、再生時にはそのまま再生するだけで、ユーザの嗜好に合うように音声バランスが調整された音声信号を再生して聴取することができる。すなわち、再生時において、音声バランスの調整を行うこともないようにすることができる。

なお、上述した第３、第４の実施の形態の記録再生装置は、ＭＤ（Mini Disc（登録商標））の記録再生装置やＩＣレコーダやカセットテープレコーダなどの音声信号の記録再生装置や、ビデオカメラなどの映像・音声記録再生装置の音声係などに適用することができる。もちろん、音声信号処理機能を備えたパーソナルコンピュータなどの情報処理装置に適用することも可能である。

［ユーザからの指示入力を受け付ける場合の具体例１について］
上述した第１〜第４の実施の形態の装置においては、いずれの場合においても、ユーザからの分離角度と音量バランスの指示入力を、あるいは、音源種類と音量バランスの指示入力を受け付ける必要が生じる。ここでは、分離角度と音量バランスの指示入力を受け付ける場合を例にして、ユーザに対して提供するユーザインターフェイスの一例（具体例１）について説明する。

以下に説明する具体例１は、複数の音源が混合するようにされた２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現すると共に、これを参照しながら、目的とする分離角度（定位角度）と音量バランスの指示入力を行うことができるようにするものである。また、以下に説明する例においては、図１に示した第１の実施の形態の再生装置１００に、ここで説明するユーザインターフェイスを適用した場合を例にして説明する。

図１４は、ここで説明するユーザインターフェイスが適用された再生装置１００を説明するためのブロック図である。図１４に示した再生装置１００は、図１に示した再生装置１００のシステムコントローラ４に対して、画像表示部９を接続するようにしたものである。

そして、この例の音声信号処理部２は、メディア再生部１からのＬｃｈとＲｃｈとの音声信号について、予め決められる各周波数帯域における定位角度毎の音量値を調査し、その調査結果を後述するシステムコントローラ４へと供給することができるものである。また、音声信号処理部２は、ＬｃｈとＲｃｈの音声信号を、再生用の音声信号Ｌｅｘと音声信号Ｒｅｘとして、Ｄ／Ａコンバータ３に供給する。

なお、音声信号処理部２において用いることが可能な、２ｃｈの音声信号から各周波数帯域における定位角度毎の音量値を調査する方法としては種々のものが知られているが、例えば、先に提出した特願２００５−３２７２３７（整理番号０５９０５２９００３）の手法を用いることが可能である。

上記の特願２００５−３２７２３７では、音声信号を周波数帯域分割処理により所定の周波数帯域毎に分割し（例えば、サンプリング周波数が４４．１ｋＨｚの信号の場合、１０．７７Ｈｚ幅で、４０９６周波数帯域に分割し）、各々周波数帯域分割された音声信号の定位角度を調査することにより、或る角度に定位している音源の音声信号のみを抽出する、或いは消す、或いは音量を調整するなど、定位角度ごとに音源の調整を行う手法を提案した。この手法を用いる事で各周波数帯域における定位角度毎の音量値を調査する事が可能となる。

そして、システムコントローラ４は、上述したように、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を画面表示部９の表示画面に表示させるためのデータを生成し、これを画面表示部９に供給する。

画面表示部９は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子とそのコントロール回路とを備え、システムコントローラ４からの表示データの供給を受けて、これに応じて画像を表示素子の表示画面に表示させることができるものである。

したがって、再生装置１００は、操作部５やリモートコマンダ１０とコマンド受信部６を通じてメディア再生部１に装填された記録媒体に記録されている音声信号の再生が指示された場合には、システムコントローラ４は、メディア再生部１を制御して、目的とする音声信号を記録媒体から読み出し、音声信号処理部２、Ｄ/Ａコンバータ３を通じて再生するようにする。

そして、同時に、システムコントローラ４は、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部９に供給することにより、再生対象の音声信号に含まれる各音源についての情報を画面表示部９の表示画面に表示させることができるようにしている。

図１５は、画面表示部９の表示画面に表示される再生対象の音声信号に含まれる各音源についての情報の表示例を説明するための図であり、具体的には、予め決められた各周波数帯域における定位角度毎に存在する音源についての音量値を色の明るさで表した場合の例である。そして、図１５において、外枠は、画面表示部９の表示画面９Ｇを示している。そして、表示画面９Ｇには、再生対象の音声信号に含まれる各音源についての情報の表示領域である音量表示部９１が設けられる。

画面表示部９の表示画面９Ｇに表示される音量表示部９１は、図１５に示すように、横軸が各音源の音像の定位角度を、縦軸は周波数をそれぞれ示している。この例においては、横軸の定位角度は、中央を０°（０度）として、左右に６０°（６０度）づつの１２０°（１２０度）の範囲を持っている。また、縦軸の周波数は、０Ｈｚ〜８０００Ｈｚの範囲を持っている。

そして、図１５に示した例の場合、音量表示部９１において黒色の領域は音量が小さい成分の部分であり、白色の領域は音量が大きい成分の部分である。また、音量表示部９１において、上述もしたように、横軸は定位角度を表しており、左側に定位している音源の音声信号の音量値を左側に、右側に定位している音源の音声信号の音量値を右側に、中央に定位している音源の音声信号の音量値を中央に表すようにしている。また、音量表示部９１において、上述もしたように、縦軸は周波数を表しており、高周波帯域の音量値を上側に、低周波帯域の音量値を下側に、中周波帯域の音量値を中央に表すようにしている。

したがって、音量表示部９１において、右下の領域は右側に定位している低周波帯域の音量値を表す。すなわち、音量表示部９１において、横軸および縦軸および色の明るさという３つの要素を用いて定位角度および周波数および音量値の３つの成分を表している。また図１５において、表示９２、９３、９４は、対応する周波数の値を示し、表示９５、９６、９７は、対応する定位角度の値を表している。

そして、図１５の例の場合には、「０°」を中心にして、左右に６０°（±６０°）の範囲であって、周波数が４０００Ｈｚ以下の部分に、より特徴的には、左右に３０°（±３０°）の範囲であって、周波数が２０００Ｈｚ以下の部分に、音量値の大きな音源が存在していることが分かる。

そして、この例の再生装置１００のシステムコントローラ４は、ユーザからの操作入力に応じて、分離角度指示信号（定位角度範囲指示信号）Ｓ１と、音量バランス指示信号Ｓ２とを形成し、これらの指示信号Ｓ１、Ｓ２を音声信号処理部２に供給することができるものである。

システムコントローラ４は、ユーザからの操作入力を、操作部５を通じて、あるいは、リモートコマンダ１０とコマンド受信部６とを通じて受け付けることが可能であるが、ここでは、ユーザからの操作入力をリモートコマンダ１０とコマンド受信部６とを通じて受け付ける場合を例にして説明する。ここで、リモートコマンダ１０は、図２を用いて説明したように、ユーザからの指示入力を受け付ける操作子が設けられたものである。

そして、上述もしたように、再生装置１００においては、ユーザは、画面表示部９の表示画面９Ｇに表示される音源についての情報の表示を確認しながら、リモートコマンダ１０に設けられている方向指示のための操作子や決定のための操作子を用いて、分離角度（分離角度範囲）を指示すると共に、音量バランスを指示する。

システムコントローラ４は、これらの指示を受け付けて、受け付けた指示に応じて分離角度指示信号Ｓ１と、音量バランス指示信号Ｓ２とを生成し、これらを音声信号処理部２に供給する。これにより、音声信号処理部２においては、指示された分離角度内の音源の音声信号に対して、音量バランス指示信号Ｓ２をも考慮して決定されたゲインを乗じ、また、指示された分離角度外の音源の音声信号について音量バランス指示信号Ｓ２をも考慮して決定されたゲインを乗じ、ユーザの指示に応じてゲイン調整した音声信号を再生することができるようにしている。

以下、音量バランスを変化させる分離角度を設定する手順と、指定の範囲内および指定の範囲外の音量バランスを変更する手順とを、リモートコマンダ１０に対する操作と、これに応じて変化する画面表示部９の表示画面９Ｇの表示画像とを対応付けながら詳細に説明する。以下においては、図１６、図１７の分離角度を指定する場合においての表示画像の表示例を説明するための図をも参照しながら詳細に説明する。

まず、第一段階として、音声信号の再生処理の実行を開始し、画面表示部９の表示画面９Ｇの表示画像が図１５に示した状態にあるときに、所定の操作を行うことにより、図１６に示すように、開始点、終了点を指示するためのポインタ（指示子）Ｐを表示させ、右方向キー１０ａ、左方向キー１０ｂを操作して、選択する分離角度の範囲（以下、分離角度範囲という。）の開始点Ｓとなるべき位置にポインタＰを位置付け、実行キー１０ｅを押下することにより、開始点Ｓを決定する。この例において、分離角度範囲は、図１５の音量表示部９１において、その横方向に示すようにされている音像の定位角度範囲によって規定される範囲である。

すなわち、右方向キー１０ａを操作することにより定位角度範囲の開始点Ｓを右方向に移動し、左方向キー１０ｂを操作することにより定位角度範囲の開始点Ｓを左方向に移動し、実行キー１０ｅを操作することにより定位角度範囲の開始点Ｓを設定する。このように、現在位置を示すポインタＰを、音量表示部９１の表示領域上に重ねて表示することで開始点Ｓの指示をしやすくすることができるのである。

そして、開始点Ｓを決定した後、第二段階として、さらに右方向キー１０ａ、左方向キー１０ｂを操作することにより、図１７に示すように、ポインタＰを移動させることにより、選択する分離角度範囲（定位角度範囲）の終了点Ｅを指示し、実行キー１０ｅを操作しその終了点Ｅを決定する。

すなわち、右方向キー１０ａを操作することにより定位角度範囲の終了点Ｅを右方向に移動し、左方向キー１０ｂを操作することにより定位角度範囲の終了点Ｅを左方向に移動し、実行キー１０ｅを操作することにより定位角度範囲の終了点Ｅを設定する。

この際、システムコントローラ４がユーザからの指示入力に応じて表示データを形成し、これを画面表示部９に供給することにより、図１７に示すように、選択した開始点Ｓを含む縦線および指示している終了点Ｅを含む縦線を音量表示部９１上に重ねて表示することにより、指示するようにしている分離角度範囲（定位角度範囲）を視覚を通じて認識できるようにしている。さらに、システムコントローラ４が、音声信号処理部２を制御して、指示された範囲内の音源の音声信号のみを出力するようにすることにより、指示するようにしている定位角度範囲を聴覚を通じて認識できるようにしている。これらにより、ユーザが行う終了点Ｅの指示をしやすくすることができる。

上述のようにして、分離角度範囲（定位角度範囲）の開始点および終了点を設定した後、第三段階として、これら開始点Ｓ、終了点Ｅで指示された定位角度範囲内とその範囲外の音量バランスを、リモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄを操作することにより変化させる。

具体的には、例えば、現在の開始点Ｓ、終了点Ｅで指定された範囲内とその範囲外の音量バランス設定値が１：１である場合に、上方向キー１０ｃを操作する事により、その音量バランス値が１．１：０．９となり、また、例えば、現在の開始点Ｓ、終了点Ｅで指定された範囲内とその範囲外の音量バランス値が１：１である場合に、下方向キー１０ｄを操作する事により、その音量バランス値が０．９：１．１となるといった具合である。

以上説明したように、第一段階から第三段階までの一連の操作を行う事により、再生装置１００のユーザは、特定の分離角度（定位角度範囲）を選択し、その選択範囲内と選択範囲外との音量バランスを調整する機能を操作することが可能となる。すなわち、特定の定位角度範囲を選択し、その選択範囲内と選択範囲外と一方あるいは両方の音量調整を行うことにより、両範囲の音量バランスを調整することができる。

次に、この例のソフトウェアでの実装例について説明する。図１８、図１９は、この例の再生装置１００で行われる分離角度と音量バランスの指示入力の受付処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図１８、図１９に示す処理は、例えば、リモートコマンダ１０及びコマンド信号受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、音声信号処理部２とシステムコントローラ４と画面表示部９とが協働して実行する処理である。

まず、再生装置１００のシステムコントローラ４は、上述した第１の実施の形態の再生装置１００の場合と同様に、音声信号処理部２を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ５０１）。

ステップＳ５０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ５０２）。

ステップＳ５０２の処理の後には、または、ステップＳ５０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ４は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザによる音量バランスを調整する範囲の開始点Ｓの設定操作を受け付けている最中か否か、すなわち、開始点設定中か否かを判断する（ステップＳ５０３）。

ステップＳ５０３の判断処理において、開始点設定中であると判断したときには、システムコントローラ４は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、内部に保持するようにしている開始点Ｓの位置（位置情報）を更新し、これに応じてポインタＰの表示位置を変更するようにするデータを形成し、これを画面表示部９に供給することによりポインタＰの表示位置を変更する（ステップＳ５０４）。この後、システムコントローラ４は、後述する図１９のステップＳ５０９の処理に進む。

なお、ステップＳ５０４の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、そのときのポインタＰの位置が、開始点Ｓとして設定するようにされ、終了点Ｅの設定操作を受け付けることができるようにされる。また、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、開始点Ｓの設定操作が繰り返し行うようにされる。

また、ステップＳ５０３の判断処理において、開始点設定中ではないと判断したときには、システムコントローラ４は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザから音量バランスを調整する範囲の終了点Ｅの設定操作を受け付けている最中か否か、すなわち、終了点設定中か否かを判断する（ステップＳ５０５）。

ステップＳ５０５の判断処理において、終了点設定中であると判断したときには、システムコントローラ４は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、終了点Ｅの位置を更新し、これに応じてポインタＰの表示位置を変更するようにするデータを形成し、これを画面表示部９に供給することによりポインタＰの表示位置を変更する（ステップＳ５０６）。この後、システムコントローラ４は、後述する図１９のステップＳ５０９の処理に進む。

なお、ステップＳ５０６の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、そのときのポインタＰの位置が、終了点Ｅとして設定するようにされ、音量バランス値の変更操作を受け付けることができるようにされる。また、開始点Ｓの設定後においては、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、終了点Ｅの設定操作が繰り返し行うようにされる。

また、ステップＳ５０５の判断処理において、終了点設定中ではないと判断したときには、システムコントローラ４は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザからの音声バランスの調整操作を受け付けたか否か、すなわち、音声バランスが変化したか否かを判断する（ステップＳ５０７）。

ステップＳ５０７の判断処理において、音声バランスが変化したと判断したときには、システムコントローラ４は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、指定された範囲内、範囲外の音声信号に対する内部に保持している音声バランス値を更新する（ステップＳ５０８）。この後、システムコントローラ４は、後述する図１９のステップＳ５０９の処理に進む。

なお、ステップＳ５０８の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、変更するようにされた音声バランス値が決定値として設定するようにされる。また、終了点Ｓの設定後においては、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、音声バランス値の設定操作が繰り返し行うようにされる。

また、ステップＳ５０７の判断処理において、音声バランスが変化していないと判断した場合、また、上述もしたように、ステップＳ５０４、ステップＳ５０６、ステップＳ５０８の各処理の後においては、システムコントローラ４は、図１９に示すステップＳ５０９の処理に進む。

そして、システムコントローラ４は、音声信号処理部２を制御して、各々音声信号から、ユーザ操作に拠り指定された分離角度範囲（定位角度範囲）内の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値をも考慮して決定したゲイン値を乗じ、ユーザ操作に拠り設定された定位角度範囲外の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値をも考慮して決定したゲイン値を乗じて、各周波数帯域における定位角度毎の音量値を調査するようにし、ゲイン調整後の再生対象の音声信号をＤ／Ａコンバータ３に供給して再生するようにする（ステップＳ５０９）。

この後、システムコントローラ４は、音声信号処理部２から、再生対象の音声信号についての各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部９に供給し、画面表示部９の表示画面に表示される再生対象の音声信号に含まれる各音源についての情報を更新する（ステップＳ５１０）。

そして、システムコントローラ４は、続いて音声信号処理部２に入力される次の音声信号信号が存在するか否かを判定する（ステップＳ５１１）。ステップＳ５１１の判断処理において肯定結果が得られた場合、このことは次に処理を行うべき音声信号が存在することを表しており、システムコントローラ４は、再度、ステップＳ５０１からの処理を繰り返すようにする。また、ステップＳ５１１の判断処理において否定結果が得られた場合、処理を行うべき対象が存在しないため、システムコントローラ４は、この図１８、図１９に示した処理を終了する。

このように、この例の再生装置１００は、２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現する機能を実現することができる。そして、２次元平面において、ユーザ操作により特定の範囲を選択し、選択範囲内および選択範囲外の音量バランスを調整する機能を実現している。

このように、ユーザ操作により特定の分離角度範囲（特定の定位角度範囲）を選択し、選択範囲内および選択範囲外の音量バランスを調整できる。したがって、再生対象の音声信号が音楽の音声信号である場合には、目的とする楽器の音を目立たせるようにしたり、歌声を目立たせ、演奏を控えめにしたりするというように、コンテンツの楽しみ方の幅を広げることができる。

［変形例］
図１４に示した再生装置１００においては、リモートコマンダ１０を通じて分離角度範囲（定位角度範囲）の設定を行うものとした。しかしこれに限るものではない。例えば、画面表示部９の表示画面９Ｇにタッチパネル機能を持たせる事により、より容易に設定を行うようにすることができる。

図２０は、表示画面９Ｇにタッチパネル９ＴＰが貼付された画面表示部９の当該表示画面９Ｇに表示される画面例を説明するための図である。図２０に示すように、画面表示部９の表示画面９Ｇの前面には、タッチパネル９ＴＰが貼付され、表示画面９Ｇに表示される画像とタッチパネル９ＴＰとによって、ユーザからの操作入力を受け付ける受付手段としての機能を実現している。

すなわち、システムコントローラ４は、表示画面９Ｇのどの位置にどのような表示画像を表示するようにしているかを把握している。また、タッチパネル９ＴＰへのタッチペンや指などによる接触が行われると、タッチパネル９ＴＰは、接触位置を示す座標データを電気信号としてシステムコントローラ４に供給する。また、いわゆるドラッグ操作（引きずり操作）が行われた場合には、刻々と変化する接触位置を示す座標データをタッチパネル９ＴＰは電気信号としてシステムコントローラ４に供給する。

システムコントローラ４は、タッチパネル９ＴＰからの座標データと、その座標データによって示される表示画面９Ｇ上の位置に表示されている画像情報とに基づいて、実行するべき処理を決定し、その決定した処理を実行することができるようにしている。このようなタッチパネル９ＴＰに対する操作によって、定位角度範囲を指定し、さらに音量バランスを変化させるようにする場合について具体的に説明する。

この変形例の場合においても、画面表示部９の表示画面９Ｇには、再生対象の音声信号に含まれる各音源についての情報の表示領域である音量表示部９１が設けられる。図２０において、表示９２、９３、９４は、対応する周波数の値を示し、表示９５、９６、９７は、対応する定位角度の値を表している。

すなわち、この音量表示領域９１には、図１５〜図１７に示した音量表示領域９１の場合と同様に、横軸が各音源の音像の定位角度を、縦軸は周波数を示し、各音源の音量の大きさを色の明るさで示すようにしている。したがって、横軸および縦軸および色の明るさという３つの要素を用いて、定位角度および周波数および音量値の３つの成分を表している。

また、音量表示部９１上に貼付されたタッチパネル９ＴＰに対して、タッチペンや指などを接触させて移動させる操作を行うことによって、分離角度範囲（定位角度範囲）を指定することができるようにしている。すなわち、ユーザが音量表示部９１上に貼付されたタッチパネル９ＴＰ上の一点にタッチペンや指などを接触させ、接触させたままの状態で接触位置を別の一点に移動し、接触を解放する。

このようないわゆるドラッグ・アンド・ドロップ（Drag and Drop）操作を行うことにより、システムコントローラ４は、タッチパネル９ＴＰからの座標データと、対応する表示情報とに基づいて、最初にタッチペンなどを接触させた点を開始点Ｓ、最後にタッチペンなどの接触を解放した点を終了点Ｅとし、その開始点Ｓおよび終了点Ｅを音量バランスを変更する定位角度範囲と設定することができる。

また、図２０において、スライダー９０１、ボタン９０２およびボタン９０３の各表示は音量表示部９１に表示する周波数の範囲を変更するためのものである。すなわち、ユーザがスライダー９０１の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー９０１の位置が上側に変化し、その位置の変化に合わせて音量表示部９１に表示される周波数の範囲が上側にずれる。

例えば、図２０に示したように、スライダー９０１の位置が中心にあった場合に表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、スライダー９０１の位置を全体の１／４（４分の１）ほど上側にずらせば、システムコントローラ４は、音量表示部９１の周波数範囲を、２０００Ｈｚから１００００Ｈｚまでの範囲にずらすといった具合である。

また、ユーザが、タッチペンや指などでボタン９０２の表示上のタッチパネル９ＴＰに触れた場合には、音量表示部９１に表示する周波数の範囲が狭くなる。例えば、図２０に示したように、表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、ユーザが、タッチペンや指などでボタン９０２の表示上のタッチパネル９ＴＰに触れた場合には、システムコントローラ４は、音量表示部９１の周波数範囲を、０Ｈｚから４０００Ｈｚまでの範囲に狭くするといった具合である。

また、ユーザが、タッチペンや指などでボタン９０３の表示上のタッチパネル９ＴＰに触れた場合には、音量表示部９１に表示する周波数の範囲が拡がる。例えば、図２０に示したように、表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、ユーザが、タッチペンや指などでボタン９０３の表示上のタッチパネル９ＴＰに触れた場合には、システムコントローラ４は、音量表示部９１の周波数範囲を、０Ｈｚから１６０００Ｈｚまでの範囲に拡げるといった具合である。

このようにしてスライダー９０１、ボタン９０２およびボタン９０３を用いて音量表示部９１に表示する周波数の範囲を変更できる。なお、ユーザ操作により周波数の範囲が変更された際、表示９２、９３、９４の周波数の値も変更するようにされる。

また、図２０において、スライダー９０４、ボタン９０５およびボタン９０６の各表示は音量表示部９１に表示する定位角度の範囲を変更するためのものである。すなわち、ユーザがスライダー９０４の部位のうち、現在のスライダーの位置よりも左側の部位に触れるとスライダーの位置が左側に変化し、その位置の変化に合わせて音量表示部９１に表示する定位角度の範囲が左側にずれる。

例えば、図２０に示したように、スライダー９０４の位置が中心にあった場合に表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、スライダー９０４の位置を全体の１／４（４分の１）ほど左側にずらせば、システムコントローラ４は、音量表示部９１の定位角度の範囲を、−９０°から＋３０°までの範囲にずらすといった具合である。

また、ユーザが、タッチペンや指などでボタン９０５の表示上のタッチパネル９ＴＰに触れた場合には、音量表示部９１に表示する定位角度の範囲が狭くなる。例えば、図２０に示したように、表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、ユーザが、タッチペンや指などでボタン９０６の表示上のタッチパネル９ＴＰに触れた場合には、システムコントローラ４は、音量表示部９１の定位角度の範囲を、−３０°から＋３０°までの範囲に狭くするといった具合である。

また、ユーザが、タッチペンや指などでボタン９０６の表示上のタッチパネル９ＴＰに触れた場合には、音量表示部９１に表示する定位角度の範囲が拡がる。例えば、図２０に示したように、表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、ユーザが、タッチペンや指などでボタン９０６の表示上のタッチパネル９ＴＰに触れた場合には、システムコントローラ４は、音量表示部９１の定位角度の範囲を、−１２０°から＋１２０°までの範囲に拡げるといった具合である。

このようにしてスライダー９０４、ボタン９０５およびボタン９０６を用いて音量表示部９１に表示する定位角度の範囲を変更できる。なお、ユーザ操作により定位角度が変更された際、表示９５、９６、９７の定位角度の値も変更するようにされる。

また、図２０において、スライダー９０８は、ユーザ操作により指定された定位角度範囲内の音量バランス値を設定するためのものである。すなわち、ユーザがスライダー９０８の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー９０８の位置が上側に変化し、その位置の変化に合わせて指定範囲内の音量バランス値が増加する。

また、図２０において、スライダー９０９は、ユーザ操作により指定された定位角度範囲外の音量バランス値を設定するためのものである。すなわち、ユーザがスライダー９０９の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー９０９の位置が上側に変化し、その位置の変化に合わせて指定範囲外の音量バランス値が増加する。

例えば、図２０に示したように、スライダー９０８およびスライダー９０９の位置が、変更可能な範囲の中心にあった場合、この場合の指定された定位角度範囲内とその範囲外の音量バランス値が１：１であるとすると、スライダー９０８の位置を全体の１／４（４分の１）ほど上側に変化させると、システムコントローラ４は、指定された定位角度範囲内とその範囲外の音量バランス値を１．５：１と変化させることになる。この状態でさらにスライダー９０９の位置を全体の１／４（４分の１）ほど下側に変化させると、システムコントローラ４は、指定された定位角度範囲内とその範囲外の音量バランス値を１．５：０．５と変化させることになる。

そして、システムコントローラ４は、音声信号処理部２を制御して、各々音声信号から、ユーザ操作に拠り指定された分離角度（定位角度範囲）内の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値をも考慮して決定したゲイン値を乗じ、ユーザ操作に拠り設定された定位角度範囲外の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値をも考慮して決定したゲイン値を乗じ、ゲイン調整後の再生対象の音声信号をＤ／Ａコンバータ３に供給して再生するようにする。

このように、表示画面にタッチパネルを設けることにより、リモートコマンダ１０の操作子を頻繁に操作するなどのことなく、分離角度の指定や音量バランスの指定を簡単かつ迅速に行うようにすることができる。

［ユーザからの指示入力を受け付ける場合の具体例２について］
図１４〜図２０を用いて上述したユーザからの指示入力を受け付ける場合の具体例１の場合には、ユーザからの分離角度（定位角度）と音量バランスの指示入力を受け付けて、指示された分離角度範囲内と分離角度範囲外との音量バランスを調整するようにした。しかし、これに限るものではない。

分離角度範囲に加えて、周波数範囲をも指示できるようにし、指示された分離角度範囲と周波数範囲との重複する目的とする指定範囲内と指定範囲外とで、音量バランスを調整するようにすることもできる。そこで、分離角度範囲と周波数範囲と音量バランスの指示入力を受け付けて、分離角度範囲と周波数範囲とが重複する指定範囲の内と外の音量レベルを調整できるようにする場合を例にして、ユーザに対して提供するユーザインターフェイスについての他の一例（具体例２）について説明する。

そして、以下に説明する具体例２の場合においても、基本的には具体例１の場合と同様に、図１４に示した構成の再生装置１００に適用される。また、以下に説明する具体例２の場合にも、上述した具体例１の場合と同様に、複数の音源が混合するようにされた２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現してユーザに提供し、これを参照しながら、目的とする分離角度範囲および周波数範囲の指示入力と、音量バランスの指示入力とを行うことができるようにするものである。

このため、以下に説明する具体例２の説明においても、必要に応じて、具体例１において用いた図１４、図１５をも参照しながら説明する。そして、上述もしたように、分離角度範囲の指定に加えて、周波数範囲の指定をも可能にするこの具体例２のユーザインターフェイスもまた、図１４を示した再生装置１００に適用される。

この具体例２の場合にも、音声信号処理部２は、メディア再生部１からのＬｃｈとＲｃｈとの音声信号について、予め決められる各周波数帯域における定位角度毎の音量値を調査し、その調査結果を後述するシステムコントローラ４へと供給することができるものである。また、音声信号処理部２は、ＬｃｈとＲｃｈの音声信号を、再生用の音声信号Ｌｅｘと音声信号Ｒｅｘとして、Ｄ／Ａコンバータ３に供給する。

そして、システムコントローラ４は、上述したように、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を画面表示部９の表示画面に表示させるためのデータを生成し、これを画面表示部９に供給する。

したがって、上述もしたように、再生装置１００は、操作部５やリモートコマンダ１０とコマンド受信部６を通じてメディア再生部１に装填された記録媒体に記録されている音声信号の再生が指示された場合には、システムコントローラ４は、メディア再生部１を制御して、目的とする音声信号を記録媒体から読み出し、音声信号処理部２、Ｄ/Ａコンバータ３を通じて再生するようにする。

同時に、システムコントローラ４は、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部９に供給することにより、再生対象の音声信号に含まれる各音源についての情報を画面表示部９の表示画面に表示させることができるようにしている。

この場合、画面表示部９の表示画面９Ｇに表示される再生対象の音声信号に含まれる各音源についての情報は、図１５を用いて説明したように、予め決められた各周波数帯域における定位角度毎に存在する音源についての音量値が色の明るさで表される。そして、この具体例２の場合、操作部５あるいはリモートコマンダ１０を通じて、分離角度範囲と周波数範囲と音量バランス値との入力を受け付けて、システムコントローラ４に供給する。

この具体例２において、システムコントローラ４は、受け付けた分離角度範囲と周波数範囲とを含む分離角度指示信号Ｓ１と、受け付けた音量バランス値を含む音量バランス指示信号Ｓ２とを音声信号処理部２に供給する。このように、この具体例２において、システムコントローラ４は、分離角度範囲および周波数範囲を含む分離角度指示信号Ｓ１と、音量バランス値を含む音量バランス指示信号Ｓ２とを形成し、これらを音声信号処理部２に供給するようにしている。

そして、分離角度範囲および周波数範囲を含む分離角度指示信号Ｓ１と、音量バランス値を含む音量バランス指示信号Ｓ２との供給を受けて、分離角度範囲の指定のみならず、分離角度範囲と周波数範囲とによる目的とする指定範囲の指定（設定）をも可能にし、目的とする指定範囲の内部と外部とで音量バランスを調整できるようにするために、この具体例２における再生装置１００の音声信号処理部２の構成は、図３に示した第１の実施の形態の再生装置１００の音声信号処理部２とは異なるものである。

図２１は、この具体例２の場合の再生装置１００の音声信号処理部２の構成例を説明するためのブロック図である。図２１と図３とを比較すると分かるように、図２１に示したこの具体例２が適用された再生装置１００の音声信号処理部２は、分離処理回路２１、音量バランス調査回路２２、音量バランス調節回路２３に加えて、フィルタ係数生成回路２４と、フィルタ部２５と、加算回路２６、２７とが設けられたものである。なお、フィルタ部２５は、２つのバンド・エリミネーション・フィルタ（以下、ＢＥＦと略称する。）と２つのバンド・パス・フィルタ（以下、ＢＰＦと略称する。）とからなる部分である。

そして、図２１に示すように、システムコントローラ４からの分離角度範囲と周波数範囲とを含む分離角度指示信号Ｓ１は、分離処理回路２１とフィルタ係数生成回路２４に供給される。分離処理回路２１は、分離角度指示信号Ｓ１に含まれる分離角度範囲に基づいて、上述もしたように、左右２チャンネルＬｃｈ、Ｒｃｈのそれぞれの音声信号について、指示された分離角度内の音源の音声信号Ｌｉ、Ｒｉ、および、指示された分離角度外の音源の音声信号Ｌｏ、Ｒｏに分離し、指示された分離角度内の音源の音声信号Ｌｉ、Ｒｉは、図２１に示すように、左右のチャンネルで異なるＢＥＦとＢＰＦに供給される。また、指示された分離角度外の音源の音声信号Ｌｏ、Ｒｏは、左右のチャンネルで異なる加算回路２６、２７に供給される。

一方、フィルタ係数生成回路２４は、システムコントローラ４から供給される分離角度指示信号Ｓ１に含まれる周波数範囲に基づいて、フィルタ部２５の２つのＢＥＦと２つのＢＰＦのそれぞれに設定するフィルタ係数を求め、求めたフィルタ係数を目的とするフィルタに供給して設定する。

すなわち、フィルタ部２５の２つのＢＰＦは、指示された分離角度内の音源の音声信号Ｌｉ、Ｒｉから、さらに指示された周波数範囲の信号のみを通過させるためのものである。このため、フィルタ部２５の２つのＢＰＦに対しては、指示された周波数範囲の信号のみを通過させるようにするためのフィルタ係数が設定される。

また、フィルタ部２５の２つのＢＥＦは、指示された分離角度内の音源の音声信号Ｌｉ、Ｒｉから、指示された周波数範囲の信号のみを削除し、指示された分離角度内の音源信号Ｌｉ、Ｒｉの内から指示された周波数範囲外の信号のみを通過させるためのものである。このため、フィルタ部２５の２つのＢＥＦに対しては、指示された周波数範囲外の信号のみを通過させるようにするためのフィルタ係数が設定される。

これにより、フィルタ部２５の２つのＢＰＦからは、指示された分離角度内（分離角度範囲内）の信号であって、かつ、指示された周波数範囲ないの信号Ｌｉｉ、Ｒｉｉが出力される。換言すれば、フィルタ部２５の２つのＢＰＦからは、指示された分離角度範囲と指示された周波数範囲との重複する部分の音声信号（分離角度範囲と周波数範囲とで規定される目的とする指定範囲内の音声信号）Ｌｉｉ、Ｒｉｉが出力される。

一方、フィルタ部２５の２つのＢＥＦからは、指示された分離角度内の音声信号であるが、指示された周波数範囲外の音声信号が出力される。２つのＢＥＦからの出力された音声信号のそれぞれは対応する加算回路２６、２７に供給される。これら加算回路２６、２７には、図２１に示したように、左右のチャンネルの指示された分離角度外の音声信号Ｌｏ、Ｒｏが供給されており、加算回路２６、２７からは、指示された分離角度範囲外の音声信号であって、かつ、指示された周波数範囲外の音声信号Ｌｏｏ、Ｒｏｏが出力される。

これにより、フィルタ部２５の２つのＢＰＦからは、左右２チャンネルのそれぞれの信号のうち、指示された分離角度範囲内であって、かつ、指示された周波数範囲内である目的とする範囲内の音声信号Ｌｉｉ、Ｒｉｉが出力され、加算回路２６、２７からは、左右２チャンネルのそれぞれの音声信号のうち、当該目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏが出力される。これら、左右２チャンネルのそれぞれの音声信号についての、目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉと、目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏとが、図２１に示すように、音量バランス調査回路２２と、音量バランス調節回路２３とに供給される。

そして、音量バランス調査回路２２においては、これに供給された左右２チャンネルの目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉと目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏとの音量レベルと、システムコントローラ４からの音量バランス指示信号Ｓ２に含まれる音量バランス値とに基づいて、目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉと目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏとの音量バランスを調査し、システムコントローラ４からの音量バランス値に従い、目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉと目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏとが好適な音量バランスとなるように、目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉに対するゲイン値Ｇｉと、目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏに対するゲイン値Ｇｏとを決定し、これらを音量バランス調節回路２３に供給する。

音量バランス調節回路２３は、図２１に示したように、これに供給された左右２チャンネルの目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉと目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏと、目的とする指定範囲内の音声信号Ｌｉｉ、Ｒｉｉに対するゲイン値Ｇｉと、目的とする指定範囲外の音声信号Ｌｏｏ、Ｒｏｏに対するゲイン値Ｇｏとに基づいて、例えば、上述した［数１］に従った演算を行って、Ｌｃｈの出力音声信号ＬｅｘとＲｃｈの出力音声信号Ｒｅｘとを生成し、これらを出力する。なお、［数１］においては、Ｌｉ＝Ｌｉｉ、Ｒｉ＝Ｒｉｉ、Ｌｏ＝Ｌｏｏ、Ｒｏ＝Ｒｏｏとして演算することになる。もちろん、上述した［数１］以外の演算式を用いて目的とする音声信号を形成するようにしてもよい。

このように、図２１に示した具体例２の場合の再生装置１００の音声信号処理部２の構成例の場合には、分離処理の後に、設定された周波数範囲に応じたバンド・パス・フィルタ（ＢＰＦ）を指示された分離角度範囲内の音声信号成分Ｌｉ、Ｒｉに掛ける事により、分離角度範囲内であって、かつ、周波数範囲内である目的とする範囲内の音声信号成分Ｌｉｉ、Ｒｉｉを生成している。

また、設定された周波数範囲に応じたバンド・エリミネーション・フィルタ（ＢＥＦ）を指示された分離角度範囲内の音声信号成分Ｌｉ、Ｒｉに掛ける事で分離角度範囲内の音声信号成分Ｌｉ、Ｒｉから周波数範囲外の音声信号成分を生成し、これを分離角度範囲外の音声信号成分Ｌｏ、Ｒｏに足す事により設定された分離角度範囲外であって、かつ、設定された周波数範囲外の音声信号成分Ｌｏｏ、Ｒｏｏを生成することができるようにしている。

なお、フィルタ部２５を構成する各ＢＰＦ、各ＢＥＦのフィルタ係数は、指定された周波数範囲に応じてフィルタ係数生成回路２４にて静的（全ての周波数範囲パターンの係数を保持）または動的（計算により求める）に生成することができる。また、フィルタ部２５を構成するＢＰＦおよびＢＥＦはＦＩＲフィルタ（Finite Impulse Response Filter）でも、ＩＩＲフィルタ（Infinite Impulse Response Filter）でも構成可能である。

次に、この具体例２の場合において、音量バランスを変化させる分離角度範囲および周波数範囲を設定する手順と、分離角度範囲と周波数範囲とにより指定される目的とする範囲内および目的とする範囲外の音量バランスを変更する手順とを、リモートコマンダ１０に対する操作と、これに応じて変化する画面表示部９の表示画面９Ｇの表示画像とを対応付けながら詳細に説明する。以下においては、図２２、図２３の分離角度範囲および周波数範囲を指定する場合においての表示画像の表示例を説明するための図をも参照しながら詳細に説明する。

まず、第一段階として、音声信号の再生処理の実行を開始する様にすると、この具体例２の場合においても上述した具体例１の場合と同様に、画面表示部９の表示画面９Ｇに、図１５を用いて説明した表示画像が表示するようにされる。この図１５に示した状態にあるときに、所定の操作を行うことにより、図２２に示すように、開始点、終了点を指示するためのポインタ（指示子）Ｐを表示させ、右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄを操作して、目的とする範囲の開始点Ｓとなるべき位置にポインタＰを位置付け、実行キー１０ｅを押下することにより、開始点Ｓを決定する。この例において、目的とする範囲は、上述もしたように分離角度範囲（音像の定位角度範囲）と周波数範囲とによって規定される範囲である。

すなわち、右方向キー１０ａを操作することにより分離角度範囲の開始点Ｓを右方向に移動し、左方向キー１０ｂを操作することにより分離角度範囲の開始点Ｓを左方向に移動し、上方向キー１０ｃを操作することにより周波数範囲の開始点Ｓを高周波帯域方向に移動し、下方向キー１０ｄを操作することにより周波数範囲の開始点Ｓを低周波帯域方向に移動し、実行キー１０ｅを操作することにより分離角度範囲と周波数範囲とによって決まる目的とする範囲の開始点Ｓを設定する。

このように、現在位置を示すポインタＰを、音量表示部９１の表示領域上に重ねて表示することで開始点Ｓの指示をしやすくすることができるのである。

そして、開始点Ｓを決定した後、第二段階として、さらに右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄを操作することにより、図２３に示すように、ポインタＰを移動させることにより、目的とする範囲の終了点Ｅを指示し、実行キー１０ｅを操作しその終了点Ｅを決定する。

すなわち、右方向キー１０ａを操作することにより分離角度範囲の終了点Ｅを右方向に移動し、左方向キー１０ｂを操作することにより分離角度範囲の終了点Ｅを左方向に移動し、上方向キー１０ｃを操作することにより周波数範囲の終了点Ｅを高周波帯域方向に移動し、下方向キー１０ｄを操作することにより周波数範囲の終了点Ｅを低周波帯域方向に移動し、実行キー１０ｅを操作することにより分離角度範囲と周波数範囲とによって決まる目的とする範囲の終了点Ｅを設定する。

この際、システムコントローラ４がユーザからの指示入力に応じて表示データを形成し、これを画面表示部９に供給することにより、図２３に示すように、選択した開始点Ｓおよび指示している終了点Ｅを対角線上の頂点とした長方形を音量表示部９１上に重ねて表示することにより、指示するようにしている目的とする範囲（分離角度範囲および周波数範囲とが重複する範囲）を視覚を通じて認識できるようにしている。

そして、システムコントローラ４が、入力された開始点Ｓ、終了点Ｅの座標位置から分離角度範囲（図２３において、開始点Ｓと終了点Ｅとで示される横軸方向の範囲）と、周波数範囲（図２３において、開始点Ｓと終了点Ｅとで示される縦軸方向の範囲）とが特定され、これら分離角度範囲と周波数範囲とを含む分離角度指示信号Ｓ１が形成され、音声信号処理部２に供給されることになる。

上述のようにして、分離角度範囲と周波数範囲とによって指示される目的とする範囲の開始点および終了点を設定した後、第三段階として、これら開始点Ｓ、終了点Ｅを対角線上の頂点とした長方形で囲まれた範囲内とその範囲外の音量バランスを、リモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄを操作することにより変化させる。

すなわち、システムコントローラ４は、リモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄを通じて音量バランスについての指示入力を受け付けて、この受け付けた指示入力に応じた音量バランス値を含む音量バランス指示信号Ｓ２を形成して、音声信号処理部２に供給することによって、図２１を用いて説明したように、指示された目的とする範囲内と範囲外との音量バランスを調整することができる。

具体的には、例えば、現在の開始点Ｓ、終了点Ｅで指定された範囲内とその範囲外の音量バランス設定値が１：１である場合に、上方向キー１０ｃを操作する事により、その音量バランス値が１．１：０．９となり、また、例えば、現在の開始点Ｓ、終了点Ｅで指定された範囲内とその範囲外の音量バランス値が１：１である場合に、下方向キー１０ｄを操作する事により、その音量バランス値が０．９：１．１となるといった具合である。

以上説明したように、第一段階から第三段階までの一連の操作を行う事により、再生装置１００のユーザは、分離角度範囲と周波数範囲とが重複する範囲である目的とする範囲を指定し、その指定した範囲内と範囲外との音量バランスを調整することが可能となる。すなわち、特定の分離角度範囲と周波数範囲を選択し、その選択範囲内と選択範囲外との一方あるいは両方の音量調整を行うことにより、両範囲の音量バランスを調整することができる。

なお、この具体例２の場合にも、主にシステムコントローラ４によって実行される処理は、図１８、図１９を用いて説明した具体例１の場合と同様に行われることになる。すなわち、基本的には、開始点Ｓ、終了点Ｅを指定することにより、目的とする範囲を指定し、この目的とする範囲内と範囲外の音量バランスの調整指示を与えることにより、目的とする範囲内と範囲外の音量バランスを指示に応じて調整することができる。

また、この具体例２の場合においても、図２０を用いて説明したように、表示部９の表示画面９Ｇにタッチパネル９ＴＰが設けられた構成を有している場合には、具体例１の場合と同様にして、開始点Ｓ、終了点Ｅを指示することにより、この具体例２の場合には、分離角度範囲と周波数範囲とが重複する部分である目的とする範囲を指定し、音量バランスを指定して、目的とする範囲内と範囲外との音量バランスをも調整することが可能である。

なお、上述した具体例２の場合には、音声信号処理部２の構成を図２１に示した構成にすることによって、分離角度範囲と周波数範囲とによって決まる指定範囲内と範囲外とで、音量バランスを調整することができるようにした。しかし、音声信号処理部２の構成を図５、図６を用いて説明したように構成した場合には、構成を変更することなく、分離角度範囲と周波数範囲とによって決まる指定範囲内と範囲外とで、音量バランスを調整することができる。

また、上述した具体例１は分離角度範囲を指定する場合の例であり、具体例２は分離角度範囲と周波数範囲とで決まる指定範囲を指定する場合の例である。そして、上述した第２、第４の実施の形態のように、目的とする音声信号の種類を指定する場合には、指定可能な音声信号の種類を予め再生装置や記録再生装置に登録しておき、その中から目的とする音声信号の種類を選択するなど、種々の態様の選択方式を用いることが可能である。

また、上述のように、具体例１は分離角度範囲を指定する場合の例であり、具体例２は分離角度範囲と周波数範囲とで決まる指定範囲を指定する場合の例である。これ以外に、例えば、周波数範囲のみを指定し、この周波数範囲内と範囲外とで音量バランスを調整するようにすることも可能である。

［他の変形例］
また、上述した第１、第２の実施の形態においては、メディア再生部１としては、記録媒体から音声信号（および映像信号）を再生するものとして説明したが、これに限るものではない。メディア再生部１に変えて、ＡＭ（Amplitude Modulation）放送信号、ＦＭ（Frequency Modulation）放送信号、テレビジョン放送信号、衛星放送信号等の種々の放送信号などを受信・復調して音声信号（および映像信号）を出力するチューナ装置を用いた構成の再生装置にもこの発明を適用することができる。

或いは、メディア再生部１やチューナ装置を備えた再生装置ではなく、例えばアンプ装置などとして、外部で再生（受信）された音声信号の供給を受けて、この入力音声信号に対して音声信号処理を行うようにする音声信号処理装置に対して、この発明を適用することももちろん可能である。

また、ＡＭ（Amplitude Modulation）放送信号、ＦＭ（Frequency Modulation）放送信号、テレビジョン放送信号、衛星放送信号等の種々の放送信号などを受信・復調して音声信号（および映像信号）を出力するチューナ装置部を備え、ここで受信選局した放送信号を記録媒体に記録する記録装置や記録再生装置にもこの発明を適用することができる。

また、図１４〜図２０、図２２、図２３を用いて説明した部分では、画面表示部９の表示画面９Ｇに表示する音量表示部９１には、音量の大きさが大きいほど白色になり、音量の大きさが小さいほど黒色になるよう表示させたが、逆の場合であってもよい。すなわち、音量が大きい場合に黒色になり音量が小さい場合に白色になるといった形態である。

また、画面表示部９の表示画面９Ｇに表示する音量表示部９１への表示は、カラー表示であってもよい。例えば、予め決められた分離角度（定位角度）の範囲毎に表示色を変えるようにし、色が濃いほど音量レベルは大きく、色が薄いほど音量レベルは低いといったように表したり、逆に、色が薄いほど音量レベルは大きく、色が濃いほど音量レベルは低いといったように表したりすることもできる。もちろん、予め決められた分離角度（定位角度）であって、かつ、予め決められた周波数帯域毎にも、表示色を変え、上述のように変化させることも可能である。

また、画面表示部９の表示画面９Ｇに表示する音量表示部９１への表示は、音量の大きさを色で表すだけではなく３次元形式により表示してもよい。また、平面画面に表示するのではなく立体画面に３次元により表現してもよい。また、縦軸と横軸の表現が逆であってもよい。すなわち、縦軸を定位角度、横軸を周波数としてもよい。

また、図１４〜図２０を用い上述したユーザインターフェイスについての具体例１においては、リモートコマンダ１０の右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄ、実行キー１０ｅを操作することにより、ある分離角度範囲（定位角度範囲）を選択し、選択範囲内および選択範囲外の音量バランスを調整できるようにしたが、これ以外の手順、およびこれ以外の方式で範囲の指定をしても良い。また、マウス、タッチパネルなどリモートコマンダ以外の操作機器やポインティングデバイスを用いて範囲の指定を行ってもよい。

例えば、マウスであればマウスボタンを押下することにより開始点を設定し、そのまま押下しながらドラッグ（マウスの操作を行いマウスカーソルの位置を移動する）して終了点まで移動し、マウスボタンを解放することにより終了点を設定するとしてもよい。

また、図１４〜図２０を用い上述した変形例においては、分離角度範囲（選択可能な定位角度範囲）を１つのみとしたが、この選択範囲を複数とし、それぞれの音量バランスを変更する形態であってもよい。

また、図２１〜図２３を用いて説明したユーザインターフェイスについての具体例２においては、ある分離角度範囲（定位角度範囲）および周波数範囲を設定する際に開始点および終了点を対角線上の頂点とする長方形としたが、円や楕円などの形状とし、その内側の範囲を目的とする指定範囲とするようにすることもできる。

また、分離角度範囲と周波数範囲とにより指定するようにする目的とする範囲を指定する際に、開始点を中心とし終了点を半径とする円の形状の内側を指定範囲としても良い。また、ある周波数範囲および定位角度範囲を設定する際に、ユーザがマウスやタッチパネルなどで描いた閉曲線の内側を目的とする指定範囲としても良い。すなわち、範囲を指定する事が可能な手順、方式、機器であればどのような形態であってもよい。

また、図２１〜図２３を用い上述したユーザインターフェイスについての具体例２においては、分離角度範囲と周波数範囲とによって指定する目的とする範囲の指定を１つのみとしたが、この選択範囲（指定範囲）を複数とし、それぞれの音量バランスを変更する形態であってもよい。

図２４、図２５は、目的とする指定範囲（分離角度範囲および周波数範囲により規定される範囲）を設定する他の例について説明するための図である。図２４Ａの場合には、例えば、ポインティングデバイスにより、１つの点ｘを指定すると、その点ｘを中心として、分離角度範囲、周波数範囲を予め決められた分だけ確保して、分離角度範囲および周波数範囲を設定するようにする。

図２４Ａの場合には、最初に指定された点ｘを中心にして、分離角度範囲を左右に１０°ずつ取り、周波数範囲を上下に２０００Ｈｚづつとって、図２４Ａに示したように、長方形の範囲Ｘを自動的に設定するようにする。この範囲Ｘは、例えば、図２４Ａにおいて、矢印ａ、ｂ、ｃ、ｄが示すように、４辺のそれぞれを移動させ、四方に縮小したり、拡大したりすることができるようにされる。

また、図２４Ｂの場合には、１つの点を指定することにより設定される最初の範囲（初期範囲）を楕円によって形成するようにした場合の例である。この図２４Ｂの例の場合にも、図２４Ａに示した例の場合と同様に、一点ｘを指定することにより、その点ｘを中心として例えば縦長の楕円の範囲を設定し、この範囲を図２４Ｂにおいて矢印ｅが示すように、拡大したり、逆に縮小したりすることができるようにされる。

ここでは、楕円により周波数範囲および定位角度範囲を設定するようにしたが、これに限るものではない。上述もしたように、円を用いたり、あるいは、半円を用いたり、その他の種々の形状の範囲を指定して、その範囲を変形することにより、ユーザが目的とする範囲を指定するようにすることが可能である。

また、図２１Ｂにおいて、範囲９１ａ、９１ｂ、９１ｃ、９１ｄが示すように、複数の分離角度範囲（周波数範囲および定位角度範囲）を設定するようにすることも可能である。この場合には、指定された範囲９１ａ、９１ｂ、９１ｃ、９１ｄのそれぞれと、それ以外の部分との音量バランスを指定するようにすることにより、各指定された範囲９１ａ、９１ｂ、９１ｃ、９１ｄのそれぞれと、それ以外の部分との音量バランスを調整することができる。

具体的には、範囲９１ａ、９１ｂ、９１ｃ、９１ｄに対応する楽器の音声信号の音量バランス値を大きくし、それ以外の楽器やノイズ音の音量バランス値を小さくするなどのことができるようにされる。もちろん、これとは逆に、指定された範囲９１ａ、９１ｂ、９１ｃ、９１ｄのそれぞれの音源の音量バランスを小さくし、それ以外の部分の音源の音量バランスを大きくするというように調整することも可能である。

すなわち、音声コンテンツに含まれる各音源に散らばりに対応して、目的とする音源が属する範囲を設定し、音量バランスを調整することができる。さらに換言すれば、どのような範囲（周波数範囲や音像の定位角度範囲、あるいは、その両方によって特定される分離角度範囲）に存在する音源の音声信号について、どのようにバランス調整するかを決めて、これに応じて調整することができる。

また、図２５に示すように、音量表示部９１自体の形状を扇型とするようにしてもよい。この場合、図２５Ａに示すように、扇型の開き角を定位角度範囲に一致させ、また、円弧の両端の半径部分における当該半径方向を周波数範囲とすることで、音声信号に含まれる目的とする音源の位置を、扇型の中心αを聴取者の位置に見立て、より直感的に分かりやすい態様で示すようにすることができる。

そして、例えば、聴取者の左側に音像が定位している音源が属する範囲を指定する場合には、例えば、図２５Ｂに示すように、中心から左側の目的とする部分に範囲９１ｅを設定し、この範囲を縮小したり、拡大したり、また、その位置を変更したりすることにより、目的とする音源の属する周波数範囲および定位角度範囲を設定するようにすることができる。もちろん、音量表示部９１の形状は、四角形や扇形に限るものではなく、円、楕円、ひし形、台形など種々の形状とすることが可能である。

また、各実施の形態において、各々の楽器の周波数特性や倍音成分などから楽器を判別し、楽器の画像や名称を画面表示部９の音量表示部９１などに表示し、目的とする音源の種類を指示するようにすることも可能である。

また、この発明は、上述もしたように、音声信号の再生装置、記録装置、記録再生装置の他、放送信号の受信復調機能を備えた受信装置、音楽や映像などの再生機能を備えたパーソナルコンピュータ、音声信号の供給を受けて増幅処理等の音声信号処理を行うパワーアンプ装置などの音声信号処理装置等、音声信号や、同期を取って再生すべき音声信号と映像信号とからなるいわゆるＡＶ（Audio/Visual）信号等からなるコンテンツ信号を処理する種々の電子機器に適用することができる。

また、上述したように指定される分離角度と音量バランス、あるいは、音源種類と音量バランスについて、処理対象のコンテンツの識別ＩＤとを関連付けて、例えば、システムコントローラ４内のメモリに記憶保持させておくことにより、そのコンテンツが再生される場合には、必ず、指定された指定範囲内と指定範囲外との一方または両方について、指定されたように音声信号のゲイン調整を行って、ユーザの好みの態様で再生できるようにすることができる。

また、音声信号などのコンテンツデータに対して、上述したように指定される分離角度と音量バランス、あるいは、音源種類と音量バランスを付加しておくことにより、例えば、他の機器などに提供した場合には、当該他の機器においても、その指定された周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値とに基づいて、コンテンツを再生することもができるようにされる。

また、音声信号などのコンテンツデータに対して、上述したように指定される分離角度と音量バランスに応じた調整を、あるいは、音源種類と音量バランスに応じた調整をコンテンツデータの全体に適用したり、あるいは、コンテンツデータの所定の一部分のみに適用したりすることも可能である。

この場合には、例えば、全体に適用することを指示したり、先頭から何十秒経過した位置から何十秒間分の期間、あるいは、先頭から何フレーム目から何フレーム目までの期間というように、時間やフレーム数、その他のコンテンツ上の位置を指定することが可能な情報を用いて、適用期間を指定したりするようにすればよい。

このように、この発明は、ユーザからの分離角度と音量バランスの指示を受けて、指示された角度内に定位している音源の音声信号と指示された角度外に定位している音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスでコンテンツを処理することができるものである。

また、本発明は、ユーザからの音源の種類と音量バランスの指示を受けて、指示された音源の音声信号とそれ以外の音源の音声信号各々の音量バランスを判別し、自動的に音量バランスを調節する事で毎回ユーザによる調整を必要とせずに常に好適な音量バランスでコンテンツを処理することができるものである。

具体的には、上述もしたように、ユーザから入力され機器のメモリに記憶保持されていたり、あるいは、メタ情報として音声信号（音声コンテンツ）に付加されていたりする分離角度指示情報、音源種類指示情報、音量バランス情報に基づいて、目的とする人の声や目的とする楽器の音などを目立たせ、それ以外の音を目立つことがないようにしたり、あるいは、音声信号に含まれているメカノイズや風の音など、目的とする音源の音声信号を聞きとり難くしている音源の音声信号を目立つことがないようにしたりするなどのことができる。

そして、ユーザからの分離角度と音量バランスの指示や、音源の種類と音量バランスの指示を受ける事により、毎回ユーザによる調整を必要とせずに常に好適な音量バランスを提供することができる。

この発明の一実施の形態が適用された第１の実施の形態の再生装置１００を説明するための図である。 リモートコマンダ１０の外観の一例について説明するための図である。 図１に示した再生装置１００の音声信号処理部２の第１の構成例を説明するためのブロック図である。 図３に示した構成の音声信号処理部２が用いられた第１の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートである。 図１に示した再生装置１００の音声信号処理部２の第２の構成例を説明するためのブロック図である。 定位角度・レベル算出回路２２の構成例を説明するためのブロック図である。 図５、図６を用いて説明した音声信号処理部２が用いられた第１の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートである。 図７に続くフローチャートである。 この発明の一実施の形態が適用された第２の実施の形態の再生装置２００を説明するための図である。 図９に示した再生装置２００の音声信号処理部７を説明するためのブロック図である。 図１０に示した構成の音声信号処理部７が用いられた第２の実施の形態の再生装置２００で行われる処理を説明するためのフローチャートである。 この発明の一実施の形態が適用された第３の実施の形態の記録再生装置３００を説明するためのブロック図である。 この発明の一実施の形態が適用された第４の実施の形態の記録再生装置４００を説明するためのブロック図である。 ユーザインターフェイスについての具体例１が適用された再生装置１００を説明するためのブロック図である。 画面表示部９の表示画面に表示される再生対象の音声信号に含まれる各音源についての情報の表示例を説明するための図である。 分離角度を指定する場合においての表示画像の表示例を説明するための図である。 分離角度を指定する場合においての表示画像の表示例を説明するための図である。 分離角度と音量バランスの指示入力の受付処理を説明するためのフローチャートである。 図１８に続くフローチャートである。 表示画面９Ｇにタッチパネル９ＴＰが貼付された画面表示部９の当該表示画面９Ｇに表示される画面例を説明するための図である。 ユーザインターフェイスについての具体例２を実現するための音声信号処理部２の構成例を説明するための図である。 分離角度範囲と周波数範囲とを指定する場合においての表示画像の表示例を説明するための図である。 分離角度範囲と周波数範囲とを指定する場合においての表示画像の表示例を説明するための図である。 分離角度範囲（周波数範囲および定位角度範囲）を設定する他の例について説明するための図である。 分離角度範囲（周波数範囲および定位角度範囲）を設定する他の例について説明するための図である。

符号の説明

１…メディア再生部、２…音声信号処理部、３…Ｄ/Ａコンバータ、４…システムコントローラ、５…操作部、６…コマンド受信部、７…音声信号処理部、８…システムコントローラ、９…画面表示部、９Ｇ…表示画面、９１…音量表示部、１０…リモートコマンダ、１００…再生装置、２００…再生装置、３０１Ｌ、３０１Ｒ…マイクロホン、３０２…アンプ部、３０３…書き込み処理部、３０４…記録媒体ドライブ、３０５…読み出し処理部、３０６…再生処理部、３０７…操作部、３０８…コマンド受信部、３１０…リモートコマンダ、３００…記録再生装置、４００…記録再生装置

Claims (9)

1. 処理対象の音声信号について、予め指示するようにされる音源の音声信号である第１の音声信号と、それ以外の音源の音声信号である第２の音声信号とに分離する分離手段と、
   前記分離手段で分離される前記第１の音声信号と前記第２の音声信号との音量バランスを調査する調査手段と、
   前記調査手段の調査結果と、前記第１の音声信号と前記第２の音声信号とについての予め指示するようにされる目的とする音量バランスとに基づいて、前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とを特定する特定手段と、
   前記特定手段からの前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とに基づいて、前記処理対象の音声信号の音量バランスを調整する調整手段と
   を備えることを特徴とする音声信号処理装置。
2. 請求項１に記載の音声信号処理装置であって、
   前記分離手段は、予め指示するようにされる分離角度内に定位している音源の音声信号を前記第１の音声信号とし、前記分離角度外に定位している音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理装置。
3. 請求項１に記載の音声信号処理装置であって、
   前記分離手段は、予め指示するようにされる所定の音源の音声信号を前記第１の音声信号とし、前記所定の音源以外の音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理装置。
4. 処理対象の音声信号について、予め指示するようにされる音源の音声信号である第１の音声信号と、それ以外の音源の音声信号である第２の音声信号とに分離する分離工程と、
   前記分離工程で分離した前記第１の音声信号と前記第２の音声信号との音量バランスを調査する調査工程と、
   前記調査工程においての調査結果と、前記第１の音声信号と前記第２の音声信号とについての予め指示するようにされる目的とする音量バランスとに基づいて、前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とを特定する特定工程と、
   前記特定工程において特定した前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とに基づいて、前記処理対象の音声信号の音量バランスを調整する調整工程と
   を有することを特徴とする音声信号処理方法。
5. 請求項４に記載の音声信号処理方法であって、
   前記分離工程においては、予め指示するようにされる分離角度内に定位している音源の音声信号を前記第１の音声信号とし、前記分離角度外に定位している音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理方法。
6. 請求項４に記載の音声信号処理方法であって、
   前記分離工程においては、予め指示するようにされる所定の音源の音声信号を前記第１の音声信号とし、前記所定の音源以外の音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理方法。
7. 音声信号を処理する音声信号処理装置に搭載されたコンピュータに、
   処理対象の音声信号について、予め指示するようにされる音源の音声信号である第１の音声信号と、それ以外の音源の音声信号である第２の音声信号とに分離する分離ステップと、
   前記分離ステップにおいて分離した前記第１の音声信号と前記第２の音声信号との音量バランスを調査する調査ステップと、
   前記調査ステップにおいての調査結果と、前記第１の音声信号と前記第２の音声信号とについての予め指示するようにされる目的とする音量バランスとに基づいて、前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とを特定する特定ステップと、
   前記特定ステップにおいて特定した前記第１の音声信号に対する音量の調整値と、前記第２の音声信号に対する音量の調整値とに基づいて、前記処理対象の音声信号の音量バランスを調整する調整ステップと
   を実行させることを特徴とする音声信号処理プログラム。
8. 請求項７に記載の音声信号処理プログラムであって、
   前記分離ステップにおいては、予め指示するようにされる分離角度内に定位している音源の音声信号を前記第１の音声信号とし、前記分離角度外に定位している音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理プログラム。
9. 請求項７に記載の音声信号処理プログラムであって、
   前記分離ステップにおいては、予め指示するようにされる所定の音源の音声信号を前記第１の音声信号とし、前記所定の音源以外の音源の音声信号を前記第２の音声信号として、前記処理対象の音声信号から分離することを特徴とする音声信号処理プログラム。

Images