JP2011158674A - ユーザインターフェイス装置 - Google Patents

Abstract

【課題】入力楽音信号中に含まれているボーカルや楽器の信号の存在領域を容易に特定可能に表示させることができるユーザインターフェイス装置を提供すること。
【解決手段】本発明のユーザインターフェイス装置によれば、楽音信号処理手段に処理対象として入力された入力楽音信号について、各周波数帯域の定位情報に基づいて、定位−周波数平面を表示する表示画面上における表示位置と、各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を全ての周波数帯域について合算した第２のレベル分布とが算出され、該第２のレベル分布が、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たものとして表示される。よって、ユーザは、ボーカルや楽器単位の存在領域がグループ化された状態で視認することができ、ボーカルや楽器の存在領域を容易に特定し易い。
【選択図】図１２

Description

本発明は、ユーザインターフェイス装置に関し、特に、入力楽音信号に対し所定の信号処理を実施可能な楽音信号処理手段に適用されるユーザインターフェイス装置に関する。

特許文献１には、ステレオ信号における左右チャンネル信号の複数の異なる帯域毎のレベル情報に基づき、各帯域におけるステレオ信号の定位位置とレベル情報とを、各帯域について算出し、定位位置と周波数とで示す２次元平面に、各帯域におけるステレオ信号の定位位置を、当該ステレオ信号のレベル情報に対応する大きさあるいは色の図形により表示するステレオ信号の特性表示装置が記載されている。

特開２００５−２４４２９３号公報

しかしながら、特許文献１に記載される装置は、入力楽音信号中における周波数帯域毎の定位を視認可能に表示するだけに過ぎず、入力楽音信号に含まれているボーカルや楽器の信号の存在領域を特定し難く、ボーカルや楽器単位での信号処理（楽音消去、音像やピッチの移動、音像の拡大又は縮小など）を行い難いという問題点があった。

本発明は、上述した問題点を解決するためになされたものであり、入力楽音信号中に含まれているボーカルや楽器の信号の存在領域を容易に特定可能に表示させることができるユーザインターフェイス装置を提供することを目的としている。

課題を解決するための手段および発明の効果

この目的を達成するために請求項１記載のユーザインターフェイス装置によれば、楽音信号処理手段に処理対象として入力された入力楽音信号について、予め定められた基準定位に対する信号の出力方向を示す定位情報に基づき、定位−周波数平面（信号の出力方向を示す軸である定位軸と周波数を示す軸である周波数軸とから構成される座標平面）を表示する表示画面上における、該取得した定位情報に対応する周波数帯域の入力楽音信号の出力方向の表示位置が算出され、そのように算出された周波数帯域毎の表示位置の各々と、各表示位置に対応する周波数帯域のレベル（第１情報取得手段により取得したレベル）とに基づいて、周波数帯域毎に、各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を、全ての周波数帯域について合算して第２のレベル分布が、第１レベル分布算出手段によって算出される。そして、算出された第２のレベル分布におけるレベルを定位−周波数平面に対する高さとし、該高さ方向から見た第２のレベル分布が、第１表示制御手段によって表示画面に表示される。即ち、定位軸と周波数軸とレベル軸とから構成される三次元座標上に表現される第２のレベル分布を、レベル軸方向から見たものが表示画面に表示される。このとき、定位−周波数平面に対する高さ（即ち、第２のレベル分布におけるレベル）が区別可能な態様で表示される。

よって、楽音信号処理手段に処理対象として入力された入力楽音信号に対する第２のレベル分布が、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たものとして表示されるので、ユーザは、ある周波数付近の信号であってある定位付近に定位する信号をグループ化された状態で視認することができる。特に、定位−周波数平面に対する高さ（即ち、第２のレベル分布におけるレベル）が区別可能な表示態様（例えば、等高線表示、色のグラデーションによる表示など）で表示されるので、ユーザは、表示画面の表示内容から、ボーカルや楽器単位の存在領域を容易に区別（特定）でき、信号処理の対象としての抽出（選定）する作業が容易化されるという効果がある。

請求項２記載のユーザインターフェイス装置によれば、請求項１記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。定位−周波数平面に対する高さに応じて色、濃度、又は明るさの少なくとも１つを変化させることにより、該高さが区別可能に表示されるので、ある周波数付近の信号であってある定位付近に定位する信号のグループが見分け易くなり、ボーカルや楽器単位の信号群を容易に特定できるという効果がある。

請求項３記載のユーザインターフェイス装置によれば、請求項１又は２に記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる場合の裾野の拡がり具合又は山の尖り具合を規定する変数を分布形状設定手段により設定できるので、該変数の設定値に応じて、第２のレベル分布におけるピークの分解能を適宜調整することができる。よって、ユーザは、自身が所望する情報に応じて該変数の設定値を設定することにより、該所望の情報を得るために適した表示を表示画面に表示させることができるという効果がある。例えば、該変数の設定値によって裾野の拡がり具合を適宜大きくすることにより、第２のレベル分布におけるピークの分解能を適宜低くすることができるので、それにより、ボーカルや楽器単位の信号群を適切にグループ化することができる。一方、該変数の設定値によって裾野の拡がり具合を適宜小さくする（山の尖り具合を適宜尖ったものとする）ことにより、第２のレベル分布におけるピークの分解能を適宜高することができるので、かかる場合には、ボーカルや楽器の中の周波数構成をユーザに視認させることができる。

請求項４記載のユーザインターフェイス装置によれば、請求項１から３のいずれかに記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。第１制御手段により第２のレベル分布が表示された表示画面に対し、定位−周波数平面上における定位軸方向の定位範囲と周波数軸方向の周波数範囲とに基づいて規定される抽出領域の設定が、抽出領域設定手段により、少なくとも１の抽出領域について入力手段から受け付けられると、受け付けられた各抽出領域の設定が、第１設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定された各抽出領域に収まる入力楽音信号（入力楽音信号の中に含まれる設定された各抽出領域に含まれる信号）を抽出信号として抽出させることができる。

また、表示画面の表示内容が、第２表示制御手段により、第１表示制御手段によって表示された表示内容から切り換えられる。具体的に、設定された各抽出領域に収まる入力楽音信号についての第２のレベル分布が、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見た表示であって、該高さを区別可能な表示態様で表示される。よって、ユーザは、設定された抽出領域から抽出された抽出信号をグループ化された状態で視認することができ、ボーカルや楽器単位の信号群として適切な信号が抽出されているかを判別し易い。それにより、所望のボーカルや楽器単位の信号群を適切に抽出できるという効果がある。

請求項５記載のユーザインターフェイス装置によれば、請求項４記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。複数の抽出領域の設定が抽出領域受付手段により受け付けられた場合には、各抽出領域について得られた第２のレベル分布は、抽出領域毎に区別可能に表示されるので、各抽出領域から抽出された抽出信号のグループを区別し易いという効果がある。また、抽出領域の各々において定位−周波数平面に対する高さが区別可能に表示されるので、第２のレベル分布におけるピークの位置を特定し易く、ボーカルや楽器単位の信号群として適切な信号が抽出されているかを判別し易いという効果がある。

請求項６記載のユーザインターフェイス装置に依れば、請求項４又は５に記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。第２表示制御手段によって第２のレベル分布が表示された表示画面に対し、抽出領域を拡大又は縮小させる設定が、拡大縮小設定受付手段により、入力手段から受け付けられると、受け付けられた設定（抽出領域を拡大又は縮小させる設定）が、第２設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定対象の抽出領域内から抽出された抽出信号に対し、該抽出信号から形成される音像を拡大又は縮小させる処理を施すことができる。よって、ユーザは、表示画面上に表示された定位−周波数平面を見ながら、楽器やボーカルの音像を、所望に拡大又は縮小させる指示を入力することができるので、音像の拡大又は縮小を容易かつ自在に行い得るという効果がある。

また、表示画面の表示内容が、第３表示制御手段により、第２表示制御手段によって表示された表示内容から切り換えられる。具体的に、音像を拡大又は縮小した後の各抽出領域の抽出信号についての第２のレベル分布のレベル（定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たときの高さ）が区別可能な表示態様で表示された内容を少なくとも含むように表示内容が切り換えられる。よって、ユーザは、拡大又は縮小後のボーカルや楽器の音像を視覚的に捉えることができるので、ユーザのイメージ通りの音像を容易に得やすいという効果がある。

請求項７記載のユーザインターフェイス装置によれば、請求項４から６のいずれかに記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。第２表示制御手段によって第２のレベル分布が表示された表示画面に対し、抽出領域を定位−周波数座標平面上で移動させる設定が、領域移動設定受付手段により、入力手段から受け付けられると、受け付けられた設定（抽出領域を移動させる設定）が、第３設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定対象の抽出領域内から抽出された抽出信号を、移動先の抽出領域に移動させる処理を施すことができる。よって、ユーザは、表示画面上に表示された定位−周波数平面を見ながら、所望の楽器やボーカルの定位を移動させたり、ピッチを変更したりするための指示を入力することができるので、定位の移動及び／又はピッチ変更を自在に行い得るという効果がある。

また、表示画面の表示内容が、第４表示制御手段により、第２表示制御手段によって表示された表示内容から切り換えられる。具体的に、移動後の抽出領域に含まれる抽出信号についての第２のレベル分布のレベル（定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たときの高さ）が区別可能な表示態様で表示された内容を少なくとも含むように表示内容が切り換えられる。よって、ユーザは、ボーカルや楽器の定位移動及び／又はピッチ変更を視覚的に捉えることができるので、ユーザのイメージ通りにボーカルや楽器単位の音を加工できるという効果がある。

請求項８記載のユーザインターフェイス装置によれば、楽音信号処理手段に処理対象として入力された入力楽音信号について、予め定められた基準定位に対する信号の出力方向を示す定位情報に基づき、定位−周波数平面（信号の出力方向を示す軸である定位軸と周波数を示す軸である周波数軸とから構成される座標平面）を表示する表示画面上における、該取得した定位情報に対応する周波数帯域の入力楽音信号の出力方向の表示位置が算出され、そのように算出された周波数帯域毎の表示位置に、所定の図形が、第１表示制御手段により、各表示位置に対応する周波数帯域のレベル（第１情報取得手段により取得したレベル）に応じた表示態様で表示画面に表示される。よって、ユーザは、楽音信号処理手段に処理対象として入力された入力楽音信号の中に含まれる、ある周波数付近の信号であってある定位付近に定位する信号をその信号のレベルを区別可能に視認することができる。

また、第１表示制御手段によって各周波数帯域の信号についての所定の図形が表示された表示画面に対し、定位−周波数平面上における定位軸方向の定位範囲と周波数軸方向の周波数範囲とに基づいて規定される抽出領域の設定が、抽出領域設定手段により、少なくとも１の抽出領域について入力手段から受け付けられると、受け付けられた各抽出領域の設定が、第１設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定された各抽出領域に収まる入力楽音信号（入力楽音信号の中に含まれる設定された各抽出領域に含まれる信号）を抽出信号として抽出することができる。

そして、第１表示制御手段によって表示画面に表示された図形のうち、第２表示位置算出手段により周波数帯域毎に算出された各表示位置の図形の表示態様が、第２制御手段により、該算出された表示位置を包含する抽出領域に応じた表示態様に変更されるので、ユーザは、設定された抽出領域から抽出された抽出信号を、抽出領域に応じた表示態様で視認することができ、ボーカルや楽器単位の信号群として適切な信号が抽出されているかを判別し易い。よって、ユーザは、各抽出領域から抽出された抽出信号に対する表示態様から、所望のボーカルや楽器単位の信号群の存在位置の特定を容易に行うことができ、その結果、所望のボーカルや楽器単位の信号群を適切に抽出できるという効果がある。

請求項９記載のユーザインターフェイス装置によれば、請求項８記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。第２表示制御手段による表示の変更がなされた表示画面に対し、抽出領域を拡大又は縮小させる設定が、拡大縮小設定受付手段により、入力手段から受け付けられると、受け付けられた設定（抽出領域を拡大又は縮小させる設定）が、第２設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定対象の抽出領域内から抽出された抽出信号に対し、該抽出信号から形成される音像を拡大又は縮小させる処理を施すことができる。よって、ユーザは、表示画面上に表示された定位−周波数平面を見ながら、楽器やボーカルの音像を、所望に拡大又は縮小させる指示を入力することができるので、音像の拡大又は縮小を容易かつ自在に行い得るという効果がある。

また、第２表示制御手段によって表示態様が変更された図形に対応する抽出信号のうち、音像の拡大又は縮小に伴って移動された抽出信号（即ち、第３表示位置算出手段により表示位置が算出された抽出信号）に対応する図形が、第３表示制御手段により、移動後の表示位置に移動されるので、ユーザは、拡大又は縮小後のボーカルや楽器の音像を視覚的に捉えることができるので、ユーザのイメージ通りの音像を容易に得やすいという効果がある。

請求項１０記載のユーザインターフェイス装置によれば、請求項８又は９に記載のユーザインターフェイス装置の奏する効果に加えて、次の効果を奏する。第２表示制御手段によって第２のレベル分布が表示された表示画面に対し、抽出領域を定位−周波数座標平面上で移動させる設定が、領域移動設定受付手段により、入力手段から受け付けられると、受け付けられた設定（抽出領域を移動させる設定）が、第３設定供給手段により、楽音信号処理手段へと供給される。これにより、楽音信号処理手段に、設定対象の抽出領域内から抽出された抽出信号を、移動先の抽出領域に移動させる処理を施すことができる。よって、ユーザは、表示画面上に表示された定位−周波数平面を見ながら、所望の楽器やボーカルの定位を移動させたり、ピッチを変更したりするための指示を入力することができるので、定位の移動及び／又はピッチ変更を自在に行い得るという効果がある。
第２表示制御手段によって表示態様が変更された図形に対応する抽出信号のうち、移動後の抽出信号（即ち、第４表示位置算出手段により表示位置が算出された抽出信号）に対応する図形が、第４表示制御手段により、移動後の表示位置に移動される。よって、ユーザは、ボーカルや楽器の定位移動及び／又はピッチ変更を視覚的に捉えることができるので、ユーザのイメージ通りにボーカルや楽器単位の音を加工できるという効果がある。

本発明の一実施形態であるエフェクタ（楽音信号処理装置の一例）を示したブロック図である。 ＤＳＰで実行される処理を、機能ブロックを用いて模式的に示した図である。 各部Ｓ１０、Ｓ２０、Ｓ６０〜Ｓ９０で実行される処理を示した図である。 メイン処理部Ｓ３０で実行される処理を示した図である。 第１取り出し処理Ｓ１００、第１信号処理Ｓ１１０、第２取り出し処理Ｓ２００および第２信号処理Ｓ２１０で行われる処理の詳細を示した図である。 指定以外を取り出す処理Ｓ３００および指定外信号処理Ｓ３１０で行われる処理の詳細を示した図である。 （ａ），（ｂ）は、定位ｗ［ｆ］と目標とする定位とによって決定される各係数を説明するためのグラフである。 第２実施形態における音像拡大縮小処理により音像が拡大又は縮小される様子を示した模式図である。 第２実施形態の第１信号処理Ｓ１１０および第２信号処理Ｓ２１０で行われる処理の詳細を示した図である。 第３実施形態における音像拡大縮小処理の概要を説明するための模式図である。 第３実施形態のエフェクタで実行される主要な処理を示した図である。 第４実施形態のＵＩ装置が表示装置に表示する表示内容を説明するための模式図である。 定位−周波数平面上における楽音信号のレベル分布の、ある周波数での断面図である。 第４実施形態のＵＩ装置を用いたエフェクタへの指示入力を説明するための模式図である。 （ａ）は、第４実施形態のＵＩ装置のＣＰＵが実行する表示制御処理を示したフローチャートであり、（ｂ）は、第４実施形態のＵＩ装置のＣＰＵが実行する領域設定処理を示したフローチャートである。 第５実施形態のＵＩ装置が表示装置に表示する表示内容を説明するための模式図である。 第５実施形態のＵＩ装置のＣＰＵが実行する表示制御処理を示したフローチャートである。

以下、本発明の好ましい実施例について、添付図面を参照して説明する。まず、図１から図７を参照して本発明の第１実施形態について説明する。図１は、本発明における第１実施形態のエフェクタ１（楽音信号処理装置の一例）を示したブロック図である。このエフェクタ１は、信号処理を施す対象となる楽音信号（以後、「抽出信号」と称す）の抽出を、複数の各条件（周波数、定位および最大レベルが一組となった条件の各々）にわたって行うことができるものである。

エフェクタ１は、Ｌｃｈ用アナログデジタルコンバータ（以下、「Ａ／Ｄコンバータ」と称す）１１Ｌと、Ｒｃｈ用Ａ／Ｄコンバータ１１Ｒと、デジタルシグナルプロセッサ（以下、「ＤＳＰ」と称す）１２と、Ｌｃｈ用第１デジタルアナログコンバータ（以下、「Ｄ／Ａコンバータ」と称す）１３Ｌ１と、Ｒｃｈ用第１Ｄ／Ａコンバータ１３Ｒ１と、Ｌｃｈ用第２Ｄ／Ａコンバータ１３Ｌ２と、Ｒｃｈ用第２Ｄ／Ａコンバータ１３Ｒ２と、ＣＰＵ１４と、ＲＯＭ１５と、ＲＡＭ１６と、表示装置１２１を接続するためのインターフェイスであるＩ／Ｆ２１と、入力装置１２２を接続するためのインターフェイスであるＩ／Ｆ２２と、バスライン１７とを有している。各部１１〜１６，２１，２２は、バスライン１７を介して互いに電気的に接続されている。

Ｌｃｈ用Ａ／Ｄコンバータ１１Ｌは、ＩＮ＿Ｌ端子から入力された左チャンネル信号（楽音信号の一部）を、アナログ信号からデジタル信号へ変換して、デジタル化された左チャンネル信号を、バスライン１７を介してＤＳＰ１２へと出力するコンバータである。また、Ｒｃｈ用Ａ／Ｄコンバータ１１Ｒは、ＩＮ＿Ｒ端子から入力された右チャンネル信号（楽音信号の一部）を、アナログ信号からデジタル信号へ変換して、デジタル化された右チャンネル信号を、バスライン１７を介してＤＳＰ１２へと出力するコンバータである。

ＤＳＰ１２は、Ｌｃｈ用Ａ／Ｄコンバータ１１Ｌから出力された左チャンネル信号およびＲｃｈ用Ａ／Ｄコンバータ１１Ｒから出力された右チャンネル信号を入力すると、その入力した左チャンネル信号および右チャンネル信号へ信号処理を施して、その信号処理を施した左チャンネル信号および右チャンネル信号を、Ｌｃｈ用第１Ｄ／Ａコンバータ１３Ｌ１、Ｒｃｈ用第１Ｄ／Ａコンバータ１３Ｒ１、Ｌｃｈ用第２Ｄ／Ａコンバータ１３Ｌ２およびＲｃｈ用第２Ｄ／Ａコンバータ１３Ｒ２へ出力するプロセッサである。

Ｌｃｈ用第１Ｄ／Ａコンバータ１３Ｌ１及びＬｃｈ用第２Ｄ／Ａコンバータ１３Ｌ２は、ＤＳＰ１２で信号処理が施された左チャンネル信号を、デジタル信号からアナログ信号へ変換して、そのアナログ信号を、メインスピーカのＬチャンネル側（図示せず）が接続される端子（ＯＵＴ１＿Ｌ端子，ＯＵＴ２＿Ｌ端子）へ出力するコンバータである。なお、Ｌｃｈ用第１Ｄ／Ａコンバータ１３Ｌ１及びＬｃｈ用第２Ｄ／Ａコンバータ１３Ｌ２には、それぞれ、ＤＳＰ１２で各々独立した信号処理がなされて出力された左チャンネル信号が入力される。

Ｒｃｈ用第１Ｄ／Ａコンバータ１３Ｒ１及びＲｃｈ用第２Ｄ／Ａコンバータ１３Ｒ２は、ＤＳＰ１２で信号処理が施された右チャンネル信号を、デジタル信号からアナログ信号へ変換して、そのアナログ信号を、メインスピーカのＲチャンネル側（図示せず）が接続される端子（ＯＵＴ１＿Ｒ端子，ＯＵＴ２＿Ｒ端子）へ出力するコンバータである。なお、Ｒｃｈ用第１Ｄ／Ａコンバータ１３Ｒ１及びＲｃｈ用第２Ｄ／Ａコンバータ１３Ｒ２には、それぞれ、ＤＳＰ１２で各々独立した信号処理がなされて出力された右チャンネル信号が入力される。

ＣＰＵ１４は、エフェクタ１の動作を制御する中央制御装置である。ＲＯＭ１５は、エフェクタ１で実行される制御プログラム１５ａ等を格納した書換不能なメモリである。ＲＡＭ１６は、各種のデータを一時的に記憶するためのメモリである。

Ｉ／Ｆ２１に接続される表示装置１２１は、ＬＣＤ等によって構成される表示画面を有する装置であり、Ａ／Ｄコンバータ１１Ｌ，１１Ｒを介してエフェクタ１に入力された楽音信号や、エフェクタ１において入力楽音信号に対して後述する信号処理を施した処理後の楽音信号を、可視化して表示させるためのものである。

Ｉ／Ｆ２２に接続される入力装置１２２は、エフェクタ１に供給する各種実行指示を入力するための装置であり、例えば、マウスやタブレットやキーボードなどで構成される。また、入力装置１２２を、表示装置１２１の表示画面上になされた操作を感知するタッチパネルとして構成してもよい。

次に、図２〜図６を参照して、ＤＳＰ１２の処理について説明する。なお、図２〜図６に示す各処理（ＤＳＰ１２による処理）は、ＲＯＭ１５に記憶されている制御プログラム１５ａにより実行される。

図２は、ＤＳＰ１２で実行される処理を、機能ブロックを用いて模式的に示した図である。ＤＳＰ１２は、機能ブロックとして、第１処理部Ｓ１と第２処理部Ｓ２とを有している。ＤＳＰ１２は、エフェクタ１の電源オン中、図２に示す処理を繰り返し実行する。

ＤＳＰ１２は、ＩＮ＿Ｌ端子から入力された時間領域における左チャンネル信号（以下、「ＩＮ＿Ｌ［ｔ］信号」と称す。［ｔ］は、信号が時間領域で示されることを表わしている）と、ＩＮ＿Ｒ端子から入力された時間領域における右チャンネル信号（以下、「ＩＮ＿Ｒ［ｔ］信号」と称す）とを入力し、第１処理部Ｓ１および第２処理部Ｓ２における処理を実行する。

ここで、第１処理部Ｓ１と第２処理部Ｓ２とにおける処理は、同一の処理であり、かつ、所定間隔毎に実行されるのであるが、第２処理部Ｓ２における処理は、第１処理部Ｓ１における処理の実行開始から所定時間遅れて実行開始される。これにより、第２処理部Ｓ２における処理は、第１処理部Ｓ１における処理の実行終了から実行開始までのつなぎ目を補い、第１処理部Ｓ１における処理は、第２処理部Ｓ２における処理の実行終了から実行開始までのつなぎ目を補っている。よって、第１処理部Ｓ１により生成された信号と第２処理部Ｓ２により生成された信号とが合成された信号、即ち、ＤＳＰ１２から出力される、時間領域における第１左チャンネル信号（以下、「ＯＵＴ１＿Ｌ［ｔ］信号」と称す）と、時間領域における第１右チャンネル信号（以下、「ＯＵＴ１＿Ｒ［ｔ］信号」と称す）と、時間領域における第２左チャンネル信号（以下、「ＯＵＴ２＿Ｌ［ｔ］信号」と称す）と、時間領域における第２右チャンネル信号（以下、「ＯＵＴ２＿Ｒ［ｔ］信号」と称す）とが、不連続となることを防止している。なお、本実施形態では、第１処理部Ｓ１及び第２処理部Ｓ２は、０．１秒毎に実行され、第２処理部Ｓ２における処理が、第１処理部Ｓ１における処理の実行開始から０．０５秒後に実行開始されるものとする。しかし、第１処理部Ｓ１及び第２処理部Ｓ２の実行間隔、並びに、第１処理部Ｓ１における処理の実行開始から第２処理部Ｓ２における処理の実行開始までの遅延時間は、０．１秒及び０．０５秒に限定されず、サンプリング周波数と楽音信号の数とに応じた値を適宜利用可能である。

第１処理部Ｓ１および第２処理部Ｓ２は、機能ブロックとして、Ｌｃｈ解析処理部Ｓ１０、Ｒｃｈ解析処理部Ｓ２０、メイン処理部Ｓ３０、Ｌ１ｃｈ出力処理部Ｓ６０、Ｒ１ｃｈ出力処理部Ｓ７０、Ｌ２ｃｈ出力処理部Ｓ８０およびＲ２ｃｈ出力処理部Ｓ９０をそれぞれ有している。

Ｌｃｈ解析処理部Ｓ１０は、入力したＩＮ＿Ｌ［ｔ］信号を、周波数領域で示される左チャンネル信号（以下、「ＩＮ＿Ｌ［ｆ］信号」と称す。［ｆ］は、信号が周波数領域で示されることを表わしている）に変換して出力するものであり、Ｒｃｈ解析処理部Ｓ２０は、入力したＩＮ＿Ｒ［ｔ］信号を、周波数領域で示される右チャンネル信号（以下、「ＩＮ＿Ｒ［ｆ］信号」と称す）に変換して出力するものである。なお、Ｌｃｈ解析処理部Ｓ１０およびＲｃｈ解析処理部Ｓ２０の詳細は、図３を参照して後述する。

メイン処理部Ｓ３０は、Ｌｃｈ解析処理部Ｓ１０から入力されたＩＮ＿Ｌ［ｆ］信号とＲｃｈ解析処理部Ｓ２０から入力されたＩＮ＿Ｒ［ｆ］信号に対し、後述する第１信号処理、第２信号処理、及び、指定以外を取り出す処理を施し、各処理からの出力結果に基づき、周波数領域で示される左チャンネル信号及び右チャンネル信号を出力するものである。なお、メイン処理部Ｓ３０の処理の詳細は、図４〜６を参照して後述する。

Ｌ１ｃｈ出力処理部Ｓ６０は、メイン処理部Ｓ３０から出力された周波数領域で示される左チャンネル信号の１つ（以下、「ＯＵＴ＿Ｌ１［ｆ］信号と称す）が入力された場合に、そのＯＵＴ＿Ｌ１［ｆ］信号を、時間領域で示される左チャンネル信号（以下、「ＯＵＴ１＿Ｌ［ｔ］信号」と称す）へ変換するものである。Ｒ１ｃｈ出力処理部Ｓ７０は、メイン処理部Ｓ３０から出力された周波数領域で示される右チャンネル信号の１つ（以下、「ＯＵＴ＿Ｒ１［ｆ］信号と称す）が入力された場合に、そのＯＵＴ＿Ｒ１［ｆ］信号を、時間領域で示される右チャンネル信号（以下、「ＯＵＴ１＿Ｒ［ｔ］信号」と称す）へ変換するものである。

Ｌ２ｃｈ出力処理部Ｓ８０は、メイン処理部Ｓ３０から出力されたもう１つの周波数領域で示される左チャンネル信号（以下、「ＯＵＴ＿Ｌ２［ｆ］信号と称す）が入力された場合に、そのＯＵＴ＿Ｌ２［ｆ］信号を、時間領域で示される左チャンネル信号（以下、「ＯＵＴ２＿Ｌ［ｔ］信号」と称す）へ変換するものである。Ｒ２ｃｈ出力処理部Ｓ９０は、メイン処理部Ｓ３０から出力されたもう１つの周波数領域で示される右チャンネル信号（以下、「ＯＵＴ＿Ｒ２［ｆ］信号と称す）が入力された場合に、そのＯＵＴ＿Ｒ２［ｆ］信号を、時間領域で示される右チャンネル信号（以下、「ＯＵＴ２＿Ｒ［ｔ］信号」と称す）へ変換するものである。Ｌ１ｃｈ出力処理部Ｓ６０、Ｒ１ｃｈ出力処理部Ｓ７０、Ｌ２ｃｈ出力処理部Ｓ８０およびＲ２ｃｈ出力処理部Ｓ９０の処理の詳細は、図３を参照して後述する。

なお、第１処理部Ｓ１の各出力処理部Ｓ６０〜Ｓ９０から出力されるＯＵＴ＿Ｌ１［ｆ］信号、ＯＵＴ＿Ｒ１［ｆ］信号、ＯＵＴ＿Ｌ２［ｆ］信号およびＯＵＴ＿Ｒ２［ｆ］信号と、第２処理部Ｓ２の各出力処理部Ｓ６０〜Ｓ９０から出力されるＯＵＴ＿Ｌ１［ｆ］信号、ＯＵＴ＿Ｒ１［ｆ］信号、ＯＵＴ＿Ｌ２［ｆ］信号、およびＯＵＴ＿Ｒ２［ｆ］信号とは、それぞれ、クロスフェードで合成される。

次に、図３を参照して、メイン処理部３０を除く、Ｌｃｈ解析処理部Ｓ１０、Ｒｃｈ解析処理部Ｓ２０、Ｌ１ｃｈ出力処理部Ｓ６０、Ｒ１ｃｈ出力処理部Ｓ７０、Ｌ２ｃｈ出力処理部Ｓ８０およびＲ２ｃｈ出力処理部Ｓ９０で実行される処理の詳細について説明する。図３は、各部Ｓ１０、Ｓ２０およびＳ６０〜Ｓ９０で実行される処理を示した図である。

まず、Ｌｃｈ解析処理部Ｓ１０およびＲｃｈ解析処理部Ｓ２０について説明する。Ｌｃｈ解析処理部Ｓ１０では、まず、ＩＮ＿Ｌ［ｔ］信号に対して、ハニング窓をかける処理である窓関数処理を実行する（Ｓ１１）。その後、ＩＮ＿Ｌ［ｔ］信号に対して、高速フーリエ変換（ＦＦＴ）を行う（Ｓ１２）。この高速フーリエ変換により、ＩＮ＿Ｌ［ｔ］信号は、ＩＮ＿Ｌ［ｆ］信号へ変換される（フーリエ変換された各周波数ｆを横軸とするスペクトル信号となる）。なお、このＩＮ＿Ｌ［ｆ］信号は、実数部と虚数部を持つ式（以下、「複素式」と称す）で表現される。ここで、Ｓ１１の処理で、ＩＮ＿Ｌ［ｔ］信号に対してハニング窓をかけるのは、入力されたＩＮ＿Ｌ［ｔ］信号における始点と終点とが、高速フーリエ変換へ与える影響を軽減するためである。

Ｓ１２の処理後、Ｌｃｈ解析処理部Ｓ１０では、ＩＮ＿Ｌ［ｆ］信号のレベル（以下、「ＩＮＬ＿Ｌｖ［ｆ］」と称す）およびＩＮ＿Ｌ［ｆ］信号の位相（以下、「ＩＮＬ＿Ａｒ［ｆ］」と称す）を、各周波数ｆ毎に算出する（Ｓ１３）。具体的には、ＩＮＬ＿Ｌｖ［ｆ］は、ＩＮ＿Ｌ［ｆ］信号の複素式における実数部を２乗した値と、ＩＮ＿Ｌ［ｆ］信号の複素式における虚数部を２乗した値とを足し合わせ、その足し合わせた値の平方根を算出することで求める。また、ＩＮＬ＿Ａｒ［ｆ］は、ＩＮ＿Ｌ［ｆ］信号の複素式における虚数部を実数部で除した値のアークタンジェント（ｔａｎ＾（−１））を算出することで求める。Ｓ１３の処理後、メイン処理部Ｓ３０の処理へと移行する。

Ｒｃｈ解析処理部Ｓ２０では、ＩＮ＿Ｒ［ｔ］信号に対して、Ｓ２１〜Ｓ２３の処理が行われる。なお、このＳ２１〜Ｓ２３の処理は、Ｓ１１〜Ｓ１３の処理と同様の処理であり、Ｓ１１〜Ｓ１３の処理と異なる点は、処理対象が、ＩＮ＿Ｒ［ｔ］信号であり、ＩＮ＿Ｒ［ｆ］信号が出力される点である。よって、Ｓ２１〜Ｓ２３の処理の詳細な説明は省略する。なお、Ｓ２３の処理後、メイン処理部Ｓ３０の処理へと移行する。

次に、Ｌ１ｃｈ出力処理部Ｓ６０、Ｒ１ｃｈ出力処理部Ｓ７０、Ｌ２ｃｈ出力処理部Ｓ７０、Ｒ２ｃｈ出力処理部Ｓ９０について説明する。

Ｌ１ｃｈ出力処理部Ｓ６０では、まず、逆高速フーリエ変換（逆ＦＦＴ）が実行される（Ｓ６１）。この処理では、具体的には、メイン処理部Ｓ３０で算出されたＯＵＴ＿Ｌ１［ｆ］信号と、Ｌｃｈ解析処理部Ｓ１０のＳ１３の処理で算出されたＩＮＬ＿Ａｒ［ｆ］とを使用して、複素式を求め、その複素式に対して、逆高速フーリエ変換を行う。その後、逆高速フーリエ変換で算出された値に対して、Ｌｃｈ解析処理部Ｓ１０およびＲｃｈ解析処理部Ｓ２０で使用したハニング窓と同一の窓をかける窓関数処理を実行する（Ｓ６２）。例えば、Ｌｃｈ解析処理部Ｓ１０およびＲｃｈ解析処理部Ｓ２０で使用した窓関数が、ハニング窓であるとすれば、Ｓ６２の処理でも、ハニング窓を、逆高速フーリエ変換で算出した値に対してかける。これにより、ＯＵＴ１＿Ｌ［ｔ］信号が生成される。なお、Ｓ６２の処理で、逆高速フーリエ変換で算出された値に対してハニング窓をかけるのは、各出力処理部Ｓ６０〜Ｓ９０から出力される信号をクロスフェードしながら合成するためである。

Ｒ１ｃｈ出力処理部Ｓ７０では、Ｓ７１〜Ｓ７２の処理が行われる。なお、このＳ７１〜Ｓ７２の処理は、Ｓ６１〜Ｓ６２の処理と同様の処理であり、Ｓ６１〜Ｓ６２の処理と異なる点は、逆高速フーリエ変換で使用する複素式を求める際の値が、メイン処理部Ｓ３０で算出されたＯＵＴ＿Ｒ１［ｆ］信号と、Ｒｃｈ解析処理部Ｓ２０のＳ２３の処理で算出されたＩＮＲ＿Ａｒ［ｆ］となるところである。それ以外は、Ｓ６１〜Ｓ６２の処理と同一である。よって、Ｓ７１〜Ｓ７２の処理の詳細な説明は省略する。

また、Ｌ２ｃｈ出力処理部Ｓ８０では、Ｓ８１〜Ｓ８２の処理が行われる。なお、このＳ８１〜Ｓ８２の処理は、Ｓ６１〜Ｓ６２の処理と同様の処理であり、Ｓ６１〜Ｓ６２の処理と異なる点は、逆高速フーリエ変換で使用する複素式を求める際の値が、メイン処理部Ｓ３０で算出されたＯＵＴ＿Ｌ２［ｆ］信号となるところである（Ｌｃｈ解析処理部Ｓ１０のＳ１３の処理で算出されたＩＮＬ＿Ａｒ［ｆ］を使用するところは同じ）。それ以外は、Ｓ６１〜Ｓ６２の処理と同一である。よって、Ｓ８１〜Ｓ８２の処理の詳細な説明は省略する。

また、Ｒ２ｃｈ出力処理部Ｓ９０では、Ｓ９１〜Ｓ９２の処理が行われる。なお、このＳ９１〜Ｓ９２の処理は、Ｓ６１〜Ｓ６２の処理と同様の処理であり、Ｓ６１〜Ｓ６２の処理と異なる点は、逆高速フーリエ変換で使用する複素式を求める際の値が、メイン処理部Ｓ３０で算出されたＯＵＴ＿Ｒ２［ｆ］信号と、Ｒｃｈ解析処理部Ｓ２０のＳ２３の処理で算出されたＩＮＲ＿Ａｒ［ｆ］となるところである。それ以外は、Ｓ６１〜Ｓ６２の処理と同一である。よって、Ｓ９１〜Ｓ９２の処理の詳細は省略する。

次に、図４を参照して、メイン処理部Ｓ３０で実行される処理の詳細について説明する。図４は、メイン処理部Ｓ３０で実行される処理を示した図である。

メイン処理部Ｓ３０では、まず、ＩＮ＿Ｌ［ｔ］信号及びＩＮ＿Ｒ［ｔ］信号に対して行ったフーリエ変換（Ｓ１２、Ｓ２２）により得られた各周波数毎に定位ｗ［ｆ］を求めると共に、ＩＮＬ＿Ｌｖ［ｆ］とＩＮＲ＿Ｌｖ［ｆ］とのうち、大きいほうのレベルを、各周波数における最大レベルＭＬ［ｆ］として設定する（Ｓ３１）。Ｓ３１で求められた定位ｗ［ｆ］および設定された最大レベルＭＬ［ｆ］は、ＲＡＭ１６の所定領域に記憶される。なお、Ｓ３１において、定位ｗ［ｆ］は、（１／π）×（ａｒｃｔａｎ（ＩＮＲ＿Ｌｖ［ｆ］／ＩＮＬ＿Ｌｖ［ｆ］）＋０．２５で求められる。よって、任意の基準点で楽音を受音した場合に、即ち、任意の基準点でＩＮ＿Ｌ［ｔ］およびＩＮ＿Ｒ［ｔ］を入力した場合に、ＩＮＲ＿Ｌｖ［ｆ］がＩＮＬ＿Ｌｖ［ｆ］に対して十分大きければ、定位ｗ［ｆ］は０．７５となる一方、ＩＮＬ＿Ｌｖ［ｆ］がＩＮＲ＿Ｌｖ［ｆ］に対して十分大きければ、定位ｗ［ｆ］は０．２５となる。

次に、メモリのクリアを行う（Ｓ３２）。具体的には、ＲＡＭ１６の内部に設けられた、１Ｌ［ｆ］メモリ、１Ｒ［ｆ］メモリ、２Ｌ［ｆ］メモリおよび２Ｒ［ｆ］メモリをゼロクリアする。なお、１Ｌ［ｆ］メモリおよび１Ｒ［ｆ］メモリは、メイン処理部Ｓ３０から出力されるＯＵＴ＿Ｌ１［ｆ］信号およびＯＵＴ＿Ｒ１［ｆ］信号によって形成される定位を変更する場合に使用されるメモリであり、２Ｌ［ｆ］メモリおよび２Ｒ［ｆ］メモリは、メイン処理部Ｓ３０から出力されるＯＵＴ＿Ｌ２［ｆ］信号およびＯＵＴ＿Ｒ２［ｆ］信号によって形成される定位を変更する場合に使用されるメモリである。

Ｓ３２の実行後、第１取り出し処理（Ｓ１００）、第２取り出し処理（Ｓ２００）および指定以外を取り出す処理（Ｓ３００）がそれぞれ実行される。第１取り出し処理（Ｓ１００）は、予め設定された第１条件で、信号処理を施す対象となる信号を、つまり抽出信号を抽出する処理であり、第２取り出し処理（Ｓ２００）は、予め設定された第２条件で、抽出信号を抽出する処理である。また、指定以外を取り出す処理（Ｓ３００）は、第１条件および第２条件以外で、抽出信号を抽出する処理である。なお、指定以外を取り出す処理（Ｓ３００）は、第１取り出し処理（Ｓ１００）および第２取り出し処理（Ｓ２００）の処理結果を使用するので、第１取り出し処理（Ｓ１００）および第２取り出し処理（Ｓ２００）の処理完了後に実行される。

第１取り出し処理（Ｓ１００）の実行後は、その処理（Ｓ１００）で抽出された抽出信号へ信号処理を施す第１信号処理が実行される（Ｓ１１０）。また、第２取り出し処理（Ｓ２００）の実行後は、その処理（Ｓ２００）で抽出された抽出信号へ信号処理を施す第２信号処理が実行される（Ｓ２１０）。更に、指定以外を取り出す処理（Ｓ３００）の実行後は、その処理（Ｓ３００）で抽出された抽出信号へ信号処理を施す指定外信号処理が実行される（Ｓ３１０）。

ここで、図５を参照して、第１取り出し処理（Ｓ１００）、第１信号処理（Ｓ１１０）、第２取り出し処理（Ｓ２００）および第２信号処理（Ｓ２１０）を説明し、次に、図６を参照して、指定以外を取り出す処理（Ｓ３００）および指定外信号処理（Ｓ３１０）を説明する。

まず、第１取り出し処理（Ｓ１００）、第１信号処理（Ｓ１１０）、第２取り出し処理（Ｓ２００）および第２信号処理（Ｓ２１０）について説明する。図５は、第１取り出し処理（Ｓ１００）、第１信号処理（Ｓ１１０）、第２取り出し処理（Ｓ２００）および第２信号処理（Ｓ２１０）で行われる処理の詳細を示した図である。

第１取り出し処理（Ｓ１００）では、周波数ｆが、予め設定された第１周波数範囲内であり、かつ、第１周波数範囲内の周波数における定位ｗ［ｆ］および最大レベルＭＬ［ｆ］がそれぞれ、予め設定された第１設定範囲内であるか否か、即ち、楽音信号が第１条件を満たすか否かが判定される（Ｓ１０１）。周波数ｆが、予め設定された第１周波数範囲内であり、かつ、第１周波数範囲内の周波数における定位ｗ［ｆ］および最大レベルＭＬ［ｆ］がそれぞれ、予め設定された第１設定範囲内である場合には（Ｓ１０１：Ｙｅｓ）、その周波数ｆにおける楽音信号（左チャンネル信号および右チャンネル信号）は、抽出信号であると判定され、配列ｒｅｌ［ｆ］［１］に１．０が代入される（Ｓ１０２）。なお、図面上では、配列ｒｅｌにおける「ｌ（エル）」部分を、筆記体のエルとして表示している。配列ｒｅｌ［ｆ］［１］に記載のｆには、Ｓ１０１でＹｅｓと判定された時点の周波数が代入される。また、配列ｒｅｌ［ｆ］［１］に記載の１は、配列ｒｅｌ［ｆ］［１］が、第１取り出し処理（Ｓ１００）における抽出信号であることを示している。

なお、周波数ｆが、予め設定された第１周波数範囲内でないか、または、第１周波数範囲内の周波数ｆにおける定位ｗ［ｆ］が第１設定範囲内でないか、或いは、第１周波数範囲内の周波数ｆにおける最大レベルＭＬ［ｆ］が、第１設定範囲内でない場合には（Ｓ１０１：Ｎｏ）、その周波数ｆにおける楽音信号（左チャンネル信号および右チャンネル信号）は、抽出信号でないと判定され、配列ｒｅｌ［ｆ］［１］に０．０が代入される（Ｓ１０３）。

Ｓ１０２またはＳ１０３の処理後、フーリエ変換された全ての周波数について、Ｓ１０１の処理が完了したか否かが判定され（Ｓ１０４）、Ｓ１０４の判定が否定される場合には（Ｓ１０４：Ｎｏ）、Ｓ１０１の処理へ戻る一方、Ｓ１０４の判定が肯定される場合には（Ｓ１０４：Ｙｅｓ）、第１信号処理（Ｓ１１０）へ移行する。

第１信号処理（Ｓ１１０）では、ＯＵＴ＿Ｌ１［ｆ］信号の一部となる１Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ１［ｆ］信号の一部となる１Ｒ［ｆ］信号のレベルを調整することで、第１取り出し処理（Ｓ１００）での抽出信号によって形成される定位（メインスピーカから出力される分）を調整するＳ１１１の処理が行われる。また、このＳ１１１の処理と平行して、第１信号処理（Ｓ１１０）では、ＯＵＴ＿Ｌ２［ｆ］信号の一部となる２Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ２［ｆ］信号の一部となる２Ｒ［ｆ］信号のレベルを調整することで、第１取り出し処理（Ｓ１００）での抽出信号によって形成される定位（サブスピーカから出力される分）を調整するＳ１１４の処理が行われる。

Ｓ１１１の処理では、ＯＵＴ＿Ｌ１［ｆ］信号の一部となる１Ｌ［ｆ］信号が算出される。具体的には、「ＩＮＬ＿Ｌｖ［ｆ］×ｌｌ＋ＩＮＲ＿Ｌｖ［ｆ］×ｌｒ）×ｒｅｌ［ｆ］［１］×ａ」が、ＩＮ＿Ｌ［ｔ］信号及びＩＮ＿Ｒ［ｔ］信号に対して行ったフーリエ変換（Ｓ１２、Ｓ２２）により得られた全ての周波数について行われて、１Ｌ［ｆ］信号が算出される。同様に、Ｓ１１１の処理では、ＯＵＴ＿Ｒ１［ｆ］信号の一部となる１Ｒ［ｆ］信号が算出される。具体的には、「ＩＮＬ＿Ｌｖ［ｆ］×ｒｌ＋ＩＮＲ＿Ｌｖ［ｆ］×ｒｒ）×ｒｅｌ［ｆ］［１］×ａ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、１Ｒ［ｆ］信号が算出される。

なお、ａは、第１信号処理に対して予め定められた係数であり、ｌｌ，ｌｒ，ｒｌ，ｒｒは、楽音信号（左チャンネル信号、右チャンネル信号）から求められる定位ｗ［ｆ］と、第１信号処理に対して予め定められた目標とする定位（例えば、０．２５〜０．７５の範囲内の値）とに応じて決定される係数である。なお、図面上では、「ｌ（エル）」を、筆記体のエルとして表記している。ここで、図７を参照して、ｌｌ，ｌｒ，ｒｌ，ｒｒについて説明する。図７は、定位ｗ［ｆ］と目標とする定位とに応じて決定される各係数を説明するためのグラフである。図７のグラフにおいて、横軸は、（目標とする定位−定位ｗ［ｆ］＋０．５）の値であり、縦軸は、各係数（ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´）である。

ｌｌとｒｒとの関係は、図７（ａ）に示す通りである。よって、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が０．５である場合に、ｌｌとｒｒとは、互いに最大の係数となる。逆に、ｌｒとｒｌとの関係は、図７（ｂ）に示すようになり、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が０．５である場合に、ｌｒとｒｌとは、互いに最小の（ゼロの）係数となる。

図５の説明に戻る。Ｓ１１１の処理後、１Ｌ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ１１２）。なお、ピッチ変更、レベル変更、及びリバーブ付与（所謂、コンボリューション・リバーブ）については、いずれも公知技術であるので、それらの具体的説明は省略する。１Ｌ［ｆ］信号に対してＳ１１２の処理が行われると、ＯＵＴ＿Ｌ１［ｆ］信号を構成する１Ｌ＿１［ｆ］信号が生成される。同様に、Ｓ１１１の処理後、１Ｒ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ１１３）。１Ｒ［ｆ］信号に対してＳ１１３の処理が行われると、ＯＵＴ＿Ｒ１［ｆ］信号を構成する１Ｒ＿１［ｆ］信号が生成される。

また、Ｓ１１４の処理では、ＯＵＴ＿Ｌ２［ｆ］信号の一部となる２Ｌ［ｆ］信号が算出される。具体的には、「ＩＮＬ＿Ｌｖ［ｆ］×ｌｌ´＋ＩＮＲ＿Ｌｖ［ｆ］×ｌｒ´）×ｒｅｌ［ｆ］［１］×ｂ」が、ＩＮ＿Ｌ［ｔ］信号及びＩＮ＿Ｒ［ｔ］信号に対して行ったフーリエ変換（Ｓ１２、Ｓ２２）により得られた全ての周波数について行われて、２Ｌ［ｆ］信号が算出される。同様に、Ｓ１１４の処理では、ＯＵＴ＿Ｒ２［ｆ］信号の一部となる２Ｒ［ｆ］信号が算出される。具体的には、「ＩＮＬ＿Ｌｖ［ｆ］×ｒｌ´＋ＩＮＲ＿Ｌｖ［ｆ］×ｒｒ´）×ｒｅｌ［ｆ］［１］×ｂ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、２Ｒ［ｆ］信号が算出される。

なお、ｂは、第１信号処理に対して予め定められた係数である。この係数ｂは、係数ａと同じであっても異なっていてもよい。また、ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´は、楽音信号から求められる定位ｗ［ｆ］と、第２信号処理に対して予め定められた目標とする定位（例えば、０．２５〜０．７５の範囲内の値）とによって決定される係数である。ここで、図７を参照して、ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´について説明する。ｌｌ´とｒｒ´との関係は、図７（ａ）に示すようになり、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が０．０である場合に、ｌｌ´は最大の係数となる一方で、ｒｒ´は最小の（ゼロの）係数となる。逆に、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が１．０である場合に、ｌｌ´は最小の（ゼロの）係数となる一方で、ｒｒ´は最大の係数となる。

同様に、ｌｒ´とｒｌ´との関係は、図７（ｂ）に示すようになり、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が０．０である場合に、ｌｒ´は最大の係数となる一方で、ｒｌ´は最小の（ゼロの）係数となる。逆に、（目標とする定位−定位ｗ［ｆ］＋０．５）の値が１．０である場合に、ｌｒ´は最小の（ゼロの）係数となる一方で、ｒｌ´は最大の係数となる。

図５の説明に戻る。Ｓ１１４の処理後、２Ｌ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ１１５）。２Ｌ［ｆ］信号に対してＳ１１５の処理が行われると、ＯＵＴ＿Ｌ２［ｆ］信号を構成する２Ｌ＿１［ｆ］信号が生成される。同様に、Ｓ１１４の処理後、２Ｒ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ１１６）。２Ｒ［ｆ］信号に対してＳ１１６の処理が行われると、ＯＵＴ＿Ｒ２［ｆ］信号を構成する２Ｒ＿１［ｆ］信号が生成される。

第１取り出し処理Ｓ１００と平行して実行される第２取り出し処理Ｓ２００では、周波数ｆが、予め設定された第２周波数範囲内であり、かつ、第２周波数範囲内の周波数における定位ｗ［ｆ］および最大レベルＭＬ［ｆ］がそれぞれ、予め設定された第２設定範囲内であるか否か、即ち、楽音信号が第２条件を満たすか否かが判定される（Ｓ２０１）。本実施形態では、第２周波数範囲は、第１周波数範囲とは異なる範囲（範囲開始と範囲終了とが完全には一致しない範囲）であり、第２設定範囲は、第１設定範囲とは異なる範囲（範囲開始と範囲終了とが完全には一致しない範囲）とする。なお、第２周波数範囲は、第１周波数範囲に一部重なる範囲であってもよいし、第１周波数範囲と完全に一致する範囲であってもよい。第２設定範囲もまた、第１設定範囲に一部重なる範囲であってもよく、第１設定範囲と完全に一致する範囲であってもよい。

周波数ｆが、予め設定された第２周波数範囲内であり、かつ、第２周波数範囲内の周波数における定位ｗ［ｆ］および最大レベルＭＬ［ｆ］がそれぞれ、予め設定された第２設定範囲内である場合には（Ｓ２０１：Ｙｅｓ）、その周波数ｆにおける楽音信号（左チャンネル信号および右チャンネル信号）は、抽出信号であると判定され、配列ｒｅｌ［ｆ］［２］に１．０が代入される（Ｓ１０２）。なお、配列ｒｅｌ［ｆ］［２］に記載の２は、配列ｒｅｌ［ｆ］［２］が、第２取り出し処理Ｓ２００における抽出信号であることを示している。

なお、周波数ｆが、予め設定された第２周波数範囲内でないか、または、第２周波数範囲内の周波数ｆにおける定位ｗ［ｆ］が第２設定範囲内でないか、或いは、第２周波数範囲内の周波数ｆにおける最大レベルＭＬ［ｆ］が、第２設定範囲内でない場合には（Ｓ２０１：Ｎｏ）、その周波数ｆにおける楽音信号（左チャンネル信号および右チャンネル信号）は、抽出信号でないと判定され、配列ｒｅｌ［ｆ］［２］に０．０が代入される（Ｓ２０３）。

Ｓ２０２またはＳ２０３の処理後、フーリエ変換された全ての周波数について、Ｓ２０１の処理が完了したか否かが判定され（Ｓ２０４）、Ｓ２０４の判定が否定される場合には（Ｓ２０４：Ｎｏ）、Ｓ２０１の処理へ戻る一方、Ｓ２０４の判定が肯定される場合には（Ｓ２０４：Ｙｅｓ）、第２信号処理（Ｓ２１０）へ移行する。

第２信号処理（Ｓ２１０）では、ＯＵＴ＿Ｌ１［ｆ］信号の一部となる１Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ１［ｆ］信号の一部となる１Ｒ［ｆ］信号のレベルを調整することで、第２取り出し処理（Ｓ２００）での抽出信号によって形成される定位（メインスピーカから出力される分）を調整するＳ２１１の処理が行われる。また、このＳ２１１の処理と平行して、第２信号処理（Ｓ２１０）では、ＯＵＴ＿Ｌ２［ｆ］信号の一部となる２Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ２［ｆ］信号の一部となる２Ｒ［ｆ］信号のレベルを調整することで、第２取り出し処理（Ｓ２００）での抽出信号によって形成される定位（サブスピーカから出力される分）を調整するＳ２１４の処理が行われる。

ここで、第２信号処理（Ｓ２１０）におけるＳ２１１〜Ｓ２１６の各処理は、以下に説明する点が異なっていること以外は、第１信号処理（Ｓ１１０）におけるＳ１１１〜Ｓ１１６の各処理と同様に行われるので、その説明は省略する。第２信号処理（Ｓ２１０）と第１信号処理（Ｓ１１０）との第１の相違点は、第１信号処理に入力される信号が、第１取り出し処理（Ｓ１００）からの抽出信号であるのに対し、第２信号処理に入力される信号は、第２取り出し処理（Ｓ２００）からの抽出信号である点であり、第２の相違点は、第１信号処理では、配列ｒｅｌ［ｆ］［１］を用いるのに対し、第２信号処理では、配列ｒｅｌ［ｆ］［２］をそれぞれ用いる点であり、第３の相違点は、第１信号処理から出力される信号が、１Ｌ＿１［ｆ］、１Ｒ＿１［ｆ］、１Ｌ＿２［ｆ］、及び１Ｒ＿２［ｆ］であるのに対し、第２信号処理から出力される信号は、２Ｌ＿１［ｆ］、２Ｒ＿１［ｆ］、２Ｌ＿２［ｆ］、及び２Ｒ＿２［ｆ］である点である。

なお、第１信号処理（Ｓ１１０）で目標とする定位と、第２信号処理（Ｓ２１０）で目標とする定位とは、同じであっても異なっていてもよい。つまり、第１信号処理と第２信号処理とで目標とする定位が異なる場合には、第１信号処理で用いる係数ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´と、第２信号処理で用いる係数ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´が異なることになる。また、第１信号処理で用いる係数ａ，ｂと、第２信号処理で用いる係数ａ，ｂとは、同じであっても異なっていてもよい。また、第１信号処理の中で実行される加工処理Ｓ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６の内容と、第２信号処理（Ｓ２１０）の中で実行される加工処理Ｓ２１２，Ｓ２１３，Ｓ２１５，Ｓ２１６の内容は、同じであっても異なっていてもよい。

次に、指定以外を取り出す処理（Ｓ３００）および指定外信号処理（Ｓ３１０）について説明する。図６は、指定以外を取り出す処理（Ｓ３００）および指定外信号処理（Ｓ３１０）で行われる処理の詳細を示した図である。

指定以外を取り出す処理（Ｓ３００）では、まず、Ｓ１２，Ｓ２２においてフーリエ変換された周波数のうち、最も低い周波数におけるｒｅｌ［ｆ］［１］が０．０であり、かつ、最も低い周波数におけるｒｅｌ［ｆ］［２］が０．０であるか、即ち、最も低い周波数における楽音信号（左チャンネル信号および右チャンネル信号）が抽出信号として、第１取り出し処理（Ｓ１００）または第２取り出し処理（Ｓ２００）で抽出されていないかを判定する（Ｓ３０１）。なお、本実施形態では、第１取り出し処理（Ｓ１００）におけるＳ１０２，Ｓ１０３で設定されたｒｅｌ［ｆ］［１］の値、及び、第２取り出し処理（Ｓ２００）におけるＳ２０２，Ｓ２０３で設定されたｒｅｌ［ｆ］［２］の値を用いてＳ３０１の判定を行うものとする。また、Ｓ３０１の処理を行う前に、第１、第２取り出し処理（Ｓ１００，Ｓ２００）と同様の処理を別途実行し、その際に得られたｒｅｌ［ｆ］［１］の値及びｒｅｌ［ｆ］［２］の値を用いてＳ３０１の判定を行ってもよい。

最も低い周波数におけるｒｅｌ［ｆ］［１］が０．０であり、かつ、最も低い周波数におけるｒｅｌ［ｆ］［２］が０．０である場合には（Ｓ３０１：Ｙｅｓ）、最も低い周波数における楽音信号が抽出信号として、第１取り出し処理（Ｓ１００）または第２取り出し処理（Ｓ２００）で未だ抽出されていないと判定されて、配列ｒｅｍａｉｎ［ｆ］に、１．０を代入する（Ｓ３０２）。ここで、ｒｅｍａｉｎ［ｆ］に代入される１．０は、最も低い周波数における楽音信号が指定以外を取り出す処理（Ｓ３００）における抽出信号であることを示している。なお、ｒｅｍａｉｎ［ｆ］に記載のｆには、Ｓ３０１でＹｅｓと判定された時点の周波数が代入される。

一方、最も低い周波数におけるｒｅｌ［ｆ］［１］が１．０である場合、または、最も低い周波数におけるｒｅｌ［ｆ］［２］が１．０である場合、或いは、両方が１．０である場合には（Ｓ３０１：Ｎｏ）、最も低い周波数における楽音信号が抽出信号として、第１取り出し処理Ｓ１００または第２取り出し処理Ｓ２００で既に抽出されていると判定され、配列ｒｅｍａｉｎ［ｆ］に、０．０を代入する（Ｓ３０２）。ここで、ｒｅｍａｉｎ［ｆ］に代入される０．０は、最も低い周波数における楽音信号が指定以外を取り出す処理（Ｓ３００）における抽出信号とはならないことを示している。

Ｓ３０２またはＳ３０３の処理後、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について、Ｓ３０１の処理が完了したか否かが判定され（Ｓ３０４）、Ｓ３０４の判定が否定される場合には（Ｓ３０４：Ｎｏ）、Ｓ３０１の処理へ戻り、Ｓ３０１の判定が未だ行われていない周波数のうち、最も低い周波数に対して、Ｓ３０１の判定が行われる一方、Ｓ３０４の判定が肯定される場合には（Ｓ３０４：Ｙｅｓ）、指定外信号処理（Ｓ３１０）へ移行する。

指定外信号処理（Ｓ３１０）では、ＯＵＴ＿Ｌ１［ｆ］信号の一部となる１Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ１［ｆ］信号の一部となる１Ｒ［ｆ］信号のレベルを調整することで、指定以外を取り出す処理（Ｓ３００）での抽出信号によって形成される定位（メインスピーカから出力される分）を調整するＳ３１１の処理が行われる。また、このＳ３１１の処理と平行して、指定外信号処理（Ｓ３１０）では、ＯＵＴ＿Ｌ２［ｆ］信号の一部となる２Ｌ［ｆ］信号のレベルを調整すると共に、ＯＵＴ＿Ｒ２［ｆ］信号の一部となる２Ｒ［ｆ］信号のレベルを調整することで、指定以外を取り出す処理（Ｓ３００）での抽出信号によって形成される定位（サブスピーカから出力される分）を調整するＳ３１４の処理が行われる。

Ｓ３１１の処理では、ＯＵＴ＿Ｌ１［ｆ］信号の一部となる１Ｌ［ｆ］信号が算出される。具体的には、「（ＩＮＬ＿Ｌｖ［ｆ］×ｌｌ＋ＩＮＲ＿Ｌｖ［ｆ］×ｌｒ）×ｒｅｍａｉｎ［ｆ］×ｃ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、１Ｌ［ｆ］信号が算出される。同様に、Ｓ３１１の処理では、ＯＵＴ＿Ｒ１［ｆ］信号の一部となる１Ｒ［ｆ］信号が算出される。具体的には、「（ＩＮＬ＿Ｌｖ［ｆ］×ｒｌ＋ＩＮＲ＿Ｌｖ［ｆ］×ｒｒ）×ｒｅｍａｉｎ［ｆ］×ｃ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、１Ｒ［ｆ］信号が算出される。なお、ｃは、この指定外信号処理（Ｓ３１０）において１Ｌ［ｆ］及び１Ｒ［ｆ］を算出するために予め定められた係数であり、この係数ｃは、上述した係数ａ，ｂと同じであっても異なっていてもよい。

Ｓ３１１の処理後、１Ｌ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ３１２）。１Ｌ［ｆ］信号に対してＳ３１２の処理が行われると、ＯＵＴ＿Ｌ１［ｆ］信号を構成する１Ｌ＿３［ｆ］信号が生成される。同様に、Ｓ３１１の処理後、１Ｒ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ３１３）。１Ｒ［ｆ］信号に対してＳ１１３の処理が行われると、ＯＵＴ＿Ｒ１［ｆ］信号を構成する１Ｒ＿３［ｆ］信号が生成される。

また、Ｓ３１４の処理では、ＯＵＴ＿Ｌ２［ｆ］信号の一部となる２Ｌ［ｆ］信号が算出される。具体的には、「（ＩＮＬ＿Ｌｖ［ｆ］×ｌｌ´＋ＩＮＲ＿Ｌｖ［ｆ］×ｌｒ´）×ｒｅｍａｉｎ［ｆ］×ｄ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、２Ｌ［ｆ］信号が算出される。同様に、Ｓ３１４の処理では、ＯＵＴ＿Ｒ２［ｆ］信号の一部となる２Ｒ［ｆ］信号が算出される。具体的には、「（ＩＮＬ＿Ｌｖ［ｆ］×ｒｌ´＋ＩＮＲ＿Ｌｖ［ｆ］×ｒｒ´）×ｒｅｍａｉｎ［ｆ］×ｄ」が、Ｓ１２，Ｓ２２においてフーリエ変換された全ての周波数について行われて、２Ｒ［ｆ］信号が算出される。なお、ｄは、この指定外信号処理（Ｓ３１０）において２Ｌ［ｆ］及び２Ｒ［ｆ］を算出するために予め定められた係数であり、この係数ｄは、上述した係数ａ，ｂ，ｃと同じであっても異なっていてもよい。

Ｓ３１４の処理後、２Ｌ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ３１５）。２Ｌ［ｆ］信号に対してＳ３１５の処理が行われると、ＯＵＴ＿Ｌ２［ｆ］信号を構成する２Ｌ＿３［ｆ］信号が生成される。同様に、Ｓ３１４の処理後、２Ｒ［ｆ］信号に対して、ピッチ変更、レベル変更やリバーブ付与を行う加工処理が行われる（Ｓ３１６）。２Ｒ［ｆ］信号に対してＳ３１６の処理が行われると、ＯＵＴ＿Ｒ２［ｆ］信号を構成する２Ｒ＿３［ｆ］信号が生成される。

上述した通り、メイン処理部Ｓ３０では、図５及び図６に示すように、Ｓ１１１，Ｓ２１１，Ｓ３１１の処理に加え、Ｓ１１４，Ｓ２１４，Ｓ３１４の処理が実行される。これにより、抽出された抽出信号における左チャンネル信号および右チャンネル信号を分配して、その分配した左チャンネル信号および右チャンネル信号に対し、各々独立した信号処理を施すことができる。そのため、抽出された抽出信号から分配された左および右チャンネル信号の各々に対して、異なる信号処理（定位を変更する処理）を施すことができる。もちろん、抽出された抽出信号から分配された左および右チャンネル信号の各々に対して、同一の信号処理を施すことも可能である。ここで、Ｓ１１１，Ｓ２１１，Ｓ３１１の処理で生成された信号は、加工処理の後、メインスピーカ用の端子であるＯＵＴ１＿Ｌ端子およびＯＵＴ１＿Ｒ端子から出力される一方で、Ｓ１１４，Ｓ２１４，Ｓ３１４の処理で生成された信号は、加工処理の後、サブスピーカ用の端子であるＯＵＴ２＿Ｌ端子およびＯＵＴ２＿Ｒ端子から出力される。よって、所望の条件毎に抽出信号を抽出した後、所望の条件における抽出信号（言い換えれば、１の条件における抽出信号）に対して、異なる信号処理や加工処理を施した場合には、その異なる信号処理や加工処理を施した各々の抽出信号を、ＯＵＴ１端子およびＯＵＴ２端子の各々から、別々に出力することができる。

図４の説明に戻る。第１信号処理（Ｓ１１０）、第２信号処理（Ｓ２１０）および指定外信号処理（Ｓ３１０）が実行完了すると、第１信号処理（Ｓ１１０）で生成された１Ｌ＿１［ｆ］信号と第２信号処理（Ｓ２１０）で生成された１Ｌ＿２［ｆ］信号と指定外信号処理（Ｓ３１０）で生成された１Ｌ＿３［ｆ］信号とが合成されて、ＯＵＴ＿Ｌ１［ｆ］信号が生成される。そして、そのＯＵＴ＿Ｌ１［ｆ］信号がＬ１ｃｈ出力処理部Ｓ６０（図３参照）に入力されると、Ｌ１ｃｈ出力処理部Ｓ６０は、入力したＯＵＴ＿Ｌ１［ｆ］信号をＯＵＴ１＿Ｌ［ｔ］へ変換して、バスライン１７を介し、Ｌｃｈ用第１Ｄ／Ａコンバータ１３Ｌ１（図１参照）へ出力する。

同様に、第１信号処理（Ｓ１１０）で生成された１Ｒ＿１［ｆ］信号と第２信号処理（Ｓ２１０）で生成された１Ｒ＿２［ｆ］信号と指定外信号処理（Ｓ３１０）で生成された１Ｒ＿３［ｆ］信号とが合成されて、ＯＵＴ＿Ｒ１［ｆ］信号が生成される。そして、そのＯＵＴ＿Ｒ１［ｆ］信号がＲ１ｃｈ出力処理部Ｓ７０（図３参照）に入力されると、Ｒ１ｃｈ出力処理部Ｓ７０は、入力したＯＵＴ＿Ｒ１［ｆ］信号をＯＵＴ１＿Ｒ［ｔ］信号へ変換して、バスライン１７を介し、Ｒｃｈ用第１Ｄ／Ａコンバータ１３Ｒ１（図１参照）へ出力する。なお、ＯＵＴ＿Ｌ２［ｆ］信号およびＯＵＴ＿Ｒ２［ｆ］信号の生成と、ＯＵＴ２＿Ｌ［ｔ］信号およびＯＵＴ２＿Ｒ［ｔ］信号の変換も、上述と同様に行われる。

このように、ＯＵＴ＿Ｌ１［ｆ］信号の生成においては、第１信号処理（Ｓ１１０）で生成された１Ｌ＿１［ｆ］信号と第２信号処理（Ｓ２１０）で生成された１Ｌ＿２［ｆ］信号との合成に加え、指定外信号処理（Ｓ３１０）で生成された１Ｌ＿３［ｆ］信号が合成される。同様に、ＯＵＴ＿Ｒ１［ｆ］信号の生成においては、第１信号処理（Ｓ１１０）で生成された１Ｒ＿１［ｆ］信号と第２信号処理（Ｓ２１０）で生成された１Ｒ＿２［ｆ］信号との合成に加え、指定外信号処理（Ｓ３１０）で生成された１Ｒ＿３［ｆ］信号が合成される。よって、所望の条件毎に抽出された抽出信号に対し、第１信号処理（Ｓ１１０）または第２信号処理（Ｓ２１０）で抽出されなかった信号を合成することができる。従って、ＯＵＴ＿Ｌ１［ｆ］信号およびＯＵＴ＿Ｒ１［ｆ］を、入力された楽音信号と同様の信号に、即ち、広がりのある自然な楽音にすることができる。

上述した通り、第１実施形態のエフェクタ１では、第１取り出し処理（Ｓ１００）あるいは第２取り出し処理（Ｓ２００）で抽出された抽出信号に対し、信号処理（Ｓ１１０，Ｓ２１０）を行う。ここで、第１取り出し処理（Ｓ１００）および第２取り出し処理（Ｓ２００）は、設定された各条件毎に（周波数、定位および最大レベルが一組となった条件毎に）、各々の条件を満たす楽音信号を（左チャンネル信号および右チャンネル信号を）、抽出信号として抽出する。よって、信号処理を施す対象となる抽出信号の抽出を、複数の各条件（周波数、定位および最大レベルが一組となった条件の各々）にわたって行うことができる。

次に、図８及び図９を参照して、第２実施形態のエフェクタ１について説明する。なお、この第２実施形態において、上述した第１実施形態と同一の部分には、同一の符号を付して、その説明を省略する。

この第２実施形態のエフェクタ１は、第１実施形態のエフェクタ１と同様に、第１又は第２取り出し処理（Ｓ１００，Ｓ２００）により設定条件に基づいて抽出された楽音信号（即ち、抽出信号）に対し、各取り出し処理の設定条件毎に独立して第１又は第２信号処理（Ｓ１１０，Ｓ２１０）を施すことができるものであるが、かかる第１又は第２信号処理において、音像拡大縮小処理を行い、音像を拡大（即ち、１倍より大きい拡大率での拡大）又は縮小（即ち、０倍より大きく１倍より小さい拡大率での拡大）できるように構成されている。

まず、図８を参照して、第２実施形態のエフェクタ１が行う音像拡大縮小処理の概要について説明する。図８は、第２実施形態における音像拡大縮小処理により音像が拡大又は縮小される様子を示した模式図である。

第１又は第２取り出し処理（Ｓ１００，Ｓ２００）により抽出信号を抽出するための条件（即ち、周波数、定位および最大レベルを一組として設定される条件）は、周波数及び定位を２軸として形成される座標面では、条件とされる周波数の範囲（第１周波数範囲、第２周波数範囲）と、条件とされる定位の範囲（第１設定範囲、第２設定範囲）とを隣接する２辺とする矩形領域（以下、この矩形領域を「取り出し領域」と称す）として表される。抽出信号は、その矩形領域内に存在する。なお、図８では、周波数の範囲を、Ｌｏｗ≦周波数ｆ≦Ｈｉｇｈとし、定位の範囲を、ｐａｎＬ≦定位ｗ［ｆ］≦ｐａｎＲとし、取り出し領域を、周波数ｆ＝Ｌｏｗであり、定位ｗ［ｆ］＝ｐａｎＬである点と、周波数ｆ＝Ｌｏｗであり、定位ｗ［ｆ］＝ｐａｎＲである点と、周波数ｆ＝Ｈｉｇｈであり、定位ｗ［ｆ］＝ｐａｎＲである点と、周波数ｆ＝Ｈｉｇｈであり、定位ｗ［ｆ］＝ｐａｎＬである点との４点を頂点とする矩形領域として表している。

音像拡大縮小処理は、取り出し領域内にある抽出信号の定位ｗ［ｆ］を、音像の拡大又は縮小の目標とする領域（以下、「目標領域」と称す）内に線形写像することにより移動させる処理である。目標領域は、その一端側の境界定位を周波数に応じて規定する音像拡大関数ＹＬ（ｆ）と、他端側の境界定位を周波数に応じて規定する音像拡大関数ＹＲ（ｆ）と、周波数範囲（Ｌｏｗ≦周波数ｆ≦Ｈｉｇｈ）とにより囲まれる領域である。

本実施形態の音像拡大縮小処理では、定位の範囲（図８におけるｐａｎＬ≦定位ｗ［ｆ］≦ｐａｎＲの範囲）の中心、即ち、図８におけるｐａｎＣを基準定位とし、取り出し領域内の抽出信号のうち、ｐａｎＣよりｐａｎＬ側に定位する抽出信号の定位を、音像拡大関数ＹＬ（ｆ）を用いて基準定位であるｐａｎＣを基準とする連続的な線形写像によって移動させ、その一方で、ｐａｎＣよりｐａｎＲ側に定位する抽出信号の定位を、音像拡大関数ＹＲ（ｆ）を用いて基準定位であるｐａｎＣを基準とする連続的な線形写像によって移動させる。

なお、ｐａｎＣよりｐａｎＬ側に定位する抽出信号がｐａｎＬ側に移動する、又は、ｐａｎＣよりｐａｎＲ側に定位する抽出信号がｐａｎＲ側に移動する場合が拡大であり、抽出信号が基準定位ｐａｎＣ側に移動する場合が縮小である。つまり、音像拡大関数ＹＬ（ｆ）が取り出し領域の外側に位置する周波数領域では、ｐａｎＣよりｐａｎＬ側に定位する抽出信号によって形成される音像は拡大され、音像拡大関数ＹＬ（ｆ）が取り出し領域の内側に位置する周波数領域では、ｐａｎＣよりｐａｎＬ側に定位する抽出信号によって形成される音像は縮小される。同様に、音像拡大関数ＹＲ（ｆ）が取り出し領域の外側に位置する周波数領域では、ｐａｎＣよりｐａｎＲ側に定位する抽出信号によって形成される音像は拡大され、音像拡大関数ＹＲ（ｆ）が取り出し領域の内側に位置する周波数領域では、ｐａｎＣよりｐａｎＲ側に定位する抽出信号によって形成される音像は縮小される。

なお、図８に示す例では、音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）をいずれも、周波数ｆの値に応じて直線を描く関数としているが、音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）は、周波数ｆの値に応じて直線を描く関数に限らず、種々の形状を示す関数を適用できる。例えば、周波数ｆの範囲に応じて折れ線を描く関数、周波数ｆの値に応じて放物線（即ち、二次曲線）を描く関数、周波数ｆの値に応じた三次関数や、楕円や円の弧を表す関数や、指数又は対数関数などを適用できる。

この音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）は、予め決められていても、ユーザにより設定されるものであってもよい。例えば、周波数領域や定位範囲に応じて、用いる音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）が予め設定されており、取り出し領域の位置（周波数領域や定位範囲）に応じた音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）が選定されるように構成されてもよい。

また、ユーザが、所望に応じて、取り出し領域を含む座標面における座標（即ち、周波数と定位との組）を２以上設定し、設定された周波数と定位との組に基づいて、音像拡大関数ＹＬ（ｆ）又はＹＲ（ｆ）が設定されるように構成してもよい。例えば、周波数ｆ＝Ｌｏｗにおける定位がＹＬ（Ｌｏｗ）である点と、周波数ｆ＝Ｈｉｇｈにおける定位がＹＬ（Ｈｉｇｈ）である点とをユーザが設定し、それにより、周波数ｆの変化に対して定位が直線的に変化する関数である音像拡大関数ＹＬ（ｆ）が設定され、一方で、周波数ｆ＝Ｌｏｗにおける定位がＹＲ（Ｌｏｗ）である点と、周波数ｆ＝Ｈｉｇｈにおける定位がＹＲ（Ｈｉｇｈ）である点とをユーザが設定し、それにより、周波数ｆの変化に対して定位が直線的に変化する関数である音像拡大関数ＹＲ（ｆ）が設定されてもよい。あるいは、音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）の変化パターン（直線、放物線、弧など）を、各々ユーザが設定するように構成してもよい。なお、音像拡大関数ＹＬ（ｆ）又はＹＲ（ｆ）の周波数範囲は、図８に示すように、取り出し領域の周波数範囲を超えるものであってもよい。

音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）が、周波数ｆの値に応じて直線を描く関数である場合には、これらの音像拡大関数ＹＬ（ｆ），ＹＲ（ｆ）を以下のようにして求めることができる。

まず、周波数ｆのＬｏｗ側の拡大具合を決める係数として、ＢｔｍＬ，ＢｔｍＲを仮定し、Ｈｉｇｈ側の拡大具合を決める係数として、ＴｏｐＬ，ＴｏｐＲを仮定する。なお、ＢｔｍＬ及びＴｏｐＬは、基準定位であるｐａｎＣより左方向（ｐａｎＬ方向）の拡大具合を決めるものであり、ＢｔｍＲ及びＴｏｐＲは、ｐａｎＣより右方向（ｐａｎＲ方向）の拡大具合を決めるものである。これらの４つの係数ＢｔｍＬ，ＢｔｍＲ，ＴｏｐＬ，ＴｏｐＲは、それぞれ、例えば、０．５〜１０．０程度の範囲とされる。なお、この係数が１．０を超える場合は拡大となり、０より大きく１．０より小さい場合には縮小となる。

ここで、直線である音像拡大関数ＹＬ（ｆ）における両端の座標、即ち、ＹＬ（Ｌｏｗ）及びＹＬ（Ｈｉｇｈ）の座標を求めると、ＹＬ（Ｌｏｗ）＝ｐａｎＣ＋（ｐａｎＬ−ｐａｎＣ）×ＢｔｍＬであり、ＹＬ（Ｈｉｇｈ）＝ｐａｎＣ＋（ｐａｎＬ−ｐａｎＣ）×ＴｏｐＬである。このとき、Ｗｌ＝ｐａｎＬ−ｐａｎＣとすれば、ＹＬ（ｆ）＝｛Ｗｌ×（ＴｏｐＬ−ＢｔｍＬ）／（Ｈｉｇｈ−Ｌｏｗ）｝×（ｆ−Ｌｏｗ）＋ｐａｎＣ＋Ｗｌ×ＢｔｍＬとなる。

同様に、音像拡大関数ＹＲ（ｆ）について、ＹＲ（Ｌｏｗ）＝ｐａｎＣ＋（ｐａｎＲ−ｐａｎＣ）×ＢｔｍＲであり、ＹＲ（Ｈｉｇｈ）＝ｐａｎＣ＋（ｐａｎＲ−ｐａｎＣ）×ＴｏｐＲであるので、Ｗｒ＝ｐａｎＲ−ｐａｎＣとすると、ＹＲ（ｆ）＝｛Ｗｒ×（ＴｏｐＲ−ＢｔｍＲ）／（Ｈｉｇｈ−Ｌｏｗ）｝×（ｆ−Ｌｏｗ）＋ｐａｎＣ＋Ｗｒ×ＢｔｍＲとなる。

かかる音像拡大関数ＹＬ（ｆ）用いて、基準定位ＰａｎＣより左方向に定位している抽出信号ＰｏＬ［ｆ］の移動を行う場合、その移動先の定位ＰｔＬ［ｆ］は、ｐａｎＣを基準とすると、ある周波数ｆにおける、ｐａｎＣからＰｏＬ［ｆ］までの長さと、ｐａｎＣからＰｔＬ［ｆ］までの長さの比が、ｐａｎＣからｐａｎＬまでの長さと、ｐａｎＣからＹＬ（ｆ）までの長さの比に等しいことに基づいて算出することができる。即ち、移動先の定位ＰｔＬ［ｆ］は、（ＰｔＬ［ｆ］−ｐａｎＣ）：（ＰｏＬ［ｆ］−ｐａｎＣ）＝（ＹＬ（ｆ）−ｐａｎＣ）：（ｐａｎＬ−ｐａｎＣ）であることから、ＰｔＬ［ｆ］＝（ＰｏＬ［ｆ］−ｐａｎＣ）×（ＹＬ（ｆ）−ｐａｎＣ）／（ｐａｎＬ−ｐａｎＣ）＋ｐａｎＣにより算出できる。

同様に、音像拡大関数ＹＲ（ｆ）用いて、基準定位ＰａｎＣより右方向に定位している抽出信号ＰｏＲ［ｆ］の移動を行う場合、その移動先の定位ＰｔＲ［ｆ］は、（ＰｔＲ［ｆ］−ｐａｎＣ）：（ＰｏＲ［ｆ］−ｐａｎＣ）＝（ＹＲ（ｆ）−ｐａｎＣ）：（ｐａｎＲ−ｐａｎＣ）であることから、ＰｔＲ［ｆ］＝（ＰｏＲ［ｆ］−ｐａｎＣ）×（ＹＲ（ｆ）−ｐａｎＣ）／（ｐａｎＲ−ｐａｎＣ）＋ｐａｎＣにより算出できる。

音像拡大縮小処理では、移動先とする定位ＰｔＬ［ｆ］及び定位ＰｔＲ［ｆ］を目標とする定位とすることにより、定位を移動させるための係数ｌｌ，ｌｒ，ｒｌ，ｒｒや、係数ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を決定し、それにより、抽出信号の定位を移動させる。その結果、取り出し領域の音像が拡大又は縮小される。

つまり、本実施形態では、取り出し領域内の抽出信号のうち、ｐａｎＣよりｐａｎＬ側に定位する抽出信号の定位を、音像拡大関数ＹＬ（ｆ）を用いて基準定位であるｐａｎＣを基準とする連続的な線形写像によって移動させ、その一方で、ｐａｎＣよりｐａｎＲ側に定位する抽出信号の定位を、音像拡大関数ＹＲ（ｆ）を用いて基準定位であるｐａｎＣを基準とする連続的な線形写像によって移動させることにより、取り出し領域の音像が拡大又は縮小される。

なお、図８では、一例として、１の取り出し領域に対し音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）が設定されている様子を図示しているが、音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）は、取り出し領域毎に各々設定されていていてもよい。

例えば、高音域を周波数範囲とする取り出し領域と、中音域を周波数範囲とする取り出し領域と、低音域を周波数範囲とする取り出し領域とで、各々異なる音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）を設定してもよい。なお、ステレオ信号の音像を全体的に拡大する場合において、高音域の全定位の範囲に対しては、周波数が高くなるにつれて拡大具合が小さくなるように音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）を設定し、中音域の全定位の範囲に対しては、周波数が高くなるにつれて拡大具合が大きくなるように音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）を設定すると、好ましい聴感を与えることができる。一方、低音域の信号抽出は行わず、音像の拡大（又は縮小）を行わないようにしてもよい。

なお、複数の取り出し領域が存在する場合には、音像の拡大又は縮小を行う領域、即ち、基準定位、音像拡大関数ＹＬ（ｆ）、及び音像拡大関数ＹＲ（ｆ）の設定を行う領域は、全ての取り出し領域でなく、一部の取り出し領域に限定されていてもよい。

また、全ての取り出し領域に対して共通のＢｔｍＬ，ＢｔｍＲ，ＴｏｐＬ，ＴｏｐＲを設定することにより、全ての取り出し領域の拡大（又は縮小）具合が同じになるような音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）を設定してもよい。

また、ＢｔｍＬ，ＢｔｍＲ，ＴｏｐＬ，ＴｏｐＲを、抽出する領域の位置及び／又は該領域の大きさの関数として設定してもよい。即ち、取り出し領域に応じて、所定の規則に基づいて、拡大具合（又は縮小具合）が変化するようにしてもよい。例えば、周波数が大きくなるにつれ、拡大具合が大きくなるようにしたり、抽出信号の定位が基準定位（例えば、中央であるｐａｎＣ）から離れるにつれて拡大具合が小さくなる、等のようにＢｔｍＬ，ＢｔｍＲ，ＴｏｐＬ，ＴｏｐＲを設定してもよい。

また、基準定位、音像拡大関数ＹＬ（ｆ）、及び音像拡大関数ＹＲ（ｆ）を、全ての取り出し領域に対して共通して設定してもよい。つまり、全ての取り出し領域内の抽出信号が、同じ基準定位を基準として、同じ音像拡大関数ＹＬ（ｆ）及びＹＲ（ｆ）により線形写像させるようにしてもよい。なお、かかる場合には、楽音全体を１つの取り出し領域として選択することにより、楽音全体の音像を１の条件（即ち、共有に設定された基準定位、及び、音像拡大関数ＹＬ（ｆ），ＹＲ（ｆ））で拡大又は縮小するようにしてもよい。

また、本実施形態では、取り出し領域における定位の範囲（図８におけるｐａｎＬ≦定位ｗ［ｆ］≦ｐａｎＲの範囲）の中心、即ち、ｐａｎＣを基準定位としたが、基準定位は取り出し領域内又は取り出し領域外のいずれの定位にも設定可能である。複数の取り出し領域がある場合、取り出し領域毎に異なる基準定位を設定してもよいし、全取り出し領域に対して共通の基準定位を設定してもよい。なお、この基準定位は、取り出し領域毎に、又は、全取り出し領域に対し、予め設定されていても、ユーザがその都度設定するものであってもよい。

次に、図９を参照して、本実施形態のエフェクタ１が行う音像拡大縮小処理について説明する。図９は、第２実施形態の第１信号処理Ｓ１１０および第２信号処理Ｓ２１０で行われる処理の詳細を示した図である。

第２実施形態の第１信号処理（Ｓ１１０）では、図９に示すように、第１取り出し処理（Ｓ１００）により第１条件を満たす楽音信号を抽出信号として抽出した後、抽出信号から形成される音像の拡大又は縮小を行うために、メインスピーカから出力される分の抽出信号の定位の移動量を算出する処理を実行する（Ｓ１１７）。同様に、第１取り出し処理（Ｓ１００）により抽出された抽出信号から形成される音像の拡大又は縮小を行うために、サブスピーカから出力される分の抽出信号の定位の移動量を算出する処理を実行する（Ｓ１１８）。

Ｓ１１７の処理では、第１取り出し処理（Ｓ１００）による取り出し領域（即ち、第１条件により決まる領域）内において、基準定位より左方向にある抽出信号を音像拡大関数ＹＬ１［１］（ｆ）によって移動させたときの移動量ＭＬ１［１］［ｆ］と、基準定位より右方向にある抽出信号を音像拡大関数ＹＲ１［１］（ｆ）によって移動させたときの移動量ＭＲ１［１］［ｆ］とを算出する。

なお、音像拡大関数ＹＬ１［１］（ｆ）及び音像拡大関数ＹＲ１［１］（ｆ）は、いずれも、メインスピーカから出力される分の抽出信号の定位を移動させるための音像拡大関数であり、それぞれ、基準定位より左方向の抽出信号を移動させるための関数及び基準定位より右方向の抽出信号を移動させるための関数である。

具体的に、Ｓ１１７の処理では、「｛（ｗ［ｆ］−ｐａｎＣ［１］）×（ＹＬ１［１］（ｆ）−ｐａｎＣ［１］）／（ｐａｎＬ［１］−ｐａｎＣ［１］）＋ｐａｎＣ［１］｝−ｗ［ｆ］」を、Ｓ１２及びＳ２２においてフーリエ変換された全ての周波数に対して行うことにより、移動量ＭＬ１［１］［ｆ］を算出する。同様に、「｛（ｗ［ｆ］−ｐａｎＣ［１］）×（ＹＲ１［１］（ｆ）−ｐａｎＣ［１］）／（ｐａｎＲ［１］−ｐａｎＣ［１］）＋ｐａｎＣ［１］｝−ｗ［ｆ］」を、Ｓ１２及びＳ２２においてフーリエ変換された全ての周波数に対して行うことにより、移動量ＭＲ１［１］［ｆ］を算出する。なお、ｐａｎＬ［１］及びｐａｎＲ［１］は、第１取り出し処理（Ｓ１００）による取り出し領域における左右境界の定位であり、ｐａｎＣ［１］は、第１取り出し処理（Ｓ１００）による取り出し領域における基準定位、例えば、該取り出し領域における定位の範囲の中心である。

Ｓ１１７の処理後、移動量ＭＬ１［１］［ｆ］及び移動量ＭＲ１［１］［ｆ］を用いて、第１取り出し処理（Ｓ１００）によって取り出された抽出信号によって形成される定位（メインスピーカから出力される分）の調整を行う（Ｓ１１１）。具体的に、Ｓ１１１の処理では、移動量ＭＬ１［１］［ｆ］及び移動量ＭＲ１［１］［ｆ］は、目標とする定位（即ち、拡大又は縮小による移動先の定位）から抽出信号の定位ｗ［ｆ］を引いた差であるので、移動量ＭＬ１［１］［ｆ］及び移動量ＭＲ１［１］［ｆ］を用いて、定位を移動させるための係数ｌｌ，ｌｒ，ｒｌ，ｒｒの決定を行い、決定された係数ｌｌ，ｌｒ，ｒｌ，ｒｒを用いて、第１実施形態におけるＳ１１１と同様に定位の調整を行い、１Ｌ信号及び１Ｒ信号を得る。なお、調整された定位が０未満であれば、その定位を０とし、その一方で、調整された定位が１を超える場合には、その定位を１とする。Ｓ１１７の処理による移動量ＭＬ１［１］［ｆ］，ＭＲ１［１］［ｆ］の算出と、Ｓ１１１の処理による定位の調整とが、音像拡大縮小処理に相当する。

その後、１Ｌ［ｆ］信号は、Ｓ１１２において加工処理に供されて１Ｌ＿１［ｆ］信号とされ、１Ｒ［ｆ］信号は、Ｓ１１３において加工処理に供されて１Ｒ＿１［ｆ］信号とされる。

一方、サブスピーカから出力される分の抽出信号の定位の移動量を算出するＳ１１８の処理では、第１取り出し処理（Ｓ１００）による取り出し領域内において、基準定位より左方向にある抽出信号を音像拡大関数ＹＬ２［１］（ｆ）によって移動させたときの移動量ＭＬ２［１］［ｆ］と、基準定位より右方向にある抽出信号を音像拡大関数ＹＲ２［１］（ｆ）によって移動させたときの移動量ＭＲ２［１］［ｆ］とを算出する。

なお、音像拡大関数ＹＬ２［１］（ｆ）及び音像拡大関数ＹＲ２［１］（ｆ）は、いずれも、サブスピーカから出力される分の抽出信号の定位を移動させるための音像拡大関数であり、それぞれ、基準定位より左方向の抽出信号を移動させるための関数及び基準定位より右方向の抽出信号を移動させるための関数である。音像拡大関数ＹＬ２［１］（ｆ）は、メインスピーカから出力される分の抽出信号の定位を移動させるために使用する音像拡大関数ＹＬ１［１］（ｆ）と同じであっても異なっていてもよい。同様に、音像拡大関数ＹＲ２［１］（ｆ）は、メインスピーカから出力される分の抽出信号の定位を移動させるために使用する音像拡大関数ＹＲ１［１］（ｆ）と同じであっても異なっていてもよい。

例えば、メインスピーカとサブスピーカとを等間隔に配置させる場合には、ＹＬ１［１］（ｆ）とＹＬ２［１］（ｆ）とを同じにすると共に、ＹＲ１［１］（ｆ）とＹＲ２［１］（ｆ）とを同じとする。また、メインスピーカとサブスピーカとが極端に離れている場合には、移動量ＭＬ２［１］［ｆ］及び移動量ＭＲ２［１］［ｆ］が、移動量ＭＬ１［１］［ｆ］及び移動量ＭＲ１［１］［ｆ］より小さくなるような音像拡大関数ＹＬ２［１］（ｆ）及びＹＲ２［１］（ｆ）を用いる。

具体的に、Ｓ１１８の処理では、「｛（ｗ［ｆ］−ｐａｎＣ［１］）×（ＹＬ２［１］（ｆ）−ｐａｎＣ［１］）／（ｐａｎＬ［１］−ｐａｎＣ［１］）＋ｐａｎＣ［１］｝−ｗ［ｆ］」を、Ｓ１２及びＳ２２においてフーリエ変換された全ての周波数に対して行うことにより、移動量ＭＬ２［１］［ｆ］を算出する。同様に、「｛（ｗ［ｆ］−ｐａｎＣ［１］）×（ＹＲ２［１］（ｆ）−ｐａｎＣ［１］）／（ｐａｎＲ［１］−ｐａｎＣ［１］）＋ｐａｎＣ［１］｝−ｗ［ｆ］」を、Ｓ１２及びＳ２２においてフーリエ変換された全ての周波数に対して行うことにより、移動量ＭＲ２［１］［ｆ］を算出する。これらの移動量ＭＬ２［１］［ｆ］及びＭＲ２［１］［ｆ］は、目標とする定位（即ち、拡大又は縮小による移動先の定位）から抽出信号の定位ｗ［ｆ］を引いた差に相当する。

Ｓ１１８の処理後、移動量ＭＬ２［１］［ｆ］及び移動量ＭＲ２［１］［ｆ］を用いて、第１取り出し処理（Ｓ１００）によって取り出された抽出信号によって形成される定位（サブスピーカから出力される分）の調整を行う（Ｓ１１４）。具体的に、Ｓ１１４の処理では、移動量ＭＬ２［１］［ｆ］及び移動量ＭＲ２［１］［ｆ］を用いて、定位を移動させるための係数ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´の決定を行い、決定された係数ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を用いて、第１実施形態におけるＳ１１４と同様に定位の調整を行い、２Ｌ信号及び２Ｒ信号を得る。なお、調整された定位が０未満であれば、その定位を０とし、その一方で、調整された定位が１を超える場合には、その定位を１とする。また、Ｓ１１８の処理による移動量ＭＬ２［１］［ｆ］，ＭＲ２［１］［ｆ］の算出と、Ｓ１１４の処理による定位の調整とが、音像拡大縮小処理に相当する。

その後、２Ｌ［ｆ］信号は、Ｓ１１５において加工処理に供されて２Ｌ＿１［ｆ］信号とされ、２Ｒ［ｆ］信号は、Ｓ１１６において加工処理に供されて２Ｒ＿１［ｆ］信号とされる。

また、図９に示すように、第２実施形態の第２信号処理（Ｓ２１０）では、第２取り出し処理（Ｓ２００）により第２条件を満たす楽音信号を抽出信号として抽出した後、抽出信号から形成される音像の拡大又は縮小を行うために、メインスピーカから出力される分の定位の移動量ＭＬ１［２］［ｆ］とを算出する処理を実行する（Ｓ２１７）。同様に、第２取り出し処理（Ｓ２００）により抽出された抽出信号から形成される音像の拡大又は縮小を行うために、サブスピーカから出力される分の定位の移動量ＭＲ２［１］［ｆ］とを算出する処理を実行する（Ｓ２１８）。

ここで、Ｓ２１７の処理では、以下に説明する点が異なること以外は、第１信号処理（Ｓ１１０）の中で実行されるＳ１１７の処理と同様に行われるので、その説明は省略する。Ｓ２１７の処理とＳ１１７の処理との相違点は、メインスピーカから出力される分の定位を移動させるための音像拡大関数として、基準定位より左方向の抽出信号を移動させるための関数であるＹＬ１［２］（ｆ）と、 基準定位より右方向の抽出信号を移動させるための関数であるＹＲ１［２］（ｆ）とを用いる点と、ｐａｎＬ［１］及びｐａｎＲ［１］に換えて、第２取り出し処理（Ｓ２００）による取り出し領域における左右境界の定位、即ち、ｐａｎＬ［２］及びｐａｎＲ［２］を用いる点と、基準定位として、ｐａｎＣ［１］に換えて、第２取り出し処理（Ｓ２００）による取り出し領域内の定位（例えば、該取り出し領域における定位の範囲の中心）であるｐａｎＣ［２］を用いる点である。

また、Ｓ２１８の処理では、以下に説明する点が異なること以外は、第１信号処理（Ｓ１１０）の中で実行されるＳ１１８の処理と同様に行われるので、その説明は省略する。Ｓ２１８の処理とＳ１１８の処理との相違点は、サブスピーカから出力される分の定位を移動させるための音像拡大関数として、基準定位より左方向の抽出信号を移動させるための関数であるＹＬ２［２］（ｆ）と、 基準定位より右方向の抽出信号を移動させるための関数であるＹＬ２［２］（ｆ）とを用いる点と、ｐａｎＬ［１］及びｐａｎＲ［１］に換えて、ｐａｎＬ［２］及びｐａｎＲ［２］を用いる点と、基準定位として、ｐａｎＣ［１］に換えて、ｐａｎＣ［２］を用いる点である。

そして、Ｓ２１７の処理後は、算出した移動量ＭＬ１［２］［ｆ］及び移動量ＭＲ１［２］［ｆ］を用いて、係数ｌｌ，ｌｒ，ｒｌ，ｒｒを決定し、それによって、第２取り出し処理（Ｓ２００）によって取り出された抽出信号によって形成される定位（メインスピーカから出力される分）の調整を行う（Ｓ２１１）。Ｓ２１１の処理において、調整された定位が０（ゼロ）未満であれば、その定位を０（ゼロ）とし、その一方で、調整された定位が１を超える場合には、その定位を１とする。なお、Ｓ２１７の処理による移動量ＭＬ１［２］［ｆ］，ＭＲ１［２］［ｆ］の算出と、Ｓ２１１の処理による定位の調整とが、音像拡大縮小処理に相当する。その後、Ｓ２１１の処理により得られた１Ｌ［ｆ］信号及び１Ｒ［ｆ］信号を、それぞれ、Ｓ２１２の加工処理及びＳ２１３の加工処理に供し、それによって、１Ｌ＿２［ｆ］信号及び１Ｒ＿２［ｆ］信号を得る。

一方、Ｓ２１８の処理後は、算出した移動量ＭＬ２［２］［ｆ］及び移動量ＭＲ２［２］［ｆ］を用いて、係数ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を決定し、それによって、第２取り出し処理（Ｓ２００）によって取り出された抽出信号によって形成される定位（サブスピーカから出力される分）の調整を行う（Ｓ２１４）。Ｓ２１４の処理において、調整された定位が０未満であれば、その定位を０とし、その一方で、調整された定位が１を超える場合には、その定位を１とする。なお、Ｓ２１８の処理による移動量ＭＬ２［２］［ｆ］，ＭＲ２［２］［ｆ］の算出と、Ｓ２１４の処理による定位の調整とが、音像拡大縮小処理に相当する。その後、Ｓ２１４の処理により得られた２Ｌ［ｆ］信号及び２Ｒ［ｆ］信号を、それぞれ、Ｓ２１５の加工処理及びＳ２１６の加工処理に供し、それによって、２Ｌ＿２［ｆ］信号及び２Ｒ＿２［ｆ］信号を得る。

上述した通り、第２実施形態のエフェクタ１では、第１取り出し処理（Ｓ１００）あるいは第２取り出し処理（Ｓ２００）によって取り出し領域内から抽出された抽出信号に対し、基準定位と、定位の範囲の一端側である左方向の境界の拡大具合（拡大度）を規定する音像拡大関数ＹＬ（ｆ）と、該定位の範囲の他端側である右方向の境界の拡大具合を規定する音像拡大関数ＹＲ（ｆ）とを設定し、基準定位より左方向にある抽出信号を、該基準定位を基準として、音像拡大関数ＹＬ（ｆ）によって線形写像することにより移動させると共に、基準定位より右方向にある抽出信号を、該基準定位を基準として、音像拡大関数ＹＲ（ｆ）によって線形写像することにより移動させることにより、取り出し領域内に形成される音像を拡大又は縮小することができる。よって、本実施形態のエフェクタ１によれば、ステレオ音源が示す各音像を自在に拡大又は縮小することができる。

次に、図１０及び図１１を参照して、第３実施形態について説明する。なお、この第３実施形態において、上述した第２実施形態と同一の部分には、同一の符号を付して、その説明を省略する。

上述した第２実施形態では、左右チャンネルの楽音信号（即ち、ステレオ信号）から設定条件に応じて抽出した抽出信号の音像を拡大又は縮小することについて説明したが、この第３実施形態では、１チャンネルの楽音信号（即ち、モノラル信号）から設定条件に応じて抽出した抽出信号から形成される音像を拡大又は縮小することについて説明する。

具体的に、モノラル信号は、定位が中央（ｐａｎＣ）に位置してしまうので、本実施形態では、音像拡大縮小処理を実行する前に、準備処理として、モノラル信号であるが故に中央（ｐａｎＣ）に定位する抽出信号を、取り出し領域における定位の左方向の境界（ｐａｎＬ）または右方向の境界（ｐａｎＲ）のいずれかに分配する（振り分ける）処理を行う。

図１０は、第３実施形態における音像拡大縮小処理の概要を説明するための模式図である。図１０において、黒く塗り潰された１０個の箱Ｐｏは、各々、１の周波数範囲にあるモノラル信号からの１または複数の抽出信号を示す。なお、図１０では、各箱Ｐｏの区別を付ける目的で、各箱Ｐｏの間には間隔（空白）を設けているが、実際には、各箱Ｐｏは隙間なく連続する（即ち、各箱Ｐｏの周波数範囲は連続する）。

図１０に示すように、本実施形態では、準備処理として、モノラル信号からの抽出信号を表す箱Ｐｏが、周波数領域が隣接する箱Ｐｏの分配先が、それぞれ、各取り出し領域Ｏ１，Ｏ２における定位の左方向の境界（ｐａｎＬ）と右方向の境界（ｐａｎＲ）とで交互になるように分配される。即ち、箱ＰｏＬまたは箱ＰｏＲに移動される。

その後、上述した第２実施形態と同様に、取り出し領域内の抽出信号のうち、ｐａｎＣよりｐａｎＬ側に定位する抽出信号（即ち、箱ＰｏＬに含まれる抽出信号）を、各取り出し領域Ｏ１，Ｏ２に対して設けた音像拡大関数ＹＬ［１］（ｆ），ＹＬ［２］（ｆ）を左方向の定位の境界とする領域に線形写像することにより移動する。その一方で、ｐａｎＣよりｐａｎＲ側に定位する抽出信号（即ち、箱ＰｏＲに含まれる抽出信号）を、各取り出し領域Ｏ１，Ｏ２に対して設けた音像拡大関数ＹＲ［１］（ｆ），ＹＲ［２］（ｆ）を左方向の定位の境界とする領域に線形写像することにより移動する。

その結果、第１の取り出し領域Ｏ１（ｆ１≦周波数ｆ≦ｆ２）内にあるモノラル信号からの抽出信号（即ち、箱Ｐｏに含まれる抽出信号）は、周波数範囲毎に交互に、音像拡大関数ＹＬ［１］（ｆ）又は音像拡大関数ＹＲ［１］（ｆ）上における各周波数に応じた定位、即ち、箱ＰｔＬまたは箱ＰｔＲに移動される。同様に、第２の取り出し領域Ｏ２（ｆ２≦周波数ｆ≦ｆ３）内にある箱Ｐｏは、周波数範囲毎に交互に、音像拡大関数ＹＬ［２］（ｆ）又は音像拡大関数ＹＲ［２］（ｆ）上における各周波数に応じた定位（箱ＰｔＬまたは箱ＰｔＲ）に移動される。

このように、モノラルの楽音信号の定位を、一旦、予め規定された連続する周波数範囲毎に交互にｐａｎＬ又はｐａｎＲに分配した（振り分けた）後に、第２実施形態と同様に音像の拡大又は縮小を行うことにより、モノラル信号（モノラル音源）に、バランスのよい拡がり感を持たせることができる。

第１取り出し領域Ｏ１が中音域を周波数範囲とする領域であり、第２取り出し領域Ｏ２が高音域を周波数範囲とする領域である場合には、図１０に示した例と同様に、第１取り出し領域Ｏ１に対する音像拡大関数ＹＬ［１］（ｆ）及び音像拡大関数ＹＲ［１］（ｆ）を、高周波数側で定位が拡がるような拡大具合を表す関数とし、第２取り出し領域Ｏ２に対する音像拡大関数ＹＬ［２］（ｆ）及び音像拡大関数ＹＲ［２］（ｆ）を、高周波数側で定位が狭まるような拡大具合を表す関数とすることにより、好ましい聴感を与えることができる。

なお、図１０において、第１取り出し領域Ｏ１の定位の範囲と、第２取り出し領域Ｏ２の定位の範囲は等しい場合を例示したが、各取り出し領域Ｏ１，Ｏ２の定位の範囲は異なっていてもよい。

次に、図１１を参照して、第３実施形態の音像拡大縮小処理について説明する。図１１は、第３実施形態のエフェクタで実行される主要な処理を示した図である。なお、本実施形態のエフェクタは、Ｌｃｈ用Ａ／Ｄコンバータ１１Ｌ及びＲｃｈ用Ａ／Ｄコンバータ１１Ｒに換えて、ＩＮ＿ＭＯＮＯ端子から入力されたモノラル楽音信号をアナログ信号からデジタル信号に変換するＡ／Ｄコンバータを有している点で、第２実施形態で使用したエフェクタ１（図１参照）と相違する。

本実施形態では、モノラル信号を入力信号とするので、第２実施形態のエフェクタ１において、左チャンネル信号及び右チャンネル信号に対しそれぞれ行っていた処理は、モノラル信号に対して実行される。即ち、本実施形態のエフェクタは、図１１に示すように、ＩＮ＿ＭＯＮＯ端子から入力した時間領域のＩＮ＿ＭＯＮＯ［ｔ］信号を、Ｓ１０又はＳ２０と同様の解析処理部Ｓ５０により、周波数領域のＩＮ＿ＭＯＮＯ［ｆ］信号に変換し、メイン処理部Ｓ３０に供給する。

モノラル信号の状態では、各信号の定位ｗ［ｆ］は、全て、０．５（中央）、即ち、ｐａｎＣとなるので、上述した第２実施形態のメイン処理部Ｓ３０において実行したＳ３１の処理は省略することができる。よって、本実施形態におけるメイン処理部Ｓ３０では、まず、メモリのクリアを実行した後（Ｓ３２）、第１取り出し処理（Ｓ１００）及び第２取り出し処理（Ｓ２００）を実行し、予め設定された条件毎に信号の抽出を行うと共に、指定以外の信号の取り出しを行う（Ｓ３００）。

なお、各モノラル信号の定位ｗ［ｆ］は中央（ｐａｎＣ）であるので、本実施形態のＳ１００，Ｓ２００では、各信号の定位ｗ［ｆ］が第１又は第２設定範囲内にあるか否かを判定しなくてもよい。また、第２実施形態のＳ１００，Ｓ２００では、信号の抽出を行うために、最大レベルＭＬ［ｆ］を用いたが、本実施形態では、ＩＮ＿ＭＯＮＯ［ｆ］信号のレベルを用いる。また、上述した通り、本実施形態では、モノラル信号であるという理由で定位ｗ［ｆ］を求める処理（即ち、第２実施形態におけるＳ３１の処理）を省略する構成としたが、モノラル信号の場合であっても、Ｓ３１の処理、即ち、ＩＮ＿ＭＯＮＯ［ｆ］信号に対して行ったフーリエ変換により得られた各周波数毎に定位ｗ［ｆ］を求める処理を実行してもよい。

第１取り出し処理（Ｓ１００）の実行後、モノラルの抽出信号の定位を左右に分配（振り分ける）ことによって擬似ステレオ信号を生成する準備処理を実行する（Ｓ１２０）。この準備処理（Ｓ１２０）では、まず、抽出した信号の周波数ｆが、予め規定された連続する周波数範囲のうち、奇数番目の周波数範囲内にあるか否かを判定する（Ｓ１２１）。予め規定された連続する周波数範囲は、例えば、全周波数範囲を、セント単位（例えば、５０セント単位や、１００セント（半音階）単位）、又は、周波数単位（例えば、１００Ｈｚ単位）で分割した範囲である。

Ｓ１２１の処理により、抽出した信号の周波数ｆが、奇数番目の周波数範囲内にあれば（Ｓ１２１：Ｙｅｓ）、定位ｗ［ｆ］［１］を、ｐａｎＬ［１］とする（Ｓ１２２）。一方、抽出した信号の周波数ｆが、偶数番目の周波数範囲内にあれば（Ｓ１２１：Ｎｏ）、定位ｗ［ｆ］［１］を、ｐａｎＲ［１］とする（Ｓ１２３）。Ｓ１２２またはＳ１２３の処理後、フーリエ変換された全ての周波数について、Ｓ１２１の処理が完了したか否かが判定され（Ｓ１２４）、Ｓ１２４の判定が否定される場合には（Ｓ１２４：Ｎｏ）、Ｓ１２１の処理に戻る一方、Ｓ１２４の判定が肯定される場合には（Ｓ１２４：Ｙｅｓ）、第１信号処理１１０へ移行する。

よって、かかる準備処理（Ｓ１２０）によれば、第１条件を満たす抽出信号の定位は、予め規定された連続する周波数範囲毎に、定位に対して設定された第１設定範囲の左右境界の定位（ｐａｎＬ［１］，ｐａｎＲ［１］）となるよう交互に分配される。

その後、第２実施形態と同様に、Ｓ１１７の処理とＳ１１１の処理とを実行することにより、左右のメインスピーカから出力される分の抽出信号の定位を移動させる一方で、１１８の処理とＳ１１４の処理とを実行することにより、左右のサブスピーカから出力される分の抽出信号の定位を移動させる。本実施形態では、準備処理（Ｓ１２０）と、Ｓ１１７及びＳ１１１の処理又はＳ１１８及びＳ１１４の処理とが、音像拡大縮小処理に相当する。

一方、第２取り出し処理（Ｓ２００）の実行後には、第２取り出し処理（Ｓ２００）により抽出された抽出信号に対する準備処理を実行する（Ｓ２２０）。この準備処理（Ｓ２２０）については、処理対象が第２取り出し処理（Ｓ２００）により抽出された抽出信号であること以外は、上述した準備処理（Ｓ１１０）と同様に行われるので、その説明は省略する。かかる準備処理（Ｓ２２０）により、第２条件を満たす抽出信号の定位は、予め規定された連続する周波数範囲毎に、定位に対して設定された第２設定範囲の左右境界の定位（ｐａｎＬ［２］，ｐａｎＲ［２］）となるよう交互に分配される。

その後、第２実施形態と同様に、Ｓ２１７の処理とＳ２１１の処理とを実行することにより、左右のメインスピーカから出力される分の抽出信号の定位を移動させる一方で、２１８の処理とＳ２１４の処理とを実行することにより、左右のサブスピーカから出力される分の抽出信号の定位を移動させる。本実施形態では、準備処理（Ｓ２２０）と、Ｓ２１７及びＳ２１１の処理又はＳ２１８及びＳ２１４の処理とが、音像拡大縮小処理に相当する。

上述した通り、第３実施形態では、モノラルの楽音信号を、一旦、予め規定された連続する周波数範囲毎に交互に分配した後に、音像の拡大又は縮小を行うことにより、モノラル信号に好適な拡がり感を持たせることができる。

次に、図１２〜図１５を参照して、第４実施形態について説明する。第４実施形態では、エフェクタ１に対するユーザインターフェイス機能を提供するユーザインターフェイス装置（以下、「ＵＩ装置」と称す）について説明する。なお、この第４実施形態において、上述した各実施形態と同一の部分には、同一の符号を付して、その説明を省略する。

本実施形態のＵＩ装置は、ＵＩ装置を制御する制御部と、表示装置１２１と、入力装置１２２とから構成される。本実施形態において、ＵＩ装置を制御する制御部は、上述した楽音信号処理装置としてのエフェクタ１の構成を共用しており、ＣＰＵ１４と、ＲＯＭ１５、ＲＡＭ１６と、表示装置１２１に接続されるＩ／Ｆ２１と、入力装置１２２に接続されるＩ／Ｆ２２と、バスライン１７とから構成される。

本実施形態のＵＩ装置は、楽音信号を、定位を示す定位軸と周波数を示す周波数軸とからなる定位−周波数平面上にレベル分布として表現することにより、楽音信号の可視化を図る。なお、レベル分布とは、楽音信号のレベルを所定の分布を用いて展開して得られる分布である。

図１２は、本実施形態のＵＩ装置が表示装置１２１に表示する表示内容を説明するための模式図である。図１２（ａ）は、定位−周波数平面上における入力楽音信号のレベル分布を示す模式図である。この入力楽音信号のレベル分布は、上述したメイン処理部Ｓ３０（図４参照）の中で実行されるＳ３１の処理（即ち、各周波数ｆの定位ｗ［ｆ］と最大レベルＭＬ［ｆ］とを算出する処理）の後であって、各取り出し処理（Ｓ１００，Ｓ２００）及び指定以外を取り出す処理（Ｓ３００）を実行する前の段階の信号を用いて算出される。なお、その算出方法については後述する。

図１２（ａ）に示すように、横軸方向を定位軸とし、縦軸方向を周波数軸とする矩形状の定位−周波数平面が、表示装置１２１の表示画面上の所定領域（表示画面全体又は一部）に表示され、その定位−周波数平面上に入力楽音信号のレベル分布を表示する。即ち、定位−周波数平面上における入力楽音信号のレベル分布のレベルを、定位−周波数平面に対する高さ（表示画面から手前方向に延びる長さ）として表す。

なお、図１２（ａ）では、出力端子が左右に１つずつである場合を示しており、定位−周波数平面の定位軸（ｘ軸）の範囲は、定位の左端（Ｌｃｈ）から右端（Ｒｃｈ）までの範囲であり、この定位−周波数平面における定位軸の中央は、定位の中央（Ｃｅｎｔｅｒ）である。表示画面において、この定位軸の範囲（即ち、ＬｃｈからＲｃｈまでの定位範囲）に対し、ｘｍａｘ個の画素（ピクセル）が割り当てられている。

一方、定位−周波数平面の周波数軸（ｙ軸）の範囲は、最低周波数ｆｍｉｎから最高周波数ｆｍａｘまでの範囲であり、これらの周波数ｆｍｉｎ，ｆｍａｘの値は、適宜設定することができる。表示画面において、この周波数軸の範囲（即ち、ｆｍｉｎからｆｍａｘまでの範囲）に対し、ｙｍａｘ個の画素が割り当てられている。

本実施形態では、定位−周波数平面を表示画面上（即ち、表示画面と平行）に表示するので、該平面に対する高さを表示色の色相を変えることによって表す。なお、モノクロ図面である図１２（ａ）では、便宜上、高さを等高線により表している。

図１２（ｂ）は、レベル（即ち、定位−周波数平面に対する高さ）と表示色との関係を示す模式図である。定位−周波数平面に対する高さは、レベルが「０」である場合に最小（高さ＝０）であり、レベルが高くなるにつれて次第に高くなり、レベルが「最大値」である場合において最大となる。なお、ここでの「最大値」は、表示用のレベルの「最大値」を意味している。かかる表示用のレベルの「最大値」は、例えば、楽音信号から求められるレベルの最大値に基づく値として設定することができる。あるいは、表示用のレベルの「最大値」を、所定値としたり、ユーザ等により適宜設定できるよう構成してもよい。

図１２（ｂ）に示すように、定位−周波数平面に対する高さ（即ち、入力楽音信号のレベル）に対する色を、ゼロである場合の表示色を黒（ＲＧＢ（０，０，０））とし、高さ（レベル）が高くなるにつれ、表示色を、濃紫→紫→藍→青→緑→黄→橙→赤→濃赤の順で順次ＲＧＢ値をグラデーション変化させる。モノクロ図面である図１２（ｂ）では、レベルが「０」である場合には黒色が対応し、レベルが「最大値」に向かう程、濃紫から濃赤の色変化が対応することを文字により表している。本実施形態では、レベルと表示色とを対応付ける表示色テーブルが予めＲＯＭ１５に記憶されており、算出されたレベル分布に基づいて表示色を設定する。

本実施形態のＵＩ装置は、図１２（ａ）に示すように、定位−周波数平面を用いて入力楽音信号を表現するので、ユーザは、入力楽音信号中に含まれる特定周波数の信号がどの定位に位置するかを視認することができ、入力楽音信号中に含まれるボーカルや楽器の信号を特定し易い。特に、入力楽音信号のレベル分布を定位−周波数平面上に表示するので、ユーザは、入力楽音信号における各周波数帯域の信号がある程度にグループ化された状態を視認することになるため、ボーカルや楽器単位の信号群の存在位置を特定し易い。

本実施形態のＵＩ装置は、図１２（ａ）に示す表示に対し、定位範囲と周波数範囲とで規定される領域（取り出し領域）を、入力装置１２２を用いて所望に応じて設定することができるように構成されている。ＵＩ装置を用いてかかる取り出し領域を設定することにより、エフェクタ１のＤＳＰ１２において上述した取り出し処理（Ｓ１００，Ｓ２００）によって、取り出し領域の定位範囲及び周波数範囲とレベルとを条件として抽出信号を得ることができる。

図１２（ｃ）は、取り出し領域を設定した場合における、表示装置１１２の表示内容を示す模式図である。図１２（ｃ）では、図１２（ａ）の表示に対し、ユーザが入力装置１２２を用いて４つの取り出し領域Ｏ１〜Ｏ４を設定した場合の表示結果を示している。

取り出し領域の設定は、ＵＩ装置における入力装置１２２を用いて設定する。例えば、マウスの操作によりポインタを所望の位置に置き、ドラッグにより矩形領域を描くことにより設定する。なお、取り出し領域は、矩形領域以外の形状（例えば、円、台形、外周に凹凸のある複雑な形状の閉じたループなど）で設定してもよい。

そして、取り出し領域の設定が確定されると、設定された取り出し領域毎に抽出された抽出信号のレベル分布が算出され、図１２（ｃ）に示すように、算出されたレベル分布が取り出し領域毎に表示色を変えて表示される。これにより、抽出信号のレベル分布を、取り出し領域毎に区別させることができる。モノクロ図面である図１２（ｃ）では、便宜上、各取り出し領域Ｏ２，Ｏ３，Ｏ４の各レベル分布に対する表示色の相違をハッチングの相違により表している。なお、取り出し領域Ｏ１からは抽出される信号が存在しないので、何の変化もない。

各抽出信号のレベル分布は、上述したメイン処理部Ｓ３０（図４参照）の中で実行される各取り出し処理（Ｓ１００，Ｓ２００）により各取り出し領域から抽出された信号を用いて算出される。ただし、上述した図４では、２つの取り出し領域に対して第１取り出し処理（Ｓ１００）と第２取り出し処理（Ｓ２００）を実行する場合であるが、図１２（ｃ）のように４つの取り出し領域Ｏ１〜Ｏ４が設定された場合には、４つの取り出し領域に対する取り出し処理が各々行われる。

また、取り出し領域以外の領域の信号のレベル分布も、指定以外を取り出す処理（Ｓ３００）により取り出された信号を用いて算出され、上述した各取り出し領域の抽出信号のレベル分布とは異なる表示色で表示される。モノクロ図面である図１２（ｃ）では、便宜上、取り出し領域以外の領域のレベル分布の領域にハッチングをかけないことにより、上述した各取り出し領域のレベル分布と表示色が異なっていることを表している。

また、取り出し領域が設定された場合には、各取り出し領域における抽出信号のレベル（即ち、定位−周波数平面に対する高さ）は、各表示色の明度（明るさ）を変えることによって表現する。具体的には、抽出信号のレベルが高い程、表示色の明度を高くする（明るくする）。同様に、取り出し領域以外の領域の信号のレベルもまた、そのレベルが高い程、表示色の明度を高くする。モノクロ図面である図１２（ｃ）では、表示色の明度の差を、レベル分布の裾野部分（レベルが低い部分）のみを濃く表示する程度に簡略化して表している。

なお、図１２（ｃ）に示す例では、取り出し領域毎に算出された抽出信号のレベル分布が、取り出し領域毎に表示色を変えて表示されるとしたが、複数の取り出し領域が設定されても、各取り出し領域における抽出信号のレベル分布の表示色は、取り出し領域以外の領域の信号のレベル分布とは異なる色にする必要があるが、全て同じ色としてもよい。

このように、本実施形態のＵＩ装置は、取り出し領域が設定されると、取り出し領域毎に抽出信号のレベル分布を他の領域と異なる態様で表示するので、ユーザは、取り出し領域の設定により抽出した抽出信号を他の信号とは区別して認識することができるので、ボーカルや楽器単位の信号群が抽出されているかを確認し易い。

ここで、定位−周波数平面上における楽音信号のレベル分布を算出する方法について説明する。定位−周波数平面上に入力楽音信号のレベル分布を表示する場合、そのレベル分布Ｐ（ｘ，ｙ）は、上述したメイン処理部Ｓ３０（図４参照）の中で実行されるＳ３１の処理の後であって、各取り出し処理（Ｓ１００，Ｓ２００）及び指定以外を取り出す処理（Ｓ３００）の実行する前の段階の信号を用い、各周波数ｆにおけるレベルを正規分布として展開して得られる分布（即ち、レベル分布）を全ての周波数について合算することにより算出される。即ち、次の（１）式により算出することができる。

なお、（１）式において、ｂは、ＢＩＮ番号、即ち、各周波数ｆを管理する管理番号として全ての周波数ｆの各々に対して連番として付与されている番号である。また、ｌｅｂｅｌ［ｂ］は、ｂの値に対応する周波数ｆのレベルであり、本実施形態では、その周波数ｆにおける最大レベルＭＬ［ｆ］を使用する。

Ｗ（ｂ）は、定位−周波数平面の表示範囲が定位軸方向に画素数ｘｍａｘである場合（図１２（ａ）参照）における、定位軸方向の画素位置であり、出力端子が左右に１つずつである場合には（２ａ）式により算出される。なお、ｗ［ｂ］は、ｂの値に対応する定位（即ち、ｗ［ｆ］）を示し、出力端子が左右に１つずつである場合には、ｗ［ｆ］の値は０から１までの値をとるので、Ｗ（ｂ）は（２ａ）式により算出される。

なお、出力端子が左右に２つずつである場合には、ｗ［ｆ］の値は０．２５から０．７５までの値をとるので、Ｗ（ｂ）は、（２ｂ）式により算出される。

Ｆ（ｂ）は、定位−周波数平面の表示範囲が周波数軸方向に画素数ｙｍａｘである場合（図１２（ａ）参照）における、周波数軸方向の画素位置である。Ｆ（ｂ）は、（３）式により算出することができる。なお、（３）式において、ｆｍｉｎ及びｆｍａｘは、それぞれ、表示される定位−周波数平面における周波数軸方向における最低周波数と最高周波数である。

なお、（３）式では、周波数軸を対数軸とする場合に適用される。周波数軸を、周波数に対してリニアな軸としてもよい。かかる場合には、Ｆ（ｂ）＝（（ｆ［ｂ］−ｆｍｉｎ）／（ｆｍａｘ−ｆｍｉｎ））×ｙｍａｘにより、周波数軸方向の画素位置を算出することができる。

また、（１）式におけるｃｏｅｆは、正規分布であるレベル分布の裾野の拡がり具合又は山の尖り具合（尖度）を決める変数であり、このｃｏｅｆの値を適宜調整することにより、表示されるレベル分布（即ち、入力楽音信号のレベル分布）におけるピークの分解能を調整することができ、それにより、信号をグループ化することができ、入力楽音信号中に含まれるボーカルや楽器の信号群を判別し易くすることができる。

図１３は、定位−周波数平面上における楽音信号のレベル分布の、ある周波数での断面図である。図１３（ａ）〜図１３（ｃ）のいずれも、横軸方向が定位を示し、縦軸方向がレベルを示す。図１３（ａ）〜図１３（ｃ）は、それぞれ、各周波数のレベル分布Ｐ１〜Ｐ５の裾野の拡がり具合（即ち、ｃｏｅｆの値）の設定を変えた場合における入力楽音信号のレベル分布Ｐを示している。

具体的に、図１３（ａ）、図１３（ｂ）、図１３（ｃ）の順で、各周波数のレベル分布Ｐ１〜Ｐ５の拡がり具合が狭く設定されている。図１３（ａ）〜図１３（ｃ）から明らかなように、各周波数のレベル分布Ｐ１〜Ｐ５の裾野の拡がり具合が大きい程、算出されるレベル分布Ｐはなだらかな曲線となり、ピークの分解能も低くなる。

各周波数のレベル分布Ｐ１〜Ｐ５の裾野の拡がり具合が最も大きい図１３（ａ）に示す例では、レベル分布Ｐのピークは矢印で示す２つである。図１３（ａ）よりも各周波数のレベル分布Ｐ１〜Ｐ５の裾野の拡がり具合が小さい図１３（ｂ）に示す例では、レベル分布Ｐ４のピーク付近に肩部が形成される。図１３（ｂ）よりもさらに各周波数のレベル分布Ｐ１〜Ｐ５の裾野の拡がり具合が小さい図１３（ｃ）に示す例では、図１３（ｂ）に示す例において肩部であった部分がピークとなり、レベル分布Ｐ３のピーク付近にさらに肩部が形成される。よって、（１）式におけるｃｏｅｆの値を調整することにより、各周波数の信号をグループ化したり、個々の信号の位置を明確にしたり、入力楽音信号を自在に表現することができる。

なお、入力楽音信号のレベル分布を（１）式により算出することを説明したが、取り出し領域を設定して抽出信号のレベル分布を表示する場合（即ち、図１２（ｃ）の場合）には、ｂの値としてＢＩＮ番号を用いるのでなく、取り出し領域毎に、抽出された信号に対して連番に付した値を使用し、（１）式と同じ式で算出することができる。つまり、各取り出し領域内における抽出信号のレベル分布を全て合算することにより、取り出し領域毎のレベル分布を算出することができる。各抽出信号のレベル分布は、上述したメイン処理部Ｓ３０（図４参照）の中で実行される各取り出し処理（Ｓ１００，Ｓ２００）により各取り出し領域から抽出された信号を用いて算出される。

次に、図１４は、本実施形態のＵＩ装置を用いたエフェクタ１への指示入力を説明するための模式図である。図１４（ａ）は、入力楽音信号から、４つの取り出し領域Ｏ１〜Ｏ４を設定した場合に定位−周波数平面に表示される表示内容を示す図である。ただし、取り出し領域以外の領域の図示は省略している。図１４（ａ）では、出力端子が左右に２つずつある場合の画面を図示している。そのため、入力楽音信号から抽出された各取り出し領域Ｏ１〜Ｏ４内の信号は、ＬｃｈからＲｃｈの間（即ち、定位が０．２５〜０．７５の間）に位置する。

４つの取り出し領域Ｏ１〜Ｏ４が設定されると、各取り出し領域Ｏ１〜Ｏ４からそれぞれ抽出された抽出信号のレベル分布Ｓ１〜Ｓ４が、上述したメイン処理部Ｓ３０（図４参照）の中で実行される第１又は第２取り出し処理（Ｓ１００）と同様の取り出し処理により各取り出し領域から抽出された信号を用いて算出され、取り出し領域Ｏ１〜Ｏ４毎に異なる表示態様（即ち、表示色を換えて）表示される。なお、モノクロ図面である図１４（ａ）では、各取り出し領域Ｏ１〜Ｏ４の各レベル分布に対する表示色の相違をハッチングの相違により表している。なお、この図１４（ａ）では、取り出し領域以外の信号（即ち、指定以外を取り出す処理（Ｓ３００）により取り出された信号）の図示は上述した通り省略している。

図１４（ｂ）は、４つの取り出し領域Ｏ１〜Ｏ４を設定して入力楽音信号から各取り出し領域内の信号を抽出した状態（図１４（ａ）に示す状態）から、取り出し領域Ｏ１と取り出し領域Ｏ４とを定位−周波数平面上で移動させる場合について説明する図である。なお、この例において、取り出し領域Ｏ２と取り出し領域Ｏ３に対しては、何の変更もされていない。

本実施形態のＵＩ装置は、表示装置１２１の表示画面に表示される定位−周波数平面上の取り出し領域を、入力装置１２２を用いて移動させることにより、移動元の取り出し領域内の抽出信号の定位及び／又は周波数を、その取り出し領域の移動先の領域に応じた定位及び／又は周波数に変更することを、楽音信号処理装置（本実施形態では、エフェクタ１）に指示する。なお、取り出し領域の移動は、ＵＩ装置における入力装置１２２を用いて設定する。例えば、マウスの操作によりポインタを、所望する取り出し領域上に置いて選択し、ドラッグにより所望の位置へ移動させる。

取り出し領域Ｏ１のように、周波数を変えずに定位軸に沿って取り出し領域を移動させた場合には、ＵＩ装置は、取り出し領域Ｏ１内から抽出された抽出信号の定位を、取り出し領域Ｏ１´の対応位置（定位）に移動する指示を、楽音信号処理装置（エフェクタ１）に供給する。即ち、本実施形態のＵＩ装置は、取り出し領域を周波数一定で定位軸に沿って移動させることによって、その取り出し領域内から抽出された抽出信号の定位の移動を、楽音信号処理装置（エフェクタ１）に指示することができる。

楽音信号処理装置としてのエフェクタ１が当該指示を受け付けると、エフェクタ１は、取り出し領域に対応する信号処理の中で実行される定位を調整する処理（例えば、第１取り出し処理（Ｓ１００）により信号を抽出する取り出し領域である場合には、第１信号処理（Ｓ１１０）の中で実行されるＳ１１１，Ｓ１１４の処理）において、取り出し領域Ｏ１内から抽出された抽出信号の定位を移動させる。

このとき、目標とする定位は、取り出し領域Ｏ１内から抽出された各抽出信号の、取り出し領域Ｏ１´内における対応位置、即ち、取り出し領域Ｏ１内から抽出された各抽出信号の定位を取り出し領域の移動量（取り出し領域Ｏ１から取り出し領域Ｏ１´までの移動量）だけ移動させた先の定位である。

一方、取り出し領域Ｏ４のように、定位を変えずに周波数軸に沿って取り出し領域を移動させた場合には、ＵＩ装置は、取り出し領域Ｏ４内から抽出された抽出信号の周波数を、取り出し領域Ｏ４´の対応位置（周波数）に変更する指示を、楽音信号処理装置（エフェクタ１）に供給する。即ち、本実施形態のＵＩ装置は、取り出し領域を定位一定で周波数軸に沿って移動させることによって、その取り出し領域内から抽出された抽出信号の周波数の変更（即ち、ピッチの変更）を、楽音信号処理装置（エフェクタ１）に指示することができる。

楽音信号処理装置としてのエフェクタ１が当該指示を受け付けると、エフェクタ１は、取り出し領域に対応する信号処理の中で実行される加工処理（例えば、第１取り出し処理（Ｓ１００）により信号を抽出する取り出し領域である場合には、第１信号処理（Ｓ１１０）の中で実行されるＳ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６の処理）において、取り出し領域Ｏ４内から抽出された抽出信号のピッチ（周波数）を、公知の方法により、取り出し領域の移動量に応じたピッチに変更する。

なお、図１４（ｂ）では、周波数を変えずに定位軸に沿った方向に移動される取り出し領域Ｏ１と、定位を変えずに周波数軸に沿った方向に移動させる取り出し領域Ｏ４とを例示したが、取り出し領域を、斜め方向（即ち、定位軸と周波数軸とのいずれにも平行とならない方向）に移動させてもよい。かかる場合には、移動元の取り出し領域内から抽出された各抽出信号は、定位とピッチとの両方が変更されることになる。

また、ＵＩ装置は、定位−周波数平面上における取り出し領域を移動した場合には、移動元の取り出し領域内から抽出された抽出信号のレベル分布を、移動先の取り出し領域内に表示させるよう制御する。

具体的に、取り出し領域Ｏ１を取り出し領域Ｏ１´に移動させた場合には、取り出し領域Ｏ１内から抽出された抽出信号のレベル分布Ｓ１の表示を、移動先の抽出信号のレベル分布Ｓ１´の表示に切り換える。なお、定位を移動させた場合における、移動先の抽出信号のレベル分布は、移動元の取り出し領域から抽出された抽出信号に対し、定位を調整する処理（Ｓ１１１，Ｓ１１４，Ｓ２１１，Ｓ２１４の処理）において、定位を調整するために用いる係数ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を適用して算出される。あるいは、加工処理（Ｓ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６，Ｓ２１２，Ｓ２１３，Ｓ２１５，Ｓ２１６）の実行後の信号を元に改めて算出してもよい。

同様に、取り出し領域Ｏ４を取り出し領域Ｏ４´に移動させた場合には、取り出し領域Ｏ４内から抽出された抽出信号のレベル分布Ｓ４の表示を、移動先の抽出信号のレベル分布Ｓ４´の表示に切り換える。なお、周波数（ピッチ）を移動させた場合における、移動先の抽出信号のレベル分布は、移動元の取り出し領域から抽出された各抽出信号に対し、加工処理（Ｓ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６など）においてピッチを変更するために適用される数値を適用して算出される。

図１４（ｃ）は、４つの取り出し領域Ｏ１〜Ｏ４を設定して入力楽音信号から各取り出し領域内の信号を抽出した状態（図１４（ａ）に示す状態）から、取り出し領域Ｏ１を定位方向に拡大させると共に、取り出し領域Ｏ４を定位方向に縮小させる場合について説明する図である。なお、この例において、取り出し領域Ｏ２，Ｏ３に対しては、何の変更もされていない。

本実施形態のＵＩ装置は、表示装置１２１の表示画面に表示される定位−周波数平面上における取り出し領域の定位方向の幅を、入力装置１２２を用いて変更させることにより、その取り出し領域内の抽出信号から形成される音像を拡大又は縮小することができる。

なお、取り出し領域の定位方向の幅の変更（定位方向の拡大又は縮小）は、ＵＩ装置における入力装置１２２を用いて設定する。例えば、マウスの操作によりポインタを、１の取り出し領域の辺や頂点上に置き、ポインタが示す辺や頂点を、取り出し領域の形状を所望に応じて変更する。また、取り出し領域の左右の定位の境界となる辺をそれぞれ選択し、取り出し領域の定位方向の拡大又は縮小を行うために各辺に対して適用する上述した音像拡大関数ＹＬ（ｆ），ＹＲ（ｆ）を、キーボードやマウスなどを用いて設定するようにしてもよい。

取り出し領域Ｏ１の形状が取り出し領域Ｏ１´´に変更された場合には、ＵＩ装置は、取り出し領域Ｏ１内から抽出された各抽出信号を、取り出し領域Ｏ１´´の形状に応じて写像（例えば、線形写像）する指示を、楽音信号処理装置（エフェクタ１）に供給する。

楽音信号処理装置としてのエフェクタ１が当該指示を受け付けると、エフェクタ１は、取り出し領域に対応する信号処理の中で実行される音像拡大縮小処理（例えば、第１取り出し処理（Ｓ１００）により信号を抽出する取り出し領域である場合には、第１信号処理（Ｓ１１０）の中で実行されるＳ１１７及びＳ１１１の処理、又は、Ｓ１１８及びＳ１１２の処理）において、取り出し領域Ｏ１内から抽出された各抽出信号を、取り出し領域Ｏ１´´内に写像し、それにより、取り出し領域Ｏ１内から抽出された抽出信号から形成される音像の拡大を図る。

一方、取り出し領域Ｏ４の形状が取り出し領域Ｏ４´´に変更された場合には、ＵＩ装置は、取り出し領域Ｏ４内から抽出された各抽出信号を、取り出し領域Ｏ４´´の形状に応じて写像する指示を、楽音信号処理装置（エフェクタ１）に供給する。エフェクタ１は、上述した取り出し領域Ｏ１の場合と同様に、取り出し領域に対応する信号処理の中で実行される音像拡大縮小処理（例えば、第２取り出し処理（Ｓ２００）により信号を抽出する取り出し領域である場合には、第２信号処理（Ｓ２１０）の中で実行されるＳ２１７及びＳ２１１の処理、又は、Ｓ２１８及びＳ２１２の処理）において、取り出し領域Ｏ４内から抽出された各抽出信号を、取り出し領域Ｏ４´´内に写像する。取り出し領域Ｏ４´´は、取り出し領域Ｏ４を定位方向に縮小した領域であるので、かかる写像により、取り出し領域Ｏ４内から抽出された抽出信号から形成される音像は縮小される。

なお、図１４（ｃ）では、取り出し領域Ｏ１，Ｏ４を定位軸方向に拡大又は縮小する場合（即ち、ｘ軸方向に拡げたり狭めたりする場合）について例示したが、取り出し領域を周波数軸方向に拡大することにより、対象とする取り出し領域のピッチスケールを拡大したり周波数帯域を拡大することができる。同様に、取り出し領域を周波数軸方向に縮小することにより、対象とする取り出し領域のピッチスケールや周波数帯域を狭めることができる。

また、ＵＩ装置は、定位−周波数平面上における取り出し領域の定位方向の幅を変更した場合には、写像元の取り出し領域内から抽出された抽出信号のレベル分布を、写像先の領域内に表示させるよう制御する。

具体的に、取り出し領域Ｏ１の形状を取り出し領域Ｏ１´´に変更した場合には、取り出し領域Ｏ１内から抽出された抽出信号のレベル分布Ｓ１の表示を、写像先（即ち、取り出し領域Ｏ１´´）における抽出信号のレベル分布Ｓ１´´の表示に切り換える。同様に、取り出し領域Ｏ４の形状を取り出し領域Ｏ４´´に変更した場合には、取り出し領域Ｏ４内から抽出された抽出信号のレベル分布Ｓ４の表示を、写像先（即ち、取り出し領域Ｏ４´´）における抽出信号のレベル分布Ｓ４´´の表示に切り換える。

なお、この場合、写像先における抽出信号のレベル分布は、写像元の取り出し領域から抽出された各抽出信号に対し、その抽出信号の定位の移動量を算出する処理（Ｓ１１７，Ｓ１１８，Ｓ２１７，Ｓ２１８の処理）の処理の後に実行される定位を調整する処理（Ｓ１１１，Ｓ１１４，Ｓ２１１，Ｓ２１４の処理）において、定位を調整するために用いる係数ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を適用して算出される。

このように、本実施形態のＵＩ装置では、ユーザは、表示画面の表示（定位−周波数平面上のレベル分布）を見ながら、取り出し領域を所望に応じて自在に設定できると共に、設定した取り出し領域を移動させたり拡大又は縮小させたりすることにより、その取り出し領域内の抽出信号を加工することができる。即ち、ボーカルや楽器の存在領域を抽出するように取り出し領域を設定することにより、ボーカルや楽器の楽音の定位移動や音像の拡大又は縮小を自在かつ容易に行うことができる。

次に、図１５（ａ）を参照して、本実施形態のＵＩ装置が行う表示制御処理について説明する。図１５（ａ）は、第４実施形態のＵＩ装置のＣＰＵ１４が実行する表示制御処理を示したフローチャートである。なお、この表示制御処理は、ＲＯＭ１５に記憶されている制御プログラム１５ａにより実行される。

この表示制御処理は、入力楽音信号のレベル分布を表示する指示が入力装置１２２により入力された場合、取り出し領域の設定が入力装置１２２により入力された場合、取り出し領域を定位−周波数平面上で移動させる設定が入力装置１２２により入力された場合、又は、取り出し領域内の音像を拡大又は縮小するための設定が入力装置１２２により入力された場合に実行される。

表示制御処理は、まず、処理対象の信号（周波数領域の入力楽音信号、抽出信号、定位又はピッチが変更された信号、音像拡大又は縮小後の信号）について、各周波数ｆと定位ｗ［ｆ］と最大レベルＭＬ［ｆ］を取得する（Ｓ４０１）。各周波数ｆ、定位ｗ［ｆ］、及び最大レベルＭＬ［ｆ］の値は、ＤＳＰ１２において算出された値を取得してもよいし、ＤＳＰ１２で処理中の対象信号を取得し、取得した対象信号の周波数とレベルとからＣＰＵ１４において算出してもよい。

次いで、各周波数ｆについて、周波数ｆと定位ｗ［ｆ］とに基づいて、表示画面の画素位置を上述した通りに算出し（Ｓ４０２）、各周波数ｆの画素位置と、その周波数ｆの最大レベルＭＬ［ｆ］とに基づき、（１）式に従い、定位−周波数平面上における各周波数ｆのレベル分布を、全ての周波数について合算する（Ｓ４０３）。Ｓ４０３では、定位−周波数平面上における各周波数ｆのレベル分布を算出するための領域が複数ある場合には、各領域毎に当該レベル分布の算出を行う。

Ｓ４０３の処理後、全ての周波数について合算したレベル分布に応じた画像の設定を行い（Ｓ４０４）、設定された画像を表示装置１２１の表示画面に表示して（Ｓ４０５）、表示制御処理を終了する。なお、Ｓ４０４の処理では、処理対象の信号が周波数領域の入力楽音信号である場合には、図１２（ｂ）に示したようなレベルと表示色との関係を用い、図１２（ａ）に示した表示内容となるよう画像を設定する。

また、処理対象の信号が取り出し領域から抽出された抽出信号である場合には、図１２（ｃ）に示したように、各取り出し領域毎に表示色が異なり、レベルが高い程、表示色が明るくなるように画像を設定する。また、取り出し領域以外の領域における信号のレベル分布の画像は最下層の画層に形成し、取り出し領域から抽出された抽出信号のレベル分布が優先的に表示されるように画像を設定する。

次に、図１５（ｂ）を参照して、本実施形態のＵＩ装置が行う領域設定処理について説明する。図１５（ｂ）は、本実施形態のＵＩ装置のＣＰＵ１４が実行する領域設定処理を示したフローチャートである。なお、この領域設定処理は、ＲＯＭ１５に記憶されている制御プログラム１５ａにより実行される。

この領域設定処理は、定期的に実行され、入力装置１２２による取り出し領域の設定受付、取り出し領域の移動の設定受付、又は、取り出し領域の定位方向の拡大もしくは縮小の設定受付がされたかを監視する。まず、入力装置１１２により取り出し領域の設定が確定されたことにより該設定が受付されたかを判別し（Ｓ４１１）、その判別が肯定される場合には（Ｓ４１１：Ｙｅｓ）、その取り出し領域を楽音信号処理装置としてのエフェクタ１に設定し（Ｓ４１２）、領域設定処理を終了する。Ｓ４１２において取り出し処理が設定されると、エフェクタ１は、設定された取り出し領域内の入力楽音信号を抽出する。

Ｓ４１１の判別が否定される場合には（Ｓ４１１：Ｎｏ）、入力装置１１２により取り出し領域の移動又は拡大もしくは縮小の設定が確定され、取り出し領域の移動又は拡大もしくは縮小の設定を受け付けたかを判別する（Ｓ４１３）。Ｓ４１３の判別が否定される場合には（Ｓ４１３：Ｎｏ）、領域設定処理を終了する。

一方、Ｓ４１３の判別が肯定される場合には（Ｓ４１３：Ｙｅｓ）、取り出し領域の移動又は拡大縮小を楽音信号処理装置としてのエフェクタ１に設定し（Ｓ４１４）、領域設定処理を終了する。Ｓ４１４において取り出し領域の移動又は拡大縮小が設定されると、エフェクタ１は、その設定に応じて、対象とする取り出し領域内の抽出信号に対する信号処理を実行し、該取り出し領域内の抽出信号の定位の変更（移動）や、ピッチの変更や、該取り出し領域内の抽出信号から形成される音像の拡大又は縮小が行われる。

上述した通り、第４実施形態のＵＩ装置は、楽音信号処理装置としてのエフェクタ１に処理対象として入力された楽音信号（入力楽音信号）から上記式（１）により得られるレベル分布、即ち、入力楽音信号における各周波数ｆのレベル分布（各周波数におけるレベルを正規分布として展開したもの）を全ての周波数について合算して得られたレベル分布を、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たものとして表示装置１２１の表示画面に表示する。

よって、ユーザは、ある周波数付近の信号であってある定位付近に定位する信号、つまり、ボーカルや楽器単位の信号群をグループ化された状態で視認することができる。これにより、ユーザは、表示画面の表示内容から、ボーカルや楽器単位の存在領域を容易に特定できるので、信号処理の対象として抽出する作業や、その後の処理内容の設定（定位の移動や、音像の拡大又は縮小、ピッチ変更など）を容易に行い得る。

また、本実施形態のＵＩ装置によれば、各取り出し領域に対して行う各信号処理（定位の移動や、音像の拡大又は縮小、ピッチ変更など）の結果も、定位−周波数平面上に表現されるので、ユーザは、信号の合成前に、該処理結果を視覚的に捉えることができ、ユーザのイメージ通りにボーカルや楽器単位の音を加工できる。

次に、図１６を参照して、第５実施形態について説明する。なお、この第５実施形態において、上述した第４実施形態と同一の部分には、同一の符号を付して、その説明を省略する。なお、本実施形態のＵＩ装置は、上述した第４実施形態のＵＩ装置と同一に構成される。

上述した第４実施形態のＵＩ装置は、定位−周波数平面上における楽音信号のレベル分布として表現することにより、楽音信号の可視化を図るものであったが、この第５実施形態のＵＩ装置は、定位−周波数平面上における、楽音信号の周波数ｆと定位ｗ［ｆ］とに応じた位置に、所定の図形を、楽音信号のレベルに応じた態様で表示することにより、楽音信号の可視化を図る。

図１６は、本実施形態のＵＩ装置が表示装置１２１に表示する表示内容を説明するための模式図である。図１６（ａ）は、取り出し領域を設定した場合に、本実施形態のＵＩ装置が、表示装置１１２に表示する表示内容を示す模式図である。

本実施形態のＵＩ装置は、入力楽音信号、入力楽音信号を構成する各周波数帯域の信号について、信号の周波数ｆと定位ｗ［ｆ］とにより決まる定位−周波数平面上の位置に、その信号のレベル（最大レベルＭＬ［ｆ］）に応じて半径が異なる円を表示する。

ここで、取り出し領域が設定されていない場合には、入力楽音信号を構成する各周波数ｆの信号は、レベルに応じて大きさ（円の半径）が異なるものの、全て同じ表示色で表示される。即ち、取り出し領域が設定されていない場合には、図１６（ａ）に示す画面と比べ、取り出し領域Ｏ１が表示されず、定位−周波数平面内の大小全ての円が同じデフォルトの表示色（例えば、黄色）で表示された画面となる。なお、モノクロ図面である図１６（ａ）及び図１６（ｂ）では、デフォルトの表示色で表示された円を白抜きの円で表している。

なお、図１６（ａ）に示す例では、定位−周波数平面上における楽音信号の周波数ｆと定位ｗ［ｆ］とに応じた位置に表示する図形を円としたが、図形の形状は円に限らず、三角や四角や星形などの各種図形を適用できる。また、図１６（ａ）に示す例では、信号のレベルに応じて円の半径（大きさ）を変えるものとしたが、信号のレベルに応じた表示態様の違いは図形の大きさの違いに限らず、表示する図形は全て同じ大きさであって、信号のレベルに応じて該図形の塗り潰し色（色相）を変えたり、塗り潰し色が同じであるが信号のレベルに応じて濃淡や明るさを変えるようにしてもよい。さらに、図形の大きさと塗り潰し色との組み合わせ等、複数の要素の組み合わせを変えることによって信号のレベルを表すようにしてもよい。

入力装置１２２を用いて取り出し領域Ｏ１が設定されると、定位−周波数平面内に表示されている全ての円のうち、上述したメイン処理部Ｓ３０（図４参照）の中で実行される取り出し処理（例えば、第１取り出し処理（Ｓ１１０））により、取り出し領域から抽出された抽出信号に対応する円の表示色が、図１６（ａ）に示すように変更される。図１６（ａ）に示す例では、取り出し領域Ｏ１内から抽出された信号に対応する円にハッチングを付加することにより、表示色が変更されたことを表している。

なお、図１６（ａ）に示す例では、抽出信号が取り出し領域から抽出された場合には、抽出信号に対応する図形の表示色をデフォルトの表示色（例えば、黄色）から変化させることにより、抽出信号と、その他の信号（即ち、取り出し領域以外の領域内の入力楽音信号）とを区別させたが、表示色の違いに限らず、デフォルトの表示色と色は同一であるが濃度や明るさに応じて抽出信号とその他の信号とを区別可能にしてもよい。また、抽出信号をその他の信号から区別可能な表示形態で表示してもよい。例えば、抽出信号を示す図形を、その他の信号を示す図形（図１６（ａ）に示す例では、円）から、例えば、三角や星形などの他の図形に変更して表示したり、抽出信号を示す図形をその他の信号を示す図形から変更すると共に表示色を変更して表示する。

図１６（ａ）に示す例では、設定される取り出し領域を１つ（即ち、取り出し領域Ｏ１のみ）としたが、取り出し領域が複数ある場合には、各取り出し領域からの抽出信号に対応する円の表示色を、デフォルトの表示色（取り出し領域が設定されていない入力楽音信号に対して使用される表示色）から変更する。例えば、取り出し領域Ｏ１と、もう１つ取り出し領域が設定された場合に、取り出し領域Ｏ１からの抽出信号に対応する円の表示色をデフォルトの色とは異なる青色とし、他方の取り出し領域からの抽出信号に対応する円の表示色をデフォルトの色とは異なる赤色とする。

このように、１又は複数の取り出し領域（図１６（ａ）の場合には、取り出し領域Ｏ１）内から抽出された信号と、そうでない信号（即ち、取り出し領域Ｏ１内から抽出されない信号）とをユーザに識別させ易くすることができる。よって、設定された取り出し領域から抽出された信号に対応する図形（図１６（ａ）の場合には、円）の着色具合により、ある定位における信号の固まり具合をユーザに認識させることができる。これにより、ボーカルや楽器の存在領域をユーザに判別させ易くすることができる。

なお、取り出し領域が複数ある場合には、取り出し領域毎に、抽出信号に対応する円の表示色を変更することにより、取り出し領域毎に抽出信号を区別させることができる。この場合、各取り出し領域からの抽出信号に対応する円の表示色を、定位−周波数平面において取り出し領域を描く枠の色や、該取り出し領域内を着色する色に合わせた色とすることにより、取り出し領域と抽出信号との対応をユーザに分かり易くすることができる。

図１６（ｂ）は、取り出し領域から信号を抽出するための条件のうち、最大レベルの下限の閾値を上げた場合における、表示装置１１２に表示される表示内容を示す模式図である。取り出し領域Ｏ１から信号を抽出するための条件の１つである最大レベルの下限の閾値を上げた場合、最大レベルＭＬ［ｆ］が該閾値より低い信号は、抽出の対象から外れて抽出されない。かかる場合には、図１６（ｂ）に示すように、取り出し領域Ｏ１内に表示される円のうち、所定の半径より小さい円の表示色は変更されず、デフォルトの表示色のままとされる。

よって、最大レベルＭＬ［ｆ］が比較的高い信号に対応する比較的大きな半径の円の表示色だけが、デフォルトの表示色から変更されるので、ノイズなどのレベルの低い信号と、楽器やボーカルの楽音に基づく比較的レベルの高い信号との視覚的な区別を容易にできる。そのため、ユーザは、入力楽音信号中に含まれる楽器やボーカルの楽音の信号の固まり具合を認識し易く、その結果、ボーカルや楽器の存在領域も判別し易い。

次に、図１７を参照して、本実施形態のＵＩ装置が行う表示制御処理について説明する。図１７は、第５実施形態のＵＩ装置のＣＰＵ１４が実行する表示制御処理を示したフローチャートである。なお、この表示制御処理は、ＲＯＭ１５に記憶されている制御プログラム１５ａにより実行される。

この表示制御処理は、第４実施形態の表示制御処理が起動する条件と同じ条件で起動し、まず、第４実施形態の表示制御と同様に、処理対象の信号について、各周波数ｆと定位ｗ［ｆ］と最大レベルＭＬ［ｆ］を取得し（Ｓ４０１）、各周波数ｆについて、周波数ｆと定位ｗ［ｆ］とに基づいて、表示画面の画素位置を算出する（Ｓ４０２）。次いで、Ｓ４０２において各周波数ｆに対して算出した画素位置に、最大レベルＭＬ［ｆ］に応じた半径の円を設定し（Ｓ４２１）、設定された画像を表示装置１２１の表示画面に表示して（Ｓ４０５）、表示制御処理を終了する。

上述した通り、第５実施形態のＵＩ装置では、楽音信号処理装置としてのエフェクタ１に処理対象として入力された楽音信号（入力楽音信号）における各周波数ｆの信号が、定位−周波数平面上における（周波数ｆ，定位ｗ［ｆ］）の位置に、所定の図形（本実施形態では、円）を、各周波数ｆに対応する信号の最大レベルＭＬ［ｆ］に応じた大きさ（本実施形態では、円の半径）で表示される。

取り出し領域を設定すると、該取り出し領域内から抽出された抽出信号に対応する図形の表示態様（本実施形態では、色）が、抽出前に着色されていたデフォルトの表示態様から変更される。よって、ユーザは、設定された取り出し領域から抽出された抽出信号を、抽出前とは異なる表示態様で視認することができ、ボーカルや楽器単位の信号群として適切な信号が抽出されているかを判別し易い。よって、ユーザは、各取り出し領域から抽出された抽出信号に対する表示態様から、所望のボーカルや楽器単位の信号群の存在位置の特定を容易に行うことができるので、それにより、所望のボーカルや楽器単位の信号群を適切に抽出できる。

また、本実施形態のＵＩ装置によれば、各取り出し領域に対して行う各信号処理（定位の移動や、音像の拡大又は縮小、ピッチ変更など）の結果も、定位−周波数平面上に表現されるので、ユーザは、信号の合成前に、該処理結果を視覚的に捉えることができる。ユーザのイメージ通りにボーカルや楽器単位の音を加工できる。

以上、各実施形態に基づき本発明を説明したが、本発明は上記形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の変形改良が可能であることは容易に推察できるものである。

上記第１及び第２実施形態では、第１取り出し処理（Ｓ１００）および第２取り出し処理（Ｓ２００）における抽出信号の抽出に、周波数、定位および最大レベルが一組となった条件を使用したが、これに限られるものではない。即ち、抽出信号を抽出する条件として、周波数だけ、定位だけ、または、最大レベルだけを用いても良い。或いは、これらを適宜組み合わせても良い（例えば、周波数と定位とを組み合わせても良い）。

例えば、抽出信号を抽出する条件として、周波数だけを使用する場合には、第１取り出し処理（Ｓ１００）内のＳ１０１の判定内容を、「周波数［ｆ］が、予め設定された第１周波数範囲内であるか否か」へ変更すればよい。また、例えば、抽出信号を抽出する条件として、定位だけを使用する場合には、第１取り出し処理（Ｓ１００）内のＳ１０１の判定内容を、「定位ｗ［ｆ］が、予め設定された第１設定範囲内であるか否か」へ変更すれば良い。また、例えば、抽出信号を抽出する条件として、最大レベルだけを使用する場合には、第１取り出し処理（Ｓ１００）内のＳ１０１の判定内容を、「最大レベルＭＬ［ｆ］が、予め設定された第１設定範囲内であるか否か」へ変更すれば良い。ここで、Ｓ１０１の判定内容変更に伴い、第２取り出し処理（Ｓ２００）内のＳ２０１の判定内容を変更する場合には、Ｓ１０１の判定内容の変更と同様の変更を行えば良い。

なお、上記第１及び第２実施形態では、抽出信号を抽出する条件として、周波数、定位および最大レベルが一組となった条件を使用しているので、条件外に中心周波数を持つノイズや、条件を超えたレベルを持つノイズ、或いは、条件を下回ったレベルを持つノイズから受ける影響を抑制することができる。これにより、抽出信号を正確に抽出することができる。

上記第１及び第２実施形態のＳ１０１，Ｓ２０１では、周波数ｆ、定位ｗ［ｆ］、および最大レベルＭＬ［ｆ］がそれぞれ予め設定された範囲内であるか否かを判定したが、周波数ｆ、定位ｗ［ｆ］、および最大レベルＭＬ［ｆ］のうち少なくとも２つを変数とする任意の関数を用い、その関数により得られる値が設定された範囲内であるか否かを判定するようにしてもよい。これにより、より複雑な範囲を設定することができる。

上記各実施形態で実行される各加工処理（Ｓ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６，Ｓ２１２，Ｓ２１３，Ｓ２１５，Ｓ２１６，Ｓ３１２，Ｓ３１３，Ｓ３１５，Ｓ３１６）では、ピッチ変更、レベル変更、リバーブ付与が行われたが、これらの変更やリバーブ付与を、全ての加工処理で同一の内容に設定しても良いし、各加工処理の内容が異なっていてもよい。例えば、第１信号処理における加工処理（Ｓ１１２，Ｓ１１３，Ｓ１１５，Ｓ１１６）と、第２信号処理における加工処理（Ｓ２１２，Ｓ２１３，Ｓ２１５，Ｓ２１６）と、指定外信号処理における加工処理（Ｓ３１２，Ｓ３１３，Ｓ３１５，Ｓ３１６）とで、それぞれ異なる内容に設定しても良い。なお、第１信号処理、第２信号処理、及び指定外信号処理における各加工処理の内容が異なる場合には、各条件毎に抽出された各抽出信号に対して、異なる信号処理を施すことができる。

上記第１及び第２実施形態では、左右２チャンネルの楽音信号を、信号処理を施す対象としてエフェクタ１に入力する構成としたが、左右に限らず、上下又は前後、あるいは任意の２方向に定位する２チャンネルの楽音信号を、信号処理を施す対象としてエフェクタ１に入力する構成であってもよい。また、エフェクタ１に入力する楽音信号を、３チャンネル以上の楽音信号としてもよい。エフェクタ１に３チャンネル以上の楽音信号を入力する場合には、各チャンネルの定位に応じた定位ｗ［ｆ］（定位情報）を算出し、算出された各定位ｗ［ｆ］が設定範囲に収まるか否かを判定すればよい。例えば、左右の定位ｗ［ｆ］に加えて、上下及び／又は前後の定位を算出し、算出された左右の定位ｗ［ｆ］と上下及び／又は前後の定位が設定範囲に収まるか否かを判定する。左右前後４チャンネルの楽音信号を例にすると、それぞれ対となる２組の楽音信号（左右、前後）の定位を算出し、算出された左右の定位と前後の定位が設定範囲に収まるか否かを判定する。

上記各実施形態では、取り出し処理（Ｓ１００，Ｓ２００）において、設定範囲との比較を行う各信号のレベル（特に、第１及び第２実施形態では最大レベルＭＬ［ｆ］）として、楽音信号の振幅を用いる構成としたが、楽音信号のパワーを用いる構成としてもよい。例えば、上記第１及び第２実施形態では、ＩＮＬ＿Ｌｖ［ｆ］を求めるために、ＩＮ＿Ｌ［ｆ］信号の複素式における実数部を２乗した値と、ＩＮ＿Ｌ［ｆ］信号の複素式における虚数部を２乗した値とを足し合わせ、その足し合わせた値の平方根を算出するものとしたが、例えば、ＩＮ＿Ｌ［ｆ］信号の複素式における実数部を２乗した値と、ＩＮ＿Ｌ［ｆ］信号の複素式における虚数部を２乗した値とを足し合わせることにより、ＩＮＬ＿Ｌｖ［ｆ］を求めてもよい。

上記第１及び第２実施形態では、定位ｗ［ｆ］を左右チャンネル信号のレベルの比に基づいて算出する構成としたが、左右チャンネル信号のレベルの差に基づいて算出する構成としてもよい。

上記第１及び第２実施形態では、定位ｗ［ｆ］を２チャンネルの楽音信号から各周波数帯域毎に一意的に求めたが、各周波数帯域においてそれぞれ求めた定位に基づいて、連続する複数の周波数帯域をグループとして、そのグループ内での定位のレベル分布を求め、その定位のレベル分布を定位情報（定位ｗ［ｆ］）として用いてもよい。かかる場合、例えば、定位が所定のレベル以上である範囲が、設定範囲（方向範囲として設定された範囲）に収まるか否かを判定することにより、所望する楽音信号を抽出することができる。

上記第１及び第２実施形態では、Ｓ１１１，Ｓ１１４，Ｓ２１１，Ｓ２１４，Ｓ３１１，Ｓ３１４において、各取り出し処理（Ｓ１００，Ｓ２００，Ｓ３００）により抽出された左右の楽音信号（即ち、抽出信号）から求められる定位ｗ［ｆ］と目標とする定位とに基づいて、抽出信号によって形成される定位を調整する構成とした。これに換えて、抽出された左右の楽音信号から、例えばそれらの信号を単に足し合わせる等によってモノラルの楽音信号を合成し、合成したモノラルの楽音信号に対し、目標とする定位に基づいて、抽出信号によって形成される定位を調整する構成としてもよい。

また、上記第２実施形態では、音像を拡大（又は縮小）するための定位の移動先を目標とする定位として、係数ｌｌ，ｌｒ，ｒｌ，ｒｒ及び係数ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´を算出したが、音像を拡大（又は縮小）するための定位の移動先と、音像そのものの移動（取り出し領域の移動）による移動先とを組み合わせた移動先を目標とする定位としてもよい。

上記各実施形態では、各取り出し処理（Ｓ１００，Ｓ２００，Ｓ３００）により抽出信号及び指定以外の信号をそれぞれ取り出した後、抽出信号及び指定以外の信号に対して各信号処理（Ｓ１１０，Ｓ２１０，Ｓ３１０）を施し、その後、得られた各信号（即ち、処理後の抽出信号及び指定以外の信号）を出力チャンネル毎に合成して、合成後の信号（ＯＵＴ＿Ｌ１［ｆ］、ＯＵＴ＿Ｒ１［ｆ］、ＯＵＴ＿Ｌ２［ｆ］、およびＯＵＴ＿Ｒ２［ｆ］）を得、その後、これらの合成後の信号に対してそれぞれ逆ＦＦＴ処理（Ｓ６１，Ｓ７１，Ｓ８１，Ｓ９１）を施すことにより、出力チャンネル毎の時間領域の信号を得る構成とした。

これに換えて、各取り出し処理（Ｓ１００，Ｓ２００，Ｓ３００）により抽出信号及び指定以外の信号をそれぞれ取り出した後、抽出信号及び指定以外の信号に対して各信号処理（Ｓ１１０などに相当する処理）を施し、その後、得られた各信号（即ち、処理後の抽出信号及び指定以外の信号）に対してそれぞれ逆ＦＦＴ処理（Ｓ６１などに相当する処理）を施すことにより時間領域の信号に変換し、その後、得られた各信号（即ち、時間領域で表された処理後の抽出信号及び指定以外の信号）を出力チャンネル毎に合成することにより、出力チャンネル毎の時間領域の信号を得る構成としてもよい。かかる場合もまた、上述した実施形態と同様に、周波数軸上での信号処理が可能である。

あるいは、各取り出し処理（Ｓ１００，Ｓ２００，Ｓ３００）により抽出信号及び指定以外の信号をそれぞれ取り出した後、抽出信号及び指定以外の信号に対してそれぞれ逆ＦＦＴ処理（Ｓ６１などに相当する処理）を施すことにより時間領域の信号に変換し、その後、得られた各信号（即ち、時間領域で表された抽出信号及び指定以外の信号）に対して各信号処理（Ｓ１１０などに相当する処理）を施し、その後、得られた各信号（即ち、時間領域で表された処理後の抽出信号及び指定以外の信号）を出力チャンネル毎に合成することにより、出力チャンネル毎の時間領域の信号を得る構成としてもよい。

上記第１及び第２実施形態では、左右チャンネル信号から抽出信号を抽出するための条件の１つとして、最大レベルＭＬ［ｆ］を用いる構成としたが、最大レベルＭＬ［ｆ］の代わりに、複数のチャンネル信号における各周波数帯域のレベルの和や平均などを抽出条件として用いる構成としてもよい。

上記各実施形態では、抽出信号を取り出すための取り出し処理を、２つ（第１取り出し処理（Ｓ１００）、第２取り出し処理（Ｓ２００））としたが、３つ以上の取り出し処理を設ける構成としてもよい。即ち、抽出条件（例えば、周波数、定位および最大レベルが一組となった条件）を２つでなく、３つ以上とする構成としてもよい。また、抽出信号を取り出すための取り出し処理を３つ以上とした場合に、その数に応じて信号処理を増やす構成としてもよい。

上記各実施形態では、指定以外を取り出す処理（Ｓ３００）を設け、左右チャンネル信号やモノラル信号などの入力楽音信号における抽出信号以外の信号を取り出す構成としたが、指定以外を取り出す処理（Ｓ３００）を設けない構成としてもよい。即ち、入力楽音信号における抽出信号以外の信号は取り出さない構成としてもよい。指定以外を取り出す処理（Ｓ３００）を設けない場合には、指定以外信号処理（Ｓ３１０）も設けないようにすればよい。

上記各実施形態では、左右１組の出力端子を、２組（即ち、ＯＵＴ１＿Ｌ端子とＯＵＴ１＿Ｒ端子との組、及び、ＯＵＴ２＿Ｌ端子とＯＵＴ２＿Ｒ端子との組）としたが、出力端子の組は、１組であってもよいし、３組以上であってもよい。例えば、５．１チャンネルなどであってもよい。出力端子の組が１組である場合には、各信号処理において各チャンネル信号の分配を行わず、図７（ａ）及び（ｂ）のグラフにおける０．２５〜０．７５の範囲を０．０〜１．０に（つまり、２倍に）引き伸ばしたグラフを用いて、Ｓ１１１，Ｓ２１１，Ｓ３１１の計算を行うようにすればよい。

上記各実施形態の各信号処理（Ｓ１１０，Ｓ２１０，Ｓ３１０）では、抽出した楽音（抽出信号）の定位の変更と、ピッチ変更、レベル変更、及びリバーブ付加から構成される加工処理を行うものとしたが、抽出した楽音に対して行う信号処理は常時同じ処理でなくてもよい。即ち、抽出条件毎に信号処理の実行内容を適宜取捨選択し、抽出条件毎に信号処理の実行内容が異なるように構成してもよい。また、信号処理の内容として、定位の変更と、ピッチ変更、レベル変更、及びリバーブ付加に加えて、その他の公知の信号処理を行ってもよい。

上記各実施形態では、係数ｌｌ，ｌｒ，ｒｌ，ｒｒ，ｌｌ´，ｌｒ´，ｒｌ´，ｒｒ´が、図７（ａ）及び（ｂ）に示すように、横軸に対して直線的に変化するものとしたが、増加又は減少する部分については、直線的増加又は直線的減少でなく、曲線（例えば、サインカーブ）的な増加又は減少としてもよい。

上記各実施形態では、窓関数としてハニング窓を用いたが、ハミング窓やブラックマン窓を用いてもよい。

上記第２及び第３実施形態では、音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）が、周波数ｆに依存して拡大具合又は縮小具合が異なる関数、即ち、周波数ｆに応じて音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）の値が変化する関数としたが、周波数ｆの変化に依存することなく音像拡大関数ＹＬ（ｆ）及び音像拡大関数ＹＲ（ｆ）の値が一定である関数であってもよい。つまり、ＢｔｍＬ＝ＴｏｐＬ、かつ、ＢｔｍＲ＝ＴｏｐＲであれば、音像拡大ＹＬ（ｆ）及びＹＲ（ｆ）は、拡大又は縮小具合が周波数ｆに依存しない関数となるので、そのような関数を用いてもよい。

また、上記第２実施形態では、音像拡大関数をＹＬ（ｆ）及びＹＲ（ｆ）、即ち、周波数ｆの関数としたが、基準定位（上記実施形態では、取り出し領域の定位の中心）からの抽出信号の定位の差分（即ち、抽出信号の、ｐａｎＣからの離れ具合）に応じて、拡大具合（又は縮小具合）が決まる関数、例えば、中心に近い程、拡大具合が大きくなる関数としてもよい。かかる場合には、図８に示す図の横軸（周波数ｆ）を、基準定位であるｐａｎＣからの抽出信号の定位の差分とすることにより、上記第２実施形態で行った計算と同様に計算できる。また、周波数ｆ及び基準定位（ｐａｎＣ）からの抽出信号の定位の差分とを組み合わせ、周波数ｆと基準定位（ｐａｎＣ）からの抽出信号の定位の差分とに応じて拡大具合（又は縮小具合）を決める関数を用いてもよい。

なお、上記第２及び第３実施形態では、音像拡大関数をＹＬ（ｆ）及びＹＲ（ｆ）、即ち、周波数ｆの関数としたが、処理対象の抽出信号が時間領域の信号である場合には、周波数ｆの関数に換えて、時間ｔに依存する音像拡大関数を用いればよい。

また、上記第３実施形態では、モノラルの入力楽音信号に対し、一旦、予め規定された連続する周波数範囲毎に交互に分配する準備処理を行った後に、音像拡大縮小処理を行うことについて説明したが、例えば、左右２チャンネルの楽音信号を単に足し合わせる等によってモノラルの楽音信号を合成し、合成したモノラルの楽音信号に対し、第３実施形態と同様の準備処理を行い、その後に音像拡大縮小処理を行ってもよい。

また、上記第３実施形態では、第１の取り出し領域Ｏ１及び第２の取り出し領域Ｏ２の定位範囲を等しいものとしたが、取り出し領域毎に定位範囲が異なっていてもよい。また、取り出し領域における左方向の境界（ｐａｎＬ）と右方向の境界（ｐａｎＲ）とが中央（ｐａｎＣ）に対して非対称となるよう設定してもよい。

また、上記第４及び第５実施形態では、ＵＩ装置を制御する制御部をエフェクタ１内に設ける構成としたが、エフェクタ１とは別体のコンピュータ（パーソナルコンピュータなど）に設ける構成としてもよい。かかる場合には、制御部としてのコンピュータをエフェクタ１に接続すると共に、該コンピュータに表示装置１２１及び入力装置１２２を接続する。あるいは、表示装置１２１に対応する表示画面と入力装置１２２に対応する入力部とを有するコンピュータをＵＩ装置とし、エフェクタ１に接続してもよい。

また、上記第４及び第５実施形態では、表示装置１２１及び入力装置１２２を、エフェクタ１とは別体としたが、表示画面及び入力部を有するエフェクタであってもよい。かかる場合には、表示装置１２１に表示させた内容をエフェクタ内の表示画面に表示させ、入力装置１２２から受け付けた入力情報をエフェクタの入力部から受け付けるようにすればよい。

また、上記第４実施形態では、取り出し領域Ｏ１や取り出し領域Ｏ４を移動させた場合に、レベル分布Ｓ１，Ｓ４の表示を、移動先の抽出信号のレベル分布Ｓ１´，Ｓ４´の表示に切り換えることを例示したが（図１４（ｂ）参照）、移動元の領域（即ち、取り出し領域Ｏ１，Ｏ４）内に表示されるレベル分布Ｓ１，Ｓ４を残しつつ、移動先の抽出信号のレベル分布Ｓ１´，Ｓ４´を表示するように構成してもよい。同様に、取り出し領域Ｏ１や取り出し領域Ｏ４を拡大又は縮小させた場合に、レベル分布Ｓ１，Ｓ４の表示を、写像先の抽出信号のレベル分布Ｓ１´，Ｓ４´の表示に切り換えることを例示したが（図１４（ｃ）参照）、写像元のレベル分布Ｓ１，Ｓ４を残しつつ、写像先の抽出信号のレベル分布Ｓ１´，Ｓ４´を表示するように構成してもよい。

かかる場合には、移動元／写像元のレベル分布の表示と、移動先／写像先のレベル分布の表示とを、例えば、互いの表示色を同じ色相とする等によって関連付けをすることが好ましい。その際、移動元／写像元のレベル分布の表示と、移動先／写像先のレベル分布とを、色の濃淡やハッチングの有無等によって互いに区別可能にすることが好ましい。例えば、レベル分布Ｓ１及びレベル分布Ｓ１´の表示色を同じ色相とする一方で、レベル分布Ｓ１´の表示色をレベル分布Ｓ１の表示色より濃くすることにより、レベル分布Ｓ１とレベル分布Ｓ１´とに関連を持たせつつ、移動元又は写像元のレベル分布であるか、移動先又は写像先のレベル分布であるかを区別可能にすることが好ましい。

また、上記第４実施形態では、確率分布としての正規分布を用いてレベルを展開するように構成したが、ｔ分布やガウス分布などの各種確率分布や、円錐型や釣鐘型などの任意の分布を用いてレベルの展開を行ってもよい。

また、上記第４実施形態では、入力楽音信号における各周波数ｆのレベル分布を合算して算出される（即ち、（１）式により算出される）レベル分布を、定位−周波数平面上に表示する構成としたが、各周波数ｆのレベル分布を表示する構成としてもよい。

また、上記第４実施形態では、レベル分布に応じた表示を行い、上記第５実施形態では、レベルに応じて大きさの異なる図形を表示する構成としたが、レベルに応じてレベルの違いを識別可能にする表示はこれらの表示に限らず、任意の表示方法を適用できる。例えば、各周波数ｆの信号のうち、同程度のレベルを結び等高線のような表示を行ってもよい。

また、上記第４及び第５実施形態では、定位軸及び周波数軸からなる二次元平面を表示画面に表示することにより入力楽音信号のレベルを表示する構成としたが、定位軸と周波数軸とレベル軸とからなる三次元座標系を表示画面に表示する構成としてもよい。かかる場合、入力楽音信号のレベル分布又はレベルが、三次元座標系における例えば高さ方向（ｚ軸方向）として表現することができる。

また、上記第４及び第５実施形態では、取り出し領域による信号の抽出や、取り出し領域の移動による抽出信号の移動や、取り出し領域の拡大又は縮小による抽出信号の写像を行った場合に、処理後の信号のレベル分布やレベルに応じた図形を表示させる構成とした。これに換えて、各領域（取り出し領域、移動先の領域、拡大又は縮小された領域）の境界線のみを表示し、処理後の信号のレベル分布やレベルに応じた図形の表示を省略してもよい。

なお、取り出し領域の移動を行った場合には、移動前の領域（即ち、元の取り出し領域）の境界線と移動後の領域の境界線とを同時に表示してもよく、同様に、取り出し領域の拡大又は縮小を行った場合に、拡大又は縮小前の領域（即ち、元の取り出し領域）の境界線と拡大又は縮小後の領域の境界線とを同時に表示してもよい。この場合、元の取り出し領域の境界線と移動後／拡大又は縮小後の領域の境界線とを互いに区別可能に表示することが好ましい。

１ エフェクタ（ユーザインターフェイス装置の一部、楽音信号処理手段）
１２１ 表示装置（ユーザインターフェイス装置の一部、表示画面）
１２２ 入力装置（ユーザインターフェイス装置の一部、指示入力手段）
Ｓ４０１ 第１、第２、第３、第４情報取得手段
Ｓ４０２ 第１、第２、第３、第４表示位置算出手段
Ｓ４０３ 第１、第２、第３、第４レベル分布算出手段
Ｓ４０４，Ｓ４０５ 第１、第２、第３、第４表示制御手段
Ｓ４１１：Ｙｅｓ 抽出領域設定受付手段
Ｓ４１２ 第１、第２、第３設定供給手段
Ｓ４１３：Ｙｅｓ 拡大縮小設定受付手段、領域移動設定受付手段
Ｓ４２１，Ｓ４０５ 第１、第２、第３、第４表示制御手段

Claims (10)

1. １又は複数チャンネルから構成される入力楽音信号に対し所定の信号処理を実施可能な楽音信号処理手段から供給される情報を表示し得る表示画面と、その表示画面の表示内容に対して指示を入力可能な指示入力手段とを備えたユーザインターフェイス装置であって、
   前記楽音信号処理手段に処理対象として入力された入力楽音信号について、複数の周波数帯域に分割された該入力楽音信号から算出された、予め定められた基準定位に対する信号の出力方向を示す定位情報とレベルとを、前記分割された周波数帯域毎に取得する第１情報取得手段と、
   その第１情報取得手段により取得した定位情報に基づき、信号の出力方向を示す軸である定位軸と周波数を示す軸である周波数軸とから構成される定位−周波数平面を前記表示画面内の所定領域に表示する場合に、該表示画面上における、前記取得した定位情報に対応する周波数帯域の入力楽音信号の出力方向の表示位置を、該周波数帯域毎に算出する第１表示位置算出手段と、
   その第１表示位置算出手段により前記周波数帯域毎に算出された表示位置の各々と、前記第１情報取得手段により取得したレベルであって前記各表示位置に対応する周波数帯域のレベルとに基づいて、前記周波数帯域毎に、前記各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を、全ての周波数帯域について合算して第２のレベル分布を算出する第１レベル分布算出手段と、
   その第１レベル分布算出手段により算出された第２のレベル分布におけるレベルを、前記定位−周波数平面に対する高さとし、前記高さ方向から見た前記第２のレベル分布を前記表示画面に表示させると共に、該高さを区別可能な表示態様で表示させる第１表示制御手段とを備えていることを特徴とするユーザインターフェイス装置。
2. 前記第１表示制御手段は、前記高さに応じて色、濃度、又は明るさの少なくとも１つを変化させて該高さを区別可能に表示することを特徴とする請求項１記載のユーザインターフェイス装置。
3. 前記各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開する場合の裾野の拡がり具合又は山の尖り具合を規定する変数を設定する分布形状設定手段を備えていることを特徴とする請求項１又は２に記載のユーザインターフェイス装置。
4. 前記第１表示制御手段によって前記第２のレベル分布が表示された表示画面に対し、前記定位−周波数平面上における定位軸方向の定位範囲と前記周波数軸方向の周波数範囲とに基づいて規定される抽出領域の設定を少なくとも１の抽出領域について前記入力手段から受け付ける抽出領域設定受付手段と、
   その抽出領域設定受付手段により受け付けた各抽出領域の設定を前記楽音信号処理手段へ供給する第１設定供給手段と、
   その第１設定供給手段により供給された前記抽出領域の各々に収まる前記入力楽音信号が前記楽音信号処理手段により抽出信号として抽出された場合に、その抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第２情報取得手段と、
   その第２情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を、前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第２表示位置算出手段と、
   その第２表示位置算出手段により前記周波数帯域毎に算出された表示位置の各々と、前記各表示位置に対応する周波数帯域のレベルとに基づいて、前記周波数帯域毎に、前記各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を、全ての周波数帯域について合算して第２のレベル分布を算出する第２レベル分布算出手段と、
   前記表示画面の表示内容を、前記第１表示制御手段によって表示された表示内容から、前記第２レベル分布算出手段により算出された第２のレベル分布におけるレベルを前記定位−周波数平面に対する高さとし、前記高さ方向から見た前記第２のレベル分布を前記表示画面に表示すると共に、該高さを区別可能な表示態様で表示する表示内容に切り換える第２表示制御手段とを備えていることを特徴とする請求項１から３のいずれかに記載のユーザインターフェイス装置。
5. 前記第２表示制御手段は、前記抽出領域受付手段により複数の抽出領域の設定を受け付けた場合に、前記抽出領域に対する第２のレベル分布を、前記抽出領域毎に区別可能に表示すると共に、前記抽出領域の各々において前記定位−周波数平面に対する高さを区別可能に表示することを特徴とする請求項４記載の情報入出力装置。
6. 前記第２表示制御手段によって前記第２のレベル分布が表示された表示画面に対し、前記抽出領域設定受付手段により設定を受け付けた抽出領域を拡大又は縮小させる設定を、前記入力手段から受け付ける拡大縮小設定受付手段と、
   その拡大縮小設定受付手段により受け付けた設定を前記楽音信号処理手段へ供給する第２設定供給手段と、
   その第２設定供給手段により供給された設定に基づき、前記楽音信号処理手段により、設定対象の抽出領域から抽出された抽出信号の出力方向が設定後の領域に移動された場合に、該移動後の抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第３情報取得手段と、
   その第３情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第３表示位置算出手段と、
   その第３表示位置算出手段により前記周波数帯域毎に算出された表示位置の各々と、前記各表示位置に対応する周波数帯域のレベルとに基づいて、前記周波数帯域毎に、前記各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を、全ての周波数帯域について合算して第２のレベル分布を算出する第３レベル分布算出手段と、
   前記表示画面の表示内容を、前記第２表示制御手段によって表示された表示内容から、前記第３レベル分布算出手段により算出された第２のレベル分布におけるレベルを前記定位−周波数平面に対する高さとし、前記高さ方向から見た前記第２のレベル分布を前記表示画面に表示すると共に、該高さを区別可能な表示態様で表示する内容を少なくとも含む表示内容に切り換える第３表示制御手段とを備えていることを特徴とする請求項４又は５に記載のユーザインターフェイス装置。
7. 前記第２表示制御手段によって前記第２のレベル分布が表示された表示画面に対し、前記抽出領域設定受付手段により設定を受け付けた抽出領域を前記定位−周波数座標平面上で移動させる設定を、前記入力手段から受け付ける領域移動設定受付手段と、
   その領域移動設定受付手段により受け付けた設定を前記楽音信号処理手段へ供給する第３設定供給手段と、
   その第３設定供給手段により供給された設定に基づき、前記楽音信号処理手段により、設定対象の抽出領域から抽出された抽出信号の出力方向及び／又はピッチが変更された場合に、該変更後の抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第４情報取得手段と、
   その第４情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第４表示位置算出手段と、
   その第４表示位置算出手段により前記周波数帯域毎に算出された表示位置の各々と、前記各表示位置に対応する周波数帯域のレベルとに基づいて、前記周波数帯域毎に、前記各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を、全ての周波数帯域について合算して第２のレベル分布を算出する第４レベル分布算出手段と、
   前記表示画面の表示内容を、前記第２表示制御手段によって表示された表示内容から、前記第４レベル分布算出手段により算出された第２のレベル分布におけるレベルを前記定位−周波数平面に対する高さとし、前記高さ方向から見た前記第２のレベル分布を前記表示画面に表示すると共に、該高さを区別可能な表示態様で表示する内容を少なくとも含む表示内容に切り換える第４表示制御手段とを備えていることを特徴とする請求項４から６のいずれかに記載のユーザインターフェイス装置。
8. １又は複数チャンネルから構成される入力楽音信号に対し所定の信号処理を実施可能な楽音信号処理手段から供給される情報を表示し得る表示画面と、その表示画面の表示内容に対して指示を入力可能な指示入力手段とを備えたユーザインターフェイス装置であって、
   前記楽音信号処理手段に処理対象として入力された入力楽音信号について、複数の周波数帯域に分割された該入力楽音信号から算出された、予め定められた基準定位に対する信号の出力方向を示す定位情報とレベルとを、前記分割された周波数帯域毎に取得する第１情報取得手段と、
   その第１情報取得手段により取得した定位情報に基づき、信号の出力方向を示す軸である定位軸と周波数を示す軸である周波数軸とから構成される定位−周波数平面を前記表示画面内の所定領域に表示する場合に、該表示画面上における、前記取得した定位情報に対応する周波数帯域の入力楽音信号の出力方向の表示位置を、該周波数帯域毎に算出する第１表示位置算出手段と、
   前記定位−周波数平面における前記第１表示位置算出手段により前記周波数帯域毎に算出された各表示位置に、所定の図形を、前記第１情報取得手段により取得したレベルであって前記各表示位置に対応する周波数帯域のレベルに応じた表示態様で表示させる第１表示制御手段と、
   その第１表示制御手段によって前記所定の図形が表示された表示画面に対し、前記定位−周波数平面上における定位軸方向の定位範囲と前記周波数軸方向の周波数範囲とに基づいて規定される抽出領域の設定を少なくとも１の抽出領域について前記入力手段から受け付ける抽出領域設定受付手段と、
   その抽出領域設定受付手段により受け付けた各抽出領域の設定を前記楽音信号処理手段へ供給する設定供給手段と、
   その設定供給手段により供給された前記抽出領域の各々に収まる前記入力楽音信号が前記楽音信号処理手段により抽出信号として抽出された場合に、その抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第２情報取得手段と、
   その第２情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第２表示位置算出手段と、
   前記第１表示制御手段によって前記表示画面に表示された図形のうち、前記第２表示位置算出手段により前記周波数帯域毎に算出された各表示位置の図形の表示態様を、該算出された表示位置を包含する前記抽出領域に応じた表示態様に変更する第２表示制御手段とを備えていることを特徴とするユーザインターフェイス装置。
9. 前記第２表示制御手段による表示の変更が行われた表示画面に対し、前記抽出領域設定受付手段により設定を受け付けた抽出領域を拡大又は縮小させる設定を受け付ける拡大縮小設定受付手段と、
   その拡大縮小設定受付手段により受け付けた設定を前記楽音信号処理手段へ供給する第２設定供給手段と、
   その第２設定供給手段により供給された設定に基づき、前記楽音信号処理手段により、設定対象の抽出領域から抽出された抽出信号の出力方向が設定後の領域に移動された場合に、該移動後の抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第３情報取得手段と、
   その第３情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第３表示位置算出手段と、
   前記第２表示制御手段によって表示態様が変更された図形に対応する抽出信号のうち、前記第３表示位置算出手段により表示位置が算出された抽出信号に対応する図形を、該第３表示位置算出手段により算出された表示位置に移動させる第３表示制御手段とを備えていることを特徴とする請求項８記載のユーザインターフェイス装置。
10. 前記第２表示制御手段による表示の変更が行われた表示画面に対し、前記抽出領域設定受付手段により設定を受け付けた抽出領域を、前記定位−周波数座標平面上で移動させる設定を受け付ける領域移動設定受付手段と、
    その領域移動設定受付手段により受け付けた設定を前記楽音信号処理手段へ供給する第３設定供給手段と、
    その第３設定供給手段により供給された設定に基づき、前記楽音信号処理手段により、設定対象の抽出領域から抽出された抽出信号の出力方向及び／又はピッチが変更された場合に、該変更後の抽出信号に対する定位情報を、前記分割された周波数帯域毎に取得する第４情報取得手段と、
    その第４情報取得手段により取得した定位情報に基づき、該取得した定位情報に対応する周波数帯域の抽出信号の出力方向を前記表示画面上の前記定位−周波数平面に表示するときの表示位置を、該周波数帯域毎に算出する第４表示位置算出手段と、
    前記第２表示制御手段によって表示態様が変更された図形に対応する抽出信号のうち、前記第４表示位置算出手段により表示位置が算出された抽出信号に対応する図形を、該第４表示位置算出手段により算出された表示位置に移動させる第４表示制御手段とを備えていることを特徴とする請求項８又は９に記載のユーザインターフェイス装置。
    
    

Images