以下、添付図面を参照して、この発明の一実施形態について詳細に説明する。
図1は、この発明に係る音処理装置の構成例を説明する概念的ブロック図である。図1の音処理装置1は、それぞれ、入力する音信号を信号処理する複数のチャンネル(以下、「ch」と略記)120と、前記複数のチャンネル2による処理後の音信号を混合するバス130と、ch120毎に、バス130で混合される前の音信号に含まれる周波数帯域を示す周波数情報を取得する周波数情報取得手段2と、ch120毎に、バス130で混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段3と、取得した周波数情報及び定位情報に基づいて音信号の周波数及び定位の分布を示す表示物をディスプレイ(図2の符号18)に表示する表示制御手段4であって、複数のchのそれぞれに対応する複数の表示物を1つの表示画面内に表示する表示制御手段4を備える。第1取得部2、第2取得部3及び表示制御手段4の動作は、プロセッサ(後述のCPU11)がメモリ(12)に記憶されたプログラムを実行することにより実現される。
図1の音処理装置1は、例えば、オーディオミキサ等の音信号を扱う音響機器に適用され得る。以下の一実施形態は、音処理装置1をオーディオミキサ10に適用した例について説明する。オーディオミキサ10は、専らデジタル信号処理により音信号を処理するデジタルミキサ(以下単に「ミキサ」とも言う)とする。
図2は、ミキサ10は、CPU(Central Processing Unit)11、メモリ12、表示器インタフェース(以下、インタフェースを「I/F」と記す)13、操作子I/F14、信号処理装置15、及び、波形I/F16を備え、これらが通信バス17によって接続されている。また、表示I/F13にはディスプレイ18が、また、操作子I/F14には操作子19がそれぞれ接続されている。
CPU11は、ミキサ10の動作を統括制御する制御手段であり、メモリ12に記憶された各種プログラムを実行することにより、表示I/F13を介したディスプレイ18の表示の制御、操作子I/F14を介した検出された操作子19の操作に応じた処理、信号処理装置15における信号処理の制御等を行う。CPU11が行う、ディスプレイ18の表示の制御は、後述図7の周波数‐定位分布を表示する処理を含む。
メモリ12は、フラッシュメモリ及びRAM(Random Access Memory)を含み、CPU11が実行する制御プログラム等を不揮発的に記憶したり、信号処理装置15における信号処理に反映させるパラメータの値を記憶したり、CPU11のワークメモリとして使用したりする。
表示I/F13は、ディスプレイ18を通信バス17に接続して、CPU11からの指示に従ってその表示内容を制御するためのインタフェースである。ディスプレイ18は、液晶ディスプレイ(LCD)、有機EL、発光ダイオード等であり、CPU11からの指示に従って、各種画面やパラメータ値やレベル等を表示する。図1の表示部4は、表示器I/F13及びディスプレイ18を含む。
操作子I/F14は、操作子19を通信バス17に接続してCPU11からの指示に従ってその操作内容を検出するためのインタフェースである。操作子19は、ミキサの操作パネル上に配置された複数の操作子および関連するインタフェース回路等である。操作子19には、チャンネルストリップ毎のフェーダ操作子、ロータリーエンコーダ及びキーを含む。
信号処理装置15は、例えばDSP(Digital Signal Processor)や、CPU11およびメモリ12に記憶されたソフトウェアにより仮想的に実現された信号処理装置で構成される。信号処理装置15は、信号処理用のプログラムを実行することにより、波形I/F16から供給される音信号に対し、信号処理のパラメータの値に従った信号処理を施す。この信号処理は、メモリ12に記憶されたパラメータの値に基づいて制御される。
波形I/F16は、ADC(Analog to Digital Converter、アナログ-デジタル変換器)回路及びDAC(Digital to Analog Converter、デジタル-アナログ変換器)回路を含み、複数の入力ジャックを介して外部の入力機器(不図示)から入力するアナログ音信号をそれぞれデジタル音信号に変換して信号処理装置15に供給する機能、及び、信号処理装置15から複数チャンネルのデジタル音信号を受け取り、それぞれアナログ音信号に変換して、該音信号と対応付けられた出力ジャックから外部の出力機器(不図示)へ出力する機能を備える。
図3、図4、図5及び図6は、信号処理装置15で実行される信号処理の構成を示す。図3は信号処理の全体構成を示す。図3に示す通り、この信号処理は、入力パッチ110、1番目からN番目までのN(Nは整数)の入力ch120a、120b・・・120nと、M(Mは整数)のバス130a、130b・・・130mと、Mのバス130a、130b・・・130mのそれぞれに対応するMの出力ch140a、140b・・・140mと、1のキューバス150と、該キューバス150に対応するキューch160と、出力パッチ170からなる。図1のch120には、Nの入力ch120a、120b・・・120nの他、Mの出力ch140a、140b・・・140m及びキューch160も含まれる。また、図1のバス130には、Mのバス130a、130b・・・130mの他、及びキューバス150も含まれる。明細書において、例えば入力ch120a、120b・・・120nのように複数備わる要素については、符号にアルファベットを添えて個々の要素を区別しているが、個々の要素を区別する必要の無い場合は、例えば「入力ch120」という具合に、符号に添えたアルファベットを省略する。
入力パッチ110は、1番目からN番目までの入力ch120のそれぞれに、波形入出力部16に設けた入力ジャック111のいずれかをパッチ(結線)し、パッチされた入力ジャック111から受け取った音信号を、該パッチした入力ch120に供給する。
図4は、1つの入力ch120の構成例を示す。入力ch120において、そのパッチされた入力ジャックから受け取った音信号に対して、アッテネータ(Att)121、ハイパスフィルタ(HPF)122、イコライザ(EQ)123、ダイナミクス124、フェーダ125、オン/オフスイッチ(オン/オフ)126及びパン(Pan)127の各要素が、それぞれ対応するパラメータの値に従って、信号処理を順次施す。具体的には、ATT121は音信号の入力レベルを調節する。HPF122は設定値を超える周波数帯域を逓減する。EQ123は音信号の周波数特性を変化させる。ダイナミクス124は、設定値を超えた音信号を圧縮する処理(コンプレッサ)や設定値より音量の大きい音信号のみを通す処理(ゲート)などを含む。フェーダ125は音信号の音量を調節する。オン/オフスイッチ126は、入力ch120からバス130への音信号の出力をオンまたはオフする。パン127は、2chステレオの左右ch間の音量差により音信号の定位を決定する。定位は、周知の通り、例えば2chステレオ等の多ch再生環境における音像(聴取位置における聴覚上の音源)の位置を表す。入力ch120は、要素121〜127により信号処理された音信号を、1番目からM番目までのバス130に送出する。
また、各入力ch120のキュースイッチ128は、キューオンの場合、3箇所の取り出し位置P1〜P3のいずれかにつながる接点を選択し、これにより、選択した取り出し位置P1、P2又はP3から取り出した音信号が試聴用の音信号としてキューバス150に送出される。キューオフの場合、キュースイッチ128は、取り出し位置P1〜P3のいずれかとも接続されない接点を選択し、これにより、その入力ch120の音信号はキューバス150に送出されない。ユーザは、入力ch120毎にキューオン/オフを設定し、所望の1又は複数の入力ch120の音信号を、試聴用音信号としてキューバス150に供給できる。
1番目からM番目までの各バス130では、複数の入力ch120から供給された複数の音信号が混合される。混合後の混合音信号は、対応する出力ch140に供給される。1番目からM番目までの各出力ch140では、図5に示す通り、対応するバスから供給された混合音信号に対し、EQ143、ダイナミクス144、フェーダ145およびオン/オフスイッチ146の各要素が、対応するパラメータの値に従って、処理を順次施す。各出力ch140は、要素143〜146により信号処理された音信号を、出力パッチ170に供給する。
キューバス150では、キューオンされている1以上の入力ch120から供給された試聴用の音信号が混合される。混合後の試聴用音信号は、キューch160に供給される。キューch160では、キューバス150から供給される試聴用音信号に対して、ATT161、EQ163、ダイナミクス164、フェーダ165及びオン/オフスイッチ166の各要素が、対応するパラメータの値に従って、処理を順次施す。キューch160は、要素161〜166により信号処理された試聴用音信号を出力パッチ170に供給する。
出力パッチ170は、各出力ch140及びキューch160を、波形入出力部16に設けた出力ジャック171にパッチし、各出力ch140及びキューch160の音信号を、パッチされた出力ジャック171に供給する。パッチ先の出力ジャック171には、メイン出力のための出力ジャックと、モニタ出力のための出力ジャックがある。メイン出力のための出力ジャックには、メインスピーカやウェッジスピーカ等が接続される。モニタ出力のための出力ジャックには、モニタ用スピーカやヘッドフォン等が接続される。一例として、何れの入力ch120もキューオフの場合、各出力ch140がメイン出力のための出力ジャック及びモニタ出力のための出力ジャックの両方にパッチされ、何れかの入力ch120がキューオンの場合、出力ch140がメイン出力のための出力ジャックにパッチされ、キューch160がモニタ出力のための出力ジャックにパッチされる。
上記構成からなるミキサ10は、各入力ジャック111に接続された複数の音源(例えば楽器)の音信号を、入力ch120毎に信号処理した後、バス130で例えば2chステレオ構成の混合音信号に混合し、その混合音信号を出力ch140で特性制御及びレベル調節した後にメイン出力のための出力ジャックやモニタ出力のための出力ジャックから出力したり、或いは、キューオンされた入力ch120の音信号をキューバス150で試聴用音信号に混合して、混合した試聴音信号をキューch160で処理した後にモニタ出力のための出力ジャックから出力したりできる。
ミキサ10のユーザは、操作パネル上の操作子19を用いてミキシング操作(たとえば、音信号の経路の設定や、入力ch120の要素121〜127、出力ch140の要素143〜146或いはキューch160の要素161〜166の各種パラメータの値の調節)を行うことにより、ミキサ10の動作を制御する。前述の通り、ミキシング操作において重要な作業の1つに、音信号の音量レベル、周波数特性或いは定位などを入力ch120毎に調節して、バス130又はキューバス150で混合された混合音信号(メイン出力又はモニタ出力から出力される混合音信号)に含まれる個々の音源の音信号のバランスを整え、「音の粒立ち」を作ることがある。前記の通り、「音の粒立ち」とは、聴取者の感じる個々の音の分離感であり、また、「音の分離感」とは、聴取者が音信号を聴いたときに、その音信号に含まれる複数の音源を、どの程度、個別に(分離して)聴取できるかを感覚的に示す表現である。この実施例に係るミキサ10は、各入力ch120の音信号の周波数及び定位の分布(周波数‐定位分布)を示す表示物をディスプレイ18に表示すること(図1の表示制御手段4の動作)により、混合音信号に含まれる各入力ch120の音信号の分離感を視覚化することで、ユーザのミキシング操作(特に音の分離感を作る操作)を視覚的に補助できるようにしたことに特徴がある。
図7は、周波数‐定位分布を示す表示物を表示する表示処理全体の流れのフローチャートを示す。例えば、ユーザが、操作子19を用いて周波数‐定位分布の表示指示を行うと、CPU11は、その表示指示に応じて、ディスプレイ18に周波数‐定位分布表示画面(後述の図10の符号20)を立ち上げて、且つ、図8の処理を開始する。図7のフローチャートは、1つの(i番目の)入力ch120に対する処理を示している。CPU11は、図7の処理を、1番目からN番目の各入力ch120に対して繰り返す。
ステップS1において、CPU11は、i番目の入力ch120から周波数情報を取得する。周波数情報は、その入力ch120の音信号の周波数帯域を示す。前記ステップS1の周波数情報取得処理の一例を、図8のフローチャートに示す。ステップS10において、CPU11は、i番目の入力ch120から音信号に対して高速フーリエ変換(FFT、Fast Fourier Transform)による周波数分析処理を行うことにより、i番目の入力ch120の周波数情報を取得する。周知の通り、FFT処理により、処理対象の音信号を構成する周波数成分毎の強さ(振幅レベル)を調べることができる。CPU11は、音信号のFFT処理の結果を、その入力ch120の音信号の周波数帯域を示す周波数情報として利用する。FFT処理対象の音信号は、例えばフェーダ125の直後(ポストフェーダ)から取得する音信号である。CPU11がメモリ12に記憶されたプログラムに基づき前記ステップS1の処理を実行することが、図1の周波数情報取得手段2の動作に相当する。
ステップS2において、CPU11は、i番目の入力ch120から定位情報を取得する。定位情報は、その入力ch120の音信号の定位を示す。前記ステップS2の定位情報取得処理の一例を図9のフローチャートに示す。CPU11は、ステップS11において、i番目の入力ch120の定位情報として、i番目の入力ch120のパン127の値をメモリ12から取得する。CPU11がメモリ12に記憶されたプログラムに基づき前記ステップS2の処理を実行することが、図1の定位情報取得手段3の動作に相当する。
そして、ステップS3において、CPU11は、前記ステップS1で取得した周波数情報と前記ステップS2で取得した定位情報に基づいて、i番目の入力ch120の周波数‐定位分布を示す表示物を、ディスプレイ18上の周波数‐定位分布表示画面(後述の図10)に表示する。
CPU11は、図7のステップS1〜S3の処理を、1番目からN番目の各入力ch120に対して行うことにより、1番目からN番目の各入力ch120の周波数‐定位分布を示す表示物を、1つの表示画面(後述の図10)上に表示する。CPU11がメモリ12に記憶されたプログラムに基づき前記ステップS3の処理を実行し、ディスプレイ13に表示物を表示することが、図1の表示制御手段4の動作に相当する。
一例として、CPU11は、所定の表示更新周期毎に、1番目からN番目の各入力ch120に対する図7の処理を繰り返して、各入力ch120の表示物の表示を更新する。これにより、時々刻々入力される音信号に対応する表示物を略リアルタイムに描画することできる。一例として、表示更新に際して、直前の表示物を消去する処理の応答速度を遅くしてもよい。これにより、表示物を略リアルタイムに描画する実施形態において、表示物の残存時間を長くすることができるので、表示物の視認性が向上する。例えば、或る入力ch120の音信号が途絶えた後にも、その入力ch120の表示物が残存する。また、例えば、或る入力ch120の音信号の周波数特定や定位の変化後にも、その変化前の入力ch120の表示物が残存する。このように、表示物の消去を遅らせることは、ミキシング操作の補助にとって役に立つ。また、一例として、表示物の消去は、表示物を徐々に薄れさせる(フェードアウトする)ように行ってよい。
図10は、周波数‐定位分布の表示物の表示例を示す。図10において、周波数‐定位分布表示画面20は、周波数を示す縦軸(周波数軸)と定位を示す横軸(定位軸)との2軸の座標平面からなり、1つの周波数‐定位分布表示画面20内に、それぞれ入力ch120の周波数‐定位分布を示す複数の表示物21a、21b、21c、21d、21e及び21fが表示される。なお、定位の「左」、「右」の表現は、2chステレオにおける左ch及び右chに対応する。表示物21a〜21fは、それぞれ1つの入力ch120に対応している。図10の例では、各表示物21a〜21fは楕円形上を有し、その位置と大きさ(面積)により、対応する入力ch120の音信号の周波数‐定位分布を表す。具体的には、各表示物21a〜21fの周波数軸上の位置及び周波数軸方向の長さ(高さ)が対応する入力ch120の音信号の周波数の分布を表し、各表示物21a〜21fの定位軸上の位置が対応する入力ch120の音信号の定位の分布を表す。また、各表示物21a〜21fの幅は音信号の定位の広がり感を表す。例えば、表示物21bは、対応する入力ch120bの音信号の周波数帯域が200Hzから1KHzであり、定位が略中央であることを示す。また、表示物21bの幅は、例えば表示物21aの幅より広くなっており、このことは、表示物21bに対応する入力ch120bの音信号は、表示物21aに対応する入力ch120aの音信号よりも定位の広がり感が広いことを表す。なお、この明細書では、表示物21の定位軸方向(左右方向)の長さを「幅」といい、表示物21の周波数軸方向(上下方向)の長さを「高さ」という。
図11は、前記ステップS3の表示処理の一例であって、前記図10の表示を行うための処理のフローチャートを示す。ステップS12において、CPU11は、前記ステップS1で取得した周波数情報及び前記ステップS2で取得した定位情報に基づいて、i番目の入力ch120の分布情報Giを取得する。分布情報Giは、周波数‐定位分布表示画面20におけるi番目の入力ch120の表示物21の位置、すなわち、i番目の入力ch120の音信号の周波数の分布と定位の分布を表す。
一例として、該ステップS12において、CPU11は、所定値以下の振幅レベルしか持たない周波数成分については、その振幅レベルをゼロとみなして、分布情報Giから除外する。これにより、分布情報Giの示す周波数の分布は、当該i番目の入力ch120の音信号に特徴的な周波数帯域のみを示すものとなり、従って、対応する表示物21の高さは当該i番目の入力ch120の音信号に特徴的な周波数帯域のみの分布を示す。
ステップS13において、CPU11は、i番目の入力ch120の音信号の音量に応じて、その入力ch120の表示物の幅を決定する。CPU11は、例えば前記ステップS10で得た周波数情報に含まれる振幅レベルに基づき音量を取得できる。別の例として、CPU11は、入力ch120毎の音量レベル表示用の音量計測値(フェーダ125直後の音量計測値)を取得し、取得した音量計測値に基づき表示物の幅を決定してよい。また、一例として、CPU11は、該ステップS13において、音量が大きいほど、表示物の幅を広くする。音量に応じて幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。
ステップS14において、CPU11は、i番目の入力ch120の音域の高低に応じて、その入力ch120の表示物の幅を調節する。一例として、CPU11は、該ステップS14において、低域ほど表示物の幅を広げる。一例として、CPU11は、周波数情報に基づき、入力ch120の音域が、例えば低域、中域、高域の三つの音域の何れに該当するかを判定し、判定した音域に応じて、前記ステップS13で決定した表示物の幅を調節する。音域に応じて表示物の幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。
ステップS15において、CPU11は、i番目の入力ch120の表示物の色を決定する。一例として、各入力ch120の色は、CPU11が他のチャンネルの表示物の色と重複しない色を自動的に決定する。別の例として、CPU11は、ユーザが入力ch120毎に指定した色(ch色)に基づいて、その入力ch120の表示物の色を決定してよい。デジタルミキサは、一般的に、ch毎のch情報として、ch名やch色をユーザが指定できる。CPU11は、ch情報に指定されたch色を、表示物の色の決定に利用できる。なお、このステップS15は、ch毎に表示色を異ならせることに限らず、例えばch毎に表示柄を異ならせることなど、ch毎に表示態様を異ならせることであればよい。
ステップS16において、CPU11は、前記ステップS12で取得した分布情報Giに基づく位置に、前記ステップS13及びS14で決定及び調節した幅を持つ表示物を、前記ステップS15で決定した色で表示する。
一例として、前記ステップS16において、CPU11は、更に、i番目の入力ch120の表示物に他の表示物と重なる部分があるか否かを調べ、重なる部分がある場合、その部分を、その表示物の他の部分とは異なる表示形態で強調表示する。強調表示は、例えば、その表示物の他の部分とは異なる色で表示することである。強調表示の色は、例えば赤や黒など他と比べて目立つ色であるとよい。一例として、重なる部分の強調表示は、何れの表示物においても共通の表示態様(重なり合いを示す共通の強調色)で行う。強調色は、たとえば、各表示物21の何れの通常の表示色(重なり合っていない部分の色)とも異なる色とする。例えば、図10では、表示物21aと21bの重なる部分、及び、表示物21bと21cの重なる部分が、それぞれ、共通の強調色(図10では黒色塗りつぶし)で強調表示される。別の例として、強調表示は、表示色を濃くすること、あるいは、点滅表示などであってよい。
また、一例として、前記ステップS16において、CPU11は、更に、i番目の入力ch120のバス130への出力のオン・オフを調べて、該出力がオフされている場合、その入力ch120の表示物21を、同出力がオンされている場合とは異なる表示態様で表示する。例えば、その入力ch120のオンオフスイッチ126がオフの場合や、その入力ch120のミュートオンオフスイッチ(不図示)がオフの場合、或いは、その入力ch120のフェーダ125の値が下限値(−∞dB)の場合等に、その入力ch120からバス130への出力がオフになる。また、その入力ch120以外の入力ch120のソロオンオフスイッチ(不図示)がオン(つまり、その入力120以外の入力ch120がソロ)の場合も、その入力ch120からバス130への出力がオフになる。例えば、図10では、表示物21eと表示物21fとはグレーアウト表示されている。別の例として、CPU11は、前記ステップS16において、i番目の入力ch120のキューバス150への出力のオン・オフを調べて、該出力がオフされている場合、その入力ch120の表示物21を、グレーアウト表示してよい。なお、出力オフの場合の表示態様は、グレーアウトに限らず、表示色を薄めること、網掛け表示すること、或いは、非表示にすることなどであってもよい。
前記図11の処理により、1つの周波数‐定位分布表示画面20内に、入力ch120の音信号の周波数‐定位分布を示す表示物21a〜21fを表示できる。各表示物21a〜21fがそれぞれ1つの入力ch120の音信号を表すので、例えば、入力ch120毎の音源(例えば個々の楽器の音)を別個の表示物21a〜21fで表現できる。各表示物21a〜21fの表示色を入力ch120毎に異ならせているので、ユーザは、入力ch120毎の周波数―定位分布を明確に識別できる。また、複数の入力ch120の間で周波数帯域及び定位が部分的に又は全体的に重なり合っていても、個々の入力ch120の音信号を明確に区別した表示を行うことができる。
これら表示物21a〜21fの位置や相互関係は、入力ch120の音信号を混合した後の混合音信号(つまりメイン出力又はモニタ出力から出力される混合音信号)における個々の音源(各入力ch120の音信号)の分離感を視覚的に表す。この表示により、ユーザのミキシング操作を視覚的に補助することができる。この視覚的補助により、誰にでも簡単に、適切なミキシング操作、特に音の分離感(“音の粒立ち”)を作る操作を行うことが可能となる。
例えば、ユーザは、表示物21a〜21fを見ることで、どの入力ch120の音信号のどの帯域が他の入力ch120の音信号に干渉しているかを把握したり、その重なりを解消すべきか否かを判断したり、或いは、どのパラメータをどの程度調節するかを判断したりできる。複数の入力ch120での干渉が周波数‐定位平面上で視覚的に表現されているので、ユーザは、その表示内容に基づいて、適切なEQ123やパン127の調整を行うことができる。
また、複数の表示物21で重なり合っている部分、すなわち、複数の入力ch120の間で干渉している周波数帯域を、その表示物21の他の部分とは異なる色で強調表示することで、ユーザのミキシング操作を効果的に補助できる。
また、i番目の入力ch120のバス130への出力がオフされている場合、その入力ch120の表示物21を、同出力がオンされている場合とは異なる表示態様(例えばグレーアウト)で表示することにより、入力ch120毎のchオン/オフ、キューオン・オフ、ミュート、ソロ等と連動した表示物の表示を行うことができる。
また、時々刻々入力される音信号に対応する入力ch120毎の表示物21a〜21fを略リアルタイムに描画しているので、ユーザは、表示物21a〜21fの時間的変化から、例えば、或る入力ch120の音信号の無駄な余韻や残響が、他の入力ch120の音信号を邪魔していないかどうかを視認できる。そして、無駄な余韻や残響等の問題がある場合、ユーザは、表示内容に基づいて、問題となる入力ch120のダイナミクス124(ゲートやコンプレッサ)を適切に調節して、上記の無駄な余韻や残響を除去できる。
また、音量に応じて表示物21の幅を調節すること、具体的には音量が大きいほど表示物21の幅を広げること(前記ステップS13)により、音量に応じた定位の広がり感の違いを視覚化できる。また、音域に応じた表示物21の幅の調節すること、具体的には低域ほど表示物21の幅を広げること(前記ステップS14)により、音域に応じた指向性(定位の広がり感)の違いを視覚化することができる。
表示物21の形状は、前記図10のような楕円に限らない。図12は、周波数‐定位分布を示す表示物の別の例を示す。図12の例では、棒状の表示物31a、31b、31c、31d、31e及び31fが、音信号の周波数‐定位分布を示す。各表示物31a〜31fは、それぞれ、周波数軸上の位置(と当該表示物31の高さ)により、対応する入力ch120の音信号の周波数分布を示す。図13は、前記図11表示処理の変形例であって、前記図12のような棒状の表示物21の表示を行うための処理を示すフローチャートを示す。なお、前記図11と共通の事項の説明は省略する。この場合、CPU11は、表示物31の幅の調節(前記ステップS13及びS14)を行わず、単に、ステップS22で取得した分布情報Giの位置に、ステップS23で決定した色の表示物31を表示する(ステップS24)だけでよい。各表示物31a〜31fは全て共通の所定幅で表示される。
図14は、周波数‐定位分布を示す表示物の更に別の例であって、表示物41a〜41fの幅を、周波数成分毎の音量に応じて調節する例を示す。この場合、各表示物41a〜41fは、単純な楕円形ではなく、周波数成分に対応する部分毎に、音量に応じた幅を持つ。図15は、前記図11表示処理の変形例であって、前記図14のように周波数成分毎の音量に応じて幅を調整した表示物41a〜41fの表示を行うための処理を示すフローチャートを示す。なお、前記図11と共通の事項の説明は省略する。ステップS33において、CPU11は、i番目の入力ch120の音信号を構成する周波数成分毎に幅を決定する。一例として、CPU11は、前記ステップS10のFFT処理により得た周波数情報に基づいて、周波数成分毎の振幅レベルを定位軸方向(左右方向)に展開することで、周波数成分毎の定位の分布は、その振幅レベルに応じた広がり(定位軸方向の幅)を持つ値になる。この周波数成分毎の定位の分布が、周波数成分毎の振幅レベルに応じた表示物41の幅を示す。定位の分布は、振幅レベルが大きいほど、左右方向に広く展開される。従って、振幅レベルが大きい周波数成分に対応する部分ほど、表示物41の幅が広がる。周波数成分毎の振幅レベルを定位軸方向に展開する処理は、例えば階級関数を用いて行う。ステップS34において、CPU11は、例えばフィルタ処理により、前記ステップS33で取得した周波数成分毎の表示物41の幅を音域に応じて調節する。音域に応じた調節は、例えば適宜のテーブル又はフィルタ処理により、周波数に応じて幅を拡張又は減縮するように(具体的には低域ほど表示物41の幅を広げるように)行う。そして、ステップS36において、CPU11は、i番目の入力ch120の表示物を表示する。この場合、各表示物41a、41b、41c、41d、41e及び41fは、図14に示すように、対応する入力ch120の音信号に含まれる各周波数成分に対応する部分が、それぞれの振幅レベルに応じた幅を持つ。従って、各表示物41a〜41fは、それぞれ対応する音信号に含まれる周波数成分毎の強さに応じた形状で表示される。従って、表示物41a〜41fの形状により、対応する入力ch120の音信号に含まれる各周波数成分の強さに応じた定位の広がり感が視覚化される。
別の実施形態において、前記ステップS10のFFT処理は、ダイナミクス124の直後(フェーダ125の前)から取り出した音信号(プリフェーダ信号)に対して行うようにしてもよい。分離感を作るための音作りにおいては、各入力ch120のEQ123とダイナミクス124が主要な役割を担う。従って、ダイナミクス124直後の音信号に対してFFT処理を行い、該ダイナミクス124直後の周波数情報を取得するのが、分離感の視覚化という点で好適である。この場合、CPU11は、表示物の幅を調節するために、例えば前記ステップS3の表示処理でi番目の入力ch120のフェーダ125直後の音量を取得し、取得した音量を表示幅の調節(前記ステップS13等の処理)に利用するとよい。フェーダ125直後の音量を取得する方法としては、例えば、CPU11は、i番目の入力ch120のフェーダ125の値を取得し、該フェーダ125の値と、前記FFT処理の結果により得たダイナミクス124直後の周波数情報とに基づいて、フェーダ125直後の音量を算出できる。或いは、CPU11は、フェーダ125直後の音信号の音量計測値を取得してもよい。
別の実施形態において、前記ステップS2の定位情報取得処理は、更に、パン127以外の定位を決定するパラメータの値を取得することを含んでよい。図16は、該別の実施形態に係る定位情報取得処理のフローチャートを示す。なお、前記図9と共通の事項の説明は省略する。図16において、CPU11は、i番目の入力ch120からパン127のパラメータの値を取得すること(ステップS41)に加えて、該i番目の入力ch120から、パン127以外の定位を決定するパラメータの値を取得する(ステップS42)。パン127以外の定位を決定するパラメータは、例えば、ステレオ2ch間の時間差(遅延量)により定位を決定する遅延パンのパラメータである。なお、遅延パンは、先行して音の聞こえる側に定位が偏って聴こえるという人間の聴覚の特性(Haas効果、ハース効果、先行音効果)を利用したものである。ステップS43において、CPU11は、前記ステップS41で取得したパン127の値と、前記ステップS42で取得した遅延パンの値に基づいて、i番目の入力ch120の定位情報を取得する。この場合、パン127以外の定位を決定するパラメータ(例えば遅延パン)も考慮した定位分布の表示を行うことができる。パン127以外の定位を決定するパラメータには、遅延パンのほか、バランスパラメータや、例えばステレオディレイやリバーブなどのエフェクタを制御用のパラメータに含まれるパンなどがある。
また、変形例として、CPU11は、前記ステップS41で取得したパン127の値、又は、前記ステップS42で取得した遅延パン(パン127以外の定位を決定するパラメータ)の値のどちらか一方を、該定位情報として取得してよい。
別の実施形態において、前記ステップS1の周波数情報を取得する処理は、入力ch120の音信号に対応する楽器種類を判別し、該判別した楽器種類に応じた周波数情報の規定値を取得する処理であってよい。図17は、楽器種類に応じた周波数情報の規定値を取得する処理のフローチャートを示す。ステップS50において、CPU11は、i番目の入力ch120の音信号に対して楽器種類判定処理を行う。楽器種類は、例えば男性ボーカル、女性ボーカル、ピアノ、コーラス、ギター、ベース、ドラムス・・・等である。楽器種類判定処理は、例えば音信号に対する周波数分析処理により楽器種類を判定する処理である。なお、音信号に対する周波数分析処理等の信号処理によって楽器種類を判定する処理は、周知技術を用いて実現できる。処理対象の音信号を取り出す位置は、例えばフェーダ125の直後などであってよい。ステップS51において、CPU11は、例えば適宜のテーブルに基づいて前記ステップS50で判定した楽器種類に対応する周波数情報を取得する。取得する周波数情報は、例えば予め楽器種類に対応して設定された規定値である。この場合、各表示物21a〜21f(31a〜31f、41a〜41f)は、それぞれ対応する入力ch120の実際の音信号の周波数分布ではなく、予め決められた楽器種類毎の周波数分布を示すものとなる。このような、楽器種類に応じた周波数分布を示す表示物21a〜21f(31a〜31f、41a〜41f)であっても、ミキシング操作(特に音の分離感を作る操作)の視覚的な補助としては有効に利用できる。
図18は、楽器種類に応じた周波数情報の規定値を取得する処理の別の一例のフローチャートを示す。ステップS60において、CPU11は、i番目の入力ch120のch名の情報を取得し、該ch名に基づいて楽器種類を判定する。前述の通りデジタルミキサにおいて、ユーザは、ch毎に、ch名やch色等を含むch情報を設定できる。ch名は、一般に、ボーカル1、ボーカル2、リードギター、サイドギター、ピアノ、ベース、ドラムス・・・等、その入力ch120の楽器種類の名称である。従って、ch情報に含まれるch名は楽器種類の判定に利用できる。ステップS61において、前記ステップS50で判定した楽器種類に対応する周波数情報の規定値を取得する。この場合、音信号に対する信号処理を行わずに周波数情報を取得できるので、CPU11への処理負担がより少ない。
別の実施形態においては、更に、メイン出力又はモニタ出力への出力用に2chステレオ音信号に混合された混合音信号の周波数‐定位分布の表示物が、入力ch120毎の表示物21a〜21f(31a〜31f、41a〜41f)に重ねて表示されてもよい。その場合、CPU11は、先ず、前記ステップS1で、更に、メイン出力又はモニタ出力用の出力ch140若しくはキューch160の混合音信号の周波数情報を取得し、それから、前記ステップS2で、更に、該メイン出力又はモニタ出力用の出力ch140若しくはキューch160の混合音信号の定位情報を取得し、そして、前記ステップS3で、更に、該取得した周波数情報と定位情報に基づいて、該メイン出力又はモニタ出力用の出力ch140若しくはキューch160の混合音信号の周波数‐定位分布を示す表示物を、入力ch120毎の表示物21a〜21f(31a〜31f、41a〜41f)に重ねて表示する。図19は、前記図10の周波数‐定位分布表示画面20において、メイン出力又はモニタ出力用の出力ch140若しくはキューch160の混合音信号の周波数‐定位分布を示す表示物50を重ねて表示する例を示す。一例として、混合音信号の表示物50は、各入力ch120の表示物(図10の符号21a〜21f)の背後に表示される。これにより、ユーザは、例えば、各入力ch120の音信号が、混合後の混合音信号の中でどの位置に配置されるかなど、各入力ch120の音信号の位置(周波数軸及び定位軸上の位置)を混合後の混合音信号に対応付けて把握できる。これにより、ミキシング操作(特に音の分離感を作る操作)を効果的に補助できる。なお、混合音信号の定位情報は、例えば、メイン出力又はモニタ出力用の出力ch140若しくはキューch160の混合音信号に対する信号処理(例えば2chステレオの各ch毎の音量差を算出する処理)により取得してよい。
更に別の実施形態において、周波数‐定位分布表示画面20は、周波数方向軸(上下軸)及び定位方向軸(左右軸)に加えて、奥行き軸を持つ3次元座標からなってよい。この場合、CPU11は、前記ステップS3において、さらに、例えばi番目の入力ch120の音量に基づいて、i番目の入力ch120の表示物の奥行きを決定し、該決定した奥行きを持つ表示物を表示する。この場合、各入力ch120の音量を、表示物の奥行きにより表現できる。音量の大小は、周波数‐定位分布に関しては、定位の広がり感に加えて、奥行き感にも影響する。従って、表示物の奥行きで音量を表すことで、定位の広がり感、更には、定位の奥行き感を視覚化することができる。定位の奥行き感の視覚化という点に関する別の例として、CPU11は、前記ステップS3において、さらに、例えばi番目の入力ch120のリバーブ等の空間系エフェクタのパラメータ値に基づいて、i番目の入力ch120の表示物の奥行きを決定し、表示物の奥行きにより、定位の奥行き感を視覚化してもよい。
また、別の実施形態において、前記ステップS13、S14などにおいて音量及び/又は音域に応じた定位の広がり感を視覚化する方法は、音量及び/又は音域に応じて表示物の幅を調節することに限らず、例えば表示物の大きさ(面積)を変えること、表示物の表示色の濃淡を変えることなど、音量及び/又は音域に応じた定位の広がり感の違いを視覚化できさえすれば、どのような方法であってもよい。
なお、別の実施形態において、前記ステップS13、S14など表示物21(31、41)の幅を決定(又は調節)する処理は、表示物21(31、41)の幅を示す値を決定(又は調節)することに限らず、表示物21(31、41)の幅に相当するパラメータ、すなわち分布情報Giに基づく定位の分布を音量や音域に応じて展開(拡張又は減縮)することであってよい。その場合、CPU11は、ステップS16(S24,S36)の表示処理において、前記展開(拡張又は減縮)した定位の分布に応じた幅で表示物21(31、41)を表示する。
また、別の実施形態において、前記図7の処理対象は、1つの入力120に限らず、複数の入力ch120a〜120nのうち一部をグループにまとめた入力chグループであってもよい。この場合、例えば、前記図7の処理では、CPU11は、該入力chグループを構成する各入力120の周波数情報及び定位情報を取得し(前記ステップS1、S2)、該入力chグループを構成する各入力120の表示物を同じ色で表示する(前記ステップS3)。これにより、ユーザは、複数の表示物21a〜21f(31a〜31f、41a〜41f)のうち、同じ色の複数の表示物21(31、41)を、1つの入力chグループに属する各入力ch120に対応する表示物21(31、41)として、識別できる。別の例として、前記図7の処理では、CPU11は、1つの入力chグループに属する各入力ch120の音信号を混合した結果(1つの入力chグループの混合音信号)に対して前記図7の処理を行い、1つの入力chグループに対応して1つの表示物21(31、41)を表示するようにしてもよい。
なお、別の実施形態として、CPU11は、ユーザからの表示指示に応じて、1回だけ1番目からN番目の各入力ch120に対する図7の処理を行うようにしてもよい。つまり、この場合、CPU11は、各入力ch120に入力される音信号の周波数‐定位分布を略リアルタイムで描画することは行わず、或るタイミング(例えばユーザの表示指示時)でのみ、周波数情報及び定位情報を取得し、該取得した周波数情報及び定位情報に基づく表示物21a〜21f(31a〜31f、41a〜41f)の描画を行う。この場合、CPU11は、例えばパラメータの値操作毎に、1番目からN番目の各入力ch120に対する図7の処理を行い、各表示物21a〜21f(31a〜31f、41a〜41f)の表示を更新してよい。一例として、EQ123、ダイナミクス124あるいはパン127など、音信号の分離感に影響の大きい特定のパラメータ値操作があった場合にのみ、CPU11が表示更新を行うようにしてよい。
以上、この発明の一実施形態を説明したが、この発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び、明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。
例えば、音処理装置1は、ミキサ10に限らず、レコーダ、アンプ、プロセッサ等に適用できる。また、音処理装置1は、図1に示す各部2〜6の動作を実行するように構成された専用ハードウェア装置(集積回路等)からなっていてもよい。また、音処理装置1は、図1に示す各部2〜6の動作を行なうためのプログラムを実行する機能を持つプロセッサ装置により構成されてよい。
また、本発明は、パーソナルコンピュータ上で実行される、Cubase(登録商標)、ProTools(登録商標)等のDAW(デジタル・オーディオ・ワークステーション)ソフトウェアアプリケーションや、或いは、ビデオ編集ソフトウェアアプリケーションに適用され得る。
また、この発明は、図1の音処理装置1の動作を行うための表示方法の発明として、構成及び実施されてもよい。また、前記方法を構成する各ステップを、コンピュータに実行させるプログラムの発明として、構成及び実施されてもよい。