JP2013172231A - オーディオミキシング装置 - Google Patents

Abstract

【課題】 ミックス対象となっている各音を視覚的に示すことができ、ユーザが効率よくミキシング作業を行えるようにする。
【解決手段】 解析部２３０（ｊ）（ｊ＝１〜ｍ）の各々は、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の少なくとも一部から複数のオーディオ出力チャネルに振り分けられるオーディオ信号を各々処理対象とし、処理対象からパン、エネルギーの周波数依存性を示すパン−強度−周波数データを各々生成する。統合処理部２４０は、パン軸および周波数軸により構成される２次元座標平面において、各解析部から各々得られるパン−強度−周波数データが示す音のパンおよび周波数に対応した位置に、当該パン−強度−周波数データが示す音を示すプロットを、各解析部間で異なった表示態様で表示させたパン−強度−周波数画面をディスプレイに表示させる。
【選択図】図２

Description

この発明は、複数のオーディオ信号をミキシングするオーディオミキシング装置に関する。

オーディオミキシング装置により複数チャネルのオーディオ信号のミキシングを行う場合、どのようなミキシングが行われているか、具体的にはどのような音（例えばどのような音像位置、周波数等を持った音）がミックス対象になっているのかを確認することが必要になることが多い。このような確認を行うための手段として、従来、ミックス結果である音をスピーカを介して聴きとる方法が一般的に用いられてきた。しかしながら、どのような音がミックス対象になっているのかをミックス結果である音を聴くだけにより確認するのは容易ではない。そこで、ミックス結果を視覚情報として提供する技術が各種提供されている。

例えば、第１の技術として、周波数軸とエネルギー（レベル）軸からなる２次元平面に周波数に対する音のエネルギーをチャネル（楽器）毎に棒グラフにて表示させる技術がある（非特許文献１参照）。また、第２の技術として、ステレオ形式オーディオ信号の例えばＬチャネルのオーディオ信号により定まるＸ座標値とＲチャネルのオーディオ信号により定まるＹ座標値を持った点の軌跡を２次元平面に表示させる技術（例えばリサージュメータなど）がある。また、第３の技術として、特許文献１に開示されている技術がある。この特許文献１に開示されている技術は、完成された楽曲（合成済みの楽曲）において、周波数軸とパン軸からなるパン−周波数平面に音の成分の周波数とパンを示すプロットを表示し、その際にプロットの表示態様を音の成分のエネルギー（レベル）に合わせて変える技術である。

特開２０１１−１５８６７４号公報

ＭｕｌｔｉＩｎｓｐｅｃｔｏｒ Ｍｕｌｔｉｔｒａｃｋ Ｒｅａｌ−Ｔｉｍｅ Ｓｐｅｃｔｒｕｍ Ａｎａｌｙｚｅｒ、［平成２４年２月１６日検索］、インターネット<URL: http://www.vertexdsp.com/products_multiinspector.html>

しかし、第１の技術では、ミキシング結果を構成している各チャネル（楽器）間の音量の配分を周波数毎に視覚的に認識することができるが、各周波数におけるパンを視覚的に認識することができないという問題がある。また、第２の技術では、ミキシング結果の楽曲全体としてのパンの左右の広がりを視覚的に認識することができるが、ミキシング結果を構成しているチャネル（楽器）毎のパンの左右の広がりを視覚的に認識することができないという問題がある。また、第１の技術および第２の技術では、パンと周波数の両方を同時に認識することができないが、第３の技術では、パンと周波数の両方を同時に視覚的に認識することができる。しかし、第３の技術においても、ミキシング結果の楽曲全体としての周波数やパンの広がりおよび密集を視覚的に認識することができるにとどまり、チャネル（楽器）毎にその楽器の音像位置がどのように配置されているか区別して視覚的に認識することができないという問題がある。

この発明は以上のような事情に鑑みてなされたものであり、ミックス対象となっている各音を視覚的に示すことができ、ユーザが効率よくミキシング作業を行うことができる技術を提供することを目的としている。

この発明は、ミックス対象である複数種類のオーディオ信号の少なくとも一部の種類のオーディオ信号を各々処理対象とし、各処理対象毎に、オーディオ信号の周波数解析を各々行い、処理対象であるオーディオ信号の音像位置の周波数依存性を示す音像位置−周波数データを各々生成する解析手段と、音像位置軸および周波数軸により構成される２次元座標平面において、前記各処理対象毎に各々得られる音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを、各処理対象間で異なった表示態様で表示させた音像位置−周波数画面を表示手段に表示させる統合手段とを具備することを特徴とするオーディオミキシング装置を提供する。

好ましい態様において、この発明によるオーディオミキシング装置は、複数のオーディオ入力チャネルを介して各々入力される各オーディオ信号を各々処理対象とし、処理対象であるオーディオ信号に基づいて複数のオーディオ出力チャネルに振り分ける各オーディオ信号を各々生成する複数の入力処理手段と、前記複数の入力処理手段の少なくとも一部の入力処理手段から前記複数のオーディオ出力チャネルに振り分けられるオーディオ信号を各々処理対象とし、処理対象であるオーディオ信号の周波数解析を各々行い、処理対象であるオーディオ信号の音像位置の周波数依存性を示す音像位置−周波数データを各々生成する解析手段と、音像位置軸および周波数軸により構成される２次元座標平面において、前記解析手段の各処理対象毎に各々得られる音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを、各処理対象間で異なった表示態様で表示させた音像位置−周波数画面を表示手段に表示させる統合手段とを具備する。

また、好ましい態様において、前記複数の入力処理手段は、処理対象であるオーディオ信号に少なくとも音像定位処理を含む効果付与処理を施して前記複数のオーディオ出力チャネルに振り分ける各オーディオ信号を各々生成する効果付与手段を含む。

他の好ましい態様において、前記複数のオーディオ出力チャネルは、聴取位置の前方の左右の位置に設けられた２個の放音手段にオーディオ信号を各々供給する２つのオーディオ出力チャネルからなり、前記解析手段は、前記音像位置−周波数データとして、前記２個の放音手段の並び方向に平行な軸を音像位置軸とし、処理対象となったオーディオ信号を構成する音の各成分の前記音像位置軸上での音像位置を示す音像位置−周波数データを各々生成し、前記統合手段は、前記音像位置軸と前記周波数の指標となる周波数軸とを直交させた音像位置−周波数平面において、前記各処理対象毎に各々得られた音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを各処理対象間で互いに異なる表示態様で表示させた音像位置−周波数画面を前記表示手段に表示させる。

他の好ましい態様において、前記複数のオーディオ出力チャネルは、聴取位置を取り囲むように設けられた複数の放音手段にオーディオ信号を各々供給する複数のオーディオ出力チャネルからなり、前記解析手段は、水平面内において、処理対象となったオーディオ信号の音像位置の前記聴取位置から見た方角の周波数依存性を示す音像位置−周波数データを各々生成し、前記統合手段は、前記聴取位置に対応した原点から見た方角が音像位置を表し、前記原点から前記方角に延びた半径の長さが周波数を表す極座標平面である音像位置−周波数平面において、前記解析手段の各処理対象毎に各々得られた音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを各処理対象間で互いに異なる表示態様で表示させた音像位置−周波数画面を前記表示手段に表示させる。

この発明によれば、解析手段は、ミックス対象の少なくとも一部の種類のオーディオ信号である各処理対象毎にオーディオ信号の周波数解析を各々行い、処理対象であるオーディオ信号の音像位置の周波数依存性を示す音像位置−周波数データを各々生成する。統合手段は、音像位置軸および周波数軸により構成される２次元座標平面において、各処理対象毎に各々得られる音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを、各処理対象間で異なった表示態様で表示させた音像位置−周波数画面を表示手段に表示させる。このため、ユーザは、ミックス対象となっている各音の音像位置および周波数を視覚により区別して確認することができ、ミキシング作業を効率よく行うことができる。

上述した特許文献１では、完成された楽曲全体としてのパンと周波数をパン−周波数平面に表示させるため、楽器毎のパンと周波数の分布を明確に区別して視認することが困難である。しかし、本発明では、ミックス対象の少なくとも一部の種類のオーディオ信号である各処理対象毎に得られた音像位置−周波数データを各処理対象間で互いに視覚により区別することができるように表示手段に表示させるため、ミックス対象となっている各音の音像位置および周波数を視覚により区別して確認することができる。この点において本発明は特許文献１と比べ有利な効果を有する。

この発明の一実施形態であるオーディオミキシング装置の構成を示すブロック図である。 同実施形態におけるオーディオ処理部１４０および制御部１１０の処理内容をハードウェア的に示したブロック図である。 同実施形態におけるパン−強度−周波数画面生成部２２０の処理内容をハードウェア的に示したブロック図である。 同実施形態において表示されるパン−強度−周波数画面の例を模式的に示した図である。 この発明の他の実施形態であるマルチチャネル形式に対応したオーディオミキシング装置におけるパン−強度−周波数画面の例を示した図である。

以下、図面を参照し、この発明の実施形態について説明する。
図１は、この発明の一実施形態であるオーディオミキシング装置の構成を示すブロック図である。図１に示すように、オーディオミキシング装置は、制御部１１０と、ユーザインターフェース部１２０と、記憶部１３０と、オーディオ処理部１４０と、オーディオ入力部１５０と、オーディオ出力部１６０とを有する。

ユーザインターフェース部１２０は、ユーザからの操作情報を受け取って制御部１１０に供給する各種の操作手段と、制御部１１０から供給される表示情報を表示する表示手段としてのディスプレイとを有する。操作手段は、キーボードの他、２次元平面内の座標指定操作が可能なマウス等のポインティングデバイスを含む。なお、ユーザインターフェース部１２０は、操作手段と表示手段とを一体化したタッチパネルであっても良い。

制御部１１０は、記憶部１３０に格納された制御プログラムを実行することにより、オーディオ処理部１４０に対して各種の制御を行う。オーディオ入力部１５０には、各々ミキシング対象であるオーディオ信号の伝送チャネルである複数のオーディオ入力チャネルが設けられている。この複数のオーディオ入力チャネルは、物理的に別個の複数の入力端子または伝送路であってもよく、物理的に共通の伝送路を利用する複数の時分割制御チャネルであってもよい。また、オーディオ出力部１６０には、各々放音手段であるＬ、Ｒ２チャネルのスピーカが接続されるようになっており、これらの各スピーカにオーディオ信号を伝送するための２つのオーディオ出力チャネルが設けられている。オーディオ処理部１４０は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ；デジタル信号処理装置）により構成されており、オーディオ入力部１５０の各オーディオ入力チャネルを介して供給されるオーディオ信号に対してパンの付与（オーディオ信号を所望の分配比でＬ、Ｒのオーディオ出力チャネルの振り分ける簡単な音像定位処理）などの効果付与処理を施した後にミキシングを行い、ミキシング結果である信号をオーディオ出力部１６０の２つのオーディオ出力チャネルに振り分ける。

そして、制御部１１０は、記憶部１３０にインストールされたアプリケーションプログラムに従って、オーディオ処理部１４０にミキシングを行わせるための制御を行いつつ、オーディオ処理部１４０においてミックス対象となっている各オーディオ信号についてパン−強度−周波数画面（音像位置−強度−周波数画面）を導出するための一連の処理を実行する。ここで、パン−強度−周波数画面とは、音像位置の指標となるパン軸と周波数の指標となる周波数軸とを互いに直交させた２次元の直交座標平面であるパン−周波数平面に対し、ミックス対象であるオーディオ信号が示す音の音像位置、強度（この例ではエネルギー）、周波数を示すプロットを表示した画面である。このパン−強度−周波数画面は制御部１１０によりユーザインターフェース部１２０のディスプレイに表示される。

図２は本実施形態におけるオーディオ処理部１４０および制御部１１０の処理内容をハードウェア的に示したブロック図である。図２において、ｎ個のチャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）と、ステレオライン２６０は、各々ＤＳＰであるオーディオ処理部１４０により実行される処理である。また、ｍ組のバスライン２５０（ｊ）（ｊ＝１〜ｍ）と、パン−強度−周波数画面生成部２２０は、制御部１１０により実行される処理である。

チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）には、オーディオ入力部１５０のオーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を各々介して複数のオーディオ信号が入力される。なお、このオーディオ入力チャネルは、ミキシング装置においてはチャネルと呼ばれ、ＭＩＤＩシーケンサにおいてはトラックとも呼ばれるものと同意である。

本実施形態において、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）は、複数のオーディオ入力チャネルを介して各々入力される各オーディオ信号を各々処理対象とし、処理対象であるオーディオ信号に基づいて複数のオーディオ出力チャネルに振り分ける各オーディオ信号を各々生成する複数の入力処理手段としての役割を果たす。さらに詳述すると、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の各々では、オーディオ入力チャネル２００（ｋ）を介して入力されるオーディオ信号に対して、少なくともパンの付与を含む各種の効果付与処理、例えばイコライザ、コンプレッサなどの各処理を施すことにより、オーディオ出力部１６０の２つのオーディオ出力チャネルの振り分けるＬチャネルオーディオ信号２１０Ｌ（ｋ）およびＲチャネルオーディオ信号２１０Ｒ（ｋ）を各々生成する。各チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）に実行させる効果付与処理の内容は、ユーザインターフェース部１２０の操作手段の操作により任意に設定することができる。

ステレオライン２６０は、Ｌライン２６０ＬとＲライン２６０Ｒにより構成されている。Ｌライン２６０Ｌでは、各チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力されるＬチャネルオーディオ信号２１０Ｌ（ｋ）（ｋ＝１〜ｎ）を全て加算する処理が行わる。また、Ｒライン２６０Ｒでは、各チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力されるＲチャネルオーディオ信号２１０Ｒ（ｋ）（ｋ＝１〜ｎ）を全て加算する処理が行われる。このようにＬライン２６０ＬにおいてミックスされたＬチャネルのオーディオ信号と、Ｒライン２６０ＲにおいてミックスされたＲチャネルのオーディオ信号は、オーディオ出力部１６０の２つのオーディオ出力チャネルへ出力される。これにより、ミキシング結果である音がＬ、Ｒ２チャネルのスピーカを介して出力される。

図２に示す例において、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の各々は、１チャネルのオーディオ信号（モノラル信号）にパンを付与してＬライン２６０ＬとＲライン２６０Ｒに振り分ける２チャネルのオーディオ信号を生成する。しかし、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の中の一部のチャネルストリップ部が、例えば２本のマイクにより楽器音を収音することにより得られた２チャネルのオーディオ信号を受け取り、音像定位処理を施すことなく、この２チャネルのオーディオ信号をＬライン２６０ＬとＲライン２６０Ｒに供給してもよい。また、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の一部のチャネルストリップ部が、３チャネル以上のオーディオ信号を受け取り、この３チャネル以上のオーディオ信号からＬライン２６０ＬとＲライン２６０Ｒに振り分けるオーディオ信号を生成してもよい。

制御部１１０は、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）が出力するＬチャネルオーディオ信号２１０Ｌ（ｋ）（ｋ＝１〜ｎ）およびＲチャネルオーディオ信号２１０Ｒ（ｋ）（ｋ＝１〜ｎ）を傍受して、上述したパン−強度−周波数画面を生成するための各処理を実行する。

図２において、ｍ組のバスライン２５０（ｊ）（ｊ＝１〜ｍ）の各バスライン２５０（ｊ）は、Ｌライン２５０Ｌ（ｊ）およびＲライン２５０Ｒ（ｊ）により構成されている。ここで、１つのバスライン２５０（ｊ）のＬライン２５０Ｌ（ｊ）は、１または複数のチャネルストリップ部２１０（ｋ）が出力するＬチャネルのオーディオ信号２１０Ｌ（ｋ）を加算する機能を備えており、Ｒライン２５０（ｊ）は、同じ１または複数のチャネルストリップ部２１０（ｋ）が出力するＲチャネルのオーディオ信号２１０Ｒ（ｋ）を加算する機能を備えている。

各バスライン２５０（ｊ）において、いずれのチャネルストリップ部２１０（ｋ）のオーディオ信号を加算対象とするかはユーザインターフェース部１２０の操作手段の操作により指定することができる。図示の例において、バスライン２５０（１）では、チャネルストリップ部２１０（１）の出力するオーディオ信号のみが加算対象になっている。従って、バスライン２５０（１）のＬライン２５０Ｌ（１）はチャネルストリップ部２１０（１）が出力するＬチャネルオーディオ信号をそのまま出力し、Ｒライン２５０Ｒ（１）は同チャネルストリップ部２１０（１）が出力するＲチャネルオーディオ信号をそのまま出力する。また、バスライン２５０（２）では、チャネルストリップ部２１０（２）および２１０（３）の出力するオーディオ信号が加算対象になっている。従って、バスライン２５０（２）のＬライン２５０Ｌ（２）はチャネルストリップ部２１０（２）および２１０（３）が各々出力するＬチャネルオーディオ信号を加算して出力し、Ｒライン２５０Ｒ（２）は同チャネルストリップ部２１０（２）および２１０（３）が各々出力するＲチャネルオーディオ信号を加算して出力する。

各バスライン２５０（ｊ）（ｊ＝１〜ｍ）の出力信号は、パン−強度−周波数画面生成部２２０およびオーディオ出力部１６０へ供給される。ここで、バスライン２５０（ｊ）（ｊ＝１〜ｍ）からオーディオ出力部１６０へ出力されたオーディオ信号は、オーディオ出力チャネルとは別系統のチャネルを介して音響出力装置（例えばヘッドホン）に供給される。従って、この音響出力装置を利用してバスライン２５０（ｋ）（ｋ＝１〜ｎ）毎のミキシング結果を聴き取り確認することができる。

パン−強度−周波数画面生成部２２０は、バスライン２５０（ｊ）（ｊ＝１〜ｍ）に各々対応した解析部２３０（ｊ）（ｊ＝１〜ｍ）と、統合処理部２４０とを有している。

解析部２３０（ｊ）（ｊ＝１〜ｍ）の各々は、バスライン２５０（ｊ）から出力されるステレオ形式オーディオ信号（Ｌチャネルのオーディオ信号およびＲチャネルのオーディオ信号の組）の周波数解析を行うことによりパン−強度−周波数データを導出する。このパン−強度−周波数データは、ステレオ形式オーディオ信号が示す各音のパンと周波数とエネルギーを対応付けたデータである。ここで、パンは、オーディオ出力部１６０に接続されるＬ、Ｒ２チャネルのスピーカの並び方向に平行なパン軸上における音像位置である。各解析部２３０（ｊ）（ｊ＝１〜ｍ）において導出されたパン−強度−周波数データはそれぞれ統合処理部２４０へ出力される。

統合処理部２４０では、各解析部２３０（ｊ）（ｊ＝１〜ｍ）において得られた各パン−強度−周波数データを用いて、各パン−強度−周波数データが示す各パン−強度−周波数画面をパン軸および周波数軸を揃えて重ね合わせた１つのパン−強度−周波数画面を合成する。その際に、合成されたパン−強度−周波数画面において、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の解析結果を視覚により区別することができるように各解析部２３０（ｊ）（ｊ＝１〜ｍ）間で音を示すプロットの表示態様を変える。統合処理部２４０により合成されたパン−強度−周波数画面を示す画像データはユーザインターフェース部１２０のディスプレイに表示させる。

次に、図１および図２を参照し、本実施形態の動作を説明する。本実施形態によるオーディオミキシング装置を利用したミキシング作業では、オーディオ入力部１５０のオーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を介して各種の音源からのオーディオ信号がオーディオ処理部１４０に入力される。このとき、どの音源からのオーディオ信号をどのオーディオ入力チャネルのオーディオ信号とするかは、ユーザインターフェース部１２０の操作手段の操作等により任意に設定することができる。オーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を経由した各オーディオ信号は、それぞれ、各チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）にて各種の効果付与処理が施される。

例えば、オーディオ入力チャネル２００（１）がボーカル、オーディオ入力チャネル２００（２）がギター、オーディオ入力チャネル２００（３）がベースのオーディオ信号を伝送したとする。この場合、例えばチャネルストリップ部２１０（１）によりボーカル音に含まれるノイズを減少または倍音を強調するなどのイコライザ処理を行うとともにボーカル音を中心に定位させるパン付与処理を行い、チャネル２００（２）がギターをボーカルの右に定位させるパン付与処理を行い、チャネル２００（３）がベースをボーカルの左に定位させるパン付与処理を行うようにしても良い。

少なくともパン付与処理が施されたそれぞれのオーディオ信号は、ステレオ形式オーディオ信号として、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力される。そして、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力されたＬチャネルのオーディオ信号はステレオライン２６０のＬライン２６０Ｌによりミックスされ、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力されたＲチャネルのオーディオ信号はステレオライン２６０のＲライン２６０Ｒによりミックスされ、オーディオ出力部１６０に供給される。この結果、Ｌライン２６０Ｌによりミックスされたオーディオ信号およびＲライン２６０Ｒによりミックスされたオーディオ信号がオーディオ出力部１６０に接続されたＬチャネルおよびＲチャネルの各スピーカから各々出力される。

なお、場合によって、ステレオライン２６０においてミキシングされたステレオ形式オーディオ信号にさらにリバーブ等のエフェクトを施してオーディオ出力部１６０に供給しても良い。

チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）から出力されたステレオ形式オーディオ信号は、いずれかのバスライン２５０（ｊ）（ｊ＝１〜ｍ）にも出力され、そのバスライン２５０（ｊ）（ｊ＝１〜ｍ）を介して解析部２３０（ｊ）（ｊ＝１〜ｍ）に出力される。図２に示す例では、チャネルストリップ部２１０（１）の出力信号はバスライン２５０（１）を介して解析部２３０（１）へ出力され、チャネルストリップ部２１０（２）および２１０（３）の各出力信号の加算結果がバスライン２５０（２）を介して解析部２３０（２）へ出力され、チャネルストリップ部２１０（ｎ）の出力信号はバスライン２５０（ｍ）を介して解析部２３０（ｍ）へ出力される。

次に、パン−強度−周波数画面生成部２２０の処理について説明する。図３は本実施形態におけるパン−強度−周波数画面生成部２２０の処理内容を示すブロック図である。解析部２３０（１）では、バスライン２５０（１）のＬライン２５０Ｌ（１）からのオーディオ信号２３０Ｌ（１）およびＲライン２５０Ｒ（１）からのオーディオ信号２３０Ｒ（１）がそれぞれ入力されると、オーディオ信号２３０Ｌ（１）および２３０Ｒ（１）の各々を所定時間長のブロックに区切り、ブロック単位で、ＦＦＴ（高速フーリエ変換）処理３００（１）、パン導出処理３１０（１）、エネルギー導出処理３２０（１）、パン−強度−周波数データ導出処理３３０（１）を実行する。

まず、ＦＦＴ処理３００（１）では、オーディオ信号２３０Ｌ（１）および２３０Ｒ（１）の各ブロックを時間領域の信号から周波数領域の信号に各々変換する。具体的にはオーディオ周波数帯域に亙る複数の周波数ｂｉｎを設定し、各周波数ｂｉｎ毎にオーディオ信号２３０Ｌ（１）および２３０Ｒ（１）の各ブロックについて振幅スペクトルを求める。次に、パン導出処理３１０（１）では、各周波数ｂｉｎ毎に、Ｌチャネルのオーディオ信号２３０Ｌ（１）のブロックの振幅スペクトルとＲチャネルのオーディオ信号２３０Ｒ（１）のブロックの振幅スペクトルとの振幅比に基づいてステレオ形式オーディオ信号が示す音の左右方向における音像位置を示すパンを求める。

また、エネルギー導出処理３２０（１）では、例えば、各周波数ｂｉｎ毎に、ＦＦＴ処理３００（１）により得られたＬチャネルのオーディオ信号２３０Ｌ（１）のブロックの振幅スペクトルのエネルギーとＲチャネルのオーディオ信号２３０Ｒ（１）のブロックの振幅スペクトルのエネルギーとの単純平均を音のエネルギーとして求める。

次に、パン−強度−周波数データ導出処理３３０（１）では、ＦＦＴ処理３００（１）によりオーディオ信号２３０Ｌ（１）または２３０Ｒ（１）の振幅スペクトルの得られた各周波数ｂｉｎに対して、パン導出処理３１０（１）により得られた当該周波数ｂｉｎに対応したスペクトルのパンと、エネルギー導出処理３２０（１）により得られた当該周波数ｂｉｎに対応したスペクトルのエネルギーとを対応付けたパン−強度−周波数データを生成する。このパン−エネルギー−周波数データにより１ブロック分のステレオ形式オーディオ信号が示す音についてのパン−強度−周波数画面を構成することが可能である。

他の解析部２３０（ｊ）（ｊ＝１〜ｍ）においても、解析部２３０（１）と同様に、バスライン２５０（ｊ）（ｊ＝１〜ｍ）から各々入力されたステレオ形式オーディオ信号に基づいてパン−強度−周波数データが各々生成される。

統合処理部２４０では、パン−強度−周波数画面統合処理３４０が実行される。このパン−強度−周波数画面統合処理３４０では、パン−周波数平面において、解析部２３０（ｊ）（ｊ＝１〜ｍ）から各々得られたパン−強度−周波数データが示す音のスペクトルの音像位置および周波数に対応した位置に、当該パン−強度−周波数データが示す音のスペクトルを示すプロットを、解析部２３０（ｊ）（ｊ＝１〜ｍ）間で互いに異なり、かつ、スペクトルのエネルギーにより異なった表示態様で表示させたパン−強度−周波数画面を合成する。この場合において、パン−周波数平面の周波数軸は等分割スケールであっても良いし、対数スケールであっても良い。

このパン−強度−周波数画面の合成方法に関しては、各種の態様が考えられるが、例えば次のようにしても良い。まず、メモリ内にパン−強度−周波数画面の画像データを格納するための描画エリアを設定する。また、解析部２３０（ｊ）（ｊ＝１〜ｍ）に優先度を予め割り当てておく。そして、優先度の低い解析部２３０（ｊ）から順に各解析部２３０（ｊ）から得られたパン−強度−周波数の各々から背景色が透明なパン−強度−周波数画面を順次生成し、これらのパン−強度−周波数画面を順次、描画エリアにレンダリングする。その際に、優先度の低いパン−強度−周波数画面（低レイヤ）が優先度の高いパン−強度−周波数画面（高レイヤ）越しに透けて見えるように、両レイヤ間の有色の重複領域の表示色を演算する。

このように表示の優先度に応じて表示の順序を切り換える代わりに、表示の優先度に応じてプロットの表示態様を切り換えてもよい。例えば表示の優先度の高いパン−強度−周波数画面になる程、プロットを大きくしたり、プロットを明るくしたり、プロットの濃度を濃くする、といった制御を行ってもよい。あるいは表示の優先度に応じて表示の順序を切り換えるとともに、プロットの表示態様をも切り換えてもよい。

各解析部２３０（ｊ）（ｊ＝１〜ｍ）に割り当てるパン−強度−周波数画面の表示の優先度は固定してもよく、ユーザインターフェース部１２０の操作手段の操作により変更することができるようにしてもよい。前者の場合、ユーザは、オーディオ入力チャネル２００（ｉ）（ｉ＝１〜ｎ）とバスライン２５０（ｊ）（ｊ＝１〜ｍ）との接続関係を切り換えることにより、どの楽器（オーディオ入力チャネル）の音のパン−強度−周波数画面の表示を優先させるかを切り換えることができる。

各解析部２３０（ｊ）（ｊ＝１〜ｍ）に割り当てるパン−強度−周波数画面の表示の優先度を各解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理対象となるステレオ形式オーディオ信号の平均信号レベルに応じて変更するようにしてもよい。すなわち、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理対象となるステレオ形式オーディオ信号の単位時間当たりの平均信号レベルを監視し、平均信号レベルの最も大きいものから得られたパン−強度−周波数画面が最前面となり、平均信号レベルが小さくなるに従って背後に廻るように各解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理結果に基づくパン−強度−周波数画面の表示の優先度を時々刻々と切り換えるのである。この態様によれば、平均信号レベルが大きく、注意を惹く音を表すプロットが最前面に表示される。従って、オーディオミキシング装置のユーザが最も知りたい情報をユーザに確実に提供することができる。

各解析部２３０（ｊ）（ｊ＝１〜ｍ）に割り当てるパン−強度−周波数画面の表示の優先度を切り換える場合、次のような処理を統合処理部２４０に行わせてもよい。例えば優先度が低下したパン−強度−周波数画面が他の優先度の高いパン−強度−周波数画面の背後に廻る結果、そのパン−強度−周波数画面の一部のプロットが消える場合が起こり得る。この場合に、当該プロットを忽然と消失させるのでなく、ゆっくりと明るさや濃度を低くして徐々に消失させるのである。このようにすることで、ミックス対象である各音の変化をユーザが捉えるのを容易にすることができる。

また、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の解析により得られた各パン−強度−周波数画面において、プロットを消失させる際の残像効果の程度を各パン−強度−周波数画面の優先度に依存させてもよい。すなわち、優先度の高い画面ほど、その画面のプロットをゆっくり消失させ、残像効果を高めるのである。この態様によれば、優先度の高いパン−強度−周波数画面ほど、プロットの消失時にそのプロットの残像がより長時間残るので、優先度の高いパン−強度−周波数画面の視認性が高まるという効果が得られる。この場合、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の解析により得られた各パン−強度−周波数画面を表示する際の各画面の前後関係は、各画面の優先度に応じて切り換えてもよく、切り換えることなく固定してもよい。

複数のパン−強度−周波数データの各々からパン−強度−周波数画面を各々生成して重ね合わせるのではなく、複数のパン−強度−周波数データから１つのパン−強度−周波数データを合成し、この合成後のパン−強度−周波数データからパン−強度−周波数画面の画像データを生成しても良い。この場合、表示されたパン−強度−周波数画面において、解析部２３０（ｊ）（ｊ＝１〜ｍ）が生成した各パン−強度−周波数データの内容を区別して視認することができるように、音を示すプロットの表示態様（例えばプロットの形状または色）を各解析部２３０（ｊ）（ｊ＝１〜ｍ）間で異ならせるようにする。

各解析部２３０（ｊ）（ｊ＝１〜ｍ）は、各々の処理対象であるステレオ形式オーディオ信号を時間軸上において分割した各ブロック毎に上述したパン−強度−周波数データを生成する。そして、統合処理部２４０は、各ブロックに対応したパン−強度−周波数データが各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる毎に、それらのパン−強度−周波数データを用いてパン−強度−周波数画面を合成し、ユーザインターフェース部１２０のディスプレイに表示させる。従って、ユーザは、時々刻々と変化するパン−強度−周波数画面を通じて、ミックス対象となっている音の音像位置、エネルギー、周波数がダイナミックに変化する様子を把握するこことができる。

この時々刻々と変化するパン−強度−周波数画面を見やすくするために次のような処理を統合処理部２４０に行わせてもよい。すなわち、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理対象となるブロックが先行ブロックから後続ブロックに切り換わり、先行ブロックのオーディオ信号から得られたパン−強度−周波数画面を後続ブロックのオーディオ信号から得られたパン−強度−周波数画面に切り換えるとき、前者のパン−強度−周波数画面を緩やかにフェードアウトさせる一方、後者のパン−強度−周波数画面を緩やかにフェードインさせるクロスフェードを統合処理部２４０に行わせるのである。

図４は、本実施形態における統合処理部２４０により得られたパン−強度−周波数画面の例を示す図である。図４に示す例では、横軸をパン軸、縦軸を周波数軸とするパン−周波数平面に、各解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理対象となった各ステレオ形式オーディオ信号が示す音のパン、周波数、エネルギーを示すプロットが表示されており、プロットの網掛けにより音のエネルギーが示されている。また、各解析部２３０（ｊ）（ｊ＝１〜ｍ）間でプロットの形状を変えている。

さらに詳述すると、丸形状のプロットは解析部２３０（１）の処理対象となったステレオ形式オーディオ信号の周波数、パンおよびエネルギーを示し、四角形状のプロットは解析部２３０（２）の処理対象となったステレオ形式オーディオ信号（すなわち、オーディオ入力チャネル２００（２）および２００（３）のミックス）の周波数、パンおよびエネルギーを示している。また、プロットの網掛けにおけるクロス網掛けはエネルギー大、一方向斜め網掛けはエネルギー中、網掛け無しはエネルギー小を表している。このように、各解析部２３０（ｊ）（ｊ＝１〜ｍ）毎に音の周波数、パンおよびエネルギーの分布が視覚的に区別された状態でパン−周波数平面上に表示される。

さらに、ミックス対象である音の種類毎のパンとエネルギーの分布をユーザがより直感的に把握することが容易となるように、各解析部２３０（ｊ）（ｊ＝１〜ｍ）毎にプロットの表示色を割り当てても良い。例えば解析部２３０（１）に赤色、解析部２３０（２）に緑色、解析部２３０（３）に黄色が割り当てられている状態において、バスライン２５０（１）、２５０（２）、２５０（３）にボーカル、ドラム、ピアノのステレオ形式オーディオ信号が各々供給されると、パン−周波数平面にはボーカル音を示すプロットが赤色で表示され、ドラム音を示すプロットが緑色で表示され、ピアノ音を示すプロットが黄色で表示される。従って、ミックス対象である各音の周波数、パンおよびエネルギーの分布を容易に区別して視認することができる。

エネルギーの表示方法としては、網掛けによる表示方法の他、例えばプロットの色の濃さ（色が濃いほどエネルギーが大きいなど）または色の明るさ（色が明るいほどエネルギーが大きいなど）によりエネルギーの大きさを示すようにしても良い。または、プロットの大きさによりエネルギーの大きさを示しても良いし、その他種々の表示方法が考えられる。または、プロットを消失させる際に、プロットの表示が消えるまでの時間、プロットの明るさや濃さの減衰の時定数をそのプロットが示す音のエネルギーに応じて変化させてもよい。例えばエネルギーの大きな音を表すプロットほど、消失するまでの時間を長くし、あるいは明るさや濃さの減衰の時定数を大きくして、視認性を高めるという態様が考えられる。これらの態様によれば、パン−周波数平面において音の種類毎のエネルギー分布を視覚的に確認することが容易となる。

さらに、ユーザインターフェース部１２０の操作手段の操作により、各解析部２３０（ｊ）（ｊ＝１〜ｍ）毎に割り当てられたプロットの表示態様を種々変更することができるようにしても良い。例えば、解析部２３０（１）に割り当てられているプロットの表示色を赤色から青色へ変更するなどである。あるいは、ユーザインターフェース部１２０の操作手段の操作により、各解析部２３０（ｊ）（ｊ＝１〜ｍ）間でプロットの表示色を異ならせていたのを、プロット形状を異ならせるように変更する、といった表示態様の変更を行わせるようにしてもよい。この場合において、複数の解析部２３０（ｊ）に割り当てられたプロットの表示色を同じにすることを許容してもよい。

また、ユーザインターフェース部１２０の操作手段の操作により、音のエネルギーによりプロットの色の濃さを異ならせていたのを、プロットの大きさを異ならせるように変更する、といった表示態様の変更を行わせるようにしてもよい。

以上説明したように、本実施形態によれば、解析部２３０（ｊ）（ｊ＝１〜ｍ）毎にパン−強度−周波数データが導出され、これらのパン−強度−周波数データを区別して視認することができるパン−強度−周波数画面が統合処理部２４０によりディスプレイに表示される。従って、オーディオミキシング装置のユーザは視覚によりミックス対象となっている音を確認することができ、ミキシング作業を効率よく行うことができる。

＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。

（１）上記実施形態において、エネルギー導出処理３２０（ｊ）（ｊ＝１〜ｍ）では、ＦＦＴ処理３００（ｊ）（ｊ＝１〜ｍ）により得られたＬチャネルおよびＲチャネルの振幅スペクトルの単純平均をステレオ形式オーディオ信号のエネルギーとして求めた。しかし、パン導出処理３１０（ｊ）（ｊ＝１〜ｍ）により導出された各周波数ｂｉｎにおけるパンを示す情報を用いて、エネルギー導出処理３２０（ｊ）（ｊ＝１〜ｍ）を実行しても良い。例えば、ある周波数ｂｉｎにおいてパンが左側への定位を示していたとすると、Ｌチャネルのオーディオ信号の振幅スペクトルに対する重み係数を大きくし、Ｒチャネルのオーディオ信号の振幅スペクトルに対する重み係数を小さくして、両振幅スペクトルに重み係数を乗算して加算することによりその周波数ｂｉｎにおけるエネルギーを算出しても良い。また、左側に定位していた場合に、Ｌチャネルのオーディオ信号の振幅スペクトルのみをエネルギーとして採用し、右側に定位していた場合に、Ｒチャネルのオーディオ信号の振幅スペクトルのみをエネルギーとして採用するようにしても良い。

（２）上記実施形態において、音のエネルギーが大、中、小と変化するのに応じてプロットの表示態様を変化させる際の変化幅（例えばプロットの大きさ、明るさ等の変化の幅）は、各解析部２３０（ｊ）（ｊ＝１〜ｍ）間で共通にしても良く、異ならせても良い。また、解析部２３０（ｊ）（ｊ＝１〜ｍ）毎に、プロットの表示態様をエネルギーに応じて変化させる際の表示態様の変化幅を操作手段の操作により任意に設定することができるようにしても良い。

（３）上記実施形態では、各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる各パン−強度−周波数データに基づいて１つのパン−強度−周波数画面を合成し、ユーザインターフェース部１２０のディスレイに表示させた。しかし、このように１つのパン−強度−周波数画面を合成するのではなく、各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる各パン−強度−周波数データに基づいて複数のパン−強度−周波数画面を各々生成し、これらを１つのディスプレイ画面を区切った複数のエリアまたは複数のディスプレイに各々表示させるようにしてもよい。この態様によれば、、各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる各パン−強度−周波数データに基づく各パン−強度−周波数画面を各々視認することができるので、特定の解析部の処理対象となっている音のパンとエネルギーと周波数の分布を正確に捉えることができる。

（４）各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる各パン−強度−周波数データに基づいて１つのパン−強度−周波数画面を合成するとともに、各パン−強度−周波数データに基づく複数のパン−強度−周波数画面を生成し、例えばユーザが行う簡単なボタン操作により、前者の１つのパン−強度−周波数画面をディスプレイに表示させるか、後者の複数のパン−強度−周波数画面をディスプレイに表示させるかを切り換えるようにしてもよい。この態様によれば、ミックス対象となっている複数種類の音のパン、エネルギー、周波数の分布の相互関係を捉えたいユーザの要求と、個々の音のパン、エネルギー、周波数の分布を各々単独で正確に捉えたいユーザの要求の両方を満たすことができる。

（５）各解析部２３０（ｊ）（ｊ＝１〜ｍ）から得られる各パン−強度−周波数データに基づく複数のパン−強度−周波数画面を各々生成し、例えばユーザがボタン「１」および「５」をＯＮにした場合には解析部２３０（１）および２３０（５）から得られる各パン−強度−周波数データに基づく各パン−強度−周波数画面を重ね合わせて表示させ、ボタン「２」および「４」をＯＮにした場合には解析部２３０（２）および２３０（４）から得られる各パン−強度−周波数データに基づく各パン−強度−周波数画面を重ね合わせて表示させる、という具合に、ユーザが行う簡単なボタン操作により、所望のパン−強度−周波数画面を重ね合わせたパン−強度−周波数画面をディスプレイに表示させるようにしてもよい。

（６）上記実施形態におけるオーディオミキシング装置は、複数のオーディオ入力チャネルを介して供給される各オーディオ信号をＬ、Ｒ２チャネルのオーディオ出力チャネルに振り分けた。しかし、この発明は、複数のオーディオ入力チャネルを介して供給される各オーディオ信号をミキシングして５．１ｃｈなどのマルチチャネル形式のオーディオ信号を生成するオーディオミキシング装置にも適用可能である。この場合において、ミキシングを行って５．１ｃｈ等の複数のオーディオ出力チャネルに振り分けるオーディオ信号は、モノラル形式のオーディオ信号であってもよく、同一の楽器音を表す複数チャネルからなるオーディオ信号であってもよい。

図５は、この発明をマルチチャネル形式のオーディオ信号を生成するオーディオミキシング装置に適用した態様において、ディスプレイに表示されるパン−強度−周波数画面の例を示した図である。このパン−強度−周波数画面では、図５に示すように聴取位置Ｐを取り囲むように配置されたスピーカＣ、ＦＬ、ＦＲ、ＬＳおよびＲＳの位置が示される。この態様において、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）の各々は、オーディオ入力チャネル２００（ｋ）を介して入力されるオーディオ信号に基づいて、Ｃ、ＦＬ、ＦＲ、ＬＳおよびＲＳからなる５チャネルのオーディオ出力チャネルに振り分ける各オーディオ信号を生成する。ここで、オーディオ出力チャネルＣ、ＦＬ、ＦＲ、ＬＳおよびＲＳに出力される各オーディオ信号は、図５に示すように、聴取位置Ｐを取り囲むように配置されたスピーカＣ、ＦＬ、ＦＲ、ＬＳおよびＲＳから放音される。

バスライン２５０（ｊ）（ｊ＝１〜ｍ）の各々は、マルチチャネル形式に対応したＣライン、ＦＬライン、ＦＲライン、ＬＳラインおよびＲＳラインにより構成される。各解析部２３０（ｊ）（ｊ＝１〜ｍ）の各々は、バスライン２５０（ｊ）を介して供給されるオーディオ信号の周波数解析を行うことにより、水平面内において、処理対象となったオーディオ信号の音像位置の聴取位置Ｐから見た方角の周波数依存性を示すとともに音のエネルギーを示すパン−強度−周波数データを各々生成する。

統合処理部２４０では、聴取位置Ｐに対応した原点から見た方角が音像位置を表し、同原点からこの方角に延びた半径の長さが周波数を表す極座標平面であるパン−周波数平面において、各解析部２３０（ｊ）（ｊ＝１〜ｍ）から各々得られたパン−強度−周波数データが示す音のスペクトルの音像位置および周波数に対応した位置に、当該パン−強度−周波数データが示す音のスペクトルを示すプロットを各解析部２３０（ｊ）（ｊ＝１〜ｍ）間で互いに異なる表示態様で表示させたパン−強度−周波数画面をディスプレイに表示させる。図５には、このようにして表示されるパン−強度−周波数画面が例示されている。

図５に示すパン−強度−周波数画面では、円の中心が聴取位置を示し、この円の中心から円周に向かう半径方向を周波数軸とし、円周方向をパン軸としている。そして、図５において、円周上に示されたＣ、ＦＬ、ＬＳ、ＲＳ、ＦＲは、聴取位置を取り囲む各チャネルのスピーカを示している。ここで、円の中心（聴取位置）と各チャネルのスピーカとを結ぶ半径をＣ軸、ＦＬ軸、ＦＲ軸、ＬＳ軸、ＲＳ軸と呼ぶ。隣接する２つの軸、例えばＬＳ軸とＲＳ軸との間に挟まれた円弧は、ＬＳチャネルおよびＲＳチャネル間のパンを示す。他の隣接する２つの軸間の円弧も同様である。

この態様によるオーディオミキシング装置において、例えば、ある楽器Ａのオーディオ信号に所望のパンを持たせてＬＳチャネルとＲＳチャネルに振り分け、別のある楽器Ｂのオーディオ信号に所望のパンを持たせてＦＲチャネルとＲＳチャネルに振り分けたとする。この場合、楽器Ａの音を表すプロットは、ＬＳ軸とＲＳ軸とにより挟まれた扇形領域に表示される。また、楽器Ｂの音を表すプロットは、ＲＳ軸とＦＲ軸とにより挟まれた扇形領域に表示される。そして、楽器Ａの音の周波数が低いと、楽器Ａの音を示すプロットは円の中心寄りに表示され、楽器Ａの音の周波数が高いと、楽器Ａの音を示すプロットは円の円周寄りに表示される。また、楽器Ａの音のＬＳチャネルへの配分が大きく、ＲＳチャネルへの配分が小さいと、楽器Ａの音を表すプロットはＬＳ軸寄りに表示される。これに対し、楽器Ａの音のＬＳチャネルへの配分が小さく、ＲＳチャネルへの配分が大きいと、楽器Ａの音を表すプロットはＲＳ軸寄りに表示される。楽器Ｂの音を表すプロットも同様である。

このようにマルチチャネル形式のオーディオ信号を生成するミキシングにおいても、ステレオ形式と同様に、ミックス対象となっている各音の音像位置、エネルギー、周波数の分布を視認することができる。

（７）上記実施形態において、パン−強度−周波数データを導出してパン−周波数平面に表示させると共に、ステレオライン２６０を介してミックスしたステレオ形式オーディオ信号の音を放音した。しかし、本発明における特徴的な部分は、パン−強度−周波数データをパン−周波数平面に音の種類が区別されるように表示させることであるため、ミックスしたステレオ形式オーディオ信号の音を放音することは必須ではない。例えば、ユーザがミキシング作業を行う環境が音を放音することが好ましくない環境の場合などである。ミックスしたステレオ形式オーディオ信号の音を放音しなくても、パン−周波数平面に表示されるパン−強度−周波数データを視覚的に確認することで、聴覚的に音を確認することなく、その音を把握することも可能である。

（８）上記実施形態では、パン−周波数平面にミックス対象である各オーディオ信号が示す音のパン、エネルギー、周波数を示すプロットを表示した。しかし、エネルギーの表示は行わず、ミックス対象である各オーディオ信号が示す音のパン、周波数を示すプロットを表示するようにしてもよい。

（９）上記実施形態では、１または複数のオーディオ入力チャネルを介して入力される各オーディオ信号をバスラインによりミキシングしたオーディオ信号を解析部２３０（ｊ）（ｊ＝１〜ｍ）の処理対象とした。しかし、このようなバスラインを設けず、チャネルストリップ部２１０（ｋ）（ｋ＝１〜ｎ）に対応した解析部２３０（ｋ）（ｋ＝１〜ｎ）を設け、解析部２３０（ｋ）（ｋ＝１〜ｎ）の各々では、チャネルストリップ部２１０（ｋ）によりオーディオ出力チャネルに振り分けられたオーディオ信号、すなわち、オーディオ入力チャネル２００（ｋ）を介して入力されたオーディオ信号に効果付与処理を施すことにより得られたステレオ形式オーディオ信号を処理対象としてもよい。

この態様において、次のような処理をオーディオミキシング装置に行わせてもよい。まず、パン−強度−周波数画面において各種の楽器の音を示す各プロットの表示色をそれらの楽器名に対応付けた表示色テーブルを記憶部１３０に予め記憶させる。次に、ユーザインターフェース部１２０の操作手段の操作により、オーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を介して入力される各オーディオ信号の楽器名が入力された場合に、記憶部１３０内の表示色テーブルを参照することにより、オーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を介して入力される各オーディオ信号の楽器名に対応した表示色を求める。そして、オーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）について求めた各表示色を解析部２３０（ｋ）（ｋ＝１〜ｎ）に各々対応付ける。統合処理部２４０では、解析部２３０（ｋ）（ｋ＝１〜ｎ）から出力されたパン−強度−周波数データに基づいてパン−強度−周波数画面を合成する際に、解析部２３０（ｋ）からのパン−強度−周波数データに基づいてパン−周波数平面に表示するプロットの表示色を解析部２３０（ｋ）に対応付けられた表示色とするのである。

あるいはオーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を介して入力される各オーディオ信号に楽器名を示す情報を含ませ、各オーディオ信号に含まれている楽器名を示す情報と表示色テーブルとに基づいて、解析部２３０（ｋ）（ｋ＝１〜ｎ）に対応付ける表示色を決定するようにしてもよい。この態様は、オーディオ入力チャネル２００（ｋ）（ｋ＝１〜ｎ）を介して入力される各オーディオ信号の楽器名を入力するための操作手段の操作が不要なので、ユーザの操作負担が減る利点がある。

（１０）上記各実施形態では、音の強度を示す指標としてエネルギー（振幅スペクトルの２乗）を用いたが、オーディオ信号の振幅スペクトルの絶対値などの他の指標を強度として使用してもよい。

（１１）上記各実施形態では、複数の解析部が各々の処理対象であるオーディオ信号の周波数解析を行い、パン−強度−周波数データを算出したが、１つの解析部が時分割制御により各処理対象毎にオーディオ信号の周波数解析を行い、パン−強度−周波数データを各々算出するようにしてもよい。

（１２）上記各実施形態では、オーディオミキシング装置がミックス対象であるオーディオ信号のミキシングを実際に行い、オーディオ出力チャネルを介してミックス結果であるオーディオ信号をスピーカに出力した。しかし、このようにミックス結果を出力することなく、例えばミックス対象についてのパン−強度−周波数画面を表示するのみの装置として、この発明を実施してもよい。

１１０…制御部、１２０…ユーザインターフェース部、１３０…記憶部、１４０…オーディオ処理部、１５０…オーディオ入力部、１６０…オーディオ出力部、２００（ｋ）…オーディオ入力チャネル、２１０（ｋ）（ｋ＝１〜ｎ）…チャネルストリップ部、パン−強度−周波数画面生成部、２３０（ｊ）（ｊ＝１〜ｍ）…解析部、２４０…統合処理部、２５０（ｊ）（ｊ＝１〜ｍ）…バスライン、２５０Ｌ（ｊ）（ｊ＝１〜ｍ）…バスラインのＬライン、２５０Ｒ（ｊ）（ｊ＝１〜ｍ）…バスラインのＲライン、２６０…ステレオライン、２６０Ｌ…ステレオラインのＬライン、２６０Ｒ…ステレオラインのＲライン、３００（ｊ）（ｊ＝１〜ｍ）…ＦＦＴ処理、３１０（ｊ）（ｊ＝１〜ｍ）…パン導出処理、３２０（ｊ）（ｊ＝１〜ｍ）…エネルギー導出処理、３３０（ｊ）（ｊ＝１〜ｍ）…パン−強度−周波数データ導出処理、３４０…パン−周波数平面統合処理。

Claims (5)

1. ミックス対象である複数種類のオーディオ信号の少なくとも一部の種類のオーディオ信号を各々処理対象とし、各処理対象毎に、オーディオ信号の周波数解析を各々行い、処理対象であるオーディオ信号の音像位置の周波数依存性を示す音像位置−周波数データを各々生成する解析手段と、
   音像位置軸および周波数軸により構成される２次元座標平面において、前記各処理対象毎に各々得られる音像位置−周波数データが示す音の音像位置および周波数に対応した位置に、当該音像位置−周波数データが示す音を示すプロットを、各処理対象間で異なった表示態様で表示させた音像位置−周波数画面を表示手段に表示させる統合手段と
   を具備することを特徴とするオーディオミキシング装置。
2. 前記複数の解析手段は、前記音像位置−周波数データとして、各々の処理対象となったオーディオ信号の音像位置および音の強度の周波数依存性を示す音像位置−強度−周波数データを生成し、
   前記統合手段は、音像位置軸および周波数軸により構成される２次元座標平面において、前記各処理対象毎に各々得られる音像位置−強度−周波数データを示す音の音像位置および周波数に対応した位置に、当該音像位置−強度−周波数データが示す音を示すプロットを、当該音像位置−強度−周波数データが示す音の強度により異なった表示態様で表示させた音像位置−強度−周波数画面を前記音像位置−周波数画面として前記表示手段に表示させることを特徴とする請求項１に記載のオーディオミキシング装置。
3. 前記統合手段は、前記各処理対象毎に各々得られる各音像位置−強度−周波数データに基づいて前記表示手段に表示させる音像位置−強度−周波数画面を合成する際に、前記各処理対象毎に各々得られる音像位置−強度−周波数データに各々対応した各画像の表示の優先順位を制御する優先順位制御手段を具備することを特徴とする請求項２に記載のオーディオミキシング装置。
4. 前記優先順位制御手段は、操作手段の操作に従って、前記各処理対象毎に各々得られる音像位置−強度−周波数データに各々対応した各画像の表示の優先順位を決定することを特徴とする請求項３に記載のオーディオミキシング装置。
5. 前記優先順位制御手段は、前記各処理対象毎のオーディオ信号の平均振幅に基づいて、前記各処理対象毎に各々得られる音像位置−強度−周波数データに各々対応した各画像の表示の優先順位を決定することを特徴とする請求項３に記載のオーディオミキシング装置。

Images