JP2015152680A - 音楽情報処理装置及びプログラム並びに方法 - Google Patents

Abstract

【課題】演奏される各音毎の音像定位を判り易く表示する。【解決手段】曲又はフレーズを構成する音楽演奏データから個々の音のノート情報を取り出す。取り出されたノート情報に基づき、ノート情報を象徴する表示物ｄ１〜ｄ６を、ノート情報に含まれる音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸Ｐ及び音像定位軸Ｌでなる仮想的三次元空間内に配置し、ディスプレイ上に表示させる。仮想的三次元空間は、音高軸Ｐ及び音像定位軸Ｌからなる前面部と時間軸からなる奥行き部とでなり、前面部をフラットに提示して音像定位を分かり易く表示するとき、時間軸に沿う表示物ｄ１〜ｄ６を透視して表し、かつ表示物ｄ１〜ｄ６の時間位置をその表示態様を変化させることによって表す。【選択図】図５

Description

この発明は、ＭＩＤＩデータあるいはオーディオ波形データなどの種々のタイプの音楽演奏データを仮想的三次元空間に配置して表示するための音楽情報処理装置及びプログラム並びに方法に関する。

ディスプレイ上に楽譜を表示する手法の１つとして、ピアノロール譜といわれるものが周知である（例えば特許文献１）。ピアノロール譜は、例えば縦軸を音高軸（鍵盤軸）とし、横軸を時間軸とした、二次元表示空間において、発音すべき（演奏すべき）音の音高（鍵）と発音時間との組み合わせによって、該発音すべき（演奏すべき）音を象徴する表示物（例えば横棒線）をディスプレイ上に表示するものである。このようなピアノロール譜の変形例として、発音すべき（演奏すべき）音を象徴する表示物として、該発音すべき（演奏すべき）音のオーディオ波形エンベロープを模した図形を用いるものも知られている（例えば非特許文献１及び２）。

一方、特許文献２においては、１つのオーディオ信号におけるステレオ音像定位をスペクトル周波数成分毎に可視的に示す技術が示されている。この技術は、オーディオ信号のうち所定の方向に音像が定位するスペクトル周波数成分を抑圧または強調するために、各スペクトル周波数成分の定位方向の時間的な変化をユーザが視覚的に確認できるようにする目的で使用される。

特開２００６−２６７２５４号公報 特開２０１２−２４９０４８号公報

http://www.g200kg.com/jp/docs/dic/melodyne.html http://www.cs.tut.fi/sgn/arg/music/tuomasv/audiopianoroll/

特許文献１及び非特許文献１、２に示された技術は、音高軸と時間軸の二次元表示であるため、同一の音高で複数の音が発音（演奏）されるとき、個々の音を分離して表示することができないという欠点がある。一方、特許文献２に示された技術は、各スペクトル周波数成分に分離して音像定位を表示するため、同一の音高で複数の音が発音（演奏）されるとき、個々の音がどれであるか、また、個々の音がどのように定位しているのか、確認することが容易ではないという欠点がある。

この発明は、上述の点に鑑みてなされたもので、演奏される各音毎の音像定位を判り易く表示できるようにした音楽情報処理装置及びプログラム並びに方法を提供しようとするものである。

この発明に係る音楽情報処理装置は、音楽演奏データから個々の音のノート情報を取り出す取り出し手段であって、前記ノート情報は音高情報、時間情報及び音像定位情報を含む前記取り出し手段と、取り出されたノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示させる表示制御手段とを備える。

この発明によれば、音楽演奏データを構成する個々の音のノート情報を象徴する表示物を、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示するように構成したので、演奏される各音毎の音像定位を判り易く表示することができる。例えば、同一の音高で複数の音が発音（演奏）されるような演奏形態であっても、音高軸及び音像定位軸を用いて該ノート情報を象徴する表示物を表示することにより、それらを分離して且つ個々の音として判り易く表示することができる。

一実施例において、前記表示制御手段は、前記ディスプレイ上における前記仮想的三次元空間を、前記音高軸及び前記音像定位軸からなる前面部と前記時間軸からなる奥行き部とで表し、かつ、前記表示物の時間位置をその表示態様を変化させることによって表すように構成されてよい。また、前記表示制御手段は、前記音高軸及び前記音像定位軸からなる前面部を前記ディスプレイ上でフラットに表示する状態において、異なる時間位置の前記表示物を該前面部の側から透視して表すように構成されてよい。これによれば、各音の音高と音像定位が明確に判るばかりでなく、各音の時間位置を容易に確認することができる。

一実施例において、前記表示制御手段は、第１の表示状態において、前記仮想的三次元空間の３軸のうち２軸の組み合わせを用いて前記ノート情報を象徴する前記表示物を前記ディスプレイ上に表示させ、第２の表示状態において、前記仮想的三次元空間の３軸のうち２軸の別の組み合わせを用いて前記ノート情報を象徴する前記表示物を前記ディスプレイ上に表示させるように構成されてよい。これによれば、第１又は第２の表示状態において、詳細が判り易い２軸（二次元）表示で表示することができ、かつ、第１又は第２の表示状態のいずれかを選択することで、仮想的三次元空間における前記ノート情報を象徴する前記表示物の配置も把握することができる。

一実施例において、前記表示制御手段は、或る表示状態から別の表示状態に切り換えることが指示されたとき、前記仮想的三次元空間に配置された前記ノート情報を象徴する前記表示物が移動する様子を示す遷移画像を介在させるように構成されていてよい。これによれば、或る表示状態から別の表示状態に切り換わる様子が、遷移画像によって動的に判り易く提示される。

一実施例において、前記音楽演奏データは、音楽演奏のオーディオ波形データであってよい。その場合は、前記取り出し手段は、前記オーディオ波形データを分析することに基づき前記音楽演奏を構成する個々の音の前記ノート情報を取り出すように構成される。

別の実施例において、前記音楽演奏データは、音楽演奏を構成する各音をデジタルコードで表現したデータ（例えばＭＩＤＩデータ）であってよい。その場合は、前記取り出し手段は、前記各音のデジタルコードから前記ノート情報を取り出すように構成される。

本発明は、装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明に係る音楽情報処理装置の一実施例のハードウェア構成を示すブロック図。 この発明の第１の実施例に係る音楽情報処理の一例として、オーディオ波形データに基づく処理を示すフローチャート。 仮想的三次元空間の３軸全部の組み合わせを用いてノート情報を象徴する表示物をディスプレイ上に立体的に表示する表示状態の一例を示す図。 仮想的三次元空間の３軸のうち所定の２軸（音高軸及び時間軸）の組み合わせを用いてノート情報を象徴する表示物をディスプレイ上に表示する表示状態の一例を示す図。 仮想的三次元空間の３軸のうち別の２軸（音高軸及び音像定位軸）の組み合わせを用いてノート情報を象徴する表示物をディスプレイ上に表示する表示状態の一例を示す図。 この発明の第２の実施例に係る音楽情報処理の一例として、ＭＩＤＩデータに基づく処理を示すフローチャート。 ディスプレイ上で表示された音楽演奏データに対して編集作業を行うための処理フローの一例を示す図。 音楽演奏データの再生演奏を行っている最中に該音楽演奏データ中のノート情報をディスプレイ上で表示する処理フローの一例を示す図。

図1は、この発明に係る音楽情報処理装置の一実施例のハードウェア構成を示す。この実施例において、この音楽情報処理装置は、この発明に係る音楽情報処理の各ステップを実現するための命令群からなるアプリケーションプログラムをインストールした汎用パーソナルコンピュータによって構成され得る。通信インタフェース１は、インターネットあるいは社内ＬＡＮ等の外部ネットワークを介して波形データ等のやりとりを行うために使用され得る。ＵＳＢ等のインターフェースを介してバス８に接続される演奏操作子２は、音楽演奏用の鍵盤あるいは打楽器を模擬するパッド操作子等によって構成されており、ユーザによる鍵あるいはパッド操作子等の演奏操作に応じて演奏操作データを生成する。入力装置３は、文字・記号入力用のキーボード、マウス等からなる汎用の入力装置であってよく、さらには、ユーザによる入力操作を可能にする適宜の操作パネルを含んでいてもよい。

ディスプレイ４は、ユーザに対して各種情報を視覚的に表示する。ＣＰＵ（プロセッサ）５は、後述するプログラムに基づいて、バス８を介して他の各部を制御する。ＲＯＭ６には、イニシャルプログラムローダ等が格納されている。ＲＡＭ７は、ＣＰＵ５によって読み書きされ、一時保存あるいはワーキングメモリ等として機能する。外部媒体用のドライブ装置（若しくはＩ／Ｆ）９は、ＣＤ−ＲＯＭ、ＭＯ等の着脱式可搬媒体１０を装着し、データあるいはプログラム等の読み書きを可能にする。ハードディスク１１には、汎用パーソナルコンピュータのオペレーティングシステム、上記アプリケーションプログラム、波形データ、その他各種のプログラム及びデータが格納される。

波形取込インタフェース１２は、マイクロホン等を介して外部から入力されたアナログオーディオ波形信号をサンプリングし、デジタルオーディオ波形データに変換した後、バス８を介してコンピュータ内に取り込む。波形出力インタフェース１３は、コンピュータ内で生成又は処理されたデジタルオーディオ波形データをバス８を介して入力し、アナログオーディオ波形信号に変換する。サウンドシステム１４は、波形出力インタフェース１３から与えられるアナログオーディオ波形信号を空間的に放音する。

次に、この音楽情報処理装置によって実現される音楽情報処理について、図２のフローチャートを参照して説明する。この音楽情報処理装置によって実現される音楽情報処理とは、端的には、音楽演奏データに含まれる個々の音を、その音高（ノート）、時間位置、音像定位の３種の情報に関して仮想的三次元空間内に配置してディスプレイ４上に表示することからなる。ディスプレイ４上に表示された音の表示物は、前記音が持つ音像定位等各種情報をユーザが視覚的に確認することに役立つほか、ディスプレイに対するユーザの相互作用によってこれら音像定位等各種情報を編集することに役立つ。音楽情報処理装置は、表示制御機能のみならず、そのような編集機能を持つように構成されていてもよい。なお、本明細書において説明される各ステップの処理は、コンピュータプログラム（アプリケーションプログラム）の命令コードをコンピュータ（ＣＰＵ５）が実行することによって自動的に行われる。しかし、これに限定されるものではなく、同等の処理を実行するように構成された専用の電子回路等を含むハードウェア装置によって自動的に行われるようになっていてもよい。

この音楽情報処理装置による処理の対象となる音楽演奏データは、時間軸に沿った演奏音の振動波形を表すオーディオ波形データであってもよいし、音楽演奏を構成する各音をデジタルコードで表現したデータ（例えばＭＩＤＩデータ）であってもよい。以下、第1の実施例として、処理の対象となる音楽演奏データがオーディオ波形データである場合について説明する。

図２において、ステップＳ１では、処理の対象とするオーディオ波形データを選択する。処理の対象となる音楽演奏データは、1つの楽曲又はフレーズのオーディオ波形データである。例えばハードディスク１１上のデータベースに複数楽曲及び複数フレーズのオーディオ波形データが記憶されており、ユーザは、その中から処理の対象とするオーディオ波形データを選択してよい。あるいは、波形取込インタフェース１２を介してリアルタイムに取り込まれるオーディオ波形データを処理の対象として選択してもよい。あるいは、通信インタフェース１を介して外部からリアルタイムにダウンロードしたオーディオ波形データを処理の対象として選択してもよい。勿論、オーディオ波形データはＰＣＭデータに限らず、ＭＰ３等任意の形式で圧縮符号化されたものであってもよく、その場合は、次に述べる分析処理の前に解凍・復号化される。

ステップＳ２では、上記選択されたオーディオ波形データを分析して、個々の音のノート情報を取り出す。分析によって取り出されるノート情報には、音高情報、時間情報及び音像定位情報が少なくとも含まれ、その他の情報（例えば音量情報、振幅エンベロープ情報など）を更に含んでいてよい。音高情報とは、オーディオ波形データ中の１つの音の音高（基本周波数）を示す情報であり、細かな周波数変動を表す必要はなく（そのようにしてもよいが）、該１つの音の名目的な音階音高（ノート）を示すものであればよい。時間情報とは、該１つの音の時間位置（分析対象であるオーディオ波形データ全体の中の相対的時間位置）を示す情報である。この時間情報は、例えば、該１つの音の発音開始から発音終了に至るまでの連続的発音区間を示す情報を含む。別の例として、該時間情報は、該１つの音の発音開始時間を示す情報のみを含むものであってもよい。

ステップＳ２の処理の実行に関与するプログラム部分及びＣＰＵ等のハードウェアの組み合わせは、音楽演奏データから個々の音のノート情報を取り出す取り出し手段として機能する。

音像定位情報とは、該１つの音の音像定位を示す情報である。例えば、オーディオ波形データが左右２チャンネルのステレオデータであれば、各音の音像定位を容易に分析することができる。例えば、ステレオ左右２チャンネルのオーディオ波形データで音高と時間位置が完全に一致する音を同一音と見なし、それぞれの音量比から音像定位を示す情報を抽出することができる。その場合、同一音と見なした音のノート情報は１つのみ取り出すものとする。勿論、これに限らず、例えば１チャンネルのみからなるモノラルのオーディオ波形データであっても、すなわち、オリジナルのオーディオ波形データそれ自体は音像定位を持っていなかったとしても、音像定位位置０を示す音像定位情報をそれぞれ抽出する（若しくはデフォルトとして付与する）ようにしてよい。そのような場合、後段において行う本発明に従う編集処理によって、各音毎にユーザが任意の音像定位を付与することができるので、編集機能を高めることができる。なお、デフォルトとして付与する音像定位位置は０に限らず、任意の定位位置としてよい。オーディオ波形データの分析処理それ自体は公知技術を利用できるため、本明細書では詳細説明を省略する。

ステップＳ３では、取り出された各音のノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ４上に表示するよう制御する。この場合、仮想的三次元空間内に配置された前記ノート情報を象徴する表示物は、様々な表示状態（あるいは見え方）のうちいずれかの選択された表示状態でディスプレイ４上に表示することができる。例えば、この表示状態（見え方）の選択若しくは視線方向の指定は、入力装置３を介したユーザ操作によって随意に行うことができ、また視線方向の選択又は指定データに従ってもよい。

ステップＳ３の処理の実行に関与するプログラム部分及びＣＰＵ等のハードウェアの組み合わせは、取り出されたノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示させる表示制御手段として機能する。

図３〜図５は、ステップＳ３（表示制御手段）による処理によって選択若しくは指定され得るいくつかの表示状態を例示する図である。図３は、仮想的三次元空間の３軸全部の組み合わせを用いてノート情報を象徴する表示物ｄ１〜ｄ６をディスプレイ４上に立体的に表示する表示状態の一例を示す。一例として、仮想的三次元空間においては、音高軸Ｐが垂直方向に延び、この音高軸Ｐは、下が低音側、上が高音側となるように目盛り付けされる。また、音像定位軸Ｌが横方向に延び、中央が音像定位０、中央から右方向に離れるほどより右側に定位し、中央から左方向に離れるほどより左側に定位するように目盛り付けされる。一例として、音像定位をわかり易く提示し得るようにするために、音高軸Ｐ及び音像定位軸Ｌからなる二次元面を前面部とし、時間軸Ｔを奥行き部として、該時間軸Ｔが奥行き方向に延びるように立体画像を作成するとよい。例えば、奥行き方向に延びる時間軸Ｔは、手前ほど先行する時間を示し、奥になるほど後続する時間を示すように目盛り付けされる。なお、ディスプレイ４上における各軸の配置をユーザが可視的に確認できるように、各軸Ｐ，Ｌ，Ｔを象徴する図形（例えば図示したような軸線を示す図形）を可能な限り表示することが望ましい。

ノート情報を象徴する表示物の一例として、該ノート情報に対応する１つの音のオーディオ波形の振幅エンベロープを模式的に示す仮想的立体図形が用いられてよい。例えば、このような仮想的立体図形は、時間軸に平行な中心軸を持ち、該中心軸の周囲に振幅エンベロープに見合った形状の立体エンベロープを形作ったものからなる。例えば、該立体エンベロープの断面は円であり、或る時点での該断面円の半径は、当該時点における前記振幅エンベロープの振幅値に対応する。勿論、これに限らず、適宜の形状で表示物を形成してよい。例えば、発音期間にわたって延びた単純な棒状を成すように該表示物を形成してもよい。

ディスプレイ４の画面に一度に表示される、音楽演奏データ由来のノート情報の表示物ｄ１〜ｄ６は、１楽曲又はフレーズの全部の時間にわたるものではなく、或る部分的な時間区間内に含まれるすべての（０又は１乃至複数であり得る）音のノート情報の表示物であってよい。例えば、デフォルト若しくは初期状態では、表示すべき先頭の時間位置は、当該音楽演奏データに係る１楽曲又はフレーズの先頭の時間位置であってよい。また、該表示すべき先頭の時間位置を、ユーザ操作等によって任意に指定又は選択することができるように構成されてよい。例えば、表示されている時間軸Ｔ上の所望の時間位置をクリックすることにより、該クリックされた時間位置が、該表示すべき先頭の時間位置となるように表示状態を変更するようにしてよい。あるいは、表示されている時間軸Ｔ上の任意の位置をカーソルでクリックしてそのまま過去又は未来のいずれかの方向にドラッグすることにより、表示される時間軸Ｔの範囲がシフトされるようにしてもよい。

上記のように指定又は選択された先頭の時間位置から所定の部分的な時間区間内に含まれるすべての（０又は１乃至複数であり得る）音のノート情報の表示物が、図３に示すように立体的に表示される。ディスプレイ４上に表示される仮想的三次元空間を立体的に見せるための視線方向は、１つに固定されていてもよいが、ユニバーサルに（全方位的に）設定可能であってよい。例えば、前述のように、入力装置３を介したユーザ操作によって若しくは適宜の指定データに応じて、任意の視線方向で立体的画像が生成に指定され得るようにしてもよい。また、次に述べるように、仮想的三次元空間を前提にして、３軸のうちの２軸からなる二次元的画像を生成してディスプレイ４上で表示するようにしてもよい。なお，上記の説明では表示すべき時間区間内に含まれるすべての音のノート情報について表示物を表示するようにしたが、それに限らず、一部のノート情報（例えば所定の優先度の高いもの）のみについて表示物を表示するようにしてもよい。例えば、該時間区間内に含まれる各ノートについて、音量の強弱（特にアタック部の強さ）など音の特徴量を優先度ファクターとし、あるいは、ノートをオーディオ波形データから分離する際の統計計算上のパラメータ（信頼度のようなもの）を優先度ファクターとし、その優先度ファクターが所定の閾値を超えたノートについてのみ表示物を表示するようにしもよい。

図４は、第１の表示状態を例示するもので、この第１の表示状態においては、仮想的三次元空間の３軸のうち所定の２軸（例えば音高軸Ｐ及び時間軸Ｔ）の組み合わせを用いてノート情報を象徴する表示物ｄ１〜ｄ６をディスプレイ４上に表示させる。ディスプレイ４の画面上において、各表示物ｄ１〜ｄ６の時間位置を最もわかり易く提示するには、図４に示すように、音高軸Ｐ及び時間軸Ｔからなる二次元座標平面で表す表示状態（第１の表示状態）を選択／指定するのがよい。図示例では、表示物ｄ１に係るノート情報の時間位置が最も早く、次は、ｄ２及びｄ３に係るノート情報であり、以後、ｄ４，ｄ５，ｄ６の順である。なお、このような音高軸Ｐ及び時間軸Ｔからなる二次元座標表示それ自体は公知である。しかし、このような公知の二次元座標表示にあっては、音像定位を表すことができない。これに対して、本発明では、上述のように音像定位軸Ｌを含む仮想的三次元空間に表示物ｄ１〜ｄ６を配置するので、音像定位を表すことができる。

図５は、第２の表示状態を例示するもので、この第２の表示状態においては、仮想的三次元空間の３軸のうち別の所定の２軸（例えば音高軸Ｐ及び音像定位軸Ｌ）の組み合わせを用いてノート情報を象徴する表示物ｄ１〜ｄ６をディスプレイ４上に表示させる。ディスプレイ４の画面上において、各表示物ｄ１〜ｄ６の音像定位をわかり易く提示するには、図５に示すように、該仮想的三次元空間を、音高軸Ｐ及び音像定位軸Ｌからなる二次元面（つまり、前記前面部）のみで平面的に表す表示状態（第２の表示状態）を選択／指定するのがよい。その場合、画面の奥行き方向に延びる時間軸Ｔは、フラットな前面部（二次元面）には直接的には現れてこない。しかし、音高軸Ｐ及び音像定位軸Ｌからなる前面部（二次元面）において、異なる時間位置のノート情報の各表示物ｄ１〜ｄ６が透視図的に表示されるようにし、かつ、該各表示物ｄ１〜ｄ６の時間位置を該表示物の表示態様を変化させることによって表すようにするとよい。この時間位置を表すために変化される該表示物の表示態様は、該表示物の面積、形状、色の少なくとも１つであっていてよい。また、色の表示態様を変化させる場合は、色の三属性（色相、彩度、明度）のうちいずれか少なくとも１つを変化させるようにしてよい。このように構成することにより、フラットな二次元画像により音像定位をわかり易く提示することができ、かつ、そのような二次元面では従来提示できなかった時間軸Ｔの情報を併せて提示することができるようになる。

図５では、一例として、明度（濃淡）によって時間位置の相違を表している。例えば、ディスプレイ４の画面上の前面部に対応する時刻（現時刻）に位置しているノート情報の表示物の明度が最も濃く、それよりも後（未来）の時刻に位置するほど該表示物の明度が薄くなる。こうして、ディスプレイ４の画面上では、主に音高軸Ｐ及び音像定位軸Ｌからなる前面部（二次元面）を表示していながら、そこに透視図的に表示された表示物ｄ１〜ｄ６の表示態様の違い（例えば濃淡の違い）によって、その時間位置をも判らせることができる。なお、図５の例において、表示物の形状は、対応するノート情報が示す音の振幅（音量）エンベロープを正面から見た形状、つまり円形を成している。この場合、その円の直径（若しくは半径）は、該対応するノート情報が示す音の音量を示している。

時間位置を表すために変化される該表示物の表示態様は上記のような明度（濃淡）に限定されないことは前述した通りである。例えば、上記とは逆に、時間位置を円の直径で表し、音量を明度（濃淡）で表すようにしてもよい。

なお、時間位置を表すための該表示物の表示態様の違い（例えば濃淡の違い）は、図５に示すような、時間軸Ｔがディスプレイ４の画面上に現れてこない表示状態（第２の表示状態）に限らず、その他の表示状態においても採用されるのが好ましい。例えば、図３に示すような立体視及び図４に示すような平面視（第１の表示状態）においても、時間位置を表すための該表示物ｄ１〜ｄ６の表示態様を同様に異ならせる（濃淡を異ならせる）ことが採用され得る。これによって、表示状態を選択的に切り換える場合、あるいは、視線方向の移動に応じて表示状態を動的に変える場合などに、各表示物ｄ１〜ｄ６の同一性が保たれることとなり、見やすいものとなる。

所望の時間位置における音像定位を、見やすく可視化するための一例について説明する。図３に示すような立体視及び図４に示すような時間軸Ｔを含む平面視（第１の表示状態）をディスプレイ４の画面上に表示した状態で、時間軸Ｔに沿うカーソル操作等によってユーザにより所望の時間位置を指定するか、若しくは適宜の時間位置指定データによって所望の時間位置を指定する。この指定に応じて、ディスプレイ４の画面は、該指定された時間位置を先頭とする図５に示すような音像定位軸Ｌを含む平面視（第２の表示状態）に切り換えられる。勿論、図５に示すような音像定位軸Ｌを含む平面視（第２の表示状態）がディスプレイ４の画面上に表示されているときに、図３に示すような立体視及び図４に示すような時間軸Ｔを含む平面視（第１の表示状態）に戻るように、表示状態を切り換えることが可能である。

好ましい実施例において、或る表示状態（例えば前記第１の表示状態）から別の表示状態（例えば前記第２の表示状態）に切り換えることが指示されたとき、仮想的三次元空間に配置された前記ノート情報を象徴する前記表示物ｄ１〜ｄ６が移動する様子を示す遷移画像をその間に介在させるように、動的に表示制御するとよい。例えば、該遷移画像は、前記仮想的三次元空間に配置された表示物ｄ１〜ｄ６が移動する様子を立体的に変化する画像により表すものからなる。これにより、仮想的三次元空間が旋回して表示状態が変更されるような映像効果を提供することができ、ユーザ体験を向上させることができる。例えば、図４に示すような第１の表示状態を示す画像から、音高軸Ｐを中心にして左回りに旋回する様子を示す立体的動画像が描画され、最後に図５に示すような第２の表示状態を示す画像に至る。なお、このような表示物ｄ１〜ｄ６が移動する様子を立体的に変化する画像の具体的描画処理それ自体は、ステップＳ３（表示制御手段）において三次元ＣＡＤ技術等で公知の描画モジュールを使用することにより実現し得るので、その詳細説明は省略する。

次に、第２の実施例として、処理の対象となる音楽演奏データが音楽演奏を構成する各音をデジタルコードで表現したデータ（例えばＭＩＤＩデータ）である場合について図６を参照して説明する。

図６において、ステップＳ１１では、処理の対象とするＭＩＤＩデータ（1つの楽曲又はフレーズのＭＩＤＩデータ）を選択する。この場合も、処理の対象となるＭＩＤＩデータは、任意のソースから取得することができる。

ステップＳ１２では、上記選択されたＭＩＤＩデータから個々の音のノート情報（ノートオンイベント）を取り出す。該ノート情報（ノートオンイベント）には、音高情報、時間情報及び音像定位情報が少なくとも含まれ、その他の情報（例えば音量すなわちベロシティ情報など）を更に含んでいてよい。前述と同様に、音像定位情報は、ＭＩＤＩデータ内に含まれる音像定位情報を取り出すか、含まれていない場合はデフォルト値を用いる。ステップＳ１３では、図２における前記ステップＳ３と同様の処理を行う。

上述したような音楽演奏データ中のノート情報をディスプレイ４上で表示する処理は、該音楽演奏データの編集作業を行っている最中、あるいは該音楽演奏データの再生演奏を行っている最中、のいずれにおいても実行され得る。図７は、ディスプレイ４上で表示された音楽演奏データに対して編集作業を行うための処理フローの一例を示す。図８は、音楽演奏データの再生演奏を行っている最中に該音楽演奏データ中のノート情報をディスプレイ４上で表示する処理フローの一例を示す。

図７において、ステップＳ２１では、編集しようとする音楽演奏データの所望の区間をディスプレイ４上に表示する。このステップＳ２１の詳細は、前記図２又は図３に示したような処理からなっていてよい。

ステップＳ２２では、ディスプレイ４上に表示された仮想的三次元空間内の任意の位置に対するユーザ操作（クリック操作等）を受け付け、編集しようとする三次元空間内のユーザ所望の座標位置をディスプレイ４の画面上で特定する。例えば、既存のノート情報に対応する１又は複数の前記表示物のうち任意の表示物を選択して編集するために、該表示物をディスプレイ４の画面上で特定するようにしてよい。あるいは、新たなノート情報を追加するために、既存のノート情報が存在しない若しくは存在している所望の座標位置を特定するようにしてよい。

ステップＳ２３では、前記ステップＳ２２で特定された三次元空間内の座標位置に配置される音楽情報をユーザ操作に応じて編集する。なお、音楽情報には、前記ノート情報は勿論のこと、テンポ情報、反復記号、その他各種の音楽関連情報が含まれる。例えば、既存のノート情報を編集する場合は、特定された表示物に対応するノート情報の内容をユーザ操作に応じて編集（音高、音高、時間位置、音像定位その他のいずれか１又は複数を変更又は削除）する。あるいは、特定された三次元空間内の座標位置に新たなノート情報を追加する編集操作が行われた場合は、該特定された三次元空間内の座標位置に対応する音高、時間位置、音像定位を持つ新たなノート情報を追加する。この編集操作に応じて、ディスプレイ４上に表示された表示物が変化し、若しくは新たなノート情報に対応する表示物が追加されるように表示変更がなされる。公知のように、編集が確定すると、編集後の音楽演奏データの1組が適宜保存されるようになっていてよい。

こうして、ステップＳ２２の処理を実行するように動作するＣＰＵ５は、ディスプレイ４上に表示された仮想的三次元空間内の任意の位置を、ユーザ操作に応じて特定する手段として機能する。また、ステップＳ２３の処理を実行するように動作するＣＰＵ５は、特定された前記位置に配置される音楽情報をユーザ操作に応じて編集する手段として機能する。

次に、図８を参照して再生処理について説明する。図８において、ステップＳ３１では、再生しようとする曲又はフレーズの音楽演奏データを選択する。次のステップＳ３２では、選択された音楽演奏データの再生処理を時間経過に従って進行する。この再生処理の詳細は通常知られた技術を用いて実現してよい。例えば、音楽演奏データがオリジナル波形データからなっている場合は、設定された演奏テンポに従って該オリジナル波形データを順次読出して出力する。また、音楽演奏データがＭＩＤＩデータからなっている場合は、設定された演奏テンポに従って該ＭＩＤＩデータを順次読出し、読み出したＭＩＤＩデータのノートイベントに応じて所与の音高、音量等を持つ楽音波形を生成し、出力する。

ステップＳ３３では、該再生処理に並行して、現在再生中の音を含む適宜区間の音楽演奏データ（ノート情報を含む）をディスプレイ４上に提示された仮想的三次元空間において表示する。このステップＳ３３で行う表示処理の詳細は、前記図２のステップＳ２，Ｓ３又は図３のステップＳ１２，Ｓ１３に示したような処理からなっていてよい。従って、ディスプレイ４上に提示された仮想的三次元空間において表示されるノート情報の時間軸が再生演奏の進行に従って変化するのみならず、ユーザ操作等による表示状態の選択に応じて仮想的三次元空間を見せる表示のための視線方向が適宜変化され得るものであり、かつ、或る表示状態から別の表示状態に切り換えることが指示されたときには表示物が移動する様子を示す前記遷移画像を介在させて表示し得る等、前述した本発明に従う種々の利点を享受し得るように制御できる。

なお、この場合、ステップＳ２及びＳ１２の取り出し（分析）処理は、再生時にリアルタイムに行うようにしてもよいが、そうせずに、事前に取り出し（分析）処理を行って、その取り出し（分析）結果を記憶しておき、記憶したデータに基づきステップＳ３又はＳ１３の表示処理を行うようにしてもよい。なお、現在再生中の音は、サウンドシステム１４を介して可聴的に発音され得る。しかし、サウンドシステム１４を介して可聴的に発音することなく、再生した音楽演奏音信号を通信ネットワークを介して他のユーザ又は他の機器宛に送信してもよい。

こうして、ステップＳ３１，Ｓ３２の処理を実行するように動作するＣＰＵ５は、音楽演奏データに基づき音楽演奏の再生を進行する再生処理手段として機能する。また、ステップＳ３３の表示処理を実行するように動作するＣＰＵ５は、該再生処理手段による音楽演奏の再生進行に従って、ディスプレイ４上における前記ノート情報を象徴する前記表示物の表示態様を変化させるように構成された表示制御手段として機能する。

勿論、図８に従って再生処理を行っているときに、再生を一時停止して編集モードに移行し、図７に従う編集処理（例えば停止した現再生位置に関連する編集）を行うようにすることができる。その逆に、図７に従って編集処理を行っているときに、任意の再生開始位置（例えば現在の編集作業に対応する時間位置）から再生を開始する再生モードに移行し、図８に従う再生処理（特にステップＳ３２，Ｓ３３）を行うようにすることもできる。

上記実施例では、この発明に係る音楽情報処理装置が汎用パーソナルコンピュータを利用して構成されるものとしたが、これに限らず、この発明に係る音楽情報処理装置は専用の電子楽器内に組込まれて構成されてもよいし、あるいは携帯式の電子機器内に組込まれて構成されてもよい。あるいは、この発明に係る音楽情報処理装置は、１台のパーソナルコンピュータ又は電子楽器など単体のハードウェア装置で構成されるものとせずに、クラウドコンピューティングによってネットワーク経由で分散的に構成されたシステムからなっていてもよい。また、この発明に係る音楽情報処理方法は、クラウドコンピューティングによってネットワーク経由で分散的に配置されたリソース（ハードウェア及びソフトウェア）を利用して、実行されるようになっていてもよい。

１ 通信インタフェース
２ 演奏操作子
３ 入力装置
４ ディスプレイ
５ ＣＰＵ（プロセッサ）
６ ＲＯＭ
７ ＲＡＭ

Claims (7)

1. 音楽演奏データから個々の音のノート情報を取り出す取り出し手段であって、前記ノート情報は音高情報、時間情報及び音像定位情報を含む前記取り出し手段と、
   取り出されたノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示させる表示制御手段と
   を備える音楽情報処理装置。
2. 前記表示制御手段は、第１の表示状態において、前記仮想的三次元空間の３軸のうち２軸の組み合わせを用いて前記ノート情報を象徴する前記表示物を前記ディスプレイ上に表示させ、第２の表示状態において、前記仮想的三次元空間の３軸のうち２軸の別の組み合わせを用いて前記ノート情報を象徴する前記表示物を前記ディスプレイ上に表示させるように構成されている、請求項１の音楽情報処理装置。
3. 前記表示制御手段は、前記表示物を前記ディスプレイ上に立体的に表示させる前記表示状態において、視線方向の指定に応じて前記立体的な前記表示物の位置及び向きを変化させるように構成されている、請求項１又は２の音楽情報処理装置。
4. 前記ディスプレイ上に表示された前記ノート情報を象徴する前記表示物を、ユーザ操作に応じて特定する手段と、
   特定された前記表示物に対応する前記ノート情報の内容をユーザ操作に応じて編集する手段と
   を更に備える、請求項１乃至３のいずれかの音楽情報処理装置。
5. 前記音楽演奏データに基づき音楽演奏の再生を進行する再生処理手段を更に備え、
   前記表示制御手段は、前記再生処理手段による前記音楽演奏の再生進行に従って、前記ディスプレイ上における前記ノート情報を象徴する前記表示物の表示態様を変化させるように構成された、請求項１乃至４のいずれかの音楽情報処理装置。
6. コンピュータに、
   音楽演奏データから個々の音のノート情報を取り出す手順であって、前記ノート情報は音高情報、時間情報及び音像定位情報を含む前記手順と、
   取り出されたノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示させる手順、
   を実行させるためのプログラム。
7. 音楽演奏データから個々の音のノート情報を取り出すステップと、ここで、前記ノート情報は音高情報、時間情報及び音像定位情報を含み、
   取り出されたノート情報に基づき、該ノート情報を象徴する表示物を、該ノート情報に含まれる前記音高情報、時間情報及び音像定位情報に従って、時間軸、音高軸及び音像定位軸でなる仮想的三次元空間内に配置し、ディスプレイ上に表示させるステップと
   を、ネットワーク経由で分散的に配置されたリソースを利用して、実行する方法。

Images