JP2002041035A - 再生用符号化データ作成方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来の音響信号の符号化方式の欠点を補い、
演奏者の個性を反映するために演奏録音したデータを用
いながらも、楽譜に忠実な音楽コンテンツを制作するこ
とが可能な再生用符号化データ作成方法を提供する。 【解決手段】 同一楽曲について、演奏録音データを符
号化したＭＩＤＩ符号化データ（ａ）、楽譜の記載を忠
実に再現したＭＩＤＩ打込みデータ（ｂ）を作成する。
所定の規則に従って両データの対応付けを行い、両デー
タが有する音符の対応関係を得る（ｄ）。ＭＩＤＩ打込
みデータ内の１つの音符３に対応するＭＩＤＩ符号化デ
ータ内の複数の音符７，１０を統合する（ｃ）。ＭＩＤ
Ｉ符号化データ内から非対応音符を削除する（ｄ）。Ｍ
ＩＤＩ符号化データ内に、ＭＩＤＩ打込みデータ内の非
対応音符を追加する（ｆ）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、インターネット情報通
信網等のネットワークを経由して汎用パソコンまたは専
用受信機に配信される音楽コンテンツ、固体メモリなど
を記録媒体として備えた携帯音楽プレーヤまたは携帯電
話機向けの音楽コンテンツ、自動演奏機能をもつアコー
スティック楽器、電子楽器、カラオケ再生機向けの音楽
コンテンツの制作に適した音響信号の符号化技術に関す
る。

【０００２】

【従来の技術】音響信号を符号化する技術として、ＰＣ
Ｍ（Pulse Code Modulation）の手法は最も普及してい
る手法であり、現在、オーディオＣＤなどの記録方式と
して広く利用されている。このＰＣＭの手法の基本原理
は、アナログ音響信号を所定のサンプリング周波数でサ
ンプリングし、各サンプリング時の信号強度を量子化し
てデジタルデータとして表現する点にあり、サンプリン
グ周波数や量子化ビット数を高くすればするほど、原音
を忠実に再現することが可能になる。ただ、サンプリン
グ周波数や量子化ビット数を高くすればするほど、必要
な情報量も増えることになる。そこで、できるだけ情報
量を低減するための手法として、信号の変化差分のみを
符号化するＡＤＰＣＭ（Adaptive Differential Pulse
Code Modulation）の手法も用いられている。

【０００３】しかし、近年では、ネットワークを経由し
て配信される音楽コンテンツあるいは携帯音楽プレーヤ
に収納される音楽コンテンツの条件として、ＰＣＭデー
タに比べてデータ量が少なく同程度の品質が要求され、
これに対応するためにＭＰ３（MPEG-1 layer-3）などが
活用されている。ＭＰ３はＰＣＭと同様に波形符号化方
式の一つで、ＣＤに比べ１／１０程度のデータ量で同程
度の品質が得られると言われている。しかし、現在検討
されている携帯電話・ＰＨＳに携帯音楽プレーヤ（次世
代ウォークマン（登録商標））としての機能を搭載させ
る場合、現状の数十kbpsワイヤレス通信網のインフラで
はＭＰ３はデータ量が大きすぎ、そのためには圧縮率を
更に上げる必要が生じる。

【０００４】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたＭＩＤＩ（Musical Instrume
nt Digital Interface）規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このＭＩＤＩ規格による符号データ（以下、ＭＩＤ
Ｉデータという）は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このＭＩＤＩデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したＭＩ
ＤＩ音源が別途必要になる。しかしながら、上述したＰ
ＣＭやＭＰ３の手法で音を記録する場合に比べて、情報
量が極めて少なくて済むという特徴を有し、その符号化
効率の高さが注目を集めている。このＭＩＤＩ規格によ
る符号化および復号化の技術は、現在、パーソナルコン
ピュータを用いて楽器演奏、楽器練習、作曲などを行う
ソフトウェアに広く採り入れられており、カラオケ、ゲ
ームの効果音といった分野でも広く利用されている。特
に再生時にテンポやトーンを変更する要求があると共
に、新曲を通信回線でダウンロード再生できる通信カラ
オケの分野ではＭＩＤＩ方式が主流になってきている。

【０００５】

【発明が解決しようとする課題】そのため、音楽コンテ
ンツ作成のためにもＭＩＤＩ方式を適用できることが好
ましい。ＭＩＤＩ方式の作成方法としては、以下の３通
りがあり、それぞれ一長一短がある。第１の方法は、楽
譜の情報をＭＩＤＩデータに手作業で打ち込み、演奏上
の表情（強弱など）を手入力編集する方法である。第１
の方法によれば、和音・単音を問わず楽譜に忠実に音符
の時刻、長さ、ノートナンバー（音階）を入力でき、パ
ート譜があればマルチトラックで正確に入力できる、入
力されたデータは楽譜出版にも活用でき、符号化効率が
良い等の利点があるが、楽譜に記載のないベロシティ情
報（音の強弱）については入力が困難で、演奏が譜面通
りの揺らぎのない無味乾燥な音楽になりがちであるた
め、音楽作品として鑑賞する用途に向かない、という問
題がある。

【０００６】第２の方法は、電子ピアノ、キーボード、
ギター、パーカッション・ドラム（最近ではサイレント
・バイオリン、クラリネット（サイレントシリーズはヤ
マハ（株）の登録商標）などもある）などＭＩＤＩデー
タ出力可能な電子楽器でパソコンと接続しながらミュー
ジシャンに生演奏を行ってもらい、パソコン上のシーケ
ンサーソフトでリアルタイムに各楽器からのＭＩＤＩデ
ータを取り込む方法である。第２の方法によれば、演奏
者の表現がベロシティデータとして定量的に記録でき、
楽器によってはペダルを踏んだ等の制御情報も付加され
るため、編集を若干加えれば完成度の高い音楽作品を制
作できるが、対応楽器が限定され、現状では鑑賞に耐え
得るのはピアノ作品にとどまる、演奏者はＭＩＤＩ音源
出力の音で自分の演奏した音をモニターすることにな
り、アコースティック楽器のように楽器の振動を体感で
きないため、不自然な演奏形態で音楽を表現することに
なる、等の問題が生じる。

【０００７】第３の方法は、演奏を録音することにより
得られる音響信号に対して、所定の手法で解析を行うこ
とにより、その構成要素となる周期信号を抽出し、抽出
した周期信号をＭＩＤＩデータを用いて符号化する方法
である。例えば、特開平１０−２４７０９９号公報、特
開平１１−７３１９９号公報、特開平１１−７３２００
号公報、特開平１１−９５７５３号公報、特開２０００
−９９００９号公報、特開２０００−９９０９３号公
報、特願平１１−５８４３１号明細書、特願平１１−１
７７８７５号明細書、特願平１１−３２９２９７号明細
書には、任意の時系列信号について、構成要素となる周
波数を解析し、その解析結果からＭＩＤＩデータを作成
することができる種々の方法が提案されている。第３の
方法によれば、ＭＩＤＩ楽器などを用いた不自然な環境
でなく、コンサートホールなど自然な状態で演奏された
録音信号から演奏表現情報を獲得できるため、ベロシテ
ィなどの演奏制御情報に関しては得られる精度が高いと
いう利点がある。しかし、信号内のノイズ・ゆらぎなど
の影響を受け易く、ゆらぎにより音の高さを誤認識した
り、特に音符の長さを正確に検出するのが難しい。ま
た、和音および倍音との識別を信号処理だけで完璧に行
うことが難しく、特に金管楽器など倍音レベルが基本音
より高い音源や、ドラムなど雑音に富むリズム楽器に対
しては解析が難しく、音量の高いリズム楽器が鳴ってい
る音楽からメロディーを検出するのは困難である。ま
た、マルチトラックＭＩＤＩデータ作成については、ア
ンサンブル演奏録音信号から音源分離して符号化するこ
とが困難である等の問題がある。

【０００８】本発明は、上記のような各方法の欠点を補
い、演奏者の個性を反映するために演奏録音したデータ
を用いながらも、楽譜に忠実な音楽コンテンツを制作す
ることが可能な再生用符号化データ作成方法を提供する
ことを課題とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、本発明の第１の態様は、録音された音響信号を基
に、発音の時刻、長さ、音の高さ、音の強さの情報を備
えた音符の集合で構成される第１の符号化データ（ＭＩ
ＤＩ符号化データ）を作成し、演奏に用いられた楽譜に
記載された音符を忠実に符号化して、第２の符号化デー
タ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化デ
ータに含まれる音符と、第２の符号化データに含まれる
音符を時間的な位置関係と音の高さの類似性により対応
付け、第１の符号化データに含まれる音符であって、第
２の符号化データに含まれる音符との対応付けが行なわ
れなかった音符を、第１の符号化データから削除するよ
うに、第１の符号化データに対して補正を施すことによ
り、再生用符号化データを作成するようにしたことを特
徴とする。本発明の第２の態様は、録音された音響信号
を基に、発音の時刻、長さ、音の高さ、音の強さの情報
を備えた音符の集合で構成される第１の符号化データ
（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた
楽譜に記載された音符を忠実に符号化して、第２の符号
化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符
号化データに含まれる音符と、第２の符号化データに含
まれる音符を時間的な位置関係と音の高さの類似性によ
り対応付け、第２の符号化データに含まれる音符であっ
て、第１の符号化データに含まれる音符との対応付けが
行なわれた音符に対して、その発音の時刻、長さ、音の
強さの情報を、第１の符号化データに含まれる対応する
音符の発音の時刻、長さ、音の強さの情報にそれぞれ置
換するように、第２の符号化データに対して補正を施す
ことにより、再生用符号化データを作成するようにした
ことを特徴とする。本発明の前記２つの態様によれば、
演奏録音を基にしたデータに対して、楽譜を基にしたデ
ータで補正を行うようにする、あるいは楽譜を基にした
データに対して、演奏録音を基にしたデータで補正を行
うようにしたので、演奏者の個性を反映させながらも、
楽譜に忠実な音楽コンテンツを制作することが可能とな
る。

【００１０】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。本発明による符号化デ
ータ作成方法は、演奏に基づくＭＩＤＩデータに補正を
かける方法と楽譜に基づくＭＩＤＩデータに補正をかけ
る方法に大別され、前者については１つの楽器によるソ
ロ演奏を１つのトラックに符号化するシングルトラック
を事例に用いて説明し、後者についてはボーカル付き合
奏を各パートごとに別々のトラックに記録するマルチト
ラックを事例に用いて説明する。まず最初に、前者の方
法についてシングルトラックの事例を用いて説明する。

【００１１】（演奏に基づくＭＩＤＩデータに補正をか
ける方法、シングルトラック例）図１は、シングルトラ
ックすなわち１つの楽器によるソロ演奏の場合の符号化
データ作成方法の概要を示すフローチャートである。な
お、ここでは、符号化の形式としてＭＩＤＩ規格を採用
した例を用いて説明する。図１に示す再生用符号化デー
タ作成方法では、同一の楽曲に対して演奏録音したＰＣ
Ｍデータと楽譜を用いて、それぞれを基にＭＩＤＩデー
タを作成する。そして、演奏から得られるＭＩＤＩデー
タを基本にして、楽譜から得られるＭＩＤＩデータを利
用して補正することにより最終的な再生用符号化データ
を得るようにしている。

【００１２】具体的には、まず、ステップＳ１におい
て、演奏録音ＰＣＭデータに対してＭＩＤＩ符号化処理
を行う。これは、上記従来技術の第３の方法で説明した
ように、演奏を録音することにより得られる音響信号に
対して、所定の手法で解析を行うことにより、その構成
要素となる周期信号を抽出し、抽出した周期信号をＭＩ
ＤＩデータを用いて符号化することにより行なわれる。
一方、ステップＳ２では、同じ楽曲の楽譜からＭＩＤＩ
データをキーボード等から打込むことにより手作業で入
力する。これは上記従来技術の第１の方法で説明したも
のである。ステップＳ１の処理により得られるＭＩＤＩ
データとステップＳ２により得られるＭＩＤＩデータは
同一形式のＭＩＤＩデータであるが、両者を区別するた
めに、以降はステップＳ１の符号化処理により得られる
ＭＩＤＩデータをＭＩＤＩ符号化データ、ステップＳ２
の打込み入力により得られるＭＩＤＩデータをＭＩＤＩ
打込みデータと呼ぶことにする。

【００１３】ステップＳ１、ステップＳ２において２つ
の異なる方法により同一楽曲のＭＩＤＩデータが得られ
たら、ステップＳ３において、両ＭＩＤＩデータにおけ
る音符の対応付け処理を行う。ステップＳ３以降の具体
的な処理について図２を用いて詳細に説明する。図２
（ａ）にステップＳ１の処理により、演奏録音ＰＣＭデ
ータから得られたＭＩＤＩ符号化データを示す。図２
（ａ）はＭＩＤＩ符号化データのイメージを捉え易いよ
うに、各音符を下向きの三角形で模式化したものであ
り、横軸は時間をＭＩＤＩ規格のデルタタイムの単位で
表現し、縦軸は三角形の上辺の位置が音の高さ（ＭＩＤ
Ｉ規格のノートナンバー）、三角形の高さが音の強さ
（ＭＩＤＩ規格のベロシティ）を表している。図２
（ａ）の例では、所定の時間内において１０個の音符が
符号化されたことになる。

【００１４】図２（ｂ）はステップＳ２の処理により、
楽譜を見て人が手作業により入力したＭＩＤＩ打込みデ
ータである。図２（ｂ）の例では、図２（ａ）に示した
ＭＩＤＩ符号化データと同一時間内には、４つの音符が
楽譜に記載されていたことを示している。なお、楽譜で
は各音符の音の強さが記載されていないため、全て同一
のベロシティで入力される。したがって、図２（ｂ）に
おいては、ベロシティを示す三角形の高さは全て同一と
なっている。

【００１５】ステップＳ３では、図２（ａ）に示すよう
なＭＩＤＩ符号化データに含まれる音符と、図２（ｂ）
に示すようなＭＩＤＩ打込みデータに含まれる音符の対
応付け処理を行う。具体的には、ノートナンバーが類似
しており、時間がわずかでも重なっている音符を、同一
の音符であるとみなして対応付ける。ここで音符の時間
の重なり判断に関しては、通常これら２種の音符群は異
なるテンポ設定で作成されるため、全音符の総演奏時間
が一致するようにあらかじめ時間軸の補正をかけた上で
行う。次にノートナンバーの類似性の判断については、
ノートナンバーが同一もしくはちょうど１オクターブず
れている状態をいう。例えば、ＭＩＤＩ符号化データの
「ド」の音符に対しては、ＭＩＤＩ打込みデータにおけ
る、当該「ド」と同じ高さの「ド」、１オクターブ高い
「ド」、１オクターブ低い「ド」の３つが対応付けられ
ることになる。このような対応付けは、楽器音などでは
基本音の周波数の整数倍の倍音成分が顕著に発生し基本
音が不鮮明になることがあるためで、基本音に修正する
ために行われる。また、ＭＩＤＩ符号化データ内の音符
は演奏状態により半音程度ずれている場合があるので、
これを補正するためにノートナンバーを同一とみなす範
囲を半音分（ノートナンバー１つ分）まで許容するよう
な設定にしておくこともできる。この場合、例えば
「ド」の音に対しては、「シ」、「ド＃」の音が対応付
けられることになる。これは、１オクターブずれた音符
についても同様である。

【００１６】図２（ａ），（ｂ）に示す例では、１オク
ターブずれた音符が存在せず（図２において１オクター
ブは１２目盛分）、時間が重なるもので音階が半音ずれ
ているものも存在しないので、ノートナンバーが同一の
ものについてのみ対応付けが行なわれる。例えば、図２
（ａ）と図２（ｂ）に示した各音符の対応付け処理を行
うと、図２（ｄ）に示すような対応関係が得られること
になる。このようにして、ステップＳ３においては、自
動的にＭＩＤＩ符号化データと、ＭＩＤＩ打込みデータ
の対応付けを行うことができるが、演奏者がビブラート
等、演奏効果上あえて楽譜通りでなく演奏したような場
合、自動的な対応付けがかえって演奏の独創性を削いで
しまうことがある。そのような場合、ここでは、対応付
けを修正することを可能にしている。具体的には、図２
（ａ）、（ｂ）に示すような模式化したＭＩＤＩデータ
を表示可能にしておき、ステップＳ３の処理により対応
付けられた音符同士を同色で表示する。例えば、図２
（ａ）に示す音符７を表す三角形と音符１０を表す三角
形の内部は、図２（ｂ）に示す音符３を表す三角形の内
部と同色で表示されることになる。対応付けを変更する
場合は、例えば、修正者が図２（ｂ）の音符３を指定し
た後、図２（ａ）の音符８を指定すると、ＭＩＤＩ符号
化データの音符８と、ＭＩＤＩ打込みデータの音符３が
対応付けられることになる。

【００１７】ステップＳ４においては、ＭＩＤＩ符号化
データにおける対応音符の統合を行う。図２の例では、
ＭＩＤＩ打込みデータ内の音符３に対してＭＩＤＩ符号
化データ内の音符７、音符１０が対応しているので、音
符７と音符１０を１つに統合する。これは、音符７の終
了時刻を音符１０の終了時刻に変更することにより、図
２（ｃ）に示すような音符７を作成し、音符１０を削除
することにより行なわれる。

【００１８】図２の例では、ここで対応音符の統合を行
っているが、対応音符の関係によっては、対応音符の分
解が行われることもある。対応音符の分解は、図２の例
とは逆に、ＭＩＤＩ符号化データの１つの音符とＭＩＤ
Ｉ打込みデータの複数の音符が対応している場合に行な
われる。この場合、ＭＩＤＩ符号化データ内の音符は、
対応するＭＩＤＩ打込みデータ内の音符の数と同数に分
解される。このとき、ＭＩＤＩ符号化データ内の分解さ
れる各音符の発音長さは、対応するＭＩＤＩ打込みデー
タ内の音符の発音長さの比率と同率になるように分けら
れる。また、分解される各音符の音の強さは、分解前の
音符と同一とする。

【００１９】次に、ステップＳ５において、ステップＳ
３で行った対応付けに従って、ＭＩＤＩ符号化データの
うち、対応するものがなかった音符を削除する。図２
（ｃ）に示したＭＩＤＩ符号化データから、対応してい
ない音符を削除すると、図２（ｅ）に示す３つの音符の
みが残ることになる。

【００２０】次に、ステップＳ６において、ＭＩＤＩ打
込みデータのうち、ＭＩＤＩ符号化データと対応しなか
った音符を、ＭＩＤＩ符号化データに追加する処理を行
うが、この処理は演奏内容に意図的な変更を加えること
になるため必須ではない。上述のように、図２（ｂ）に
示したＭＩＤＩ打込みデータのうち、音符４はＭＩＤＩ
符号化データに対応しなかったので、この音符４を図２
（ｅ）に示したＭＩＤＩ符号化データに追加することに
なる。この結果、ＭＩＤＩ符号化データは図２（ｆ）に
示すようになる。図２（ｆ）においては、ＭＩＤＩ符号
化データに元々存在した音符４と区別するために、ＭＩ
ＤＩ打込みデータから追加される音符４を「追４」と表
記する。「追４」の時間は、この音符と時間的に重なる
図２（ｂ）の音符３に対応する図２（ｃ）の音符７と重
なるように決定され、「追４」の強さとしては、図２
（ｂ）で設定されている値をそのまま用いているが、時
間的に重なる図２（ｃ）の音符７の強度を考慮して補正
をする方法もとれる。

【００２１】このようにしてＭＩＤＩ符号化データを基
本に補正されたＭＩＤＩデータが得られたら、ステップ
Ｓ７において音源制御データの付加が行なわれ、再生用
符号化データとしてシングルトラックＭＩＤＩデータが
得られる。ステップＳ７における音源制御データの付加
とは、各音符を発音する際の音色を決定する処理であ
り、具体的にはＭＩＤＩ音源が用意している音色を特定
する情報を各音符に付加する処理などを行う。この処理
は使用するＭＩＤＩ音源等により異なり省略されること
もある。

【００２２】（楽譜に基づくＭＩＤＩデータを補正する
方法、マルチトラック例）次に、ボーカル付き合奏を各
パートごとに別々のトラックに記録するマルチトラック
の場合について説明する。図３は、マルチトラックの場
合の符号化データ作成方法の概要を示すフローチャート
である。図３に示す符号化データ作成方法でも、シング
ルトラックの場合と同様に、同一の楽曲に対して演奏録
音したＰＣＭデータと楽譜を用いて、それぞれを基にＭ
ＩＤＩデータを作成する。ただし、楽譜を基にしたＭＩ
ＤＩデータは楽器パートごとに別々のトラックに作成さ
れる。そして、楽譜から得られる各トラックのＭＩＤＩ
データを、演奏から得られるＭＩＤＩデータを利用して
補正すると共に、演奏から得られるＭＩＤＩデータか
ら、楽譜から得られる各トラックのＭＩＤＩデータの音
符を削除していくことによりボーカルに対応する音符を
抽出する。これによりボーカルに対応したトラックのＭ
ＩＤＩデータと、楽器パートに対応したＭＩＤＩデータ
とが得られることになる。

【００２３】ステップＳ１１では、シングルトラックの
場合と同様に、演奏録音ＰＣＭデータが入力される。た
だし、このＰＣＭデータは楽譜に記載されていないボー
カル成分が記録されたものとなっている。ステップＳ１
２では、楽譜を基にパート別にＭＩＤＩデータを手作業
で入力する。ステップＳ１２では、各楽器パートのデー
タをそれぞれ異なるトラックに入力するようにしてい
る。

【００２４】ステップＳ１１、ステップＳ１２において
２つの異なる方法により同一楽曲についてのＭＩＤＩデ
ータが得られたら、ステップＳ１３において、両ＭＩＤ
Ｉデータに含まれる音符の対応付け処理を行う。ステッ
プＳ１３以降の具体的な処理について図４を用いて詳細
に説明する。図４（ａ）にステップＳ１１の処理によ
り、演奏録音ＰＣＭデータから得られたＭＩＤＩ符号化
データを示す。

【００２５】図４（ｂ）はステップＳ１２の処理によ
り、楽譜を見て人が手作業により入力したＭＩＤＩデー
タである。ステップＳ１２では、各パート別に入力が行
われるため、楽器パート数分のＭＩＤＩデータが作成さ
れることになるが、ここでは、代表してそのうちの１つ
のトラックにおけるＭＩＤＩデータを示している。な
お、説明の便宜上、図４（ａ）（ｂ）に示したＭＩＤＩ
データは、図２（ａ）（ｂ）に示したものと全く同一と
なっている。

【００２６】ステップＳ１３では、図４（ａ）に示すよ
うなＭＩＤＩ符号化データと、図４（ｂ）に示すような
ＭＩＤＩ打込みデータの対応付け処理を行う。ここで、
行なわれる処理は、図１のステップＳ３で説明した処理
と全く同一であるので説明は省略する。この結果、図２
（ｅ）に示すような対応関係が得られることになる。こ
の対応関係をこのまま利用することもできるが、演奏に
基づくＭＩＤＩデータに補正をかける方法の場合と同様
に対応付けを修正することも可能である。

【００２７】続いて、ステップＳ１４において、ＭＩＤ
Ｉ符号化データのうち、ＭＩＤＩ打込みデータと対応す
る音符を削除する。例えば、図４（ａ）に示したＭＩＤ
Ｉ符号化データからは、図４（ｅ）の対応表に示した音
符１，４，７，１０が削除され、図４（ｃ）に示すよう
な音符が残ることになる。これにより、図４（ａ）に示
したＭＩＤＩ符号化データからは、図４（ｂ）に示した
ある楽器に対応した音符が削除されたことになる。

【００２８】次に、ステップＳ１５において、ＭＩＤＩ
打込みデータのうち、ＭＩＤＩ符号化データと対応する
音符の表情補正処理を行う。音符の表情補正とは、具体
的には、ＭＩＤＩ打込みデータの各音符のノートオン時
刻、ノートオフ時刻、ベロシティ値を、ＭＩＤＩ符号化
データの対応音符のノートオン時刻、ノートオフ時刻、
ベロシティ値に各々変更することである。これにより、
楽譜を基に打込まれた際には、作曲家の指示通りに指定
された演奏テンポが演奏者の意図通りの変化が施され、
図４（ｂ）のように全て均一に入力されたＭＩＤＩ打込
みデータの各音符のベロシティ値が、演奏者による音の
強さの抑揚に基づいた変化が与えられることになる。た
だし、図４（ｂ）に示すＭＩＤＩ打込みデータの音符４
のように対応する音符がない場合は、ベロシティの変更
は行われない。ステップＳ１５の処理により図４（ｄ）
に示すようなＭＩＤＩ打込みデータが得られることにな
る。

【００２９】図４のように、ＭＩＤＩ符号化データの複
数の音符７，１０とＭＩＤＩ打込みデータの１つの音符
３が対応しているような場合、対応音符の分解が行われ
るように設定しておくこともできる。具体的には、ＭＩ
ＤＩ打込みデータ内の音符は、対応するＭＩＤＩ符号化
データ内の音符の数と同数に分解される。このとき、Ｍ
ＩＤＩ打込みデータ内の分解される各音符の発音長さ
は、対応するＭＩＤＩ符号化データ内の音符の発音長さ
の比率と同率になるように分けられる。また、分解され
る各音符の音の強さは、ＭＩＤＩ符号化データ内の各々
対応する音符と同一にする。

【００３０】ステップＳ１３〜ステップＳ１５の処理
は、楽器パート数分、すなわち、ステップＳ１２により
入力されたＭＩＤＩ打込みデータのトラック数分だけ繰
り返し行なわれる。ただし、ステップＳ１４の対応音符
の削除処理については、１つのトラックしかないＭＩＤ
Ｉ符号化データについて繰り返し行われ、ステップＳ１
５の対応音符の表情補正処理については、各トラックの
ＭＩＤＩ打込みデータに対して１回だけ行われる。例え
ば、図４（ｄ）に示したある楽器パートのＭＩＤＩ打込
みデータは、これに音色データを付加することにより最
終的なマルチトラックＭＩＤＩデータを構成するトラッ
クデータとなるが、図４（ｃ）に示したＭＩＤＩ符号化
データは最終的なものではなく、再度別のトラックのＭ
ＩＤＩ打込みデータと対応付けが行なわれ、対応音符の
削除処理が行われることになる。したがって、ステップ
Ｓ１４の処理を繰り返すことにより、ＭＩＤＩ符号化デ
ータからは次々に各楽器に対応した音符が削除され、最
終的にボーカルに対応する音符だけが残ることになる。
また、ステップＳ１５の処理を各トラックのＭＩＤＩ打
込みデータに対して行うことにより、各楽器パートの音
符の強弱が決定されることになる。例えば、全体でＮト
ラックからなるマルチトラックＭＩＤＩデータを作成す
る場合、ステップＳ１２のデータ打込み処理は（Ｎ−
１）トラック分行なわれ、ステップＳ１３〜ステップＳ
１５の処理はそれぞれ（Ｎ−１）回繰り返され、最終的
に第１トラックがボーカル、第２〜第Ｎトラックがそれ
ぞれ各楽器パートに対応したマルチトラックＭＩＤＩデ
ータが得られることになる。

【００３１】さらに、このマルチトラックＭＩＤＩデー
タには、ステップＳ１６において音源制御データの付加
が行なわれる。これは、演奏に基づくＭＩＤＩデータを
補正する方法の場合のステップＳ７の処理を各トラック
に対して同様に行うことにより実現される。

【００３２】以上、本発明の好適な実施形態について説
明したが、本発明は上記実施形態に限定されず、種々の
変形が可能である。第２の楽譜に基づくＭＩＤＩデータ
を補正する方法は、ボーカルを含むマルチトラックの場
合について説明したが、もちろんボーカルを含まない場
合でも、シングルトラックの場合でも適用可能である。
シングルトラックの場合にはステップＳ１４の処理が不
要になる。逆に、第１の演奏に基づくＭＩＤＩデータを
補正する方法をマルチトラックの場合や、ボーカルを含
む場合にも適用可能である。前者の第１の演奏に基づく
ＭＩＤＩデータを補正する方法をマルチトラックの場合
に適用するには、ステップＳ２でステップＳ１２と同様
なマルチトラック入力を行い、ステップＳ３で各トラッ
クごとに対応付けを行い、対応付けられた再生用符号化
データをマルチトラック形式で出力するようにすればよ
い。後者の第１の演奏に基づくＭＩＤＩデータを補正す
る方法をボーカルを含む場合に適用するには、ステップ
Ｓ５で削除された非対応音符を別のトラックに保存して
同様に再生用符号化データをマルチトラック形式で出力
するようにすればよい。

【００３３】更に、上記演奏に基づくＭＩＤＩデータを
補正する方法の場合、ステップＳ４において対応音符を
統合した際に、統合した音符に対してビブラートまたは
ピッチベンド制御情報を付加することも可能である。ま
た、楽譜に基づくＭＩＤＩデータを補正する方法の場合
にも、ＭＩＤＩ打込みデータ内の統合された音符に対し
てビブラートまたはピッチベンド制御情報を付加するこ
ともできる。

【００３４】

【発明の効果】以上、説明したように本発明によれば、
録音された音響信号を基に、発音の時刻、長さ、音の高
さ、音の強さの情報を備えた音符の集合で構成される第
１の符号化データ（ＭＩＤＩ符号化データ）を作成し、
演奏に用いられた楽譜に記載された音符を忠実に符号化
して、第２の符号化データ（ＭＩＤＩ打込みデータ）を
作成し、第１の符号化データに含まれる音符と、第２の
符号化データに含まれる音符を時間的な位置関係と音の
高さの類似性により対応付け、第１の符号化データに含
まれる音符であって、第２の符号化データに含まれる音
符との対応付けが行なわれなかった音符を、第１の符号
化データから削除して、補正した第１の符号化データを
再生用符号化データとして出力するか、または第２の符
号化データに含まれる音符であって、第１の符号化デー
タに含まれる音符との対応付けが行なわれた音符の発音
の時刻、長さ、音の強さの情報を、第１の符号化データ
の対応する音符の発音の時刻、長さ、音の強さの情報に
各々置換することにより、補正した第２の符号化データ
を再生用符号化データとして出力することにより、再生
用符号化データを作成するようにしたので、演奏者の個
性を反映させながらも、楽譜に忠実な音楽コンテンツを
制作することが可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の演奏に基づくＭＩＤＩデータを補正す
る方法をシングルトラック形式に適用した場合のフロー
チャートである。

【図２】シングルトラック形式の場合に、符号化データ
に含まれる音符に対して行われる処理を説明するための
図である。

【図３】本発明の楽譜に基づくＭＩＤＩデータを補正す
る方法をマルチトラック形式に適用した場合のフローチ
ャートである。

【図４】マルチトラック形式の場合に、符号化データに
含まれる音符に対して行われる処理を説明するための図
である。

【符号の説明】

１〜１０・・・音符

Claims (9)

【特許請求の範囲】
1. 【請求項１】演奏を録音することにより得られる時系列
   の音響信号と、前記演奏に用いられた楽譜を用いて、最
   適な再生用符号化データを作成する方法であって、 前記音響信号を基に、発音の時刻、長さ、音の高さ、音
   の強さの情報を備えた音符の集合で構成される第１の符
   号化データを作成する段階と、 前記演奏に用いられた楽譜に記載された音符を忠実に符
   号化して、第２の符号化データを作成する段階と、 前記第１の符号化データに含まれる音符と、前記第２の
   符号化データに含まれる音符を時間的な位置関係と音の
   高さの類似性により対応付ける符号化データ対応付け段
   階と、 前記第１の符号化データに含まれる音符であって、前記
   第２の符号化データに含まれる音符との対応付けが行な
   われなかった音符を、前記第１の符号化データから削除
   する非対応符号化データ補正段階と、 前記補正を施された第１の符号化データを再生用符号化
   データとして出力する再生用符号化データ出力段階と、 を有することを特徴とする再生用符号化データ作成方
   法。
2. 【請求項２】演奏を録音することにより得られる時系列
   の音響信号と、前記演奏に用いられた楽譜を用いて、最
   適な再生用符号化データを作成する方法であって、 前記音響信号を基に、発音の時刻、長さ、音の高さ、音
   の強さの情報を備えた音符の集合で構成される第１の符
   号化データを作成する段階と、 前記演奏に用いられた楽譜に記載された音符を忠実に符
   号化して、第２の符号化データを作成する段階と、 前記第１の符号化データに含まれる音符と、前記第２の
   符号化データに含まれる音符を時間的な位置関係と音の
   高さの類似性により対応付ける符号化データ対応付け段
   階と、 前記第２の符号化データに含まれる音符であって、前記
   第１の符号化データに含まれる音符との対応付けが行な
   われた音符の発音の時刻、長さ、音の強さの情報を、対
   応する前記第１の符号化データに含まれる音符の発音の
   時刻、長さ、音の強さの情報と各々同一になるように変
   更する対応符号化データ補正段階と、 前記補正を施された第２の符号化データを再生用符号化
   データとして出力する再生用符号化データ出力段階と、 を有することを特徴とする再生用符号化データ作成方
   法。
3. 【請求項３】前記非対応符号化データ補正段階が、前記
   第２の符号化データに含まれる音符であって、前記第１
   の符号化データに含まれる音符との対応付けが行なわれ
   なかった音符に対して、その発音の時刻、長さ、音の強
   さの情報に適宜修正を施し、前記第１の符号化データに
   追加するような音符追加段階を有することを特徴とする
   請求項１に記載の再生用符号化データ作成方法。
4. 【請求項４】前記符号化データ対応付け段階は、音の高
   さの類似性の条件を、同一音高とみなされる範囲および
   １オクターブ異なる同一音高とみなされる範囲とするも
   のであり、前記第１の符号化データに含まれる音符と当
   該音符に対応付けられた前記第２の符号化データに含ま
   れる音符の音の高さが１オクターブ異なる場合には、前
   記第１の符号化データに含まれる音符の音の高さを、前
   記第２の符号化データに含まれる音符の音の高さに変更
   するものであることを特徴とする請求項１または２に記
   載の再生用符号化データ作成方法。
5. 【請求項５】前記符号化データ対応付け段階が、前記第
   １の符号化データに含まれる複数の音符と、前記第２の
   符号化データに含まれる１つの音符を対応付けるもので
   あり、さらに、前記第１の符号化データに含まれる複数
   の音符を１つの音符に統合して、統合された音符の音の
   高さを、前記対応付けられた第２の符号化データに含ま
   れる１つの音符の高さとする音符統合段階を有すること
   を特徴とする請求項１に記載の再生用符号化データ作成
   方法。
6. 【請求項６】前記符号化データ対応付け段階が、前記第
   １の符号化データに含まれる１つの音符と、前記第２の
   符号化データに含まれる複数の音符を対応付けるもので
   あり、さらに、前記第１の符号化データに含まれる１つ
   の音符を、当該音符に対応する第２の符号化データに含
   まれる音符の数と同数に分解し、分解された各音符の発
   音長さは、対応する第２の符号化データに含まれる音符
   の各長さに応じて決定し、分解された各音符の音の強さ
   は、全て分解前の音符と同一にする音符分解段階を有す
   ることを特徴とする請求項１に記載の再生用符号化デー
   タ作成方法。
7. 【請求項７】前記符号化データ対応付け段階が、前記第
   ２の符号化データに含まれる１つの音符と、前記第１の
   符号化データに含まれる複数の音符を対応付けるもので
   あり、さらに、前記第２の符号化データに含まれる１つ
   の音符を、当該音符に対応する第１の符号化データに含
   まれる音符の数と同数に分解し、分解された各音符の発
   音長さは、対応する第１の符号化データに含まれる音符
   の各長さに応じて決定し、分解された各音符の音の強さ
   は、前記第１の符号化データの各々対応する音符と同一
   にする音符分解段階を有することを特徴とする請求項２
   に記載の再生用符号化データ作成方法。
8. 【請求項８】前記再生用符号化データ出力段階が、前記
   第１の符号化データに含まれる音符であって、前記第２
   の符号化データに含まれる音符との対応付けが行なわれ
   なかった音符を、他の再生用符号化データとは異なるト
   ラックで前記再生用符号化データに付加するような非対
   応符号化データ追加段階を有し、複数のトラックで構成
   される再生用符号化データを出力するようにしているこ
   とを特徴とする請求項１または２に記載の再生用符号化
   データ作成方法。
9. 【請求項９】前記第２の符号化データを作成する段階
   が、楽譜のパートに基づいて複数のトラックで構成され
   る符号化データを作成するようにし、 前記符号化データ対応付け段階が、前記第１の符号化デ
   ータに含まれる複数の音符と、前記第２の符号化データ
   の各トラックに含まれる音符を対応付けることにより、
   前記第１の符号化データを複数のトラックに分離するよ
   うなトラック分離段階を有し、 前記再生用符号化データ出力段階が、複数のトラックで
   構成される再生用符号化データを出力するようにしてい
   ることを特徴とする請求項１に記載の再生用符号化デー
   タ作成方法。