JP2003308067A

JP2003308067A - ディジタル楽譜の音符とその楽譜のリアリゼーションとの間のリンクを生成する方法

Info

Publication number: JP2003308067A
Application number: JP2003082227A
Authority: JP
Inventors: Werner Kriechbaum; ヴァーナー・クライヒバウム; Gerhard Stenzel; ゲルハルト・ステンツェル
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2002-04-09
Filing date: 2003-03-25
Publication date: 2003-10-31
Anticipated expiration: 2023-03-25
Also published as: US20030188626A1; US6768046B2; JP4225812B2

Abstract

(57)【要約】【課題】ディジタル楽譜の音符とその楽譜のリアリゼ
ーションの間のリンクを生成する方法を提供すること。【解決手段】本発明は、ディジタル楽譜の音符とその
楽譜のリアリゼーションの間のリンクを生成する方法に
関し、連続する時間間隔において開始する楽譜の音符の
数を決定することによって、オンセット曲線を表す第１
のデータを生成するステップと、前記オンセット曲線を
フィルタにかけるステップであって、フィルタにかけら
れた前記オンセット曲線が第１の時間間隔の第１の系列
を表し、前記第１の時間間隔のそれぞれは有意なオンセ
ットを有する、前記オンセット曲線をフィルタにかける
ステップと、前記リアリゼーションについて第２の時間
間隔の第２の系列を生成するステップであって、各第２
の時間間隔は前記リアリゼーションの有意な動的変化を
有する、前記リアリゼーションについて第２の時間間隔
の第２の系列を生成するステップと、前記リンクを生成
するために、前記第１および第２の系列をマッピングす
るステップとを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音楽のディジタル
表現の分野、および利用者がその音楽の選択されたリア
リゼーションを入力することを可能にする技術に関す
る。

【０００２】

【従来の技術】今日のオーディオ・データのほとんど
は、専門家レベルにおいても消費者レベルにおいても、
ディジタル・フォーマットで配布され、記憶されてい
る。これによって、オーディオ・ファイルの伝送および
オーディオ・ファイルの修正など、録音済みオーディオ
材料の一般的な取り扱いが大幅に改善されている。

【０００３】オーディオ・データ・ファイル間をナビゲ
ートするための技術も開発されている。例えば、コンパ
クト・ディスク（ＣＤ）のナビゲーション手段として、
トラック数および時間が使用されている。プログラム・
セグメント間をナビゲートするための、またそれ以外に
オーディオ・ファイルを処理するための、様々な高度技
術が、従来技術から知られている。

【０００４】米国特許第６，１９９，０７６号は、動的
プログラム選択コントローラを含むオーディオ・プログ
ラム・プレイヤを示している。これは、ホストから受け
取ったプログラム・セグメントを再生するための加入者
位置にある再生ユニットと、プログラム・セグメント間
でインタラクティブにナビゲートするためのメカニズム
を含む。

【０００５】米国特許第５，３９３，９２６号は、仮想
音楽システムである。これには、利用者が演奏すると、
それに応答して複数の信号を生成するマルチエレメント
・アクチュエータが含まれている。このシステムはま
た、制御信号に応答してオーディオ・トーンを生成する
オーディオ・シンセサイザを備えている。マルチエレメ
ント・アクチュエータのために楽譜を記憶するメモリが
あり、記憶された楽譜は、一続きの主音、および関連す
る一続きの和声音配列を含む。一続きの和声音配列のそ
れぞれは、主音の異なる１つに対応し、和声音を含まな
いか、あるいは１つまたは複数の和声音を含む。この楽
器はまた、マルチエレメント・アクチュエータから複数
の信号を受け取り、それらから第１の制御信号のセット
を生成するディジタル・プロセッサも含む。ディジタル
・プロセッサは、記憶されている楽譜中の一続きの主音
の中から、複数の信号のうち第１の信号に対応する主音
を識別するようにプログラムされている。ディジタル・
プロセッサはまた、複数の信号の残りのセットを、選択
された主音に関連する和声音があるならばどのような和
声音にもマップするようにプログラムされている。さら
に、ディジタル・プロセッサは、識別した主音、および
複数の信号のうちの信号がマップされた前記和声音か
ら、第１の制御信号のセットを生成するようにプログラ
ムされている。この第１の制御信号セットは、シンセサ
イザに、識別した主音およびマップされた和声音を表す
サウンドを生成させる。

【０００６】米国特許第５，３９０，１３８号は、オー
ディオ・オブジェクトを様々なマルチメディア・オブジ
ェクトに接続することによって、記憶装置およびディス
プレイを備えたコンピュータを用いた、マルチメディア
・プレゼンテーションのオブジェクト指向シミュレーシ
ョンを可能にするためのシステムである。少なくとも１
つの接続オブジェクトおよび少なくとも１つのオーディ
オ・オブジェクトを含む、複数のマルチメディア・オブ
ジェクトがディスプレイ上に作成される。少なくとも１
つのオーディオ・オブジェクトを含む、マルチメディア
・オブジェクトが表示される。マルチメディア・オブジ
ェクトおよびオーディオ・オブジェクトは、マルチメデ
ィア・プレゼンテーションを生成する。

【０００７】米国特許第５，３８８，２６４号は、ＭＩ
ＤＩ（楽器ディジタル・インターフェース）オブジェク
トを様々なマルチメディア・オブジェクトに接続するこ
とによって、記憶装置およびディスプレイを備えたコン
ピュータを用いた、マルチメディア・プレゼンテーショ
ンのオブジェクト指向シミュレーションを可能にするた
めのシステムである。記憶装置中の少なくとも１つの接
続オブジェクトおよび少なくとも１つのＭＩＤＩオブジ
ェクトを含む、複数のマルチメディア・オブジェクトが
ディスプレイ上に作成される。マルチメディア・オブジ
ェクトとＭＩＤＩオブジェクトが接続され、それらの間
で情報が送られて、マルチメディア・プレゼンテーショ
ンが生成される。

【０００８】米国特許第５，３１７，７３２号は、デー
タ処理システム中で実行されるプロセスであって、第１
のメモリから第２のメモリに再配置すべき、複数のマル
チメディア・プレゼンテーションのうちの１つを選択す
る入力を受け取るステップ、選択されたマルチメディア
・プレゼンテーションに対応する複数のリソースを認識
するために選択されたマルチメディア・プレゼンテーシ
ョンのリンクされているデータ構造を走査するステッ
プ、および識別した複数のリソースに対応する選択され
たマルチメディア・プレゼンテーション内の名前および
位置のリストを生成するステップを含む。このプロセス
はまた、生成したリストの上の名前を変えるステップ、
選択されたマルチメディア・プレゼンテーション中の識
別した複数のリソースの名前を生成したリスト上の新し
い名前に変更するステップ、および選択されたマルチメ
ディア・プレゼンテーションと、生成したリスト上で識
別したリソースを第２のメモリに移動するステップを含
む。

【０００９】米国特許第５，２６２，９４０号は、ポー
タブル・オーディオ／オーディオ・ビジュアル媒体追跡
デバイスである。

【００１０】米国特許第５，２４７，１２６号は、画像
再生装置、画像情報記録媒体、および伴奏装置である。

【００１１】米国特許第５，２０８，４２１号は、ＭＩ
ＤＩファイルのオーディオ編集のための方法および装置
である。この発明を利用することによって、マッチする
ノート・オンまたはノート・オフ・メッセージをファイ
ルまたはファイル・セクション中に自動的に挿入して、
そのような編集によって生じた不一致を修正することに
より、ソースＭＩＤＩファイル、コピーまたは除去され
たセクション、またはターゲット・ファイルの完全性を
確実にすることができる。さらに、プログラム・ステー
タス・メッセージが、ソース・ファイル、コピーまたは
除去されたセクション、またはターゲット・ファイル中
に自動的に挿入されることによって、ディジタル・オー
ディオ・データを編集することにより得ることができる
結果と一致する結果が生み出される。利用者が複雑なＭ
ＩＤＩシーケンサを学ぶ必要なく、ＭＩＤＩファイルを
選択的に編集することができるように、タイミング情報
が選択的に追加または維持される。

【００１２】米国特許第５，１５３，８２９号は、情報
処理装置である。この発明は、入力される楽譜、キーボ
ード、および楽音時間情報を、画面上に表示するための
ユニットを有する。また、キーボードおよび楽音時間情
報が、表示ユニット上にそれぞれに表示される位置を指
定するためのユニットもある。さらに、この発明は、キ
ーボードおよび楽音時間情報表示が表示ユニット上に表
示される位置を指定ユニットが指定することによって生
成された音楽情報を記憶するためのユニットを含む。さ
らに、表示ユニットの画面上で楽譜、キーボード、およ
び楽音時間情報の表示を制御するためのユニットがあ
る。このユニットはまた、楽音のパターン、または表示
ユニット上の楽譜の残りの部分の表示を、それぞれ、指
定ユニットによって指定されたキーボードおよび楽音時
間情報の位置に従って、制御するためのものでもある。
最後に、記憶ユニット中に記憶されている音楽情報を読
み込むことによって、楽音を生成するためのユニットが
ある。

【００１３】米国特許第５，１４２，９６１号は、アコ
ースティック楽器の特性を忠実に再生する、システム制
御による楽器上で、音楽を記憶、編曲、操作、および再
生するための方法である。このシステムは、音楽源、中
央処理装置（ＣＰＵ）、および、任意の数のアコーステ
ィックまたはアコースティック・ハイブリッドの楽器と
いう形の、ＣＰＵ制御による複数の楽器トランスデュー
サを含む。一実施形態では、パフォーマンス情報が、音
楽源、ＭＩＤＩコントローラからＣＰＵに送られ、ＣＰ
Ｕ中で編集され、電子信号に変換され、トランスデュー
サ・ドライバによって楽器トランスデューサに送られ
る。別の実施形態では、ディジタルまたはサウンド・テ
ープ媒体中に記憶されている個々のパフォーマンスが、
楽器トランスデューサを通して再生され、または、記
憶、編集またはＣＰＵにおけるパフォーマンスのための
ピッチ／周波数検出デバイスによって、ＭＩＤＩデータ
に変換される。さらに別の実施形態では、パフォーマン
ス情報がピッチ／周波数検出デバイスによって電子記録
媒体またはライブ・パフォーマンスから抽出され、ＣＰ
Ｕ中で編集され、電子信号に変換され、任意の数の楽器
トランスデューサに送られる。このデバイスはまた、ア
コースティック楽器によくある遅延の問題も解消する。

【００１４】米国特許第５，０８３，４９１号は、ソレ
ノイド作動のプレイヤ・ピアノ・システム上で再生する
ために、ＭＩＤＩフォーマットで録音された音楽演奏の
中に含まれている表現効果をソレノイド作動の音楽生成
器上で再現するための方法および装置である。検出され
た、ＭＩＤＩ録音中に含まれる打音速度情報は、復号さ
れ、制御側マイクロプロセッサ中に記憶されている打音
マップと相互に関連付けられる。打音マップは、所望の
音楽表現効果に対応するデータを含む。固定された幅お
よび振幅の時間識別パルスが、打音マップ中のデータに
従って作動ソレノイドに向けられ、次には作動ソレノイ
ドがピアノ線を打つ。その後、均一の振幅および周波数
のパルスが作動ソレノイドに向けられ、音符の終わりま
でその打音を維持する。打音マップは、打音が持続して
いる間ずっと、ソレノイドの位置を動的に制御して、ソ
レノイドの動作およびピアノの鍵盤の動きの非線形特性
を補正し、それによって、オリジナルの音楽パフォーマ
ンスの本物通りの再生を提供する。

【００１５】米国特許第５，０４６，００４号は、音楽
を再生し、その音楽の歌詞を表示するための、コンピュ
ータおよびキーボードを用いたシステムである。音楽を
再生し、歌詞を表示するためのデータは、バイナリコー
ド化されたディジタル信号で構成されている。このよう
な信号は、公衆通信回線を介してダウンロードされる。
あるいは、複数の曲や歌に対応するデータが前もって装
置に記憶されていて、その記憶されているデータが、コ
ンピュータの中央処理装置によって選択的に処理され
る。インストルメンタル音楽データには、歌詞データの
処理を促進するためのトリガ信号が存在し、それによっ
て、音楽の再生および歌詞の表示が互いにリンクされ
る。このようにして再生された音楽は、バックグラウン
ド・ミュージックとして、または、利用者がそのような
音楽の再生と同調して表示される歌詞を見ながら、その
伴奏に合わせて歌うことができるようにするために利用
される。

【００１６】米国特許第４，７４４，２８１号は、互い
に別々に再生される、少なくとも２つの結合されたパー
トで構成された、１曲が録音されているメモリ・ディス
クを用いるアンサンブル再生動作モードの操作を備えた
自動音楽プレイヤ・システムであり、前記パートは少な
くとも２つのデータ・サブブロックの形で録音されてい
る。前記自動音楽プレイヤ・システムは、機械的または
電子的に起動されると機械的にサウンドを生成する第１
のサウンド・ジェネレータと、電子的に起動されると電
子的にサウンドを生成する少なくとも１つの第２のサウ
ンド・ジェネレータと、第１および第２のサウンド・ジ
ェネレータに接続されたコントロール・ユニットとを含
む。ディスクから読み取られるデータの２つまたはそれ
以上のサブブロックのうち１つは別のものとは区別さ
れ、データ・サブブロックのその区別された１つは第１
のサウンド・ジェネレータに伝送され、別のデータ・サ
ブブロックは第２のサウンド・ジェネレータに伝送され
る。さらに、第２のサウンド・ジェネレータへのデータ
の伝送は、継続的に、第１のサウンド・ジェネレータへ
のデータの伝送より所定の時間だけ遅らされ、そのた
め、２つのサウンド・ジェネレータは、同時に、かつ互
いに呼応してサウンドを生成することが可能になる。

【００１７】オーディオ・データ間をナビゲートするこ
とは、面倒かつ著しく正確さに欠けるという点が、従来
技術の共通する欠点である。

【００１８】

【発明が解決しようとする課題】したがって、本発明の
一態様は、ディジタル楽譜の音符とその楽譜のリアリゼ
ーションの間のリンクを生成するための改良された方
法、および対応するコンピュータ・プログラム製品を提
供することである。さらに、本発明は、改良されたナビ
ゲーション機能を備えた電子オーディオ・デバイスを提
供する。

【００１９】

【課題を解決するための手段】本発明は、１音楽の表現
と、その音楽の録音されているリアリゼーションの間の
リンクを作成することを可能にする。これによって、デ
ィジタル楽譜のある音符を選択することによって、その
選択した音符から、リアリゼーションの再生を自動的に
開始することができる。

【００２０】本発明の好ましい実施形態によれば、ディ
ジタル楽譜が、コンピュータのモニタ上で視覚化され
る。利用者は、グラフィカル・ユーザ・インターフェー
スを使って、そのディジタル楽譜のある音符を選択する
ことができる。例えば、これは、コンピュータ・マウス
を使って、音符の上を「クリックする」ことによって行
うことができる。このようにして、その音符に関連付け
られたリンクが選択される。このリンクは、利用者が選
択した音符に対応する、その音楽の録音リアリゼーショ
ンのある位置を示す。さらに、音符を選択することによ
って、その選択した音符に関連付けられているリンクが
示す位置から、リアリゼーションの再生を開始する信号
が、自動的に生成される。

【００２１】本発明のさらなる好ましい実施形態によれ
ば、ディジタル楽譜を分析して、その音楽中の顕著なオ
ーディオ・イベントを決定する。これは、楽譜のすべて
の音符をその時間単位の整数倍数として表現することを
可能にする時間単位を選択することによってなされる。
このようにして、時間軸が論理時間間隔に分割される。

【００２２】時間間隔それぞれにおける、楽譜のオンセ
ットの数を決定する。これによって、長い時間にわたる
オンセットの数が得られる。このオンセット曲線をフィ
ルタにかける。オンセット曲線をフィルタにかける一方
法は、オンセット曲線に閾値を適用することである。こ
れは、時間間隔のオンセットの合計のうち、事前定義し
た閾値を超えないものを、オンセット曲線から取り除く
ことを意味する。このようにして、顕著ではないオーデ
ィオ・イベントはフィルタによって除去される。

【００２３】フィルタにかけたオンセット曲線は、閾値
以上のオンセット合計数を有する時間間隔系列を決定す
る。この時間間隔系列を、音楽の録音リアリゼーション
中の同じオーディオ・イベントを表す、対応する時間間
隔系列と位置合わせする。

【００２４】本発明の好ましい一実施形態によれば、録
音リアリゼーションについての時間間隔系列を、そのリ
アリゼーションの強度をある閾値と比較することによっ
て決定する。強度が閾値以下に落ちると、対応する時間
間隔がその時間間隔系列に選択される。

【００２５】本発明のさらなる好ましい実施形態によれ
ば、表現およびリアリゼーションの時間間隔系列のマッ
ピングを、その２つ系列の間のハウスドルフ距離を最小
にすることによって行う。

【００２６】フェリックス・ハウスドルフ（Felix Haus
dorff）（１８６８〜１９４２）は、距離空間のサブセ
ット間の距離関数を考案した。定義によれば、２つのセ
ットは、一方のセットのいずれかの点がもう一方のセッ
トのある点から距離ｄの範囲内にある場合、互いからハ
ウスドルフ距離ｄの範囲内にある。

【００２７】２つの点のセットを、Ａ＝｛ａ
１，．．．，ａｍ｝、およびＢ＝｛ｂ１，．．．，ｂ
ｎ｝と仮定すると、ハウスドルフ距離は以下のように定
義される。Ｈ（Ａ，Ｂ）＝ｍａｘ（ｈ（Ａ，Ｂ），ｈ（Ｂ，Ａ））（１）ここで、

【数１】

【００２８】関数ｈ（Ａ，Ｂ）をＡからＢに向かうハウ
スドルフ「距離」と呼ぶ（この関数は対称ではなく、し
たがって真の距離ではない）。それは、Ｂの任意の点か
ら最も遠い点ａ∈Ａを識別し、ａから、Ｂ中の最もａに
近い点までの距離を測定する。したがって、ハウスドル
フ距離、Ｈ（Ａ，Ｂ）は、Ｂの任意の点から最も遠いＡ
の点、またＡの任意の点から最も遠いＢの点までの距離
を反映するので、２つのセット間のずれの程度を測定す
る。直感的にわかるように、ハウスドルフ距離がｄの場
合、Ａのすべての点はＢのある点から距離ｄの範囲内に
なければならず、またＢのすべての点はＡのある点から
距離ｄの範囲内になければならない。

【００２９】楽譜の分析およびリアリゼーションの分析
によって得られた２つの時間間隔系列を、その２つの時
間間隔のセットの間のハウスドルフ距離が最小になるま
で、互いに対して移動させる。このようにして、２つの
時間系列の時間間隔のペアが決定される。したがって、
各ペアについて、特定の時間間隔に属する音符がリアリ
ゼーションのある時点上にマップされて、音符とリアリ
ゼーションの録音の対応する位置との間にリンクが形成
される。

【００３０】マッピング操作を実施するための別の方法
は、２つの時間間隔系列を相互相関関数が最大値になる
まで互いに対して移動させる方法である。２つの系列が
最も一致する位置を見つけるためのその他の数学的方法
を使用することができる。

【００３１】

【発明の実施の形態】図１は、ディジタル楽譜の音符と
その楽譜のリアリゼーションの間のリンクを作成するた
めの方法の概略図である。ステップ１で、ディジタル楽
譜を入力する。ステップ２で、ディジタル楽譜をフィル
タにかけて、その音楽の有意なオンセットを決定する。
これは、すべての声部の音符オンセットの回数を合計
し、その結果得られた時系列をクリップして、録音中に
マスキングされる可能性がある有意ではない音符のオン
セットを除外することによって行われることができる。
このようにして、ディジタル楽譜を有意な音符オンセッ
トを有する時間間隔系列に変換する。

【００３２】一方、ステップ３で、その楽譜によって表
される音楽のリアリゼーションのアナログまたはディジ
タルの録音を入力する。ステップ４で、その録音を変化
検出器によって分析する。変化検出器の目的は、録音内
のオーディオ信号が有意な変化する時間間隔を識別する
ことである。

【００３３】一実施形態では、変化検出器が、オーディ
オ信号の時間領域内で動作する。好ましい一実施形態で
は、変化検出器が、録音されているオーディオ信号の総
合強度に基づいている。信号が事前定義の閾値レベルを
超えると、対応する信号ピークがオンセットであるとし
て定義される。このようにして、有意なオンセットを有
する時間間隔系列が作成される。

【００３４】本発明の別の実施形態では、変化検出器が
周波数領域で動作する。これについては、図５に関して
詳細に説明する。

【００３５】ステップ５では、ステップ２および４で決
定された時間間隔系列を、互いに対し位置合わせし、録
音されているオーディオ信号とディジタル楽譜の中の対
応するオンセットを決定する。ステップ６で、その２つ
の時間間隔系列中の対応するオンセット・イベントのペ
アを、リンクによって相互に関係付ける。好ましくは、
それらのリンクを別々のリンク・ファイル中に記憶す
る。

【００３６】図２は、ディジタル楽譜の例（ジョゼフ・
ハイドン、交響曲Ｈｏｂ．Ｉ−１）を示す。このディジ
タル楽譜を、ＭＩＤＩファイルまたは同様のディジタル
楽譜フォーマットの形で記憶することができる。利用者
がコンピュータ・マウス上をクリックすることによって
そのディジタル楽譜の個々の音符を選択できるように、
ディジタル楽譜が、グラフィカル・ユーザ・インターフ
ェースを備えたコンピュータ画面上に表示される。

【００３７】ディジタル楽譜の下に、離散タイム・スケ
ールを有する時間軸７がある。時間軸７は、いくつかの
時間間隔に分けられている。好ましくは、時間軸７のス
ケールを、楽譜のすべての音符がこのような時間間隔の
整数倍数として表現され得るように選択する。

【００３８】この離散時間軸をミリ秒の時間軸に変換す
るために、楽譜の時間間隔の合計を楽譜のリアリゼーシ
ョンの継続時間と等しくすることによって、この間隔に
倍率をかける。この好ましいケースでは、前述の時間間
隔が時点に変換される。ここで考慮している例では、こ
の時間間隔が１６分音符である。

【００３９】図２の例で示すように、この時間間隔の各
倍数について、その時に開始する音符の数が数えられ、
累積されて、オンセット曲線を生成する。時間ｔ１にお
いて、この時に開始する音符の合計数は、ｎ１＝８であ
る。引き続く時間間隔ｔ２では、次の時間間隔ｔ３と同
様、音符オンセット合計数は、ｎ２＝２である。

【００４０】このようにして、ディジタル楽譜全体を走
査して、時間軸７の時間間隔それぞれにおいて開始する
楽譜の音符の数を求める。これによって、図２の図に描
かれている点によって表されたオンセット曲線が生成さ
れる。

【００４１】図３は、オンセット曲線のさらなる処理を
示す。合計オンセット値ｎは、閾値８と比較される。閾
値８よりも下の合計オンセット値ｎはすべて廃棄され
る。曲線の残っている点が、有意なオンセットの系列９
を構成するいくつかの時間間隔を決定する。

【００４２】図４は、対応する流れ図を示す。

【００４３】ステップ１０で、ディジタル楽譜が入力さ
れる。ステップ１１で、楽譜のすべての音符を時間単位
の整数倍数として表現することができるように、時間軸
に対して適切な時間単位が自動的に選択される。このよ
うにして、時間軸は、いくつかの時間間隔に分けられ
る。

【００４４】ステップ１２および１３で、各時間間隔の
オンセットをすべての音声部の所与の時間間隔内のオン
セットを合計することによって求める。好ましくは、合
計プロセスのためのオンセットにそれぞれの動的値で重
みを付けて、それらの音符がフォルテで演奏されるよう
にする。

【００４５】ステップ１４で、フィルタ関数を適用する
ことにより、録音中にマスキングされそうなディジタル
楽譜中の有意ではないオンセット・イベントをフィルタ
により除去する。

【００４６】ステップ１５で、フィルタにかけたオンセ
ット曲線を、ポイント・プロセス、すなわち、楽譜内の
有意なオーディオ・イベントを表す時間間隔系列に変換
する。

【００４７】図５は、周波数領域中の変化検出器（図１
のステップ４参照）の一実施形態を示す。

【００４８】ステップ１６で、そのディジタル楽譜のリ
アリゼーションが入力される。ステップ１７では、時間
周波数分析が実施される。好ましくは、これは、短時間
高速フーリエ変換（ＦＦＴ）によって行われる。このよ
うにして、時間軸（図２の時間軸７を参照）の時間間隔
のそれぞれについて、周波数スペクトルが得られる。

【００４９】ステップ１８で、時間周波数分析によって
得られた三次元データの「リッジ」または「クレスト・
ライン」が識別される。このような「リッジ」を識別す
る１つの方法として、従来技術（米国特許第５，４６
３，６９８号）や時間周波数分布のクレイジ・クライマ
・アルゴリズム（crazy climber algorithms to the ti
me-frequency distribution）［Rene Carmona他、Pract
ical Time-Frequency Analysis、アカデミック・プレス
社、ニューヨーク、１９８８］から知られるように、時
間周波数分析によって提供されるデータに対して三次元
分水界変換（three dimensional watershed transfor
m）を実施する方法が挙げられる。

【００５０】ステップ１９で、各リッジの開始点が識別
される。各開始点は、時間間隔の１つに属する。このよ
うにして、時間間隔系列が決定される。これを、リアリ
ゼーションのオンセット曲線について説明したように、
フィルタにかけることができる。

【００５１】ステップ２０で、上記に説明したように、
リアリゼーションおよび楽譜の間隔の時系列が相互に関
連付けられる。ステップ２１で、楽譜の音符からその音
楽の録音リアリゼーション内の位置へポインタを使っ
て、リンク・ファイルが作成される。

【００５２】図６は、電子デバイス２２のブロック図を
示す。電子デバイスは、マルチメディア機能、ＣＤまた
はＤＶＤプレイヤ、あるいは別のオーディオ・デバイス
を備えたパーソナル・コンピュータであってよい。デバ
イス２２はプロセッサ２３を備え、リアリゼーション２
４、表現２５、およびリンク・ファイル２６を記憶する
ための記憶手段を有する。

【００５３】さらに、電子デバイス２２は、グラフィッ
ク・ユーザ・インターフェース２７、およびオーディオ
出力のためのスピーカ２８を備えている。プロセッサ２
３は、表現２５を、グラフィカル・ユーザ・インターフ
ェース２７上に表示される楽譜の形でレンダする役割を
果たす。さらに、プロセッサ２３は、楽譜のリアリゼー
ション２４を再生する役割を果たす。

【００５４】操作中、利用者はグラフィカル・ユーザ・
インターフェース２７を介して、楽譜の音符を選択する
ことができる。プロセッサ２３は、応答して、リンク・
ファイル２６にアクセスし、ユーザが選択した音符に関
連付けられたリンクを読み込む。このリンクは、リンク
によって識別された位置からリアリゼーション２４の再
生を開始することを可能にする、リアリゼーション２４
へのアクセス・ポイントを提供する。再生は、スピーカ
２８から出力される。

【００５５】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００５６】（１）ディジタル楽譜の音符と前記楽譜の
リアリゼーションとの間のリンクを生成する方法であっ
て、連続する時間間隔で始まる楽譜の音符の数を決定す
ることによって、オンセット曲線を表す第１のデータを
生成するステップと、前記オンセット曲線をフィルタに
かけるステップであって、フィルタにかけられた前記オ
ンセット曲線が第１の時間間隔の第１の系列を表し、前
記第１の時間間隔のそれぞれは有意な数のオンセットを
有する、前記オンセット曲線をフィルタにかけるステッ
プと、前記リアリゼーションについて第２の時間間隔の
第２の系列を生成するステップであって、各第２の時間
間隔は前記リアリゼーションの有意な動的変化を有す
る、前記リアリゼーションについて第２の時間間隔の第
２の系列を生成するステップと、前記リンクを生成する
ために、前記第１および第２の系列をマッピングするス
テップとを含む、方法。（２）前記ディジタル楽譜の音符のすべてのオンセット
が、離散時間間隔の整数倍で表され得るように、離散時
間間隔を有する離散時間軸を選択するステップをさらに
含む、上記（１）に記載の方法。（３）前記オンセット曲線をフィルタにかけるステップ
が、前記第１のデータを閾値と比較するステップを含
む、上記（１）または（２）に記載の方法。（４）前記第２の系列が、前記リアリゼーションの強度
がその中において前記閾値よりも上に高まる第２の時間
間隔を決定することによって生成される、上記（１）、
（２）または（３）に記載の方法。（５）前記第２の時間間隔の第２の系列の前記決定が、
前記リアリゼーションの時間周波数分析を実施するステ
ップと、時間周波数領域におけるリッジを識別するステ
ップと、前記リッジのそれぞれについて開始点を識別す
るステップと、前記開始点のそれぞれについて第２の時
間間隔を決定するステップとを含む、上記（１）ないし
（４）のいずれか一項に記載の方法。（６）前記マッピングするステップが、前記第１および
第２の系列のハウスドルフ距離を最小にすることによっ
て実施される、上記（１）ないし（５）のいずれか一項
に記載の方法。（７）前記マッピングするステップが、前記第１および
第２の系列の相互相関係数を最大にすることによって実
施される、上記（１）ないし（５）のいずれか一項に記
載の方法。（８）前記第１のデータが、各音符の終点を表す、上記
（５）ないし（７）のいずれか一項に記載の方法。（９）各リッジの終点が開始点として使用される、上記
（５）ないし（８）のいずれか一項に記載の方法。（１０）上記（１）ないし（９）のいずれか一項に従っ
た方法を実施するためのコンピュータ・プログラム製
品。（１１）ディジタル楽譜のリアリゼーション（２４）お
よび表現（２５）と、前記ディジタル楽譜の表現の音符
と前記リアリゼーションとの間のリンクを含むリンク・
ファイル（２６）とを処理する手段（２３）を含む電子
デバイスであって、前記リンクが、上記（１）ないし
（８）のいずれか一項に記載の方法に従って生成される
電子デバイス。（１２）利用者の音符またはリンクあるいはその両方の
選択を入力する手段をさらに含む、上記（１１）に記載
の電子デバイス。（１３）前記リアリゼーションの再生を、前記利用者の
選択に対応する第２の時間間隔で開始する手段をさらに
含む、上記（１１）または（１２）に記載の電子デバイ
ス。

【図面の簡単な説明】

【図１】本発明の方法の好ましい実施形態を示す図であ
る。

【図２】ディジタル楽譜のオンセット曲線がどのように
決定されるかを一例として示す図である。

【図３】オンセット曲線の閾値処理、および対応する時
間間隔系列の決定を示す図である。

【図４】ディジタル楽譜の表現について時間間隔系列を
決定するための好ましい実施形態を示す図である。

【図５】楽譜のリアリゼーションについて時系列を決定
するための好ましい実施形態を示す図である。

【図６】電子デバイスの好ましい実施形態のブロック図
である。

【符号の説明】

７時間軸８閾値９系列２２電子デバイス２３プロセッサ２４リアリゼーション２５表現２６リンク・ファイル２７ユーザ・インターフェース２８スピーカ

───────────────────────────────────────────────────── フロントページの続き (72)発明者ヴァーナー・クライヒバウムドイツディー−72119 アマーバッハ・ブライテンホルツバイ・デル・リンデ２ (72)発明者ゲルハルト・ステンツェルドイツディー−71083 ヘルレンベルクホイベルクシュトラーセ 18 Ｆターム(参考） 5D082 AA03 AA26 5D378 MM21 MM47 MM53 MM72

Claims

【特許請求の範囲】

【請求項１】ディジタル楽譜の音符と前記楽譜のリアリ
ゼーションとの間のリンクを生成する方法であって、連続する時間間隔で始まる楽譜の音符の数を決定するこ
とによって、オンセット曲線を表す第１のデータを生成
するステップと、前記オンセット曲線をフィルタにかけるステップであっ
て、フィルタにかけられた前記オンセット曲線が第１の
時間間隔の第１の系列を表し、前記第１の時間間隔のそ
れぞれは有意な数のオンセットを有する、前記オンセッ
ト曲線をフィルタにかけるステップと、前記リアリゼーションについて第２の時間間隔の第２の
系列を生成するステップであって、各第２の時間間隔は
前記リアリゼーションの有意な動的変化を有する、前記
リアリゼーションについて第２の時間間隔の第２の系列
を生成するステップと、前記リンクを生成するために、前記第１および第２の系
列をマッピングするステップとを含む、方法。
【請求項２】前記ディジタル楽譜の音符のすべてのオン
セットが、離散時間間隔の整数倍で表され得るように、
離散時間間隔を有する離散時間軸を選択するステップを
さらに含む、請求項１に記載の方法。
【請求項３】前記オンセット曲線をフィルタにかけるス
テップが、前記第１のデータを閾値と比較するステップ
を含む、請求項１または２に記載の方法。
【請求項４】前記第２の系列が、前記リアリゼーション
の強度がその中において前記閾値よりも上に高まる第２
の時間間隔を決定することによって生成される、請求項
１、２または３に記載の方法。
【請求項５】前記第２の時間間隔の第２の系列の前記決
定が、前記リアリゼーションの時間周波数分析を実施するステ
ップと、時間周波数領域におけるリッジを識別するステップと、前記リッジのそれぞれについて開始点を識別するステッ
プと、前記開始点のそれぞれについて第２の時間間隔を決定す
るステップとを含む、請求項１ないし４のいずれか一項
に記載の方法。
【請求項６】前記マッピングするステップが、前記第１
および第２の系列のハウスドルフ距離を最小にすること
によって実施される、請求項１ないし５のいずれか一項
に記載の方法。
【請求項７】前記マッピングするステップが、前記第１
および第２の系列の相互相関係数を最大にすることによ
って実施される、請求項１ないし５のいずれか一項に記
載の方法。
【請求項８】前記第１のデータが、各音符の終点を表
す、請求項５ないし７のいずれか一項に記載の方法。
【請求項９】各リッジの終点が開始点として使用され
る、請求項５ないし８のいずれか一項に記載の方法。
【請求項１０】請求項１ないし９のいずれか一項に従っ
た方法を実施するためのコンピュータ・プログラム製
品。
【請求項１１】ディジタル楽譜のリアリゼーション（２
４）および表現（２５）と、前記ディジタル楽譜の表現
の音符と前記リアリゼーションとの間のリンクを含むリ
ンク・ファイル（２６）とを処理する手段（２３）を含
む電子デバイスであって、前記リンクが、請求項１ない
し８のいずれか一項に記載の方法に従って生成される電
子デバイス。
【請求項１２】利用者の音符またはリンクあるいはその
両方の選択を入力する手段をさらに含む、請求項１１に
記載の電子デバイス。
【請求項１３】前記リアリゼーションの再生を、前記利
用者の選択に対応する第２の時間間隔で開始する手段を
さらに含む、請求項１１または１２に記載の電子デバイ
ス。