JP2004234807A - 楽曲再生方法及び装置 - Google Patents

Abstract

【課題】インターフェースを用いて簡単に楽曲構造特徴区間を音楽音響データ再生装置を用いて再生することができる楽曲再生装置を提供する。
【解決手段】複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能と、楽曲構造特徴区間を視覚化する機能とを有するインターフェース１３を用いる。インターフェース１３によって選択された任意の楽曲構造特徴区間を指定する楽曲構造特徴区間指定データを音楽音響データ再生装置３に与える。音楽音響データ再生装置３は、指定データ付与手段１２から付与された楽曲構造特徴区間指定データによって指定された楽曲構造特徴区間に再生位置を変更する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、楽曲中のサビ区間等の特徴区間を選択的に再生する方法及び装置
に関するものである。
【０００２】
【従来の技術】
従来、音楽情報処理の研究分野では楽曲の検索や音楽理解に関する研究は多かったものの、音楽の試聴に着目した研究はなされていなかった。現在、レコード店の店頭でコンパクトディスク（ＣＤ）等に記録された音楽を「試聴」する場合、試聴者は、早送りを行いながら聴きたい部分だけを選び出して試聴している場合が多い。これは試聴の主目的が、自分の探していた楽曲、好みの楽曲であるかどうかを短時間で判断するためのものだからである。例えばポピュラー音楽の場合等では、楽曲中で一番代表的な盛り上がる主題の部分であるサビ（ｃｈｏｒｕｓ，ｒｅｆｒａｉｎ）区間や何度も繰り返し演奏されるメロディ区間のような楽曲の構造に特徴のある区間（以下楽曲構造特徴区間と言う）を試聴して判断することが多い。そこで試聴者は、イントロを少し聴いた後に、サビ区間や繰り返し区間等の楽曲構造特徴区間を探しながら早送りボタンを何度も押して途中を飛ばし、楽曲構造特徴区間を再生するというような特殊な聴き方をする。
【０００３】
なお楽曲中からサビ区間を検出する技術については、本出願の発明者が、「リアルタイム音楽情景記述システム：サビ区間検出手法」と題して、「情報処理学会 音楽情報科学研究会 研究報告」（非特許文献１）の２００２−ＭＵＳ−４７−６（Ｖｏｌ．２００２，Ｎｏ．１００，ｐｐ．２７−３４）に発表している。
【０００４】
【非特許文献１】「情報処理学会 音楽情報科学研究会 研究報告」
２００２−ＭＵＳ−４７−６（Ｖｏｌ．２００２，
Ｎｏ．１００，ｐｐ．２７−３４）
【０００５】
【発明が解決しようとする課題】
しかし、従来の音楽ＣＤの試聴機には、このような試聴固有の聴き方を支援する機能はなかった。試聴機は通常のＣＤプレーヤ相当の再生操作ボタンを持つが、その中で、早送りと早戻しのボタンしか、サビの部分を探すために利用できなかった。一方、最近ＣＤ販売店に導入され始めたデジタル試聴機では、ＭＰ３等の圧縮形式で蓄積されている数十万曲の中から、ハードディスクあるいはネットワーク経由で再生することができる。しかし、楽曲先頭の短い区間（通常４５秒）だけが機械的に切り出されて収録されているため、試聴者は楽曲構造特徴部分を必ずしも聴くことはできなかった。近年、日本のポピュラー音楽ではサビから始まる楽曲構造を持つ曲が増えているとはいえ、発明者の調査では、日本のポピュラー音楽のヒットチャート（２００１年１月〜１２月の週間ランキングのシングル上位２０曲）の楽曲中、楽曲開始後４０秒以内にサビが始まる曲は約２０％しかなかった。
【０００６】
本発明の目的は、インターフェースを用いた選択により簡単に楽曲構造特徴区間を音楽音響データ再生装置を用いて再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェース及びプログラムを提供することにある。
【０００７】
本発明の他の目的は、特に楽曲中のサビ区間を音楽音響データ再生装置を用いて簡単に再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【０００８】
本発明の他の目的は、楽曲中のサビ区間の特定を確実に行える楽曲再生方法を提供することにある。
【０００９】
本発明の別の目的は、楽曲構造特徴区間の分散状況と音楽音響データの再生状況とを視覚により確認できる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【００１０】
本発明の他の目的は、サビ出し区間と繰り返し区間の存在状況を視覚により区別することできるようにした楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【００１１】
本発明の他の目的は、操作者が選択ボタンを操作するだけで楽曲構造特徴区間を選択的に再生することができる楽曲再生方法及び装置並びに該装置に用いるインターフェースを提供することにある。
【００１２】
本発明の別の目的は、楽曲構造特徴区間を統計データから容易に抽出することができる楽曲構造特徴区間の抽出方法を提供することにある。
【００１３】
【課題を解決するための手段】
音楽音響データを再生する音楽音響データ再生装置を用いて音楽音響データを再生する本発明の楽曲再生方法は、第１乃至第３のステップを実行する。ここで音楽音響データとは、アナログ音響信号、デジタル音響信号、ＭＩＤＩデータ（標準ＭＩＤＩファイル）等の各種の再生可能な音響データを含むもので、圧縮／非圧縮のいずれでもよい。なお圧縮されたデータの場合、圧縮フォーマットの形式は任意である。また後述する「複数の楽曲構造特徴区間」とは、前述のサビ区間及び／または繰り返し区間を含むものである。なおサビ区間または繰り返し区間だけを複数の楽曲構造特徴区間としてもよいのは勿論である。
【００１４】
第１のステップでは、再生の対象となる音楽音響データに関して、複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する。複数の楽曲構造特徴区間指定データとは、楽曲構造特徴区間の始まり位置と終了位置に関するデータである。例えば、楽曲構造特徴区間の始まり位置と終了位置は、対象となる音楽音響データ中の位置データや、実際に演奏を開始してからその位置に達するまでに要する時間で表した位置データとして表現することができる。この複数の楽曲構造特徴区間指定データは、音楽音響データと組合せてすなわちセットにしてもよいが、音楽音響データとは別のデータとして存在させてもよい。このようにすると、すでに音楽音響データを入手している人は、ネットワーク等を介してその楽曲に対応する楽曲構造特徴区間指定データを後から入手することができるようになる。また複数の楽曲構造特徴区間指定データを音楽音響データと組合せておけば、音楽音響データをダウンロードするときに必然的に複数の楽曲構造特徴区間指定データもダウンロードされる上、両データの対応関係を考慮する必要がなくなるので便利である。
【００１５】
複数の楽曲構造特徴区間の抽出方法は、任意である。例えば発明者が先に発表した前述の非特許文献１に記載のサビ区間検出方法を用いても良い。また音楽音響データを再生しながら複数の楽曲構造特徴区間を人が特定したり（ラベリングし）、専用のラベリング用エディタを用いて複数の楽曲構造特徴区間を特定してもよい。また対象とする音楽音響データを複数の試聴者が再生した際の再生行動の統計データに基いて複数の楽曲構造特徴区間を特定し、特定した複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを作成するようにしてもよい。この場合には、例えば、複数の試聴者が試聴した回数または再生した回数が多い区間（予め定めた回数よりも多い区間）を楽曲構造特徴区間として特定することができる。なおこの場合には、ネットワークに接続された複数台の試聴用の楽曲再生装置から複数の試聴者による再生回数が多い区間のデータを集めてもよい。このようにすると簡単に大量のデータを入手できる。また入手したデータをヒストグラムとして視覚により認識可能な状態とし、ヒストグラムから複数の楽曲構造特徴区間を特定してもよい。このようにすると統計データからの楽曲構造特徴区間の特定が容易になる。このような人の試聴を基準にすると、楽曲構造からサビといわれる部分の検出が困難な楽曲からも楽曲構造特徴部分を容易に抽出することができる。
【００１６】
第２のステップでは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する。このインターフェースとは、操作者と装置の間を関係づけるものであり、操作者により選択操作される部分と、選択結果を発信する機能とを少なくとも備えていればよい。したがって最も簡単なインターフェースは、アナログまたはデジタルのスイッチからなる選択ボタンにより構成することができる。選択ボタンだけでインターフェースを構成する場合には、再生される音楽を聴きながら選択ボタンを操作することになる。選択ボタンだけでは、音楽音響データのどの部分に楽曲構造特徴区間が幾つ存在するのかが分からない。そのため必要以上に選択ボタンを操作する可能性がある。また選択ボタンだけでは、複数種類の楽曲構造特徴区間がある場合に同じ種類の楽曲構造特徴区間を意図的に試聴することができない。
【００１７】
そこでこのような問題を解決するためには、第２のステップで用意するインターフェースとして、音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて音楽音響データ再生装置が音楽音響データを再生している音楽音響データの再生位置と複数の楽曲構造特徴区間とを時間軸を用いた画像表示により表示する画像表示部を有するものを用いればよい。このようなインターフェースを用いると、画像表示部の表示を見ることにより、現在の再生位置と複数の楽曲構造特徴区間との位置関係または時間関係を視覚を用いて認識できる。したがって画像表示部の表示を見ながら、任意の箇所の楽曲構造特徴区間を任意に選択することが可能になる。なお楽曲の演奏時間が長い場合には、演奏時間の全時間分の表示を一画面に表示することができない場合もある。このような場合には、演奏時間の一部に対応する表示を画面に表示しておき、時間の経過とともにスクロール式に画面を変更してもよいのは勿論である。
【００１８】
インターフェースに画像表示部を設ける場合に、複数の楽曲構造特徴区間を、楽曲のサビ部分を示す複数のサビ区間と、繰り返し部分を示す複数の繰り返し区間とから構成するときには、画像表示部が複数のサビ区間と複数の繰り返し区間とを区別して表示するのが好ましい。このようにすると画像表示を見ながらサビ区間と繰り返し区間とを任意に選択することが容易になる。
【００１９】
またインターフェースは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する１以上の選択ボタンを有している。この選択ボタンとして、人が指で操作するアナログ式の選択ボタン、表示画面に表示されたボタンの表示を人間の指やカーソルでクリックしてオン・オフを判定するタイプの選択ボタン（画像表示ボタン）、音声認識により選択を判別するタイプの選択ボタン等の各種の選択ボタンが含まれる。特に、１以上の選択ボタンに、複数の楽曲構造特徴区間からサビ区間だけを選択する１以上のサビ区間選択ボタンをインターフェースに配置するのが好ましい。このような専用選択ボタンを配置すると、特別な知識を持たない人でも簡単にサビ区間の再生を実行できるので、汎用性が非常に高くなる。また１以上のサビ区間選択ボタンは、前のサビ区間を選択する第１のサビ区間選択ボタンと、後のサビ区間を選択する第２のサビ区間選択ボタンとから構成するのが好ましい。このようにすると選択の自由度が増すだけでなく、繰り返しサビ区間を再生することが可能になる。また１以上の選択ボタンには、複数の繰り返し区間を選択する際に前の繰り返し区間を選択する第１の繰り返し区間選択ボタンと、後の繰り返し区間を選択する第２の繰り返し区間選択ボタンが含まれてもよい。この場合にも選択の自由度が増すだけでなく、繰り返し区間を繰り返し再生することが可能になる。
【００２０】
第３のステップでは、音楽音響データ再生装置を用いて音楽音響データの再生を開始した後、操作者がインターフェースを用いて選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて、音楽音響データ再生装置による音楽音響データの再生位置を任意の楽曲構造特徴区間に変更する。すなわち演奏途中であっても、インターフェースから特定の楽曲構造特徴区間に再生位置を変更する指令が入力されると、その指令に基づいて再生位置を変更することになる。
【００２１】
なおインターフェース上で任意の楽曲構造特徴区間を選択した場合にのみ、その選択された区間の再生を行うようにしてもよいのは勿論である。その場合には、第３のステップでは、操作者がインターフェースを用いて選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて音楽音響データ再生装置に前記任意の楽曲構造特徴区間を再生させるようにすればよい。
【００２２】
本発明の方法を実施するための楽曲再生装置は、音楽音響データを再生する音楽音響データ再生装置を有し、且つ楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を備えている。そして本発明の楽曲再生装置は、インターフェースと、楽曲構造特徴区間指定データ格納手段と、指定データ付与手段とを更に備えている。インターフェースは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有するものである。また楽曲構造特徴区間指定データ格納手段は、再生する音楽音響データに対応して予め定められた複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する。そして指定データ付与手段は、インターフェースによって選択された任意の楽曲構造特徴区間を指定する楽曲構造特徴区間指定データを音楽音響データ再生装置に与える。音楽音響データ再生装置は、指定データ付与手段から付与された楽曲構造特徴区間指定データによって指定された楽曲構造特徴区間に再生位置を変更するように構成されている。本発明の装置では、楽曲の再生中であっても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができる。また楽曲の再生中でなくても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができる。なお音楽音響データに楽曲構造特徴区間指定データが付随している場合には、楽曲構造特徴区間指定データ格納手段は音楽音響データに付随する楽曲構造特徴区間指定データを読み取って格納すればよい。
【００２３】
また音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段を更に備えていてもよい。このような手段を備えていれば、既存の楽曲を再生する場合にも本発明を適用することが容易になる。
【００２４】
なお本発明は、コンピュータと、前記コンピュータからの指令に基いて動作するディスプレイと、前記コンピュータからの指令で音楽音響データを再生する音楽音響データ再生装置とから構成された装置を用いて、楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を前記コンピュータに実現させるためのプログラムとしても特定できる。このプログラムは、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを前記ディスプレイ上に構成する機能と、再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段を構成する機能と、前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段を構成する機能と、前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間を再生するように前記音楽音響データ再生装置に指令を与える機能とを前記コンピュータに実現させる構成を備えている。
【００２５】
なおインターフェースを前記ディスプレイ上に構成する機能は、複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む１以上の選択ボタンをディスプレイ上に形成する機能を有しているのが好ましい。
【００２６】
本発明を用いれば、「サビ出し」機能（サビ区間選択ボタン）を搭載した音楽試聴機を得ることができる。試聴者はこのサビ区間選択ボタンを押すだけで、サビ区間の先頭へ再生をジャンプさせる（瞬時に早送りする）ことができ、自分でサビ区間を探す煩わしい作業から解放される。さらに、サビ以外の楽曲中の繰り返し区間も事前に推定あるいは用意しておくことで、次の楽曲構造の繰り返し区間の先頭へも再生をジャンプさせることができる。
【００２７】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は本発明の楽曲再生方法の実施の形態の概念を示すブロック図である。これらの実施の形態では、楽曲構造上意味を持つ区間（サビ区間及び繰り返し区間）の先頭に、音楽の再生位置を自動ジャンプさせる。基本的には、音楽音響信号や標準ＭＩＤＩファイル等の音楽音響データの楽曲構造を事前に解析しておき、その中で試聴者（ユーザ）が関心を持つ部分（サビの部分、繰り返し演奏される部分）すなわち楽曲構造特徴区間へ演奏箇所を自動的にジャンプできる機能を提供する。音楽音響データは、ローカルな電子計算機（サーバ）等やＣＤプレーヤ等の音楽再生器上に用意されていてもよく、またネットワークからダウンロードされるものでもよい。
【００２８】
［第１のステップの説明］
具体的には、再生の対象となる音楽音響データに関して、楽曲中の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する（第１のステップ）。最も単純には、音楽音響データを再生しながら複数の楽曲構造特徴区間を人が特定し、その特定結果を基準にして複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを作成する。この作業はマニュアルでの作業になるため、時間がかかるものの、実際に人間（例えば、一般人だけでなく、音楽を深く理解している専門家や音楽製作者）が判断して楽曲構造特徴区間を特定するため、例えばサビ区間が分かり難い楽曲でも必要な楽曲構造特徴区間指定データを得ることができる。なお本実施の形態では、複数の楽曲構造特徴区間のそれぞれの始まり位置と終了位置を、実際に演奏を開始してからその位置に達するまでに要する時間で表した位置データとして表現している。そして本実施の形態では、複数の楽曲構造特徴区間指定データを音楽音響データと組合せて一つのセットにしている。
【００２９】
図１の実施の形態では、楽曲構造特徴区間を、自動サビ区間検出手法、手動サビ区間ラベリング手法、試聴者行動分析手法のいずれか一つの方法を用いて楽曲構造特徴区間を特定する。以下各手法を説明する。
【００３０】
［自動サビ区間検出手法］
この手法では、楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を自動検出する。本手法は、人手がかからないため多数の楽曲に適用可能である。自動検出では検出結果に誤りが含まれることもあるが、実用上は、完全な精度でなくても試聴者が再生位置を見つける手掛かりとなるため、従来の試聴機よりは便利となる。このための手法は、例えば、「音楽音響信号中のサビ区間検出方法」（後藤真孝／特願２００２−３０９５１９）または「リアルタイム音楽情景記述システム：サビ区間検出手法」と題して，「情報処理学会 音楽情報科学研究会研究報告」（非特許文献１）の２００２−ＭＵＳ−４７−６（Ｖｏｌ．２００２，Ｎｏ．１００，ｐｐ．２７−３４）に発明者が発表した論文に記載されている。具体的には、この手法における楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を自動検出する技術が使用できる。上記の手法以前は、楽曲の音響信号中に何度も出現するサビの中のどこか一箇所を、常に指定した長さだけ切り出して提示する手法はあったが、サビ区間の開始点と終了点はわからず、サビの転調も扱えなかった。この発明者が発表した論文に記載されている手法は、様々な繰り返し区間の相互関係を調べることで、楽曲中で繰り返されるすべてのサビ区間を網羅的に検出し、それらの開始点と終了点を推定できる。また、転調後でも繰り返しと判断できる類似度を導入することで、転調を伴うサビ区間も検出できる。
【００３１】
［手動サビ区間ラベリング手法］
サビや楽曲構造をラベリング可能なエディタ上で、人間が音楽を聴きながら手作業で指定する。精度は高いが、労力と時間がかかる。この手動ラベリングは、自動検出が困難な楽曲、音楽ジャンルに対しても有効である。なお、自動サビ区間検出の結果を利用して、それをエディタ上で手作業で修正することもできる。このためのエディタとして、発明者は楽曲を分割して各部にサビ、第１のメロディ（Ａメロ）、第２のメロディ（Ｂメロ）、イントロ、間奏、エンディング等をラベリングできる、楽曲構造ラベリング用エディタを開発した。エディタの画面を図２（Ａ）に示す。この図の上半分に示された横軸は時間軸（ｓｅｃ）で楽曲全体を表示している。一番上のミニウインドウがパワー変化、二番目のミニウインドウが楽曲各部のラベリング結果、三番目のミニウインドウの最上段がサビ区間の一覧であり、下５段が繰り返し構造を表す。下半分は、楽曲各部のラベリング結果を、楽曲全体の時間軸を折り返しながら拡大表示している。このエディタ上では、ユーザは縦棒表示で表されるカーソルの位置の情報を編集する。楽曲の再生・停止は自由に制御することができ、カーソルは楽曲の再生位置を指す。ユーザはカーソルを自由に移動しながら、カーソル前後の音を繰り返し聞いたりして、適切な箇所に、楽曲の各部の区切りを入れることができる。そして、区切りの間の区間をラベリングする。なお、このエディタは、事前にビートや小節の区切りをラベリングしておき、エディタ上ではビートや小節単位でカーソルを移動することで、ラベリング作業を迅速におこなう機能も持つなど、効率のよい作業環境を提供している。このエディタ上での編集結果として、楽曲中のサビ区間や繰り返し区間の開始点と終了点の一覧を得ることができる。
【００３２】
［試聴者行動分析手法］
この手法では、過去の多数の試聴者が聴いた箇所を記録しておき、試聴者が多く聴いた区間を分析する。そうして求めた区間を、サビ区間（試聴者が関心を持つ区間）であると仮定して推定する。ポピュラー音楽以外でも、多く聴いた区間は典型的な試聴者が聴きたい区間となっていることが多く、幅広い音楽ジャンルに有効である。本手法は、繰り返し利用されるまで、実質的に従来の試聴機とあまり変わらない機能しか提供できないが、事前に楽曲内容の分析やラベリングを必要としない利点を持つ。なお、上記二つの手法と組み合わせることも可能である。具体的には、以下のようにおこなう。基本的には、楽曲中の各箇所の再生回数のヒストグラムを作成し、ヒストグラムから多く再生されている箇所を求め、そこをサビ区間であると推定する。ヒストグラムの例を図２（Ｂ）及び（Ｃ）に示す。まず、最初はまったく記述がない状態で始め、従来のように典型的な再生操作ボタンを使って（早送りボタンを何度も押して途中を飛ばしながら）、試聴者はサビ区間等を手探りで見つけながら聴く。その際に、楽曲全体を非常に短い区間（例えば１０ ｍｓｅｃ）に区切り、その各区間ごとの再生回数をカウントしておく（ヒストグラムを作成する）。通常、サビの先頭が見つかると、サビ全体が再生し終わるまで試聴者は聞くため、これを多数の試聴者がおこなうと、多くの試聴者が興味を持って再生した区間が、ヒストグラム上で長い区間に渡って高頻度な区間（多く再生された区間）として求めることができる。さらに拡張として、再生回数をカウントする際に、ボタン操作をせずに連続して再生した区間の長さに応じた重みを付け、長く再生するほど、大きな値がヒストグラムに加算されるようにする。これにより、サビの探索中は短い区間しか再生されないために小さい値がヒストグラムに加算され、サビが見つかると長い区間を再生されるために大きい値がヒストグラムに加算される。こうして、ヒストグラム中のサビの区間の値をより高くすることができ、より適切にサビの区間が求まる。
【００３３】
なお上記の処理は、単独の試聴機で実行するだけでなく、試聴機同士をインターネット等の広域ネットワークで接続し、同一楽曲に対して、世界中の試聴者（ユーザ）がどのように操作して聴いたのかのヒストグラムを集計することもできる。これにより、より多くの試聴者の行動分析結果がヒストグラムに反映され、サビの区間を求める精度が向上する。なお試聴者行動分析手法の場合には、ヒストグラムを視覚化するのが効果的であり、過去の試聴者がどこをよく聴いたのかを視覚的に見ながら操作できる。
【００３４】
試聴者行動分析手法の結果を使うには、図２（Ｂ）に示すようにヒストグラムのある閾値以上をサビの区間（典型的な試聴者が関心を持つ区間）として、ヒストグラムの上か下に、明示的に表示すると便利である。このようにして定めた区間を楽曲構造特徴区間として本発明を適用すれば、ユーザは他の手法で求めた楽曲構造特徴区間と同様に、インターフェースによる選択に従って再生位置をジャンプさせることが可能である。あるいは図２（Ｃ）に示すように、このような区間に代わる別の表示方法として、ヒストグラムを平滑化してスムーズにした関数を求め、それを時間軸方向に一次微分した関数（導関数）が、ある閾値以上になっている時刻に線分（複数存在する）を表示してもよい。それらの線分は、ヒストグラムが急激に上昇した箇所を表しており、多くの試聴者が聴き始める箇所（典型的な試聴者が関心を持つ区間の開始時刻）を表している。この場合でも、ユーザがインターフェースにより線分を選択することにより、それらの線分の時刻に対応する再生位置をジャンプして再生することが可能である。
【００３５】
［第２のステップ及び第３のステップの説明］
次に本実施の形態の方法では、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する（第２のステップ）。このインターフェースについては、後に詳しく説明する。そして音楽音響データ再生装置を用いて音楽音響データの再生を開始した後、操作者がインターフェースを用いて任意の楽曲構造特徴区間を選択すると、選択した任意の楽曲構造特徴区間に対応する楽曲構造特徴区間指定データに基いて、音楽音響データ再生装置による音楽音響データの再生位置を任意の楽曲構造特徴区間に変更する（第３のステップ）。この再生位置の変更がいわゆる楽曲構造特徴区間の先頭へのジャンプである。図１の実施の形態では、インターフェースに画像表示部を設けて、楽曲の内容を反映しながら楽曲構造特徴区間を視覚により見えるようにしている。なおこの視覚化も後に詳しく説明する。この実施の形態によれば、具体的には、「サビ区間の頭出し」、「前の楽曲構造の区間（繰り返し区間）の頭出し」、「次の楽曲構造の区間（繰り返し区間）の頭出し」が可能となり、試聴者がサビの部分だけ聴いたり、前後の楽曲構造の先頭へとジャンプして聴いたりすることができるようになる。
【００３６】
図３は本発明の方法を実施する本発明の楽曲再生装置の一実施の形態の構成を示すブロック図である。この楽曲再生装置１は、音楽音響データを再生する音楽音響データ再生装置３を備えて楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を備えている。この例では、例えばネットワークを介して送られてきた楽曲構造特徴区間指定データ付の音楽音響データがデータ分離手段５に入力される。データ分離手段５は、楽曲構造特徴区間指定データ付の音楽音響データから音楽音響データと楽曲構造特徴区間指定データとを分離し、音楽音響データについては音楽音響データ格納手段７に格納し、楽曲構造特徴区間指定データについては楽曲構造特徴区間指定データ格納手段９に格納する。制御部１１は、音楽音響データ再生装置３とインターフェース１３とを内蔵してディスプレイ１５を備えた画像表示部１７をコントロールする。制御部１１の内部には、指定データ付与手段１２が含まれている。音楽音響データ再生装置３、制御部１１、指定データ付与手段１２、インターフェース１３及び画像表示部１７の主要部はプログラムによって動作可能になる図示しないコンピュータにより実現される。
【００３７】
楽曲構造特徴区間指定データ格納手段９は、再生する音楽音響データに対応して予め定められた複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する。そしてインターフェース１３は、後に詳しく説明するように、複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有する。また指定データ付与手段１２は、インターフェース１３によって選択された任意の楽曲構造特徴区間を指定する楽曲構造特徴区間指定データを楽曲構造特徴区間指定データ格納手段９から読み出して音楽音響データ再生装置３に与える。音楽音響データ再生装置３は、インターフェース１３からの指令に従って動作し、特に指定データ付与手段１２から楽曲構造特徴区間指定データが与えられると、指定データによって指定された楽曲構造特徴区間に再生位置を変更する。この楽曲再生装置１では、楽曲の再生中であっても、インターフェース１３によって選択された任意の楽曲構造特徴区間を再生することができる。なお音楽音響データ再生装置３は、楽曲の再生中でなくても、インターフェースによって選択された任意の楽曲構造特徴区間を再生することができるように構成されていてもよいのは勿論である。
【００３８】
図４（Ａ）は、音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段２１を備え、またインターフェース１３´が独立して存在している本発明の楽曲再生装置１´の変形例を示している。このような特徴区間指定データ生成手段２１を備えていれば、既存の楽曲を再生する場合にも本発明を適用することが容易になる。なお特徴区間指定データ生成手段２１は、前述の自動サビ区間検出手法を実施できるように構成すればよい。また図４（Ａ）の実施の形態においては、１以上の選択ボタンを備えたインターフェース１３´が独立した装置として用意されている。このインターフェース１３´では、選択ボタンがいわゆる指で物理的に操作するマニュアルスイッチにより構成されている。なお選択ボタンは、タッチパネル上に画面表示されているものを指やペンでクリックして操作したり、マウスでクリックして操作するタイプのものでもよく、その構造は任意である。
【００３９】
ペンで操作するタイプのものでもよく、その構造は任意である。
【００４０】
また図４（Ｂ）に示すように、インターフェース１３´を含んだ画像表示部１７´を独立した装置として構成してもよいのは勿論である。この例では、音楽音響データと楽曲構造特徴区間指定データのそれぞれを別個にダウンロードしてそのまま音楽音響データ格納手段７と楽曲構造特徴区間指定データ生成手段９に格納するようにしている。
【００４１】
前述の図３の実施の形態では、いずれもディスプレイ１５上にインターフェース１３の操作部及び表示部が表示される構成を有している。インターフェースの動作を制御する手段は、画像表示部１７内に内蔵されている。図５（Ａ）は、ディスプレイ１５上に表示したインターフェース１３の操作部及び表示部の構成の一例を示す図である。この例では、上側のウインドウＷ１内に、音楽音響データの長さを時間軸を用いた画像表示Ａにより表示し、併せて音楽音響データ再生装置３が音楽音響データを再生している音楽音響データの再生位置と複数の楽曲構造特徴区間とを時間軸を用いた画像表示Ｂにより表示し、下側のウインドウＷ２内に各種の選択ボタンＳＷ１〜ＳＷ１０もディスプレイ１５上に画像表示Ｃによって画像表示部１７が表示している。
【００４２】
下側のウインドウＷ２には、左側から順に、停止選択ボタンＳＷ１、一時停止選択ボタンＳＷ２、再生選択ボタンＳＷ３、前の曲の頭出選択ボタンＳＷ４、早戻し選択ボタンＳＷ５、早送り選択ボタンＳＷ６、次の曲の頭出し選択ボタンＳＷ７が並んでおり、これらのボタンの上には慣例的な記号が描かれている。これらの選択ボタンは、既存のインターフェースで用いられているものと同じである。停止選択ボタンＳＷ１の上側には、楽曲の先頭からの経過時間が表示されている。
【００４３】
本実施の形態で用いるインターフェースでは、ウインドウＷ２内にさらに自動ジャンプボタンと呼ばれる３つの選択ボタンＳＷ８〜ＳＷ１０を備えている。左から順に、「前の楽曲構造の区間の頭出し」用の第１の繰り返し区間選択ボタンＳＷ８、「次の楽曲構造の区間の頭出し」用の第２の繰り返し区間選択ボタンＳＷ９及び「サビ区間の頭出し」用のサビ区間選択ボタンＳＷ１０である。
【００４４】
サビ区間選択ボタンＳＷ１０を押すと、現在の再生位置より後方の（後方になければ最初の）サビ区間を探索し、その開始点にジャンプする。通常、サビは楽曲中で複数回繰り返されるが、このボタンＳＷ１０を押す度にそれらの間を順にジャンプできる。他の二つのボタンＳＷ８及びＳＷ９を押すと、現在の再生位置の直後もしくは直前に位置する繰り返し区間の開始点を探索し、その先頭にジャンプする。探索時には、区間の終了点は無視する。
【００４５】
次に、上側にウインドウＷ１（楽曲構造表示ウインドウ）の構成について説明する。最上段にサビ区間の表示バーＢ１があり、その下に５段の繰り返し区間表示バーＢ２〜Ｂ６が視覚により認識できるように表示されている。この例では、５段の繰り返し区間表示バーを用いているが、表示バーの数は任意であり、この実施の形態に限定されるものではない。サビ区間の表示バーＢ１の区間を表示する色と同じ色のマークがサビ区間選択ボタンＳＷ１０の上に表示しており、また区間表示バーＢ２〜Ｂ６の区間を表示する色と同じ色のマークが二つのボタンＳＷ８及びＳＷ９の上に表示されている。これにより操作者がボタンを選択する際の誤認動作が防止できる。この例は、５種類のメロディが繰り返し演奏されていることを表示している。最下段の細い横棒の表示Ａは、楽曲中の経過時間を知らせる再生位置スライダである。またこの例では、６本の表示バーＢ１乃至Ｂ６を横切るように縦型表示バーＩを設けてある。この縦型表示バーＩは、再生位置スライダＡの表示マークａと同期して変位して、現在の再生位置を表示する。このような表示を用いる場合、各区間を直接クリック（タッチパネル使用時にはタッチ）して音楽音響データを再生したり、再生位置スライダをクリックして再生位置の変更をしたりすることが可能である。以上のインターフェースと機能により、試聴者は、イントロを少し聴いた後に、ボタンを押すだけでサビを試聴することが可能となる。なお、ウインドウＷ２に「前のサビ区間の頭出し」用の第１のサビ区間選択用ボタンと「次のサビ区間の頭出し」用の第２のサビ区間選択用ボタンの二つを用意してもよい。この実施の形態では、以下の理由から一つのボタンとしている。（１）現状の「サビ区間の頭出し」用のサビ区間選択ボタンＳＷ１０を連打すれば、すべてのサビ区間を一巡した後にまた最初の区間に戻るので、短時間で望みの箇所へ移動できる。（２）瞬時に過去のサビ区間へ戻る必要がある場合には、楽曲構造表示ウインドウＷ１で区間を直接クリックする手段が用意されている。また、楽曲全体の構造を視覚的に把握しながら、様々な箇所を選択的に試聴できる。
【００４６】
この例のように、サビ区間や楽曲中の繰り返し区間の構造を視覚化する（いずれか一方でも良い）と、この視覚化された画面から、試聴者は、イントロ、第１の種類のメロディ（Ａメロ）、第２の種類のメロディ（Ｂメロ）、サビ、間奏等の相互の位置関係が把握できる。
【００４７】
図５（Ｂ）は他のインターフェースの表示態様を示している。図５（Ｂ）のインターフェースでは、サビ区間選択ボタンが次のサビ区間にジャンプする場合に用いる第１のサビ区間選択ボタンＳＷ１０の他に、前のサビ区間にジャンプさせる第２のサビ区間選択ボタンＳＷ１１を備えている。その他の点は、図５（Ａ）のインターフェースと同じである。
【００４８】
図６は、上記実施の形態で用いるインターフェース１３を実現する場合に用いるプログラムのアルゴリズムを示すブロック図である。なお図６のアルゴリズムでは図５の例とは一部異なっている。すなわち、サビ区間選択ボタンが次のサビ区間にジャンプする場合に用いる第１のサビ区間選択ボタンとは別に、前のサビ区間にジャンプさせる第２のサビ区間選択ボタンを備えているものと仮定している。
【００４９】
まずステップＳＴ１では、サビ区間及び繰り返し区間を表示バーＢ１乃至Ｂ６として視覚化する。次にステップＳＴ２で再生位置を縦表示バーＩと表示マークａによって表示する。これらの表示が終了すると、ステップＳＴ３において、停止選択ボタンＳＷ１、一時停止選択ボタンＳＷ２及び再選選択ボタンＳＷ３のいずれが押されているか（クリックされているか又は選択されているか）の判定が行われる。そして停止選択ボタンＳＷ１が押されていれば、音楽音響データの再生位置をデータの先頭に設定して、再生状態を停止に設定する。また一時停止選択ボタンＳＷ２が押されていれば再生を一時停止に設定する。更に再生選択ボタンＳＷ３が押されていれば、再生状態を再生に設定する（なおこのときの再生速度は普通である。）。ステップＳＴ４が終了すると、ステップＳＴ２へと戻り、縦表示バーＩと表示マークａの位置を再生位置に合わせて変更する。いずれの選択ボタンも押されていない場合には、ステップＳＴ５へと進む。ステップＳＴ５では、早送り選択ボタンＳＷ６または早戻し選択ボタンＳＷ５が押されているか否かの判定が行われる。早送り選択ボタンＳＷ６、早戻し選択ボタンＳＷ５のいずれかが押されている場合には、ステップＳＴ６へと進んでボタンが押されている間だけ再生速度を早送りまたは早戻しに変更し、次にステップＳＴ７で再生状態を再生に設定する。その結果、再生をしながら早送りまたは早戻しが実行される。なお再生速度の変更に応じた再生位置の変更はステップＳＴ２で表示され、縦表示バーＩと表示マークａの移動速度も変更される。
【００５０】
早送り選択ボタンＳＷ６、早戻し選択ボタンＳＷ５のいずれもが押されていない場合には、ステップＳＴ８へと進む。ステップＳＴ８では、次のサビ区間の頭出しのために第１及び第２のサビ区間選択ボタンＳＷ１０またはＳＷ１１が押されたか否かが判断される。第１及び第２のサビ区間選択ボタンＳＷ１０またはＳＷ１１のいずれかが押されていれば、ステップＳＴ９へと進む。ステップＳＴ９では、再生位置または再生位置を次のサビ区間の先頭に変位させることを設定する。そしてステップＳＴ７を経由してステップＳＴ２へと戻り、縦表示バーＩと表示マークａのジャンプまたは変位が表示される。ステップＳＴ８で選択ボタンＳＷ１０またはＳＷ１１が押されていないことが確認されると、ステップＳＴ１０へと進む。ステップＳＴ１０では、前の繰り返し区間の先頭または後の繰り返し区間の先頭にジャンプするための第１及び第２の繰り返し区間選択用ボタンＳＷ８及びＳＷ９が押されているかが判定される。もし第１及び第２の繰り返し区間選択用ボタンＳＷ８及びＳＷ９のいずれかが押されていれば、ステップＳＴ１１へと進む。ステップＳＴ１１では、現在の再生位置又は再生位置から次のまたは前の繰り返し区間の先頭に再生位置を変位させる。そしてステップＳＴ７へと進んで再生状態を再生に設定し、ステップＳＴ２で再生位置の表示が変更される。ステップＳＴ１０においては、第１及び第２の繰り返し区間選択用ボタンＳＷ８及びＳＷ９のいずれもが押されていない場合には、ステップＳＴ１２へと進む。
【００５１】
ステップＳＴ１２は、ディスプレイ１５上の各区間表示がそのままで選択ボタンになるようにする場合に設けられる。この場合にも各区間が直接クリック（タッチ）された場合には、そのクリック（タッチ）された区間の先頭に再生位置を変位する。その後ステップＳＴ７へと進んで再生状態を再生に設定し、ステップＳＴ２へと進んで再生位置の変更が表示される。
【００５２】
ステップＳＴ１２で選択ボタンがクリックされていない場合には、ステップＳＴ１４へと進む。ステップＳＴ１４では、再生位置スライダのマークａをクリック（タッチ）してマークａを移動させる指示操作が行われたか否かが判断される。操作が行われると、ステップＳＴ１５へと進んでスライダのマークａの移動先に再生位置を設定し、その後ステップＳＴ７で再生状態を再生に設定してステップＳＴ２へと戻る。
【００５３】
図７は、選択ボタンＳＷ１〜ＳＷ７を用いて操作する場合のアルゴリズムを示すフローチャートである。図６に示したアルゴリズムに従った動作と図７のアルゴリズムに従った動作とは並行して進行している。選択ボタンＳＷ８〜ＳＷ１１が押されなければ、図６に従って再生が行われ、その再生の途中で選択ボタンＳＷ８〜ＳＷ１１等が押されると、図６のアルゴリズムの所定のステップが実行される。
【００５４】
なお図６及び図７において、「再生状態」とは、停止、一時停止及び再生の状態を含み、「再生位置」とは楽曲のファイルの先頭からの経過時間であり、「再生速度」には通常の再生速度と、早送りの再生速度と、早戻しの再生速度が含まれる。
【００５５】
図８乃至図１３を用いてインターフェース１３の動作状態を説明する。なお表示バーＢ１〜Ｂ６において、黒色の部分と灰色の部分が、サビ区間及び繰り返し区間の楽曲構造特徴区間を示している。またこれらの図において、押された状態にある選択ボタンには、理解を容易にするためハッチングを付してある。最初、図８（Ａ）〜（Ｃ）及び図９（Ａ）〜（Ｃ）を用いて、サビ区間の頭出し動作を説明する。図８（Ａ）に示す状態が再生選択ボタンＳＷ３を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーＩ及び表示マークａが、再生の最初の位置にある。図８（Ｂ）は再生状態を続けている状態を示している。そしてこの状態でサビ区間選択ボタンＳＷ１０が１回押されると、図８（Ｃ）のようになる。この状態では、後方のサビ区間の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最初のサビ区間の先頭に変位する。しばらく再生状態を継続した後再度サビ区間選択ボタンＳＷ１０を押すと、図９（Ａ）に示すように、更に２番目のサビ区間の表示の先頭に縦表示バーＩ及び表示マークａは移動またはジャンプし、再生位置も２番目のサビ区間の先頭に変位する。そして更にサビ区間選択ボタンＳＷ１０を押すと、図９（Ｂ）に示すように３番目のサビ区間の表示の先頭に縦表示バーＩ及び表示マークａは移動またはジャンプし、再生位置も３番目のサビ区間の先頭に変位する。さらにサビ区間選択ボタンＳＷ１０を押すと、次にサビ区間が存在しないため、図９（Ｃ）に示すように、最初のサビ区間の先頭に縦表示バーＩ及び表示マークａは移動またはジャンプし、再生位置も最初のサビ区間の先頭に変位する。
【００５６】
次に図１０及び図１１を用いて繰り返し区間をジャンプする動作を説明する。図１０（Ａ）に示す状態が再生選択ボタンＳＷ３を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーＩ及び表示マークａが、再生の最初の位置にある。図１０（Ｂ）は再生状態を続けている状態を示している。そしてこの状態で第２の繰り返し区間選択ボタンＳＷ９が１回押されると、図１０（Ｃ）のようになる。この状態では、最も近い後方の繰り返し区間の［表示バーＢ４の２番目の繰り返し区間］の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最も近い後方の繰り返し区間［表示バーＢ４の２番目の繰り返し区間］の先頭に変位する。しばらく再生状態を継続した後再度第２の繰り返し区間選択ボタンＳＷ９が１回押されると、図１１（Ａ）に示すように、この状態で最も近い後方の繰り返し区間の［表示バーＢ５の１番目の繰り返し区間］の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最も近い後方の繰り返し区間［表示バーＢ５の１番目の繰り返し区間］の先頭に変位する。そして更に第２の繰り返し区間選択ボタンＳＷ９が１回押されると、図１１（Ｂ）に示すように、この状態で最も近い後方の繰り返し区間の［表示バーＢ５の２番目の繰り返し区間］の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最も近い後方の繰り返し区間［表示バーＢ５の２番目の繰り返し区間］の先頭に変位する。
【００５７】
次に図１２及び図１３を用いて繰り返し区間を前方にジャンプする動作を説明する。図１２（Ａ）に示す状態が再生選択ボタンＳＷ３を押して、ある音楽音響データの再生を開始した直後の状態である。この状態では、縦表示バーＩ及び表示マークａが、再生の最初の位置にある。図１２（Ｂ）は再生状態を続けている状態を示している。そしてこの状態で第１の繰り返し区間選択ボタンＳＷ８が１回押されると、図１２（Ｃ）のようになる。この状態では、最も近い前方の繰り返し区間の［表示バーＢ４の１番目の繰り返し区間］の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最も近い前方の繰り返し区間［表示バーＢ４の１番目の繰り返し区間］の先頭に変位する。この状態で再度第１の繰り返し区間選択ボタンＳＷ８が１回押されると、図１３に示すように、この状態で最も近い後方の繰り返し区間の［表示バーＢ６の１番目の繰り返し区間］の表示の先頭に縦表示バーＩ及び表示マークａはジャンプし、再生位置も最も近い前方の繰り返し区間［表示バーＢ６の１番目の繰り返し区間］の先頭に変位する。
【００５８】
このようにして選択ボタンＳＷ８〜ＳＷ１０を任意に選択することにより、インターフェース１３によって選択された任意の楽曲構造特徴区間を再生することができる。
【００５９】
図１４に発明者が実際に作成したインターフェースの画面の一例を示す。
【００６０】
次に本発明をより具体的に実施した実機とその結果について説明する。
【００６１】
実機のインターフェースは、サビ区間検出手法を用いて得たサビ区間と繰り返し構造の記述を含むファイルを利用する形で動作する。
【００６２】
実機のＧＵＩ部分、音楽音響再生装置のエンジン部分、音響出力デバイス制御部分は、拡張性が高くなるように、分散環境で動作する別々のプロセスとして実装した。そのために、音響信号や各種制御情報をネットワーク上で効率よく共有することを可能にするネットワークプロトコルＲＡＣＰ（Ｒｅｍｏｔｅ Ａｕｄｉｏ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を設計し、それに基づいて実装した。ＲＡＣＰは、ＲＭＣＰ（遠隔音楽制御用プロトコル）を音響信号の伝送用に拡張したプロトコルである。
【００６３】
実機を、二つの提案機能（ジャンプのための選択ボタンＳＷ８〜ＳＷ１０と楽曲構造表示）の有無に応じて、四つの条件で運用した。試聴対象には、「ＲＷＣ研究用音楽データベース： ポピュラー音楽」の１００曲（ＲＷＣ−ＭＤＢ−Ｐ−２００１ Ｎｏ．１〜１００）の中から、試聴者が初めて聴く楽曲を選んだ。ただし、自動サビ区間検出手法によって正しく得られた楽曲構造特徴区間指定データを用いた（自動サビ区間検出手法による１００曲中の正答曲数は、８０曲であった）。参考までに、これら１００曲に対して、開発した手動サビ区間ラベリング用エディタを用いて人間（音楽大学卒業生）が手作業でラベリングするのに、事前にビートや小節の区切りをラベリングしてあるところから始めて、約１００時間を要した。以下、四つの条件とその運用結果を述べる。ここでは、条件間の比較のために、視覚化された楽曲構造上の区間を直接クリックして再生する機能は用いていない。
【００６４】
［条件１］ 提案機能が一切ない（従来に相当）。
【００６５】
試聴者は、曲の頭の部分がサビでない場合、少し聴いては早送り選択ボタンを押すという動作を、サビが出てくるまで５〜１０回程度繰り返した。少しずつ聴きながら早送りすることは、時間がかかって煩わしいものの、楽曲の雰囲気をつかみたいときには有効であった。
【００６６】
［条件２］ 選択ボタンＳＷ８〜ＳＷ１０はないが、楽曲構造表示はある。
【００６７】
どこまで再生位置を早送りすればよいかのフィードバックが得られる点が効果的であり、試聴者は条件１よりも便利だと評価した。ただし、画面表示によって現在の再生位置よりも先が見えているだけに、そこまで飛ばしたいという欲求が強くおきる傾向があった。
【００６８】
［条件３］ 選択ボタンＳＷ８〜ＳＷ１０はあるが、楽曲構造表示がない。
【００６９】
最初にイントロを聴いた後に、直接サビ区間選択ボタンＳＷ１０を押す聴き方と、「次の楽曲構造の区間の頭出し」に用いる第２の繰り返し区間選択ボタンＳＷ９を押しては少し聴くという操作を繰り返し、サビが出てきたらそこをじっくり聴くという聴き方が主だった。効率よく飛ばしながら聴ける点が評価され、条件２より好まれていた。
【００７０】
［条件４］ 提案機能がすべて有効である（実施の形態に相当）。
【００７１】
条件２、条件３の利点が共に得られる試聴方法であり、最も便利だと評価された。条件３のような聴き方に加え、楽曲構造上を自在に行き来しながら聴く傾向が強くなり、サビを聴いた後に、第１の種類のメロディ（Ａメロ）に戻って聴いたり、楽曲の後半のサビの繰り返しへ飛んで聴いたりしていた。
【００７２】
条件３は、通常のメディアプレーヤに三つの選択ボタンＳＷ８〜ＳＷ１０を追加した場合に相当し、楽曲構造表示がなくても通常のプレーヤより便利であることがわかった。また条件４から、視覚化はさらにその操作を助け、楽曲の様々な箇所を聴く上で有効であることがわかった。さらに、ボタンの機能や表示ウインドウの中身に関して一切説明を受けていない試聴者が、条件４で利用した場合でも、短時間の使用でこれらの意味を把握することが確認された。
【００７３】
以上から、インターフェースが実用的に機能し、試聴者は、楽曲構造表示の助けを得ながらジャンプ用の選択ボタンＳＷ８〜ＳＷ１０を押して、インタラクティブに楽曲再生に介入できることを確認した。
【００７４】
上記実施の形態は、インターフェースの操作部をディスプレイ上に形成するものであるが、アナログスイッチ等の実際のスイッチを用いてインターフェースを構成してもよいのは勿論である。
【００７５】
また上記実施の形態は、いわゆるパーソナルコンピュータにプログラムをインストールすることにより実現される。しかしながら例えば、いわゆる、ラジオカセット、ＣＤプレーヤ、ＤＶＤプレーヤ等の各種の音楽音響再生器においても本発明を適用できるのは勿論である。
【００７６】
本実施の形態で用いるインターフェースは、一般的な音楽再生インターフェースとして有用であり、従来の楽曲単位での操作体系に対し、楽曲内部の区間単位での操作体系が追加されたものである。従来は楽曲単位で興味のない曲を飛ばせたが、楽曲内部の興味のない箇所を飛ばすのは容易でなかった。本発明のインターフェースにより、原曲の時系列に沿わずに、「好きなところを聴きたいように聴ける」ようになったメリットは大きい。なお、楽曲単位でのランダムプレイ（シャッフルプレイ）機能が可能なように、区間単位でのランダムプレイ機能も実現可能である。また試聴よりも長時間の利用が許される場面で、楽曲構造を見ながら音楽再生位置をインタラクティブに変更して聴くときには、従来の鑑賞に比べてより分析的に聴く傾向がある。例えば、楽曲全体がどのような構造になっているかを確かめ、構成上の各区間を聴いたり、繰り返される区間同士の比較をしたりする場面がみられる。また、楽曲構造の視覚化結果は、それを眺めながら音楽を聴くだけでも面白く有用である。
【００７７】
さらに楽曲中の繰り返し区間の先頭へ再生位置をジャンプするだけでなく、繰り返されない区間（間奏・ギターソロ等）にもラベリングしておけば、それらの先頭へも再生位置をジャンプできる。
【００７８】
【発明の効果】
本発明によれば、インターフェースによる選択により簡単にサビ区間等の楽曲構造特徴区間を音楽音響データ再生装置を用いて再生することができる利点が得られる。
【００７９】
また本発明を用いれば、「サビ出し」機能（サビ区間選択ボタン）を搭載した音楽試聴機を得ることができる。試聴者はこのサビ区間選択ボタンを押すだけで、サビ区間の先頭へ再生をジャンプさせる（瞬時に早送りする）ことができ、自分でサビ区間を探す煩わしい作業から解放される利点がある。さらに、サビ以外の楽曲中の繰り返し区間も事前に推定あるいは用意しておくことで、次の楽曲構造の繰り返し区間の先頭へも再生をジャンプさせることができる利点が得られる。
【図面の簡単な説明】
【図１】本発明の楽曲再生方法の実施の形態の概念を示すブロック図である。
【図２】（Ａ）は、手動サビ区間ラベリング用エディタの画面の表示であり、（Ｂ）及び（Ｃ）は試聴者行動分析手法で得られたヒストグラムの例を示す図である。
【図３】本発明の楽曲再生装置の一実施の形態の構成を示すブロック図である。
【図４】（Ａ）はそれぞれ音楽音響データから自動的に楽曲中の複数の楽曲構造特徴区間を抽出して楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段を備えた本発明の楽曲再生装置の変形例を示すブロック図であり、（Ｂ）は他の変形例を示すブロック図である。
【図５】インターフェースの表示画面の一例を示す図である。
【図６】インターフェースを実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図７】通常の再生動作を行う際のインターフェースの動作のアルゴリズムを示すフローチャートである。
【図８】（Ａ）〜（Ｃ）はサビ区間の選択を説明するために用いる図である。
【図９】（Ａ）〜（Ｃ）はサビ区間の選択を説明するために用いる図である。
【図１０】（Ａ）〜（Ｃ）は繰り返し区間の選択を説明するために用いる図である。
【図１１】（Ａ）及び（Ｂ）は繰り返し区間の選択を説明するために用いる図である。
【図１２】（Ａ）〜（Ｃ）は繰り返し区間の選択を説明するために用いる図である。
【図１３】繰り返し区間の選択を説明するために用いる図である。
【図１４】実際に作成したインターフェースの画面を示す図である。
【符号の説明】
１ 楽曲再生装置
３ 音楽音響データ再生装置
５ データ分離手段
７ 音楽音響データ格納手段
９ 楽曲構造特徴区間指定データ格納手段
１ １ 制御部
１３ インターフェース
１５ ディスプレイ
１７ 画像表示部

Claims (40)

1. 音楽音響データを再生する音楽音響データ再生装置を用いて前記音楽音響データを再生する楽曲再生方法であって、
   再生の対象となる前記音楽音響データに関して、楽曲中の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する第１のステップと、
   前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する第２のステップと、
   前記音楽音響データ再生装置を用いて前記音楽音響データの再生を開始した後、操作者が前記インターフェースを用いて選択した前記任意の楽曲構造特徴区間に対応する前記楽曲構造特徴区間指定データに基いて、前記音楽音響データ再生装置による前記音楽音響データの再生位置を前記任意の楽曲構造特徴区間に変更する第３のステップとからなることを特徴とする楽曲再生方法。
2. 音楽音響データを再生する音楽音響データ再生装置を用いて、楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する方法であって、
   再生の対象となる前記音楽音響データに関して、前記複数の楽曲構造特徴区間を指定するための複数の楽曲構造特徴区間指定データを予め用意する第１のステップと、
   前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを用意する第２のステップと、
   操作者が前記インターフェースを用いて選択した前記任意の楽曲構造特徴区間に対応する前記楽曲構造特徴区間指定データに基いて前記音楽音響データ再生装置に前記任意の楽曲構造特徴区間を再生させる第３のステップとからなることを特徴とする楽曲再生方法。
3. 前記楽曲構造特徴区間が、前記楽曲中のサビ区間であることを特徴とする請求項１または２に記載の楽曲再生方法。
4. 前記楽曲構造特徴区間が、前記楽曲中の繰り返し区間を含んでいることを特徴とする請求項１または２に記載の楽曲再生方法。
5. 前記第１のステップでは、前記音楽音響データに基づいて前記複数の楽曲構造特徴区間を人が特定し、特定した前記複数の楽曲構造特徴区間を指定するための前記複数の楽曲構造特徴区間指定データを作成することを特徴とする請求項１または２に記載の楽曲再生方法。
6. 前記第１のステップでは、対象とする前記音楽音響データを複数の試聴者が再生した際の再生行動の統計データに基いて前記複数の楽曲構造特徴区間を特定し、特定した前記複数の楽曲構造特徴区間を指定するための前記複数の楽曲構造特徴区間指定データを作成することを特徴とする請求項１または２に記載の楽曲再生方法。
7. 前記第２のステップで用意する前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する画像表示部を有していることを特徴とする請求項１または２に記載の楽曲再生方法。
8. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し部分を示す複数の繰り返し区間とからなり、
   前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示することを特徴とする請求項７に記載の楽曲再生方法。
9. 前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する１以上の選択ボタンを有している請求項１または２に記載の楽曲再生方法。
10. 前記１以上の選択ボタンには、前記複数の楽曲構造特徴区間から前記サビ区間だけを選択する１以上のサビ区間選択ボタンが含まれていることを特徴とする請求項９に記載の楽曲再生方法。
11. 前記１以上のサビ区間選択ボタンは前のサビ区間を選択する第１のサビ区間選択ボタンと、後のサビ区間を選択する第２のサビ区間選択ボタンとからなる請求項１０に記載の楽曲再生方法。
12. 前記１以上の選択ボタンには、前記複数の繰り返し区間を選択する際に前の繰り返し区間を選択する第１の繰り返し区間選択ボタンと、後の繰り返し区間を選択する第２の繰り返し区間選択ボタンが含まれていることを特徴とする請求項９に記載の楽曲再生方法。
13. 前記第２のステップで用意する前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する画像表示部を有しており、
    前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する１以上の選択ボタンを有しており、
    前記１以上の選択ボタンは前記画像表示部に表示された画像表示ボタンである請求項１または２に記載の楽曲再生方法。
14. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区間を示す複数の繰り返し区間とからなり、
    前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示し、
    前記画像表示部に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する１以上の選択ボタンとすることを特徴とする請求項１３に記載の楽曲再生方法。
15. 音楽音響データを再生する音楽音響データ再生装置を有し、且つ楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を備えた楽曲再生装置であって、
    前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択する機能を有するインターフェースと、
    再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段と、
    前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段とを具備し、
    前記音楽音響データ再生装置は前記指定データ付与手段から付与された前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間に再生位置を変更するように構成されていることを特徴とする楽曲再生装置。
16. 前記音楽音響データには前記楽曲構造特徴区間指定データが付随しており、
    前記楽曲構造特徴区間指定データ格納手段は前記音楽音響データに付随する前記楽曲構造特徴区間指定データを読み取って格納することを特徴とする請求項１５に記載の楽曲再生装置。
17. 前記音楽音響データから自動的に前記楽曲中の前記複数の楽曲構造特徴区間を抽出して前記楽曲構造特徴区間指定データを作成する特徴区間指定データ生成手段を更に備えていることを特徴とする請求項１５に記載の楽曲再生装置。
18. 前記楽曲構造特徴区間が、前記楽曲中のサビ区間であることを特徴とする請求項１５に記載の楽曲再生装置。
19. 前記楽曲構造特徴区間が、前記楽曲中の繰り返し区間を含んでいることを特徴とする請求項１８に記載の楽曲再生装置。
20. 前記インターフェースは、前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する機能を有する画像表示部を備えていることを特徴とする請求項１５に記載の楽曲再生装置。
21. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し部分を示す複数の繰り返し区間とからなり、
    前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示する機能を有していることを特徴とする請求項２０に記載の楽曲再生装置。
22. 前記インターフェースは、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する１以上の選択ボタンを有している請求項２０に記載の楽曲再生方法。
23. 前記１以上の選択ボタンには、前記複数の楽曲構造特徴区間から前記サビ区間だけを選択する１以上のサビ区間選択ボタンが含まれていることを特徴とする請求項２２に記載の楽曲再生装置。
24. 前記１以上のサビ区間選択ボタンは前のサビ区間を選択する第１のサビ区間選択ボタンと、後のサビ区間を選択する第２のサビ区間選択ボタンとからなる請求項２２に記載の楽曲再生装置。
25. 前記１以上の選択ボタンには、前記複数の繰り返し区間を選択する際に前の繰り返し区間を選択する第１の繰り返し区間選択ボタンと、後の繰り返し区間を選択する第２の繰り返し区間選択ボタンが含まれていることを特徴とする請求項２２に記載の楽曲再生装置。
26. 前記１以上の選択ボタンは前記画像表示部に表示された画像表示ボタンである請求項２２に記載の楽曲再生装置。
27. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区間を示す複数の繰り返し区間とからなり、
    前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示し、
    前記画像表示部に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する前記１以上の選択ボタンとするように前記画像表示部が構成されていることを特徴とする請求項２６に記載の楽曲再生装置。
28. 音楽音響データを再生する音楽音響データ再生装置を用いて、楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する際に、前記楽曲構造特徴区間の選択と選択結果の伝送に用いられるインターフェースであって、
    前記複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む１以上の選択ボタンを有していることを特徴とするインターフェース。
29. 前記１以上の選択ボタンは前のサビ区間を選択する第１のサビ区間選択ボタンと、後のサビ区間を選択する第２のサビ区間選択ボタンとからなる請求項２８に記載のインターフェース。
30. 前記複数の楽曲構造特徴区間に含まれる複数の繰り返し区間を選択する際に、前の繰り返し区間を選択する第１の繰り返し区間選択ボタンと、後の繰り返し区間を選択する第２の繰り返し区間選択ボタンをさらに備えていることを特徴とする請求項２７に記載のインターフェース。
31. 前記音楽音響データの長さを時間軸を用いた画像表示により表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により表示する画像表示部を更に有していることを特徴とする請求項２８に記載のインターフェース。
32. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区間を示す複数の繰り返し区間とからなり、
    前記画像表示部は前記複数のサビ区間と前記複数の繰り返し区間とを区別して表示し、
    前記画像表示部に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する前記１以上の選択ボタンとするように構成されていることを特徴とする請求項３１に記載のインターフェース。
33. コンピュータと、前記コンピュータからの指令に基いて動作するディスプレイと、前記コンピュータからの指令で音楽音響データを再生する音楽音響データ再生装置とから構成された装置を用いて、楽曲中の複数の楽曲構造特徴区間から選択した任意の楽曲構造特徴区間を再生する機能を前記コンピュータに実現させるためのプログラムであって、
    前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するインターフェースを前記ディスプレイ上に構成する機能と、
    再生する前記音楽音響データに対応して予め定められた前記複数の楽曲構造特徴区間を指定するための楽曲構造特徴区間指定データを格納する楽曲構造特徴区間指定データ格納手段を構成する機能と、
    前記インターフェースによって選択された前記任意の楽曲構造特徴区間を指定する前記楽曲構造特徴区間指定データを前記音楽音響データ再生装置に与える指定データ付与手段を構成する機能と、
    前記指定データ付与手段から付与された前記前記楽曲構造特徴区間指定データによって指定された前記楽曲構造特徴区間を再生するように前記音楽音響データ再生装置に指令を与える機能とを前記コンピュータに実現させる構成を備えたことを特徴とする楽曲再生装置実現用プログラム。
34. 前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数の楽曲構造特徴区間に含まれるサビ区間を選択するために操作者が操作するサビ区間選択ボタンを含む１以上の選択ボタンを前記ディスプレイ上に形成する機能を有していることを特徴とする請求項３３に記載の楽曲再生装置実現用プログラム。
35. 前記インターフェースを前記ディスプレイ上に構成する機能は、前記音楽音響データの長さを時間軸を用いた画像表示により前記ディスプレイ上に表示し、併せて前記音楽音響データ再生装置が前記音楽音響データを再生している前記音楽音響データの再生位置と前記複数の楽曲構造特徴区間とを前記時間軸を用いた画像表示により前記ディスプレイ上に表示する機能を更に有していることを特徴とする請求項３３に記載の楽曲再生装置実現用プログラム。
36. 前記複数の楽曲構造特徴区間は、楽曲のサビ部分を示す複数のサビ区間と、繰り返し区間を示す複数の繰り返し区間とからなり、
    前記インターフェースを前記ディスプレイ上に構成する機能は、前記複数のサビ区間と前記複数の繰り返し区間とを区別して前記ディスプレイ上に表示し、前記ディスプレイ上に示された前記複数のサビ区間及び前記複数の繰り返し区間の表示を、前記複数の楽曲構造特徴区間から任意の楽曲構造特徴区間を選択するために操作者が操作する前記１以上の選択ボタンとする機能をさらに有していることを特徴とする請求項３３に記載の楽曲再生装置実現用プログラム。
37. 音楽音響データ中から楽曲構造特徴区間を抽出する方法であって、
    対象とする前記音楽音響データを複数の試聴者が再生した際の再生行動の統計データに基いて前記楽曲構造特徴区間を抽出することを特徴とする楽曲構造特徴区間の抽出方法。
38. 複数の試聴者による再生回数が多い区間を前記複数の楽曲構造特徴区間と定めることを特徴とする請求項３７に記載の楽曲構造特徴区間の抽出方法。
39. ネットワークに接続された複数台の試聴用の楽曲再生装置から前記複数の試聴者による再生回数が多い区間のデータを集めることを特徴とする請求項３８に記載の楽曲構造特徴区間の抽出方法。
40. 前記データをヒストグラムとして視覚により認識可能な状態とし、前記ヒストグラムから前記複数の楽曲構造特徴区間を特定することを特徴とする請求項３９に記載の楽曲構造特徴区間の抽出方法。

Images