JP2017108198A - 楽譜表示システム、動画データ供給装置、楽譜データ供給装置、及び画像表示装置、並びに楽譜表示プログラム - Google Patents

Abstract

【課題】動画の音楽の楽譜に関する情報を簡単に入手できる楽譜表示システムを提供する。【解決手段】 楽譜表示システム１は、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給部ＭＰと、楽譜を表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給部ＳＰと、前記複数の動画データのうちの１つの動画データ及び前記複数の楽譜データを取得して、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索部ＳＦと、前記動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データであって、前記楽譜データ検索部ＳＦの検索結果を用いて選択された楽譜データに関する情報を表示する画像表示部ＧＤと、を備える。【選択図】図１

Description

本発明は、音楽を含む動画を再生すると、その音楽に対応した楽譜に関する情報を表示する楽譜表示システム、並びに前記楽譜表示システムに適用される、動画データ供給装置、楽譜データ供給装置及び画像表示装置に関する。また、楽譜表示システムに適用される楽譜表示プログラムに関する。

例えば、特許文献１に記載されているように、動画をそれぞれ表す複数の動画データを記憶していて、前記複数の動画データのうちの選択された動画データを、インターネットなどの通信ネットワークを介して他の装置に供給する動画サーバ（動画データ供給装置）は知られている。ユーザは、動画サーバに接続された端末（画像表示装置）を用いて、前記動画サーバから動画データを取得して、前記取得した動画データが表す動画を端末に表示させることができる。

また、特許文献２に記載されているように、楽譜をそれぞれ表す複数の楽譜データを記憶していて、前記複数の楽譜データのうちの選択された楽譜データを、インターネットなどの通信ネットワークを介して他の装置に供給する楽譜サーバ（楽譜データ供給装置）は知られている。ユーザは、楽譜サーバに接続された端末（画像表示装置）を用いて、前記楽譜サーバから楽譜データを取得して、前記取得した楽譜データが表す楽譜を端末に表示させることができる。

特開２００９−１０５５６１号公報 特開２００３−１３２２３３号公報

ユーザは、動画を視聴している際に、その動画の音楽の楽譜に関する情報を入手したくなった場合、端末を楽譜サーバに接続（楽譜に関する情報を配信しているサイトにアクセス）し、前記音楽の楽譜を、タイトル、作曲者などのキーワードを用いて検索する必要がある。

本発明は上記問題に対処するためになされたもので、その目的は、動画の音楽の楽譜に関する情報を簡単に入手できる楽譜表示システム、動画サーバ、楽譜サーバ、及び画像表示装置、並びに楽譜表示プログラムを提供することにある。なお、下記本発明の各構成要件の記載においては、本発明の理解を容易にするために、実施形態の対応箇所の符号を括弧内に記載しているが、本発明の各構成要件は、実施形態の符号によって示された対応箇所の構成に限定解釈されるべきものではない。

上記目的を達成するために、本発明の特徴は、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給手段（ＭＰ）と、楽譜を表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給手段（ＳＰ）と、前記複数の動画データのうちの１つの動画データ及び前記複数の楽譜データを取得して、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段（ＳＦ）と、前記動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データであって、前記楽譜データ検索手段の検索結果を用いて選択された楽譜データに関する情報を表示する画像表示手段（ＧＤ）と、を備えた、楽譜表示システム（１）としたことにある。

この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記画像表示手段は、前記動画データに基づいて動画を表示するとともに、前記アライメントデータに基づいて、前記表示する動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表示するとよい。

また、本発明の特徴は、楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置（２０）であって、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給装置（１０）から動画データを取得するとともに、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段（ＳＦ）と、前記動画データ供給装置から画像表示装置（３０）に供給される動画データに対応する楽譜データを、前記楽譜データ検索手段の検索結果を用いて選択し、前記選択した楽譜データに関する情報を前記動画データ供給装置又は前記画像表示装置に供給する楽譜データ供給手段（ＳＰ）と、を備えた楽譜データ供給装置としたことにある。

この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記楽譜データ供給手段は、前記選択した楽譜データ及び前記選択した楽譜データに関するアライメントデータを、前記動画データ供給装置又は前記画像表示装置に供給するとよい。

また、この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記楽譜データ供給手段は、アライメントデータに基づいて、前記画像表示装置にて表示される動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表す楽譜テロップデータを前記動画データ供給装置又は前記画像表示装置に供給するとよい。

また、本発明の特徴は、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給手段を有する動画データ供給装置（１０）であって、楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置（２０）から複数の楽譜データを取得するとともに、前記複数の動画データのうちの１つの動画データを選択して、前記取得した複数の楽譜データのうち、前記選択した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段（ＳＦ）を備え、前記動画データ供給手段は、動画データを画像表示装置（３０）に供給するとともに、前記画像表示装置に供給される動画データに対応する楽譜データを、前記楽譜データ検索手段の検索結果を用いて選択し、前記選択した楽譜データに関する情報を前記画像表示装置に供給する動画データ供給装置としたことにある。

この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記動画データ供給手段は、前記選択した楽譜データ及び前記選択した楽譜データに関するアライメントデータを、前記動画データ供給装置に供給するとよい。

この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記動画データ供給手段は、前記アライメントデータに基づいて、前記画像表示装置にて表示される動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表す楽譜テロップデータを前記画像表示装置に供給するとよい。

また、本発明の特徴は、画像表示装置（３０）であって、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給装置（１０）から動画データを取得するとともに、楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置（２０）から複数の楽譜データを取得して、前記取得した複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段（ＳＦ）と、前記取得した動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データを、前記検索結果を用いて選択し、前記選択した楽譜データに関する情報を表示する画像表示手段（ＧＤ）と、を備えた画像表示装置としたことにある。

この場合、前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータ（ＡＤ）を生成するアライメントデータ生成手段（ＡＧ）をさらに備え、前記画像表示手段は、前記動画データに基づいて動画を表示するとともに、前記アライメントデータに基づいて、前記表示する動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表示するとよい。

本発明によれば、ユーザは、所望の動画データを選択して再生するだけで、その動画の音楽に対応する楽譜に関する情報を表示させることができる。すなわち、ユーザが動画の音楽に対応する楽譜を検索する手間を省略できる。また、動画の進行に同期して、表示される楽譜の小節範囲を変更させることができる。言い換えれば、動画の現在の再生位置に対応する小節範囲のみを表示できる。したがって、ユーザが楽譜を視認し易いだけでなく、ユーザが動画の進行に合わせて楽譜の表示範囲を切り替える必要が無い。よって、例えば、ユーザが楽器演奏を練習する際に本システムを利用すれば、楽譜のページをめくる必要が無いので、練習に集中できる。

なお、本発明は、楽譜表示システム、並びに前記楽譜表示システムに適用される、動画データ供給装置、楽譜データ供給装置及び画像表示装置としての実施に限られず、楽譜表示システムに適用されるコンピュータプログラム（楽譜表示プログラム）としても実施可能である。

本発明の一実施形態に係る楽譜表示システムの概略を示すブロック図である。 図１の楽譜表示システムの動画サーバ（楽譜サーバ、画像表示装置）の構成を示すブロック図である。 対応情報の構成を示す表である。 画像表示装置に表示される画像の一例である。 図１の実施形態の変形例に係り、対応情報生成部が動画サーバ内に設けられた例を示すブロック図である。 図１の実施形態の変形例に係り、対応情報生成部が画像表示装置内に設けられた例を示すブロック図である。 図６の実施形態の変形例に係り、対応情報を記憶する中間サーバが設けられた例を示すブロック図である。 図７の実施形態の変形例に係り、対応情報生成部が中間サーバ内に設けられた例を示すブロック図である。

本発明の一実施形態に係る楽譜表示システム１について説明する。まず、楽譜表示システム１の構成について説明する。楽譜表示システム１は、図１に示すように、動画サーバ１０、楽譜サーバ２０、及び画像表示装置３０を備える。

動画サーバ１０の構成は、周知のコンピュータ装置の構成と同様である。すなわち、動画サーバ１０は、図２に示すように、入力操作子１１、制御装置１２、表示器１３、記憶装置１４、外部インターフェース回路１５及びサウンドシステム１６を備え、これらがバス１７を介して接続されている。

入力操作子１１は、数値、文字などを入力するキーボード、マウス、タッチパネルなどを含む。入力操作子１１が操作されると、その操作内容を表す操作情報が、バス１７を介して、後述する制御装置１２に供給される。

制御装置１２は、バス１７にそれぞれ接続されたＣＰＵ１２ａ、ＲＯＭ１２ｂ及びＲＡＭ１２ｃを含む。ＣＰＵ１２ａは、詳しくは後述するように、各種プログラムに従って、各種処理を実行する。

ＲＯＭ１２ｂには、動画サーバ１０の各種動作を規定する各種プログラムに加えて、各種パラメータの初期値、表示器１３に表示される画像を表わす表示データを生成するための図形データ及び文字データなどの各種データが記憶されている。ＲＡＭ１２ｃには、各種プログラムの実行時に必要なデータが一時的に記憶される。

表示器１３は、例えば、液晶ディスプレイ（ＬＣＤ）によって構成される。表示器１３には、制御装置１２から、表示すべき内容を表わす表示データが供給される。表示器１３は、表示データに基づいて画像を表示する。

また、記憶装置１４は、ＨＤＤ、ＦＤＤ、ＣＤ、ＤＶＤなどの大容量の不揮発性記録媒体と、各記録媒体に対応するドライブユニットから構成されている。この記憶装置１４に、動画をそれぞれ表す複数の動画データが記憶されている。ユーザは、動画データを動画サーバ１０に送信（アップロード）して記憶装置１４に記憶させ、他のユーザがその動画データを再生（ストリーミング）可能な状態に設定可能である。外部インターフェース回路１５は、動画サーバ１０をインターネットなどの通信ネットワークに接続する接続端子を備えている。

サウンドシステム１６は、制御装置１２から供給されたディジタル楽音信号をアナログ楽音信号に変換するＤ／Ａ変換器、前記変換したアナログ楽音信号を出力する出力端子などを備えている。

楽譜サーバ２０の構成も、周知のコンピュータ装置の構成と同様である。すなわち、楽譜サーバ２０は、動画サーバ１０と同様の、入力操作子２１、制御装置２２、表示器２３、記憶装置２４、外部インターフェース回路２５及びサウンドシステム２６を備え、これらがバス２７を介して接続されている（図２参照）。制御装置２２は、ＣＰＵ２２ａ、ＲＯＭ２２ｂ及びＲＡＭ２２ｃを含む。また、記憶装置２４には、楽譜をそれぞれ表す複数の楽譜データが記憶されている。なお、楽譜データは、楽譜を表す画像データと、その楽譜に従って楽器を演奏して発せられた音の音響波形を表すオーディオデータとからなる。楽譜サーバ２０の運営者、楽譜を作成した本システムのユーザ等によって、逐次、新たな楽譜データが追加される。

また、画像表示装置３０の構成も、周知のコンピュータ装置の構成と同様である。すなわち、画像表示装置３０は、動画サーバ１０と同様の、入力操作子３１、制御装置３２、表示器３３、記憶装置３４、外部インターフェース回路３５及びサウンドシステム３６を備え、これらがバス３７を介して接続されている（図２参照）。制御装置３２は、ＣＰＵ３２ａ、ＲＯＭ３２ｂ及びＲＡＭ３２ｃを含む。

つぎに、楽譜表示システム１の動作について説明する。動画サーバ１０のＣＰＵ１２ａは、動画データ取得プログラム及び動画データ供給プログラムを実行する。これにより、動画サーバ１０は、動画データ取得部ＭＲ及び動画データ供給部ＭＰを備えた装置として機能する（図１参照）。また、楽譜サーバ２０のＣＰＵ２２ａは、対応情報生成プログラム及び楽譜データ供給プログラムを実行する。これにより、楽譜サーバ２０は、対応情報生成部ＩＧ及び楽譜データ供給部ＳＰを備えた装置として機能する。また、画像表示装置３０のＣＰＵ３２ａは、画像表示プログラムを実行する。これにより、画像表示装置３０は、動画及び楽譜を表示する画像表示部ＧＤを備えた装置として機能する。

まず、新たな動画データが動画サーバ１０にアップロードされた際の楽譜表示システム１の動作について説明する。

動画データ取得部ＭＲは、他の装置（パーソナルコンピュータ、携帯電話など）から通信ネットワークを介して新たな動画データを受信する。そして、動画データ取得部ＭＲは、前記新たな動画データに識別情報ＩＤ_Ｍを付して、記憶装置１４に記憶する。また、前記新たな動画データがオーディオデータを含む場合、動画データ取得部ＭＲは、前記新たな動画データのオーディオデータ及び前記新たな動画の識別情報ＩＤ_Ｍを対応情報生成部ＩＧに供給する。

対応情報生成部ＩＧは、前記新たな動画データのオーディオデータに対応する楽譜データを検索する楽譜データ検索部ＳＦを有する。また、対応情報生成部ＩＧは、前記新たな動画データが表す動画の各再生位置と前記検索した楽譜データが表す楽譜の各部分（小節範囲）との対応関係を表すアライメントデータＡＤを生成するアライメントデータ生成部ＡＧを有する。

楽譜データ検索部ＳＦによる楽譜データの検索手法としては、周知の手法を採用可能である。例えば、特開２００５−００４５７６に記載されている手法を用いる。すなわち、楽譜データ検索部ＳＦは、前記新たな動画データのオーディオデータと記憶装置２４に記憶されている各楽譜データを構成するオーディオデータとの類似度を計算する。そして、楽譜データ検索部ＳＦは、前記類似度の最も高い楽譜データが前記動画に対応する楽譜データであると決定する。

アライメントデータ生成部ＡＧは、前記動画の各再生位置と前記類似度の最も高い楽譜データが表す楽譜の各部分（小節範囲）とを対応関係を表すアライメントデータＡＤを生成する。なお、アライメントデータの生成手法としては、周知の手法を採用可能である。例えば、特開２０１５−７９１８３に記載されている手法を用いる。すなわち、楽譜の一部分であって、前記動画の現在の再生位置に対応する部分の確率密度の系列、及び現在のテンポの確率密度の系列を用いた高次の自己回帰過程に基づいて、アライメントデータＡＤを生成する。

対応情報生成部ＩＧは、前記新たな動画データの識別情報ＩＤ_Ｍ、前記類似度の最も高い楽譜データの識別情報ＩＤ_Ｓ及び前記生成したアライメントデータＡＤを、一組の対応情報ＭＳＩ（図３参照）として、記憶装置２４に記憶する。

上記のように、新たな動画データがアップロードされるごとに、その動画データに対応する対応情報ＭＳＩが生成され、楽譜サーバ２０の記憶装置２４に記憶される。

つぎに、ユーザが、画像表示装置３０を用いて、動画を再生する際の楽譜表示システム１の動作について説明する。まず、画像表示部ＧＤは、動画サーバ１０の記憶装置２４に記憶されている動画データのリスト（識別情報ＩＤ_Ｍのリスト）を取得する。そして、前記取得した動画データのリストを表示器３３に表示する。ユーザは、入力操作子３１を用いて、所望の動画データを選択する。画像表示部ＧＤは、動画の再生を開始することを表す再生開始情報及び前記選択された動画データの識別情報ＩＤ_Ｍを動画サーバ１０の動画データ供給部ＭＰに供給する。

動画データ供給部ＭＰは、画像表示部ＧＤから取得した識別情報ＩＤ_Ｍを楽譜データ供給部ＳＰに供給する。楽譜データ供給部ＳＰは、動画データ供給部ＭＰから取得した識別情報ＩＤ_Ｍを含む対応情報ＭＳＩを参照して、前記識別情報ＩＤ_Ｍに対応付けられている楽譜データを特定する。そして、前記特定した楽譜データと、前記参照した対応情報ＭＳＩのアライメントデータＡＤとを、動画データ供給部ＭＰに供給する。

動画データ供給部ＭＰは、画像表示部ＧＤから取得した識別情報ＩＤ_Ｍに対応する動画データを画像表示部ＧＤに供給する。その際、動画データ供給部ＭＰは、楽譜データ供給部ＳＰから取得したアライメントデータＡＤを参照して動画の現在の再生位置に対応する楽譜の一部分（小節範囲）を表す楽譜テロップデータを、前記取得した楽譜データを用いて生成する。そして、前記生成した楽譜テロップデータを画像表示部ＧＤに逐次供給する。すなわち、動画データ供給部ＭＰは、楽譜のうち、動画の現在の再生位置に対応する部分（小節範囲）を切り出すとともに拡大した画像を表す楽譜テロップデータを生成して、画像表示部ＧＤに供給する。

画像表示部ＧＤは、動画データ供給部ＭＰから取得した動画データ及び楽譜テロップデータに基づいて動画及び楽譜の一部分を表示する（図４参照）。なお、ユーザは、動画の再生途中において、早送り、巻き戻しなどの操作が可能である。それらの操作に応じて、画像表示部ＧＤは、動画の再生を制御する動画制御データを動画データ供給部ＭＰに供給する。動画データ供給部ＭＰは、前記動画制御データに応じた動画データ及び楽譜テロップデータを、画像表示部ＧＤに供給する。

上記のように構成した楽譜表示システム１によれば、ユーザは、所望の動画データを選択して再生するだけで、その動画の音楽に対応する楽譜を表示させることができる。すなわち、ユーザが動画の音楽に対応する楽譜を検索する手間を省略できる。また、動画の進行に同期して、表示される楽譜の小節範囲を変更させることができる。言い換えれば、動画の現在の再生位置に対応する小節範囲のみを表示できる。したがって、ユーザが楽譜を視認し易いだけでなく、ユーザが動画の進行に合わせて楽譜の表示範囲を切り替える必要が無い。よって、例えば、ユーザが楽器演奏を練習する際に本システムを利用すれば、楽譜のページをめくる必要が無いので、練習に集中できる。

さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、上記実施形態においては、動画データ供給部ＭＰが楽譜データ及びアライメントデータＡＤに基づいて、楽譜テロップデータを生成し、画像表示部ＧＤに供給している。しかし、楽譜データ供給部ＳＰが楽譜テロップデータを生成して、動画データ供給部ＭＰ又は画像表示部ＧＤに供給してもよい、

また、上記実施形態においては、対応情報生成部ＩＧが楽譜サーバ２０内に設けられているが、図５に示すように、対応情報生成部ＩＧが動画サーバ１０内に設けられていても良い。この場合、新たな動画データがアップロードされるごとに、対応情報生成部ＩＧは、楽譜データを楽譜サーバ２０から取得して、前記取得した楽譜データを用いて前記新たな動画データに対応する対応情報ＭＳＩを生成して、記憶装置１４に記憶する。そして、動画を再生する際には、画像データ供給部ＧＰは、再生する動画データに対応する楽譜データを楽譜データ供給部ＳＰから取得するとともに、前記取得した楽譜データ及び記憶装置１４内の対応情報ＭＳＩを用いて楽譜テロップデータを生成する。

なお、図５に示す例において、動画を再生する際、動画データ供給部ＧＰは、再生する動画データに対応する楽譜データ及びアライメントデータＡＤを画像表示装置３０に供給しても良い。この場合、画像表示装置３０内にて楽譜テロップデータを生成して表示すればよい。

また、図６に示すように、対応情報生成部ＩＧが画像表示装置３０内に設けられていてもよい。この場合、新たな動画がアップロードされた時点では対応情報ＭＳＩは生成されず、画像表示装置３０において動画を再生する際に、その画像表示装置３０内の対応情報生成部ＩＧによって対応情報ＭＳＩが生成される。すなわち、対応情報生成部ＩＧは、ユーザによって再生する動画データが選択されると、画像表示部ＧＤが動画を表示し始める前に前記選択された動画データを動画データ供給部ＭＰから取得し、対応情報ＭＳＩを生成する。画像表示部ＧＤは、前記選択された動画データを、動画データ供給部ＭＰから取得するとともに、対応情報ＭＳＩを参照して、前記選択された動画データに対応する楽譜データを特定し、前記特定した楽譜データを、楽譜サーバから取得する。また、画像表示部ＧＤは、アライメントデータＡＤを参照して、動画データの現在の再生位置に対応する楽譜の一部分（小節範囲）を表す楽譜テロップデータを生成する。そして、画像表示部ＧＤは、前記取得した動画データに基づいて動画を表示するとともに、前記生成した楽譜テロップデータに基づいて楽譜の一部分を表示する。なお、対応情報生成部ＩＧが対応情報ＭＳＩを完全に生成してから、画像表示部ＧＤが動画及び楽譜の表示を開始しても良いが、動画の再生開始を指示してから実際に動画及び楽譜の表示が開始されるまでに長い時間がかかる虞がある。そこで、楽譜データ検索部によって楽譜データが特定され、アライメントデータＡＤの先頭部分がある程度生成された時点（例えば、１６小節分のアライメントデータＡＤが生成された時点）で動画の再生を開始しても良い。その後、動画の再生とアライメントデータＡＤの生成とを、並行して実行してもよい。また、アライメントデータ生成部ＡＧが、音楽の先頭部分のアライメントデータのみを生成するように構成しても良い。この場合、画像表示部ＧＤが前記先頭部分のアライメントデータを用いて、その音楽のテンポを計算し、前記計算したテンポに基づいて、動画の現在の再生位置に対応する楽譜の表示範囲を決定しても良い。この手法は、テンポの変化が少ない音楽に好適である。

また、この場合、図７に示すように、あるユーザの画像表示装置３０内の対応情報生成部ＩＧによって生成された対応情報ＭＳＩを他のユーザが利用可能なように、対応情報ＭＳＩを記憶する対応情報記憶部ＩＭを有する中間サーバ４０を設けても良い。中間サーバ４０の構成も、周知のコンピュータ装置の構成と同様である。

また、図８に示すように、中間サーバ４０内に対応情報生成部ＩＧを設けても良い。この場合、画像表示装置３０の画像表示部ＧＤは、取得した動画データからオーディオデータを抽出し、前記オーディオデータの各区間の特徴を表す特徴データ（例えば、スペクトログラム）を逐次生成して、対応情報生成部ＩＧに供給しても良い。対応情報生成部ＩＧは、前記特徴データを画像表示部ＧＤから取得するとともに、楽譜データを楽譜データ供給部ＳＰから取得して、前記取得したデータを用いて対応情報ＭＳＩを生成する。対応情報生成部ＩＧは、アライメントデータＡＤ及び楽譜データを画像表示部ＧＤに供給する。画像表示部ＧＤは、図６に示す例と同様に、楽譜テロップデータを生成して、動画及び楽譜を表示する。

また、図１及び図５に示す例において、新たな動画データがアップロードされた時点で、その動画に関する対応情報ＭＳＩが生成されるが、対応情報ＭＳＩの生成タイミングは上記の例に限られない。例えば、定期的に対応情報ＭＳＩの生成を開始してもよい。すなわち、動画をアップロード可能なアップロード期間と、対応情報ＭＳＩを生成する対応情報生成期間とを交互に設け、アップロード期間内にアップロードされた動画に関する対応情報ＭＳＩを、前記アップロード期間の次の対応情報生成期間内に生成してもよい。また、例えば、動画サーバの負荷が比較的小さいとき、対応情報ＭＳＩの生成しても良い。

また、楽譜を表示することが指示されたとき、最初、楽譜のタイトル又は曲中の所定の部分のみ（最初の数小節、サビの部分等）が表示され、購入手続きを完了すると全ての楽譜が表示されるように構成してもよい。

また、上記の楽譜表示システム１におけるアライメントデータ生成部ＡＧを省略して、楽譜表示装置３０は、検索された楽譜データのタイトル、サムネイル画像、楽譜データの所在（ＵＲＬ）などを表示してもよい。

また、ユーザが、楽譜データに関する感想、意見などを楽譜サーバ２０、中間サーバ４０などにアップロード可能としてもよい。

また、上記実施形態においては、表示器３３の動画が表示される領域の下方に楽譜が表示される領域が設けられている（図４参照）が、動画の表示領域及び楽譜の表示領域の配置位置は上記実施形態に限られない。例えば、動画の作者の了承が得られている場合には、楽譜を動画に重ねて表示しても良い。

１・・・楽譜表示システム、１０・・・動画サーバ、２０・・・楽譜サーバ、３０・・・画像表示装置、４０・・・中間サーバ、ＡＤ・・・アライメントデータ、ＡＧ・・・アライメントデータ生成部、ＧＤ・・・画像表示部、ＩＤ_Ｍ・・・識別情報、ＩＤ_Ｓ・・・識別情報、ＩＧ・・・対応情報生成部、ＩＭ・・・対応情報記憶部、ＭＰ・・・動画データ供給部、ＭＲ・・・動画データ取得部、ＭＳＩ・・・対応情報、ＳＦ・・・楽譜データ検索部、ＳＰ・・・楽譜データ供給部

Claims (11)

1. 音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給手段と、
   楽譜を表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給手段と、
   前記複数の動画データのうちの１つの動画データ及び前記複数の楽譜データを取得して、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段と、
   前記動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データであって、前記楽譜データ検索手段の検索結果を用いて選択された楽譜データに関する情報を表示する画像表示手段と、
   を備えた、楽譜表示システム。
2. 請求項１に記載の楽譜表示システムにおいて、
   前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
   前記画像表示手段は、前記動画データに基づいて動画を表示するとともに、前記アライメントデータに基づいて、前記表示する動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表示する、楽譜表示システム。
3. 楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置であって、
   音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給装置から動画データを取得するとともに、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段と、
   前記動画データ供給装置から画像表示装置に供給される動画データに対応する楽譜データを、前記楽譜データ検索手段の検索結果を用いて選択し、前記選択した楽譜データに関する情報を前記動画データ供給装置又は前記画像表示装置に供給する楽譜データ供給手段と、
   を備えた楽譜データ供給装置。
4. 請求項３に記載の楽譜データ供給装置において、
   前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
   前記楽譜データ供給手段は、前記選択した楽譜データ及び前記選択した楽譜データに関するアライメントデータを、前記動画データ供給装置又は前記画像表示装置に供給する、楽譜データ供給装置。
5. 請求項３に記載の楽譜データ供給装置において、
   前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
   前記楽譜データ供給手段は、アライメントデータに基づいて、前記画像表示装置にて表示される動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表す楽譜テロップデータを前記動画データ供給装置又は前記画像表示装置に供給する、楽譜データ供給装置。
6. 音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給手段を有する動画データ供給装置であって、
   楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置から複数の楽譜データを取得するとともに、前記複数の動画データのうちの１つの動画データを選択して、前記取得した複数の楽譜データのうち、前記選択した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段を備え、
   前記動画データ供給手段は、動画データを画像表示装置に供給するとともに、前記画像表示装置に供給される動画データに対応する楽譜データを、前記楽譜データ検索手段の検索結果を用いて選択し、前記選択した楽譜データに関する情報を前記画像表示装置に供給する動画データ供給装置。
7. 請求項６に記載の動画データ供給装置において、
   前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
   前記動画データ供給手段は、前記選択した楽譜データ及び前記選択した楽譜データに関するアライメントデータを、前記動画データ供給装置に供給する、動画データ供給装置。
8. 請求項６に記載の動画データ供給装置において、
   前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
   前記動画データ供給手段は、前記アライメントデータに基づいて、前記画像表示装置にて表示される動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表す楽譜テロップデータを前記画像表示装置に供給する、動画データ供給装置。
9. 画像表示装置であって、
   音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給装置から動画データを取得するとともに、楽譜をそれぞれ表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給装置から複数の楽譜データを取得して、前記取得した複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段と、
   前記取得した動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データを、前記検索結果を用いて選択し、前記選択した楽譜データに関する情報を表示する画像表示手段と、
   を備えた画像表示装置。
10. 請求項９に記載の画像表示装置において、
    前記動画の各再生位置と前記動画の音楽に対応する楽譜の各部分との対応関係を表すアライメントデータを生成するアライメントデータ生成手段をさらに備え、
    前記画像表示手段は、前記動画データに基づいて動画を表示するとともに、前記アライメントデータに基づいて、前記表示する動画に対応する楽譜の一部分であって、前記動画の現在の再生位置に対応する部分を表示する、画像表示装置。
11. コンピュータを、
    音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給手段と、
    楽譜を表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給手段と、
    前記複数の動画データのうちの１つの動画データ及び前記複数の楽譜データを取得して、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索手段と、
    前記動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データであって、前記楽譜データ検索手段の検索結果を用いて選択された楽譜データに関する情報を表示する画像表示手段と、
    を備えた、楽譜表示システムとして機能させるコンピュータプログラム。

Images