JP2019113727A - 楽譜提供方法およびプログラム - Google Patents

Abstract

【課題】 単なる楽譜の提供に終わらない総合的なユーザビリティの向上を支援する有機的なサービスを提供すること。【解決手段】 電子楽譜を提供する処理（矢印２１１）から始まり、ユーザ２０３は入手した楽譜を使用して演奏を行い、その様子をビデオカメラ２０２等で撮影し、動画配信サーバ１０４にアップロードし（矢印２１２）、その動画ＩＤを受信する（矢印２１３）。取得された動画ＩＤは通信サーバ１０２に送信されて（矢印２１４）、通信サーバ１０２が入手した動画と楽譜をもとに小節時間変換表などを作成し、楽譜提供サーバ１０１が提供した電子楽譜と動画とを関連付けたサービスをユーザに提供する。【選択図】 図２

Description

本発明は楽譜提供方法およびプログラムに関し、より具体的には、楽譜の提供及び管理を実行するとともに、提供された楽譜と演奏を撮影した動画などとを関連付けて総合的な音楽体験を提供することができる楽譜提供方法およびプログラムに関する。

近年、楽譜においても電子化が進展し、電子コンテンツという形で提供、管理、使用が行われるようになっており、新たに生み出される楽曲はもとより、過去に紙媒体の楽譜として提供されていた楽曲の多くも電子楽譜として提供されてきている。例えば、クラシック音楽などの多くは既に著作権的にも問題がなく自由に電子楽譜として企業や個人が電子楽譜化を行っている。

このような状況において、蓄積されつつある電子楽譜を整理し、提供する企業やサイト、あるいは個人や企業で電子化した楽譜を投稿する投稿サイトなどが出現しており、さらに単に電子楽譜を提供するだけでなく、楽曲の検索に工夫を加えつつ電子楽譜を特定するシステムも提案されている。

例えば、動画の音楽の楽譜に関する情報を簡単に入手できる楽譜表示システムを提供することを目的とし、音楽を含む動画をそれぞれ表す複数の動画データを記憶していて、選択された動画データを供給する動画データ供給部ＭＰと、楽譜を表す複数の楽譜データを記憶していて、選択された楽譜データを供給する楽譜データ供給部ＳＰと、前記複数の動画データのうちの１つの動画データ及び前記複数の楽譜データを取得して、前記複数の楽譜データのうち、前記取得した動画データが表す動画の音楽に対応する楽譜データを検索する楽譜データ検索部ＳＦと、前記動画データに基づいて動画を表示するとともに、前記表示する動画の音楽に対応する楽譜データであって、前記楽譜データ検索部ＳＦの検索結果を用いて選択された楽譜データに関する情報を表示する画像表示部ＧＤとを備える楽譜表示システムが提案されている（特許文献１参照）。

一方、Ｙｏｕｔｕｂｅなどの投稿サイトをはじめとする種々の動画配信サイトから様々な動画が配信されており、視聴者はインターネット等に接続してこのようなサイトから動画をストリーミングあるいはダウンロードして楽しむことができる他、自ら撮影して取得した動画を投稿して公開し、知人どうして楽しんだり、公衆に発信したりすることが行われている。

特開２００４−２３３６９８号公報

しかし、従来の楽譜表示システムは、あくまで取得した動画データが表す動画の音楽に対応する楽譜データを検索し、動画とともに、検索された楽譜データに関する情報を表示するもので、単に視聴している動画の楽曲の楽譜を動画と同時に見ることができるだけである。すなわち、このような従来のシステムは、ユーザがたまたま興味を覚えた楽曲に対して、その楽曲を演奏するための楽譜を検索して提供するだけであり、例えば楽譜を提供する一連のサービスの中で動画も対応付けて音楽の演奏環境などの総合的な音楽体験を提供するようなものとはなっていないという問題がある。

本発明は上記従来の問題に鑑みてなされたものであり、単に電子楽譜を提供するだけでなく、提供した楽譜に関連してユーザが所望する様々な体験をサポートするサービスを提供するものであり、例えばユーザが電子楽譜の提供を受け、提供された電子楽譜についてその楽譜を演奏する動画の情報をユーザが提供すれば、楽譜と動画とを関連付けて視聴や練習への活用など総合的なユーザビリティの向上を支援する楽譜提供方法およびプログラムを提供することを目的とする。

請求項１に記載の発明は、楽譜を提供する楽譜提供システムと、動画を提供する動画提供サーバとを備えたシステムにおいて、動画と関連付けて楽譜を提供する方法であって、ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、送信した楽譜上の位置と、楽譜に関連して演奏された動画の再生時間との対応付け情報を生成するため、動画を受信するための識別情報を、端末から受信する動画識別ステップと、端末から送信された識別情報を用いて動画を取得し、楽譜と動画とから生成された対応付け情報をデータベースに格納する楽譜動画対応付けステップと、端末から演奏の開始位置の指定を受信すると、指定された楽譜上の位置に対応する動画の再生時間を、生成された対応付け情報から取得し、動画提供サーバに取得した動画の再生時間からの動画の再生を指示する再生指示ステップとを備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の方法において、端末から楽譜に関連して演奏された動画を動画提供サーバに送信し、送信された動画の識別情報を受信する動画投稿ステップをさらに備えることを特徴とする。

請求項３に記載の発明は、請求項１に記載の方法において、端末から動画提供サーバにアクセスして、楽譜に関連して演奏された動画を選択し、選択された動画の識別情報を受信する動画選択ステップをさらに備えることを特徴とする。

請求項４に記載の発明は、楽譜を提供する楽譜提供システムと、音楽を提供するコンテンツ提供サーバとを備えたシステムにおいて、動画と関連付けて楽譜を提供する方法であって、ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、送信した楽譜上の位置と、楽譜に関連して演奏された音楽の再生時間との対応付け情報を生成するため、音楽を受信するための識別情報を、端末から受信する音楽識別ステップと、端末から送信された識別情報を用いて音楽を取得し、楽譜と音楽とから生成された前記対応付け情報をデータベースに格納する楽譜音楽対応付けステップと、端末から演奏の開始位置の指定を受信すると、指定された楽譜上の位置に対応する音楽の再生時間を、生成された対応付け情報から取得し、コンテンツ提供サーバに取得した音楽の再生時間からの音楽の再生を指示する再生指示ステップとを備えることを特徴とする。

請求項５に記載の発明は、楽譜の端末への表示を管理する方法であって、ネットワークを介して端末から、表示させる楽譜の指定を受信するステップと、指定された楽譜に関連して演奏された動画を、動画提供サーバから受信するための識別情報を取得する動画識別ステップと、動画提供サーバに取得した識別情報により動画の再生を指示する再生指示ステップと、動画提供サーバから現在の再生時間を受信すると、受信した動画の再生時間に対応する楽譜上の位置を取得する位置取得ステップと、端末に、取得した位置を含む、楽譜の一部のみを表示させる端末表示ステップとを備えることを特徴とする。

本発明によると、ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、送信した楽譜上の位置と、楽譜に関連して演奏された動画の再生時間との対応付け情報を生成するため、動画を受信するための識別情報を、端末から受信する動画識別ステップと、端末から送信された識別情報を用いて動画を取得し、楽譜と動画とから生成された対応付け情報をデータベースに格納する楽譜動画対応付けステップと、端末から演奏の開始位置の指定を受信すると、指定された楽譜上の位置に対応する動画の再生時間を、生成された対応付け情報から取得し、動画提供サーバに取得した動画の再生時間からの動画の再生を指示する再生指示ステップとを備えているので、サーバから提供した電子楽譜に関し、その電子楽譜の演奏の動画の情報をユーザが提供すると、楽譜と動画との有機的な対応付けに基づいて、ユーザに音楽の視聴や練習に関する様々な体験を提供することが可能となり、単なる楽譜の提供に終わらない総合的なユーザビリティの向上を支援する有機的なサービスを提供することができる。

本発明の一実施形態の全体のシステム構成図である。 本発明の一実施形態のシステム全体の一連のサービスの流れを示す図である。 本発明の一実施形態のサーバの機能ブロック図である。 本発明の一実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の一実施形態の楽譜上の小節とそれに対応する再生位置の関連付けを取得する処理を示すフローチャートである。 本発明の一実施形態の楽譜表示画面から動画再生を指示する操作を説明するための図である。 本発明の一実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の別の実施形態で楽譜の上の小節とそれに対応する再生位置の関連付けを示す図である。 本発明の別の実施形態の動画再生位置を指定する処理を示すフローチャートである。 本発明の別の実施形態の楽譜表示画面から動画再生を指示する操作を説明するための図である。 本発明の別の実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。 本発明の別の実施形態の端末画面上への楽譜の表示を管理する処理を説明するための図である。

以下、本発明の楽譜提供方法およびプログラムについて図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。

本実施形態は、インターネットを介して電子楽譜を提供し、その後動画投稿サイトに投稿された楽曲の演奏動画を視聴する際に、動画再生の開始位置を指定したり、再生中の画像の演奏全体における位置を表示させたりするものであり、以下の実施形態では楽譜、あるいは総譜を用いて行うが、これに限られず、演奏の進行を示す何らかの図面を端末に表示させることができれば、いずれの形態でも対応することができる。ここで、基本的に動画を投稿した演奏者の一部が演奏に用いている楽譜と関連づけて予めサーバに設定しておくことを前提として、以下実施形態の説明をするがこれに限られず、演奏されている楽曲と楽譜とがほぼ一致していれば本実施形態を実施することができる。例えば、何らかの事情で配信されていている動画を認識した者が、演奏されている楽曲に対応する楽譜と関連付けて予めサーバに設定してくこともでき、その他本技術分野で知られた方法により楽譜と動画とを関連付けておくことができる。

また、動画サイトに投稿するのは楽譜の提供を受けたユーザ自身でなくてもよく、楽譜の提供を受けたユーザが投稿サイトで入手した楽譜の楽曲の演奏動画を探索して得た動画であってもよい。すなわち、クラシック音楽も含め、ある楽曲の楽譜が公開されている場合は、その楽曲を演奏した動画等もいずれかの演奏家により撮影され、投稿されることが多く、実際同じ楽曲でも複数の動画が存在することは少なくない。したがって、電子楽譜の提供を受けたユーザ自身が動画を投稿しなくても、ユーザがネット検索等すれば容易にそのような動画を発見し、その動画のＵＲＬなどを取得することができるので、そのようなＵＲＬを指定することにより、サーバはユーザに提供した楽譜の演奏動画にアクセスすることができる。

また、本実施形態で用いる電子楽譜の楽譜データは、ＭｕｓｉｃＸＭＬであり、サーバ内では基本的にはＭｕｓｉｃＸＭＬのデータフォーマットで保持している。ＭｕｓｉｃＸＭＬで記述された楽譜はそのまま端末に送信してブラウザで表示させることもできるし、サーバで他の表示用のフォーマット、例えばＰＤＦに変換して端末に送信し端末のブラウザで表示させることもできる。以上のように、本実施形態の楽譜データはＭｕｓｉｃＸＭＬを用いるが、これに限られず、何らかの変換や処理を行って、表示用の楽譜を生成できるものであればいずれのフォーマットも用いることができる。

（システム構成）
本発明の一実施形態で用いる楽譜提供方法の具体的なシステムの動作及び処理を以下に説明する。図１は、本発明の一実施形態の全体のシステム構成図である。本システムでは、楽譜データを配信したり、システム全体を制御したりするためのサーバとして、楽譜提供サーバ１０１、通信サーバ１０２および動画配信サーバ１０４を備えており、ネットワーク１０３を介して接続されている。楽譜を表示する装置である端末１１１は、基本的に無線でネットワーク１０３に接続されており、例えばタブレット端末とすることができ、本実施形態でネットワーク１０３との接続は、携帯電話の回線や、Ｗｉ−ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）等の無線ネットワークにより行う。ここで端末１１１はタブレット端末のほか、スマートフォン、あるいはモバイルパソコン等とすることができるが、基本的に楽譜データ等をサーバから受信して画像を表示、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、端末１１１は、楽譜の表示に限らず、ユーザの楽譜提供サーバへのアクセスに関する種々の処理を実行し、データの入出力をするために使用することができる。

動画再生端末１１２は、本実施形態では、端末１１１で指定された動画の再生開始箇所から動画を再生して表示するものであり、端末１１１と同様にネットワークを介してサーバと通信できるものであればパソコンに限られず、いずれかの端末装置を使用することができ、タブレット等の移動端末を使用することもできる。また、本実施形態のサーバとしては、楽譜提供サーバ１０１、通信サーバ１０２および動画配信サーバ１０４の３つのサーバを備え、端末１１１から楽譜等の画像の表示や再生開始などの指示を楽譜提供サーバ１０１に送信すると、楽譜提供サーバ１０１は楽譜のデータを送信したり、指定された再生位置の動画上の位置を算出して通信サーバ１０２に動画の再生を指示したりし、その結果、動画配信サーバ１０４は指示された表示装置１１２に指示された動画を送信して表示させるが、これに限られず、楽譜提供サーバ１０１により指示の受信から動画配信サーバ１０４への画像データの送信の指示までするようにすることもでき、あるいはさらに多くのサーバに機能分担させることもできる。

ここで、動画配信サーバ１０４は、例えばＹｏｕｔｕｂｅ等の投稿サイトとすることもできるし、単に動画を配信しているサイトのサーバであってもよい。さらに、本実施形態では動画配信サーバとして記載するが、本質的には楽譜の演奏についてのものであるので、画像を伴わない何らかのコンテンツ配信サーバとして、音楽のみを配信することができる。この場合、以下の本実施形態のすべての説明は、動画のない音楽を配信するコンテンツ配信サーバにも適用されるのは言うまでもない。逆に、動画であれば音声がないものにも適用することができる。

本実施形態では、端末１１１と動画再生端末１１２は全く別の端末のように説明しているが、各々の機能が達成されていれば同じ端末を使用することができる。すなわち、同一の端末から動画の再生指示を送信すると、同じ端末に指定した開始位置から再生を開始する動画データが送信され、楽譜とともに動画を視聴することができる。この場合、楽譜の画像と動画とは、本技術分野で知られたいずれの方法でも組み合わせて表示することができる。具体的には、端末の画像を上下或いは左右に分割して、表示させることもでき、一部重ねて表示させるなど、視聴者が使い勝手のいいように表示させることができる。もちろん、この場合でも楽譜の表示や動画再生の指示等は本実施形態のサーバ等により処理され、動画は動画配信サーバから配信される。

図２は、本発明の一実施形態のシステム全体の一連のサービスの流れを示す図である。本実施形態では、電子楽譜を提供する処理（矢印２１１）から始まり、ユーザに楽譜に関連する総合的なサービスを提供するが、その一連の流れを図２に示す。図２に示すように、ユーザ２０３は入手した楽譜を使用して演奏を行い、その様子をビデオカメラ２０２等で撮影し、動画配信サーバ１０４にアップロードし（矢印２１２）、その動画ＩＤを受信する（矢印２１３）。取得された動画ＩＤは通信サーバ１０２に送信されて（矢印２１４）、通信サーバ１０２が入手した動画と楽譜をもとに小節時間変換表などを作成し、楽譜提供サーバ１０１が提供した電子楽譜と動画とを関連付けたサービスをユーザに提供する。

図３は、本発明の一実施形態のサーバの機能ブロック図であり、図４は、本実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。楽譜提供サーバ１０１は、図示しないサーバ等から楽譜データを受信して記憶し、管理する楽譜データ管理モジュール３０１、受信した楽譜データに必要な処理を行って端末に送信するほか、端末から再生開始位置の指定を受信すると、動画上のどの位置かを算出したり、現在再生されている画像の動画全体における位置を、通信サーバ１０２から受信して端末に表示された楽譜のどこに対応するかを算出し、ハイライトを出力するようにしたりする楽譜データ送信モジュール３０２、並びに小節時間変換表など、本実施形態で用いる種々の電子楽譜関連データを受信する楽譜関連データ受信モジュール３０３を備える。また、通信サーバ１０２は、端末１１１で表示されている楽譜を演奏する動画のＵＲＬ等のデータを管理する動画管理モジュール３０４、動画識別情報を受信すると動画データを取得してくる動画・識別情報取得モジュール３０５、楽譜提供サーバ１０１から動画の開始位置の指定を受信すると、動画管理モジュール３０４で管理されている動画データに基づいて動画配信サーバ１０４に再生開始位置を指定して再生を指示する開始位置指定モジュール３０６、動画配信サーバ１０４から受信した現在の再生時間を楽譜提供サーバ１０１に出力する再生時間出力モジュール３０７、および取得した動画と電子楽譜との対応付けに基づいて小節時間変換表を作成する小節時間変換表作成モジュール３０８を備える。

以下に、図３〜図５を参照して本発明の一実施形態の電子楽譜の提供から動画再生サービスのための準備処理を説明する。一般に、電子楽譜の楽譜データ、例えばＭｕｓｉｃＸＭＬフォーマットのデータでは、各小節ごとに音符データが規定されており、端末では楽譜データを受信すると、ブラウザ上で五線譜を表示して、各小節の音符データに基づいて楽譜を描画していく。したがって、楽譜データを表示しているブラウザ上で指でタッチ、あるいはマウスでクリックする等により、ある小節が指定されるとそれが第何小節かを認識することができる。本願の動画再生サービスのうち後述する第１実施形態では、このように楽譜データに基づいて端末のブラウザ上に楽譜を表示し、その表示された楽譜上の所定の小節を指定することにより、動画の再生開始位置を指定して動画再生の指示を楽譜提供サーバ１０１に送信する。楽譜提供サーバ１０１では、指定された小節から動画の再生位置、本実施形態では動画の最初からの再生時間を算出して配信サーバ１０２に動画の再生を指示する。

また、プラグイン等がないため、楽譜データを端末でそのまま表示できない場合、楽譜提供サーバ１０１から画像データ、例えばＰＤＦ形式のデータとして送信し、ブラウザで表示することもできる（第２実施形態）。第１実施形態の後に詳述する第２実施形態では、このような楽譜提供サーバ１０１において楽譜データからＰＤＦの楽譜データを生成し、ＰＤＦデータに基づいて動画再生開始処理を行う。

以上のような後述する第１および２実施形態の動画再生サービスを提供するため、先ずユーザに電子楽譜を提供し、最終的に指定された動画と楽譜との対応付け、具体的には図４に示すような小節時間変換表などを作成しておく必要がある。この処理を図５に示すフローチャートを参照して説明する。

（第１実施形態）
図５は、本発明の一実施形態の楽譜上の小節とそれに対応する再生位置の関連付けを取得する処理を示すフローチャートである。本実施形態では、電子楽譜を提供する処理から始まり、ユーザに楽譜に関連する総合的なサービスを提供するが、まず、ユーザが図示しない端末１１１の電子楽譜の購入画面、あるいは要求画面から所望の電子楽譜を特定することによって指示すると、楽譜提供サーバ１０１は楽譜２０１を送信する（ステップ５０１）。その後、ユーザ２０３は入手した楽譜を端末１１１に表示させ、あるいはプリンタで印字し、表示あるいは印字された楽譜を使用して演奏を行い、練習や本番等の演奏の様子をビデオカメラ２０２等で撮影し（ステップ５０２）、撮影された動画を動画配信サーバ１０４にアップロードし、その動画ＩＤを受信する（ステップ５０３）。ここで、動画ＩＤは動画をネット上で特定するための識別情報であり、例えばＹｏｕｔｕｂｅ等では動画が格納されたＵＲＬであるが、これに限らずいずれかの識別情報を用いることができる。

ユーザは動画ＩＤを取得すると、通信サーバ１０２に、提供された電子楽譜との何らかの対応付けを本技術分野で知られたいずれかの方法で行って送信する（ステップ５０４）。通信サーバ１０２は、動画・識別情報取得モジュール３０５により、提供された電子楽譜を特定する情報も取得しておき、動画ＩＤにより動画のデータを取得するとともに、楽譜提供サーバ１０１から電子楽譜を取得する（ステップ５０５）。小節時間変換表作成モジュール３０８によって、取得した動画および電子楽譜に基づいて、楽譜の小節と動画の再生時間との対応付けを算出する（ステップ５０６）。

本実施形態では、図４に示すような小節時間変換表４０１により、動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、小節時間変換表４０１を参照することにより例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。つまり、小節時間変換表作成モジュール３０８は、楽譜の小節と動画の再生時間とを対応付けて小節時間変換表４０１を作成する。ここで、小節時間変換表４０１は、本実施形態で知られたいずれかの方法で自動検出し、あるいは人的サポートにより作成することができる。このようにして作成した小節時間変換表４０１を、本実施形態の動画再生サービスのために楽譜提供サーバ１０１に送信する（ステップ５０７）。

以上、本実施形態の楽譜提供方法により、ユーザの所望する電子楽譜を提供し、ユーザにより指示された動画との対応付けを行った後、ユーザに対し、第１実施形態の動画再生サービスを提供する。まず動画再生開始処理につき説明し、その後動画の再生位置を楽譜上にハイライト表示する処理を説明する。

（動画再生開始処理）
図６は、本実施形態の楽譜上での位置を指定する操作を示す図である。

本実施形態では、図６に示すように端末１１１に、楽譜データ送信モジュール３０２が、ＭｕｓｉｃＸＭＬ形式のデータを送信してブラウザ上に表示して再生位置を指定させ、指定された小節をサーバに知らせることにより、サーバはその小節に対応する動画の再生位置、本実施形態では再生時間を算出し、その位置から動画を再生するように通信サーバ１０２に指示する。通信サーバ１０２では端末に表示された楽譜の演奏動画を特定して、動画配信サーバ１０４に、指示された再生時間を指定して動画を配信するよう指示し、表示装置１１２において動画が再生される。通常、ＭｕｓｉｃＸＭＬは端末において、本技術分野で知られた専用の表示アプリや再生アプリを用いて取り扱われるので、ここでは詳細は記さないが、例えば楽譜が表示され、指でタッチあるいはマウスによりクリック等されると、その画面上の位置に相当する小節番号をサーバに送信するようなスクリプトなどを埋め込んでおいて、端末からサーバに小節番号を送信するようにすることもできるし、その他の本技術分野で知られたいずれかの方法でこのような処理を実行させることにより、端末側のソフトウェアを特に変更することなく、本実施形態を実施することができる。また、逆に端末側に小節番号をサーバに送信する等本実施形態で必要な処理を実行するソフトウェアを予めインストール、あるいはダウンロードする等により端末で実行可能にしておいて本実施形態を実施することもできる。

具体的に説明すると、まず図６に示すように端末１１１に表示された楽譜６０５の最上段の第４小節６０２をユーザが指６０６でタッチして指定すると、端末１１１は動画を再生開始する小節番号を取得する。小節番号が取得されると、端末１１１は、取得した小節番号、ここでは第４小節を楽譜提供サーバに送信して通知する（矢印６０２）。楽譜提供サーバ１０１は、取得した小節番号から対応する動画の再生時間を算出する。

本実施形態では、上記で図４に示したように予め動画の再生時間４１１と楽譜の小節番号４２１とを対応付けておき、小節時間変換表４０１を作成しておく。この小節時間変換表４０１を参照することにより再生時間を算出することができる。動画の再生時間は動画の最初の画像を基準とする再生経過時間の長さであり、その動画の最後の画像の再生時間は動画全体の長さとなる。

本実施形態では、予め小節時間変換表４０１を作成して必要な再生時間を算出（変換）するが、各小節の時間を一定とみなすことができる場合は、演奏時間と小節数とで１小節の演奏時間を算出して、小節番号から再生時間を算出することができる。また、通常は、動画には演奏前後に演奏をしない余白の部分があるので、動画の最初の画像から開始して、一定の音量の音声が再生された位置から演奏を開始し、音量が一定以下になったところで演奏が終了したものとして、全体の演奏時間を算出することもできる。

楽譜提供サーバ１０１は、小節番号から再生時間を取得すると、図６の矢印６０２で示すように再生時間を通信サーバ１０２に通知して、動画の再生を指示する。通信サーバ１０２では、動画管理モジュール３０４が、楽譜提供サーバ１０１が管理する楽譜データと、その楽譜の楽曲を演奏した動画とを対応付けて管理しており、楽譜提供サーバ１０１が楽譜および再生開始位置（例えば、再生時間ｔ４）を指定して再生を指示すると、動画管理モジュール３０４が対応する動画を配信する動画配信サーバ１０４を特定し、開始位置指定モジュール３０６が、図６の矢印６０４で示すように特定された動画配信サーバ１０４に再生開始位置を指定して動画の配信を指示する。動画の配信を指示された動画配信サーバ１０４は、指定された動画を、指定された再生位置ｔ４から動画再生端末１１２に対し、図６の矢印６０３で示すようにストリーミング配信する。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて再生位置を指定して再生を開始させる。

（楽譜ハイライト表示処理）
以下に、図７を参照して本実施形態の楽譜ハイライト表示処理を説明する。上述の通り本実施形態では、ＭｕｓｉｃＸＭＬフォーマットのデータを楽譜提供サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示される。この際、本実施形態では動画表示端末１１２で再生されている画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、動画で現在演奏されている演奏の部分を楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

図７は、本実施形態の動画上の再生画像に対応する楽譜上の位置の表示を説明するための図である。

より具体的に楽譜ハイライト表示処理を説明すると、先ず図７の矢印７０３で示すように動画配信サーバ１０４からストリーミング配信して動画が再生される。本実施形態では、ＹｏｕｔｕｂｅのＵＲＬと、必要であれば再生時間とをＹｏｕｔｕｂｅのＡＰＩを用いて設定し再生させる。このような状態において、通信サーバ１０２の再生時間出力モジュール３０７は図７の矢印７０５で示すように動画配信サーバ１０４に再生時間を要求し、図７の矢印７０４で示すように取得する。一般に、動画配信サーバにはその種類に応じてデータ取得、操作のためのインタフェースが設けられており、本実施形態では詳述しないが、本技術分野で知られたインタフェースを用いて現在の再生時間を取得する。

再生時間出力モジュール３０７は、再生時間を取得すると楽譜提供サーバ１０１に再生時間を通知する。楽譜提供サーバ１０１は、通知された再生時間に基づいて、図４に示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する。図示しないが、本例で取得した再生時間ｔがｔ２以上ｔ３未満とすると、小節時間変換表４０１により、第２小節に対応すると判定される。このように、取得した再生時間が小節時間変換表４０１の再生時間のどの時間間隔の範囲に含まれるかにより対応する小節番号を判定する。

小節番号が判定されると、楽譜提供サーバ１０１は、端末１１１に判定された小節番号の表示をハイライトにするように指示し、端末１１１は第２小節をハイライト表示とする。具体的な処理について、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜提供サーバ１０１で、判定された小節番号の楽譜の表示をハイライトに変更して端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、ハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定部分をハイライト表示変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節番号を指定してハイライト表示の指示を受信すると指定された小節をハイライト表示にすることもできるが、これに限られない。

以上の処理により、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ここで、通信サーバ１０２は、上述の再生時間の取得を一定間隔で実行し、それ以降のハイライト表示処理までを行うことにより、動画の再生にしたがって、対応する小節をハイライト表示させ、楽譜上を移動しているように表示することができる。一定間隔を各小節間の時間より十分に小さくすることにより、滑らかにハイライトを楽譜上で移動させるように表示ことができる。あるいは、一定間隔を用いなくても、本実施形態では図４に示すように各小節に対応する再生時間が予め記憶されているので、通知サーバ１０２は、各再生時間に実際にその再生時間にあるかを動画配信サーバ１０４に確認して、ハイライトさせる小節を変更する処理を実行することができる。

なお、本実施形態では動画の再生位置をハイライトで示したが、これに限られず、何らかのマーカで示したり、その他その小節を他の小節と区別する何らかの方式で表示したりすることができる。

(第２実施形態)
本実施形態は、基本的には上述の第１実施形態と同様の構成を有し、各端末の機能や、構成も同様である。特に、動画表示端末１１２、通信サーバ１０２および動画配信サーバ１０４は構成も処理も同一である。第１実施形態では、楽譜を端末に表示させる際、楽譜データを（ＭｕｓｉｃＸＭＬフォーマットで）端末に送信し、端末ではＭｕｓｉｖＸＭＬとして楽譜データを解釈して楽譜を表示していたのに対し、本実施形態では、画像データに基づいて楽譜のＰＤＦデータを生成して端末に送信し、端末側ではＰＤＦファイルとしてブラウザで表示する点が異なる。本実施形態と第１実施形態との主な差異は以上であるが、このため楽譜上の位置が小節ではなく座標で表されるため、第１実施形態で用いた小節時間変換表に加えて、座標変換表も用いることとなる。

図８は、本実施形態で楽譜上の小節とそれに対応する再生位置の関連付けを示す図である。本実施形態では、楽譜は画像データとして端末に送信するので、第１実施形態のように小節の位置を指定することはできない。したがって、端末に表示した楽譜と再生時間を対応付けるためには、図８に示すように小節時間変換表４０１のほかに座標小節変換表８０１をあらかじめ準備しておく必要がある。図９は、本実施形態の楽譜上の小節とそれに対応する再生位置の関連付けを取得する処理を示すフローチャートである。

本実施形態で楽譜提供サーバ１０１は、予め楽譜データ管理モジュール３０１が楽譜データを、図示しないサーバ等から受信して管理しており、この楽譜データから生成されたＰＤＦ形式の楽譜画像を楽譜データ管理モジュール３０１が、ページごとの画像に分離しておき記憶、管理しておく（ステップ９０１）。楽譜提供サーバ１０１に楽譜あるいは動画を指定して画像データ送信の指示が端末１１１からなされると、楽譜提供サーバ１０１は指示された楽譜の画像を読み込んで端末１１１に送信する。この際、各小節の楽譜画像上の位置を取得して、小節番号と対応付け、座標小節変換表８０１を生成する。具体的には、本実施形態では各小節の左上の座標を基準としてその小節の領域の最下点までの長さを高さＨ、音楽進行方向の隣接する小節との境界までの長さを幅Ｗとして、この領域内に座標が含まれるときは、その小節番号であると判定する。算出された変換表は格納しておく。

本処理はＰＤＦの楽譜画像の生成時に実行するが、これに限られず、動画の再生までに間に合えばＰＤＦ生成以後任意のタイミングで実行することができる。

次に、ユーザが図示しない端末１１１の電子楽譜の購入画面、あるいは要求画面から所望の電子楽譜を特定することによって指示すると、楽譜提供サーバ１０１は生成した楽譜画像を送信する（ステップ９０２）。

その後、ユーザ２０３は入手した楽譜を端末１１１に表示させ、あるいはプリンタで印字し、表示あるいは印字された楽譜を使用して演奏を行い、練習や本番等の演奏の様子をビデオカメラ２０２等で撮影し（ステップ５０２）、撮影された動画を動画配信サーバ１０４にアップロードし、その動画ＩＤを受信する（ステップ５０３）。ここで、動画ＩＤは動画をネット上で特定するための識別情報であり、例えばＹｏｕｔｕｂｅ等では動画が格納されたＵＲＬであるが、これに限らずいずれかの識別情報を用いることができる。

ユーザは動画ＩＤを取得すると、通信サーバ１０２に、提供された電子楽譜との何らかの対応付けを本技術分野で知られたいずれかの方法で行って送信する（ステップ５０４）。通信サーバ１０２は、動画・識別情報取得モジュール３０５により、提供された電子楽譜を特定する情報も取得しておき、動画ＩＤにより動画のデータを取得するとともに、楽譜提供サーバ１０１から電子楽譜を取得する（ステップ５０５）。小節時間変換表作成モジュール３０８によって、取得した動画および電子楽譜に基づいて、楽譜の小節と動画の再生時間との対応付けを算出する（ステップ５０６）。このようにして作成した小節時間変換表４０１を、本実施形態の動画再生サービスのために楽譜提供サーバ１０１に送信する（ステップ５０７）。

以下、図８および図１０を参照して動画再生開始処理を、図１１を参照してハイライト表示処理を説明するが、上述の通り基本的に差異点以外は第１実施形態の処理を用いることができる。

図１０は、本実施形態の動画再生開始処理を説明するための図である。本実施形態では、図１０に示すように端末１１１に、楽譜データ送信モジュール３０２が、ＰＤＦ形式の楽譜画像を送信してブラウザ上に表示して再生位置を指定させ、指定された位置座標をサーバに知らせることにより、サーバはその座標位置がどの小節に対応するかを判定して対応する動画の再生時間を算出し、その再生時間から動画を再生するように通信サーバ１０２に指示する。その後の処理は第１実施形態と同じである。

具体的に説明すると、まず図１０に示すように端末１１１に表示された楽譜１００３の最上段の第４小節をユーザが指６０６でタッチして指定すると、端末１１１は動画を再生開始する座標を取得する。端末の画面に表示された楽譜を指でタッチあるいはマウスでクリック等した場合そのタッチあるいはクリックされた座標をサーバに送信する手法は本技術分野で知られたいずれの方法も用いることができる。例えば、指でタッチあるいはマウスでクリック等すると、タッチあるいはクリックされた座標をサーバに送信するようなスクリプトを予めデータに埋め込んでおくこともできるし、そのような処理を端末上で行うソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。

座標が取得されると、端末１１１は、取得した座標を楽譜提供サーバ１０１に送信して通知する（矢印１００２）。楽譜提供サーバ１０１は、取得した座標から座標小節変換表８０１を用いて、対応する小節番号を判定し、小節時間変換表４０１から対応する動画の再生時間を算出する。

このようにして、端末１１１から通知されたユーザが指定した座標から対応する小節番号を判定した後の処理は、第１実施形態と同様である。すなわち、図８に示すように予め作成された小節時間変換表４０１を参照することにより、例えば小節番号（４）（第４小節）は動画の再生時間ｔ４に対応すると判定できるから、これにより再生時間ｔ４を算出することができる。以降、第１実施形態と同様の処理を行って、動画の配信を指示された動画配信サーバ１０４は、指定された動画を、指定された再生位置ｔ４から動画再生端末１１２に対し、図１０の矢印６０３で示すようにストリーミング配信する。

（楽譜ハイライト表示処理）
以下に、図１１を参照して本実施形態の楽譜ハイライト表示処理を説明する。上述の通り本実施形態では、ＰＤＦ形式の楽譜画像を楽譜提供サーバ１０１で管理し、端末１１１に送信してブラウザ上で楽譜として表示される。この際、第１実施形態と同様、本実施形態でも動画表示端末１１２で再生されている画像に対応する楽譜上の位置を端末１１１でハイライト表示する。これにより、動画で現在演奏されている演奏の部分が楽譜の小節単位で知ることができるので、演奏の確認や練習に役立てることができる。

より具体的に楽譜ハイライト表示処理を説明すると、先ず通信サーバ１０２から動画の再生時間を楽譜提供サーバ１０１で通知するまでの処理は第１実施形態と同一である。楽譜提供サーバ１０１は、通知された再生時間に基づいて、図１１に示す小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得し、取得した小節番号から座標小節変換表８０１を用いて対応する領域を判定する。すなわち、本実施形態では、図８の座標小節変換表８０１に示すように、楽譜データからＰＤＦ形式で端末に表示させたときの各小節の領域を予め判定しておき、小節番号が指定されるとその小節の楽譜画像上の領域を座標で特定できるようにしている。したがって、図示しないが、本例で取得した再生時間ｔはｔ２以上ｔ３未満とすれば、小節時間変換表４０１により、第２小節に対応すると判定することができる。次に、第２小節の領域を座標小節変換表８０１参照して取得する。

対応する小節の領域が取得されると、楽譜提供サーバ１０１は、端末１１１に判定された小節の領域の表示をハイライトにするように指示し、端末１１１はハイライト表示とする。具体的な処理は、ハイライト表示の制御は本技術分野で知られたいずれの方法で行うこともでき、例えば楽譜提供サーバ１０１で、取得した小節の領域の楽譜の表示をハイライトに変更したＰＤＦ形式の楽譜画像を端末１１１に送信することによって、端末１１１のブラウザがこれを解釈し、現在再生中の演奏に対応する小節の領域をハイライト表示にするようにすることもできるし、サーバからハイライト表示への切り替え指示を受けると指定された領域をハイライト表示変えるようなスクリプトを予めデータに埋め込んでおくことにより、サーバから小節に対応する領域を例えば座標等により指定してハイライト表示の指示を受信すると指定された領域をハイライト表示にすることもできるが、これに限られない。また、そのような処理を端末上で行う専用のソフトウェアをインストール或いは逐次ダウンロードして使用することもできる。この場合、例えばハイライト表示する領域のデータは、楽譜の画像データとは別に管理しておき、専用のソフトウェアに楽譜の画像データとともに送って、ハイライト表示させることができる。

以上の処理により、第１実施形態と同様に、現在再生されている画像の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節がハイライト表示される。ハイライト表示を動画の再生に合わせて楽譜上を移動させていく処理についても第１実施形態と同様なので、ここでは省略する。

（第３実施形態）
本実施形態は、ユーザが楽譜を入手する前の本サービスのサンプルを紹介する際の処理である。本発明の楽譜提供サービスは、楽譜を所望するユーザに楽譜自体以外に種々のサービスを提供しようとするものであるが、提供する条件として会員登録したユーザに限定する等を設定することができる。ここで、例えば登録したユーザであれば、本発明のサービスを受けられるとして、未登録者を登録に誘導するためにはサービス内容を疑似体験させ、サービスの有用性を実際に体験してもらうことが有効である。このようなサンプル体験を提供する場合、できれば本サービスに近い体験をさせる方がより有効ではあるが、一方サンプル体験が本サービスに近すぎると、登録する意欲が減退される可能性もある。したがって、サービスの有用性を十分感知でき、一方で本サービスでなければ得られない内容を残すことが重要である。

本実施形態では、そのような意味で楽譜提供サーバが提供する楽譜の数を限定することなく、いずれの楽譜も閲覧することができるが、表示の一部を表示させないことで、演奏等には利用することができないようにして登録への誘導を効果的にする。

図１２は、本発明の別の実施形態の端末画面上への楽譜の表示を管理する処理を説明するための図である。本実施形態のサンプル体験は、図１２のサンプル画面１２００に示すように楽譜１２０１とそれを演奏する動画１２０２とを一画面に表示させて提供される。また、本サービスとしては、サンプル画面で確認したユーザが楽譜を購入して全画面表示やダウンロードを提供することを説明する。楽譜１２０１は動画１２０２とともに表示されるので、一部動画で隠され、全ては表示されないが、上述の実施形態で用いた小節時間変換表により、再生中の一部の小節は閲覧することができる。したがって、動画１２０２を最後まで視聴すれば、楽譜全体をチェックすることはできるが、任意の場所を自由に閲覧することはできないから、実質上演奏に使用することはできない。一般に、楽譜は編集者により、記述形式が微妙に異なるので、同じ楽曲であっても、使用感が異なってくることが多いため、演奏者としては、楽譜全体をチェックして使用するか否かを決定したい。このため、サンプル体験であっても一応全体は閲覧できるようにしておく必要はある。一方で、任意に楽譜を閲覧できるようにすると、実質上本サービスと同じ内容を提供できてしまうことから、本実施形態では、あくまで動画の再生に合わせて楽譜の一部を表示させるよう表示を管理することによりサンプル体験版を提供する。また、動画でなく音楽の場合は、楽曲のカバー写真等で楽譜の一部を表示させないことでサンプル体験版を提供できる。

具体的な処理を説明すると、本実施形態では、登録を検討しているユーザが楽譜動画表示端末の図示しない電子楽譜の検索・選択画面から所望の電子楽譜を検索し、選択することによって指示すると、楽譜提供サーバ１０１は、楽譜の一部１２０１を表示させる。そして、サーバは通信サーバ１０２に、表示された楽譜の演奏動画を特定して動画配信サーバ１０４に、動画を楽譜動画表示端末へ配信するよう指示させる。ここで、動画１２０２は楽譜１２０１の表示しない部分を隠すように表示することによって、違和感なく楽譜を隠すことができる。ユーザは動画の再生は再生時間１２０３を指示する等して任意にできるので、ユーザが指定した部分が再生されると小節時間変換表により対応する小節を特定し、その小節の前後のみを表示させるようにする。このとき、上述の実施形態と同様にサンプル画面１２００のように演奏中の小節をハイライト表示することもできる。

より具体的には、動画配信サーバ１０４からストリーミング配信して動画１２０２が再生されると、例えばＹｏｕｔｕｂｅであれば、再生時間をＹｏｕｔｕｂｅのＡＰＩを用いて取得し、楽譜提供サーバ１０１は、取得した再生時間に基づいて、例えば小節時間変換表４０１を用いて、対応する楽譜の位置として小節番号を取得する。小節番号が取得されると、楽譜提供サーバは、楽譜動画表示端末に判定された小節番号の前後の所定の小節分だけ表示するように指示する。以上の処理により、現在再生されている画像１２０２の演奏に対応する楽譜上の位置が小節単位で判定され、判定された小節の前後の所定の数の小節を含む楽譜１２０１のみが表示される。ここで、通信サーバ１０２は、上述の再生時間の取得を一定間隔で実行し、それ以降の表示処理を行うことにより、動画の再生にしたがって、対応する小節を表示させることができる。

一方、このサンプル画面１２００を閲覧して、例えば楽譜を購入することを決定すると、図示しない購入ボタンを押下等して楽譜購入画面１２１０が表示される。購入画面１２１０では、動画１２０２が表示されていた部分に購入条件の入力フィールド１２１１が表示され、閲覧していた楽譜の購入処理をすることができる。その結果、購入処理が行われると、本サービスとして全画面１２２０が表示され楽譜が自由に閲覧できるほか、ダウンロードを許可するようにすることもできる。

ここで、本実施形態の表示管理処理は、楽譜購入のためのサンプル体験として説明したが、これに限られず例えば無料会員を有料会員へ誘導する際にも適用することができる。すなわち、無料会員にはすべての楽譜に視聴できるものの、本実施形態の表示制限をかけることにより楽譜としての使用は制限させるようにしておけば、楽譜が自由に取得できる有料会員へ誘導するのに有効である。

（その他の態様）
本発明には、特許請求の範囲に記載したものに加え以下のような範囲も含まれる。

態様１
楽譜を提供する楽譜提供システムであって、
ネットワークを介して端末に楽譜を送信する楽譜送信手段と、
動画提供サーバから前記楽譜に関連して演奏された動画を受信し、前記楽譜上の位置と動画の再生時間との対応付け情報を生成するための識別情報を、前記端末から受信する動画識別手段と、
前記端末から送信された識別情報を用いて生成された前記対応付け情報をデータベースに格納する楽譜動画対応付け手段と、
前記演奏の開始位置の指定を受け取ると、当該指定された楽譜上の位置に対応する前記動画の再生時間を、前記生成された対応付け情報から取得し、前記動画提供サーバに当該取得した動画の再生時間からの前記動画の再生を指示する再生指示手段と
を備えることを特徴とする楽譜提供システム。

態様２
楽譜を提供する楽譜提供システムにおいて、動画と関連付けて楽譜を提供する方法を実行するプログラムであって、当該方法は、
ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、
前記送信した楽譜上の位置と、前記楽譜に関連して演奏された動画の再生時間との対応付け情報を生成するため、前記動画を受信するための識別情報を、前記端末から受信する動画識別ステップと、
前記端末から送信された識別情報を用いて前記動画を取得し、前記楽譜と前記動画とから生成された前記対応付け情報をデータベースに格納する楽譜動画対応付けステップと、
前記端末から演奏の開始位置の指定を受信すると、当該指定された楽譜上の位置に対応する前記動画の再生時間を、前記生成された対応付け情報から取得し、前記動画提供サーバに当該取得した動画の再生時間からの前記動画の再生を指示する再生指示ステップと
を備えることを特徴とするプログラム。

Claims (5)

1. 楽譜を提供する楽譜提供システムと、動画を提供する動画提供サーバとを備えたシステムにおいて、動画と関連付けて楽譜を提供する方法であって、
   ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、
   前記送信した楽譜上の位置と、前記楽譜に関連して演奏された動画の再生時間との対応付け情報を生成するため、前記動画を受信するための識別情報を、前記端末から受信する動画識別ステップと、
   前記端末から送信された識別情報を用いて前記動画を取得し、前記楽譜と前記動画とから生成された前記対応付け情報をデータベースに格納する楽譜動画対応付けステップと、
   前記端末から演奏の開始位置の指定を受信すると、当該指定された楽譜上の位置に対応する前記動画の再生時間を、前記生成された対応付け情報から取得し、前記動画提供サーバに当該取得した動画の再生時間からの前記動画の再生を指示する再生指示ステップと
   を備えることを特徴とする方法。
2. 前記端末から前記楽譜に関連して演奏された前記動画を前記動画提供サーバに送信し、前記送信された動画の識別情報を受信する動画投稿ステップをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記端末から前記動画提供サーバにアクセスして、前記楽譜に関連して演奏された前記動画を選択し、前記選択された動画の識別情報を受信する動画選択ステップをさらに備えることを特徴とする請求項１に記載の方法。
4. 楽譜を提供する楽譜提供システムと、音楽を提供するコンテンツ提供サーバとを備えたシステムにおいて、動画と関連付けて楽譜を提供する方法であって、
   ネットワークを介して端末に楽譜を送信する楽譜送信ステップと、
   前記送信した楽譜上の位置と、前記楽譜に関連して演奏された音楽の再生時間との対応付け情報を生成するため、前記音楽を受信するための識別情報を、前記端末から受信する音楽識別ステップと、
   前記端末から送信された識別情報を用いて前記音楽を取得し、前記楽譜と前記音楽とから生成された前記対応付け情報をデータベースに格納する楽譜音楽対応付けステップと、
   前記端末から演奏の開始位置の指定を受信すると、当該指定された楽譜上の位置に対応する前記音楽の再生時間を、前記生成された対応付け情報から取得し、前記コンテンツ提供サーバに当該取得した音楽の再生時間からの前記音楽の再生を指示する再生指示ステップと
   を備えることを特徴とする方法。
5. 楽譜の端末への表示を管理する方法であって、
   ネットワークを介して端末から、表示させる楽譜の指定を受信するステップと、
   前記指定された楽譜に関連して演奏された動画を、動画提供サーバから受信するための識別情報を取得する動画識別ステップと、
   前記動画提供サーバに当該取得した識別情報により前記動画の再生を指示する再生指示ステップと、
   前記動画提供サーバから現在の再生時間を受信すると、当該受信した動画の再生時間に対応する前記楽譜上の位置を取得する位置取得ステップと、
   前記端末に、前記取得した位置を含む、楽譜の一部のみを表示させる端末表示ステップと
   を備えることを特徴とする方法。