JP2010160358A - 動画制御システム及び動画制御方法 - Google Patents

Abstract

【課題】通信端末の負荷を従来よりも軽減しながら、着信時に通信端末上で音楽に合わせた精細な動画オブジェクトの動作を実現する動画制御システム及び動画制御方法を提供することを課題とする。
【解決手段】通信端末によって特定された音楽データ及び動画データから、音楽のテンポ情報に基づいて動画データを音楽データに合わせて動作させる動画制御データを生成し、前記動画データに音楽データと生成された動画制御データとを組み込んでファイルを生成し、このファイルを前記通信末に保存させ、着信時に音楽と同期させて動画オブジェクトを動作させる動画制御システム及び動画制御方法を提供する。
【選択図】図２

Description

通信端末による着信によって再生される音楽と同期して、前記通信端末の表示画面上で動画オブジェクトを動作させる動画制御システム及び動画制御方法に関する。

近年、携帯電話等の通信端末は、高機能化が進み、単なる通話、メール等発着信機能のみならず、エンターテインメント性の高いコンテンツ閲覧機能など、多様化が進んでいる。特に、携帯電話の売れ行きは、このコンテンツの内容に大きく左右される傾向が強い。すでに、着信と同時に音楽を再生する機能は、スタンダードな機能となっており、これにさらなる付加価値として、音楽に合わせてキャラクタなどの動画オブジェクトを動作させるシステム等が提案されている。

たとえば、複数の静止画像と音階、音長を含む音楽データとを予め記憶し、この音楽データに基づく音楽の出力に応じて前記静止画像を切り替えて表示する画像表示装置が提案されていた。

また、携帯電話にいわゆる着メロの再生手段のほか、キャラクタ画像記憶手段、キャラクタ画像に所定動作をさせる動作プログラム記憶手段、着メロの再生と同時に上記キャラクタに所定の動作をさせる制御手段を設け、着信メロディに替えて、あるいは付加的に、キャラクタの動画を表示させる携帯電話装置が提案されていた。

さらに、携帯電話等の情報処理装置について、携帯電話本体が、画像の動き情報を蓄積する蓄積手段と、上記画像表示を行う表示手段と、音楽情報に応じた画像の動き情報を選択し、この動き情報を音楽情報に応じて用い、前記表示手段で表示させる制御手段とを備え、この制御手段は、音楽情報から曲調の変化する区切り、曲の盛り上がり位置を検出し、検出結果に基づいて画像の動き情報を選択するものが提案されていた。

特開２００２−１７０１２９号公報 特開２００３−２３６６９号公報 特開２００４−１２７０１９号公報

ところで、上記携帯電話の高機能化に伴い、ユーザのニーズもレベルが高くなっており、上記動画オブジェクトは、単に音楽が再生されている間に動いていればよいというものではなく、音楽のリズムに合わせた動きが要求されている。

一方、通話機能以外のコンテンツの利用頻度が高くなると、携帯電話の消費電力が増加し、あるいはメモリやＣＰＵに大きな負荷をかけるおそれがあるため、動画のパターンを限定しなければ携帯電話の本来的機能（通話、メール）を阻害するという弊害があった。

上記従来技術は、いずれも、リズムに合わせた動画の精細な動きと、携帯電話等の通信端末の負荷を軽減するといういわばトレードオフの関係にある両者の要求をバランスさせることを前提に提案されたものではあるが、比較的動画の精細な動きに比重が置かれ、携帯電話に諸機能を盛り込むことにより、負荷軽減の要求を若干犠牲にした提案であった。

そこで、本発明は、前記問題点に鑑み、上記通信端末の負荷を従来よりも軽減しつつも、音楽に合わせた精細な動画オブジェクトの動作を実現する動画制御システム及び動画制御方法を提供することを課題とする。

上記課題を解決するため、本発明にかかる動画制御システムは、通信端末による着信によって再生される音楽と同期して、前記通信端末の表示画面上で動画オブジェクトを動作させる動画制御システムであって、少なくともテンポ情報を有し、前記再生される複数の音楽データと、複数の動画オブジェクトの各々について、各種ビートに応じて動作させる動画データとを各々蓄積させる蓄積手段と、前記通信端末から、インターネット網等のネットワーク通信網を介して、前記蓄積手段によって蓄積された音楽データ及び動画データが特定されると、特定された音楽データ及び動画データを前記蓄積手段から抽出する抽出手段と、抽出された音楽データのテンポ情報に基づいて、抽出された動画データをこの音楽データに合わせて動作させる動画制御データを生成する動画制御データ生成手段と、前記抽出された動画データに、抽出された音楽データ及び前記生成された動画制御データを組み込んで合成ファイルを生成するファイル生成手段とを有するサーバを備え、この合成されたファイルが前記通信端末にダウンロードされると、通信端末が着信したときに、前記音楽データの再生と同期して、この音楽データのリズムに合わせて前記動画オブジェクトを動作させるものであることを特徴とする。

この構成によれば、動画オブジェクトの動作を音楽のテンポ情報に基づいて制御する動画制御データを音楽データと動画データとともに、サーバ側でファイルとして合成し、これを通信端末にダウンロードさせるので通信端末の負荷を軽減し、テンポに合致した動画オブジェクトの動きを実現することができる。なお、音楽のビートは、当該音楽の音価の長さ、すなわち、１拍を構成する最小単位が何音符を基調とするのかの問題なので、同一音楽であっても、各種ビートを適用することが可能である。従って、上記構成によれば、ビートの種類も特定することができ、特定されたビートに応じて動画オブジェクトを動作させることができる。

前記通信端末から、前記音楽データと動画データを特定するために、通信端末からは、曲名と動画オブジェクトの種類及びビートの種類だけを特定するようにしてもよい。この場合、特定された曲名は、前記音楽データと対応し、特定された動画オブジェクトの種類及びビートの種類は、動画データと対応していればよい。この構成により、音楽データと動画データの特定に関し、通信端末の負荷が軽減されるとともに、ユーザの操作も簡易化する。

前記動画データは、各動画オブジェクトについて、ビートの種類ごとに、動画オブジェクトの1サイクルの動作に必要な複数のコマ数からなる基本動作データによって構成され、前記動画制御データは、前記テンポ情報から前記基本動作データのコマ数を連続して飛ばす数を調整させて前記1サイクルの所要時間を特定するものであり、前記ファイルは、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるものであってもよい。たとえば、基本動作データの１サイクルの動作から、１コマ飛ばしに、再生すれば、テンポは倍になる。

前記音楽データは、拍子情報を有し、前記動画制御データは、この拍子情報から、前記基本動作データのコマ数を連続しないように飛ばし、飛ばすコマと次に飛ばすコマとの間の再生するコマ数を調整して1サイクルの所要時間を特定するものであり、前記合成されたファイルは、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるものであってもよい。テンポは変化せずに拍子が変化する場合に、コマを連続して飛ばすと、テンポが変化してしまうため、連続してコマ数を飛ばす調整はできない。そこで、飛ばすコマの間の再生するコマ数を調整すればよい。

前記システムでは、音楽データがあらかじめテンポ情報及び拍子情報を有していることを前提とするものであるが、さらに、テンポ情報及び拍子情報を有しない音楽データから、テンポ情報及び拍子情報も特定するようにしてもよい。すなわち、前記サーバは、このテンポ情報及び拍子情報を有しない音楽データを波形変換する波形生成手段と、生成された波形からリズムパートを抽出するリズムデータ抽出手段と、抽出されたリズムデータから、所定の閾値以上の音量を有する音を取り出す取出手段と、取り出された音のうち、最頻出する音価を特定する音価特定手段と、隣接する音価の間隔時間を計測する間隔計測手段と、特定された音価と計測された間隔時間と音楽データ全体の演奏時間とから、前記テンポ情報及び拍子情報を特定するリズム情報解析手段とを備えたものであればよい。

ただし、生演奏の音楽データにリズムのゆらぎがある場合や、もともと途中でテンポや拍子が変わる音楽データなどもあり、動画オブジェクトの一様な動作では、音楽に合った精細な動きを実現することができなくなる。そこで、上記のようなリズムの揺らぎ、変化に対して、前記リズム情報解析手段は、前記計測された各間隔時間データの標準偏差を算出し、所定のばらつきの範囲内は、平均値に基づいてテンポ情報及び拍子情報を特定し、所定のばらつき範囲を超える箇所については、テンポ又は拍子が変化したところとして、この範囲の平均値に基づいて別のテンポ情報又は拍子情報を特定し、これら特定されたテンポ情報及び拍子情報を合成して音楽データ全体のテンポ情報及び拍子情報を特定すればよい。

前記音楽データは、前記通信端末から前記サーバに、前記通信ネットワーク網を介してアップロードされるものであってもよい。この構成によれば、単に、配信される音楽だけでなく、自分のオリジナル楽曲などに上記動画オブジェクトを動作させることも可能になる。

前記通信端末は、前記音楽データを提供する専用サイトからダウンロードしたときには、前記着信したときに再生される音楽は、この専用サイトからダウンロードされた音楽であり、通信端末が着信すると、このダウンロードされた音楽を再生し、前記合成されたファイルは、この再生された音楽に同期して動画オブジェクトを動作させるものであってもよい。この構成によれば、既存の専用音楽配信サイトの音楽を利用して、上記動画オブジェクトを動作させることも可能になる。

上記課題を解決するため、本発明にかかる動画制御方法は、通信端末による着信によって再生される音楽と同期して、前記通信端末の表示画面上で動画オブジェクトを動作させる動画制御方法であって、サーバ上に、少なくともテンポ情報と拍子情報とを有し、曲名と対応する複数の音楽データの蓄積と、複数の動画オブジェクトの各々について、ビートの種類ごとに、動画オブジェクトの1サイクルの動作に必要な複数のコマ数からなる基本動作データによって構成される動画データの蓄積とを行うステップと、前記通信端末から、インターネット網等の通信ネットワーク網を介して前記サーバに対して前記曲名と動画オブジェクトの種類及びビートの種類とを特定するステップと、前記サーバが、この特定された曲名と動画オブジェクトの種類及びビートの種類に対応する音楽データ及び動画データを抽出するステップと、この抽出された音楽データのテンポ情報から前記基本動作データのコマ数を連続して飛ばす数を調整させて抽出された音楽データのテンポに合わせた動作に制御し、前記1サイクルの所要時間を特定する動画制御データを生成する ステップと、前記抽出された動画データに、抽出された音楽データ及び前記生成された動画制御データを組み込んで合成するファイルを生成するステップと、生成されたこのファイルを前記サーバから前記通信ネットワーク網を介して前記通信端末にダウンロードするステップと、この通信端末が着信すると、前記ファイルに合成された特定された1サイクルの所要時間を単位として、前記特定された音楽データの演奏時間に合わせて反復再生させるステップとを有することを特徴とする。

また、前記動画制御方法は、前記拍子情報から、前記基本動作データのコマ数を連続しないように飛ばし、飛ばすコマと次に飛ばすコマとの間の再生するコマ数を調整して1サイクルの所要時間を特定し、前記動画制御データを生成するステップと、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるステップとを有するものであってもよい。

さらに、前記動画制御方法は、テンポ情報と拍子情報の自動解析を行うものであってもよい。すなわち、テンポ情報及び拍子情報を有しない音楽データを波形変換するステップと、生成された波形からリズムデータを抽出するステップと、抽出されたリズムデータから、所定の閾値以上の音量を有する音を取り出すステップと、取り出された音のうち、最頻出する音価を特定するステップと、隣接する音価の間隔時間を計測するステップと、前記計測された各間隔時間データの標準偏差を算出するステップと、算出された標準偏差の所定のばらつきの範囲内は、平均値を計測した音楽データのテンポ情報及び拍子情報として特定し、所定のばらつき範囲を超える箇所については、テンポ又は拍子が変化したところとして、別のテンポ情報又は拍子情報を特定するステップと、特定された音価と計測された間隔時間と音楽データ全体の演奏時間とから、前記テンポ情報及び拍子情報を特定するステップと、この特定されたテンポ情報及び拍子情報から、前記動画制御データを生成するステップとを有するものであればよい。

以上の説明から明らかなように、本発明にかかる動画制御システム及び動画制御方法は、音楽データのテンポ情報又は拍子情報に基づいて、動画オブジェクトの動作を制御するデータをサーバで生成し、通信端末には、この制御データと音楽データとを画像データに組み込んだ合成ファイルによって提供するため、通信端末上で制御する必要がなく、通信端末に負荷をかけずに、精細な動画オブジェクトの動作を実現することができるという効果を奏する。

また、同一音楽でも、ユーザの嗜好に合った動作のビートを選択できるので、動画オブジェクトの動作のバリエーションが拡張するという効果を奏する。

さらに、音楽データからテンポ情報や拍子情報も自動解析できる構成では、自分のオリジナル楽曲や予めテンポ情報と拍子情報を備えた音楽データを準備しなくても、音楽データに合わせて動画オブジェクトを動作させることができるので、ユーザの多様な嗜好に柔軟に応じ、興趣をそそることができるという効果を奏する。

携帯通信端末の機能ブロック図 第１の実施形態にかかるサーバの機能ブロック図 第２の実施形態にかかるサーバの機能ブロック図 第３の実施形態にかかるサーバの機能ブロック図 ファイルの構成概念図 動画データの動作を調整する仕組みを説明した図 テンポ情報及び拍子情報を取得する方法を示したフロー図 ばらつき補正の方法を示したフロー図 動画制御方法のシーケンス図 ユーザインターフェースとなる画面の展開例図

図１を参照して、１は、本発明にかかる動画制御システムで使用される携帯通信端末の機能ブロック図である。携帯通信端末１は、ＣＰＵ１と着信制御を行うメモリ１２と音楽に合わせて動画オブジェクトを動作させるファイルを保存するファイル保存部１３とを備えている。このファイルは、サーバ２で生成され、インターネット網（及びモバイル通信網）Ｎを介して携帯通信端末１の送受信部１４でダウンロードさる。このファイルは、後述する通り、上記動画オブジェクトを各種ビートに応じて動作させる動画データに、音楽データ及び動画データを上記音楽データに合わせて動作させる動画制御データを組み込んで生成される。

携帯通信端末１が着信すると、ファイル保存部１３で保存されているファイルから音楽データを読み出して再生部１５で再生処理をし、スピーカ等の音声出力部１６で再生させる。この再生されている音楽に同期させて、ファイル保存部１３で保存されている動画データを上記動画制御データで制御して表示部１７で動作させる。

図２を参照して、２１は、図１のサーバ２の第１の実施形態を機能ブロック図で示したサーバである。図１で説明した通り、携帯通信端末１でダウンロードするファイルは、サーバ２で生成されるが、そのファイルの生成を携帯通信端末１から指示するために、本実施の形態では、サーバ２１が携帯通信端末１に対して選択画面を提供するものとした。

サーバ２１は、上記携帯通信端末１の要求に応じて、曲名と動画オブジェクトの具体例としてキャラクタ及びこのキャラクタを動作させるビートを特定するための選択画面を生成する選択画面生成部２１３を有する。以下、各実施の形態では、特別に指定しない限り、動画オブジェクトの具体例としてキャラクタを使って説明するが、特許請求の範囲を逸脱しない限り、動画オブジェクトをキャラクタに限定する趣旨ではない。

この選択画面生成部２１３で選択できる曲名とキャラクタの種類及びビートの種類は、曲名データベース２１１とキャラクタ及びビートデータベース２１２にそれぞれ格納されている。選択画面から曲名とキャラクタ及びビートが選択されると、音楽データを蓄積している音楽データベース２１４と動画データを蓄積している動画データベース２１５から、前記選択された曲名に対応する音楽データと、前記選択されたキャラクタ及びビートに対応する動画データとを対応データ抽出部２１６で読み出して抽出する。なお、音楽データベースに蓄積されている音楽データは、いずれもテンポ情報又は拍子情報あるいはテンポ情報及び拍子情報を有している。

対応データ抽出部２１６で抽出された音楽データが有するテンポ情報、拍子情報に基づき上記選択されたキャラクタ及びビートに従って動作を制御する動画制御データを動画制御データ生成部２１７で生成する。生成された動画制御データと音楽データとを上記抽出された動画データに組み込んでファイル生成部２１８でファイルを生成する。生成されたファイルは、ファイル送信部２１９から送信され、上記携帯通信端末１により、ダウンロードされる。

図３を参照して、２２は、サーバ２の第２の実施形態を機能ブロック図で示したサーバである。図２のサーバ２１と共通の機能については、同一の符号を付して説明を省略する。このサーバ２１は、音楽データがテンポ情報及び拍子情報を有している場合を示したが、サーバ２２は、これらの情報を有していない音楽データに基づいて動画制御データを生成する場合に利用される。すなわち、音楽データは、音楽データベース２１４から、対応データ抽出部２１６によって読み出されて抽出されるが、一方で、この音楽データは、リズム情報解析部２２１に渡され、ここで音楽データからテンポ情報と拍子情報とを解析する。この解析されたテンポ情報及び拍子情報は、動画制御データ生成部２１７に渡されて、動画制御データの生成に利用される。その他の機能は、サーバ２１と同じである。

図４を参照して、２３は、サーバ２の第３の実施形態を機能ブロック図で示したサーバである。図２、図３のサーバ２１、サーバ２２と共通の機能については、同一の符号を付して説明を省略する。

サーバ２１及びサーバ２２は、いずれも、音楽データがサーバ内の音楽データベース２１４に蓄積されているが、本実施の形態では、前記携帯通信端末１から、音楽データをアップロードする形態を示している。すなわち、音楽データアップロード受付部２３１で携帯通信端末１から送信されてきた音楽データを受付て、これをリズム情報解析部２２１に渡して、テンポ情報と拍子情報を解析するものである。

このサーバ２３の実施形態によれば、ユーザが嗜好する音楽あるいはユーザのオリジナル音楽なども分析して動画制御データを生成することができるので選択のバリエーションを各段に拡張する。

図５は、生成されたファイルの構成概念図である。動画データＤｄは、キャラクタを所定のビートで動作させるものであり、具体的には、キャラクタの１サイクルの動作に必要な複数のコマ数から構成されている。

この動画データＤｄに、音楽データＭｄと動画制御データＣｄとを組み込んで、格納することにより、ファイルＦが生成される。音楽データＭｄと動画制御データＣｄとが組み込まれることにより、キャラクタに、音楽の再生と同期して、音楽に合わせた動作をさせることが可能になる。

図６は、音楽データのテンポ情報と拍子情報により、前記基本動作データのコマ数を飛ばして動画データの動作を調整する仕組みを説明した図である。ここで、テンポとは、音楽の１拍の速さを規定するものであり、拍子とは、１小節を構成する所定の音符の数を示すものである。なお、ビートとは、拍子で提示される１拍を構成する最小単位が何音符を基調とするかを提示するものである。たとえば、４/４拍子の場合、１拍を一つと捉えたビートが４ビート、２つと捉えたビートが８ビート、４つと捉えたビートが１６ビートとなる。従って、同一楽曲に対して、キャラクタに、いずれのビートで刻む動作をさせても、動作としては合致させることが可能である。ゆえに、本発明にかかるシステムでは、ユーザの携帯通信端末によって選択された曲名のうち、音楽のリズムについては、テンポ情報と拍子情報について調整を行えば、音楽に合わせた動作をさせることが可能であり、ビートは、音楽データごとに調整しなくても、ユーザの嗜好に合わせていずれの種類も選択できるようにすることができる。このような調整方法により、サーバ側では、キャラクタごとに各種ビートの動画データを保持すればよく、サーバの負荷も軽減することができる。

本実施の形態では、基本動作データの１サイクルの動きを８コマ/秒として説明するが、これに限定される趣旨ではない。図５では、基本動作データのタイムラインＢをコマに１から順次数を付すことによって示した。

このタイムラインＢから、テンポを変化させるためには、連続して飛ばすコマ数を増加させればよい。たとえば、基本動作データのタイムラインＢから２倍のテンポにする場合は、コマ数を一つ飛ばしにし、タイムラインＴのように、１→３→５→７→９…で再生すればよい。すなわち、タイムラインＴの隣で図示するように、２、４、６、８のコマを飛ばして再生すれば、コマ数が１/２になるため、テンポは２倍となる。

次に、タイムラインＢから、拍子を変化させるためには、テンポを変化させないようにしなければならないので、コマ数を連続して飛ばすことはできない。そこで、飛ばすコマと次に飛ばすコマの間で再生するコマ数を調整すればよい。本実施の形態では、タイムラインＲで１．５倍になるような調整、すなわち、タイムラインＢを４/４拍子とした場合に、３/４拍子に調整する場合を示している。タイムラインＲでは、コマは、１→２→４→５→７→８…というように再生されている。タイムラインＲの隣で図示するように、コマ１と２を再生すると、コマ３を飛ばし、次に、コマ４と５を再生すると、コマ６を飛ばし、コマ７と８を再生すると、コマ９を飛ばしている。

なお、テンポと拍子を変化させるには、まず、テンポを変化させて、そのタイムラインを基本として、上記のような方法で拍子を変化させるコマ数の調整をすればよい。

図７は、音楽データにテンポ情報、拍子情報が含まれていない場合に、音楽データを解析して、テンポ情報及び拍子情報を取得する方法を示したフロー図である。

テンポ情報、拍子情報が含まれていない音楽データを取得すると、音楽データを波形処理する（Ｓ１０１）。波形処理されたデータから、リズムパートを抽出する（Ｓ１０２）。リズムパートは、通常、ドラムやベースが刻むため、このリズムを刻む楽器の波形をフィルタリングすれば抽出は可能である。抽出されたリズムパートのうち、所定のアクセント（音量など）のある音を取り出す（Ｓ１０３）。取り出された音のうち、出現頻度の高い音価を特定する（Ｓ１０４）。ここで、音価とは、一つの音符（又は休符）の長さを示すものである。

次に、特定された音価と音価との間の時間間隔を計測する（Ｓ１０５）。計測された時間間隔に基づいて、その解析対象となる音楽データのテンポを解析することができる（Ｓ１０６）。

図８は、図７で示したテンポ情報及び拍子情報を取得する方法について、ばらつきを補正する方法を示したフロー図である。図７と同じ処理については、同一の符号を付し、詳細な説明を省略する。

Ｓ１０１からＳ１０５までは、図７のフロー図と同一の処理である。Ｓ１０５の特定された音価と音価との間の時間間隔を計測すると、計測された各間隔時間データの標準偏差を算出する（Ｓ１０５１）。上記間隔時間は、演奏者のリズムの揺らぎや、そもそも楽曲自体がテンポ、拍子を途中で変化させた場合には、ばらつきとなって現れる。そこで、このばらつきの状態を数値的に判断するために、標準偏差を算出する。具体的には、データ数をｎ、データをｘ、データの平均値をｘ(―)とすると、標準偏差σは、下記の数式で算出できる。

算出されたばらつきについて、所定の閾値以下であれば（Ｓ１０５２）、平均値をもとに、テンポ情報、拍子情報を算出すればよい（Ｓ１０５３）。一方、所定の閾値よりも大きい場合は、その大きいパーツについて、テンポ、又は拍子の変化があったものとして音楽データを分割し、Ｓ１０３から再度処理すればよい（Ｓ１０５４）。

Ｓ１０５３でテンポ情報、拍子情報が算出されると、既に分割した音楽データが存在しないか否かの判断を行い（Ｓ１０５５）、存在しなければ、Ｓ１０６によって、音楽データ全体のリズム情報の解析が行われる。一方、既に、分割した音楽データが存在する場合には、その分割した音楽データを合成し（Ｓ１０５６）、Ｓ１０６の処理を行えばよい。

図９は、本発明にかかる動画制御方法のシーケンス図を示したものである。本実施の形態では、ユーザの携帯通信端末で、音楽データを提供する専用サイトから音楽をダウンロードする形態を示したが、この形態に限定する趣旨ではない。

ユーザの携帯通信端末から、サーバに対してサイト閲覧要求があると（Ｓｔ１）、サーバは、選択画面を生成し（Ｓｓ１）、携帯通信端末に返す。携帯通信端末では、この選択画面から、曲名、キャラクタ及びビートの種類を選択して、サーバに送信すると（Ｓｔ２）、サーバからダウンロードページが表示される（Ｓｓ２）。

携帯通信端末は、このダウンロードページから、音楽提供サーバにリンクして、音楽データのダウンロードを要求する（Ｓｔ３）。音楽提供サーバでは、このダウンロード要求された音楽を抽出し、携帯通信端末に提供する（Ｓｍ１）。このとき音楽データは、サーバにもダウンロードされる。

サーバでは、Ｓｔ２で選択されたキャラクタ、ビートから、対応動画データを抽出し（Ｓｓ３）、同時に、ダウンロードされた音楽データから、テンポ情報、拍子情報を解析し（Ｓｓ４）、動画制御データを生成する（Ｓｓ５）。前記抽出された動画データに、生成された動画制御データを組み込み、ファイルを生成し（Ｓｓ６）、このファイルを携帯通信端末に送信する（Ｓｓ７）。

携帯通信端末では、受信したファイルを保存し（Ｓｔ４）、着信動画として設定する（Ｓｔ５）。一方、前記ダウンロードした音楽データも保存し（Ｓｔ６）、着信音楽として設定する（Ｓｔ７）。

携帯通信端末に、通話あるいはメールの着信があると、上記保存された音楽データに合わせて動画が再生される（Ｓｔ８）。

図１０は、ユーザの携帯電話を介したユーザインターフェースの一実施形態を示したものである。ユーザは、選択画面を要求すると、初期画面としてキャラクタ画像と動作の種類を選択する画面Ｄ１が表示される。

画面Ｄ１のキャラクタボタンを選択すると、キャラクタ選択画面Ｄ２が表示される。表示されたキャラクタのいずれかを選択すると、キャラクタ選択画面Ｄ２の下方にそのキャラクタの名前が表示される。

次ページボタンを指示すると、動作選択画面Ｄ３が表示される。本実施の形態では、動作としてダンスの種類（サルサ、コサック、ポルカ、ワルツ…）を示しているが、なんらかの動作を示す選択肢ならばダンスに限定する趣旨ではない。

ユーザが上記ダンスの種類を選択すると、携帯電話にキャラクタとダンスの種類が特定されて保存される。また、ユーザは、ビートを選択することができるようになっており、ユーザが任意のビートを選択すると、その選択されたビートに応じてキャラクタにダンスをさせることができる。同一音楽に対して、ビートを倍にすることで、キャラクタの動作がより素早く、動作数も増加する。これは、前記した通り、ビートが、その音楽の１拍を示す最小単位の音符としてどの音符を基調とするのか、というものであるため、いわゆる譜割の整合がとれていれば、上記着信音楽のオリジナルのビートと異なるビートであっても、音楽に合わせてダンスさせることは可能だからである。

１ 携帯通信端末
２ サーバ
１６ 音声出力部
１７ 表示部
２１１ 曲名データベース
２１２ キャラクタ・ビートデータベース
２１４ 音楽データベース
２１５ 動画データベース
２１７ 動画制御データ生成部
２１８ ファイル生成部
２２１ リズム情報解析部

Claims (11)

1. 通信端末による着信によって再生される音楽と同期して、前記通信端末の表示画面上で動画オブジェクトを動作させる動画制御システムであって、
   少なくともテンポ情報を有し、前記再生される複数の音楽データと、複数の動画オブジェクトの各々について、各種ビートに応じて動作させる動画データとを各々蓄積させる蓄積手段と、前記通信端末から、インターネット網等のネットワーク通信網を介して、前記蓄積手段によって蓄積された音楽データ及び動画データが特定されると、特定された音楽データ及び動画データを前記蓄積手段から抽出する抽出手段と、抽出された音楽データのテンポ情報に基づいて、抽出された動画データをこの音楽データに合わせて動作させる動画制御データを生成する動画制御データ生成手段と、前記抽出された動画データに、抽出された音楽データ及び前記生成された動画制御データを組み込んで合成ファイルを生成するファイル生成手段とを有するサーバを備え、この合成されたファイルが前記通信端末にダウンロードされると、通信端末が着信したときに、前記音楽データの再生と同期して、この音楽データのリズムに合わせて前記動画オブジェクトを動作させるものであることを特徴とする動画制御システム。
2. 前記サーバが、曲名と動画オブジェクトの種類及びビートの種類とを選択する画面を前記通信端末からの要求に応じて提供する選択画面提供手段を有し、前記通信端末による音楽データ、動画データの特定は、通信端末上で、前記選択画面によって曲名と動画オブジェクトの種類及びビートの種類を選択し、前記通信ネットワーク網を介して前記サーバに送信すると、前記抽出手段が、選択された曲名に対応する音楽データと選択された動画オブジェクトの種類及びビートの種類に対応する動画データとを前記各蓄積手段から抽出するものであることを特徴とする請求項１記載の動画制御システム。
3. 前記動画データは、各動画オブジェクトについて、ビートの種類ごとに、動画オブジェクトの1サイクルの動作に必要な複数のコマ数からなる基本動作データによって構成され、前記動画制御データは、前記テンポ情報から前記基本動作データのコマ数を連続して飛ばす数を調整させて前記1サイクルの所要時間を特定するものであり、前記ファイルは、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるものであることを特徴とする請求項１又は請求項２に記載の動画制御システム。
4. 前記音楽データは、拍子情報を有し、前記動画制御データは、この拍子情報から、前記基本動作データのコマ数を連続しないように飛ばし、飛ばすコマと次に飛ばすコマとの間の再生するコマ数を調整して1サイクルの所要時間を特定するものであり、前記合成されたファイルは、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるものであることを特徴とする請求項１から請求項３までのいずれかに記載の動画制御システム。
5. 前記サーバは、テンポ情報及び拍子情報を有しない音楽データを波形変換する波形生成手段と、生成された波形からリズムパートを抽出するリズムデータ抽出手段と、抽出されたリズムデータから、所定の閾値以上の音量を有する音を取り出す取出手段と、取り出された音のうち、最頻出する音価を特定する音価特定手段と、隣接する音価の間隔時間を計測する間隔計測手段と、特定された音価と計測された間隔時間と音楽データ全体の演奏時間とから、前記テンポ情報及び拍子情報を特定するリズム情報解析手段とを備えたことを特徴とする請求項１から請求項４までのいずれかに記載に動画制御システム。
6. 前記リズム情報解析手段は、前記計測された各間隔時間データの標準偏差を算出し、所定のばらつきの範囲内は、平均値に基づいてテンポ情報及び拍子情報を特定し、所定のばらつき範囲を超える箇所については、テンポ又は拍子が変化したところとして、この範囲の平均値に基づいて別のテンポ情報又は拍子情報を特定し、これら特定されたテンポ情報及び拍子情報を合成して音楽データ全体のテンポ情報及び拍子情報を特定するものであることを特徴とする請求項１から請求項５までのいずれかに記載の動画制御システム。
7. 前記音楽データは、前記通信端末から前記サーバに、前記通信ネットワーク網を介してアップロードされるものであることを特徴とする請求項１から請求項６までのいずれかに記載の動画制御システム。
8. 前記通信端末は、前記音楽データを提供する専用サイトからダウンロードしたときには、前記着信したときに再生される音楽は、この専用サイトからダウンロードされた音楽であり、通信端末が着信すると、このダウンロードされた音楽を再生し、前記合成されたファイルは、この再生された音楽に同期して動画オブジェクトを動作させるものであることを特徴とする請求項１から請求項６までのいずれかに記載の動画制御システム。
9. 通信端末による着信によって再生される音楽と同期して、前記通信端末の表示画面上で動画オブジェクトを動作させる動画制御方法であって、
   サーバ上に、少なくともテンポ情報と拍子情報とを有し、曲名と対応する複数の音楽データの蓄積と、複数の動画オブジェクトの各々について、ビートの種類ごとに、動画オブジェクトの1サイクルの動作に必要な複数のコマ数からなる基本動作データによって構成される動画データの蓄積とを行うステップと、前記通信端末から、インターネット網等の通信ネットワーク網を介して前記サーバに対して前記曲名と動画オブジェクトの種類及びビートの種類とを特定するステップと、前記サーバが、この特定された曲名と動画オブジェクトの種類及びビートの種類に対応する音楽データ及び動画データを抽出するステップと、この抽出された音楽データのテンポ情報から前記基本動作データのコマ数を連続して飛ばす数を調整させて抽出された音楽データのテンポに合わせた動作に制御し、前記1サイクルの所要時間を特定する動画制御データを生成する ステップと、前記抽出された動画データに、抽出された音楽データ及び前記生成された動画制御データを組み込んで合成するファイルを生成するステップと、生成されたこのファイルを前記サーバから前記通信ネットワーク網を介して前記通信端末にダウンロードするステップと、この通信端末が着信すると、前記ファイルに合成された特定された1サイクルの所要時間を単位として、前記特定された音楽データの演奏時間に合わせて反復再生させるステップとを有することを特徴とする動画制御方法。
10. 前記拍子情報から、前記基本動作データのコマ数を連続しないように飛ばし、飛ばすコマと次に飛ばすコマとの間の再生するコマ数を調整して1サイクルの所要時間を特定し、前記動画制御データを生成するステップと、この特定された所要時間を単位として、前記選択された音楽データの演奏時間に合わせて反復再生させるステップとを有することを特徴とする請求項９記載の動画制御方法。
11. テンポ情報及び拍子情報を有しない音楽データを波形変換するステップと、生成された波形からリズムデータを抽出するステップと、抽出されたリズムデータから、所定の閾値以上の音量を有する音を取り出すステップと、取り出された音のうち、最頻出する音価を特定するステップと、隣接する音価の間隔時間を計測するステップと、前記計測された各間隔時間データの標準偏差を算出するステップと、算出された標準偏差の所定のばらつきの範囲内は、平均値を計測した音楽データのテンポ情報及び拍子情報として特定し、所定のばらつき範囲を超える箇所については、テンポ又は拍子が変化したところとして、別のテンポ情報又は拍子情報を特定するステップと、特定された音価と計測された間隔時間と音楽データ全体の演奏時間とから、前記テンポ情報及び拍子情報を特定するステップと、この特定されたテンポ情報及び拍子情報から、前記動画制御データを生成するステップとを有することを特徴とする請求項９から請求項１１までのいずれかに記載に動画制御方法。