JP2013207466A - 動画再生装置およびプログラム - Google Patents

Abstract

【課題】処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生する動画再生装置を実現する。
【解決手段】キーフレーム間に同期する曲データ中の音符長（又は小節長）、その間のテンポ設定情報（ＢＰＭ）および拍子情報に基づき取得したキーフレームの時間間隔Ｔと、キーフレーム間の動き変化量Ｍとに応じて、キーフレーム間ごとのフレームレート（補間フレーム周期）を制御するので、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することが可能になる。
【選択図】図４

Description

本発明は、曲進行に同期させて動画を再生する動画再生装置およびプログラムに関する。

従来の技術として、動画像を曲に合わせて再生する技術が知られている。この種の技術として、例えば特許文献１には、自動的に演奏される曲の拍や小節に関連付けて複数のフレーム画像を順次切り替えて再生するものが開示されている。

特開平５−１８１４６０号公報

ところで、複数の連続したキーフレームデータと、キーフレーム間を補間するよう作成される補間フレームデータとを備える動画データを曲に同期させて再生する場合、曲の所定のタイミング毎にキーフレームデータを１つずつ進めて再生しながら、動画のフレームレートに応じてフレーム補間データを生成・表示することによって曲に同期した動画再生（アニメーション）が可能になる。

しかしながら、そのようにして動画を曲に同期させて再生すると、動画のフレームレートが一定である為、同期させる曲の内容によっては動画の動きが荒くなったり、必要以上に細かくなったりする。つまり、動画のフレームレートが一定である場合に、例えば同期させる曲のテンポが早ければキーフレーム間を補間するフレーム数が少なくなって動きの荒い動画となり、逆に曲のテンポが遅いと、キーフレーム間を補間するフレーム数が不必要に多くなってしまう。とりわけ補間するフレーム数が不必要に多くなると、余計なハードウェアリソースを消費することから、結果的に処理負荷の増加を招いてしまう。したがって、換言すれば、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することが出来ない、という問題が生じる。

本発明は、このような事情に鑑みてなされたもので、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することができる動画再生装置およびプログラムを提供することを目的としている。

上記目的を達成するため、本発明の動画再生装置は、曲を構成する各音と共に、テンポ情報および拍子情報を含む曲データを再生する曲再生手段と、複数の連続したキーフレームデータを前記曲再生手段により再生される曲データ中の所定タイミングに同期させて再生すると共に、前記複数のキーフレーム中において隣り合うキーフレーム間を補間する補間フレームデータを生成して再生する動画再生手段と、前記動画再生手段が補間フレームデータを生成した時のキーフレーム間に同期する曲データ中の所定タイミングと、当該曲データ中から抽出したテンポ情報および拍子情報とに基づき、キーフレームの時間間隔を取得する時間間隔取得手段と、前記時間間隔取得手段により取得されたキーフレームの時間間隔に応じて、前記動画再生手段がキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御するフレームレート制御手段とを具備することを特徴とする。

本発明では、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することができる。

実施の一形態による動画再生装置１００の全体構成を示すブロック図である。 補間フレームデータＤを生成するタイミングを説明するための図である。 ４／４拍子でＢＰＭ１２０の曲の八分音符にキーフレーム同期する場合および４／４拍子でＢＭＰ６０の曲の二分音符にキーフレーム同期する場合のキーフレームの時間間隔を示す図である。 フレームレート制御処理の動作を示すフローチャートである。 キーフレーム間の動き変化量Ｍを説明するための図である。

以下、図面を参照して本発明の実施形態について説明する。
Ａ．構成
図１は、本発明の実施の一形態による動画再生装置１００の全体構成を示すブロック図である。この図において、ＣＰＵ１０は、操作部１３が発生する操作イベントに応じて装置各部の動作状態を設定する他、動画を曲に同期させて再生させるのに必要なデータ（同期再生パラメータ）をＲＡＭ１２の曲データエリア１２ｃに格納される曲データ（ＭＩＤＩデータ）から抽出して動画再生部に１４に供給する。

また、ＣＰＵ１０は、曲再生時において、ＲＡＭ１２の曲データエリア１２ｃに格納される曲データ（ＭＩＤＩデータ）に基づき生成した楽音コマンド（例えば発音指示コマンドや消音指示コマンド等）を音源１７に送出して楽音形成させる。本発明の要旨に係わるＣＰＵ１０の動作（フレームレート制御処理）については追って述べる。ＲＯＭ１１には、ＣＰＵ１３にロードされる各種プログラムが記憶される。ここで言う各種プログラムとは、後述するフレームレート制御処理を含む。

ＲＡＭ１２は、ワークエリア１２ａ、キーフレームエリア１２ｂおよび曲データエリア１２ｃを備える。ＲＡＭ１２のワークエリア１２ａは、ＣＰＵ１３の演算結果が格納される各種レジスタ・フラグデータを一時記憶する。ＲＡＭ１２のキーフレームエリア１２ｂには、複数の連続した時系列順のキーフレームデータが格納される。１つのキーフレームデータは、所謂パラパラアニメと呼ばれるアニメーション表示に用いられる１枚の画像データに相当する。ＲＡＭ１２の曲データエリア１２ｃには、曲を構成する各音符の発音時刻、音高、音量および消音時刻を表すと共に、テンポ（ＢＰＭ）や拍子、小節タイミングなどの曲属性を表す公知のＭＩＤＩデータが格納される。

操作部１３は、装置電源をパワーオン／オフする電源スイッチの他、再生開始を指示するスタートスイッチや発生楽音の音色を選択する音色選択スイッチなどの各種スイッチを備え、操作されるスイッチ種に応じた操作イベントを発生する。この操作イベントはＣＰＵ１０に取り込まれる。

動画処理部１４は、動画処理専用のプロセッサを備え、ＣＰＵ１０から供給される同期再生パラメータに従って、ＲＡＭ１２のキーフレームエリア１２ｂから読み出したキーフレームデータを再生出力すると共に、隣り合う２つのキーフレーム間を補間する補間フレームデータを生成して再生出力する。

表示部１５は、カラー液晶表示パネルおよび駆動回路から構成され、動画処理部１４から再生出力される動画（アニメーション）を画面表示する。音源１６は、公知の波形メモリ読み出し方式にて構成され、複音同時発音可能な複数の発音チャンネルを備え、ＣＰＵ１０から供給される楽音コマンドに従って楽音形成する。サウンドシステム１７は、音源１６から出力される楽音波形をアナログ信号形式に変換した後、不要ノイズ除去やレベル増幅を施してからスピーカから発音させる。

Ｂ．発明の原理
次に、上記構成による動画再生装置１００の動作説明に入る前に、本発明の原理について解説し、後述する動作説明の一助とする。本発明では、複数の連続した時系列順のキーフレームデータを用い、キーフレームを曲データ中で指定した音符（又は小節長）に同期させて再生する。曲のテンポあるいは同期させる音符（又は小節長）が短い場合は、そうでない場合に比べて単位時間当たりの動画の進行度が高くなる。

そこで、本発明では、先ず最初にキーフレームの時間間隔を定める。この時間間隔は、全フレームを通して一定でもよいし、キーフレーム間ごとに変化してもよい。再生を開始したら、再生開始からの実時間ｔを取得し、取得した実時間ｔに基づき次式（１）で表される関係に基づいて表示すべき補間フレームデータＤを生成する。

Ｄ＝Ｄｎ×（ｔ−ｔｎ）／（ｔｍ−ｔｎ）
＋Ｄｍ×（１−（ｔ−ｔｎ）／（ｔｍ−ｔｎ））…（１）
上記（１）式の関係を図２に図示する。また、上記（１）式において、ｔは再生開始からの実時間、Ｄは実時間ｔに表示すべき補間フレームデータ、Ｄｎは実時間ｔ直前のキーフレームデータ、ｔｎはキーフレームＤｎに設定された先頭キーフレームＤ１からの時間、ＤｍはキーフレームＤｎの次のキーフレームデータ、ｔｍはキーフレームＤｍに設定された先頭キーフレームＤ１からの時間、ｔｍ−ｔｎはキーフレームＤｎとキーフレームＤｍの時間間隔、ｔ−ｔｎはキーフレームＤｎを表示すべき時刻からの経過時間である。したがって、補間フレームデータＤは、キーフレームＤｎを表示すべき時刻からの経過時間と、キーフレームＤｎとキーフレームＤｍの時間間隔との比率に基づく内挿補間で得られるタイミングで生成される。

このようにして再生される動画を、ＭＩＤＩデータの再生に同期させる場合、最初に曲の音が出てから動画を再生し、曲の任意の音符（又は小節長）ごとに動画のキーフレームを進めながら、上記手法で補間フレームデータを作成・表示する。このとき、最初の一音目が小節の途中にある場合は、動画の再生開始をその小節又は次の小節の先頭に合わせるように補正してもよい。

曲中の任意の音符の音符長に同期させる場合には、ＭＩＤＩデータ中のテンポ情報（ＢＰＭ）を基にして、同期させる音符の音符長の実時間を取得し、それによりキーフレームの時間間隔を決める。曲進行に伴いテンポ情報（ＢＰＭ）が変化する場合は、キーフレームの時間間隔も追従して変化させる。

一方、曲中の小節長に同期させる場合には、ＭＩＤＩデータから取得するテンポ情報（ＢＰＭ）および拍子情報に基づきキーフレームの時間間隔を決める。曲進行に伴い拍子も変化する場合があるので、この場合もそれに応じてキーフレームの時間間隔を変化させる。

次に、曲進行に同期させて再生する具体的なケースについて説明する。以下では、条件１；４／４拍子でＢＰＭ１２０の曲において八分音符にキーフレーム同期する場合と、条件２；４／４拍子でＢＭＰ６０の曲において二分音符にキーフレーム同期する場合とについて、図３を参照して考察する。

図３に図示する通り、条件１の場合にはキーフレームの時間間隔が２５０ミリ秒、条件２の場合にはキーフレームの時間間隔が２秒となる。同じ動画を一定フレームレート（例えば１０ｆｐｓ）で再生する場合を想定すると、条件１では１キーフレーム間隔当たり２．５フレームしか補間描画できないが、条件２では１キーフレーム間隔当たり２０フレームも補間描画することができる。これでは、条件１で再生される動画の動きが粗くなり、一方、条件２では描画が不必要に細かくなる為に余計なハードウェアリソースを消費することになる。

そこで、このような状況を回避する為、キーフレーム間ごとに補間フレーム数を固定する。例えばキーフレーム間ごとに作成する補間フレーム数を「５」とすると、上述の条件１では動画のフレームレートが２０ｆｐｓとなり、一方、条件２では２．５ｆｐｓとなり、これに合わせてキーフレーム間の補間フレームを作成・表示する。つまり、キーフレーム間ごとのフレームレート（補間フレーム周期）を曲内容に応じて制御することによって、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することが可能になる。

Ｃ．動作
次に、図４を参照して、上述した発明の原理に基づくフレームレート制御処理の動作を説明する。図４は、ＣＰＵ１０が実行するフレームレート制御処理の動作を示すフローチャートである。本処理が実行されると、図４に図示するステップＳ１に進み、補間フレーム周期Ｆをデフォルト値（所定値）に設定する。続いて、ステップＳ２では、動画処理部１４から補間フレーム周期Ｆを修正するよう要求されたか否かを判断する。

修正要求が有ったならば、ステップＳ２の判断結果は「ＹＥＳ」になり、今回の補間フレームを周期Ｆ以上で表示するか否かを判断する。今回の補間フレームを周期Ｆ以上で表示しない場合には、新規補間フレームを作成・表示する必要が無いので、判断結果は「ＮＯ」になり、一旦上記ステップＳ２に処理を戻す。

一方、今回の補間フレームを周期Ｆ以上で表示する場合には、上記ステップＳ３の判断結果が「ＹＥＳ」になり、ステップＳ４に進み、新規補間フレームの作成・表示を動画処理部１４に指示する。これにより、動画処理部１４では、再生開始からの実時間ｔに基づき、前述した（１）式で表される関係に従って補間フレームデータを生成・表示する。次いで、ステップＳ５では、前回補間時と別のキーフレームで補間したか否かを判断する。前回補間時と同じキーフレームによる補間だったならば、判断結果は「ＮＯ」になり、上記ステップＳ２に処理を戻す。

これに対し、前回補間時と別のキーフレームで補間すると、上記ステップＳ５の判断結果は「ＹＥＳ」になり、ステップＳ６に進む。ステップＳ６では、今回の２キーフレーム間に同期する曲データ中の音符長（又は小節長）、その間のテンポ設定情報（ＢＰＭ）および拍子情報に基づきキーフレームの時間間隔Ｔを取得して動画処理部１４に同期再生パラメータとして供給する。

続いて、ステップＳ７では、今回の２キーフレーム間の動き変化量Ｍを取得する。キーフレーム間の動き変化量Ｍとは、図５に図示する一例のように、キーフレームＤｎで示される人形キャラクタに、ダンスをする動きを持たせてキーフレームＤｍとなった場合の人形キャラクタの動き（ポーズ変化）で生じる各部の移動量の総和である。各部の移動量とは、隣り合うキーフレームＤｎ、Ｄｍ間で変化する人形キャラクタの重心位置、手先位置、足先位置など各座標位置の移動量を指す。

そして、ステップＳ８に進むと、上記ステップＳ６で取得したキーフレームの時間間隔Ｔと、上記ステップＳ７で取得した２キーフレーム間の動き変化量Ｍとに応じて、前述のステップＳ１においてデフォルト設定された補間フレーム周期Ｆを更新する。

例えば曲がアップテンポになってキーフレームの時間間隔Ｔが短くなったり、人形キャラクタのポーズ変化が多くキーフレーム間の動き変化量Ｍが大きくなった場合には補間フレーム周期Ｆを短くする。また、例えば曲がスローテンポになってキーフレームの時間間隔Ｔが長くなったり、人形キャラクタのポーズ変化が少なくキーフレーム間の動き変化量Ｍが小さくなった場合には補間フレーム周期Ｆを長くする。

こうして補間フレーム周期Ｆを更新し終えると、上述したステップＳ２に戻る。そして、ステップＳ２において、補間フレーム周期Ｆを更新したことによって動画処理部１４が補間フレーム周期Ｆの修正要求を出さなくなると、判断結果が「ＮＯ」になり、本処理を終える。

以上説明したように、本実施形態では、キーフレーム間に同期する曲データ中の音符長（又は小節長）、その間のテンポ設定情報（ＢＰＭ）および拍子情報に基づき取得したキーフレームの時間間隔Ｔと、キーフレーム間の動き変化量Ｍとに応じて、キーフレーム間ごとのフレームレート（補間フレーム周期）を制御するので、処理負荷の増加を招くことなく、自然な動きの動画を曲に同期させて再生することが可能になる。

なお、上述した実施形態では、１つの動画データ（キーフレームデータ）を曲に同期させる態様としたが、これに限らず、複数種の動作データ又は同一の動作データを複数用いて曲に同期させる態様も可能である。この態様では、同期させる音符長をそれぞれ個別に設定できるものとする。例えば曲のテンポを１２０ＢＰＭとし、第１の動画データを四分音符に同期させ、第２の動画データを八分音符に同期させて両者を合成して再生する場合、キーフレーム間を例えば５枚の補間フレームで補間しようとすると、第１の動画データは１０ｆｐｓ、第２の動画データは２０ｆｐｓで作成する。これら第１および第２の画像データを合成すると、２０ｆｐｓの動画となるが、第１の動画データの補間フレームデータの作成はその半分の回数で２フレーム続けて同一データを使って動画作成すれば良く、こうすることで負荷の軽減を図ることが可能になる。

また、上述した実施形態では、キーフレーム間の動き変化量Ｍに応じて、キーフレーム間ごとのフレームレート（補間フレーム周期）を制御するようにしたが、これに限らず、動画の音楽に同期して再生する部分の動き変化量の総量を基にしてキーフレーム間の補間フレームデータ数を固定的に決定することも可能である。

以上、本発明の実施の一形態について説明したが、本発明はそれに限定されるものではなく、本願出願の特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下では、本願出願当初の特許請求の範囲に記載された各発明について付記する。

（付記）
［請求項１］
曲を構成する各音と共に、テンポ情報および拍子情報を含む曲データを再生する曲再生手段と、
複数の連続したキーフレームデータを前記曲再生手段により再生される曲データ中の所定タイミングに同期させて再生すると共に、前記複数のキーフレーム中において隣り合うキーフレーム間を補間する補間フレームデータを生成して再生する動画再生手段と、
前記動画再生手段が補間フレームデータを生成した時のキーフレーム間に同期する曲データ中の所定タイミングと、当該曲データ中から抽出したテンポ情報および拍子情報とに基づき、キーフレームの時間間隔を取得する時間間隔取得手段と、
前記時間間隔取得手段により取得されたキーフレームの時間間隔に応じて、前記動画再生手段がキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御するフレームレート制御手段と
を具備することを特徴とする動画再生装置。

［請求項２］
前記動画再生手段は、前記曲再生手段により再生される曲データ中の所定の音符長に同期させて複数の連続したキーフレームデータを再生すると共に、隣り合うキーフレーム間を補間する補間フレームデータを生成して再生することを特徴とする請求項１記載の動画再生装置。

［請求項３］
前記動画再生手段は、前記曲再生手段により再生される曲データ中の小節長に同期させて複数の連続したキーフレームデータを再生すると共に、前記隣り合うキーフレーム間を補間する補間フレームデータを生成して再生することを特徴とする請求項１記載の動画再生装置。

［請求項４］
前記動画再生手段が補間フレームデータを生成した時のキーフレーム間の動き変化量を取得する動き変化量取得手段を更に備え、
前記フレームレート制御手段は、前記時間間隔取得手段により取得されたキーフレームの時間間隔と、前記動き変化量取得手段により取得されたキーフレーム間の動き変化量とに応じて、前記動画再生手段がキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御することを特徴とする請求項１乃至４の何れかに記載の動画再生装置。

［請求項５］
コンピュータに、
曲を構成する各音と共に、テンポ情報および拍子情報を含む曲データを再生する曲再生ステップと、
複数の連続したキーフレームデータを前記曲再生ステップにより再生される曲データ中の所定タイミングに同期させて再生すると共に、前記複数のキーフレーム中において隣り合うキーフレーム間を補間する補間フレームデータを生成して再生する動画再生ステップと、
前記動画再生ステップが補間フレームデータを生成した時のキーフレーム間に同期する曲データ中の所定タイミングと、当該曲データ中から抽出したテンポ情報および拍子情報とに基づきキーフレームの時間間隔を取得する時間間隔取得ステップと、
前記時間間隔取得ステップにて取得されたキーフレームの時間間隔に応じて、前記動画再生ステップがキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御するフレームレート制御ステップと
を実行させることを特徴とするプログラム。

１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ 操作部
１４ 動画処理部
１５ 表示部
１６ 音源
１７ サウンドシステム
１００ 動画再生装置

Claims (5)

1. 曲を構成する各音と共に、テンポ情報および拍子情報を含む曲データを再生する曲再生手段と、
   複数の連続したキーフレームデータを前記曲再生手段により再生される曲データ中の所定タイミングに同期させて再生すると共に、前記複数のキーフレーム中において隣り合うキーフレーム間を補間する補間フレームデータを生成して再生する動画再生手段と、
   前記動画再生手段が補間フレームデータを生成した時のキーフレーム間に同期する曲データ中の所定タイミングと、当該曲データ中から抽出したテンポ情報および拍子情報とに基づき、キーフレームの時間間隔を取得する時間間隔取得手段と、
   前記時間間隔取得手段により取得されたキーフレームの時間間隔に応じて、前記動画再生手段がキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御するフレームレート制御手段と
   を具備することを特徴とする動画再生装置。
2. 前記動画再生手段は、前記曲再生手段により再生される曲データ中の所定の音符長に同期させて複数の連続したキーフレームデータを再生すると共に、隣り合うキーフレーム間を補間する補間フレームデータを生成して再生することを特徴とする請求項１記載の動画再生装置。
3. 前記動画再生手段は、前記曲再生手段により再生される曲データ中の小節長に同期させて複数の連続したキーフレームデータを再生すると共に、前記隣り合うキーフレーム間を補間する補間フレームデータを生成して再生することを特徴とする請求項１記載の動画再生装置。
4. 前記動画再生手段が補間フレームデータを生成した時のキーフレーム間の動き変化量を取得する動き変化量取得手段を更に備え、
   前記フレームレート制御手段は、前記時間間隔取得手段により取得されたキーフレームの時間間隔と、前記動き変化量取得手段により取得されたキーフレーム間の動き変化量とに応じて、前記動画再生手段がキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御することを特徴とする請求項１乃至４の何れかに記載の動画再生装置。
5. コンピュータに、
   曲を構成する各音と共に、テンポ情報および拍子情報を含む曲データを再生する曲再生ステップと、
   複数の連続したキーフレームデータを前記曲再生ステップにより再生される曲データ中の所定タイミングに同期させて再生すると共に、前記複数のキーフレーム中において隣り合うキーフレーム間を補間する補間フレームデータを生成して再生する動画再生ステップと、
   前記動画再生ステップが補間フレームデータを生成した時のキーフレーム間に同期する曲データ中の所定タイミングと、当該曲データ中から抽出したテンポ情報および拍子情報とに基づきキーフレームの時間間隔を取得する時間間隔取得ステップと、
   前記時間間隔取得ステップにて取得されたキーフレームの時間間隔に応じて、前記動画再生ステップがキーフレーム間ごとに生成する補間フレームデータのフレームレートを制御するフレームレート制御ステップと
   を実行させることを特徴とするプログラム。

Images