JP2008048054A - 動画生成方法、プログラムおよび装置 - Google Patents

Abstract

【課題】属性情報を基に得られる素材を動画生成に反映することで、より表現豊かな動画の生成を行う。
【解決手段】従来では、楽曲再生の時間軸Ｔに同期して、入力された元画像Ｉ１、Ｉ２、Ｉ３、Ｉ４・・が順次再生されるに過ぎないが、本実施形態の動画生成装置では、元画像に加え、楽曲の解析結果に基づいて収集された素材Ｚ１、Ｚ２、Ｚ３・・も、元画像とともに、楽曲の再生と同期して再生される。このように、楽曲に関連した素材が動画に反映されるため、従来よりも豊かな動画の表現が可能になる。
【選択図】 図４

Description

本発明は静止画に基づいて音楽に同期して再生可能な動画を生成する技術に関する。

楽曲や画像などの素材から楽曲と同期した動画を生成する際に、楽曲を分析し、その特徴量を使用して、自動的に出力データを生成する手法がある。

例えば特許文献１によると、音楽データからテンポ情報を取り出し、そのテンポ情報から画像データに対してカット編集を施すことで、ビデオ編集を行う。

また特許文献２によると、入力素材から記述子を分析し、それを基にスタイル情報を定義し、入力素材・入力素材から得た記述子・スタイル情報を基に作業セットを作成し、それを実行することで出力データを生成する。入力・出力には少なくとも１つの映像・オーディオの各データが含まれており、記述子の取得は入力素材を分析することで得られる。また、記述子はユーザからも受け取ることができる。
特開２００４−９６６１７号公報 特表２００５−５０６６４３号公報

従来技術の手法により生成される動画は、入力された素材である画像、楽曲に予め用意されたエフェクトをつけて楽曲と同期させながら再生したものであり、入力した楽曲の曲名や歌詞、アーティストといった楽曲の属性情報は動画の内容に反映されない。そこで本発明は、属性情報を基に得られる素材を動画生成に反映することで、より表現豊かな動画の生成を行うことを可能とする。

本発明は、静止画その他の素材に基づいて楽曲に同期した動画を生成する動画生成方法に関する。この方法は、静止画を入力するステップと、楽曲を入力するステップと、入力された楽曲の構造を解析するステップと、解析された楽曲の構造に基づいて楽曲の属性を示す属性情報を取得するステップと、属性情報に基づいて動画の生成に用いる素材を収集するステップと、楽曲と素材と静止画とに基づき、楽曲の再生に同期した動画または動画の再生条件を規定するシナリオデータを作成するステップと、を含む。

この発明によると、楽曲の解析の結果得られた属性情報（例えは楽曲のタイトルやアーティスト名）に基づき、素材の収集を行う。素材とは、楽曲のＣＤジャケット画像、歌詞のテキストデータ、アーティスト画像などである。そして、入力された画像と収集された素材に基づき、楽曲に同期した動画またはその動画の再生条件を規定するシナリオデータを作成する。

このように本発明では、楽曲の解析結果によって得られる素材を動画に反映することで、より表現豊かな動画の生成を行うことができる。

動画の生成に必要な素材の数を設定するステップをさらに含み、素材を収集するステップでは、設定された素材の数だけ素材を収集してもよい。

こうすると、動画の生成に使用する画像と素材の数的なバランスをとることができ、より表現豊かな動画の生成を行うことができる。

動画の生成に必要な素材の数を設定するステップと、収集された素材から、設定された素材の数の素材を含んだ素材の組を１または複数作成するステップと、をさらに含み、動画またはシナリオデータを作成するステップでは、作成された素材の組のうち所望の素材の組に含まれる素材に基づいて動画またはシナリオデータを作成してもよい。

このように、必要な数の素材を含んだ組を予めいくつか作成しておき、必要に応じて異なる素材の組を動画の生成に使うことで、より表現豊かな動画の生成を行うことができる。

また、本発明は、上記方法を演算装置に実行させるためのプログラムも含む。

また、本発明は、上記プログラムを記憶する記憶部と、記憶部から上記プログラムを読み出して実行する演算装置と、を備えた動画生成装置も含む。

この発明によると、楽曲の解析の結果得られた属性情報（例えは楽曲のタイトルやアーティスト名）に基づき、素材の収集を行う。素材とは、楽曲のＣＤジャケット画像、歌詞、アーティスト画像などである。そして、入力された画像と収集された素材に基づき、楽曲に同期した動画またはその動画の再生条件を規定するシナリオデータを作成する。

このように本発明では、楽曲の解析結果によって得られる素材を動画に反映することで、より表現豊かな動画の生成を行うことができる。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係る動画生成装置のブロック構成図である。この装置は、入力された楽曲を解析することで属性情報を得た上、この属性情報に基づいて得られる素材を生成する動画に反映することで、より表現豊かな動画の生成を行う。

動画生成装置は、ＣＰＵ１０、メモリ１１、ハードディスク（ＨＤＤ）１２、出力制御部１３、出力装置１４、入力制御部１５、入力装置１６、楽曲読み込み制御部１７、楽曲読み込み装置１８、画像読み込み制御部１９、画像読み込み装置２０、動画・シナリオ生成装置２１を備える。

この装置は、典型的には、パソコン、ハードディスクレコーダ、デジタルカメラなどで実現される。

入力装置１６は、入力制御部１５の制御に従って各種データ、特に素材を外部から入力するための装置であり、ネットワークアダプタ、シリアルポートなどで構成される。

楽曲読み込み装置１８は、楽曲読み込み制御部１７の制御に従って楽曲データを外部から読み込むための装置であり、ＣＤやフラッシュメモリといった可搬性記録媒体のデータ読み取り装置、あるいは外部の楽曲サーバと接続して楽曲データを受信するネットワークアダプタなどで構成される。

画像読み込み装置２０は、画像読み込み制御部１９の制御に従って静止画像データ（例えばＥｘｉｆ形式や、ＪＰＥＧ形式の画像ファイル。以下、元画像と呼ぶ）を外部から読み込むための装置であり、メモリカードその他の可搬性記録媒体のデータ読み取り装置や、外部のデジタルカメラと接続して画像データを受信するＵＳＢポートなどで構成される。

ＨＤＤ１２は、入力された元画像や楽曲を蓄積する大容量記憶媒体である。ＨＤＤ１２は、後述するシナリオも記憶する。

メモリ１１は、ＣＰＵ１０のプログラムやプログラムの処理に必要なデータを一時的に格納する。

動画・シナリオ生成装置２１は、楽曲属性情報解析部２２、使用素材枚数決定部２３、素材収集部２４、シナリオ生成部２５、ＤＢ参照部２６を備えている。動画・シナリオ生成装置２１は、ワンチップマイコンなどの単体装置で構成してもよい。あるいは、動画・シナリオ生成装置２１としてＣＰＵ１０を動作させるプログラムをＨＤＤ１２に格納しておき、これをＣＰＵ１０が読み込んで実行することで、動画・シナリオ生成装置２１を実現してもよい。

図２は、動画・シナリオ生成装置２１による素材収集の概念説明図である。図２に示すように、素材収集部２４は、ＤＢ参照部２６およびネットワーク５を介し、ＣＤジャケット画像、歌詞データ、アーティスト画像などの素材を格納・発信する素材ＤＢ３と接続されている。

楽曲属性情報解析部２２は、楽曲読み込み装置１８から入力された楽曲を解析し、解析の結果に基づいて、ＤＢ参照部２６およびネットワーク５を介して接続されたＣＤＤＢ３から属性情報を取得する。

素材収集部２４は、楽曲属性情報解析部２２の取得した属性情報に基づき、ＤＢ参照部２６およびネットワーク５を介して接続された素材ＤＢ３から素材を収集する。

シナリオ作成部２５は、楽曲と同期して、元画像および収集した素材を順次再生する条件を規定するデータ（シナリオデータ）を生成し、これをＨＤＤ１２に格納する。

あるいは、そのシナリオデータに従って元画像・素材が楽曲と同期して再生される動画データを生成し、ＨＤＤ１２に格納してもよい。生成された後の動画データは、ＭＰ３ファイルのようにシナリオデータとは独立した形式でもよいし、アニメーションＧＩＦのように静止画とシナリオデータの両方が揃って動画が再生される形式に変換されてもよい。

なお、生成した動画と元画像・素材・シナリオデータの両方を格納するより、シナリオデータ、元画像および素材をそれぞれ別個のエンティティとして格納し、必要に応じてシナリオデータに従って動画を構成して再生したほうが、ＨＤＤ１２の記憶容量の確保の面では有利である。逆に、予め動画をＨＤＤ１２に格納しておけば、即時に再生を開始できるから、再生の便利さという面では、動画そのものをＨＤＤ１２に格納しておく方が有利である。いずれの方法を採用するかは、ユーザの便宜や装置の性能に合わせて決定すればよく、動画・シナリオ生成装置２１の本質ではない。

図３は動画生成装置の実行する動画生成処理の流れを示すフローチャートである。この処理はＣＰＵ１０の指令に基づいて動画・シナリオ生成装置２１が実行する。

Ｓ１では、楽曲属性情報解析部２２は、楽曲読み込み装置１８から入力された楽曲から、特徴量を抽出する。楽曲の特徴量とは、楽曲の拍や裏拍、アクセントなどを指す。

Ｓ２では、楽曲属性情報解析部２２は、楽曲の構成を抽出する。楽曲の構成は、例えばテンポの変わり目で構成を区切る拍の頭から８拍を区切ることで得られる。

Ｓ３では、楽曲属性情報解析部２２は、楽曲を解析し、解析結果に基づいて、ＣＤＤＢ４から属性情報を取得する。楽曲属性情報解析部２２による楽曲の解析とは、例えば楽曲のオーディオ波形情報(サウンド指紋）を検出することである。また、楽曲の解析結果に基づいて属性情報を取得とは、例えば、ＣＤＤＢ４に、各楽曲に固有のオーディオ波形情報と、その楽曲の曲名・アーティスト名その他の属性情報とを対応づけて記憶しておき、楽曲属性情報解析部２２が、解析した楽曲のオーディオ波形情報とＣＤＤＢ４のオーディオ波形情報とを照合し、解析した楽曲のオーディオ波形情報に対応する属性情報をＣＤＤＢ４から取得することである。

Ｓ４では、Ｓ３で得られた属性情報に基づいて、素材ＤＢ３から素材を収集する。例えば、楽曲の曲名およびアーティストに対応する歌詞のテキストデータ、その楽曲を格納したＣＤのジャケット画像、そのアーティストの画像を素材ＤＢ３から取得してくる。

なお、ＣＤＤＢ４あるいは素材ＤＢ３はネットワーク５上に存在する必然性はなく、ＣＤＤＢ４あるいは素材ＤＢ３を動画生成装置に内蔵させておき、ここから属性情報あるいは素材を取得してもよい。

Ｓ５では、楽曲の特徴量・構成と、元画像および収集した素材とを関連づけるシナリオデータの作成を行う。あるいはそのシナリオに沿った動画を生成する動画データを作成する。

ここで、収集した素材が、ＣＤジャケット画像やアーティスト画像であれば、この画像のファイル名やタイムスタンプなどに基づいてソートし、楽曲の再生時間軸に沿って、ソート順の上位から所定の間隔で元画像に組み込むとよい。

また、収集した素材が、歌詞のテキストデータであれば、周知のカラオケ装置と同様、楽曲の構成に同期して再生される元画像に、歌詞のテキストデータを合成するとよい。あるいは、素材が曲名のテキストデータであれば、周知のカラオケ装置と同様、楽曲のイントロ部分で再生される元画像に曲名のテキストデータを合成するとよい。

シナリオには、元画像の表示順序、パン・チルト・フレーム合成など元画像に付与する各種の表示効果（エフェクト）、素材の表示サイズ・表示色といった表示の内容に関する属性や、各元画像の表示時間・表示開始もしくは終了のタイミングなど表示の方式に関する属性が記述される。

このシナリオに基づいて元画像と素材を楽曲と同期して表示すれば、素材の反映された動画を再生することができ、従来よりも表現内容が豊かになる。

図４はシナリオデータに従って楽曲が再生される様子を概念的に示す。従来では、楽曲再生の時間軸Ｔに同期して、入力された元画像Ｉ１、Ｉ２、Ｉ３、Ｉ４・・が順次再生されるに過ぎないが、本実施形態の動画生成装置では、元画像に加え、楽曲の解析結果に基づいて収集された素材Ｚ１、Ｚ２、Ｚ３・・も、元画像とともに、楽曲の再生と同期して再生される。このように、楽曲に関連した素材が動画に反映されるため、従来よりも豊かな動画の表現が可能になる。

＜第２実施形態＞
図５は第２実施形態に係る動画生成処理の流れを示すフローチャートである。この処理では、楽曲と同期した動画の生成に使用する素材の数を決定し、素材と元画像の数のバランスをとる。

Ｓ１１〜Ｓ１４、Ｓ１６〜Ｓ１７は、第１実施形態のＳ１〜Ｓ４、Ｓ５〜６と同様である。

Ｓ１５では、使用する素材（典型的には、元画像の一部に組み込む素材）の数を設定する。

素材の使用数の設定の方式は、例えば、入力された元画像に対する素材の適正な使用数の比率（以下「組込係数」で表す）を予め設定しておき、実際に入力された元画像の数に組込係数を乗じることで使用数を算出する。例えば、入力された元画像が５、組込係数が０．２の場合、５×０．２＝１を素材の使用数とする。当然ながら、組込係数は０．１以外の値であってもよく、例えば０．４であれば、２が素材の使用数となる。使用数や組込係数をユーザが任意に設定できるようにしてもよい。

あるいは、楽曲の全長など、楽曲解析の結果に基づいて動画の生成に最適な元画像の数を算出し、この数から実際に入力された元画像の数を差し引いた数を、素材の使用数としてもよい。例えば、楽曲の全長が三分、楽曲の構成数が３０の場合、元画像に組み込む素材を含めて、動画生成には３０枚の元画像が必要であると決定する。この場合、入力された元画像が２０枚しかない場合は、必要な１０枚の素材を収集することで、元画像の不足を補ってもよい。あるいは、必要な数以上素材を収集し、その中からランダムに、あるいはソート順の上位から必要な１０枚を選択し、これを元画像に組み込んでもよい。あるいは、必要な使用数以上の素材が収集された場合、ユーザがその中から自由に素材を必要な使用数だけ選択できるようにしてもよい。

図６は、上記の処理で収集された素材が元画像に組み込まれた様子を概念的に示す。この図では、入力された素材Ｚ１〜Ｚ５のうち、１つの素材Ｚ１が元画像Ｉ１〜Ｉ５とともに動画生成用の画像群に組み込まれることで動画が生成される。図示は省略するが、素材Ｚ２〜Ｚ５のいずれかについても、同様に元画像に組み込むことができる。

このように、楽曲と同期して再生される動画の生成に使用される元画像と素材の数のバランスを自由に設定することができるから、第１実施形態に比して、楽曲の再生に同期して再生される素材がより適切に動画に反映され、表現豊かな動画の再生が可能である。

＜第３実施形態＞
図７は第３実施形態に係る動画生成処理の流れを示すフローチャートである。この処理では、予め動画の生成に必要な使用数の素材からなる組（以下「素材セット」で表す）を１または複数用意しておき、ユーザの選択に応じて、あるいはランダムに素材セットを動画生成用の画像に組み込み、元画像と素材の数のバランスがとれた複数種類の動画を生成する。

Ｓ２１〜Ｓ２５、Ｓ２７〜Ｓ２８は、それぞれ第２実施形態のＳ１１〜Ｓ１５、Ｓ１６〜Ｓ１７と同様である。

Ｓ２６では、収集された素材および動画の生成に必要な素材の数に基づき、素材セットを生成する。生成された素材セットは、ＨＤＤ１５に格納される。

生成可能な素材セットの数は、収集された素材の数をＭ、動画の生成に必要な素材の使用数をＮ（Ｍ≧Ｎ）とすると、Ｃ（Ｍ，Ｎ）である。

例えば、Ｍ＝５、Ｎ＝２であれば、Ｃ（５，２）＝１０通りの異なる素材セットが生成できる。ただし、理論上生成可能な素材セットを全て生成しても、実際には使用されず無駄な場合があるから、この場合、ユーザが任意に指定した数に限って異なる複数の素材セットを生成するようにしてもよい。

Ｓ２８では、各素材セットが元画像とともに動画生成用画像群に組み込まれ、この画像群と楽曲に基づいて、同一の楽曲に同期する異なる複数の動画を生成し、ＨＤＤ１５に格納する。ただし、ＨＤＤ１５の使用容量を節約するには、シナリオ内にいずれの素材セットを動画生成用画像群に組み込むかを記述しておき、動画データそのものを生成しないようにすることが好ましい。

図８は、上記の処理で生成された素材セットおよび素材セットが組み込まれた動画を概念的に示す。

この図では、各素材セットＡ・Ｂ・Ｃがそれぞれ別個に同一の元画像群Ｉに組み込まれることで動画Ａ’・Ｂ’・Ｃ’・・が生成される。

このように、本実施形態では、同じ元画像と異なる素材から、同じ楽曲に同期した異なる複数の動画を生成できる。そして、例えば、再生の指示がある度に、再生すべき動画をその動画の中から選択して変えることで、より表現の豊かで多様性に富んだ動画の再生を行える。

動画生成装置のブロック構成図 動画・シナリオ生成装置による素材収集の概念説明図 第１実施形態に係る動画生成処理の流れを示すフローチャート シナリオデータに従って楽曲が再生される様子を概念的に示す図 第２実施形態に係る動画生成処理の流れを示すフローチャート 収集された素材が元画像とともに動画生成用画像群に組み込まれた様子を概念的に示す図 第３実施形態に係る動画生成処理の流れを示すフローチャート 素材セットおよび素材セットが組み込まれた動画を概念的に示す図

符号の説明

１０：ＣＰＵ、１２：ＨＤＤ、１６：入力装置、１８：楽曲読み込み装置、２０画像読み込み装置、２１：動画・シナリオ生成装置

Claims (5)

1. 静止画その他の素材に基づいて楽曲に同期した動画を生成する動画生成方法であって、
   静止画を入力するステップと、
   楽曲を入力するステップと、
   入力された楽曲の構造を解析するステップと、
   解析された楽曲の構造に基づいて楽曲の属性を示す属性情報を取得するステップと、
   前記属性情報に基づいて動画の生成に用いる素材を収集するステップと、
   前記楽曲と前記素材と前記静止画とに基づき、前記楽曲の再生に同期した動画または前記動画の再生条件を規定するシナリオデータを作成するステップと、
   を含む動画生成方法。
2. 動画の生成に必要な素材の数を設定するステップをさらに含み、
   前記素材を収集するステップでは、設定された素材の数だけ素材を収集する請求項１に記載の動画生成方法。
3. 動画の生成に必要な素材の数を設定するステップと、
   収集された素材から、設定された素材の数の素材を含んだ素材の組を１または複数作成するステップと、
   をさらに含み、
   前記動画または前記シナリオデータを作成するステップでは、作成された素材の組のうち所望の素材の組に含まれる素材に基づいて前記動画または前記シナリオデータを作成する請求項１に記載の動画生成方法。
4. 請求項１〜３のいずれかに記載の方法を演算装置に実行させるためのプログラム。
5. 請求項４に記載のプログラムを記憶する記憶部と、
   前記記憶部から前記プログラムを読み出して実行する演算装置と、
   を備えた動画生成装置。

Images