JP2011082693A - 動画再生装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】アドリブ再生を行うように指示された場合には、再生する動画に加えられている映像効果をランダムに設定して動画を再生する。
【解決手段】アドリブ再生を指定するアドリブ情報が検出された場合に、楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとをタイムラインに沿って独立して有する動画作成フォームにおいて、映像効果トラックに配置される映像効果をランダムに設定して動画を作成するようにすることにより、写真トラック内の素材データのみを利用し、動画作成フォームにおいて選択した情報に応じた映像効果を写真素材に加えて画像を新たに自動生成して再生する。
【選択図】図１４

Description

本発明は動画再生装置、及びコンピュータプログラム及び記憶媒体に関し、特に、保持している動画を飽きることなく楽しむことができるようにするために用いて好適な技術に関する。

近年、パーソナルコンピュータ等には、ユーザーが撮影した静止画や動画を、ユーザー自身で編集したり、フォトアルバム（電子アルバム）を作成したりする機能を搭載するものがある。

例えば、特許文献１では、ユーザーがハードディスク等に記憶されている画像を指定すると、指定された画像に所定の編集処理（エフェクト処理）を施し、予め用意された音楽（ＢＧＭ）に合わせて画像が順次表示されるコンテンツを作成する画像編集処理が開示されている。この画像編集処理は、画像に施す編集処理がランダムに決定されるため、同一の画像を指定しても、異なるコンテンツを作成することができるという特徴を有するものである。

また、特許文献２では、ユーザーが予め用意されている楽曲を選択するとともに、再生対象とする静止画が格納されたフォトアルバムを選択することにより、楽曲の雰囲気に合わせたエフェクトが施された静止画を、曲とともに順次表示するスライドショーコンテンツ（プレイリスト）を作成する技術が開示されている。

特開２００１−２８５７８４号公報 特開２００６−８６６２１号公報

従来技術では、タイムライン上に静止画素材およびそれに付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）と、音楽素材を配置するためのＢＧＭトラックのみにより静止画と音楽とを組み合わせたスライドショーを作成していた。

そして、従来技術では、写真（静止画）自体を演出するためのズーム、パンニング、色変更などの「エフェクト」と、クロスフェード、ワイプなど時系列上隣接する静止画間を演出するための「トランジション」とを複数用意しておき、各静止画に「エフェクト」を選択して割り当て、静止画間に「トランジション」を選択して割り当てることで、スライドショーを演出できるようにしていた。

しかし、このような方法では、バラエティに富んだスライドショーを作成できるようにするためには、色々な種類の「エフェクト」や「トランジション」を用意しておく必要があるので、膨大な数のデータが必要であった。また、「エフェクト」や「トランジション」の数が膨大になるので、音楽に同期した映像効果を、自由自在でしかも容易に編集することは不可能であった。

また、作成した動画の映像効果は固定的なため、何度も観ていると新鮮味がなくなってしまう問題点があった。
本発明は前述の問題点に鑑み、アドリブ再生を行うように指示された場合には、再生する動画に加えられている映像効果を変更しながら再生できるようにすることを第１の目的とする。
また、映像効果がランダムに設定されたランダム動画を記憶媒体に記憶できるようにすることを第２の目的とする。

本発明の動画再生装置は、再生する動画に加えられている映像効果をランダムに変化させるようにするアドリブ情報が存在するか否かを検出するアドリブ情報検出手段と、前記アドリブ情報検出手段によりアドリブ情報が検出された場合に、前記再生する動画において楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとをタイムラインに沿って独立して有する動画作成フォームにおいて、映像効果トラックに配置される映像効果をランダムに設定して動画を作成する動画作成手段とを有することを特徴とする。

本発明のコンピュータプログラムは、再生する動画に加えられている映像効果をランダムに変化させるようにするアドリブ情報が存在するか否かを検出するアドリブ情報検出工程と、前記アドリブ情報検出工程によりアドリブ情報が検出された場合に、前記再生する動画において楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとをタイムラインに沿って独立して有する動画作成フォームにおいて、映像効果トラックに配置される映像効果をランダムに設定して動画を作成する動画作成工程とをコンピュータに実行させることを特徴とする。

本発明によれば、アドリブ再生を行うように指示することにより、再生する動画に加えられている映像効果を変更しながら再生するようにしたので、常に新鮮な映像の動画を飽きることなく楽しむことができる。
また、本発明の他の特徴によれば、映像効果がランダムに設定されたランダム動画を記憶媒体に記憶するようにしたので、ランダムな映像効果を加えて作成したランダム動画が気に入った場合には保存して繰り返し再生することができる。

本発明の実施形態を示し、動画作成方法を実行する動画作成装置の構成例を説明するブロック図である。 動画作成手順の一例を示すフローチャートである。 動画作成及び動画編集を行う画面の一例を示す図である。 「楽曲タブ」が選択された状態の一例を示す図である。 「写真タブ」が選択された状態の一例を示す図である。 「切り替えタブ」が選択された状態の一例を示す図である。 「フォーカスタブ」が選択された状態の一例を示す図である。 「カメラタブ」が選択された状態の一例を示す図である。 「照明タブ」が選択された状態の一例を示す図である。 「背景タブ」が選択された状態の一例を示す図である。 「テキストタブ」が選択された状態の一例を示す図である。 「スクリーンタブ」が選択された状態の一例を示す図である。 アドリブ再生時の再生態様を設定する動画作成フォームの一例を示す図である。 アドリブ再生を行う場合の処理手順の一例を示すフローチャートである。 動画作成の具体例を説明する図である。 静止画に映像効果が施されて動画が生成される様子を説明する図である。

図１は、本実施形態の動画作成装置の構成例を説明するブロック図である。
図１に示すように、本実施形態の動画作成装置１００において行われるコンピュータプログラム（動画作成プログラム）により実行する一連の処理は、ＣＰＵ１０１、１０２、及びＲＡＭ１０３よりなるコンピュータシステムにより制御されて実行される。

動画作成装置１００において、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

また、入力部１０６には、キーボード１１２、マウス１１３、マイクロホン１１４などが接続されている。また、出力部１０７には、ディスプレイ１１５、スピーカ１１６などが接続されている。

以上のように構成される動画作成装置１００では、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されている動画作成プログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、動画作成処理が行われる。

本実施形態の動画作成装置１００において、ＣＰＵ１０１が実行する動画作成プログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

具体的には、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、有線または無線の伝送媒体を介して送信される動画作成プログラムを通信部１０９で受信して、記憶部１０８にインストールすることができる。その他、動画作成プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、動画作成装置１００が実行する動画作成プログラムは、本明細書で説明する順序に沿って時系列に処理が行われる動画作成プログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われる動画作成プログラムであってもよい。

前述した動画作成処理をソフトウェアにより実行する場合、一連の処理を１つのアプリケーションプログラムで実現してもよいし、機能的に分割した複数のアプリケーションプログラムで実現してもよい。

次に、図２のフローチャートを参照しながら本実施形態の動画作成処理手順の一例を説明する。
処理が開始されると、ステップＳ２１において動画作成画面をディスプレイ１１５に表示する動画作成画面表示処理が行われる。本実施形態の動画作成方法において用いる動画作成画面には、図３に示すように、音楽素材を配置するための楽曲トラックと、写真素材（静止画素材）を配置するための写真トラック、及び静止画素材に付加する映像効果を配置するためのエフェクトトラック（映像効果トラック）が複数設けられていて、これらのトラックを独立して操作することができる。

さらに、映像効果トラックは、「区間トラック」と「瞬間トラック」とで構成される。「区間トラック」上に配置された映像オブジェクトによる映像効果処理は、タイムライン上に配置された次の映像オブジェクト位置まで継続される。一方、「瞬間トラック」上に配置された映像オブジェクトによる映像効果処理は、配置タイミングを中心とした前後の短い時間のみ行われる。

図３に示したように、本実施形態においては、エフェクトトラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラック等が設けられている。また、映像トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けている。さらに、それぞれの映像トラックに対応して、複数の映像スタイルが用意されており、さらに各スタイルには複数のパターンの映像オブジェクトが用意され、それぞれの映像オブジェクト毎に映像効果のレベル設定ができる。

また、これらのトラックに対応するタブが複数設けられていて、入力するトラックに対応するタブをクリックすることにより、所望の素材を選択することができるように構成されている。図３の例では、「フレームタブ」が選択されていて、選択画面には「矩形」、「手書き風」、「額縁」、「ガラス」、「スタンプ」・・・等が選択可能に表示されている。フレームの「映像効果」は、写真を表示する形状、例えば、４角形やハート形などの形状に表示するためのデータである。

図４は、「楽曲タブ」が選択された状態の一例を示している。この例では、「その１」〜「その３」の楽曲が表示されていて、「その３」が選択されている様子を示している。
図５は、「写真タブ」が選択された状態の一例を示していて、「写真Ａ」、「写真Ｂ」、「写真Ｃ」、「写真Ｄ」・・・等の写真が選択可能に表示されている。

図６は、「切り替えタブ」が選択された状態の一例を示している。切り替えの「映像効果」は、各写真をどのようにモーションさせながら切り替え表示をするかを決めるためのデータである。この例では、スタイル名のウィンドに「ツイスト」、「リバース」、「インサイドキューブ」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「ノーマル」、「左旋回」、「右旋回」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

効果レベルは、例えば「左旋回」というパターンの映像オブジェクトであれば、効果レベルの値が小さいほどゆっくり旋回し、大きいほどはやく旋回するようにしてもよいし、効果レベルの値が小さいほど小さい角度で旋回し、大きいほど大きい角度で旋回するようにしてもよい。つまり、効果レベルとは、同じパターンの映像オブジェクトであっても、微妙な映像の違いを表現するためのさじ加減を調整するために用意されているものである。上記例に限らず、同じようなパターンの映像効果についてその映像表現の違いを調整するようなものであれば何でもよい。なお、本項の「切り替え」についての効果レベルだけでなく、次項以降の効果レベルについても同様である。

図７は、「フォーカスタブ」が選択された状態の一例を示している。フォーカスの映像効果は、表示する写真に焦点を合わせる等の効果を施すためのものである。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「ジャンプ」、「不安定」等の映像効果が選択可能に表示されている。また、パターン名のウィンドに「横方向」、「縦方向」、「斜め方向」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図８は、「カメラタブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「ズーム」、「パンニング」、「不安定」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「ズームイン（等速）」、「ズームイン（加速）」、「ズームイン（減速）」、「ズームアウト（等速）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図９は、「照明タブ」が選択された状態の一例を示している。この例では、スタイル名のウィンドに「パンニング」、「回転」、「トーチ」、「ビートズーム」、「ビートパンニング」等が選択可能に表示されている。また、パターン名のウィンドに「時計回り（ノーマル）」、「反時計回り（ノーマル）」、「時計回り（リバース）」、「反時計回り（リバース）」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、色を選択するためのボタンも表示されている。

図１０は、「背景タブ」が選択された状態の一例を示している。「背景」の映像効果は、表示している写真の背景を任意に選択できるようにするためのデータである。この例では、スタイル名のウィンドに「カラー」、「ノイズ」、「移動」、「不安定」、「星」等が選択可能に表示されている。また、パターン名のウィンドに「縦方向のみ」、「横方向のみ」、「全方向」等が選択可能に表示されている。また、利用写真を選択するウィンドが設けられていて、「フォーカス写真」、「前の写真」、「次の写真」、「ランダム」の選択項目のうち、「フォーカス写真」が選択された状態で表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

図１１は、「テキストタブ」が選択された状態の一例を示している。「テキスト」は、表示中の写真に重ねて表示するテキストに対する効果データである。この例では、スタイル名のウィンドに「なし」、「ノーマル」、「ズーム」、「伸張」、「スピン」等が選択可能に表示されている。また、パターン名のウィンドに「全文字」、「１文字」、「全文字」等が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。また、「編集」ボタンをクリックすると、テキストの文字列やフォントの種類、色、テキスト表示位置等を設定するためのウィンドが開くようになっている。

図１２は、「スクリーンタブ」が選択された状態の一例を示している。「スクリーン」はムービー全体に対する映像効果であり、画面全体を暗くしたり、ぼかしたりするデータである。この例では、スタイル名のウィンドに「ノーマル」、「フェードイン」、「フェードアウト」、「ブライト」、「カラー」等が選択可能に表示されている。また、パターン名のウインドに「固定」が選択可能に表示されている。更に、効果レベルを、小〜大の間で自由に選択するためのスライダーが表示されている。

本実施形態においては、フレームトラック〜テキストトラックにおいては、複数のエフェクトトラックを設けた例を示している（図３の例では２列）。
すなわち、フレームトラックの上段には、「タイム０：０２」に「矩形、ラウンド大」、「タイム０：１４」に「額縁、リアル」、「タイム０：２８」に「矩形、ラウンド大」、「タイム０：３０」に「ユーザー、回転型」の「映像効果」が配置されている。また、下段には、「タイム０：３３」に「手書き風、矩形」の「映像効果」が配置されている。

フォーカストラックの上段には、「タイム０：０２」に「ノーマル、矩形」、「タイム０：２５」に「ジャンプ」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０２」に「カラー」、「タイム０：１７」に「ノイズ、周期変化」、「タイム０：３０」に「カラー、選択カラー」の「映像効果」が配置されている。また、下段には、「タイム０：２１」に「ノイズ、周期変化」、「タイム０：３７」に「ノイズ、周期変化」の「映像効果」が配置されている。

前述したような、「動画作成画面」に対して、ユーザーがマウス１１３を操作することにより動画作成処理が実行される。すなわち、ステップＳ２２においては、ユーザーにより楽曲選択が終了したか否かが判断される。この判断の結果、楽曲選択が終了していない場合には待機状態となる。また、ステップＳ２２の判断の結果、楽曲選択が終了した場合にはステップＳ２３に進む。本実施形態においては、図４を参照しながら説明したように、「その３」が選択されているので、ステップＳ２２からステップＳ２３に進む。ステップＳ２３においては、音楽同期情報を検出する処理を行う。処理の詳細は、図１３のフローチャートを参照しながら後述する。音楽同期情報の検出処理が終了したら、次に、ステップＳ２４に進む。

ステップＳ２４においては、写真選択が終了したか否かが判断される。この判断の結果、写真選択が終了していない場合には待機状態となる。また、ステップＳ２４の判断の結果、写真選択が終了して写真トラックに写真が配置された場合にはステップＳ２５に進む。
ステップＳ２５においては、ステップＳ２４で写真トラックに配置された画像に所定の編集処理（エフェクト処理）を施すために、切り替えトラック〜スクリーントラックのそれぞれに、図４〜図１２を参照しながら説明した「映像効果」が入力されるのを待機する。そして、各エフェクトトラックに「映像効果」が入力されたら、ステップＳ２６に進む。前述したＳ２２〜Ｓ２５の各工程が情報入力工程となる。

ステップＳ２６においては、ステップＳ２２〜ステップＳ２５の各工程において、動画作成画面に入力された情報及びステップＳ２３で検出された音楽の同期情報に基いて動画作成処理が行われる。

本実施形態においては、特徴情報として、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」を用いた例を示している。ここで、「グリッド情報」は、周期的な音圧ピークのタイミング、パワー、信頼性で構成される情報配列である。「ドラム情報」は、低音域の音圧ピークが周期的に現れる区間の情報配列である。

「盛り上がり情報」は、広範囲の周波数帯で高い音圧ピークが頻発する区間の情報配列である。具体的には、（イ）音の高低が大きい。（ロ）音量が大きい。（ハ）音が多い（楽器、音数が多い）。（ニ）高低の変化が大きい、等の区間を盛り上がり区間と称している。「イントロ／エンディング情報」は、フェードインやフェードアウトや大きな音で始まる／終わる、ドラムなしで始まる／終わる、長い音が出ている区間、等の情報配列である。これらの特徴情報を取得する処理手順の一例を、図１３を参照しながら後述する。以上の特徴情報を利用して、以下のような音楽同期映像効果処理を施す。

写真トラックに配置された各画像に対して「映像効果」に従った処理を個々に実行する。これにより、１つの「静止画」に対して複数の映像処理を施すことが可能となり、従来のように、映像効果処理の種類を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。動画作成処理が終了したら、次に、ステップＳ２７に進む。

ステップＳ２７においては、ステップＳ２６で作成した動画の再生処理が行われる。この動画再生処理が行われている期間中は、予め設定されている所定のタイミングでステップＳ２８に進み、ユーザー（操作者）により動画再生処理の中断操作が行われるか否かを判断する。この判断の結果、ユーザーにより中断操作が行われた場合には、動画再生中であってもステップＳ２２に戻り、ステップＳ２２〜ステップＳ２５の動画作成工程により作成された動画を編集可能な編集画面を表示する表示制御が行われる。これにより、ステップＳ２２〜ステップＳ２５において所望の効果を追加したり、変更したりする編集処理を行うことが可能となる。そして、編集結果に基いて、ステップＳ２６において動画作成処理が行われる（この場合、動画編集処理となる）。これにより、動画作成結果を確認しながら編集作業を自由に行うことができる。また、ステップＳ２８の判断の結果、ユーザーによる中断操作が行われなかった場合にはステップＳ２９に進む。

ステップＳ２９においては、動画再生処理が終了したか否かを判断する。この判断の結果、動画再生処理が終了していない場合にはステップＳ２２に戻る。この場合、ユーザーによる中断操作が行われないので、ステップＳ２２〜ステップＳ２６はスルーとなり、ステップＳ２７の動画再生処理が続行する。また、ステップＳ２９の判断の結果、動画再生処理が終了した場合にはエンド処理となる。

本実施形態においては、前述のようにして動画作成を行うことにより、映像効果処理が行われた動画素材を大量に用意することなく、変化に富んだ多彩な演出効果を施した動画を生成することができる。

次に、図１３のアドリブ再生時の再生態様を設定する動画作成フォーム、及び図１４のフローチャートを参照しながら本実施形態の特徴であるアドリブ再生の一例を説明する。
ユーザーにより、アドリブ再生が選択されると、図１３に示すようなアドリブプレイヤーと称している、動画をアドリブ再生するメニューを動画作成フォームが表示される。

この動画作成フォームには、動画作成装置１００に格納されている動画を一覧表示するムービーリスト（動画リスト）、動画の再生モードを選択するリピートモードの選択領域、映像効果のタイプ選択領域などが表示されている。また、この他に、再生する動画をシャッフルするか否かを選択するチェックボックス（この例ではチェックが入れられている）、再生スタートボタン、キャンセルボタンなどが表示されている。

図１３の例では、ムービーリストには、「ヨーロッパ旅行記」、「海へ行った日」、「私の親友」、「過ぎ去りし夏」の動画が表示され、「ヨーロッパ旅行記」と「私の親友」が選択されている。

リピートモードの選択領域には、オフのラジオボタン、シングルのラジオボタン、全ムービーのラジオボタンが表示されており、図１３においては、全ムービーが選択されてラジオボタンに丸印が表示されている。

映像効果のタイプ選択領域には、そのままモードのラジオボタン、アドリブモードのラジオボタンが表示されており、図１３においては、アドリブモードが選択されてラジオボタンに丸印が表示されている。また、テーマ選択タブが表示され、「テーマを選択」が選択されている。また、それに対応したテーマとして「アクション」が選択されている。テーマとしては、図示していないが、この他に「シンプル」、「マイルド」、「コメディ」、「美術館」など、複数のテーマが用意されており、その中から「アクション」以外のテーマも選択できるようになっている。

ここで選択されたテーマは、アドリブ再生モードの際に利用される情報である。テーマに相応しい映像効果の中からランダムに映像効果を選択して動画を新たに生成する。
例えば、「アクション」というテーマを選択している場合、すべての照明効果の中から動きが派手な照明効果からランダムに選択して映像効果として利用するようにする。同様に、すべてのフォーカス効果の中から派手な動きをするフォーカス効果からランダムに選択して映像効果として利用するようにする。このようにすることで、ユーザーが選択したテーマに応じた映像をランダムに生成できる。

次に、図１４のフローチャートを参照しながら、本実施形態の特徴である動画における映像効果のアドリブ再生について説明する。
処理が開始されると、先ず、ステップＳ１４１において、再生メニュー画面としてアドリブプレイヤーの設定画面をディスプレイ１１５に表示するメニュー画面表示を行う。
次に、ステップＳ１４２において、ムービーリストの選択処理が行われる。この場合、前述したように、「ヨーロッパ旅行記」と「私の親友」が選択されているので、ムービーリストの選択処理を終了してステップＳ１４３に進む。

ステップＳ１４３においては、リピートモード選択処理が行われる。この場合、全ムービーが選択されているので、リピートモード選択処理を終了してステップＳ１４４に進む。
ステップＳ１４４においては、映像効果のタイプ選択処理が行われる。この場合、映像効果のタイプとしてアドリブモードが選択されているので、映像効果のタイプ選択処理を終了してステップＳ１４５に進む。
ステップＳ１４５においては、設定が全て終了したか否かを判断する。この判断の結果、終了していない場合には待機状態となる。また、全て終了した場合にはステップＳ１４６に進む。

ステップＳ１４６においては、再生スタートボタンが押されたか否かを判断する。この判断の結果、終了していない場合には待機状態となる。また、全て終了した場合にはステップＳ１４７に進む。
ステップＳ１４７においては、アドリブモードが設定されているか否かを判断する。この判断の結果、アドリブモードが設定されている場合にはステップＳ１４８に進み、ランダムな映像効果を加えたランダム動画を作成する。その後、ステップＳ１４９に進み、ステップＳ１４８で作成したランダム動画を再生する処理を行う。

一方、ステップＳ１４７の判断の結果、アドリブモードが設定されていない場合にはステップＳ１５０に進む。ステップＳ１５０においては、ステップＳ１４２で選択された動画をそのまま再生する処理を行う。

以上、説明したように、本実施形態においては、作成して保存されている動画の映像効果をランダムに変化させて再生されるため、常に新鮮な映像のムービーを飽きることなく楽しむことができる。

次に、本実施形態において用いられる特徴情報に同期した映像効果処理の例を説明する。
グリッド情報に同期した映像効果処理の例としては、（ａ）写真の登場と退出時刻を同期タイミングに一致させる。（ｂ）フォーカス、カメラ、照明をビートに合わせてパンニングする。（ｃ）パワーや信頼性が高いタイミングで、照明、背景をフラッシュしたり色変更したりする。

ドラム情報に同期した映像効果処理の例としては、（ａ）ドラム区間は写真モーション加速度を大きくし、逆にドラムなし区間は写真の登場退出時刻をグリッドタイミングからわざとずらす。（ｂ）ドラムなし区間は、グリッドに同期した映像処理はできるだけ控え目にする。（ｃ）ドラムなし区間は、写真の切り替え頻度をドラム区間より低くする。

盛り上がり情報に同期した映像効果処理の例としては、（ａ）盛り上がり区間では写真の切り替え頻度を通常の区間よりも高くする。（ｂ）盛り上がり区間では、いろんな映像効果を大げさにする。
イントロ／エンディング情報に同期した映像効果処理の例としては、（ａ）この区間では、写真の切り替えは極力行わない。（ｂ）イントロでは、写真をズームアップしたりフェードインしたりする（エンディングはその逆）、等である。

前述のような特徴情報を用いることにより得られる効果としては、例えば、ドラムのないビートが不明確なアカペラなどの部分では、ゆったりとした演出にでき、逆にドラムが鳴ってビートがはっきりしている部分では、メリハリの効いた乗りのよい演出にできる。また、曲の始まりや終わりの感じに相応しい演出にできる。さらに、曲の盛り上がりで、気分を盛り上げてくれるような演出にすることができる、等の顕著な効果を得ることができる。

次に、図１５及び図１６を参照しながら、ランダムに自動生成される動画作成の具体例を説明する。
図１５に示すように、この例では、切り替えトラックには「タイム０：０４」付近に「宙返り」の「映像効果」が配置されている。

また、フレームトラックの上段には「タイム０：０４」付近に「その他ブラウン管テレビ」の「映像効果」が配置されている。また、フォーカストラックの上段には、「タイム０：０４」に「パンニング縦方向」の「映像効果」が配置され、下段には「タイム０：０８」に「ズーム、ズームイン（加速）」瞬間映像効果が配置されている。また、照明トラックの下段には、「タイム０：０６」付近に「パンニング（ノーマル」の「映像効果」が配置されている。また、背景トラックの上段には、「タイム０：０４」に「カラー 選択カラー」の「映像効果」が配置されている。

写真トラックに配置されている写真１は、図１５中において台形で示したように、フェードイン〜全表示〜フェードアウトによりディスプレイ１１５に表示される。具体的に説明すると、写真１は、「タイム０：０２」付近においてフェードインを開始する。そして、「タイム０：０４」付近においてフェードインを終了して全表示となる。その後、「タイム０：１０」を少し過ぎた付近でフェードアウトを開始し、「タイム０：１３」付近でフェードアウトを終了する。

各エフェクトトラックに、前述のような「映像効果」が配置されることにより写真トラックに配置されている写真１は、図１６（１)〜（８）に示すように、切り替え区間効果、カメラ区間効果、照明瞬間効果、フォーカス瞬間効果の組み合わせで処理されて動画作成が行われる。すなわち、図１６（１)において、切り替え「宙返り」で写真１がフェードインを開始する。図１６（２）は写真１の切り替え区間効果中を示している。

次に、図１６（３）は、カメラ「ズームイン」の区間効果が開始された様子を示している。次に、図１６（４）は、照明「パン→」の瞬間効果開始の映像効果を示している。

次に、図１６（５）は、照明「パン→」の瞬間効果中の様子を示している。次に、図１６（６）は、カメラ「ズームイン」の区間効果継続中の様子を示している。次に、図１６（７）は、フォーカス「ズームイン」の瞬間効果開始を示し、図１６（８）は、フォーカス「ズームイン」の瞬間効果中の様子を示している。
以上のように、アドリブ再生の場合には、音楽に同期した映像効果が映像トラック上にランダムで自動配置される。

本発明における動画生成の手法としては、３次元座標を持つポリゴンデータに写真画像テクスチャを貼り付けてアニメーションさせ、それに照明効果や色調変更などの画像処理を施し、カメラワーク的な座標変換を行った上で２次元座標に投影した画像を生成するなど、ごく一般的に行われている周知の技術を応用することができる。

前述したように、本実施形態においては、夫々の効果毎に、複数の「スタイル」データ、及び複数「パターン」データを有しているので、写真に付与可能な効果は、「スタイル」×「パターン」の数だけ得ることができる。したがって、映像効果の種類をたくさん所持することなく莫大な種類で変化に富んだ演出効果を実現することができる。

（第２の実施形態）
本実施形態においては、楽曲素材に対応した音楽同期情報（同期タイミング情報）を有する。この同期情報は、楽曲を周波数分析する周知の手法等により得られたビートタイミングや音圧レベルなどの特徴検出情報であるが、ユーザー自身が楽曲全体あるいは楽曲の一部を聴きながらタップするなどの手入力によって得られる情報であってもよい。音楽同期情報は、図３及び図１５において、ムービーの時間情報のタイミングとは別に、楽曲トラック上に貼り付けられている楽曲に対応する音楽同期情報のタイミングで縦方向に示されている情報である。上記の図例では、音楽同期情報は、例えばビートやサブビート、小節先頭など周期的なタイミング情報を示すものであるが、これに限らず、イントロやエンディング区間、あるいは盛り上がり区間など、楽曲の特徴に対応した区間的な情報を示すものであってもよい。

映像が楽曲に同期するのは、ある映像スタイルから次の映像スタイルへ切り替わるタイミングのみではない。例えば、「フォーカス」や「照明」などの映像効果スタイルの中には、「ビートパンニング」という映像スタイルが用意されているが、このスタイルに属する映像オブジェクトを映像トラックに配置した場合、楽曲の同期情報に対応するビート位置に合わせてパンニングするような映像処理を行うようにする。

また、「フレーム」や「テキスト」、「カメラ」などの映像効果スタイルの中には、「ビートズーム」という映像スタイルが用意されているが、それに属する映像オブジェクトを映像トラックに配置した場合、ビートに合わせてズームするような映像処理を行うようにする。

これに限らず、各映像トラックに対応した映像スタイルには、同期情報に同期する映像処理に関連するものを含んでおり、これらの映像スタイルの映像オブジェクトを配置した場合には、次の映像スタイル時刻までの間に、周期的あるいは瞬間的な映像表現などの映像処理を行うようにする。さらに、本実施例にはないが、「イラスト」という映像トラックを用意して、選択したイラスト素材を、選択した映像スタイルに対応した映像処理を行うようにしてもよい。

ムービー編集中に、編集途中のムービーデータを再生しながら、選択した映像オブジェクトの入力操作を行うと、ムービー再生ポインタに対応した位置に、前記グリッドモードに応じて自動的に配置される。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各プログラムコードを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納された動画作成プログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記録する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。

さらに、コンピュータ読み取り可能な記憶媒体から供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。

Ｓ１４１ 再生メニュー表示工程、Ｓ１４２ ムービーリスト選択工程、Ｓ１４３ リピートモード選択工程、Ｓ１４４ 映像の効果タイプ選択工程、Ｓ１４５ 設定終了判断工程、Ｓ１４６ 再生スタート判断工程、Ｓ１４７ アドリブ再生選択判断工程、Ｓ１４８ ランダム動画作成工程、Ｓ１４９ 作成動画再生工程、Ｓ１５０ 選択動画再生工程

Claims (10)

1. 再生する動画に加えられている映像効果をランダムに変化させるようにするアドリブ情報が存在するか否かを検出するアドリブ情報検出手段と、
   前記アドリブ情報検出手段によりアドリブ情報が検出された場合に、前記再生する動画において楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとをタイムラインに沿って独立して有する動画作成フォームにおいて、映像効果トラックに配置される映像効果をランダムに設定して動画を作成する動画作成手段とを有することを特徴とする動画再生装置。
2. 前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項１に記載の動画再生装置。
3. 前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項１または２に記載の動画再生装置。
4. 前記楽曲素材に対応した音楽の同期情報は、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」のうち、いずれか１つまたは２つ以上であることを特徴とする請求項１〜３の何れか１項に記載の動画再生装置。
5. 前記動画作成手段により作成された動画を再生する動画再生手段を有することを特徴とする請求項１〜４の何れか１項に記載の動画再生装置。
6. 再生する動画に加えられている映像効果をランダムに変化させるようにするアドリブ情報が存在するか否かを検出するアドリブ情報検出工程と、
   前記アドリブ情報検出工程によりアドリブ情報が検出された場合に、前記再生する動画において楽曲素材のデータを配置する楽曲トラックと、写真素材を配置する写真トラックと、前記写真素材に映像効果を施すための映像効果トラックとをタイムラインに沿って独立して有する動画作成フォームにおいて、映像効果トラックに配置される映像効果をランダムに設定して動画を作成する動画作成工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
7. 前記映像効果トラックとして、切り替えトラック、フレームトラック、フォーカストラック、カメラトラック、照明トラック、背景トラック、テキストトラック、イラストトラック、スクリーントラックのうち、いずれか２つ以上のトラックを設けたことを特徴とする請求項６に記載のコンピュータプログラム。
8. 前記映像効果トラックごとに、さらに区間映像トラックと瞬間映像トラックを設けたことを特徴とする請求項６または７に記載のコンピュータプログラム。
9. 前記楽曲素材に対応した音楽の同期情報は、「グリッド情報」、「ドラム情報」、「盛り上がり情報」、「イントロ／エンディング情報」のうち、いずれか１つまたは２つ以上であることを特徴とする請求項６〜８の何れか１項に記載のコンピュータプログラム。
10. 前記動画作成工程により作成された動画を再生する動画再生工程を有することを特徴とする請求項６〜９の何れか１項に記載のコンピュータプログラム。

Images