JP2011055169A - 電子機器及び映像処理方法 - Google Patents

Abstract

【課題】 コンテンツ間の関連を考慮した映像の作成を支援できる電子機器を実現する。
【解決手段】 素材分析部１０３は、入力された複数の素材を分析してそれぞれの属性を決定し、素材情報データベース１０６に素材情報及び属性情報を格納する。属性・カテゴリ分析部１０４は、入力された複数の素材を作成時刻に基づいてグループ化し、グループ毎に、注目度の高い属性を分類キーとして決定する。属性・カテゴリ分析部１０４は、素材情報データベース１０６に分類キー情報及びグループ情報を格納する。合成動画生成部１０９は、入力された分類キーに一致するグループを選択し、グループに属する素材と選択された合成動画テンプレートとを用いて映像データを生成する。
【選択図】図１

Description

本発明は、蓄積されたコンテンツの編集を支援する電子機器及び当該機器に適用される映像処理方法に関する。

近年、一般のユーザであっても、膨大な量のコンテンツを収集、蓄積していることは珍しくない。この一因には例えば、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の普及により、ユーザが写真やビデオを撮影する機会が増加していることが挙げられる。また、ＤＶＤレコーダ、ハードディスクレコーダ、パーソナルコンピュータ等を用いて、テレビジョン放送番組データのような各種映像コンテンツデータを記録すること、さらには、インターネット上のウェブサイト等で提供される静止画、動画、音声等のデータをハードディスク等の記憶装置に保存することによっても、コンテンツが収集、蓄積される。

蓄積されたコンテンツから必要なデータを検索する方法として、さまざまな検索方法が提案されている。特許文献１には、画像データベースに含まれる画像を検索できる画像検索装置が開示されている。この画像検索装置は、作成又は修正された時刻が近い画像をグループ化することで、画像特徴量に加えて時刻を考慮して検索を行うことができる。また、特許文献２には、注目度を考慮して、抽出した画像をレイアウトした画像を生成する画像検索システムが開示されている。この画像検索システムは、画像の大きさ、分類属性、及び注目度を検索キーとして画像を検索し、検索した画像群を注目度に基づいてレイアウトした画像を作成することができる。

特許文献１の画像検索装置では、画像が取得された日時、画像特徴、画像上に描画された人物や物体等、各画像から客観的に捉えられる特徴を利用して画像検索を行っている。特許文献２の画像検索システムでも同様に、画像の大きさ、画像特徴及び画像上に描画された人物や物体等に基づく分類属性、画像の客観的な注目度等、各画像の客観的な特徴を利用して画像を検索している。

特開２０００−２７６４８４号公報 特開２００６−４８７１１号公報

しかし、検索対象のコンテンツ群（画像群等）が、特定のユーザによって収集されたものである場合には、そのコンテンツ群は当該ユーザの主観に基づき、何らかの意図を以て収集されたコンテンツの集まりである可能性が高い。このため、特定のユーザによって収集されたコンテンツ群を検索対象とする場合、客観的な特徴に基づく検索では、ユーザの主観や意図に適したコンテンツを検索することができない可能性がある。

例えば、ユーザがある人物を検索キーとしてコンテンツ群を検索した場合、コンテンツ群に対して顔画像認識処理等を施すことで、その人物が明瞭に捉えられている写真を検索することは難しくない。しかし、その人物が小さく写っている写真、その人物に関わる風景の写真、その人物に関わる別の人物の写真、その人物に関わる物の写真等、その人物に関連するコンテンツを検索することは困難である。これは、検索キーとした人物の顔写真のみを取得したい場合には問題とならないものの、例えば、コンテンツ群から取得したデータを使用してアルバムやスライドショーを作成する場合、顔写真のみが表示される単調なアルバムやスライドショーが作成されてしまう可能性がある。

本発明は上述の事情を考慮してなされたものであり、コンテンツ間の関連を考慮した映像の作成を支援できる電子機器及び映像処理方法を提供することを目的とする。

上述の課題を解決するため、本発明の電子機器は、時刻情報が付加された複数のコンテンツを前記時刻情報に基づいて複数のグループに分類するグループ化手段と、前記複数のコンテンツそれぞれの特徴を分析することによって、前記複数のコンテンツそれぞれの属性を決定する属性決定手段と、前記複数のグループの各々について、当該グループに属するコンテンツに対応する属性の内で、所定条件で選択した属性を当該グループのための分類用属性として設定する分類用属性設定手段と、入力された検索キーに一致または関連する分類用属性が設定されたグループを前記複数のグループから選択するグループ選択手段と、前記選択されたグループに属するコンテンツを用いて映像データを生成する映像生成手段とを具備することを特徴とする。

本発明によれば、コンテンツ間の関連を考慮した映像の作成を支援できる。

本発明の第１の実施形態に係る電子機器の構成を示すブロック図。 同実施形態の電子機器に設けられる素材情報データベース内の素材情報の例を示す図。 同実施形態の電子機器に設けられる素材情報データベース内の属性情報の例を示す図。 同実施形態の電子機器に設けられる属性・カテゴリ辞書データベース内の属性・カテゴリ辞書データの例を示す図。 同実施形態の電子機器に設けられる素材情報データベース内の分類キー情報の例を示す図。 同実施形態の電子機器に設けられる素材情報データベース内の分類キー情報の別の例を示す図。 同実施形態の電子機器に設けられる素材情報データベース内のグループ情報の例を示す図。 同実施形態の電子機器による素材のグループ化及び分類用属性の設定の例を説明する図。 図８に示す分類用属性を決定する方法の例を説明する図。 同実施形態の電子機器による素材分析処理の手順の例を示すフローチャート。 同実施形態の電子機器による属性・カテゴリ分析処理の手順の例を示すフローチャート。 同実施形態の電子機器による初期グループ化処理の手順の例を示すフローチャート。 同実施形態の電子機器による再グループ化処理の手順の例を示すフローチャート。 同実施形態の電子機器による合成動画生成処理の手順の例を示すフローチャート。 同実施形態の電子機器の構成の変形例を示すブロック図。 図１５の電子機器による合成動画生成処理の手順の例を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。

まず、図１を参照して、本発明の第１の実施形態に係る電子機器の構成を説明する。この電子機器は、例えば、パーソナルコンピュータ、又は各種電子機器に内蔵される組み込みシステムとして実現し得る。

この電子機器は、素材入力部１０１、素材データベース１０２、素材分析部１０３、属性・カテゴリ分析部１０４、属性・カテゴリ辞書データベース１０５、素材情報データベース１０６、分類キー・合成動画テンプレート選択部１０７、素材抽出部１０８、合成動画生成部１０９、合成動画編集部１１０、合成動画テンプレート情報データベース１１１、合成動画テンプレートデータベース１１２、及び合成動画出力部１１３を備える。

以下ではまず、電子機器内の各部が、入力された素材（コンテンツ）群を用いて素材データベース１０２及び素材情報データベース１０６を構築する方法について説明する。

素材入力部１０１は、素材群が入力されたことに応答して、入力された素材群を素材データベース１０２に格納する。また、素材入力部１０１は、入力された素材群を素材分析部１０３に出力する。

素材データベース１０２は、素材（コンテンツ）を格納するためのデータベースである。素材データベース１０２に格納される素材は、例えば、ユーザによって生成又は収集された動画、静止画、音声等のコンテンツである。具体的には、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等を用いて撮影された写真やビデオ、ＤＶＤレコーダ、ハードディスクレコーダ、パーソナルコンピュータ等を用いて記録されたテレビジョン放送番組データのような各種映像コンテンツデータ、インターネット上のウェブサイト等で提供される静止画、動画、音声等が、素材として素材データベース１０２に格納される。なお、以下の説明では、素材とコンテンツとは同様の意味で用いられるものとする。

素材分析部１０３は、素材入力部１０１から出力された素材群に含まれる素材の各々の特徴を分析し、各素材の属性を決定する。素材分析部１０３は、各素材に関する情報、及び決定した各素材の属性を示す情報を素材情報データベース１０６に格納する。素材分析部１０３は、各素材に関する情報、及び決定した各素材の属性を示す情報を属性・カテゴリ分析部１０４に出力する。なお、素材分析部１０３は、属性・カテゴリ分析部１０４に素材群が入力されたことを通知し、属性・カテゴリ分析部１０４は、各素材に関する情報、及び決定した各素材の属性を示す情報を素材情報データベース１０６を参照して取得してもよい。

素材情報データベース１０６は、素材情報、属性情報、分類キー情報、及びグループ情報が格納されるデータベースである。素材分析部１０３は、素材情報データベース１０６に格納される素材情報及び属性情報を生成（更新）する。

図２は、素材情報データベース１０６に格納される素材情報の例を示す図である。素材情報は、素材（コンテンツ）毎に生成される。素材情報は、素材ＩＤ、ファイル名、ファイルパス、ファイルサイズ、生成時刻、属性、初期グループＩＤ、作成間隔、及びグループＩＤを含む。

素材ＩＤは、素材毎に設定されるＩＤを示す。

ファイル名は、素材に対応するファイルの名称を示す。ファイルパスは、ファイルの格納場所を示す。ファイルサイズは、ファイルのデータサイズを示す。生成時刻は、ファイルが生成された時刻（例えば、写真の撮影日時等）を示す。なお、この生成時刻は、ファイルが編集された時刻やファイルが電子機器に入力された（格納された）時刻であってもよい。

属性は、素材に備わる性質を示す。換言すると、属性によって素材の内容が表される。属性は、例えば、素材に含まれる人物の識別情報、人物の検出数情報、人物の笑顔度情報、人物の検出数情報を以て決定する雰囲気情報（人数が多い写真は『にぎやか』など）、人物の笑顔度情報も以て決定する雰囲気情報（笑顔度の高い写真は『楽しい』、笑顔度の低い写真は『厳粛』など）、物の識別情報、物の検出数、画像特徴情報（色合い等）、地理情報、キーワード等を示す。なお属性は、一つの素材に対して複数設定され得る。

初期グループＩＤは、素材の生成時刻に基づくグループ化により決定される、素材が属する初期グループのＩＤを示す。このグループ化は、例えば、素材の生成時刻に基づくクラスタリングにより実現される。また、作成間隔は、素材の生成時刻に基づいて、時系列上で隣り合う素材間の生成時刻の差を示す。したがって作成間隔は、例えば、第１の素材の生成時刻と、この第１の素材に後続する第２の素材の生成時刻との差を示す。前述のグループ化では、例えば、この作成間隔に基づいて、素材群を複数の初期グループに分類し、各素材が属する初期グループの初期グループＩＤを決定する。グループ化の手順の例は、図８及び図１２を参照して後述する。

グループＩＤは、前述の複数の初期グループのうち、所定の条件に適合する初期グループを結合する、再グループ化により決定されたグループのＩＤを示す。再グループ化は、例えば、生成時刻に基づく時系列上で隣り合う初期グループの各々に設定された分類用属性が一致する場合に、これら隣り合う初期グループを結合する。分類用属性とは、グループに属する素材に設定された属性から選択された、当該グループを代表する、単数または複数の属性である。再グループ化の手順の例は、図８及び図１３を参照して後述する。

また、図３は、素材情報データベース１０６に格納される属性情報の例を示す。属性情報は、属性毎に生成される。属性情報は、属性ＩＤ、属性、カテゴリ、素材数累計、最古素材生成時刻、及び最新素材生成時刻等を含む。

属性ＩＤは、属性毎に設定されるＩＤを示す。属性は、属性ＩＤに該当する属性を示す。カテゴリは、属性に対応するカテゴリを示す。素材数累計は、複数の素材それぞれの属性の各々について、当該属性が設定されたグループの各々に属する素材の数（素材数）の和を示す。例えば、属性ＩＤ“０００”の素材Ａ及び素材Ｂが、グループ１及びグループ２にそれぞれ属する場合、グループ１の素材数Ｎ_１とグループ２の素材数Ｎ_２との和である（Ｎ_１＋Ｎ_２）が素材数累計に設定される。

最古素材生成時刻は、属性の各々について、当該属性が設定された素材のうち、最も古く生成された素材の生成時刻を示す。最新素材生成時刻は、属性の各々について、当該属性が設定された素材のうち、最も新しく生成された素材の生成時刻を示す。

素材分析部１０３は、入力された素材に対応する素材情報が素材情報データベース１０６に格納されていない場合、素材ＩＤ、ファイル名、ファイルパス、生成時刻、及び属性を含む素材情報を生成する。

素材分析部１０３は、入力された素材に設定された属性に対応する属性情報が、素材情報データベース１０６に格納されていない場合、属性ＩＤ、属性、最古素材生成時刻、及び最新素材生成時刻を含む属性情報を生成する。また、素材分析部１０３は、入力された素材に設定された属性に対応する属性情報が、素材情報データベース１０６に既に格納されている場合、この属性情報の最古素材生成時刻と最新素材生成時刻とを必要に応じて更新する。

属性・カテゴリ分析部１０４は、素材分析部１０３による素材の分析結果に基づいて、素材情報及び属性情報を更新し、分類キー情報及びグループ情報を生成する。属性・カテゴリ分析部１０４は、カテゴリ設定部１２１、グループ化部１２２、属性設定部１２３、素材数算出部１２４、分類キー設定部１２５、及び再グループ化部１２６を備える。

カテゴリ設定部１２１は、属性・カテゴリ辞書データベース１０５を参照して、属性情報に関連するカテゴリを決定し、その属性情報にカテゴリを設定する。属性・カテゴリ辞書データベース１０５は、属性とカテゴリの対応を示す属性・カテゴリ辞書データが格納されるデータベースである。図４は、属性・カテゴリ辞書データの例を示す。属性・カテゴリ辞書データは、ＩＤ、カテゴリ、及び属性を含む。したがって、カテゴリ設定部１２１は、属性をキーとして属性・カテゴリ辞書データベース１０５を参照することによって、属性情報に設定されるカテゴリを決定する。なお、一つのカテゴリは複数の属性に対応し得る。例えば、「家族」のカテゴリには複数の人名が対応付けられる。また、一つの属性は、複数のカテゴリに対応し得る。例えば、一つの人名は、「子供」のカテゴリと「家族」のカテゴリとに対応付けられる。

グループ化部１２２は、入力された素材群を生成時刻に基づいて複数の初期グループに分類する。そして、グループ化部１２２は、これら複数の初期グループの各々に付与されるＩＤを、各初期グループに属する素材に対応する、素材情報の初期グループＩＤに設定する。

具体的には、グループ化部１２２は、生成時刻に基づく時系列上で隣り合う素材間の生成時刻の差を示す作成間隔を算出する。グループ化部１２２は、算出された作成間隔に基づくクラスタリングにより、入力された素材群を複数の初期グループに分類する。グループ化部１２２は、例えば、素材毎の作成間隔に基づいて、一つの初期グループに対して割り当てられる時間間隔を決定する。グループ化部１２２は、決定された時間間隔を区切りとして、入力された素材群を複数の初期グループに分割する。グループ化部１２２は、例えば、作成時刻が最も新しい素材を起点として、決定された時間間隔毎に、入力された素材群を分割することで、素材群を複数の初期グループに分類する。そして、グループ化部１２２は、複数の初期グループの各々に付与されるＩＤを、各初期グループに属する素材に対応する、素材情報の初期グループＩＤに設定する。

属性設定部１２３は、複数の初期グループの各々に対して、各グループに属する素材の属性及びカテゴリを設定する。すなわち、属性設定部１２３は、各初期グループに対して、複数の属性及び複数のカテゴリを設定し得る。

素材数算出部１２４は、入力された素材群に含まれる素材に設定された属性毎に、当該属性を有する素材を含む初期グループそれぞれに属する素材数の和を算出する。そして、素材数算出部１２４は、算出した素材数の和を属性情報の素材数累計に設定する。なお、素材数累計に設定される値は、算出した素材数の和に、属性毎の所定の係数を乗じた値であってもよい。また、素材数算出部１２４は、素材数の和に限らず、グループ単位又は属性単位の統計情報に基づく値を算出してもよい。素材数算出部１２４は、グループ単位又は属性単位の統計情報に基づく値として、例えば、特定の初期グループ内における、特定の属性の発生頻度、標準偏差等を算出してもよい。

分類キー設定部１２５は、複数の初期グループの各々について、当該グループに属する素材に対応する属性の内で、算出された素材数の和が最も大きい属性を選択する。そして、分類キー設定部１２５は、選択した属性を当該グループのための分類用属性に設定する。

また、分類キー設定部１２５は、素材数算出部１２４により設定された各属性の素材数累計から、カテゴリ毎の素材数累計を集計する。そして、分類キー設定部１２５は、複数の初期グループの各々について、当該グループに属する素材に対応するカテゴリの内で、集計された素材数累計が最も大きいカテゴリを選択する。分類キー設定部１２５は、選択したカテゴリを当該グループのための分類用カテゴリに設定する。

なお、分類用属性に選択する属性は、素材数累計が最大である属性に限らず、素材数累計がしきい値以上である属性や、素材数累計の降順で上位から予め設定された範囲にある属性であってもよい。また、分類キー設定部１２５は、複数の初期グループの各々について、当該グループ設定された属性のうち（当該グループに設定された属性毎に）、当該属性が設定された素材のうち、最も古い生成時刻（最古素材生成時刻）を持つ素材の生成時刻と、最も新しい生成時刻（最新素材生成時刻）を持つ素材の生成時刻との差を算出し、算出した差を降順に順位付けして、所定の順位までの属性を選択し、選択された単数または複数の属性を当該グループのための分類用属性に設定してもよい。したがって、分類用属性には、選択された単数または複数の属性が設定され得る。同様に、分類用カテゴリに選択するカテゴリは、集計したカテゴリ毎の素材数累計が最大であるカテゴリに限らず、集計したカテゴリ毎の素材数累計がしきい値以上であるカテゴリや、集計したカテゴリ毎の素材数累計の降順で上位から予め設定された範囲にあるカテゴリであってもよい。また、分類キー設定部１２５は、複数の初期グループの各々について、当該グループ設定されたカテゴリのうち（当該グループに設定されたカテゴリ毎に）、当該カテゴリが設定された素材のうち、最も古い生成時刻（最古素材生成時刻）を持つ素材の生成時刻と、最も新しい生成時刻（最新素材生成時刻）を持つ素材の生成時刻との差を算出し、算出した差を降順に順位付けして、所定の順位までのカテゴリを選択し、選択された単数または複数のカテゴリを当該グループのための分類用カテゴリに設定してもよい。したがって、分類用カテゴリには、選択された単数または複数のカテゴリが設定され得る。

さらに、分類キー設定部１２５は、分類キー情報を素材情報データベース１０６に格納する。分類キー情報は、図５及び図６に示すように、分類キー（検索キー）として用いられる属性（分類用属性）又はカテゴリ（分類用カテゴリ）と、ＩＤとを含む。分類キー設定部１２５は、図５に示す例のように、分類用属性とＩＤとを含む分類キー情報を、素材情報データベース１０６に格納する。また、分類キー設定部１２５は、図６に示す例のように、分類用カテゴリとＩＤとを含む分類キー情報を、素材情報データベース１０６に格納する。

再グループ化部１２６は、複数の初期グループのうち、生成時刻に基づく時系列上で隣り合うグループの各々に設定された分類用属性及び分類用カテゴリが一致する場合に、これら隣り合うグループ同士を一つのグループに結合（再グループ化）する。なお、再グループ化部１２６は、グループの各々に設定された分類用属性又は分類用カテゴリが一致する場合等、グループの各々に設定された分類用属性及び分類用カテゴリが部分的に一致する場合に、隣り合うグループ同士を再グループ化してもよい。また、再グループ化部１２６は、グループの各々に設定された分類用属性のうち、一致または関連する分類用属性が、予め設定された個数または割合を上回る場合に、隣り合うグループ同士を再グループ化してもよい。さらに、再グループ化部１２６は、グループの各々に設定された分類用カテゴリのうち、一致または関連する分類用カテゴリが、予め設定された個数または割合を上回る場合に、隣り合うグループ同士を再グループ化してもよい。

再グループ化部１２６は、複数の初期グループに対する再グループ化によって決定されたグループに対して、それぞれグループＩＤを付与する。すなわち、再グループ化部１２６は、初期グループの再グループ化によって新たに設定されたグループ、及び再グループ化されなかった初期グループの各々に対してグループＩＤを付与する。再グループ化部１２６は、素材毎に、対応する素材情報に付与されたグループＩＤを設定する。また、再グループ化部１２６は、再グループ化によって決定された複数のグループの各々について、グループ情報を作成する。つまり、グループ情報は、グループ毎に作成される。このグループ情報は、グループＩＤ、分類用属性、及び分類用カテゴリを含む。再グループ化部１２６は、図７に示すように、生成したグループ情報を素材情報データベース１０６に格納する。

上述の構成により、素材入力部１０１に入力された素材群（コンテンツ群）は、素材データベース１０２に格納される。また、入力された素材群に関する素材情報、属性情報、分類キー情報、及びグループ情報は、素材情報データベース１０６に格納される。

次いで以下では、電子機器内の各部が、構築された素材データベース１０２及び素材情報データベース１０６を用いて、合成動画を生成する方法について説明する。

合成動画の生成には、合成動画テンプレートが用いられる。合成動画テンプレートは、動画シーケンス中に素材を配置し、素材に対するエフェクト等を表示するためのテンプレートである。したがって、合成動画の生成に使用する素材と合成動画テンプレートとが選択されることで、素材を使用したスライドショー、ムービー、アルバム、コラージュ等を生成することができる。合成動画テンプレートは、合成動画テンプレートデータベース１１２に格納される。

また、合成動画テンプレート情報は、合成動画テンプレートデータベース１１２に格納される合成動画テンプレートに関する情報を示す。合成動画テンプレート情報は、合成動画テンプレート毎に、テンプレートのＩＤ、名称、テーマ、ファイル名、及びテンプレートを使用するために必要な素材の情報（素材数、属性、カテゴリ等）等を含む。つまり、合成動画テンプレート情報には、合成動画テンプレートの各々について、ユーザが合成動画テンプレートを選択する際に参照する情報や、合成動画テンプレートを使用する方法及び条件等が記述される。合成動画テンプレート情報は、合成動画テンプレート情報データベース１１１に格納される。

分類キー・合成動画テンプレート選択部１０７は、素材情報データベース１０６に格納された分類キー情報から分類用属性及び分類用カテゴリを取得し、ユーザに提示する。つまり、分類キーは、ユーザが素材を検索するための検索キーとして用いられる。分類キー・合成動画テンプレート選択部１０７は、例えば、取得した分類用属性及び分類用カテゴリからなるリストをディスプレイ（図示せず）等に表示する。なお、分類キー・合成動画テンプレート選択部１０７は、素材情報データベース１０６に格納された分類キー情報から分類用属性及び分類用カテゴリのいずれかを取得し、取得した分類用属性又は分類用カテゴリのリストをユーザに提示してもよい。

また、分類キー・合成動画テンプレート選択部１０７は、合成動画テンプレート情報データベース１１１から合成動画テンプレート情報を取得し、合成動画テンプレートの候補をユーザに提示する。分類キー・合成動画テンプレート選択部１０７は、例えば、取得した合成動画テンプレート情報を用いて、使用可能な合成動画テンプレートのリストをディスプレイ（図示せず）等に表示する。この合成動画テンプレートのリストには、合成動画テンプレートの名称やテーマ、使用方法等、ユーザによるテンプレートの選択を補助する情報も表示し得る。なお、分類キー・合成動画テンプレート選択部１０７は、ユーザによって選択された分類キーに応じて、合成動画テンプレート（合成動画のテーマ）を決定してもよい。

分類キー・合成動画テンプレート選択部１０７は、ユーザによって選択された分類キー（分類用属性、分類用カテゴリ）及び合成動画テンプレートのＩＤを素材抽出部１０８に通知する。なお、分類キー及び合成動画テンプレートは、ユーザによる選択がされることなく、所定の分類キーや所定の合成動画テンプレートを使用してもよい。

素材抽出部１０８は、通知された分類キーに基づいて、素材情報データベース１０６を参照し、合成動画生成に用いる素材を選択する。具体的には素材抽出部１０８は、素材情報データベース１０６のグループ情報から、分類キー・合成動画テンプレート選択部１０７で選択された分類用属性又は分類用カテゴリが設定されたグループ情報を抽出する。そして、素材抽出部１０８は、素材情報データベース１０６の素材情報から、抽出したグループ情報のグループＩＤが設定された素材情報を抽出する。なお、素材抽出部１０８は、素材情報データベース１０６のグループ情報から、分類キー・合成動画テンプレート選択部１０７で選択された分類キー（分類用属性又は分類用カテゴリ）に一致または関連する分類キーが設定されたグループ情報を抽出してもよい。

上述のように本実施形態では、合成動画生成に用いる素材として、選択された分類キー（属性又はカテゴリ）が設定された素材ではなく、選択された分類キーが設定されたグループに属する素材が抽出される。これにより、選択された属性又はカテゴリが設定された素材だけではなく、選択された属性又はカテゴリが設定された素材に関連する素材をも抽出することができる。したがって例えば、ある人物を示す属性が選択されたとき、当該属性が設定された素材を抽出した場合には、その人物が明瞭に捉えられている写真のような素材のみが抽出されるのに対して、当該属性が設定されたグループに属する素材を抽出した場合には、その人物の写真に加えて、その人物に関わる他の人物、風景、物の写真等、その人物に関連する素材をも抽出することができる。

素材抽出部１０８は、さらに、通知された合成動画テンプレートのＩＤに基づいて、合成動画テンプレート情報データベース１１１を参照して、合成動画テンプレート情報を取得する。なお、素材抽出部１０８は、分類キー・合成動画テンプレート選択部１０７が合成動画テンプレート情報自体を通知することによって、合成動画テンプレート情報データベース１１１を参照せずに、合成動画テンプレート情報を取得してもよい。

素材抽出部１０８は、取得した素材情報及び合成動画テンプレート情報を合成動画生成部１０９に出力する。

合成動画生成部１０９は、入力された素材情報及び合成動画テンプレート情報に基づいて、合成動画を生成する。合成動画生成部１０９は、まず、入力された素材情報のファイル名及びファイルパスに基づいて、素材データベース１０２から素材を抽出する。次に、合成動画生成部１０９は、入力された合成動画テンプレート情報に基づいて、合成動画テンプレートデータベース１１２から合成動画テンプレートを抽出する。合成動画生成部１０９は、例えば、合成動画テンプレート情報に含まれる合成動画テンプレートのＩＤやファイル名に基づいて、合成動画テンプレートデータベース１１２から合成動画テンプレートを抽出する。

合成動画生成部１０９は、抽出した合成動画テンプレートと素材とを用いて合成動画を生成する。そして、合成動画生成部１０９は、合成動画の生成が完了したことに応答して、ユーザに対して生成した合成動画を編集するか、出力するかを確認するメッセージをディスプレイ等に表示する。ユーザが合成動画の編集を選択した場合、合成動画生成部１０９は、生成した合成動画を合成動画編集部１１０に出力する。一方、ユーザが合成動画の出力を選択した場合、合成動画生成部１０９は、生成した合成動画を合成動画出力部１１３に出力する。なお、合成動画生成部１０９は、抽出した素材の一部を選択し、選択した素材を用いて合成動画を生成してもよい。その場合、合成動画生成部１０９は、属性やカテゴリが異なる素材を選択し、属性及びカテゴリに関して様々な素材を含む合成動画を生成してもよい。

合成動画編集部１１０は、合成動画生成部１０９から入力された合成動画を編集するツール等を提供する。ユーザは、提供されるツールを用いて、合成動画に含まれる素材及びエフェクトの追加、編集、変更、削除等の操作を行う。合成動画編集部１１０は、合成動画の編集が完了したことに応答して、編集された合成動画を合成動画生成部１０９に出力する。

合成動画出力部１１３は、合成動画生成部１０９から入力された合成動画をエンコードする。合成動画出力部１１３は、エンコードした合成動画のファイルを所定の記憶装置に格納してもよい。また、合成動画出力部１１３は、エンコードした合成動画のファイルを再生して、ディスプレイ等に表示してもよい。

以上の構成により、素材データベース１０２に蓄積された素材群、及び素材情報データベース１０６に格納されたこれら素材群に関する情報を用いて、合成動画が生成される。

図８は、素材のグループ化と、グループに対する分類用属性の設定の例を示す図である。図８では、複数の素材（ここでは、画像）が生成時刻順に示されている。素材の下部に表記されるアルファベットは、各素材の属性（ここでは、画像に登場する人物名）を表す。具体的には、各素材にはＡからＦのうち少なくとも一つの属性が、素材に現れる人物に応じて設定されている。また、複数の素材の各々は、生成時刻に基づく分析によりグループ１からグループ４のいずれかの初期グループに分類されている。具体的には、グループ１には８個、グループ２には３個、グループ３には４個、グループ４には５個の素材がそれぞれ分類されている。

さらに初期グループには、そのグループを代表する属性を表す分類用属性が設定される。図９を参照して、分類用属性の決定方法について説明する。

グループを代表する属性には、例えば、出現頻度の高い属性を選択することが考えられる。図９に示す素材個別分析での出現数（素材数）は、図８に示す複数の素材に設定された属性の各々の出現数を示している。例えば、属性Ａは、図８に示す複数の画像（素材）のうち６枚の画像に設定されているため、出現数は６となる。また、例えば属性Ｂは、図８に示す複数の画像のうち５枚の画像に設定されているため、出現数は５となる。

上述の方法により、図８に示す複数の素材に対して素材個別分析を行った場合、最も注目度が高い属性はＣに決定される。しかし、素材個別分析による値が高い属性であっても、素材を収集したユーザにとって感性価値（注目度）が高い属性ではない可能性がある。例えば、ある属性が設定された素材群の生成時刻が局所的である場合、つまり、当該属性が設定された素材の出現頻度が特定の期間内でのみ高い場合、その属性はユーザにとってそれほど重要でない可能性がある。

また、素材を収集したユーザの注目対象を、顔画像認識等の各種の自動認識処理によって識別することは困難である場合がある。例えば、運動会で撮影された子供の写真において、子供の顔が小さく捉えられ、子供がそこにいたことを予め知っている人物が、服装等から辛うじて認識できるような場合が想定される。このような素材（コンテンツ）を、上述の素材個別分析のようにコンテンツ単位で分析及び分類した場合、ユーザの注目対象を自動判別することや、ユーザの注目対象を検索キー（分類キー）として、ユーザの所望するコンテンツを検索することは困難である。

そこで本実施形態では、複数の素材を作成時刻に基づいて複数のグループに分類し、グループを代表する属性である分類用属性に、グループ分析での出現数（素材数）が大きい属性を選択する。グループ分析では、複数の素材それぞれに設定された属性の各々について、当該属性が分類されたグループの各々に属する素材数の和を、当該属性のグループ分析での出現数（素材数）に設定する。例えば、属性Ａは、図８に示すグループ１に分類された素材に対して設定されており、このグループ１には８個の素材が分類されている。したがって、属性Ａのグループ分析での出現数は８となる。また、例えば属性Ｂは、図８に示すグループ１、グループ３、及びグループ４に分類された素材に対して設定されており、グループ１には８個、グループ３には４個、グループ３には５個の素材がそれぞれ分類されている。したがって、属性Ｂのグループ分析での出現数は、８＋４＋５＝１７となる。

上述の方法により、図８に示す複数の素材に対してグループ分析を行った場合、最も注目度が高い属性はＢと決定される。また、複数のグループの各々には、そのグループに属する素材に設定された属性のうち、グループ分析での出現数が最も大きい属性が分類用属性に設定される。したがって、グループ１には、属性Ａ（グループ分析での出現数＝８）、Ｂ（出現数＝１７）、及びＣ（出現数＝１１）のうち、出現数が最も大きい属性Ｂが分類用属性に設定される。また、グループ２には、属性Ｃ（出現数＝１１）及び属性Ｄ（出現数＝３）のうち、出現数が大きい属性Ｃが分類用属性に設定される。

このグループ分析では、複数のグループに亘って出現する属性をユーザによる注目度が高い属性として検出することができる。ユーザが長期間に亘って注目していると推定される属性を、優先的に分類キーとして選択することで、素材を収集したユーザの主観や意図に適した検索を行うことができる。また、作成時刻に基づくグループ化を行い、素材数の多いグループほど重要度が高いグループであると仮定し、素材数の多いグループに設定された属性が優先的に分類キーとして選択される。

さらに本実施形態では、時系列上で隣り合う二つのグループに設定された分類用属性が同一である場合、それら二つのグループを結合して、一つのグループにまとめる。図８に示す例では、時系列上で隣り合うグループ３とグループ４とに共に、分類用属性Ｂが設定されているため、これらグループ３とグループ４とは一つのグループに結合される。このような結合（再グループ化）によって、より多くの素材を一つのグループとして扱うことができるため、素材の管理が容易になる。

以上のようなグループ化（再グループ化）及び分類キー（分類用属性、分類用カテゴリ）の設定によって、ある分類キーを用いて素材を検索した場合に、当該分類キーが設定されたグループを抽出することで、当該分類キーに該当する素材と、当該分類キーに関連する素材とを検索することができる。

図１０は、素材分析部１０３による素材分析処理の手順の例を示すフローチャートである。

まず、素材分析部１０３は、素材入力部１０１による素材群の入力を待つ（ステップＳ１０１）。素材分析部１０３は、素材入力部１０１によって素材群が入力されたことに応答して以降の処理を開始する。

次に、素材分析部１０３は、入力された素材群に含まれる全ての素材に対する処理が完了したか否かを判定する（ステップＳ１０２）。全ての素材に対する処理が完了した場合（ステップＳ１０２のＹＥＳ）、素材分析部１０３は処理を終了する。

全ての素材に対する処理が完了していない場合（ステップＳ１０２のＮＯ）、素材分析部１０３は、処理対象の素材に対応する素材情報が素材情報データベース１０６に格納されているか否かを判定する（ステップＳ１０３）。処理対象の素材に対応する素材情報が素材情報データベース１０６に格納されている場合（ステップＳ１０３のＹＥＳ）、素材分析部１０３は、ステップＳ１０２の処理に戻る。

処理対象の素材に対応する素材情報が素材情報データベース１０６に格納されていない場合（ステップＳ１０３のＮＯ）、素材分析部１０３は、処理対象の素材の特徴を分析し、素材の属性を決定する（ステップＳ１０４）。そして、素材分析部１０３は、決定した属性に対応する属性情報が素材情報データベース１０６に格納されているか否かを判定する（ステップＳ１０５）。決定した属性に対応する属性情報が素材情報データベース１０６に格納されていない場合（ステップＳ１０５のＮＯ）、素材分析部１０３は、決定した属性に対応する属性情報を素材情報データベース１０６に格納する（ステップＳ１０６）。

ステップＳ１０６における属性情報の格納が完了した場合、又は決定した属性に対応する属性情報が素材情報データベース１０６に格納されている場合（ステップＳ１０５のＹＥＳ）、素材分析部１０３は、処理対象の素材に対応する素材情報を素材情報データベース１０６に格納する（ステップＳ１０７）。そして、素材分析部１０３は、ステップＳ１０２以降の手順を再度実行する。

上述の素材分析処理により、入力された素材群に関する素材情報及び属性情報が素材情報データベース１０６に登録される。

また、図１１は、属性・カテゴリ分析部１０４による属性・カテゴリ分析処理の手順の例を示すフローチャートである。属性・カテゴリ分析部１０４は、素材分析部１０３によって素材情報データベース１０６に格納された素材情報及び属性情報を用いて、これら素材情報及び属性情報を更新し、分類キー情報及びグループ情報を生成する。

まず、カテゴリ設定部１２１は、属性・カテゴリ辞書データベース１０５を参照して、上述の素材分析処理によって格納された属性情報の各々に、カテゴリを設定する（ステップＳ２０１）。具体的には、カテゴリ設定部１２１は、素材情報データベース１０６に格納された属性情報に設定された属性をキーとして属性・カテゴリ辞書データベース１０５を検索し、当該属性に対応するカテゴリを取得する。そして、カテゴリ設定部１２１は、この属性情報にカテゴリを設定する。

次に、グループ化部１２２は、素材情報の生成時刻に基づいて、入力された素材群に含まれる素材の各々を複数の初期グループに分類する（ステップＳ２０２）。グループ化部１２２は、複数の初期グループの各々に付与される初期グループＩＤを、グループに属する素材の各々に対応する素材情報の初期グループＩＤに設定する。グループ化部１２２は、複数の初期グループの各々に対して、各グループに属する素材の属性を設定する。素材の初期グループ化処理については、図１２のフローチャートを参照して後述する。

次いで、素材数算出部１２４は、素材群に含まれる素材それぞれの属性の各々について、当該属性が設定された初期グループの各々に属する素材の個数の合計と、属性毎に予め割り当てられた係数とを乗じた値を算出する（ステップＳ２０３）。素材数算出部１２４は、素材情報データベース１０６内の当該属性に対応する属性情報の素材数累計に、算出した値を設定する。したがって、素材数算出部１２４は、素材群に含まれる素材に設定された全ての属性について、初期グループの素材数を用いて、素材数累計を算出する。なお、属性毎に予め割り当てられた係数は、例えば、属性の重要度に応じて決定される。

そして、分類キー設定部１２５は、属性情報の素材数累計の降順で、上位より予め設定された範囲にある属性を、素材情報データベース１０６内の分類キー情報（分類用属性）に登録する（ステップＳ２０４）。また、分類キー設定部１２５は、属性情報の素材数累計をカテゴリ毎に集計し、集計した値の降順で、上位より予め設定された範囲にあるカテゴリを、素材情報データベース１０６内の分類キー情報（分類用カテゴリ）に登録する（ステップＳ２０５）。

さらに、再グループ化部１２６は、生成時刻に基づく時系列上で隣り合う初期グループであって、分類用属性又は分類用カテゴリが一致する二つのグループを一つのグループに結合する（ステップＳ２０６）。再グループ化部１２６は、全ての初期グループに対して結合の可否を判定し、分類用属性又は分類用カテゴリが一致する隣り合うグループを結合する。再グループ化部１２６は、再グループ化により決定されたグループの各々にグループＩＤを付与する。再グループ化により決定されたグループとは、初期グループを結合したグループと、結合されなかった初期グループとを含む。再グループ化部１２６は、各グループに属する素材の各々に対応する、素材情報データベース１０６内の素材情報のグループＩＤに、付与されたグループＩＤを設定する。

そして、再グループ化部１２６は、再グループ化により決定されたグループの情報を、素材情報データベース１０６内のグループ情報に登録する（ステップＳ２０７）。再グループ化部１２６は、グループＩＤ、グループの分類用属性、及びグループの分類用カテゴリを含むグループ情報を素材情報データベース１０６に格納する。初期グループの再グループ化処理については、図１３のフローチャートを参照して後述する。

図１２は、図１１のステップＳ２０２に対応する初期グループ化処理の手順の例を示すフローチャートである。

まず、グループ化部１２２は、素材情報の作成時刻に基づいて、時系列上で隣り合うグループ同士の作成時刻の差を示す作成間隔を算出する（ステップＳ３０１）。次に、グループ化部１２２は、算出された作成間隔の降順で、上位から予め指定された割合（例えば１％）の範囲に含まれる作成間隔のうち、最小値Ｘを算出する（ステップＳ３０２）。

グループ化部１２２は、作成間隔が最小値Ｘを上回る箇所を区切りとして、作成時刻の新しい順から、素材を分割し、初期グループに分類する（ステップＳ３０３）。なお、グループ化部１２２は、分割により決定される初期グループの数が予め設定された最大数を超える場合には、最小値Ｘに拘わらず、古い作成時刻の素材をまとめて一つの初期グループに分類してもよい。この初期グループの最大数は、例えば処理に利用可能なメモリの容量に基づいて決定される。

以上の処理により、グループ化部１２２は、入力された素材群を作成時刻に基づいて複数のグループに分類することができる。

図１３は、図１１のステップＳ２０６に対応する再グループ化処理の手順の例を示すフローチャートである。

まず、再グループ化部１２６は、素材情報データベース１０６に格納された素材情報から初期グループに関する情報を取得する（ステップＳ４０１）。次に、再グループ化部１２６は、作成時刻に基づく時系列上で２番目にある初期グループを注目初期グループに設定する（ステップＳ４０２）。そして、再グループ化部１２６は、全ての初期グループに対して処理が完了したか否かを判定する（ステップＳ４０３）。全ての初期グループに対して処理が完了した場合（ステップＳ４０３のＹＥＳ）、再グループ化部１２６は、処理を終了する。

全ての初期グループに対して処理が完了していない場合（ステップＳ４０３のＮＯ）、再グループ化部１２６は、注目初期グループの分類用属性及び分類用カテゴリが、時系列上で一つ前のグループの分類用属性及び分類用カテゴリと同一であるか否かを判定する（ステップＳ４０４）。注目初期グループの分類用属性及び分類用カテゴリが、時系列上で一つ前のグループの分類用属性及び分類用カテゴリと同一である場合（ステップＳ４０４のＹＥＳ）、再グループ化部１２６は、注目初期グループと一つ前のグループとを結合する（ステップＳ４０５）。再グループ化によって決定されたグループにはグループＩＤが付与される。再グループ化部１２６は、再グループ化によって決定されたグループに属する素材の各々に対応する素材情報に対して、付与されたグループＩＤを設定する（ステップＳ４０６）。そして、再グループ化部１２６は、注目初期グループの一つ後の初期グループを、新たな注目初期グループに設定する（ステップＳ４０７）。

以上の処理により、時系列上で隣り合うグループであって、それらグループの各々に設定された分類用属性及び分類用カテゴリが一致するグループを、一つのグループに統合することができる。これにより、より多くの素材を一つのグループとして扱うことができるため、素材の管理が容易になる。なお、再グループ化部１２６は、時系列上で隣り合うグループの各々に設定された分類用属性及び分類用カテゴリが一致する場合に限らず、分類用属性又は分類用カテゴリが一致する場合等、グループに設定された分類用属性及び分類用カテゴリが部分的に一致する場合に、隣り合うグループ同士を結合するようにしてもよい。

図１４は、合成動画生成処理の手順の例を示すフローチャートである。

まず、分類キー・合成動画テンプレート選択部１０７は、分類用属性又は分類用カテゴリの候補と、合成動画テンプレートの候補とをユーザに提示する（ステップＳ５０１）。分類キー・合成動画テンプレート選択部１０７は、素材情報データベース１０６に格納された分類キー情報を取得し、分類用属性のリスト又は分類用カテゴリのリストをディスプレイ等に表示する。また、分類キー・合成動画テンプレート選択部１０７は、合成動画テンプレート情報データベース１１１に格納された合成動画テンプレート情報を取得し、合成動画テンプレートのリストをディスプレイ等に表示する。

次に、分類キー・合成動画テンプレート選択部１０７は、ユーザが指定した分類用属性又は分類用カテゴリと、合成動画テンプレートとを選択する（ステップＳ５０２）。分類キー・合成動画テンプレート選択部１０７は、選択した分類用属性又は分類用カテゴリと、合成動画テンプレートの情報とを素材抽出部１０８に出力する。

そして、素材抽出部１０８は、入力された分類用属性又は分類用カテゴリが設定されたグループに属する素材を素材データベース１０２から抽出する（ステップＳ５０３）。素材抽出部１０８は、抽出した素材と合成動画テンプレートの情報とを合成動画生成部１０９に出力する。

合成動画生成部１０９は、入力された合成動画テンプレートの情報に基づいて、合成動画テンプレートデータベース１１２から合成動画テンプレートを取得する。そして、合成動画生成部１０９は、抽出した素材と合成動画テンプレートとを用いて、合成動画を生成する（ステップＳ５０４）。次いで、合成動画生成部１０９は、生成した合成動画を編集するか否かを判定する（ステップＳ５０５）。合成動画生成部１０９は、例えば、生成した合成動画を編集するか、出力するかをユーザに選択させるためのメッセージ（ダイアログ等）を画面に表示する。ユーザは生成した合成動画を編集するか、出力するかを選択するための入力を行う。

生成した合成動画を編集する場合（ステップＳ５０５のＹＥＳ）、合成動画編集部１１０は、素材の入れ替えや効果の追加等によって、合成動画生成部１０９により生成された合成動画を編集する（ステップＳ５０６）。合成動画生成部１０９は、合成動画の編集が完了したことに応答して、再度ステップＳ５０５の判定を行う。

生成した合成動画を編集しない場合（ステップＳ５０５のＮＯ）、合成動画出力部１１３は、合成動画生成部１０９により生成された合成動画をエンコードして、動画ファイルを生成する（ステップＳ５０７）。合成動画出力部１１３は、生成した動画ファイルを記憶装置に格納してもよい。また、合成動画出力部１１３は、生成した動画ファイルを再生して、画面等に出力してもよい。

以上の処理により、ユーザにより選択された分類キー及び合成動画テンプレートに基づく合成動画が生成される。具体的には、ユーザにより選択された分類キーに該当する素材と、当該分類キーに関連する素材とを含む合成動画が生成される。つまり、本実施形態の電子機器は、素材（コンテンツ）間の関連を考慮した映像を生成することができる。

（変形例）
図１５は、本実施形態の電子機器の構成の変形例を示す。この電子機器は、さらに代表素材選択部１１４を備える。

代表素材選択部１１４は、素材データベース１０２に格納された素材を取得し、素材抽出に使用する代表素材の候補をディスプレイ等に表示する。代表素材選択部１１４は例えば、素材データベース１０２から、属性毎に当該属性が設定された１枚の画像を選択し、選択された画像のリストを代表素材の候補としてユーザに表示する。ユーザは、表示された代表素材の候補から、合成動画の生成に用いたい素材に関連する一つ以上の素材を選択する。代表素材選択部１１４は、ユーザにより選択された一つ以上の素材を検索キー（分類キー）として用いる。

代表素材選択部１１４は、ユーザにより選択された素材が属するグループに設定された分類用属性及び分類用カテゴリを取得する。つまり、代表素材選択部１１４は、ユーザにより選択された素材に関連する分類用属性及び分類用カテゴリを取得する。そして、代表素材選択部１１４は、取得した分類用属性及び分類用カテゴリを分類キー・合成動画テンプレート選択部１０７に出力する。

分類キー・合成動画テンプレート選択部１０７は、入力された分類用属性及び分類用カテゴリのリストをディスプレイ等に表示する。ユーザは、表示されたリストから素材の抽出に利用する分類用属性及び分類用カテゴリを選択する。

素材抽出部１０８は、選択された分類用属性及び分類用カテゴリに基づいて、合成動画の生成に用いる素材を素材データベース１０２から抽出する。

図１６は、図１５に示す変形例の電子機器における合成動画生成処理の手順の例を示すフローチャートである。

まず、代表素材抽出部１１４は、素材データベース１０２から代表素材の候補を抽出し、画面に表示する（ステップＳ６０１）。ユーザは、表示される代表素材の候補から、合成動画の生成に使用したい素材に関連する候補を指定する。

代表素材抽出部１１４は、ユーザによって指定された代表素材の候補を選択する（ステップＳ６０２）。代表素材抽出部１１４は、素材情報データベース１０６を参照して、選択された候補（素材）が属するグループに設定された分類用属性及び分類用カテゴリを取得する。代表素材抽出部１１４は、取得した分類用属性及び分類用カテゴリを分類キー・合成動画テンプレート選択部１０７に出力する。

分類キー・合成動画テンプレート選択部１０７は、分類用属性又は分類用カテゴリの候補と、合成動画テンプレートの候補とをユーザに提示する（ステップＳ６０３）。分類キー・合成動画テンプレート選択部１０７は、代表素材抽出部１１４から入力された分類用属性および分類用カテゴリに基づいて、分類用属性のリスト又は分類用カテゴリのリストをディスプレイ等に表示する。また、分類キー・合成動画テンプレート選択部１０７は、合成動画テンプレート情報データベース１１１に格納された合成動画テンプレート情報を取得し、合成動画テンプレートのリストをディスプレイ等に表示する。

次に、分類キー・合成動画テンプレート選択部１０７は、ユーザが指定した分類用属性又は分類用カテゴリと、合成動画テンプレートとを選択する（ステップＳ６０４）。分類キー・合成動画テンプレート選択部１０７は、選択した分類用属性又は分類用カテゴリと、合成動画テンプレートの情報とを素材抽出部１０８に出力する。

そして、素材抽出部１０８は、入力された分類用属性又は分類用カテゴリが設定されたグループに属する素材を素材データベース１０２から抽出する（ステップＳ６０５）。素材抽出部１０８は、抽出した素材と合成動画テンプレートの情報とを合成動画生成部１０９に出力する。

合成動画生成部１０９は、入力された合成動画テンプレートの情報に基づいて、合成動画テンプレートデータベース１１２から合成動画テンプレートを取得する。そして、合成動画生成部１０９は、抽出した素材と合成動画テンプレートとを用いて、合成動画を生成する（ステップＳ６０６）。次いで、合成動画生成部１０９は、生成した合成動画を編集するか否かを判定する（ステップＳ６０７）。合成動画生成部１０９は、例えば、生成した合成動画を編集するか、出力するかをユーザに選択させるためのメッセージ（ダイアログ等）を画面に表示する。そして、ユーザは生成した合成動画を編集するか、出力するかを選択するための入力を行う。

生成した合成動画を編集する場合（ステップＳ６０７のＹＥＳ）、合成動画編集部１１０は、素材の入れ替えや効果の追加等によって、合成動画生成部１０９により生成された合成動画を編集する（ステップＳ６０８）。合成動画生成部１０９は、合成動画の編集が完了したことに応答して、再度ステップＳ６０７の判定を行う。

生成した合成動画を編集しない場合（ステップＳ６０７のＮＯ）、合成動画出力部１１３は、合成動画生成部１０９により生成された合成動画をエンコードして、動画ファイルを生成する（ステップＳ６０９）。合成動画出力部１１３は、生成した動画ファイルを記憶装置に格納してもよい。また、合成動画出力部１１３は、生成した動画ファイルを再生して、画面等に出力してもよい。

以上の処理により、ユーザにより選択された代表素材及び合成動画テンプレートに基づく合成動画が生成される。具体的には、ユーザにより選択された代表素材に該当する素材と、当該代表素材に関連する素材とを含む合成動画が生成される。つまり、この電子機器は、素材（コンテンツ）間の関連を考慮した映像を生成することができる。

以上説明したように、本実施形態によれば、コンテンツ間の関連を考慮した映像の作成を支援できる。素材入力部１０３及び属性・カテゴリ分析部１０４は、素材入力部１０１に入力された複数の素材それぞれの特徴と、作成時刻に基づいてグループ化したグループの特徴とに応じて、素材を生成又は収集したユーザの主観や意図を考慮したインデキシングを行う。つまり、本実施形態では、素材を生成又は収集したユーザの主観や意図を考慮した、素材のグループ化及びグループの分類キーの設定を行うことができる。これにより、素材抽出部１０８は、ユーザが入力した検索キー（分類キー）を用いて素材を検索した場合に、ユーザの意図に適した素材を検索することができる。合成動画生成部１０９は、検索された素材を用いて合成動画を生成することで、素材（コンテンツ）間の関連を考慮した映像を生成できる。

また、本実施形態の素材分析処理、属性・カテゴリ分析処理、及び合成動画生成処理の手順は全てソフトウェアによって実行することができる。このため、素材分析処理、属性・カテゴリ分析処理、及び合成動画生成処理の手順を実行するプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１…素材入力部、１０２…素材データベース、１０３…素材分析部、１０４…属性・カテゴリ分析部、１０５…属性・カテゴリ辞書データベース、１０６…素材情報データベース、１０７…分類キー・合成動画テンプレート選択部、１０８…素材抽出部、１０９…合成動画生成部、１１０…合成動画編集部、１１１…合成動画テンプレート情報データベース、１１２…合成動画テンプレートデータベース、１１３…合成動画出力部、１２１…カテゴリ設定部、１２２…グループ化部、１２３…属性設定部、１２４…素材数算出部、１２５…分類キー設定部、１２６…再グループ化部。

Claims (15)

1. 時刻情報が付加された複数のコンテンツを前記時刻情報に基づいて複数のグループに分類するグループ化手段と、
   前記複数のコンテンツそれぞれの特徴を分析することによって、前記複数のコンテンツそれぞれの属性を決定する属性決定手段と、
   前記複数のグループの各々について、当該グループに属するコンテンツに対応する属性の内で、所定条件で選択した属性を当該グループのための分類用属性として設定する分類用属性設定手段と、
   入力された検索キーに一致または関連する分類用属性が設定されたグループを前記複数のグループから選択するグループ選択手段と、
   前記選択されたグループに属するコンテンツを用いて映像データを生成する映像生成手段とを具備することを特徴とする電子機器。
2. 前記決定された属性毎に、当該属性を有するコンテンツを含むグループそれぞれに属するコンテンツ数の和を算出する算出手段をさらに具備し、
   前記所定条件は、前記グループ毎に、前記コンテンツ数の和に基づいて、当該グループに属するコンテンツに対応する属性の内で、前記算出されたコンテンツ数の和が最も大きい属性、前記算出されたコンテンツ数の和の降順に順位付けした際の所定の順位までの単数もしくは複数の属性、前記算出されたコンテンツ数の和がしきい値以上である単数もしくは複数の属性、または発生頻度もしくは標準偏差に優位性がある属性を選択する条件であることを特徴とする請求項１記載の電子機器。
3. 前記分類用属性設定手段は、前記グループ毎に、当該グループに設定された属性毎に、当該属性を有し、且つ最も古い生成時刻を持つコンテンツの生成時刻と、当該属性を有し、且つ最も新しい生成時刻を持つコンテンツの生成時刻との差を算出し、前記属性毎に算出した差を降順に順位付けして、所定の順位までの属性を選択し、前記選択した単数または複数の属性を当該グループのための分類用属性として設定することを特徴とする請求項２記載の電子機器。
4. 前記グループ選択手段は、前記複数のグループに設定された分類用属性のリストを表示し、前記リストの中から選択された分類用属性が設定されたグループを選択することを特徴とする請求項２記載の電子機器。
5. 前記グループ選択手段は、前記複数のグループに設定された分類用属性の内容を示す画像のリストを表示し、前記画像のリストの中から選択された画像に対応する分類用属性が設定されたグループを選択することを特徴とする請求項２記載の電子機器。
6. 前記グループ化手段は、前記時刻情報に基づくクラスタリングによって、前記複数のコンテンツを前記複数のグループに分類することを特徴とする請求項２記載の電子機器。
7. 前記複数のグループのうち、前記時刻情報に基づく時系列上で隣り合うグループの各々に設定された単数または複数の分類用属性のうち、一致または関連する分類用属性が予め設定された個数または割合を上回る場合、前記隣り合うグループ同士を一つのグループに結合するグループ結合手段をさらに具備することを特徴とする請求項２記載の電子機器。
8. 前記映像を生成するための複数のテンプレートを格納するテンプレート格納手段をさらに具備し、
   前記映像生成手段は、前記複数のテンプレートの中から選択されたテンプレートに基づき、前記選択されたグループに属するコンテンツを用いて映像を生成することを特徴とする請求項２記載の電子機器。
9. 前記時刻情報は、前記複数のコンテンツの各々が生成された時刻、前記複数のコンテンツの各々が編集された時刻、又は前記複数のコンテンツの各々が当該電子機器に取り込まれた時刻を含むことを特徴とする請求項２記載の電子機器。
10. 前記属性は、前記複数のコンテンツの各々に含まれる人物の識別情報、人物の検出数情報、人物の笑顔度情報、人物の検出数情報を以て決定する雰囲気情報、人物の笑顔度情報を以て決定する雰囲気情報、物の識別情報、物の検出数、画像特徴情報、又は地理情報を含むことを特徴とする請求項２記載の電子機器。
11. 前記属性設定手段は、前記決定された複数のコンテンツそれぞれの属性に対応するカテゴリを決定し、
    前記算出手段は、前記決定されたカテゴリ毎に、当該カテゴリを有するコンテンツを含むグループそれぞれに属するコンテンツ数の和を算出し、
    前記分類用属性設定手段は、前記複数のグループの各々について、当該グループに属するコンテンツに対応するカテゴリの内で、前記算出されたコンテンツ数の和が最も大きいカテゴリ、前記算出されたコンテンツ数の和の降順に順位付けした際の所定の順位までの単数もしくは複数のカテゴリ、前記算出されたコンテンツ数の和がしきい値以上である単数もしくは複数のカテゴリ、または発生頻度もしくは標準偏差に優位性があるカテゴリを当該グループのための分類用カテゴリとして設定し、
    前記グループ選択手段は、入力された検索キーに一致する分類用カテゴリが設定されたグループを前記複数のグループから選択することを特徴とする請求項２記載の電子機器。
12. 前記グループ選択手段は、前記複数のグループに設定された分類用カテゴリのリストを表示し、前記リストの中から選択された分類用カテゴリが設定されたグループを選択することを特徴とする請求項１１記載の電子機器。
13. 前記グループ選択手段は、前記複数のグループに設定された分類用カテゴリの内容を示す画像のリストを表示し、前記画像のリストの中から選択された画像に対応する分類用カテゴリが設定されたグループを選択することを特徴とする請求項１１記載の電子機器。
14. 時刻情報が付加された複数のコンテンツを前記時刻情報に基づいて複数のグループに分類するグループ化ステップと、
    前記複数のコンテンツそれぞれの特徴を分析することによって、前記複数のコンテンツそれぞれの属性を決定する属性決定ステップと、
    前記決定された属性毎に、当該属性を有するコンテンツを含むグループそれぞれに属するコンテンツ数の和を算出する算出ステップと、
    前記複数のグループの各々について、当該グループに属するコンテンツに対応する属性の内で前記算出されたコンテンツ数の和が最も大きい属性、前記算出されたコンテンツ数の和の降順に順位付けした際の所定の順位までの単数もしくは複数の属性、前記算出されたコンテンツ数の和がしきい値以上である単数もしくは複数の属性、または発生頻度もしくは標準偏差に優位性がある属性を当該グループのための分類用属性として設定する分類用属性設定ステップと、
    入力された検索キーに一致または関連する分類用属性が設定されたグループを前記複数のグループから選択するグループ選択ステップと、
    前記選択されたグループに属するコンテンツを用いて映像データを生成する映像生成ステップとを具備することを特徴とする映像処理方法。
15. 時刻情報が付加された複数のコンテンツを前記時刻情報に基づいて複数のグループに分類するグループ化処理を実行する手順と、
    前記複数のコンテンツそれぞれの特徴を分析することによって、前記複数のコンテンツそれぞれの属性を決定する属性決定処理を実行する手順と、
    前記決定された属性毎に、当該属性を有するコンテンツを含むグループそれぞれに属するコンテンツ数の和を算出する算出処理を実行する手順と、
    前記複数のグループの各々について、当該グループに属するコンテンツに対応する属性の内で前記算出されたコンテンツ数の和が最も大きい属性、前記算出されたコンテンツ数の和の降順に順位付けした際の所定の順位までの単数もしくは複数の属性、前記算出されたコンテンツ数の和がしきい値以上である単数もしくは複数の属性、または発生頻度もしくは標準偏差に優位性がある属性を当該グループのための分類用属性として設定する分類用属性設定処理を実行する手順と、
    入力された検索キーに一致または関連する分類用属性が設定されたグループを前記複数のグループから選択するグループ選択処理を実行する手順と、
    前記選択されたグループに属するコンテンツを用いて映像データを生成する映像生成処理を実行する手順とをコンピュータに実行させるプログラム。

Images