JP2014115729A

JP2014115729A - スライドショー作成サーバおよびスライドショー作成方法

Info

Publication number: JP2014115729A
Application number: JP2012267490A
Authority: JP
Inventors: Hiromi Ishisaki; 広海石先; Hajime Hattori; 元服部; Toshihiro Ono; 智弘小野
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2012-12-06
Filing date: 2012-12-06
Publication date: 2014-06-26

Abstract

【課題】画像に適した楽曲を付与してスライドショーを作成できるスライドショー作成サーバおよびスライドショー作成方法を提供する。
【解決手段】スライドショー作成サーバ１００は、元スライドショーに対応付けられた特徴量として第１の特徴量を管理するテンプレート管理部１１０と、ユーザにより指定された画像データに対応付けられた特徴量として、第２の特徴量を抽出する第２の特徴量抽出部１４０と、第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、第１および第２の特徴量を用いて画像データの類似度を判定し、選択された元スライドショーにより特定される一連の画像データをユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成するスライドショー生成部１６０とを備える。
【選択図】図１

Description

本発明は、楽曲データの再生に伴い画像表示するスライドショーを作成するスライドショー作成サーバおよびスライドショー作成方法に関する。

従来、楽曲に合わせてＷＥＢ上の画像を利用して楽曲スライドショーを生成する技術が知られている。たとえば、特許文献１記載の携帯情報端末は、楽曲再生時に、音声認識によって歌詞を抽出し、その抽出された歌詞から所定のルールに基づいてキーワードを抽出し、キーワードに基づいて、ローカルストレージやインターネット上のＷＥＢページから画像を検索し、楽曲再生時に画像を表示させている。

また、特許文献２記載のクエリ抽出装置は、歌詞を複数に区分し、優先的にキーワード群が選択される優先区分を決定して、全体的かつ局所的に歌詞に適合した画像を検索している。特許文献３記載の画像表示装置は、楽曲歌詞と画像を同期再生する場合に自動で適した表示時間を決定し、画像表示が極端に短くなったり極端に長くなったりすることを防止して画像表示を切り替えている。

特開２００８−８９５４号公報特開２０１１−０４８７２９号公報特開２０１１−１６６３８６号公報

舟澤慎太郎, 石先広海, 帆足啓一郎, 滝嶋康弘, 甲藤二郎: 歌詞特徴を考慮したWeb 画像と楽曲同期再生システムの提案, 第8 回情報科学技術フォーラム, E-034 (2009). D. A. Shamma, B. Pardo, and K. J. Hammond: Music Story: a Personalized Music Video Creator, Proceedings of the 13th Annual ACM International Conference on Multimedia, pp.563-566 (2005). R. Cai, L. Zhang, F. Jing, W. Lai, and W. -Y. Ma: Automated Music Video Generation Using Web Image Resource, Proceedings of IEEE International Conference on Acoustic, Speech, and SignalProcessing, 2:pp.737-740 (2007). 舟澤慎太郎, 石先広海, 帆足啓一郎, 滝嶋康弘, 甲藤二郎: 歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討, 第71 回情報処理学会全国大会, 5R-2 (2009).

しかしながら、上記のような既存技術では、ユーザが選択した楽曲をもとにそれに合った画像を付与してスライドショーを作成しており、ユーザが選択した画像に適した楽曲を付与することはできない。たとえば、お気に入りの画像に楽曲を合わせてスライドショーを作成したい場合には、ユーザは満足できるスライドショーを得ることができない。

本発明は、このような事情に鑑みてなされたものであり、画像に適した楽曲を付与してスライドショーを作成できるスライドショー作成サーバおよびスライドショー作成方法を提供することを目的とする。

（１）上記の目的を達成するために、本願発明は、以下のような手段を講じた。すなわち、本発明のスライドショー作成サーバーは、楽曲データの再生に伴い画像表示するスライドショーを作成するスライドショー作成サーバであって、一連の画像データを特定する元スライドショーに対応付けられた特徴量として第１の特徴量を管理するテンプレート管理部と、ユーザにより指定された画像データに対応付けられた特徴量として、第２の特徴量を抽出する第２の特徴量抽出部と、前記第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、前記第１および第２の特徴量を用いて画像データの類似度を判定し、前記選択された元スライドショーにより特定される一連の画像データを前記ユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成するスライドショー生成部と、を備えることを特徴としている。

このように本発明のスライドショー作成サーバは、特徴量の類似度を利用してユーザにより指定された画像データに合ったスライドショーを容易に作成することができる。

（２）また、本発明のスライドショー作成サーバは、前記ユーザにより指定された画像データに対応付けられたテキストデータに基づいて前記元スライドショーの選択を行なう元スライドショー選択部を更に備えることを特徴としている。このようにユーザにより指定された画像に関連する元スライドショーを選択しておくことで、ユーザが指定した画像データに適合するスライドショーを容易に作成できる。

（３）また、本発明のスライドショー作成サーバは、前記元スライドショー選択部が、前記ユーザにより指定された画像データの各々に対して、前記第２の特徴量に関連するテキストデータをタグとして付与し、前記付与されたタグに共通して関連するテキストデータを全体印象ラベルとして付与し、前記全体印象ラベルを前記元スライドショーの選択に利用することを特徴としている。これにより、ユーザが指定した画像データに対する全体印象に近い元スライドショーを選択でき、それを用いてスライドショーを作成することができる。

（４）また、本発明のスライドショー作成サーバは、前記元スライドショー選択部が、前記元スライドショーの選択として前記全体印象ラベルと元スライドショーに付随するテキストデータとを対比し、関連度が高い元スライドショーを選択することを特徴としている。これにより、全体印象ラベルと類似する全体印象を有する元スライドショーや、全体印象ラベルと類似する歌詞を有する元スライドショーを選択することができる。

（５）また、本発明のスライドショー作成サーバは、前記元スライドショー選択部が、前記ユーザにより指定された画像データの重要度も参照した上で前記元スライドショーの選択を行なうことを特徴としている。これにより、指定された画像データのうち重要度の高いものを重視して元スライドショーの選択を行なうことができる。

（６）また、本発明のスライドショー作成サーバは、ユーザから指定を受けたカテゴリに属する元スライドショーから前記元スライドショーの選択を行なう元スライドショー選択部を更に備えることを特徴としている。これにより、予め選択される元スライドショーの候補を絞ることができるため、処理量が軽減され、正確な選択が可能になる。

（７）また、本発明のスライドショー作成方法は、楽曲データの再生に伴い画像表示するスライドショーを作成するスライドショー作成方法であって、一連の画像データを特定する元スライドショーに対応付けられた特徴量として第１の特徴量を管理するステップと、ユーザにより指定された画像データに対応付けられた特徴量として、第２の特徴量を抽出するステップと、前記第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、前記第１および第２の特徴量を用いて画像データの類似度を判定し、前記選択された元スライドショーにより特定される一連の画像データを前記ユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成するステップと、を含むことを特徴としている。これにより、ユーザにより指定された画像データに合ったスライドショーを容易に作成することができる。

本発明によれば、特徴量の類似度を利用して、ユーザにより指定された画像データに合ったスライドショーを容易に作成することができる。

本発明のスライドショー作成システムを示すブロック図である。テンプレート管理部を示すブロック図である。スライドショーＤＢのデータ構造を示す図である。テンプレートを示すテーブルである。元スライドショー選択部およびスライドショー生成部を示すブロック図である。全体の処理を示すフローチャートである。テンプレート生成の処理を示すフローチャートである。スライドショー作成処理を示すフローチャートである。

次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。

［スライドショー作成システム］
（スライドショー作成システムの構成）
図１は、スライドショー作成システム１０を示すブロック図である。スライドショー作成システム１０は、スライドショー作成サーバ１００とユーザ端末２００とを含んでいる。スライドショー作成サーバ１００は、楽曲データの再生とともに画像表示するスライドショーを作成する。ユーザ端末２００は、ユーザによる画像のアップロード、画像指定やスライドショーの再生を可能にしている。

（スライドショー作成サーバの構成）
図１に示すように、スライドショー作成サーバ１００は、テンプレート管理部１１０、ユーザ画像管理部１２０、画像指定受付部１３０、第２の特徴量抽出部１４０、元スライドショー選択部１５０、スライドショー生成部１６０およびスライドショー配信部１７０を備えている。

テンプレート管理部１１０は、一連の画像データを特定する元スライドショーに対応付けられた特徴量として第１の特徴量を管理する。第１の特徴量は、一連の画像データの画像特徴量であることが好ましい。テンプレート管理部１１０の詳細は後述する。なお、元スライドショーは、画像データが置換の対象となり、新たなスライドショー作成の元となるスライドショーを指している。

ユーザ画像管理部１２０は、ユーザがアップロードした画像を受け付ける機能を有し、入力された画像データから画像データの一覧リストを作成する。ユーザ画像管理部１２０は、ユーザにより撮影された画像データや、ユーザ端末の情報をユーザ情報と関連付けて格納する。ユーザ画像管理部１２０へのアップロードは、特定のユーザとして識別されたユーザのみ許可されていてもよい。これにより、ユーザは個人でアップロードした画像データを用いてスライドショーを作成できる。

ユーザ端末２００のアップローダにより、撮影写真およびギャラリー（過去撮影写真一覧）から、画像データが選択され、スライドショー作成サーバ１００へ画像データを送信される。スライドショー作成サーバ１００にアップロードするための画像データは、カメラにて撮影してもよいが、すでにギャラリーとして登録されている写真を選択してもよい。また、選択された画像データをアップロードする共有機能や画像アップロード時、タグ情報を付与したり、端末固有情報を送信する機能も有している。

ユーザ画像管理部１２０は、複数のユーザ端末２００から画像データを受け付けることができる。例えば、ユーザ端末２００は、携帯電話やデジタルカメラ、パーソナルコンピュータ等である。画像リストに含まれる画像ごとに重要度や削除可能等のパラメタを付与することで、優先的に利用する写真を設定することもできる。

第２の特徴量抽出部１４０は、入力された画像群から特徴量を抽出する機能を有しており、ユーザにより指定された画像データに対応付けられた特徴量を、第２の特徴量として抽出する。格納した画像データから事前に抽出された特徴量をユーザ画像管理部１２０に格納しておき、それを利用してもよいし、リアルタイムで特徴量を抽出してもよい。

第２の特徴量は、ユーザにより指定された画像データの画像特徴量であることが好ましい。例えば、ＯｐｅｎＣＶを利用して、人物の有無（顔検出）、色情報（カラーモーメント：局所領域ごとの各色の平均・標準偏差）、エッジ情報（エッジ方向ヒストグラム：Canny Filterにより抽出したエッジ点での輝度勾配のヒストグラム）、テクスチャ情報（Local Binary Pattern）、ＢｏＶＷ（特徴点の形状のヒストグラム）等の画像特徴量を抽出することができる。

元スライドショー選択部１５０は、ユーザにより指定された画像データに対応付けられたテキストデータに基づいて元スライドショーの選択を行なう。このようにして、予め蓄積された元スライドショーの中からユーザが指定した画像データに適合する元スライドショーを容易に選択できる。

具体的には、ユーザにより指定された画像データの各々に対して、抽出された第２の特徴量に関連するテキストデータをタグとして付与し、付与されたタグに共通して関連するテキストデータを全体印象ラベルとして付与する。そして、全体印象ラベルと元スライドショーに付随するテキストデータとを対比し、関連度が高い元スライドショーを選択する。これにより、ユーザが指定した画像データから得られる全体印象に近い元スライドショーを選択でき、それを用いてスライドショーを作成することができる。

元スライドショー選択部１５０は、ユーザにより指定された画像データの重要度も参照した上で元スライドショーの選択を行なってもよい。これにより、指定された画像データのうち重要度の高いものを重視して元スライドショーの選択を行なうことができる。

また、元スライドショー選択部１５０は、ユーザから指定を受けたカテゴリに属する元スライドショーから、ユーザ指定の画像データに適した元スライドショーの選択を行なってもよい。これにより、予め選択される元スライドショーの候補を絞ることができるため、処理量が軽減され、正確な選択が可能になる。なお、元スライドショー選択部１５０の詳細な動作については後述する。

スライドショー生成部１６０は、第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、第１および第２の特徴量を用いて画像データの類似度を判定し、選択された元スライドショーにより特定される一連の画像データをユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成する。これにより、画像に合った独自のスライドショーを容易に得ることができる。

また、スライドショー生成部１６０は、元スライドショーで特定される画像データに対して設定されている置換可否パラメータを判定し、その判定結果に応じて置換を行なう。置換可否パラメータは、画像データの置き換えの可否を示すものである。スライドショー生成部１６０は、置換可否パラメータが置換可能と指定している画像データについては画像データを置き換えたスライドショーを生成し、置換可否パラメータが置換不可と指定している画像データについては画像データを置き換えたスライドショーを生成しない。これにより、スライドショーで置換すべきでない画像データはそのまま残しつつ、画像データの置換が可能となる。なお、置換可否パラメータの置換可否は、ユーザにより設定可能であることが好ましい。スライドショー生成部１６０の詳細な動作については後述する。

スライドショー配信部１７０は、ユーザ指定の画像データにより新たに作成されたスライドショー等、元スライドショーに由来するスライドショーをユーザ端末２００に送信する。そして、送信されたスライドショーとともに置換候補の画像データまたは置換候補の画像データに対応するデータも送信する。これにより、ユーザ端末２００では、置換候補の画像を選択可能に表示でき、ユーザはその選択可能に表示された画像から置換すべき画像を選択できる。なお、元スライドショーに由来するスライドショーには、元スライドショーだけでなく元スライドショーから作成したスライドショーやそこから派生したスライドショーを含む。

スライドショー配信部１７０は、ユーザ端末２００からの再生指示に従って、楽曲およびスライドショーをストリーミング配信する。ストリーミング配信により、ユーザ端末２００には負担をかけずにスライドショーを再生することができる。

（テンプレート管理部）
図２は、テンプレート管理部１１０を示すブロック図である。図２に示すように、テンプレート管理部１１０は、スライドショーＤＢ１１１、元スライドショー生成部１１２、第１の特徴量抽出部１１３およびテンプレート生成部１１４を備えている。

スライドショーＤＢ１１１は、楽曲ＩＤ、ＭＰ３データ、歌詞データ、同期情報、スライドショー用の画像データ、テンプレート情報を格納できる。スライドショーＤＢ１１１は、楽曲データの情報だけでなく、スライドショーのデータやテンプレートのデータも格納する。

図３は、スライドショーＤＢ１１１のデータ構造を示す図である。スライドショーＤＢ１１１は、たとえば楽曲ごとに与えられたユニークなＩＤとして楽曲ＩＤ、歌詞の有無を示す楽曲種類、行ごとの歌詞が記述されている歌詞、歌詞の各行の開始時間と終了時間が記述されている同期情報、行ごとに表示されるテンプレート画像が記述されているスライドショー画像等の情報を格納できる。上記のうち、スライドショーは、楽曲ＩＤ、同期情報および画像特定情報を含んで構成される。

なお、スライドショーＤＢ１１１は、他のユーザの端末から受信したスライドショーも蓄積する。そして、そのスライドショーを元スライドショーとして、作成されたテンプレートを利用可能なテンプレートとして蓄積する。この場合、他のユーザの端末から受信したスライドショーから作成したテンプレートは、他のユーザのテンプレートとしてユーザ間で共有される。

元スライドショー生成部１１２は、スライドショーＤＢ１１１に含まれる楽曲データ、同期歌詞データを利用して、全体印象語を推定し、ＷＥＢ画像によるスライドショーを作成する。元スライドショー生成部１１２は、同期歌詞情報と関連付けて表示する画像データおよび画像リストを出力することができる。

元スライドショー生成部１１２は、入力された楽曲データの歌詞もしくは、推定されたキーワードを用いて、該当する区分（たとえば行）に関連する画像データを選定する。そして、選定された画像を再生時に楽曲と連動して表示するためのスライドショーを生成する。第１の特徴量抽出部１１３は、元スライドショーで特定される一連の画像データから各画像データに対応付けられた特徴量を抽出する。抽出される特徴量は画像特徴量であることが好ましい。画像データから画像特徴量を抽出する機能については、第２の特徴量抽出部１４０と同様である。

テンプレート生成部１１４は、入力された元スライドショー（同期歌詞情報、関連画像、画像リスト）から、特徴量を利用したスライドショーテンプレートを作成する。例えば、元スライドショー生成部１１２によって得られた画像データ群に対して、第１の特徴量抽出部１１３を適用して得られた特徴量をテンプレートとしてスライドショーＤＢ１１１に格納する。

テンプレートは、ユーザにより指定された画像データに対応付けられた特徴量（第２の特徴量）と比較するために作成し、テンプレートの画像データの特徴量に類似する画像データを自動で抽出することができる。なお、テンプレート生成部１１４は、元スライドショーに限らずスライドショーＤＢ１１１に蓄積されたスライドショーからもテンプレートを作成することができる。したがって、ＷＥＢ画像をもとにした元スライドショーだけではなくユーザの画像を挿入した元スライドショーも入力となる。

図４は、テンプレートを示すテーブルである。行番号は歌詞の行番号、歌詞列には歌詞、表示時間列には表示開始および終了時間、画像ＩＤには抽出された画像のＩＤ、画像特徴量列には画像特徴量、入れ替え可否列には、個人写真との置換可否パラメータが格納される。置換可否パラメータは任意に設定することができる。上記のように、テンプレートは、たとえば楽曲ＩＤ、同期情報および画像特徴量を含んで構成されている。

（ユーザ端末の構成）
ユーザ端末２００は、スライドショー作成サーバ１００から情報を受信し、画像データを指定可能に表示する。、ユーザは、ユーザ端末２００を操作して画像データを指定することで、指定された画像データに応じたスライドショーを作成できる。

ユーザ端末２００は、たとえば携帯電話機、ＰＣ、カメラ等である。ユーザ端末２００は、カメラで写真を撮影し画像データとして保存する機能を有している。例えば、ユーザ向けにＧＵＩが提供されたカメラアプリにより実現できる。

ユーザ端末２００は、撮影写真およびギャラリー（過去撮影写真データの一覧）から、写真を一枚選択する機能やスライドショー作成サーバ１００へ画像データを送信する機能を有する。スライドショー作成サーバ１００にアップロードするための画像データは、カメラにて撮影してもよいが、すでにギャラリーとして登録されている写真を選択してもよい。また、ユーザ端末２００は、選択された画像データをアップロードする共有機能や画像アップロード時、タグ情報を付与したり、端末固有情報を送信する機能も有している。

ユーザ端末２００は、スライドショーを編集する機能を有する。例えば、ＧＵＩを利用して、スライドショーで特定される画像データを、自身が撮影した写真の画像データと入れ替えたり、スライドショーにおける画像データの順序を変更したり、画像が表示される区分の時間を調整したりすることなどができる。なお、このようにして作成されたスライドショーを他のユーザの元スライドショーとし、これから特徴量を抽出して他のユーザのテンプレートとして利用できる。

ユーザ端末２００は、配信されたスライドショーを再生する機能を有する。なお、スライドショーは配信された楽曲とともに再生される。たとえば、ＧＵＩによりユーザの操作を受け付け、楽曲およびスライドショーを選択、再生、停止することができる。

（元スライドショー選択部）
図５は、元スライドショー選択部１５０およびスライドショー生成部１６０を示すブロック図である。図５に示すように、元スライドショー選択部１５０は、タグ付与部１５１、フィルタリング部１５２を備えている。

タグ付与部１５１は、画像データと、画像データに付与されたタグを学習データとして、確率モデル（ＰＬＳＡ）を構築。確率モデルにより未知に画像に対してタグを付与する。英語のようにユーザ母数の規模が大きい大規模言語により確率モデルを構築し、大規模言語のタグを付与したのちに、小規模言語のタグに変換してもよい。必ずしも小規模言語のみを利用する必要はなく、（１）大規模言語のみ、（２）小規模言語のみ、（３）大規模言語＋小規模言語の組み合わせを利用することもできる。

フィルタリング部１５２は、タグを利用して全体印象語を推定する。全体印象カテゴリ、全体印象語、画像リスト、画像iに付与されたタグは、次のように表すことができる。
全体印象カテゴリＣ={季節、時間帯、天候、・・・、Ｃ_１,…、Ｃ_Ｎ}
全体印象語ｃｘ＝｛ｓｃｘ１,・・・,ｓｃｘｌ｝
画像リストＩ＝｛ｉ１,ｉ２,・・・,ｉｎ｝
画像ｉに付与されたタグＴ_ｉ１＝｛ｔ_１,ｔ_２,・・・,ｔ_ｍ｝

全体印象カテゴリＣｚにおいてタグｔの全体印象語ｓｃｘに対する関連度Ｒ（ｔ,ｓｃｘ）を数式（１）により算出する。Ｐ（ｔ,ｓｃｘ）は全体印象語ｓｃｘとタグｔの共起確率である。また、この数式部分は共起確率としても利用できるし、条件付き確率としても利用可能である。例えば、全体印象語ｓｃｘを画像Ａに付けたユーザの中で、タグｔも付与する確率としても利用できる。

画像ｉと全体印象語ｓｃｘとの関連度総和Ｓは以下の数式（２）で算出できる。

画像リストIと全体印象語ｓｃｘとの関連度総和ＡＳは、以下の数式（３）で算出できる。

ＡＳは、全体印象カテゴリＣzに属する全ての全体印象語ｃｘについてＳの和を計算する。そして、画像リストIにおいてＡＳが最大となる全体印象後ｃｘを全体印象カテゴリＣｚにおける確定した全体印象語として付与する。

そして、付与された全体印象語を利用して、楽曲データのフィルタリング（元スライドショーの選択）を実施する。つまり、全体印象語が合致する楽曲データを検索対象とする。例えば、季節カテゴリで春、時間帯カテゴリで朝というタグが付与された場合に、スライドショーＤＢ１１１に格納された楽曲データにおいて、春という印象語が付与されたものと、朝という印象語が付与された楽曲データの和集合や積集合で選択した元スライドショーを本処理以降に利用するなどしてフィルタリングを適用することができる。

また、本段階で、フィルタリングされた結果をユーザに提示し、ユーザが楽曲を選択することも可能である。必ずしも、全体印象のみを利用する必要はなく、事前に設定したイベント（運動会、正月、結婚式、温泉旅行、卒業、入学など）を設定して利用することもできる。

（スライドショー作成部）
また、スライドショー生成部１６０は、類似度計算部１６１および置換部１６２を備えている。類似度計算部１６１は、入力画像リストで特定される画像データとテンプレートで特定される画像データとの類似度を計算する。例えば、テンプレートの画像データの画像特徴量と画像リストIに含まれる画像データの画像特徴量の類似度を計算し、線形和が最大となる楽曲を抽出することができる。

下式は、テンプレートの画像データの特徴ベクトルＡと、入力された画像データの特徴ベクトルＢの類似度計算の例である。例えば、下式（４）〜（９）で、Ｃが最大となる楽曲テンプレートを利用することができる。

本処理は必ずしもフィルタリング（全体印象による元スライドショーの選択）を実施してから適用する必要はなく、全ての楽曲データ（蓄積された全ての元スライドショー）に対してそのまま適用することもできる。本処理によって、類似度が最大となったテンプレートを選択することで楽曲データ（元スライドショー）を１つ選定することもできる。

また、類似度上位Ｎ件をユーザへ提示して試聴、選択してもらうことも可能である。
また、選択されたテンプレートが保持する提示枚数情報が、入力画像よりも少ない場合には、複数の楽曲を選択することもできる。例えば、テンプレートで表示できる画像データが、４０枚であり、入力画像データが１００枚の際に、テンプレートで表示できる画像データ枚数が１００枚以上となるまで、類似度上位の楽曲を選定することもできるし、ユーザが選ぶこともできる。

置換部１６２は、元スライドショー選択部１５０で選択された元スライドショーに対して、それに伴う画像データを、ユーザにより指定された画像データのうち上記の類似度の高い画像データで置換し、新たなスライドショーを作成する。なお、スライドショー生成部１６０が生成した結果は、テンプレートとして利用することもできる。

［スライドショー作成サーバの動作］
次に、上記のように構成されたスライドショー作成サーバ１００の動作を説明する。

（全体の処理）
図６は、スライドショー作成サーバ１００の全体の処理を示すフローチャートである。まず、スライドショー作成サーバ１００は、ユーザからの画像データの指定を受け付ける（ステップＳ１）。ユーザから指定された画像データから画像特徴量（第２の特徴量）を抽出する（ステップＳ２）。得られた第２の特徴量を用いて画像データに対してタグを付与する（ステップＳ３）。

次に、指定された画像データすべてについて、付与されたタグを参照し、全体印象ラベルを付与する（ステップＳ４）。得られた全体印象ラベルを用いて、蓄積された複数の元スライドショーから全体印象ラベルに適合する元スライドショーを選択する（ステップＳ５）。そして、選択された元スライドショーの画像データを、ユーザにより指定された画像データで置き換えて新たなスライドショーを作成する（ステップＳ６）。

（テンプレート生成処理）
図７は、テンプレート生成の処理を示すフローチャートである。テンプレートは、予め蓄積された楽曲データを用いて準備される。まず、キーワード抽出処理では、楽曲の同期データとして歌詞をともなう場合には歌詞一行、歌詞なしの楽曲であれば、分割単位でのキーワードまたは重要語を抽出する（ステップＴ１）。重要語はたとえばＴＦＩＤＦ値の高い単語を抽出することができる。また、形態素解析器により品詞分解を適用し、単語を品詞ごとに選別して画像検索のキーワードとして利用できる。

このようにして抽出した画像検索のキーワードを用いて画像データを検索する（ステップＴ２）。画像検索対象としては、ＦＬＩＣＫＲ（登録商標）などのＷＥＢサービスや、個人の写真コレクションなどを利用することができる。そして検索して得られた画像データ群から、表示するための１枚を抽出することで各行や分割単位で表示する画像データを抽出することができる（ステップＴ３）。

次に、抽出された画像データから、その画像データに対応付けられた特徴量（第１の特徴量）を抽出する（ステップＴ４）。そして、楽曲データに対応する同期情報や第１の特徴量を含むテンプレートを作成する（ステップＴ５）。このようにして、元スライドショーおよびテンプレートを生成することができる。

（スライドショー作成処理）
次に、元スライドショーおよびテンプレートを用いて画像を置き換えたスライドショーを作成する。図８は、スライドショー作成処理を示すフローチャートである。まず、一連の画像データを特定する元スライドショーに対応させたテンプレートとして、第１の特徴量を準備する（ステップＰ１）。

その一方で、ユーザから指定された画像データに対応付けられた特徴量を、第２の特徴量として抽出する（ステップＰ２）。そして、上記のように準備された第１の画像特徴量および抽出された第２の特徴量との間の類似度を判定する（ステップＰ３）。判定された類似度に基づいて、元スライドショーにより特定される画像データを、これに類似するユーザ指定の画像データで置き換えたスライドショーを生成する（ステップＰ４）。このようにして、ユーザ指定の画像に合ったスライドショーを作成することができる。

１０スライドショー作成システム
１００スライドショー作成サーバ
１１０テンプレート管理部
１１１スライドショーＤＢ
１１２元スライドショー生成部
１１３第１の特徴量抽出部
１１４テンプレート生成部
１２０ユーザ画像管理部
１３０画像指定受付部
１４０第２の特徴量抽出部
１５０元スライドショー選択部
１５１タグ付与部
１５２フィルタリング部
１６０スライドショー生成部
１６１類似度計算部
１６２置換部
１７０スライドショー配信部
２００ユーザ端末

Claims

楽曲データの再生に伴い画像表示するスライドショーを作成するスライドショー作成サーバであって、
一連の画像データを特定する元スライドショーに対応付けられた特徴量として第１の特徴量を管理するテンプレート管理部と、
ユーザにより指定された画像データに対応付けられた特徴量として、第２の特徴量を抽出する第２の特徴量抽出部と、
前記第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、前記第１および第２の特徴量を用いて画像データの類似度を判定し、前記選択された元スライドショーにより特定される一連の画像データを前記ユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成するスライドショー生成部と、を備えることを特徴とするスライドショー作成サーバ。
前記ユーザにより指定された画像データに対応付けられたテキストデータに基づいて前記元スライドショーの選択を行なう元スライドショー選択部を更に備えることを特徴とする請求項１記載のスライドショー作成サーバ。
前記元スライドショー選択部は、前記ユーザにより指定された画像データの各々に対して、前記第２の特徴量に関連するテキストデータをタグとして付与し、前記付与されたタグに共通して関連するテキストデータを全体印象ラベルとして付与し、前記全体印象ラベルを前記元スライドショーの選択に利用することを特徴とする請求項２記載のスライドショー作成サーバ。
前記元スライドショー選択部は、前記元スライドショーの選択として前記全体印象ラベルと元スライドショーに付随するテキストデータとを対比し、関連度が高い元スライドショーを選択することを特徴とする請求項３記載のスライドショー作成サーバ。
前記元スライドショー選択部は、前記ユーザにより指定された画像データの重要度も参照した上で前記元スライドショーの選択を行なうことを特徴とする請求項２から請求項４のいずれかに記載のスライドショー作成サーバ。
ユーザから指定を受けたカテゴリに属する元スライドショーから前記元スライドショーの選択を行なう元スライドショー選択部を更に備えることを特徴とする請求項１記載のスライドショー作成サーバ。
楽曲データの再生に伴い画像表示するスライドショーを作成するスライドショー作成方法であって、
一連の画像データを特定する元スライドショーに対応付けられた特徴量として第１の特徴量を管理するステップと、
ユーザにより指定された画像データに対応付けられた特徴量として、第２の特徴量を抽出するステップと、
前記第１の特徴量が管理されている複数の元スライドショーから選択された元スライドショーに対して、前記第１および第２の特徴量を用いて画像データの類似度を判定し、前記選択された元スライドショーにより特定される一連の画像データを前記ユーザにより指定された画像データのうち類似度が高いと判定された画像データで置き換えて新たなスライドショーを生成するステップと、を含むことを特徴とするスライドショー作成方法。