JP2016001821A - コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】静止画像に関連付けられた動画像から、ユーザの好みが反映されたダイジェスト動画を生成し再生表示することができるコンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体を提供する。【解決手段】動画像データから抽出された静止画像データの中から選択された選択画像データまたはその特定情報を、選択画像の管理マーカとして、動画像データと関連付けて記憶部に記憶しておく。選択画像が出力された出力画像が撮影された場合、撮影画像データの画像解析を行って撮影画像の管理マーカを得、記憶部に記憶された選択画像の管理マーカの中から、撮影画像の管理マーカに対応する選択画像の管理マーカを特定する。そして、特定された管理マーカに関連付けられた動画像データの一部を抜き出してダイジェスト動画データを生成し、ダイジェスト動画が表示部に再生して表示されるように制御する。【選択図】図６

Description

本発明は、ＡＲ（拡張現実）技術により、出力画像（ＡＲプリント）に関連付けられた動画像のダイジェスト動画を生成し、再生表示するコンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体に関するものである。

ＡＲ技術を使って動画像などのＡＲコンテンツに関連付けられた出力画像を、スマートフォン、タブレット端末等の携帯端末で撮影することにより、撮影された出力画像に関連付けて記憶された動画像などを携帯端末上で再生表示するコンテンツ再生システムは従来から存在している。しかし、従来存在するコンテンツ再生システムは販促物などの広告利用が中心であり、一般のユーザがＡＲコンテンツに関連付けられた出力画像を作成する楽しみ方は広く普及していない。

また、動画像を再生する場合、３０秒程度の動画像でも最初から最後まで視聴するのは拘束時間が長い、１，２回見るのは楽しいが、何度も見ようとは思わない、ＡＲコンテンツの出力画像と、通常の出力画像をアルバムに保存する場合でも、わざわざＡＲコンテンツの出力画像を１枚ずつ選んでＡＲコンテンツを再生するのは手間がかかるなどの問題がある。そのため、動画像を再生する場合でも、動画像中から必要な部分のみを抽出して再生表示できるようにしたいという要望がある。

これに対し、動画像中から、被写体の顔がきれいに撮影されたシーンや、被写体の動きが大きなシーンを自動抽出してダイジェスト動画を生成することは現在でも可能である。
しかし、自動抽出は画一的な処理であるため、例えば、風景を中心に撮影された動画であるにもかかわらず、たまたま人物が撮影されたシーンが抽出される場合などがある。このように、従来の自動抽出では、ユーザの好みを反映することができず、自動抽出されたシーンが、ユーザにとって本当によいシーンではない可能性があった。

ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。

特許文献１は、画像ファイルに記憶されている画像データ等を、印刷あるいは表示する画像処理装置に関するものである。同文献には、動画像データから、動画像データよりもデータ量の小さい標準画像データを生成し、生成された標準画像データと動画像データとを関連付けて記憶しておき、記憶された動画像データの読み出しが指示されると、標準画像データを読み出して表示することが記載されている。

特許文献２は、動画のダイジェストを生成する画像処理装置に関するものである。同文献には、動画データの内容に基づいて動画評価値を算出し、入力された静止画データに含まれる被写体を評価して被写体評価値を出力し、動画評価値および被写体評価値に基づいて、動画データの、静止画データの記録日時に対応する部分からダイジェスト用部分を抽出することが記載されている。

特許第４１７４０８３号公報 特開２０１３−２３９７９７号公報

特許文献１，２には、動画像からダイジェスト動画を生成することが記載されているが、ＡＲ技術を使って、動画像と、動画像から抽出された静止画像とを関連付けて記憶しておき、静止画像の出力画像が撮影された場合に、静止画像に関連付けられた動画像を再生することや、静止画像に関連付けられた動画像から、ユーザの好みが反映されたダイジェスト動画を生成して再生表示すること、さらに、再生時間をも考慮してダイジェスト動画を生成することは記載されていない。

本発明の第１の目的は、前記従来技術の問題点を解消し、静止画像に関連付けられた動画像から、ユーザの好みが反映されたダイジェスト動画を生成し再生表示することができるコンテンツ再生システム、コンテンツ再生方法、プログラムおよび記録媒体を提供することにある。
本発明の第２の目的は、上記第１の目的に加えて、再生時間をも考慮してダイジェスト動画を生成することができるコンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、サーバと、
ネットワークを介してサーバに接続された携帯端末とを備え、
サーバは、
１つの動画像データまたは２以上の動画像データの各々について、動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは選択画像データの特定情報を、選択画像データに対応する選択画像の管理マーカとして、動画像データと関連付けて記憶する記憶部を備え、
携帯端末は、
選択画像が出力された出力画像を撮影して撮影画像データを得る画像撮影部を備え、
サーバは、さらに、
撮影画像データの画像解析を行って、撮影画像データに対応する撮影画像の管理マーカを得る画像解析部と、
記憶部に記憶された選択画像の管理マーカの中から、撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定する管理マーカ特定部と、
特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するダイジェスト動画生成部とを備え、
携帯端末は、さらに、
ダイジェスト動画データに対応するダイジェスト動画を再生して表示する表示部と、
画像撮影部により出力画像が撮影された場合に、撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が表示部に再生して表示されるように制御する制御部とを備えることを特徴とするコンテンツ再生システムを提供するものである。

ここで、ダイジェスト動画生成部は、関連動画像データから、特定管理マーカに対応する選択画像の撮影時刻を含む、あらかじめ設定された時間範囲の部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、特定管理マーカに対応する選択画像が、人物中心の画像である場合、関連動画像データから、人物が登場する部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データから、人物が登場する部分で、かつ、特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、特定管理マーカに対応する選択画像が、風景中心の画像である場合、関連動画像データから、人物が登場しない部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データから、人物が登場しない部分で、かつ、特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画を生成するものであることが好ましい。

また、画像撮影部により、１つの動画像データに関連付けられた２以上の選択画像データに対応する選択画像が出力された出力画像が撮影された場合に、ダイジェスト動画生成部は、撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々の撮影時刻が、あらかじめ設定された時間間隔よりも近い場合、関連動画像データから、特定された２以上の特定管理マーカに対応する選択画像の最初の撮影時刻から最後の撮影時刻までの時間範囲の部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、１つの動画像データに関連付けられた２以上の選択画像データに対応する選択画像が出力された出力画像が撮影された場合に、ダイジェスト動画生成部は、撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々に人物が撮影されている場合、関連動画像データから、特定された２以上の特定管理マーカに対応する選択画像の各々に撮影されている人物が登場する部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、動画像データと関連付けられていない通常画像および選択画像が出力された出力画像が撮影された場合に、ダイジェスト動画生成部は、画像解析部により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、動画像データと関連付けられていない通常画像が出力された出力画像および選択画像が出力された出力画像が同時に撮影された場合に、ダイジェスト動画生成部は、画像解析部により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、動画像データと関連付けられていない通常画像が出力された出力画像および選択画像が出力された出力画像が順次撮影された場合に、ダイジェスト動画生成部は、画像解析部により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、人物および選択画像が出力された出力画像が順次撮影された場合に、ダイジェスト動画生成部は、画像解析部による人物の人物認識から特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成するものであることが好ましい。

また、画像解析部は、撮影画像に撮影された人物の、顔の向き、顔の大きさ、顔の位置、顔の数のうちの少なくとも１つに基づいて、撮影画像が人物中心の画像なのか風景中心の画像なのかを判別するものであることが好ましい。

また、画像解析部は、撮影画像が人物中心の画像であると判別した場合、撮影画像に撮影された人物の人物認識を行うものであり、
ダイジェスト動画生成部は、人物認識から特定された特定管理マーカに関連付けられた関連動画像データから、人物が登場する部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、画像解析部は、撮影画像が人物中心の画像であると判別した場合、さらに、撮影画像のシーン解析を行うものであり、
ダイジェスト動画生成部は、画像解析部による人物認識およびシーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、人物が登場し、かつ、撮影画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、画像解析部は、撮影画像が風景中心の画像であると判別した場合、撮影画像のシーン解析を行うものであり、
ダイジェスト動画生成部は、画像解析部によるシーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、撮影画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データから、音声が含まれている部分を、音声が含まれていない部分よりも優先して抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データから、あらかじめ設定された基準画質よりも画質が高い部分を、基準画質よりも画質が低い部分よりも優先して抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データから、関連動画像データに対応する関連動画像を撮影した動画像撮影部が移動されながら撮影された部分を除外してダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、表示部の画面サイズが大きいほど、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、人物が登場しない部分よりも、人物が登場する部分の方が、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、撮影画像に撮影された被写体の動きが大きいほど、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、画質が低い動画像よりも、画質が高い動画像の方が、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、関連動画像データの再生時間が長くなるほど、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、ダイジェスト動画生成部は、撮影画像のぶれが大きい場合よりも、撮影画像のぶれが小さい方が、再生時間が長くなるようにダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、フォトブックのページに配置された、動画像データと関連付けられていない通常画像が出力された出力画像および選択画像が出力された出力画像が同時に撮影された場合に、ダイジェスト動画生成部は、画像解析部により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成するものであることが好ましい。

また、画像解析部は、携帯端末に格納され、携帯端末のユーザの顔が撮影された格納画像に対応する格納画像データの画像解析を行うものであり、
ダイジェスト動画生成部は、画像解析部により得られた格納画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、携帯端末のユーザが登場する部分を抜き出してダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、動画像データと関連付けられていない通常画像および選択画像が出力された出力画像が撮影された場合に、ダイジェスト動画生成部は、通常画像に対応する通常画像データ、および、画像解析部により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、通常画像データを含むダイジェスト動画データを生成するものであることが好ましい。

また、画像撮影部により、各々異なる動画像データに関連付けられた２以上の選択画像データに対応する選択画像が出力された２以上の出力画像が撮影された場合に、ダイジェスト動画生成部は、撮影された２以上の選択画像の各々に対応する２以上の関連動画像データを組み合わせて１つのダイジェスト動画データを生成するものであることが好ましい。

また、本発明は、ネットワークを介して携帯端末に接続されたサーバであって、
１つの動画像データまたは２以上の動画像データの各々について、動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは選択画像データの特定情報を、選択画像データに対応する選択画像の管理マーカとして、動画像データと関連付けて記憶する記憶部と、
携帯端末の画像撮影部により、選択画像が出力された出力画像を撮影して得られた撮影画像データの画像解析を行って、撮影画像データに対応する撮影画像の管理マーカを得る画像解析部と、
記憶部に記憶された選択画像の管理マーカの中から、撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定する管理マーカ特定部と、
特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するダイジェスト動画生成部とを備えることを特徴とするサーバを提供する。

また、本発明は、１つの動画像データまたは２以上の動画像データの各々について、動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは選択画像データの特定情報を、選択画像データに対応する選択画像の管理マーカとして、動画像データと関連付けて記憶する記憶部を備えるサーバとネットワークを介して接続された携帯端末であって、
選択画像が出力された出力画像を撮影して撮影画像データを得る画像撮影部と、
サーバの画像解析部が、撮影画像データの画像解析を行って、撮影画像データに対応する撮影画像の管理マーカを得、サーバの管理マーカ特定部が、記憶部に記憶された選択画像の管理マーカの中から、撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定し、サーバのダイジェスト動画生成部が、特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出して生成したダイジェスト動画データに対応するダイジェスト動画を再生して表示する表示部と、
画像撮影部により出力画像が撮影された場合に、撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が表示部に再生して表示されるように制御する制御部とを備えることを特徴とする携帯端末を提供する。

また、本発明は、記憶部が、１つの動画像データまたは２以上の動画像データの各々について、動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは選択画像データの特定情報を、選択画像データに対応する選択画像の管理マーカとして、動画像データと関連付けて記憶するステップと、
画像撮影部が、選択画像が出力された出力画像を撮影して撮影画像データを得るステップと、
画像解析部が、撮影画像データの画像解析を行って、撮影画像データに対応する撮影画像の管理マーカを得るステップと、
管理マーカ特定部が、記憶部に記憶された選択画像の管理マーカの中から、撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定するステップと、
ダイジェスト動画生成部が、特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するステップと、
画像撮影部により出力画像が撮影された場合に、制御部が、撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が表示部に再生して表示されるように制御するステップとを含むことを特徴とするコンテンツ再生方法を提供する。

また、本発明は、上記に記載のコンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載のコンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

本発明によれば、ユーザにより選択された選択画像に基づいて、ダイジェスト動画を生成するため、ユーザの好みが反映されたダイジェスト動画を生成し、携帯端末の表示部に再生表示させることができる。

本発明のコンテンツ再生システムの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。 コンテンツ再生システムにおいて、コンテンツを生成し、選択画像の出力画像を出力する場合の動作を表す一例のフローチャートである。 （Ａ）〜（Ｅ）は、いずれも、携帯端末の表示部の表示画面を表す一例の概念図である。 コンテンツ再生システムにおいて、ダイジェスト動画を生成し、再生表示する場合の動作を表す別の例のフローチャートである。 撮影時間の近い３枚の選択画像を含む１枚の出力画像を撮影する様子を表す一例の概念図である。 通常画像および選択画像を含む１枚の出力画像を撮影する様子を表す一例の概念図である。 （Ａ）は、家族が撮影された動画像に関連付けられた選択画像、および、家族が撮影された通常画像を含む１枚の出力画像を表す一例の概念図、（Ｂ）は、家族が撮影された動画像に関連付けられた選択画像、および、子供のみが撮影された通常画像を含む１枚の出力画像を表す一例の概念図である。 通常画像を撮影した後に選択画像の出力画像を撮影する様子を表す一例の概念図である。 コンテンツ再生システムにおいて、ダイジェスト動画の再生内容を決定する場合の動作を表す一例のフローチャートである。 人物中心の画像を表す一例の概念図である。 人物中心で、Ａさんが撮影され、海のシーンである画像を表す一例の概念図である。 ユーザが椅子に座って両手で携帯端末を持って、机の上に置いた出力画像を撮影する様子を表す一例の概念図である。 ＡさんおよびＢさんの携帯端末で選択画像の出力画像を撮影する様子を表す一例の概念図である。 通常画像および選択画像を含む１枚の出力画像を表す一例の概念図である。 各々異なる動画像に関連付けられた選択画像の出力画像を撮影する様子を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明のコンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明のコンテンツ再生システムの構成を表す一実施形態のブロック図である。同図に示すコンテンツ再生システム１０は、ＡＲコンテンツの出力画像が撮影された場合に、出力画像に関連付けられた動画像のダイジェスト動画を生成して再生表示するものであり、サーバ１２と、携帯端末１４と、プリンタ１６とを備えている。サーバ１２、携帯端末１４およびプリンタ１６は、インターネット等のネットワーク１８を介して互いに接続されている。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、コンテンツ生成部２０と、記憶部２２と、画像解析部２４と、管理マーカ特定部２６と、ダイジェスト動画生成部２８と、第１転送部３０とを備えている。

コンテンツ生成部２０は、１つの動画像データまたは２以上の動画像データの各々について、動画像データから１以上の静止画像データを抽出し、動画像データと、抽出された１以上の静止画像データの中から携帯端末１４のユーザにより選択された静止画像データである選択画像データとが関連付けられたＡＲコンテンツを生成するものである。
なお、本発明において、コンテンツ生成部２０を備えることは必須ではない。

記憶部２２は、コンテンツ生成部２０により生成されたＡＲコンテンツ、つまり、１つの動画像データまたは２以上の動画像データの各々について、動画像データから抽出された１以上の静止画像データの中からユーザにより選択された静止画像データである選択画像データまたはその特定情報を、選択画像データに対応する選択画像の管理マーカとして、動画像データと関連付けて記憶するものである。

ここで、管理マーカとは、所定のアルゴリズムに基づいて画像データの画像解析を行うことにより、画像データから読み取られる画像の特徴量であり、例えば、画像に撮影された撮影対象のエッジ情報やエッジの位置情報等が含まれる。管理マーカは、画像データそのものであってもよいし、画像データを特定するための特定情報でもよい。画像データの特定情報は、撮影画像データから選択画像データを特定することができる情報であれば、どのような情報であってもよい。

画像解析部２４は、後述する撮影画像データの画像解析を行って、撮影画像データに対応する撮影画像の管理マーカを得るものである。

管理マーカ特定部２６は、記憶部２２に記憶された選択画像の管理マーカ中から、画像解析部２４により得られた撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定するものである。管理マーカ特定部２６は、例えば、撮影画像の管理マーカに基づいて、記憶部２２に記憶された選択画像の管理マーカを検索することにより、撮影画像の管理マーカに対応する選択画像の管理マーカを特定する。

ダイジェスト動画生成部２８は、特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するものである。つまり、ダイジェスト動画生成部２８は、特定管理マーカ、すなわち、動画像データから抽出された１以上の静止画像データの中からユーザにより選択された静止画像データまたはその特定情報に基づいて、関連動画像データからダイジェスト動画データを生成する。

第１転送部３０は、サーバ１２と携帯端末１４との間で、動画像データ、撮影画像データ、ダイジェスト動画データなどを含む、各種のデータを転送するものである。

図３は、図１に示す携帯端末の内部構成を表す一実施形態のブロック図である。携帯端末１４は、ユーザが使用するスマートフォンなどのモバイル端末、タブレット端末などであり、同図に示すように、画像撮影部３２と、入力部３４と、表示部３６と、制御部３８と、第２転送部４０とを備えている。
なお、各々のユーザが使用する２以上の携帯端末１４が備えられていてもよい。

画像撮影部３２は、選択画像が出力された出力画像（ＡＲプリント）などを撮影して撮影画像データを得るものである。

入力部３４は、ユーザにより入力される各種の指示を入力するためのものである。
表示部３６は、ダイジェスト動画データに対応するダイジェスト動画を再生して表示するものである。
本実施形態では、タッチパネル４２が、入力部３４および表示部３６を構成するものとする。

制御部３８は、画像撮影部３２により出力画像が撮影された場合に、撮影画像データに基づいて生成されたダイジェスト動画像データに対応するダイジェスト動画が表示部３６に再生して表示されるように制御するものである。

第２転送部４０は、携帯端末１４とサーバ１２との間で、動画像データ、撮影画像データ、ダイジェスト動画データなどを含む、各種のデータを転送するものである。

次に、図４に示すフローチャートを参照しながら、コンテンツ再生システム１０において、ＡＲコンテンツを生成し、選択画像の出力画像を出力する場合の動作を説明する。

まず、ユーザにより、携帯端末１４のタッチパネル４２（表示部３６）に表示された、図５（Ａ）に示す動画プリント管理画面を確認しながら、タッチパネル４２（入力部３４）を操作して、動画像データの送信指示が入力される（ステップＳ１）。

送信が指示された動画像データは、第２転送部４０により、携帯端末１４からネットワーク１８を介してサーバ１２へ送信される。サーバ１２では、第１転送部３０により、携帯端末１４から送信されてきた動画像データが受信され、記憶部２２に記憶される（ステップＳ２）。

続いて、コンテンツ生成部２０により、受信された動画像データから１以上の静止画像データが抽出され、抽出された１以上の静止画像データのサムネイル画像データが生成される（ステップＳ３）。

生成された１以上のサムネイル画像データは、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、図５（Ｂ）の画像確認画面に示すように、受信されたサムネイル画像データに対応するサムネイル画像が、タッチパネル４２（表示部３６）に一覧表示される（ステップＳ４）。

続いて、ユーザにより、タッチパネル４２（入力部３４）を操作して、タッチパネル４２（表示部３６）に一覧表示された１以上のサムネイル画像の中から、１つのサムネイル画像が選択される（ステップＳ５）。図５（Ｂ）の例では、右下の太枠線で囲まれたサムネイル画像が選択されたものとする。

選択されたサムネイル画像の情報は、携帯端末１４からサーバ１２へ送信される。サーバ１２では、コンテンツ生成部２０により、動画像データから抽出された１以上の静止画像データの中から、受信されたサムネイル画像の情報に対応する静止画像データが選択画像データとして選択される（ステップＳ６）。
なお、サムネイル画像データの代わりに、動画像データから抽出された静止画像データを使用してもよい。

続いて、選択画像データが、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、受信された選択画像データに対応する選択画像が、携帯端末１４のタッチパネル４２（表示部３６）に表示される（ステップＳ７）。

続いて、ユーザにより、タッチパネル４２（入力部３４）を操作して、タッチパネル４２（表示部３６）に表示された選択画像が編集される（ステップＳ８）。ユーザによって行われる編集処理には、例えば、図５（Ｃ）のフレーム選択画面に示すように、選択画像の背景となる背景フレームの選択や、図５（Ｄ）の画像トリミング画面に示すように、選択画像に対する画像補正、トリミング、拡大・縮小、回転等の処理が含まれる。

続いて、編集処理の情報が、携帯端末１４からサーバ１２へ送信される。サーバ１２では、コンテンツ生成部２０により、受信された編集処理の情報に基づいて選択画像データが編集される。編集後の選択画像データまたはその特定情報が、選択画像の管理マーカとして、対応する動画像データと関連付けられて記憶部２２に記憶される（ステップＳ９）。
なお、選択画像を編集することは必須ではない。

続いて、図５（Ｅ）のサイズ・枚数設定画面に示すように、ユーザにより、タッチパネル４２（入力部３４）を操作して、プリントサイズやプリント枚数等が設定され、編集後の選択画像のプリント出力の指示が入力される（ステップＳ１０）。

プリント出力の指示は、携帯端末１４からサーバ１２へ送信される。受信されたプリント出力の指示に対応する選択画像データがサーバ１２からプリンタ１６へ送信され、プリンタ１６により、選択画像データに対応する選択画像の出力画像が出力される（ステップＳ１１）。
出力画像は、ユーザに配達される。

以上のようにして、動画像データと、動画像データから抽出された選択画像データとが関連付けられたＡＲコンテンツが記憶部２２に記憶されるとともに、選択画像の出力画像が出力される。

次に、図６に示すフローチャートを参照しながら、コンテンツ再生システム１０において、ダイジェスト動画データを生成し、これに対応するダイジェスト動画を再生表示する場合の動作を説明する。

まず、画像撮影部３２により、選択画像の出力画像が撮影され、撮影画像データを取得する（ステップＳ１２）。

取得された撮影画像データは、第２転送部４０により、携帯端末１４からネットワーク１８を介してサーバ１２へ送信される。サーバ１２では、第１転送部３０により、携帯端末１４から送信されてきた撮影画像データが受信される（ステップＳ１３）。

続いて、画像解析部２４により、撮影画像データの画像解析が行われ、撮影画像データに対応する撮影画像の管理マーカが取得される（ステップＳ１４）。

続いて、管理マーカ特定部２６により、記憶部２２に記憶された選択画像の管理マーカ中から、撮影画像の管理マーカに対応する選択画像の管理マーカが特定管理マーカとして特定される（ステップＳ１５）。

続いて、ダイジェスト動画生成部２８により、特定管理マーカに関連付けられた動画像データである関連動画像データの一部が抜き出されてダイジェスト動画データが生成される（ステップＳ１６）。

例えば、ダイジェスト動画生成部２８は、関連動画像データから、特定管理マーカに対応する選択画像の撮影時刻を含む、あらかじめ設定された時間範囲の部分を抜き出してダイジェスト動画データを生成することができる。

また、ダイジェスト動画生成部２８は、特定管理マーカに対応する選択画像が、人物が撮影された人物中心の画像である場合、関連動画像データから、人物が登場する部分を抜き出してダイジェスト動画データを生成することができる。この場合、ダイジェスト動画生成部２８は、関連動画像データから、人物が登場する部分で、かつ、特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成してもよい。

一方、ダイジェスト動画生成部２８は、特定画像が、人物が撮影されていない、もしくは、人物が撮影画像の端の方に小さく撮影されているなどの風景中心の画像である場合、関連動画像データから、人物が登場しない部分を抜き出してダイジェスト動画データを生成することができる。この場合、ダイジェスト動画生成部２８は、関連動画像データから、人物が登場しない部分で、かつ、特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成してもよい。

続いて、生成されたダイジェスト動画データは、サーバ１２から携帯端末１４へ送信される。携帯端末１４では、サーバ１２から送信されてきたダイジェスト動画データが受信される（ステップＳ１７）。

ダイジェスト動画データが受信されると、制御部３８の制御により、受信されたダイジェスト動画像データに対応するダイジェスト動画が携帯端末１４のタッチパネル４２（表示部３６）に再生して表示される（ステップＳ１８）。

以上のようにして、出力画像が撮影されると、撮影画像の管理マーカに対応する選択画像の管理マーカが特定され、特定管理マーカに関連付けられた関連動画像からダイジェスト動画が生成され、携帯端末１４で再生表示される。
コンテンツ再生システム１０では、ユーザにより選択された選択画像に基づいて、ダイジェスト動画を生成するため、ユーザの好みが反映されたダイジェスト動画を生成し、携帯端末１４の表示部３６に再生表示させることができる。

なお、選択画像の出力画像を出力する場合、例えば、数字やアルファベットを含む文字列からなるアクセスキーを選択画像の出力画像に印刷してもよい。アクセスキーは、ユーザ毎に一意に決定されるものである。ユーザがアクセスキーを入力することにより、記憶部２２に記憶された選択画像の管理マーカの中から特定管理マーカを特定する場合に、各々のユーザがサーバ１２へ送信した動画像データに関連付けられた選択画像の管理マーカの範囲に限定することができる。

次に、撮影画像について様々な例を挙げて説明する。

例えば、被写体の動きを表現するために、１つの動画像データから抽出された２以上の静止画像データの中から、ユーザにより選択された、撮影時刻が、あらかじめ設定された時間間隔よりも近い２以上の選択画像データに対応する選択画像を１枚の出力画像に含める場合が考えられる。
このような出力画像が画像撮影部３２により撮影された場合、ダイジェスト動画生成部２８は、撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々の撮影時刻が、あらかじめ設定された時間間隔よりも近い場合、関連動画像データから、特定された２以上の特定管理マーカに対応する選択画像の最初の撮影時刻から最後の撮影時刻までの時間範囲の部分を抜き出してダイジェスト動画データを生成することができる。

例えば、図７に示す例は、子供の動きを表現するために、撮影時刻が近い３枚の選択画像を１枚の出力画像に含めたものであり、同図中、左側から撮影時刻が早い順に３枚の選択画像が並べられているとする。この場合、ダイジェスト動画生成部２８は、例えば、左端の選択画像の撮影時刻から、右端の選択画像の撮影時刻までの時間範囲の部分を、３枚の選択画像に対応する管理マーカに関連付けられた関連動画像データから抜き出してダイジェスト動画データを生成する。

また、１つの動画像データから抽出された２以上の静止画像データの中から、ユーザにより選択された、人物を含む２以上の選択画像データに対応する選択画像を１枚の出力画像に含める場合が考えられる。
このような出力画像が撮影された場合、ダイジェスト動画生成部２８は、撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々に人物が撮影されている場合、関連動画像データから、特定された２以上の特定管理マーカに対応する選択画像の各々に撮影されている人物が登場する部分を抜き出してダイジェスト動画データを生成することができる。

例えば、１枚目の選択画像にＡさんが、２枚目の選択画像にＢさんが、３枚目の選択画像にＡさんおよびＢさんが撮影されている場合、関連動画像データから、ＡさんとＢさんが登場する部分を抜き出してダイジェスト動画データを生成する。

また、図８に示すように、動画像データと関連付けられていない通常画像、および、動画像データと関連付けられた選択画像を１枚の出力画像（コラージュプリント）に含める場合が考えられる。
このような出力画像が撮影された場合、ダイジェスト動画生成部２８は、画像解析部２４により得られた通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成することができる。

例えば、図９（Ａ）に示す例は、自宅用の出力画像として、家族が撮影された動画像データに関連付けられた選択画像、および、家族（父母子）が撮影された通常画像を１枚の出力画像に含めたものである。この例の場合、ダイジェスト動画生成部２８は、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、家族が登場する部分を抜き出してダイジェスト動画データを生成する。

また、同図（Ｂ）に示す例は、祖父母へのプレゼント用の出力画像として、家族が撮影された動画像データに関連付けられた選択画像、および、子供（祖父母の孫）のみが撮影された通常画像を１枚の出力画像に含めたものである。この例の場合、ダイジェスト動画生成部２８は、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、子供が登場する部分を抜き出してダイジェスト動画データを生成する。

なお、通常画像および選択画像を含む１枚の出力画像のうち、選択画像だけが撮影された場合、ダイジェスト動画生成部２８は、選択画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データの一部を抜き出してダイジェスト動画データを生成する。

また、上記例のように、選択画像および通常画像が必ずしも１枚の台紙上にプリントされている必要はない。例えば、選択画像の出力画像および通常画像の出力画像がアルバム上に並べて配置されている場合が考えられる。
選択画像の出力画像および通常画像の出力画像が同時に撮影された場合、ダイジェスト動画生成部２８は、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成することができる。

また、通常画像の出力画像および選択画像の出力画像を必ずしも同時に撮影する必要はなく、図１０に示すように、両者を順次撮影してもよい。
この場合、ダイジェスト動画生成部２８は、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成することができる。

また、上記例において、通常画像の出力画像を撮影する代わりに、例えば、人物を撮影した後、選択画像の出力画像を撮影してもよい。
この場合、ダイジェスト動画生成部２８は、画像解析部２４による人物の人物認識から特定された特定管理マーカに関連付けられた関連動画像データから、例えば、人物認識により認識された人物が登場する部分を抜き出してダイジェスト動画データを生成することができる。

次に、ダイジェスト動画の再生内容の決定方法について説明する。

コンテンツ再生システム１０は、撮影画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成する。
撮影画像には、前述のように、動画像データから抽出された１つまたは２以上の静止画像データの中から、ユーザにより選択された、１つまたは２以上の選択画像データに対応する選択画像の他、選択画像と同時に撮影された通常画像、選択画像の撮影前に撮影された通常画像または人物などが含まれる。

より具体的に、画像解析部２４は、図１１のフローチャートに示すように、撮影画像の画像解析として、まず、人物を判別して、撮影画像が、人物中心の画像なのか、風景中心の画像なのを判別する（ステップＳ２０）。
この場合、画像解析部２４は、撮影画像に撮影された人物の、顔の向き、顔の大きさ、顔の位置、顔の数等を検出し、これらの検出結果のうちの少なくとも１つに基づいて、撮影画像が人物中心の画像なのか風景中心の画像なのかを判別する。

画像解析部２４は、図１２に示すように、例えば、正面の顔である、顔の撮影サイズが大きい、顔の位置が中心に近い、顔の数が多いなどの条件を満たせば、撮影画像が人物中心の画像であると判別することができる。一方、顔が撮影されていない、または、顔が撮影されているが、撮影画像の端の方に小さく撮影されている場合、画像解析部２４は、撮影画像が、風景中心の画像であると判別することができる。

ダイジェスト動画生成部２８は、撮影画像が人物中心の画像であると判別された場合（ステップＳ２０で「人物中心」）、撮影画像に対応する関連動画像データから、人物が登場する部分を抜き出してダイジェスト動画データを生成することができる。

画像解析部２４は、撮影画像が人物中心の画像であると判別した場合、さらに、撮影画像に撮影された人物の判別（人物認識）を行う（ステップＳ２１）。
この場合、ダイジェスト動画生成部２８は、この人物認識から特定された管理マーカに関連付けされた関連動画像データから、その人物が登場する部分を抜き出して、その人物が撮影されたダイジェスト動画データを生成することができる。

画像解析部２４は、撮影画像が人物中心の画像であると判別した場合、さらに、撮影画像のシーン解析（海のシーン、緑のシーン、山のシーン、砂浜のシーン、夕景のシーン、夜景のシーン、等）を行う（ステップＳ２２）。
この場合、ダイジェスト動画生成部２８は、この人物認識およびシーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、その人物が登場し、かつ、撮影画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成することができる。

図１３に示すように、画像解析の結果、撮影画像が、人物中心で、Ａさんが撮影され、海のシーンであると判別した場合、ダイジェスト動画生成部２８は、関連動画像データから、Ａさんが登場し、かつ、海のシーンの部分を抜き出してダイジェスト動画データを生成する。

なお、画像解析部２４が、撮影画像が人物中心の画像であると判別した場合に、さらに、撮影画像のシーン解析を行うことは必須ではなく、人物判定のみを行ってもよい。

一方、画像解析部２４は、撮影画像が風景中心の画像であると判別した場合（ステップＳ２０で「風景中心」）、撮影画像のシーン解析を行う（ステップＳ２３）。
この場合、ダイジェスト動画生成部２８は、このシーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、撮影画像に撮影されたシーンと同じシーンの部分を抜き出してダイジェスト動画データを生成することができる。

その他、ダイジェスト動画生成部２８は、関連動画像データから、音声が含まれている部分を、音声が含まれていない部分よりも優先して抜き出してダイジェスト動画データを生成することが望ましい。
また、関連動画像データから、あらかじめ設定された基準画質よりも画質が高い部分（明るすぎない、暗すぎない、手振れが少ない、など）を、基準画質よりも画質が低い部分よりも優先して抜き出してダイジェスト動画データを生成することが望ましい。
さらに、画像撮影部３２の動きを考慮し、関連動画像データから、関連動画像データに対応する関連動画像を撮影した画像撮影部３２が移動されながら撮影された部分（ズーム中、上下左右へのパンおよびチルト、など）を除外してダイジェスト動画データを生成することが望ましい。

次に、ダイジェスト動画の再生時間の制御について説明する。

ダイジェスト動画の再生時間を適切な時間に設定することは、効果的なダイジェスト動画を生成する上で大きなポイントとなる。つまり、再生時間が長すぎると、ダイジェスト動画を見ているユーザが疲れるし、何度も見返す気がなくなる。一方、再生時間が短すぎると、ユーザにとって重要な部分が漏れ、魅力度が低下する。そのため、ダイジェスト動画を生成する場合、その適切な再生時間を設定することが望ましい。

コンテンツ再生システム１０では、携帯端末１４の種類、動画像の撮影内容、動画像における被写体の動き、動画像の画質、元の動画像の再生時間、携帯端末１４および撮影画像として撮影される出力画像の動き、などの情報に基づいてダイジェスト動画の再生時間を決定する。

携帯端末１４が、スマートフォンなどのモバイル端末の場合と、タブレット端末の場合とでは、以下に示すような違いがある。モバイル端末の場合、ダイジェスト動画の再生を個人で楽しむ場合が多い、タッチパネル４２（表示部３６）の画面が小さい、などの特徴がある。一方、タブレット端末の場合、ダイジェスト動画の再生を皆で楽しむ場合が多い、タッチパネル４２（表示部３６）の画面が大きい、などの特徴がある。
タッチパネル４２（表示部３６）の画面が小さい場合は、ユーザの目が疲れないように、ダイジェスト動画の再生時間を短くすることが望ましい。これに応じて、ダイジェスト動画生成部２８は、タッチパネル４２（表示部３６）の画面サイズが大きいほど、再生時間が長くなるようにダイジェスト動画データを生成する。

続いて、動画像の撮影内容が、人物中心の場合、人物の動きを見るのは楽しい、音声も含まれる、などの特徴がある。一方、撮影内容が、風景中心の場合、人物に比べて変化が少ないため、再生時間を短くすることが望ましい。これに応じて、ダイジェスト動画生成部２８は、人物が登場しない部分よりも、人物が登場する部分の方が、再生時間が長くなるようにダイジェスト動画データを生成する。

続いて、動画像における被写体の動きが大きい場合、例えば、子供が走り回っている場面などは、動画として再生すると楽しいため、再生時間を長くすることが望ましい。一方、被写体の動きが小さい場合、再生時間を短くすることが望ましい。これに応じて、ダイジェスト動画生成部２８は、撮影画像に撮影された被写体の動きが大きいほど、再生時間が長くなるようにダイジェスト動画データを生成する。

続いて、動画像の画質（露出、ボケ、など）が高画質である場合（適正露出である、手振れが少ない、など）、視聴に適した動画であると考えられるため、再生時間を長くすることが望ましい。これに応じて、ダイジェスト動画生成部２８は、画質が低い動画像よりも、画質が高い動画像の方が、再生時間が長くなるようにダイジェスト動画データを生成する。

続いて、元の動画像（関連動画像）データの再生時間が長い場合、色々な場面、動きが含まれている可能性が高く、撮影者が思い入れを持って撮影していると考えることができるため、再生時間を長くすることが望ましい。これに応じて、ダイジェスト動画生成部２８は、関連動画像データの再生時間が長くなるほど、再生時間が長くなるようにダイジェスト動画データを生成する。

続いて、携帯端末１４および出力画像の動きが少ない場合、例えば、図１４に示すように、ユーザが椅子に座って両手で携帯端末１４を持って、机の上に置いた出力画像を撮影している場合が考えられる。この場合、落ち着いた環境でダイジェスト動画の再生表示を行うことができる、つまり、ユーザはダイジェスト動画をゆっくり視聴できるため、再生時間を長くすることが望ましい。
一方、両者の動きが大きい場合、例えば、ユーザが立った状態で、一方の手に携帯端末１４を、他方の手に出力画像を持って、出力画像を撮影している場合が考えられる。この場合、あまり落ち着いた状態ではないため、再生時間を短くすることが望ましい。

画像解析部２４は、例えば、撮影画像のぶれによって、携帯端末１４および出力画像の動きを判別することができる。つまり、撮影画像のぶれが大きい場合には、携帯端末１４および出力画像の動きが大きいと判別し、撮影画像のぶれが小さい場合には、両者の動きが小さいと判別する。また、携帯端末１４のジャイロセンサ等によって携帯端末１４の動きを判別することができる。これに応じて、ダイジェスト動画生成部２８は、撮影画像のぶれが大きい場合よりも、撮影画像のぶれが小さい方が、再生時間が長くなるようにダイジェスト動画データを生成する。

また、撮影画像は、フォトブックの各ページに配置された画像でもよい。
フォトブックとは、印刷物ないし電子データからなる冊子状の写真アルバムであり、ユーザが、ＰＣ（パーソナルコンピュータ）等を利用して、複数枚の画像をレイアウトして作成した複数のページを含むものである。
例えば、フォトブックの、あるページに選択画像の出力画像および通常画像の出力画像が配置されている場合に、画像撮影部３２により、フォトブックのページに配置された、通常画像の出力画像および選択画像の出力画像を同時に撮影することが考えられる。
この場合、ダイジェスト動画生成部２８は、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データからダイジェスト動画データを生成することができる。

また、撮影画像として、携帯端末１４に格納された、携帯端末１４のユーザの顔が撮影された格納画像を使用してもよい。
この場合、画像解析部２４は、格納画像に対応する格納画像データの画像解析を行う。ダイジェスト動画生成部２８は、格納画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、携帯端末のユーザが登場する部分を抜き出してダイジェスト動画データを生成することができる。

図１５に示すように、Ａさんのスマートフォンで選択画像の出力画像を撮影した場合は、Ａさん中心のダイジェスト動画を再生させ、Ｂさんのスマートフォンで選択画像の出力画像を撮影した場合は、Ｂさん中心のダイジェスト動画を再生させることができる。

また、図１６に示すように、通常画像および選択画像を含む１枚の出力画像が撮影された場合に、ダイジェスト動画生成部２８は、通常画像に対応する通常画像データ、および、通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、通常画像データを含むダイジェスト動画データを生成してもよい。つまり、ダイジェスト動画の中で通常画像が再生（表示）されるようにしてもよい。

また、各々異なる動画像データに関連付けられた２以上の選択画像データに対応する選択画像の、２以上の出力画像に基づいて、１つのダイジェスト動画データを生成してもよい。
図１７に示すように、各々異なる動画像データに関連付けられた２以上の選択画像データに対応する選択画像の、２以上の出力画像が撮影された場合に、ダイジェスト動画生成部２８は、撮影された２以上の選択画像の各々に対応する２以上の関連動画像データを組み合わせて１つのダイジェスト動画データを生成してもよい。

また、本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ コンテンツ再生システム
１２ サーバ
１４ 携帯端末
１６ プリンタ
１８ ネットワーク
２０ コンテンツ生成部
２２ 記憶部
２４ 画像解析部
２６ 管理マーカ特定部
２８ ダイジェスト動画生成部
３０ 第１転送部
３２ 画像撮影部
３４ 入力部
３６ 表示部
３８ 制御部
４０ 第２転送部
４２ タッチパネル

Claims (34)

1. サーバと、
   ネットワークを介して前記サーバに接続された携帯端末とを備え、
   前記サーバは、
   １つの動画像データまたは２以上の動画像データの各々について、前記動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは前記選択画像データの特定情報を、前記選択画像データに対応する選択画像の管理マーカとして、前記動画像データと関連付けて記憶する記憶部を備え、
   前記携帯端末は、
   前記選択画像が出力された出力画像を撮影して撮影画像データを得る画像撮影部を備え、
   前記サーバは、さらに、
   前記撮影画像データの画像解析を行って、前記撮影画像データに対応する撮影画像の管理マーカを得る画像解析部と、
   前記記憶部に記憶された選択画像の管理マーカの中から、前記撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定する管理マーカ特定部と、
   前記特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するダイジェスト動画生成部とを備え、
   前記携帯端末は、さらに、
   前記ダイジェスト動画データに対応するダイジェスト動画を再生して表示する表示部と、
   前記画像撮影部により前記出力画像が撮影された場合に、前記撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が前記表示部に再生して表示されるように制御する制御部とを備えることを特徴とするコンテンツ再生システム。
2. 前記ダイジェスト動画生成部は、前記関連動画像データから、前記特定管理マーカに対応する選択画像の撮影時刻を含む、あらかじめ設定された時間範囲の部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
3. 前記ダイジェスト動画生成部は、前記特定管理マーカに対応する選択画像が、人物中心の画像である場合、前記関連動画像データから、人物が登場する部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
4. 前記ダイジェスト動画生成部は、前記関連動画像データから、前記人物が登場する部分で、かつ、前記特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出して前記ダイジェスト動画データを生成するものである請求項３に記載のコンテンツ再生システム。
5. 前記ダイジェスト動画生成部は、前記特定管理マーカに対応する選択画像が、風景中心の画像である場合、前記関連動画像データから、人物が登場しない部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
6. 前記ダイジェスト動画生成部は、前記関連動画像データから、前記人物が登場しない部分で、かつ、前記特定管理マーカに対応する選択画像に撮影されたシーンと同じシーンの部分を抜き出して前記ダイジェスト動画を生成するものである請求項５に記載のコンテンツ再生システム。
7. 前記画像撮影部により、１つの動画像データに関連付けられた２以上の前記選択画像データに対応する選択画像が出力された出力画像が撮影された場合に、前記ダイジェスト動画生成部は、前記撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々の撮影時刻が、あらかじめ設定された時間間隔よりも近い場合、前記関連動画像データから、前記特定された２以上の特定管理マーカに対応する選択画像の最初の撮影時刻から最後の撮影時刻までの時間範囲の部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
8. 前記画像撮影部により、１つの動画像データに関連付けられた２以上の前記選択画像データに対応する選択画像が出力された出力画像が撮影された場合に、前記ダイジェスト動画生成部は、前記撮影された２以上の選択画像の各々から特定された２以上の特定管理マーカに対応する選択画像の各々に人物が撮影されている場合、前記関連動画像データから、前記特定された２以上の特定管理マーカに対応する選択画像の各々に撮影されている人物が登場する部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
9. 前記画像撮影部により、前記動画像データと関連付けられていない通常画像および前記選択画像が出力された出力画像が撮影された場合に、前記ダイジェスト動画生成部は、前記画像解析部により得られた前記通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
10. 前記画像撮影部により、前記動画像データと関連付けられていない通常画像が出力された出力画像および前記選択画像が出力された出力画像が同時に撮影された場合に、前記ダイジェスト動画生成部は、前記画像解析部により得られた前記通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
11. 前記画像撮影部により、前記動画像データと関連付けられていない通常画像が出力された出力画像および前記選択画像が出力された出力画像が順次撮影された場合に、前記ダイジェスト動画生成部は、前記画像解析部により得られた前記通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
12. 前記画像撮影部により、人物および前記選択画像が出力された出力画像が順次撮影された場合に、前記ダイジェスト動画生成部は、前記画像解析部による前記人物の人物認識から特定された特定管理マーカに関連付けられた関連動画像データから前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
13. 前記画像解析部は、前記撮影画像に撮影された人物の、顔の向き、顔の大きさ、顔の位置、顔の数のうちの少なくとも１つに基づいて、前記撮影画像が人物中心の画像なのか風景中心の画像なのかを判別するものである請求項１〜１２のいずれか１項に記載のコンテンツ再生システム。
14. 前記画像解析部は、前記撮影画像が人物中心の画像であると判別した場合、前記撮影画像に撮影された人物の人物認識を行うものであり、
    前記ダイジェスト動画生成部は、前記人物認識から特定された特定管理マーカに関連付けられた関連動画像データから、前記人物が登場する部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１３に記載のコンテンツ再生システム。
15. 前記画像解析部は、前記撮影画像が人物中心の画像であると判別した場合、さらに、前記撮影画像のシーン解析を行うものであり、
    前記ダイジェスト動画生成部は、前記画像解析部による前記人物認識および前記シーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、前記人物が登場し、かつ、前記撮影画像に撮影されたシーンと同じシーンの部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１４に記載のコンテンツ再生システム。
16. 前記画像解析部は、前記撮影画像が風景中心の画像であると判別した場合、前記撮影画像のシーン解析を行うものであり、
    前記ダイジェスト動画生成部は、前記画像解析部による前記シーン解析から特定された特定管理マーカに関連付けられた関連動画像データから、前記撮影画像に撮影されたシーンと同じシーンの部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１３に記載のコンテンツ再生システム。
17. 前記ダイジェスト動画生成部は、前記関連動画像データから、音声が含まれている部分を、前記音声が含まれていない部分よりも優先して抜き出して前記ダイジェスト動画データを生成するものである請求項１〜１６のいずれか１項に記載のコンテンツ再生システム。
18. 前記ダイジェスト動画生成部は、前記関連動画像データから、あらかじめ設定された基準画質よりも画質が高い部分を、前記基準画質よりも画質が低い部分よりも優先して抜き出して前記ダイジェスト動画データを生成するものである請求項１〜１６のいずれか１項に記載のコンテンツ再生システム。
19. 前記ダイジェスト動画生成部は、前記関連動画像データから、前記関連動画像データに対応する関連動画像を撮影した動画像撮影部が移動されながら撮影された部分を除外して前記ダイジェスト動画データを生成するものである請求項１〜１６のいずれか１項に記載のコンテンツ再生システム。
20. 前記ダイジェスト動画生成部は、前記表示部の画面サイズが大きいほど、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
21. 前記ダイジェスト動画生成部は、人物が登場しない部分よりも、前記人物が登場する部分の方が、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
22. 前記ダイジェスト動画生成部は、前記撮影画像に撮影された被写体の動きが大きいほど、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
23. 前記ダイジェスト動画生成部は、画質が低い動画像よりも、前記画質が高い動画像の方が、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
24. 前記ダイジェスト動画生成部は、前記関連動画像データの再生時間が長くなるほど、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
25. 前記ダイジェスト動画生成部は、前記撮影画像のぶれが大きい場合よりも、前記撮影画像のぶれが小さい方が、再生時間が長くなるように前記ダイジェスト動画データを生成するものである請求項１〜１９のいずれか１項に記載のコンテンツ再生システム。
26. 前記画像撮影部により、フォトブックのページに配置された、前記動画像データと関連付けられていない通常画像が出力された出力画像および前記選択画像が出力された出力画像が同時に撮影された場合に、前記ダイジェスト動画生成部は、前記画像解析部により得られた前記通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
27. 前記画像解析部は、前記携帯端末に格納され、前記携帯端末のユーザの顔が撮影された格納画像に対応する格納画像データの画像解析を行うものであり、
    前記ダイジェスト動画生成部は、前記画像解析部により得られた前記格納画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、前記携帯端末のユーザが登場する部分を抜き出して前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
28. 前記画像撮影部により、前記動画像データと関連付けられていない通常画像および前記選択画像が出力された出力画像が撮影された場合に、前記ダイジェスト動画生成部は、前記通常画像に対応する通常画像データ、および、前記画像解析部により得られた前記通常画像の管理マーカから特定された特定管理マーカに関連付けられた関連動画像データから、前記通常画像データを含む前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
29. 前記画像撮影部により、各々異なる動画像データに関連付けられた２以上の前記選択画像データに対応する選択画像が出力された２以上の出力画像が撮影された場合に、前記ダイジェスト動画生成部は、前記撮影された２以上の選択画像の各々に対応する２以上の関連動画像データを組み合わせて１つの前記ダイジェスト動画データを生成するものである請求項１に記載のコンテンツ再生システム。
30. ネットワークを介して携帯端末に接続されたサーバであって、
    １つの動画像データまたは２以上の動画像データの各々について、前記動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは前記選択画像データの特定情報を、前記選択画像データに対応する選択画像の管理マーカとして、前記動画像データと関連付けて記憶する記憶部と、
    前記携帯端末の画像撮影部により、前記選択画像が出力された出力画像を撮影して得られた撮影画像データの画像解析を行って、前記撮影画像データに対応する撮影画像の管理マーカを得る画像解析部と、
    前記記憶部に記憶された選択画像の管理マーカの中から、前記撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定する管理マーカ特定部と、
    前記特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するダイジェスト動画生成部とを備えることを特徴とするサーバ。
31. １つの動画像データまたは２以上の動画像データの各々について、前記動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは前記選択画像データの特定情報を、前記選択画像データに対応する選択画像の管理マーカとして、前記動画像データと関連付けて記憶する記憶部を備えるサーバとネットワークを介して接続された携帯端末であって、
    前記選択画像が出力された出力画像を撮影して撮影画像データを得る画像撮影部と、
    前記サーバの画像解析部が、前記撮影画像データの画像解析を行って、前記撮影画像データに対応する撮影画像の管理マーカを得、前記サーバの管理マーカ特定部が、前記記憶部に記憶された選択画像の管理マーカの中から、前記撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定し、前記サーバのダイジェスト動画生成部が、前記特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出して生成したダイジェスト動画データに対応するダイジェスト動画を再生して表示する表示部と、
    前記画像撮影部により前記出力画像が撮影された場合に、前記撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が前記表示部に再生して表示されるように制御する制御部とを備えることを特徴とする携帯端末。
32. 記憶部が、１つの動画像データまたは２以上の動画像データの各々について、前記動画像データから抽出された１以上の静止画像データの中から選択された静止画像データである選択画像データまたは前記選択画像データの特定情報を、前記選択画像データに対応する選択画像の管理マーカとして、前記動画像データと関連付けて記憶するステップと、
    画像撮影部が、前記選択画像が出力された出力画像を撮影して撮影画像データを得るステップと、
    画像解析部が、前記撮影画像データの画像解析を行って、前記撮影画像データに対応する撮影画像の管理マーカを得るステップと、
    管理マーカ特定部が、前記記憶部に記憶された選択画像の管理マーカの中から、前記撮影画像の管理マーカに対応する選択画像の管理マーカを特定管理マーカとして特定するステップと、
    ダイジェスト動画生成部が、前記特定管理マーカに関連付けられた動画像データである関連動画像データの一部を抜き出してダイジェスト動画データを生成するステップと、
    前記画像撮影部により前記出力画像が撮影された場合に、制御部が、前記撮影画像データに基づいて生成されたダイジェスト動画データに対応するダイジェスト動画が表示部に再生して表示されるように制御するステップとを含むことを特徴とするコンテンツ再生方法。
33. 請求項３２に記載のコンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラム。
34. 請求項３２に記載のコンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。

Images