JP2016058024A - コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】ＡＲ技術を利用したコンテンツを煩雑な処理を行うことなく、簡単に生成、再生、管理することができるコンテンツ管理システム等を提供する。【解決手段】コンテンツ管理システムでは、静止画像抽出部が、動画像データから注目人物の動作に基づいて静止画像データを抽出する。シーン判別部が、各々の静止画像データに対応する静止画像を含む動画像のシーンを判別する。管理マーカ登録部が、各々の静止画像データまたは静止画像の画像特徴量を、管理マーカとして、各々の静止画像に対応する動画像のシーンと紐付けて登録する。管理画像生成部が、少なくとも２つの静止画像データを含む管理画像データを生成する。【選択図】図１０

Description

本発明は、静止画像および動画像などのコンテンツを管理するコンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体に関するものである。

従来から、所定のマーカを有するプリント物等をスマートフォン等の情報端末で撮像（キャプチャ）することで、撮像されたプリント物等を情報端末の表示部に表示し、情報端末の表示部に表示されたプリント物等の表示部分において所定の動画や音楽等のコンテンツを再生する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術を利用したシステムが知られている。

また、特許文献１には、画像のライブラリを管理する方法であって、画像と画像に対応するメモリタグとを複数有するインデックスプリントと、メモリタグからの情報の読み出しや、メモリタグへの情報の書き込みを行う読み出し／書き込み装置とが開示されている。
特許文献２には、動画像データの中から静止画データを抽出する静止画抽出システムが開示されており、特許文献３には、動画像データからデータ量の小さい標準画像データを生成する画像処理装置が開示されている。

特開２００６−１２７４７６号公報 特開２００７−１８９３２４号公報 特開平９−２２４６９号公報

上述のＡＲ技術を利用したシステムは、販促物等の広告利用が中心であり、一般のユーザが、ＡＲ技術を利用したコンテンツ（ＡＲコンテンツ）を作成する試みは広くは普及していない。

また、例えば、特許文献１に開示のインデックスプリントおよび読み出し／書き込み装置と、特許文献２に開示の静止画像抽出システムまたは特許文献３に開示の画像処理装置を利用して、静止画像と動画像とを組み合わせたＡＲコンテンツを生成することは可能かもしれないが、ＡＲコンテンツの生成には、動画像データからの静止画像データの抽出、マーカの生成、静止画像データと動画像データとの関連付け等の煩雑な一連の処理が必要であり、ＡＲコンテンツの生成におけるこれらの一連の処理が、一般ユーザによるＡＲ技術の利用の妨げとなっている。

本発明の目的は、管理用のマーカの明示的な作成や管理用のマーカに対応するコンテンツの明示的な登録など、ユーザが煩雑な一連の処理を行うことなく、短時間で簡単にＡＲ技術を利用したコンテンツを生成し、再生し、管理することができるコンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体を提供することにある。

上記課題を解決するために、本発明は、管理画像と管理画像に紐付られた動画像データとからなる管理コンテンツを管理するコンテンツ管理システムであって、
動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出する運動軌跡検出部と、
注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する動作分析部と、
複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である１枚の静止画像の静止画像データを出力静止画像データとして出力する静止画像データ出力部と、
出力静止画像データ、もしくは、出力静止画像データに対応する出力静止画像の画像特徴量を、管理マーカとして、出力静止画像に対応する動画像の動画像データと紐付けて登録する管理マーカ登録部と、
出力静止画像データを含む管理画像データを生成する管理画像生成部とを備えることを特徴とするコンテンツ管理システムを提供する。

さらに、管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
撮像画像データに対応する撮像画像から管理マーカを読み取る管理マーカ読取部と、
動画像を再生する表示部と、
表示部における動画像の再生を制御する表示制御部とを備え、
撮像部により、管理画像のプリントに含まれた出力静止画像が撮像された場合に、表示制御部は、管理マーカ読取部により、撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を表示部に再生するように制御するものであることが好ましい。

さらに、動画像データを格納する格納部と、
格納部に格納された動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
管理画像生成部は、出力静止画像データとアクセスキーとを含む管理画像データを生成するものであり、
さらに、ユーザから入力された管理画像のプリントに記載されたアクセスキーを受け取る操作入力部と、
管理マーカと操作入力部を介して入力されたアクセスキーとに基づいて格納部に格納された動画像データを検索する画像データ検索部とを備え、
表示制御部は、画像データ検索部により検索された動画像データの中から、管理マーカ読取部により、撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を表示部に再生するように制御するものであることが好ましい。

また、表示制御部は、ＡＲ技術を使用して、撮像された管理画像のプリントを表示部に表示し、表示部に表示された管理画像のプリントの出力静止画像の表示部分において動画像を再生するように制御するものであることが好ましい。

また、表示制御部は、表示部の全面ないし任意のサイズのウィンドウ内において動画像を再生するように制御するものであることが好ましい。

また、本発明は、管理画像と管理画像に紐付られた動画像データとからなる管理コンテンツを管理するコンテンツ管理システムであって、
動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出する運動軌跡検出部と、
注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出する動作分析部と、
複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である２枚以上の静止画像の静止画像データを出力静止画像データとして出力する静止画像データ出力部と、
２以上の出力静止画像データの各々について、出力静止画像データに対応する出力静止画像を含む動画像のシーンを判別するシーン判別部と、
２以上の出力静止画像データの各々、もしくは、２以上の出力静止画像データに対応する２枚以上の出力静止画像の各々の画像特徴量を、管理マーカとして、２枚以上の出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録する管理マーカ登録部と、
少なくとも２つの出力静止画像データを含む管理画像データを生成する管理画像生成部とを備えることを特徴とするコンテンツ管理システムを提供する。

ここで、シーン判別部は、動画像における撮影日時の順で隣り合う２枚の出力静止画像の間の色の変化量が閾値を超えた場合に、色の変化量が閾値を超えた、隣り合う２枚の出力静止画像の間で動画像のシーンを分割し、分割された動画像のシーンの中から出力静止画像を含む動画像のシーンを判別するものであることが好ましい。

さらに、管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
撮像画像データに対応する撮像画像から管理マーカを読み取る管理マーカ読取部と、
動画像を再生する表示部と、
表示部における動画像の再生を制御する表示制御部とを備え、
撮像部により、管理画像のプリントに含まれた出力静止画像の中から１枚の出力静止画像が撮像された場合に、表示制御部は、管理マーカ読取部により、撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するものであることが好ましい。

また、撮像部により、管理画像のプリントに含まれた出力静止画像の中から２枚以上の出力静止画像が同時に撮像された場合に、表示制御部は、同時に撮像された２枚以上の出力静止画像の各々に対応する動画像のシーンを表示部に同時に再生するように制御するものであることが好ましい。

また、表示制御部は、ＡＲ技術を使用して、撮像された管理画像のプリントを表示部に表示し、表示部に表示された管理画像のプリントの出力静止画像の表示部分において動画像のシーンを再生する場合、動画像のシーンの再生が終了した出力静止画像の表示部分において何も表示しないように制御するものであることが好ましい。

また、表示制御部は、表示部の全面ないし任意のサイズのウィンドウ内において動画像のシーンを再生する場合、動画像のシーンの再生が終了した出力静止画像の表示部分を非表示にし、動画像のシーンの再生が終了していない出力静止画像の表示部分を、非表示にされた出力静止画像の表示部分にまで拡大して再生するように制御するものであることが好ましい。

また、表示制御部は、動画像のシーンの再生が終了した出力静止画像の表示部分において、再生が終了した動画像のシーンに関連のある広告を表示するように制御するものであることが好ましい。

さらに、動画像のシーンの重要度を判定する重要シーン判定部を備え、
表示制御部は、重要シーン判定部により、重要度が閾値未満であると判定された動画像のシーンが再生される出力静止画像の表示部分において、広告、もしくは、重要シーン判定部により、重要度が閾値以上であると判定された任意の動画像のシーンを再生するように制御するものであることが好ましい。

さらに、動画像データを格納する格納部と、
格納部に格納された動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
管理画像生成部は、出力静止画像データとアクセスキーとを含む管理画像データを生成するものであり、
さらに、ユーザから入力された管理画像のプリントに記載されたアクセスキーを受け取る操作入力部と、
管理マーカと操作入力部を介して入力されたアクセスキーとに基づいて格納部に格納された動画像データを検索する画像データ検索部とを備え、
表示制御部は、画像データ検索部により検索された動画像データの中から、管理マーカ読取部により、撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するものであることが好ましい。

さらに、管理画像データに含まれた静止画像データの数に応じて、管理画像データに対応する管理画像が印刷されるプリントのサイズを制御するプリント制御部を備え、
プリント制御部は、管理画像データに含まれた出力静止画像データの数が多くなるほど、管理画像が印刷されるプリントのサイズが、より大きくなるように制御するものであることが好ましい。

また、管理画像データに対応する管理画像が、一定のサイズのプリントに印刷されると仮定した場合に、管理画像のプリントに含まれる出力静止画像のサイズが閾値未満となる場合、管理画像生成部は、出力静止画像データの中から、一定のサイズの管理画像のプリントに含まれる出力静止画像のサイズが閾値以上となる数の出力静止画像データを選択し、選択された数の出力静止画像データを含む管理画像データを生成するものであることが好ましい。

また、静止画像データ抽出部、注目人物検出部、運動軌跡検出部、動作分析部、静止画像データ出力部、および、シーン判別部は、複数の動画像データの各々について処理を繰り返し行うものであり、
管理マーカ登録部は、複数の動画像データの各々に対応する出力静止画像データの中から出力静止画像データを少なくとも１つずつ選択して得られた複数の第１出力静止画像データの各々、もしくは、複数の第１出力静止画像データに対応する複数枚の第１出力静止画像の各々の画像特徴量を、第１管理マーカとして、複数枚の第１出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録し、かつ、複数の動画像データの各々について、出力静止画像データを第２出力静止画像データとして、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々、もしくは、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々に対応する第２出力静止画像の画像特徴量を、第２管理マーカとして、１枚の第２出力静止画像ないし２枚以上の第２出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するものであり、
管理画像生成部は、少なくとも２つの第１出力静止画像データを含む第１管理画像データ、および、複数の動画像データの各々について、少なくとも１つの第２出力静止画像データを含む第２管理画像データを生成するものであることが好ましい。

さらに、第１管理画像データに対応する第１管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
撮像画像データに対応する撮像画像から第１管理マーカを読み取る管理マーカ読取部と、
ユーザから入力された指示を受け取る操作入力部と、
動画像を再生する表示部と、
表示部における動画像の再生を制御する表示制御部とを備え、
撮像部により、第１管理画像のプリントに含まれた第１出力静止画像の中から１枚の第１出力静止画像が撮像された場合に、表示制御部は、管理マーカ読取部により、撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を表示部に表示するように制御するものであり、
操作入力部を介して入力された指示により、表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像が選択された場合に、表示制御部は、管理マーカ読取部により、選択された１枚の第２出力静止画像から読み取られた第２管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するものであることが好ましい。

また、表示制御部は、表示部に表示された第２管理画像に含まれた第２出力静止画像に対応する動画像のシーンの再生回数に応じて、第２出力静止画像の表示色を変えるように制御するものであることが好ましい。

さらに、動画像データを格納する格納部と、
格納部に格納された動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
管理画像生成部は、第１出力静止画像データとアクセスキーとを含む第１管理画像データを生成するものであり、
操作入力部は、ユーザから入力された第１管理画像のプリントに記載されたアクセスキーを受け取るものであり、
さらに、管理マーカと操作入力部を介して入力されたアクセスキーとに基づいて格納部に格納された動画像データを検索する画像データ検索部を備え、
表示制御部は、画像データ検索部により検索された動画像データの中から、管理マーカ読取部により、撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を表示部に表示するように制御するものであることが好ましい。

また、管理画像生成部は、第１管理画像データに含まれた第１出力静止画像データに対応する第１出力静止画像の撮影日時に応じて、第１出力静止画像の表示色を変えるものであることが好ましい。

さらに、出力静止画像に含まれた人物の顔、出力静止画像のボケ、ブレ、色、明るさのうちの少なくとも１つに基づいて、１枚の出力静止画像ないし２枚以上の出力静止画像の各々を評価して評価値を算出する画像評価部を備え、
管理マーカ登録部は、複数の動画像データの各々に対応する出力静止画像データの中から、画像評価部により算出された評価値が最も高い出力静止画像を１つずつ選択して、複数の第１出力静止画像データを得るものであることが好ましい。

また、注目人物検出部は、さらに、静止画像における注目人物の位置、静止画像における注目人物の大きさ、および、静止画像における注目人物の領域を検出するものであり、
運動軌跡検出部は、さらに、注目人物の運動軌跡の長さ、および、注目人物の移動パターンを検出するものであり、
さらに、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出する重要度判定部と、
静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出する構図分析部と、
静止画像における注目人物の領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出する画質判定部とを備え、
静止画像データ出力部は、複数枚の静止画像の中から、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である静止画像の静止画像データを出力するものであることが好ましい。

また、注目人物検出部は、さらに、静止画像における注目人物の顔の向きを検出するものであり、
さらに、注目人物検出部により検出された注目人物の顔の向きに基づいて、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正する天地補正部を備えることが好ましい。

また、表示制御部は、ＡＲ技術を使用して、撮像された管理画像のプリントを表示部に表示し、表示部に表示された管理画像のプリントの出力静止画像の表示部分において動画像のシーンを再生するように制御するものであることが好ましい。

また、表示制御部は、表示部の全面ないし任意のサイズのウィンドウ内において動画像のシーンを再生するように制御するものであることが好ましい。

また、本発明は、管理画像と管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
注目人物検出部が、複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
運動軌跡検出部が、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するステップと、
動作分析部が、注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するステップと、
静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である１枚の静止画像の静止画像データを出力静止画像データとして出力するステップと、
管理マーカ登録部が、出力静止画像データ、もしくは、出力静止画像データに対応する出力静止画像の画像特徴量を、管理マーカとして、出力静止画像に対応する動画像の動画像データと紐付けて登録するステップと、
管理画像生成部が、出力静止画像データを含む管理画像データを生成するステップとを含むことを特徴とする管理コンテンツの生成方法を提供する。

また、本発明は、上記に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
撮像部が、管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成するステップと、
管理マーカ読取部が、撮像画像データに対応する撮像画像から管理マーカを読み取るステップと、
撮像部により、管理画像のプリントに含まれた出力静止画像が撮像された場合に、表示制御部が、管理マーカ読取部により、撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法を提供する。

また、本発明は、管理画像と管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
注目人物検出部が、複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
運動軌跡検出部が、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するステップと、
動作分析部が、注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するステップと、
静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である２枚以上の静止画像の静止画像データを出力静止画像データとして出力するステップと、
シーン判別部が、２以上の出力静止画像データの各々について、出力静止画像データに対応する出力静止画像を含む動画像のシーンを判別するステップと、
管理マーカ登録部が、２以上の出力静止画像データの各々、もしくは、２以上の出力静止画像データに対応する２枚以上の出力静止画像の各々の画像特徴量を、管理マーカとして、２枚以上の出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するステップと、
管理画像生成部が、少なくとも２つの出力静止画像データを含む管理画像データを生成するステップとを含むことを特徴とする管理コンテンツ生成方法を提供する。

また、本発明は、上記に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
撮像部が、管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成するステップと、
管理マーカ読取部が、撮像画像データに対応する撮像画像から管理マーカを読み取るステップと、
撮像部により、管理画像のプリントに含まれた出力静止画像の中から１枚の出力静止画像が撮像された場合に、表示制御部が、管理マーカ読取部により、撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法を提供する。

ここで、撮像部により、管理画像のプリントに含まれた出力静止画像の中から２枚以上の出力静止画像が同時に撮像された場合に、表示制御部が、同時に撮像された２枚以上の出力静止画像の各々に対応する動画像のシーンを表示部に同時に再生するように制御するステップを含むことが好ましい。

また、本発明は、管理画像と管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
注目人物検出部が、複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
運動軌跡検出部が、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するステップと、
動作分析部が、注目人物の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するステップと、
静止画像データ出力部が、複数のフレームの静止画像データの中から、注目人物の動作に対する評価値が閾値以上である１枚ないし２枚以上の静止画像の静止画像データを出力静止画像データとして出力するステップと、
シーン判別部が、１つの出力静止画像データないし２以上の出力静止画像データの各々について、出力静止画像データに対応する出力静止画像を含む動画像のシーンを判別するステップと、
静止画像データ抽出部、注目人物検出部、運動軌跡検出部、動作分析部、静止画像データ出力部、および、シーン判別部が、複数の動画像データの各々について処理を繰り返し行うステップと、
管理マーカ登録部が、複数の動画像データの各々に対応する出力静止画像データの中から出力静止画像データを少なくとも１つずつ選択して得られた複数の第１出力静止画像データの各々、もしくは、複数の第１出力静止画像データに対応する複数枚の第１出力静止画像の各々の画像特徴量を、第１管理マーカとして、複数枚の第１出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録し、かつ、複数の動画像データの各々について、出力静止画像データを第２出力静止画像データとして、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々、もしくは、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々に対応する第２出力静止画像の画像特徴量を、第２管理マーカとして、１枚の第２出力静止画像ないし２枚以上の第２出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するステップと、
管理画像生成部が、少なくとも２つの第１出力静止画像データを含む第１管理画像データ、および、複数の動画像データの各々について、少なくとも１つの第２出力静止画像データを含む第２管理画像データを生成するステップとを含むことを特徴とする管理コンテンツ生成方法を提供する。

また、本発明は、上記に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
撮像部が、第１管理画像データに対応する第１管理画像のプリントを撮像して撮像画像データを生成するステップと、
管理マーカ読取部が、撮像画像データに対応する撮像画像から第１管理マーカを読み取るステップと、
撮像部により、第１管理画像のプリントに含まれた第１出力静止画像の中から１枚の第１出力静止画像が撮像された場合に、表示制御部が、管理マーカ読取部により、撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を表示部に表示するように制御するステップと、
表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像を選択する指示を、操作入力部を介して入力するステップと、
操作入力部を介して入力された指示により、表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像が選択された場合に、表示制御部が、管理マーカ読取部により、選択された１枚の第２出力静止画像から読み取られた第２管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法を提供する。

また、本発明は、上記に記載の管理コンテンツ生成方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の管理コンテンツ生成方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

また、本発明は、上記に記載の管理コンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の管理コンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、ユーザが煩雑な処理を行うことなく、短時間で簡単にＡＲ技術を利用したコンテンツを生成することができ、また、ＡＲ技術を利用したコンテンツを簡単に再生することができる。また、本発明によれば、ユーザがコンテンツ管理にかける労力を大幅に軽減することができる。

また、本発明によれば、管理画像のプリントに含まれた各々の出力静止画像と、動画像の各々対応するシーンとを紐付けることができるため、管理画像のプリントに含まれた出力静止画像を動画像の各々対応するシーンのインデックスとして使用することができ、管理画像のプリントに含まれた所望の出力静止画像を撮像することにより、動画像の所望のシーンを再生することができる。

また、本発明によれば、複数の動画像を１枚の第１管理画像のプリントにまとめることができるため、ユーザは、第１管理画像のプリントを閲覧することにより、複数の動画像の内容のダイジェストを瞬時に把握することができる。

本発明の一実施形態に係るコンテンツ管理システムの全体構成を示す概略図である。 図１のコンテンツ管理システムにおける情報端末１の詳細構成を示すブロック図である。 図１のコンテンツ管理システムにおける画像サーバ２の詳細構成を示すブロック図である。 管理プリントＰの一例を示す図である。 図４の管理プリントＰの生成方法を説明するフローチャートである。 （Ａ）〜（Ｅ）は、図４の管理プリントＰを生成する際のユーザ操作を説明する説明図である。 （Ａ）〜（Ｃ）は、管理プリントＰを生成する際の自動トリミングを説明する説明図である。 管理プリントＰに基づいて対応する動画像を再生する場合のフローチャートである。 ユーザによってトリミングされた静止画像を有する管理プリントＰと、再生される動画像との関係を説明する説明図である。 本発明の別の実施形態に係る画像サーバの詳細構成を示すブロック図である。 動画像のシーンを分割する様子を表す概念図である。 本発明の画像処理装置の構成を表す一実施形態のブロック図である。 （Ａ）〜（Ｃ）の左側は、注目人物の運動軌跡を表す一例の概念図、右側は、注目人物の動作履歴画像を表す一例の概念図である。 （Ａ）は、左に９０°回転された静止画像を表す一例の概念図、（Ｂ）は、（Ａ）に示す静止画像を右に９０°回転させて天地が補正された静止画像を表す一例の概念図である。 図１２に示す画像処理装置の動作を表す一例のフローチャートである。 動画像から全てのフレームの静止画像が抽出された様子を表す一例の概念図である。 図１６に示す全てのフレームの静止画像の各々から検出された人物の領域が枠で囲まれた様子を表す一例の概念図である。 動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。 図１６に示す全てのフレームの静止画像の中から、総合評価が閾値以上である静止画像に星印が付与された様子を表す一例の概念図である。 管理画像のプリントに含まれた出力静止画像の中から１枚の出力静止画像が撮像される様子を表す概念図である。 管理画像のプリントに含まれた出力静止画像の中から２枚の出力静止画像が同時に撮像される様子を表す概念図である。 第１管理画像のプリントに含まれた第１出力静止画像の中から１枚の第１出力静止画像が撮像され、続いて、表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像が選択される様子を表す概念図である。

本発明に係るコンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

図１は、本発明の一実施形態に係るコンテンツ管理システムの全体構成を示す概略図であり、図２は、図１に示した情報端末１の詳細構成を示す説明図であり、図３は、図１に示した画像サーバ２の詳細構成を示す説明図であり、図４は、図１に示したコンテンツ管理プリント（以下、管理プリントという）Ｐの詳細構成を示す説明図である。
本発明の一実施形態に係るコンテンツ管理システムは、管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツを管理するものであり、図１に示したように、少なくとも１つの情報端末１と、画像サーバ２と、情報端末１と画像サーバ２とを相互に接続する通信回線３と、通信回線３に接続されたプリンタ４と、プリンタ４によって出力された管理プリントＰとを備える。

情報端末１は、例えば、スマートフォン、タブレットＰＣ、ノートＰＣ等であり、有線または無線によって通信回線３に接続される。
また、画像サーバ２は、例えば、通信回線３に接続されたネットワークサーバであり、情報端末１からの指示に基づいて種々のデータ処理を行うものである。
通信回線３は、例えば、インターネット回線であり、情報端末１と画像サーバ２との間を相互に接続し、双方向の通信を可能とするものである。

また、プリンタ４は、例えば、通信回線３に接続されたネットワークプリンタであり、情報端末１等からの出力指示に基づいて画像サーバ２から画像データを取得し、出力指示と画像データとに基づいて管理プリントＰを印刷するものである。なお、プリンタ４の代わりとして、画像データに基づいて画面上に画像を表示する表示装置が通信回線３に接続されていてもよく、また、プリンタ４と表示装置とがそれぞれ通信回線３に接続されていてもよい。
管理プリントＰは、コンテンツ管理マーカ（以下、管理マーカという）として登録された静止画像と、アクセスキーとを有するコンテンツ管理画像（以下、管理画像という）を画像商材として所定の媒体に印刷したものである。ここで画像商材とは、フォトブック、デジカメプリント、ポストカードまたはコラージュ等であり、有償と無償とを問わない。

図２は、図１に示したコンテンツ管理システムの情報端末１の詳細構成を示すブロック図である。
図２に示すように、情報端末１は、撮像部１１と、撮像部１１から順次接続される管理マーカ読取部１２と端末データ送受信部１３とを有する。また、情報端末１は、撮像部１１と管理マーカ読取部１２とが接続する表示制御部１４を有し、表示制御部１４が接続する表示部１５を有する。また、情報端末１は、撮像部１１、管理マーカ読取部１２、端末データ送受信部１３、および表示制御部１４のそれぞれに接続する端末制御部１６を有し、端末制御部１６には、操作入力部１７が接続する。また、情報端末１では、表示部１５と操作入力部１７とがタッチパネル１８として一体として形成されてもよい。

撮像部１１は、図示しない光学レンズ等の撮像光学系と、ＣＣＤセンサやＣＭＯＳセンサ等の図示しない撮像素子とを備え、ユーザの指示に基づいて撮像を行い撮像画像データを出力する。なお、本実施形態の撮像部１１は、管理プリントＰの静止画像Ｉを撮像（キャプチャ）し、静止画像Ｉを含む撮像画像データを出力する。

管理マーカ読取部１２は、撮像画像データに基づく撮像画像から、静止画像Ｉを検出し、所定のアルゴリズムに基づいて静止画像Ｉから管理マーカを読み取り、管理マーカを出力する。ここで、管理マーカとは、所定のアルゴリズムによって静止画像Ｉから読み取られる静止画像Ｉの特徴量であり、例えば、静止画像Ｉに映った撮影対象のエッジ情報等が挙げられる。

端末データ送受信部１３は、通信回線３を介して画像サーバ２やプリンタ４等へデータを送信し、また、通信回線３を介して画像サーバ２やプリンタ４等からデータを受信するものである。送受信されるデータとしては、静止画像データおよび動画像データ、情報端末１の操作入力部１７において入力されたユーザからの指示、ならびに情報端末１および画像サーバ２からの応答などが挙げられる。

表示制御部１４は、端末制御部１６の指示に基づいて、表示部１５を制御するものであり、表示部１５に、静止画像または動画像や、所定の操作入力に用いられる画像を表示させる。
ここで、表示制御部１４は、動画像を表示部１５に再生させる場合、ＡＲ技術を使用して再生（ＡＲ再生）させてもよいし、ＡＲ技術を使用せず再生（通常再生）させてもよい。表示制御部１４は、動画像をＡＲ再生させる場合、撮像（キャプチャ）された管理プリントＰを表示部１５に表示し、表示部１５に表示された管理プリントＰの静止画像Ｉの表示部分において動画像を再生するように制御する。また、表示制御部１４は、動画像を通常再生させる場合、表示部１５の全面ないし任意のサイズのウィンドウ内において動画像を再生するように制御する。
表示部１５は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイ等によって構成され、表示制御部１４からの指示により静止画像データに基づく静止画像、動画像データに基づく動画像、および所定の操作入力に用いられる画像等を表示する。

端末制御部１６は、ユーザの指示または図示しないメモリに記録された所定のプログラム等に基づいて、情報端末１の各部を制御するものである。
操作入力部１７は、例えば、ボタン、キーボード、マウス等によって構成され、ユーザによる入力を入力信号として端末制御部１６へ出力するものである。なお、上述の表示部１５と操作入力部１７とは、タッチパネルによって一体として構成されてもよく、本実施形態では、表示部１５と操作入力部１７とがタッチパネル１８により構成される。この場合、操作入力部１７は、液晶ディスプレイ等に表示された操作画像と、表示部１５の上側に設置されたタッチセンサとによって構成される。

図３は、図１に示したコンテンツ管理システムの画像サーバ２の詳細構成を示すブロック図である。
図３に示すように、画像サーバ２は、サーバデータ送受信部２１と、サーバデータ送受信部２１から順次接続される静止画像生成部２２、静止画像選択部２３、静止画像編集部２４、管理マーカ登録部２５、およびデータ格納部２６を有し、サーバデータ送受信部２１と静止画像選択部２３とが相互に接続され、サーバデータ送受信部２１がデータ格納部２６に接続する。また、画像サーバ２は、データ格納部２６に接続するアクセスキー発行部２７と、静止画像編集部２４とアクセスキー発行部２７とに接続され、データ格納部２６に接続する管理画像生成部２８と、管理画像生成部２８に接続され、サーバデータ送受信部に接続する管理画像トリミング部２９と、サーバデータ送受信部２１とデータ格納部２６とに相互に接続する画像データ検索部３０とを有する。また、画像サーバ２は、サーバデータ送受信部２１、静止画像選択部２３、静止画像編集部２４、管理マーカ登録部２５、アクセスキー発行部２７、管理画像生成部２８、管理画像トリミング部２９および画像データ検索部３０のそれぞれに接続するサーバ制御部３１を有する。

サーバデータ送受信部２１は、通信回線３を介して情報端末１等からデータを受信し、通信回線３を介して情報端末１またはプリンタ４等へデータを送信するものである。送受信されるデータとしては、上述と同様、静止画像データおよび動画像データ、情報端末１の操作入力部１７において入力されたユーザからの指示、ならびに情報端末１および画像サーバ２からの応答などが挙げられる。

静止画像生成部２２は、動画像データに基づく動画像から少なくとも１つの静止画像を生成し、少なくとも１つの静止画像データを出力するものである。なお、動画像が極短時間である等の条件が無ければ、通常は複数の静止画像が生成され、複数の静止画像データが出力される。静止画像生成部２２における静止画像の生成は、例えば、動画像の各フレームを構成する静止画像を解析し、静止画像の色味、明るさ、ボケやブレ等を検出し、例えば、色味や明るさが大きく変わる前後のフレームに対応する静止画像や、適正露出によりボケていない静止画像やぶれていない静止画像を抽出することで行われる。また、動画像において人物の顔の大きさや向き、顔の表情（笑顔、泣き顔等）を検出し、それらに基づいて静止画像を抽出してもよい。さらに、動画像に音声が付属している場合には、音声の大きくなった時刻（タイムコード）の前後の動画像から静止画像を抽出してもよい。上述の方法で動画像から静止画像を抽出することで、動画像の代表的なシーンを静止画像として抽出することができる。

静止画像選択部２３は、静止画像生成部２２で生成された少なくとも１つの静止画像データから、１つの静止画像データをユーザに選択させるものであり、例えば、少なくとも１つの静止画像データのサムネイル画像データを生成して、サムネイル画像データをサーバデータ送受信部２１から情報端末１へ送信し、情報端末１の表示部１５で少なくとも１つの静止画像のサムネイル画像を表示させ、ユーザに選択させるものである。情報端末１において選択されたサムネイル画像の情報は、情報端末１の端末データ送受信部１３から画像サーバ２のサーバデータ送受信部２１を介して、静止画像選択部２３へ送信される。静止画像選択部２３は、選択されたサムネイル画像の情報に基づいて、少なくとも１つの静止画像データから１つの静止画像データを選択し、選択された静止画像データを選択静止画像データとして出力する。なお、サムネイル画像データでなく、静止画像データそのものを情報端末１へ送信してもよい。

静止画像編集部２４は、静止画像選択部２３から出力された選択静止画像データに基づく選択静止画像に、ユーザの指示に基づいて背景フレームの設定、色補正等の画像補正、トリミング、拡大・縮小、回転等の編集処理を行うものであり、例えば、選択静止画像データをサーバデータ送受信部２１を介して情報端末１に送信し、情報端末１の表示部１５で選択静止画像を表示させ、ユーザに選択静止画像の編集処理を入力させるものである。ユーザから操作入力部１７に入力された背景フレーム、画像補正、トリミング、拡大・縮小、回転等の編集処理の情報は、情報端末１の端末データ送受信部１３から画像サーバ２のサーバデータ送受信部２１を介して、静止画像編集部２４へ送信される。静止画像編集部２４は、入力された編集処理の情報に基づいて選択静止画像の編集処理を行い、編集静止画像データとして出力する。なお、静止画像編集部２４において選択静止画像の編集処理を行うのではなく、情報端末１において選択静止画像の編集処理を行って編集静止画像データを生成し、情報端末１から編集静止画像データを画像サーバ２へ送信してもよい。また、静止画像編集部２４における静止画像の編集処理は必須ではなく、何ら編集処理を行うことなく取得した静止画像データをそのまま出力してもよい。

管理マーカ登録部２５は、静止画像編集部２４から出力された編集静止画像データに基づく編集静止画像を管理マーカとして登録するものである。例えば、管理マーカ登録部２５は、所定のアルゴリズムに基づいて編集静止画像を解析し、編集静止画像内のエッジの情報やエッジの位置情報等の特徴量を算出し、その特徴量を編集静止画像の管理マーカとして、対応する動画像データと紐付けて登録する。管理マーカが動画像データと紐付けて登録されることで、管理マーカを検索条件としてデータ格納部２６に格納された動画像データを検索することができる。

データ格納部２６は、静止画像データ、動画像データおよびこれらに関連する情報等を格納するものであり、例えば、ＨＤＤやＳＳＤ等の大容量の記録媒体によって構成される。動画像データ、管理画像データ等は、管理マーカに紐付けられ、データ格納部２６に格納される。

アクセスキー発行部２７は、管理画像の出力指示を受けてアクセスキーを発行し、アクセスキーを出力する。ここでアクセスキーは、データ格納部２６に格納された対応する動画像データにアクセスするための情報であり、例えば、数字やアルファベット等からなる所定の文字列によって構成される。情報端末１の管理マーカ読取部１２による管理マーカの読み取りは、撮像部１１によって撮像された撮像画像に基づくものであり、撮像条件等によって、管理マーカが十分に読み取れない場合や、管理マーカを誤って読み取ってしまう場合も考えられる。そのため、アクセスキーによって、検索対象となる動画像データを予め限定しておくことで、管理マーカによる動画像データの誤検出を防ぐことができる。なお、アクセスキーは動画像データをアップロードしたユーザによって一意に決定されるものであり、アクセスキーによって、管理マーカによって検索される動画像データの範囲が、一ユーザによってアップロードされた動画像データの範囲に限定される。
また、アクセスキー発行部２７は、例えば、上述の所定の文字列の情報を有するバーコードや二次元コード等の画像データをアクセスキーとして出力してもよい。管理画像の出力指示としては、ユーザからの管理画像の印刷された管理プリントの注文等が挙げられる。

管理画像生成部２８は、静止画像編集部２４から出力された編集静止画像データと、アクセスキー発行部２７から出力されるアクセスキーとに基づいて管理画像を生成し、管理画像データを出力する。管理画像データは、対応する動画像データと同様に、管理マーカと紐付けられ、データ格納部２６に格納される。なお、管理マーカは、データ格納部２６と異なる格納部に格納されていてもよい。例えば、データ格納部２６と異なる格納部において、管理マーカと動画像データへのアクセス情報とが紐付けられて格納されており、管理マーカによって動画像データへのアクセス情報を取得し、取得したアクセス情報に基づいてデータ格納部２６に格納された動画像データへアクセスする構成が考えられる。
管理画像トリミング部２９は、管理画像の出力指示を受け、その出力媒体に応じて管理画像の自動トリミングを行ってトリミング済み管理画像を生成し、トリミング済み管理画像データを出力するものである。なお、出力媒体としては、例えば、Ｌ、２Ｌ、ＤＳＣ、ＫＧなどのサイズの写真プリントや、所定のフレームサイズを有するフォトブック等が挙げられる。

画像データ検索部３０は、管理マーカとアクセスキーとに基づいてデータ格納部２６を検索し、管理画像に紐付けられた動画像データを取得するものである。画像データ検索部３０は、アクセスキーに基づいて検索を行う動画像データの範囲を限定し、限定された動画像データの範囲内で管理マーカに基づいて動画像データを検索し、動画像データを特定することで、動画像データの誤検出を防ぐとともに動画像データへのアクセス時間を短縮することができる。
サーバ制御部３１は、情報端末１からのユーザの指示または図示しないメモリに記録された所定のプログラム等に基づいて、画像サーバ２の各部を制御するものである。

図４は、管理プリントＰの一例を示す模式図である。管理プリントＰは、動画像から生成され、動画像に紐付けられた静止画像ＩとアクセスキーＫと有する管理画像を画像商材として所定の媒体に印刷したものである。
また、静止画像Ｉは、上述のとおりユーザによって選択され、ユーザによって編集処理された編集済み静止画像であり、アクセスキーＫは、上述のとおり静止画像Ｉに紐付けられた動画像データへアクセスするための情報であり、ここでは１０桁の文字列によって構成される。

次に、図１のコンテンツ管理システムにおいて、管理プリントＰを生成するための動作を説明する。図５は、管理プリントＰを出力する動作のフローチャートであり、図６（Ａ）〜（Ｅ）は、主に、管理プリントＰを出力する際に、情報端末１のタッチパネル１８に表示される操作画面の画面遷移を示す説明図である。
まず、ステップＳ１１として、情報端末１から画像サーバ２へ動画像データをアップロード（送信）する。ユーザは、情報端末１の表示部１５に表示された図６（Ａ）に示す操作画面を確認し、タッチパネル１８を操作して、情報端末１の図示しないメモリに記憶された動画像データの送信を指示する。端末制御部１６は、ユーザからの動画像データの送信指示を受けて端末データ送受信部１３を制御し、図示しないメモリに記憶された動画像データを端末データ送受信部１３から通信回線３を介して画像サーバ２へ送信する。

動画像データが画像サーバ２へ送信されると、画像サーバ２のサーバデータ送受信部２１は、動画像データを受信し、動画像データをデータ格納部２６へ格納するとともに、動画像データを静止画像生成部２２へ出力する。
ステップＳ１２として、静止画像生成部２２は、取得した動画像データに基づいて少なくとも１つの静止画像データを生成し、少なくとも１つの静止画像データを静止画像選択部２３へ出力する。ここでは、動画像の代表画像として、例えば、山の画像、自動車の画像、船の画像、親子の画像等が静止画像として生成され、静止画像データとして出力される。

静止画像選択部２３は、上述の複数の静止画像データを取得して、複数の静止画像データに対応する複数のサムネイル画像データを生成し、複数のサムネイル画像データをサーバデータ送受信部２１を介して情報端末１へ送信する。情報端末１は、端末データ送受信部１３で複数のサムネイル画像データを受信し、複数のサムネイル画像を表示制御部１４を介してタッチパネル１８に選択可能に表示する。図６（Ｂ）は、タッチパネル１８に選択可能に表示されたサムネイル画像の一覧である。サムネイル画像としては、山の画像（５枚）、自動車の画像（２枚）、海の画像（１枚）、親子の画像（１枚）が表示される。

ステップＳ１３として、ユーザは、タッチパネル１８を操作して、タッチパネル１８に表示されたサムネイル画像の１つを選択することで、動画像から生成された複数の静止画像のうち、１つの静止画像を選択する。ユーザによって選択された静止画像の情報は、端末制御部１６を介して端末データ送受信部１３から画像サーバ２へ送信される。画像サーバ２のサーバデータ送受信部２１は、選択された静止画像の情報を受信し、静止画像選択部２３へ出力する。また、静止画像選択部２３は、選択された静止画像の情報に基づいて少なくとも１つの静止画像のうち、１つの静止画像を選択し、選択された静止画像の画像データを選択静止画像データとして静止画像編集部２４へ出力する。
ここでは、上述の親子の画像が選択され、親子の画像の静止画像データが選択静止画像データとして出力される。

静止画像編集部２４は、静止画像選択部２３から出力された選択静止画像データを、サーバデータ送受信部２１を介して情報端末１へ送信する。情報端末１は、端末データ送受信部１３で選択静止画像データを受信し、選択静止画像データに基づく選択静止画像を表示制御部１４を介してタッチパネル１８に編集可能に表示する。
ステップＳ１４として、ユーザは、タッチパネル１８を操作して、タッチパネル１８に表示された選択静止画像を編集し、編集画像データを生成する。ユーザによって行われる編集処理としては、例えば、図６（Ｃ）に示すように、選択静止画像の背景となる背景フレームの選択や、図６（Ｄ）に示すように、選択静止画像に対する画像補正、トリミング、拡大・縮小、回転等の処理が挙げられる。選択静止画像に対する編集処理の情報は、端末制御部１６を介して端末データ送受信部１３から画像サーバ２へ送信される。画像サーバ２のサーバデータ送受信部２１は、編集処理の情報を受信し、編集処理の情報を静止画像編集部２４へ出力する。また、静止画像編集部２４は、編集処理の情報に基づいて選択静止画像を編集し、編集処理のなされた選択静止画像の画像データを編集静止画像データとして管理マーカ登録部２５および管理画像生成部２８へそれぞれ出力する。

また、管理マーカ登録部２５は、編集静止画像データを取得し、ステップＳ１５として、編集静止画像データに基づく編集静止画像を管理マーカとして登録する。具体的には、所定のアルゴリズムに基づいて、編集静止画像を画像解析することで編集静止画像の画像特徴量を算出し、算出された画像特徴量を管理マーカとして、データ格納部２６に格納された対応する動画像データと紐付けする。管理マーカと動画像データを紐付けてデータ格納部２６に格納することで、ユーザは、管理マーカに基づいて動画像データを検索することができる。

次に、ステップＳ１６として、ユーザが、情報端末１のタッチパネル１８を操作して、管理プリントＰの出力指示を出す。具体的には、図６（Ｅ）に示すように、ユーザにより管理プリントＰのプリントサイズやプリント枚数等を設定され、出力指示がなされる。
出力指示がされると、端末データ送受信部１３は、画像サーバ２に対して管理プリントＰの出力指示を送信し、画像サーバ２のサーバデータ送受信部２１は、情報端末１から管理プリントＰの出力指示を受信し、サーバ制御部３１へ出力指示を出力する。

サーバ制御部３１は、アクセスキー発行部２７に対して、管理プリントＰに対応する動画像データへのアクセスキーの発行指示を出す。アクセスキー発行部２７は、ステップＳ１７として、アクセスキーの発行指示に基づいて、動画像データへのアクセスキーを発行し、管理画像生成部２８へアクセスキーを出力する。

また、ステップＳ１８として、管理画像生成部２８は、アクセスキー発行部２７からアクセスキーを取得し、また、静止画像編集部２４またはデータ格納部２６から編集静止画像データを取得して、編集静止画像とアクセスキーとが表示された管理画像を生成し、管理画像データをデータ格納部２６および管理画像トリミング部２９へ出力する。なお、データ格納部２６では、管理画像データは動画像データ等と対応づけて格納される。

また、ステップＳ１９として、管理画像トリミング部２９は、サーバ制御部３１から取得した管理プリントＰの出力指示に基づいて、管理画像データに基づく管理画像に所定のトリミング処理を行い、トリミング済み管理画像データを出力する。
なお、表１に示すように、プリント画像のサイズとアスペクト比との関係は、１：１．３４〜１：１．５０の範囲となっている。

そして、これらのいずれのサイズの媒体に管理画像がプリントされたとしても管理マーカである編集済み静止画像やアクセスキーが切られることなく管理画像をプリントすることができるように、管理画像生成部２８で生成される管理画像ＰＩは、図７（Ａ）に示すように、上下３．０％、左右２．３％のマージンをとって、編集静止画像およびアクセスキーの配置エリアＡが設定されており、管理画像ＰＩのアスペクト比は１：１．４９に設定される。
例えば、ＤＳＣサイズの媒体に管理画像ＰＩを印刷する場合には、図７（Ｂ）に示すように、管理画像トリミング部２９は、ＤＳＣサイズのアスペクト比を持つフレームＦ−ＤＳＣによって管理画像ＰＩをトリミングし、また、例えば、ＫＧサイズの媒体に管理画像ＰＩを印刷する場合には、図７（Ｃ）に示すように、管理画像トリミング部２９は、ＫＧサイズのアスペクト比を持つフレームＦ−ＫＧによって管理画像ＰＩをトリミングする。管理画像トリミング部２９によってトリミングされたトリミング済み管理画像は、トリミング済み管理画像データとして、サーバデータ送受信部２１へ出力される。

サーバデータ送受信部２１は、管理画像トリミング部２９からトリミング済み管理画像データを取得し、サーバ制御部３１の指示に基づいて、通信回線３を介して接続されたプリンタ４へ管理プリントの出力指示とトリミング済み管理画像データとを送信する。

プリンタ４は、画像サーバ２よりトリミング済み管理画像データと、管理プリントＰの出力指示とを受信し、ステップＳ２０として、出力指示に応じた所定のサイズの媒体にトリミング済み管理画像データに基づく管理画像をプリントする。
以上より、ユーザは、動画像データをアップロードし、動画像データに基づいて自動生成された少なくとも１つの静止画像を選択し、静止画像の出力指示を行うだけで（ここでは、静止画像の印刷された画像商材の注文を行うだけで）、短時間で簡単に動画像と静止画像とに基づく管理コンテンツを生成することができる。

次に、図１のコンテンツ管理システムにおいて、管理プリントＰに基づいて管理コンテンツを再生するための動作を説明する。図８は、管理コンテンツの再生フローを示すフローチャートである。
ステップＳ２１として、ユーザは、管理プリントＰに印刷されたアクセスキーＫを確認し、情報端末１のタッチパネル１８からアクセスキーＫを入力する。

次に、ステップＳ２２として、ユーザは、情報端末１を操作して、撮像部１１により管理プリントＰを撮像（キャプチャ）する。撮像（キャプチャ）された管理プリントＰは、情報端末１のタッチパネル１８に表示される。
管理プリントＰの静止画像部分が撮像されると、情報端末１の管理マーカ読取部１２は、ステップＳ２３として、撮像部１１から出力された撮像画像データに基づく撮像画像を所定のアルゴリズムに基づいて画像解析し、撮像画像に映る静止画像Ｉから管理マーカを読み取る。

情報端末１は、続くステップＳ２４として、上述のアクセスキーＫと上述の管理マーカとを画像サーバ２へ送信し、画像サーバ２は、情報端末１から送信されたアクセスキーＫと管理マーカとを受信して、画像データ検索部３０によってアクセスキーＫと管理マーカとに基づいてデータ格納部２６に格納された複数の動画像データを検索する。具体的には、画像データ検索部３０は、アクセスキーＫによって、検索対象となる複数の動画像データを限定し、管理マーカによって限定された範囲内で動画像データの検索を行う。

検索された動画像データは、サーバデータ送受信部２１を介して情報端末１へ送信され、情報端末１は、端末データ送受信部１３において、動画像データを受信する。
最後に、ステップＳ２５として、情報端末１は、タッチパネル１８に表示された管理プリントＰの静止画像Ｉの表示部分において、動画像データに基づいて動画像を再生する。

以上より、ユーザは、情報端末１において管理プリントＰに記載されたアクセスキーＫを入力し、管理プリントＰを撮像するだけで、管理プリントＰに印刷された静止画像に対応する動画像の再生をすることができる。

なお、図４に示したアクセスキーＫは、１０ケタの数字であるが、アクセスキーＫを二次元コードやバーコード等とし、情報端末１の撮像画像から二次元コードやバーコード等を読み取ることで、ユーザによるアクセスキーＫの入力を省略してもよい。

また、上述の一実施形態に係るコンテンツ管理システムでは、背景フレームの設定、色補正等の画像補正、トリミング、拡大・縮小、回転等、選択された静止画像データに基づく選択静止画像の編集処理を行っているが、上述の編集処理は必須の処理ではなく、静止画像編集部２４は、何ら編集処理を行わず選択静止画像データを管理マーカ登録部２５および管理画像生成部２８へそれぞれ出力してもよく、また、本発明のコンテンツ管理システムは、静止画像編集部２４自体を備えなくてもよい。

また、静止画像選択部２３における静止画像の選択や、静止画像編集部２４における静止画像の編集処理に関連して、情報端末１は、これら静止画像の選択や静止画像の編集処理に対応した動画像の再生を行ってもよい。
具体的には、図９に示すように、選択された静止画像Ｓにおいて、点線Ｔで囲まれた部分のトリミングを行って、管理プリントＰを作成した場合、静止画像選択部２３は、選択された静止画像に対応する動画像のフレームのタイムコードを記録しておき、情報端末１によって対応する動画像を再生する際、表示制御部１４は、上述のタイムコードに基づいて、選択された静止画像と同じフレームから動画像の再生を行ってもよい。
また、静止画像編集部２４は、更にトリミングを行った点線Ｔの情報を記録しておき、情報端末１によって対応する動画像を再生する際、表示制御部１４は、上述のタイムコードと、上述のトリミングの情報とに基づいて、選択された静止画像と同じフレームで、かつ、トリミングされた点線Ｔの範囲を拡大して動画像の再生を行ってもよい。

さらに、トリミングされた範囲を画像解析し、トリミングされた範囲に映る人物、動物、乗り物等の動きに追従するように動画像の再生を行ってもよい。具体的には、上述の人物等が表示画面の中心に位置するように動画像をトリミングしつつ再生を行ってもよい。

また、上述の実施形態に係るコンテンツ管理システムでは、クライアント側である情報端末１とサーバ側である画像サーバ２と役割を分けて説明したが、例えば、情報端末１において管理マーカ読取部１２を設けず、情報端末１から撮像画像データを画像サーバ２へ送信し、画像サーバ２の管理マーカ登録部２５が管理マーカ読取部１２として撮像画像データに基づく撮像画像から管理マーカを読み取ってもよく、また、例えば、画像サーバ２において、静止画像編集部２４を設けず、画像サーバ２から選択静止画像データを情報端末１へ送信し、情報端末１において選択静止画像の編集処理を行ってもよい。情報端末１および画像サーバ２の各部の構成は、情報端末１および画像サーバ２のいずれに配置してもよい。

上述の管理マーカは、静止画像自体または所定のアルゴリズムによって静止画像から抽出できる静止画像の特徴量であるが、これらに限定されず、静止画像に紐付けられた動画像データの格納場所やサイズを特定できるものであればどのような情報であってもよい。
また、上述の管理マーカに関連して、上述の実施形態では管理マーカを格納部等に格納しているが、管理マーカそのものを格納しておくのではなく、例えば、ユーザが選択した静止画像が動画像のいずれのフレームから抽出されたものであるか、いずれのサイズで抽出されたものであるか、または、管理マーカがどのように生成されたものであるか、もしくはどのように特定されたものであるか等の管理マーカの生成、抽出に関連する情報を格納しておいてもよい。管理マーカ自体は、これらの管理マーカの生成、抽出に関連する情報に基づいて適宜生成することができるためである。

上述のアクセスキーは、所定の文字列や、所定の文字列の情報を有するバーコードや二次元コードからなるが、これら構成に限定されず、例えば、ＩＣタグを画像商材に埋め込んでおき、ＩＣタグにアクセスキーの情報を入力し、情報端末によってＩＣタグを読み取ることでアクセスキーの入力を行ってもよく、また、電子透かしとしてアクセスキーの情報を管理画像に埋め込んでおき、情報端末によって電子透かしを読み取ることでアクセスキーの入力を行ってもよい。管理画像へのアクセスキーの埋め込みや管理画像からのアクセスキーの取得には、種々の公知の技術を利用することができ、ユーザから認識されない構成、またはユーザから認識されにくい構成としてもよい。

また、上述のアクセスキーは、動画像データをアップロードしたユーザによって一意に決定されるものであるが、これに限定されず、例えば、動画像データの管理フォルダ単位でアクセスキーを発行してもよく、また、例えば、動画像データに関連するＳＮＳ上のコミュニティ単位等でアクセスキーを発行してもよい。本発明のコンテンツ管理システムでは、コンテンツの管理範囲や管理方法に応じてアクセスキーを選択的に発行することができる。

また、上述の動画像および静止画像は、２Ｄのコンテンツだけでなく、３Ｄのコンテンツであってもよい。

また、本発明に係るコンテンツ管理システムは、アクセスキーと静止画像とを有する管理画像によって動画像データを管理するといった観点からも有用である。
ユーザは、動画像データの格納先等を何ら意識することなく、管理画像を有する管理プリントから、対応する動画像データに迅速にアクセスすることができる。さらに、上述のとおり、管理画像と動画像データのタイムコードとが関連付けられていれば、ユーザは、動画像を操作することなく、管理プリントに映る管理画像に対応するシーンを瞬時に呼び出すことができる。

次に、動画像から自動抽出された複数枚の静止画像の静止画像データを含む管理画像データを生成し、管理画像のプリントに含まれた静止画像を撮像して、対応する動画像のシーンを再生するコンテンツ管理システムについて説明する。
本実施形態のコンテンツ管理システムの構成は、画像サーバ２を除いて、図１〜３に示すコンテンツ管理システムと同じであるから、以下、本実施形態の画像サーバについて説明する。

図１０は、本発明の別の実施形態に係る画像サーバの詳細構成を示すブロック図である。同図に示す本実施形態の画像サーバ３２は、図３に示す画像サーバ２において、静止画像生成部２２および静止画像選択部２３の代わりに静止画像抽出部３３を備えている。また、画像サーバ３２は、図３に示す画像サーバ２において、さらに、画像評価部３４と、シーン判別部３５と、重要シーン判定部３６と、プリント制御部３７とを備えている。

静止画像抽出部３３は、動画像データから複数のフレームの静止画像データを抽出し、抽出された複数のフレームの静止画像データの中から、ベストショットのシーン（動画像に撮影された人物の動作を好適に表すシーン）に対応する２枚以上の静止画像の静止画像データを自動で抽出するものである。静止画像抽出部３３の詳細については後述する。

続いて、画像評価部３４は、静止画像抽出部３３により自動抽出された２以上の静止画像データに対応する複数枚の静止画像の各々を評価して評価値を算出するものである。

画像評価部３４は、例えば、静止画像に含まれた人物の顔、静止画像のボケ、ブレ、色、明るさのうちの少なくとも１つに基づいて、静止画像を評価することができる。例えば、人物の顔の位置が、力静止画像の中央部である、人物の顔のサイズが閾値以上である、ボケ、ブレの程度が閾値未満である、色や明るさが一定範囲内である等の場合に、評価値が高くなるように算出する。

続いて、シーン判別部３５は、静止画像抽出部３３により抽出された２以上の静止画像データの各々について、静止画像データに対応する静止画像を含む動画像のシーンを判別するものである。

シーン判別部３５は、例えば、図１１に示すように、動画像における撮影日時の順で隣り合う２枚の静止画像の間の色の変化量が閾値を超えた場合に、動画像のシーンが変化したと判断し、色の変化量が閾値を超えた、隣り合う２枚の静止画像の間で動画像のシーンを分割する。これにより、動画像を複数のシーンに分割することができる。
同図に示す例では、動画像から抽出された複数枚の静止画像が、左から右へ、かつ、上から下へ向かうに従って、撮影日時が古いものから順次新しいものとなる順序で並べられ、分割された各々の動画像のシーンが、異なる枠で囲んで示されている。
そして、分割された動画像の複数のシーンの中から、静止画像抽出部３３により抽出された２以上の静止画像データの各々に対応する静止画像を含む動画像のシーンを判別する。

続いて、重要シーン判定部３６は、シーン判別部３５により判別された動画像のシーンの重要度を判定するものである。

重要シーン判定部３６は、例えば、動画像のシーンの長さ（撮影時間）、動画像のシーンの出現頻度（シーンの類似度）、再生回数等に基づいて、動画像のシーンの重要度を算出することができる。例えば、動画像のシーンの長さが長いほど、動画像のシーンの出現頻度が高いほど、重要度が高いと判定する。また、再生回数が多い動画像のシーンであるほど、重要度が高いと判定する。

続いて、プリント制御部３７は、管理画像データに含まれた静止画像データの数に応じて、管理画像データに対応する管理画像が印刷されるプリントのサイズを制御するものである。

プリント制御部３７は、例えば、管理画像データに含まれた静止画像データの数が多くなるほど、管理画像が印刷されるプリントのサイズが、より大きくなるように制御することができる。

次に、静止画像抽出部３３について説明する。

図１２は、静止画像抽出部の構成を表す一実施形態のブロック図である。同図に示す静止画像抽出部３３は、動画像からベストショットのシーンを自動で検出し、ベストショットのシーンに対応する静止画像の静止画像データを出力するものであり、注目人物登録部３８と、静止画像データ抽出部３９と、注目人物検出部４０と、運動軌跡検出部４１と、動作分析部４２と、重要度判定部４３と、構図分析部４４と、画質判定部４５と、静止画像データ出力部４６と、天地補正部４７とを備えている。

注目人物登録部３８は、動画像データに対応する動画像に撮影された人物のうち、処理対象とする注目人物を登録人物として登録するものである。

注目人物登録部３８は、例えば、動画像に撮影された人物のうち、ユーザにより指定された人物を登録人物として登録することができる。また、注目人物登録部３８は、登録人物の画像（注目人物を特定するための顔画像等）を登録しておくことができる。

続いて、静止画像データ抽出部３９は、図３に示す静止画像生成部２２に相当し、動画像データから、複数のフレームの静止画像データを抽出するものである。

静止画像データ抽出部３９は、例えば、動画像データの全てのフレーム（各々のフレーム）の静止画像データを抽出することができる。しかし、本発明はこれに限定されず、一定数のフレーム毎に、例えば、２フレーム毎に１つのフレームの静止画像データを抽出してもよい。また、動画像データに対応する動画像の任意の区間のフレームの静止画像データのみを抽出してもよい。

続いて、注目人物検出部４０は、静止画像データ抽出部３９により動画像データから抽出された複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するものである。

注目人物検出部４０は、例えば、複数枚の静止画像の各々において、人物の有無を検出し、検出された人物の画像と、例えば、注目人物登録部３８に登録された登録人物の画像とを比較（顔画像等を比較）することにより、検出された人物の中から、登録人物に一致ないし類似した人物（類似度が閾値以上の人物）を、注目人物として特定することができる。

あるいは、注目人物検出部４０は、複数枚の静止画像の各々の中から人物の顔を抽出し、抽出された人物の顔の顔画像に対し中心人物判定を行うことにより、顔が抽出された人物の中から、中心人物判定により中心人物であると判定された人物を、注目人物として特定することができる。

中心人物判定では、例えば、複数枚の顔画像に対して同一人物判定処理が行われ、複数枚の顔画像が、同一人物の顔画像からなる画像群に分類される。続いて、画像群に分類された人物のうちの１以上の人物が主人公として決定され、主人公以外の人物のうち主人公と関連性の高い１以上の人物が重要人物として判定される。
また、注目人物登録部３８に登録された各々の登録人物の顔画像に基づいて、各々の画像群に対応する人物を特定することができる。

例えば、顔画像の検出数が最も多い人物を主人公として決定したり、主人公以外の人物のうち、主人公と共に撮影された静止画像の数が多い人物を重要人物と判定したりすることができる。
また、同一の静止画像に撮影された主人公の顔画像と主人公以外の人物の顔画像の間の距離を算出し、顔画像の間の距離が近い人物を重要人物と判定してもよい。
主人公が撮影された静止画像の撮影日時情報と主人公以外の人物が撮影された静止画像の撮影日時情報との差分、および主人公が撮影された静止画像の撮影位置情報と主人公以外の人物が撮影された静止画像の撮影位置情報との差分の一方もしくは両方に基づいて重要人物を判定してもよい。

また、注目人物検出部４０は、静止画像における、注目人物の位置、注目人物の大きさ、注目人物の領域、注目人物の上半身の領域、注目人物の顔の位置、注目人物の顔の大きさ、注目人物の顔領域、注目人物の顔の向き等を検出することができる。

なお、静止画像における注目人物の検出方法、注目人物の顔の検出方法等は公知であるから、ここでは詳細な説明は省略するが、その具体的な検出方法は何ら限定されない。また、注目人物の検出方法も何ら限定されない。

続いて、運動軌跡検出部４１は、注目人物検出部４０による、複数枚の静止画像における注目人物の検出結果に基づいて、動画像データに対応する動画像における注目人物の動きを追跡して注目人物の運動軌跡を検出するものである。また、運動軌跡検出部４１は、注目人物の運動軌跡を検出することにより、注目人物の運動軌跡の長さや、注目人物の移動パターン等を検出することができる。

ここで、注目人物の運動軌跡は、関心領域（ＲＯＩ：Region of Interest）、例えば、図１３（Ａ）〜（Ｃ）の左側に示すように、注目人物の顔領域が移動した軌跡をライン状に表したものを使用することができる。また、注目人物の運動軌跡として、同図（Ａ）〜（Ｃ）の右側に示すように、動作履歴画像（ＭＨＩ：Motion History Image）を使用してもよい。動作履歴画像は、注目人物の動作の履歴を、例えば、一定時間毎に色を変えて表したものである。動作履歴画像を利用することにより、動作履歴画像における、注目人物の位置、注目人物の大きさ、注目人物の移動箇所、注目人物の移動方向等を知ることができる。

運動軌跡検出部４１は、例えば、注目人物の顔領域に基づいて、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における注目人物の顔領域に相当する任意の位置の検出領域とを比較し、現在のフレームの静止画像における注目人物の顔領域との類似度が閾値以上である、次のフレームの静止画像における検出領域の位置に基づいて、現在のフレームの静止画像における注目人物の顔領域が、その次のフレームの静止画像のどの位置の検出領域に移動しているかを検出することにより、動画像における注目人物の動きを追跡することができる。

ここで、注目人物の顔領域を検出するだけでは、静止画像における注目人物の位置、注目人物の大きさ等が時間の経過に伴って変化することにより、注目人物の動きを追跡することが困難となる場合がある。この場合、注目人物の顔領域に加えて、注目人物の上半身の領域を一定数、例えば、４つの領域に分割し、合計５つの領域のそれぞれについて、同様に注目人物の動きを追跡することにより、追跡の成功率を向上させることができる。

また、現在のフレームの静止画像における注目人物の顔領域と、その次のフレームの静止画像における検出領域との類似度を求める場合、次のフレームの静止画像において、現在のフレームの静止画像における注目人物の顔領域に対応する位置の検出領域を検出するために、任意の位置の検出領域内に含まれる全ての画素の輝度値の総和を算出することを、複数の位置の検出領域について順次繰り返す必要がある。そのため、各々のフレーム毎に輝度値の総和を計算するための計算量は膨大となる。

この場合、次のフレーム（つまり、各々のフレーム）の静止画像の積分画像を生成し、生成された積分画像を利用して輝度値の総和を算出することにより、その計算量を削減し、処理を高速化することができる。積分画像とは、例えば、静止画像の画素の座標が、静止画像の左から右へ、かつ、上から下へ向かうに従って大きくなるとすると、各々の座標の画素が、左上の画素から各々の座標の画素までの輝度値の積分値を持つ画像である。

なお、積分画像を利用して、注目人物の顔領域に相当する領域内に含まれる全ての画素の輝度値の総和を算出する方法は公知であるから、ここでは、その詳細な説明は省略する。また、注目人物の動きを追跡する場合に、計算量の削減や、処理の高速化の目的のために、積分画像を利用することは限定されず、例えば、平均変位（Mean Shift）法等の各種の方法を利用することができる。平均変位法についても公知であるから、その詳細な説明は省略する。

続いて、動作分析部４２は、運動軌跡検出部４１により検出された注目人物の運動軌跡、例えば、顔領域等の関心領域の運動軌跡に基づいて、動画像における注目人物の動作を分析し、複数枚の静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値を算出するものである。

動作分析部４２は、例えば、注目人物の動作に対する運動軌跡、例えば、注目人物が走っている時の運動軌跡をあらかじめ定義しておき、運動軌跡検出部４１により検出された注目人物の運動軌跡の中から、あらかじめ定義された運動軌跡と類似した部分を検出することにより、注目人物の動作を分析する。そして、注目人物の動作が、走っている動作である場合には、評価値がいくつというように、注目人物の動作の種類に応じて、注目人物の動作に対する評価値を算出することができる。

また、動作分析部４２は、注目人物の運動軌跡として、図１３（Ａ）〜（Ｃ）の右側に示すような動作履歴画像に基づいて、注目人物の動作を分析し、注目人物の動作に対する評価値を算出することができる。

動作分析部４２は、動作履歴画像に基づいて注目人物の動作を分析することにより、図１３（Ａ）の右側に示すように、注目人物が、同図中、右側から左側へ走っていること、同図（Ｂ）の右側に示すように、注目人物が、静止した状態で右手だけを動かしていること、同図（Ｃ）の右側に示すように、注目人物が、地面に落ちているものを拾っていること等を認識することができる。また、注目人物が、動いているのか否か、どの位置で、どの方向へ動いているか等に基づいて、注目人物の動作に対する評価値を算出することができる。

続いて、重要度判定部４３は、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の重要度を判定し、複数枚の静止画像の各々について、判定された重要度に基づいて、重要度の評価値を算出するものである。

例えば、注目人物の運動軌跡が長い場合（長さが閾値以上である場合）、その注目人物に対する撮影者の関心度は高いと推測できる。そのため、重要度判定部４３は、動画像の中で、注目人物の運動軌跡が長いシーンに対応する静止画像の重要度が高いと判定する。また、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の重要度は高いと判定する。そして、重要度が高くなるほど、重要度の評価値が高くなるように算出する。

続いて、構図分析部４４は、静止画像における注目人物の位置、静止画像における注目人物の大きさ、注目人物の移動パターンのうちの少なくとも１つに基づいて、複数枚の静止画像の各々の構図の良否を分析し、複数枚の静止画像の各々について、分析された構図の良否に基づいて、構図の評価値を算出するものである。

構図分析部４４は、例えば、注目人物が中央部に撮影されている静止画像や、注目人物が大きく撮影されている（注目人物の大きさが閾値以上である）静止画像の構図は、注目人物が中央部に撮影されていない静止画像や、注目人物が大きく撮影されていない静止画像の構図よりもよいと分析する。そして、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

また、構図分析部４４は、注目人物の移動パターン、例えば、動画像の左端から右端まで注目人物が移動する移動パターンをあらかじめ定義しておき、運動軌跡検出部４１により検出された注目人物の運動軌跡の中から、あらかじめ定義された移動パターンで注目人物が移動している部分を検出する。そして、あらかじめ定義された移動パターンで注目人物が移動している部分に対応する静止画像の構図はよいと分析し、よいと分析された静止画像の構図の評価値が、よいと分析されていない静止画像の構図の評価値よりも高くなるように算出することができる。

続いて、画質判定部４５は、静止画像における注目人物の領域、例えば、顔領域等の関心領域に基づいて、複数枚の静止画像の各々の画質を判定し、複数枚の静止画像の各々について、判定された画質に基づいて、画質の評価値を算出するものである。

動画像から抽出された静止画像は、動画像データの圧縮方式によって、画質がよい場合も悪い場合もある。また、ピンボケ、手ぶれ等によって、静止画像にボケやブレが発生している場合や、輝度、色合い、コントラスト等が適切ではない場合もある。しかし、背景等の画質が悪い場合でも、関心領域である注目人物の顔領域や体の領域の画質がよい場合、画質判定部４５は、その静止画像の画質はよいと判定する。そして、画質がよいと判定された静止画像について、画質がよいほど、画質の評価値が高くなるように算出することができる。

続いて、静止画像データ出力部４６は、静止画像データ抽出部３９により動画像データから抽出された複数のフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値が、もしくは、注目人物の動作に対する評価値と、重要度の評価値、構図の評価値、および、画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である静止画像の静止画像データを出力するものである。

最後に、天地補正部４７は、注目人物検出部４０により検出された注目人物の顔の向きに基づいて、静止画像データ出力部４６から出力された静止画像データに対応する静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像データ出力部４６から出力された静止画像データに対応する静止画像の天地を補正するものである。

図１４（Ａ）は、左に９０°回転された静止画像を表す一例の概念図である。このような静止画像は、動画像を撮影する時に、撮影装置を右に９０°回転させて撮影することにより得られる。天地補正部４７は、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、同図（Ａ）に示す静止画像を右に９０°回転させることにより、同図（Ｂ）に示すように、静止画像の天地を補正することができる。

なお、注目人物検出部４０は、注目人物登録部３８に二人以上の人物が登録されている場合、複数枚の静止画像の中から、二人以上の注目人物のそれぞれを検出して、検出された注目人物が誰なのかを順次特定することができる。また、この場合、運動軌跡検出部４１、動作分析部４２、重要度判定部４３、構図分析部４４、画質判定部４５、静止画像データ出力部４６、天地補正部４７は、その二人以上の注目人物のそれぞれについて順次処理を行う。

次に、図１５に示すフローチャートを参照して、図１２に示す静止画像抽出部３３の動作を説明する。

図１４のフローチャートに示すように、まず、注目人物登録部３８により、動画像に撮影された人物のうち、例えば、ユーザにより指定された人物が注目人物として登録される（ステップＳ１）。

続いて、静止画像データ抽出部３９により、例えば、動画像データから、全てのフレームの静止画像データが抽出される（ステップＳ２）。つまり、図１６に示すように、動画像から、全てのフレームの静止画像が抽出される。

なお、動画像データから静止画像データが抽出された後、注目人物の登録を行ってもよい。

続いて、注目人物検出部４０により、静止画像データ抽出部３９により抽出された全てのフレームの静止画像の各々の中から、注目人物登録部３８に登録された注目人物が検出される（ステップＳ３）。これにより、全てのフレームの静止画像の各々において、注目人物が特定されるとともに、図１７に枠で囲んで示すように、全てのフレームの静止画像の各々における、注目人物の位置、注目人物の大きさ、注目人物の領域等が検出される。

続いて、運動軌跡検出部４１により、全てのフレームの静止画像における注目人物の検出結果に基づいて、動画像における注目人物の動き、例えば、図１７に枠で囲んで示す関心領域の動きが追跡されて注目人物の運動軌跡が検出される（ステップＳ４）。これにより、例えば、図１３（Ａ）〜（Ｃ）の左側に示すように、注目人物の運動軌跡として、顔領域等の関心領域が移動した軌跡をライン状に表したものや、同図（Ａ）〜（Ｃ）の右側に示すような動作履歴画像を得ることができる。

続いて、動作分析部４２により、運動軌跡検出部４１により検出された注目人物の運動軌跡に基づいて、動画像における注目人物の動作が分析される。そして、全てのフレームの静止画像の各々について、分析された注目人物の動作に基づいて、注目人物の動作に対する評価値が算出される（ステップＳ５−１）。

また、重要度判定部４３により、注目人物の運動軌跡の長さ、静止画像における注目人物の位置、注目人物の大きさに基づいて、全ての静止画像の各々の重要度が判定される。そして、全てのフレームの静止画像の各々について、判定された重要度に基づいて、重要度の評価値が算出される（ステップＳ５−２）。

また、構図分析部４４により、静止画像における注目人物の位置、注目人物の大きさ、注目人物の移動パターンに基づいて、全ての静止画像の各々の構図の良否が分析される。そして、全てのフレームの静止画像の各々について、分析された構図の良否に基づいて、構図の評価値が算出される（ステップＳ５−３）。

また、画質判定部４５により、静止画像における注目人物の領域に基づいて、全てのフレームの静止画像の各々の画質が判定される。そして、全ての静止画像の各々について、判定された画質、本実施形態の場合、ボケブレの程度に応じて、画質の評価値が算出される（ステップＳ５−４）。
例えば、図１４に枠で囲んで示す関心領域のボケブレの判定が行われて、ボケブレの程度が大きいほど、画質の評価値が低くなるように算出される。

なお、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値を算出する順序は何ら限定されず、任意の順序で算出することができる。また、これらの評価値を並列に、つまり、同時に算出するようにすることもできる。

続いて、静止画像データ出力部４６により、静止画像データ抽出部３９により動画像データから抽出された全てのフレームの静止画像データの中から、図１８に示すように、ベストショットのシーンに対応する静止画像の静止画像データとして、注目人物の動作に対する評価値、重要度の評価値、構図の評価値、画質の評価値の総合評価値（各評価値の加算値等）が閾値以上である１枚以上の静止画像の静止画像データが出力される（ステップＳ６）。

ここで、図１８は、動画像から抽出された全てのフレームの静止画像の各々の総合評価値を表す一例のグラフである。同図の縦軸は、各々の静止画像の総合評価値を、横軸は時間（フレーム）を表す。同図に示すように、全ての静止画像のうちの、注目人物検出部４０により注目人物が検出され、かつ、運動軌跡検出部４１により注目人物の運動軌跡が検出された静止画像の中から、図１９に星印を付与して示されているように、総合評価値が閾値以上である静止画像の静止画像データが出力される。

そして最後に、天地補正部４７により、注目人物検出部４０により検出された注目人物の顔の向きに基づいて、静止画像の天地が、動画像が撮影された時の撮影装置の天地と同じになるように、静止画像の天地が補正される（ステップＳ７）。

上記のように、静止画像抽出部３３では、例えば、動画像における注目人物の動作に対する評価値、静止画像の重要度の評価値、構図の評価値および画質の評価値を含む総合評価値に基づいて、動画像の中からベストショットのシーンを自動で検出し、動画像データから抽出された全てのフレームの静止画像データの中から、ベストショットのシーンに対応する静止画像の静止画像データを抽出することができる。

次に、本実施形態のコンテンツ管理システムにおいて、管理画像データを生成する場合の動作を説明する。

前述のように、静止画像抽出部３３により、動画像データから抽出された複数のフレームの静止画像データの中から、２以上の静止画像データが出力静止画像データとして出力される。

続いて、シーン判別部３５により、静止画像抽出部３３により抽出された２以上の出力静止画像データの各々について、出力静止画像データに対応する出力静止画像を含む動画像のシーンが判別される。

続いて、管理マーカ登録部２５により、２以上の出力静止画像データの各々、もしくは、２以上の出力静止画像データに対応する２枚以上の出力静止画像の各々の画像特徴量が、管理マーカとして、２枚以上の出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録される。

そして、管理画像生成部２８により、少なくとも２つの出力静止画像データを含む管理画像データが生成される。

次に、本実施形態のコンテンツ管理システムにおいて、管理画像のプリントを撮像して動画像のシーンを再生する場合の動作を説明する。

撮像部１１により、管理画像データに対応する管理画像のプリントが撮像されて撮像画像データが生成される。

続いて、管理マーカ読取部１２により、撮像画像データに対応する撮像画像から管理マーカが読み取られる。

ここで、例えば、図２０に示すように、撮像部１１により、管理画像のプリントに含まれた５枚の出力静止画像の中から右上の１枚の出力静止画像が撮像された場合、表示制御部１４は、管理マーカ読取部１２により、撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部１５に再生するように制御する。これにより、撮像された１枚の出力静止画像に紐付けられた動画像のシーンが表示部１５に再生される。
また、撮像部１１により、管理画像のプリントに含まれた５枚の出力静止画像の中から別の１枚の出力静止画像が撮像された場合の動作も同様である。

撮像された１枚の出力静止画像に対応する動画像のシーンの再生が終了すると、例えば、動画像の再生は終了する。言い換えると、撮像された１枚の出力静止画像の次の撮影日時の出力静止画像に対応する動画像のシーンは連続的に再生されない。

このように、本実施形態のコンテンツ管理システムでは、管理画像のプリントに含まれた各々の出力静止画像が、動画像の各々対応するシーンと紐付けられている。そのため、管理画像のプリントに含まれた出力静止画像を動画像の各々対応するシーンのインデックスとして使用することができ、管理画像のプリントに含まれた所望の出力静止画像を撮像することにより、動画像の所望のシーンを再生することができる。

ここで、動画像の中に含まれるシーンの数に応じて、管理画像のプリントのサイズを制御することが望ましい。
例えば、１分程度の動画像の場合、動画像中のシーンは１〜数シーンであり、数枚の出力静止画像を含む管理画像のプリントを印刷できれば目的は果たせる。そのため、大サイズでのプリントは不要であり、例えば、Ｌサイズのプリント等でよい。

一方、動画像の再生時間が長い場合、１０数シーン以上になる場合もある。このような場合にＬサイズの管理画像のプリントに全てのシーンに対応する出力静止画像を詰め込むと、管理画像のプリントに含まれた出力静止画像のサイズが小さくなり、ユーザが、情報端末１により、処理対象とする出力静止画像を撮像することが難しくなる。そのため、例えば、Ｌサイズよりも大サイズでのプリントを推奨することが望ましい。

これに応じて、プリント制御部３７は、管理画像データに含まれた出力静止画像データの数が多くなるほど、管理画像が印刷されるプリントのサイズが、より大きくなるように制御することができる。言い換えると、プリント制御部３７は、管理画像データに含まれた出力静止画像データの数に応じて、管理画像のプリントに含まれる出力静止画像のサイズが閾値以上となるように、管理画像が印刷されるプリントのサイズを大きくする。

ただし、ユーザが、Ｌサイズ等のように、一定のサイズの管理画像のプリントを希望する場合、同様に、管理画像のプリントに含まれる出力静止画像のサイズが閾値以上となるように、管理画像データに含まれる出力静止画像データの数を減らすことが望ましい。

このように、管理画像が一定のサイズのプリントに印刷されると仮定した場合に、管理画像のプリントに含まれる出力静止画像のサイズが閾値未満となる場合、管理画像生成部２８は、出力静止画像データの中から、一定のサイズの管理画像のプリントに含まれる出力静止画像のサイズが閾値以上となる数の出力静止画像データを選択し、選択された数の出力静止画像データを含む管理画像データを生成することができる。

また、例えば、図２１に示すように、撮像部１１により、管理画像のプリントに含まれた５枚の出力静止画像の中から右側の２枚の出力静止画像が同時に撮像された場合、表示制御部１４は、同時に撮像された２枚の出力静止画像の各々に対応する動画像のシーンを表示部１５に同時に再生するように制御することができる。
また、撮像部１１により、管理画像のプリントに含まれた５枚の出力静止画像の中から３枚以上の出力静止画像が同時に撮像された場合の動作も同様である。

ただし、複数の動画像のシーンを同時に再生する場合、各動画像の再生時間が異なるため、終了時間も異なる。

ＡＲ技術を使用して、撮像された管理画像のプリントを表示部１５に表示し、表示部１５に表示された管理画像のプリントの出力静止画像の表示部分において動画像のシーンをＡＲ再生する場合、管理画像のプリントの出力静止画像の表示部分との紐づけが重要であるから、再生時のレイアウトを変更するのは好ましくない。そのため、ＡＲ再生の場合、表示制御部１４は、動画像のシーンの再生が終了した出力静止画像の表示部分において何も表示しないように制御することが望ましい。

これに対し、ＡＲ技術を使用せずに、表示部１５の全面ないし任意のサイズのウィンドウ内において動画像のシーンを通常再生する場合、管理画像のプリントの出力静止画像の表示部分を再レイアウトする方が好ましい。そのため、通常再生の場合、表示制御部１４は、動画像のシーンの再生が終了した出力静止画像の表示部分を非表示にし、動画像のシーンの再生が終了していない出力静止画像の表示部分を、非表示にされた出力静止画像の表示部分にまで拡大して再生するように制御することが望ましい。

また、表示制御部１４は、ＡＲ再生および通常再生のいずれにおいても、動画像のシーンの再生が終了した出力静止画像の表示部分において、例えば、動画像のシーンの動画内容に基づいて、再生が終了した動画像のシーンに関連のある広告を表示するように制御することができる。例えば、子供が撮影された動画像のシーンの再生が終了した場合には、その出力静止画像の表示部分において、子供に関連のある、おもちゃの広告を表示する。

このように、動画像のシーンの再生が終了した出力静止画像の表示部分において広告を表示することにより、再生が終了していない動画像のシーンが再生されている間、広告が表示される。ユーザは、再生が終了していない動画像のシーンが再生されている間、同時に表示される広告を必ず見ることになるため、広告だけを表示する場合と比べて広告の閲覧率を高めることができる。
なお、広告の画像データ（動画像ないし静止画像）は、データ格納部２６に格納しておくことができる。

あるいは、表示制御部１４は、同時に撮像された２枚の出力静止画像の各々に対応する動画像のシーンを表示部１５に同時に再生する場合に、重要シーン判定部３６により、重要度が閾値未満であると判定された動画像のシーンが再生される出力静止画像の表示部分において、広告、もしくは、重要シーン判定部３６により、重要度が閾値以上であると判定された任意の動画像のシーンを再生するように制御することができる。

次に、複数の動画像データを使用して、管理画像データを生成する場合の動作を説明する。

この場合、静止画像データ抽出部、注目人物検出部、運動軌跡検出部、動作分析部、静止画像データ出力部、および、シーン判別部３５は、複数の動画像データの各々について、前述のように、１つの動画像データを処理する場合と同じ処理を繰り返し行う。

つまり、静止画像抽出部３３からは、複数の動画像データの各々について、動画像データから抽出された複数のフレームの静止画像データの中から、１つないし２以上の静止画像データが出力静止画像データとして出力される。
また、シーン判別部３５により、複数の動画像データの各々に対応する１つの出力静止画像データないし２以上の出力静止画像データの各々について、出力静止画像データに対応する出力静止画像を含む動画像のシーンが判別される。

続いて、管理マーカ登録部２５により、複数の動画像データの各々に対応する出力静止画像データの中から出力静止画像データを少なくとも１つずつ選択して得られた複数の第１出力静止画像データの各々、もしくは、複数の第１出力静止画像データに対応する複数枚の第１出力静止画像の各々の画像特徴量が、第１管理マーカとして、複数枚の第１出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録される。

また、管理マーカ登録部２５により、複数の動画像データの各々について、出力静止画像データを第２出力静止画像データとして、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々、もしくは、１つの第２出力静止画像データないし２以上の第２出力静止画像データの各々に対応する第２出力静止画像の画像特徴量が、第２管理マーカとして、１枚の第２出力静止画像ないし２枚以上の第２出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録される。

そして、管理画像生成部２８により、少なくとも２つの第１出力静止画像データを含む第１管理画像データ、および、複数の動画像データの各々について、少なくとも１つの第２出力静止画像データを含む第２管理画像データが生成される。

５つの動画像データを使用して管理画像データを生成する場合、例えば、５つの動画像データの各々に対応する出力静止画像データから出力静止画像データを１つずつ選択して、合計で５つの第１出力静止画像データを含む第１管理画像データが生成される。また、５つの動画像データの各々について、出力静止画像データを第２出力静止画像データとして、少なくとも１つの第２静止画像データを含む第２管理画像データが生成される。

次に、複数の動画像データを使用して生成された第１管理画像データに対応する第１管理画像のプリントを撮像して動画像のシーンを再生する場合の動作を説明する。

撮像部１１により、第１管理画像データに対応する第１管理画像のプリントが撮像されて撮像画像データが生成される。

続いて、管理マーカ読取部１２により、撮像画像データに対応する撮像画像から第１管理マーカが読み取られる。

ここで、例えば、図２２上側に示すように、撮像部１１により、第１管理画像のプリントに含まれた５枚の第１出力静止画像の中から左下の１枚の第１出力静止画像が撮像された場合、表示制御部１４は、管理マーカ読取部１２により、撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を表示部１５に表示するように制御する。これにより、同図下側に示すように、撮像された１枚の第１出力静止画像に対応する第２管理画像が表示部１５に表示される。
また、撮像部１１により、第１管理画像のプリントに含まれた５枚の第１出力静止画像の中から別の１枚の第１出力静止画像が撮像された場合の動作も同様である。

続いて、ユーザにより、表示部１５に表示された第２管理画像に含まれた第２出力静止画像の中から同図下側の右下の１枚の第２出力静止画像を選択する指示が操作入力部１７を介して入力される。

操作入力部１７を介して入力された指示により、表示部１５に表示された第２管理画像に含まれた６枚の第２出力静止画像の中から同図下側の右下の１枚の第２出力静止画像が選択された場合、表示制御部１４は、管理マーカ読取部１２により、選択された１枚の第２出力静止画像から読み取られた第２管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部１５に再生するように制御する。これにより、選択された１枚の第２出力静止画像に紐付けられた動画像のシーンが表示部１５に再生される。
また、操作入力部１７を介して入力された指示により、第２管理画像に含まれた６枚の第２出力静止画像の中から別の１枚の第２出力静止画像が選択された場合の動作も同様である。

例えば、子供の運動会の動画像を撮影する場合、徒競走、玉入れ等のイベント毎に動画像が撮影されるため、運動会の動画像として、イベント毎の動画像からなる複数の動画像が撮影される。本実施形態のコンテンツ管理システムでは、複数の動画像を１枚の第１管理画像のプリントにまとめることができるため、ユーザは、第１管理画像のプリントを閲覧することにより、運動会等で撮影された複数の動画像の内容のダイジェストを瞬時に把握することができる。

ここで、複数の動画像を１枚の第１管理画像のプリントにまとめる場合、管理画像生成部２８は、第１管理画像データに含まれた第１出力静止画像データに対応する第１出力静止画像の撮影日時に応じて、第１出力静止画像の表示色を変えることが望ましい。例えば、最も撮影日時が新しいものから古いものになるほど、セピア色やモノトーン色となるように変更する。
これにより、ユーザは、第１管理画像のプリントに含まれた複数の第１出力静止画像の撮影順序、つまり、複数の動画像の撮影順序を知ることができる。

また、動画像に対応する第１出力静止画像が複数枚ある場合、第１管理画像に含まれる第１出力静止画像として、例えば、動画像に対応する複数枚の第１出力静止画像の中の先頭画像、つまり、複数枚の第１出力静止画像のうちの最も撮影日時が古いものを使用してもよいが、動画像に対応する複数枚の第１出力静止画像の中から最もよい画像を使用することが望ましい。
この場合、管理マーカ登録部２５は、複数の動画像データの各々に対応する出力静止画像データの中から、画像評価部３４による評価値が最も高い出力静止画像を１つずつ選択して、複数の第１出力静止画像データを得ることができる。
これにより、ユーザは、第１管理画像に含まれた第１出力静止画像を見ることにより、第１出力静止画像に紐付けられた動画像を容易に思い出すことができる。

また、表示制御部１４は、表示部１５に表示された第２管理画像に含まれた第２出力静止画像に対応する動画像のシーンの再生回数に応じて、第２出力静止画像の表示色を変えるように制御することが望ましい。例えば、再生回数が多い動画像のシーンに対応する第２出力静止画像は、オリジナルの色のままとし、再生回数が少ない動画像のシーンに対応する第２出力静止画像は、セピア色、モノトーン色等に変更する。
これにより、ユーザは、第２管理画像に含まれた第２出力静止画像の表示色を見ることにより、再生回数の多い動画像のシーン、つまり、ユーザが好きな動画像のシーンを知ることができる。

なお、上記各実施形態において、動画像のシーンを表示部１５に再生する場合、表示制御部１４は、動画像のシーンをＡＲ再生させてもよいし、通常再生させてもよい。
また、上記各実施形態では、アクセスキーを含む管理画像データを生成することは必須ではないが、これに限定されず、少なくとも１つの出力静止画像データ、および、アクセスキーを含む管理画像データを生成し、出力静止画像に紐付けられた動画像のシーンを検索する時に利用してもよい。

また、図１〜３に示す実施形態において、静止画像生成部により生成された静止画像データの中から、静止画像選択部により、１つの静止画像データをユーザに選択させる代わりに、静止画像抽出部３３により、動画像データから複数のフレームの静止画像データを抽出し、抽出された複数のフレームの静止画像データの中から、ベストショットのシーンに対応する１枚の静止画像の静止画像データを自動で抽出するようにしてもよい。この場合、アクセスキーを使用してもよいし、使用しなくてもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明のコンテンツ管理システム、ならびに管理コンテンツ生成方法および管理コンテンツ再生方法について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１ 情報端末、 ２ 画像サーバ、 ３ 通信回線、 ４ プリンタ、 １１ 撮像部、 １２ 管理マーカ読取部、 １３ 端末データ送受信部、 １４ 表示制御部、 １５ 表示部、 １６ 端末制御部、 １７ 操作入力部、 １８ タッチパネル、 ２１ サーバデータ送受信部、 ２２ 静止画像生成部、 ２３ 静止画像選択部、 ２４ 静止画像編集部、 ２５ 管理マーカ登録部、 ２６ データ格納部、 ２７ アクセスキー発行部、 ２８ 管理画像生成部、 ２９ 管理画像トリミング部、 ３０ 画像データ検索部、 ３１ サーバ制御部、 ３２ 画像サーバ、 ３３ 静止画像抽出部、 ３４ 画像評価部、 ３５ シーン判別部、 ３６ 重要シーン判定部、 ３７ プリント制御部、 ３８ 注目人物登録部、 ３９ 静止画像データ抽出部、 ４０ 注目人物検出部、 ４１ 運動軌跡検出部、 ４２ 動作分析部、 ４３ 重要度判定部、 ４４ 構図分析部、 ４５ 画質判定部、 ４６ 静止画像データ出力部、 ４７ 天地補正部、 Ａ 配置エリア、 Ｆ−ＤＳＣ、Ｆ−ＫＧ フレーム、 Ｉ 静止画像、 Ｋ アクセスキー、 Ｐ コンテンツ管理プリント（管理プリント）、 ＰＩ コンテンツ管理画像（管理画像）。

Claims (37)

1. 管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツを管理するコンテンツ管理システムであって、
   動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
   前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
   前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出する運動軌跡検出部と、
   前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出する動作分析部と、
   前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である１枚の静止画像の静止画像データを出力静止画像データとして出力する静止画像データ出力部と、
   前記出力静止画像データ、もしくは、前記出力静止画像データに対応する出力静止画像の画像特徴量を、管理マーカとして、前記出力静止画像に対応する動画像の動画像データと紐付けて登録する管理マーカ登録部と、
   前記出力静止画像データを含む管理画像データを生成する管理画像生成部とを備えることを特徴とするコンテンツ管理システム。
2. さらに、前記管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
   前記撮像画像データに対応する撮像画像から前記管理マーカを読み取る管理マーカ読取部と、
   前記動画像を再生する表示部と、
   前記表示部における前記動画像の再生を制御する表示制御部とを備え、
   前記撮像部により、前記管理画像のプリントに含まれた出力静止画像が撮像された場合に、前記表示制御部は、前記管理マーカ読取部により、前記撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を前記表示部に再生するように制御するものである請求項１に記載のコンテンツ管理システム。
3. さらに、前記動画像データを格納する格納部と、
   前記格納部に格納された前記動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
   前記管理画像生成部は、前記出力静止画像データと前記アクセスキーとを含む管理画像データを生成するものであり、
   さらに、ユーザから入力された前記管理画像のプリントに記載されたアクセスキーを受け取る操作入力部と、
   前記管理マーカと前記操作入力部を介して入力されたアクセスキーとに基づいて前記格納部に格納された前記動画像データを検索する画像データ検索部とを備え、
   前記表示制御部は、前記画像データ検索部により検索された動画像データの中から、前記管理マーカ読取部により、前記撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を前記表示部に再生するように制御するものである請求項２に記載のコンテンツ管理システム。
4. 前記表示制御部は、ＡＲ技術を使用して、前記撮像された管理画像のプリントを前記表示部に表示し、前記表示部に表示された管理画像のプリントの出力静止画像の表示部分において前記動画像を再生するように制御するものである請求項３に記載のコンテンツ管理システム。
5. 前記表示制御部は、前記表示部の全面ないし任意のサイズのウィンドウ内において前記動画像を再生するように制御するものである請求項３に記載のコンテンツ管理システム。
6. 管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツを管理するコンテンツ管理システムであって、
   動画像データから、複数のフレームの静止画像データを抽出する静止画像データ抽出部と、
   前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出する注目人物検出部と、
   前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出する運動軌跡検出部と、
   前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出する動作分析部と、
   前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である２枚以上の静止画像の静止画像データを出力静止画像データとして出力する静止画像データ出力部と、
   ２以上の前記出力静止画像データの各々について、前記出力静止画像データに対応する出力静止画像を含む前記動画像のシーンを判別するシーン判別部と、
   前記２以上の出力静止画像データの各々、もしくは、前記２以上の出力静止画像データに対応する２枚以上の前記出力静止画像の各々の画像特徴量を、管理マーカとして、前記２枚以上の出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録する管理マーカ登録部と、
   少なくとも２つの前記出力静止画像データを含む管理画像データを生成する管理画像生成部とを備えることを特徴とするコンテンツ管理システム。
7. 前記シーン判別部は、前記動画像における撮影日時の順で隣り合う２枚の出力静止画像の間の色の変化量が閾値を超えた場合に、前記色の変化量が閾値を超えた、前記隣り合う２枚の出力静止画像の間で前記動画像のシーンを分割し、前記分割された動画像のシーンの中から前記出力静止画像を含む動画像のシーンを判別するものである請求項６に記載のコンテンツ管理システム。
8. さらに、前記管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
   前記撮像画像データに対応する撮像画像から前記管理マーカを読み取る管理マーカ読取部と、
   前記動画像を再生する表示部と、
   前記表示部における前記動画像の再生を制御する表示制御部とを備え、
   前記撮像部により、前記管理画像のプリントに含まれた出力静止画像の中から１枚の出力静止画像が撮像された場合に、前記表示制御部は、前記管理マーカ読取部により、前記撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを前記表示部に再生するように制御するものである請求項６または７に記載のコンテンツ管理システム。
9. 前記撮像部により、前記管理画像のプリントに含まれた出力静止画像の中から２枚以上の出力静止画像が同時に撮像された場合に、前記表示制御部は、前記同時に撮像された２枚以上の出力静止画像の各々に対応する動画像のシーンを前記表示部に同時に再生するように制御するものである請求項８に記載のコンテンツ管理システム。
10. 前記表示制御部は、ＡＲ技術を使用して、前記撮像された管理画像のプリントを前記表示部に表示し、前記表示部に表示された管理画像のプリントの出力静止画像の表示部分において前記動画像のシーンを再生する場合、前記動画像のシーンの再生が終了した出力静止画像の表示部分において何も表示しないように制御するものである請求項９に記載のコンテンツ管理システム。
11. 前記表示制御部は、前記表示部の全面ないし任意のサイズのウィンドウ内において前記動画像のシーンを再生する場合、前記動画像のシーンの再生が終了した出力静止画像の表示部分を非表示にし、前記動画像のシーンの再生が終了していない出力静止画像の表示部分を、前記非表示にされた出力静止画像の表示部分にまで拡大して再生するように制御するものである請求項９に記載のコンテンツ管理システム。
12. 前記表示制御部は、前記動画像のシーンの再生が終了した出力静止画像の表示部分において、前記再生が終了した動画像のシーンに関連のある広告を表示するように制御するものである請求項９に記載のコンテンツ管理システム。
13. さらに、前記動画像のシーンの重要度を判定する重要シーン判定部を備え、
    前記表示制御部は、前記重要シーン判定部により、前記重要度が閾値未満であると判定された動画像のシーンが再生される出力静止画像の表示部分において、広告、もしくは、前記重要シーン判定部により、前記重要度が閾値以上であると判定された任意の動画像のシーンを再生するように制御するものである請求項９に記載のコンテンツ管理システム。
14. さらに、前記動画像データを格納する格納部と、
    前記格納部に格納された前記動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
    前記管理画像生成部は、前記出力静止画像データと前記アクセスキーとを含む管理画像データを生成するものであり、
    さらに、ユーザから入力された前記管理画像のプリントに記載されたアクセスキーを受け取る操作入力部と、
    前記管理マーカと前記操作入力部を介して入力されたアクセスキーとに基づいて前記格納部に格納された前記動画像データを検索する画像データ検索部とを備え、
    前記表示制御部は、前記画像データ検索部により検索された動画像データの中から、前記管理マーカ読取部により、前記撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを前記表示部に再生するように制御するものである請求項８〜１３のいずれか１項に記載のコンテンツ管理システム。
15. さらに、前記管理画像データに含まれた静止画像データの数に応じて、前記管理画像データに対応する管理画像が印刷されるプリントのサイズを制御するプリント制御部を備え、
    前記プリント制御部は、前記管理画像データに含まれた出力静止画像データの数が多くなるほど、前記管理画像が印刷されるプリントのサイズが、より大きくなるように制御するものである請求項１〜１４のいずれか１項に記載のコンテンツ管理システム。
16. 前記管理画像データに対応する管理画像が、一定のサイズのプリントに印刷されると仮定した場合に、前記管理画像のプリントに含まれる出力静止画像のサイズが閾値未満となる場合、前記管理画像生成部は、前記出力静止画像データの中から、前記一定のサイズの管理画像のプリントに含まれる出力静止画像のサイズが閾値以上となる数の出力静止画像データを選択し、前記選択された数の出力静止画像データを含む管理画像データを生成するものである請求項１〜１４のいずれか１項に記載のコンテンツ管理システム。
17. 前記静止画像データ抽出部、前記注目人物検出部、前記運動軌跡検出部、前記動作分析部、前記静止画像データ出力部、および、前記シーン判別部は、複数の前記動画像データの各々について処理を繰り返し行うものであり、
    前記管理マーカ登録部は、前記複数の動画像データの各々に対応する出力静止画像データの中から前記出力静止画像データを少なくとも１つずつ選択して得られた複数の第１出力静止画像データの各々、もしくは、複数の前記第１出力静止画像データに対応する複数枚の第１出力静止画像の各々の画像特徴量を、第１管理マーカとして、前記複数枚の第１出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録し、かつ、前記複数の動画像データの各々について、前記出力静止画像データを第２出力静止画像データとして、１つの前記第２出力静止画像データないし２以上の前記第２出力静止画像データの各々、もしくは、前記１つの第２出力静止画像データないし前記２以上の第２出力静止画像データの各々に対応する第２出力静止画像の画像特徴量を、第２管理マーカとして、１枚の前記第２出力静止画像ないし２枚以上の前記第２出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するものであり、
    前記管理画像生成部は、少なくとも２つの前記第１出力静止画像データを含む第１管理画像データ、および、前記複数の動画像データの各々について、少なくとも１つの前記第２出力静止画像データを含む第２管理画像データを生成するものである請求項６に記載のコンテンツ管理システム。
18. さらに、前記第１管理画像データに対応する第１管理画像のプリントを撮像して撮像画像データを生成する撮像部と、
    前記撮像画像データに対応する撮像画像から前記第１管理マーカを読み取る管理マーカ読取部と、
    ユーザから入力された指示を受け取る操作入力部と、
    前記動画像を再生する表示部と、
    前記表示部における前記動画像の再生を制御する表示制御部とを備え、
    前記撮像部により、前記第１管理画像のプリントに含まれた第１出力静止画像の中から１枚の第１出力静止画像が撮像された場合に、前記表示制御部は、前記管理マーカ読取部により、前記撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を前記表示部に表示するように制御するものであり、
    前記操作入力部を介して入力された指示により、前記表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像が選択された場合に、前記表示制御部は、前記管理マーカ読取部により、前記選択された１枚の第２出力静止画像から読み取られた第２管理マーカに紐付けられた動画像データに対応する動画像のシーンを前記表示部に再生するように制御するものである請求項１７に記載のコンテンツ管理システム。
19. 前記表示制御部は、前記表示部に表示された第２管理画像に含まれた第２出力静止画像に対応する動画像のシーンの再生回数に応じて、前記第２出力静止画像の表示色を変えるように制御するものである請求項１８に記載のコンテンツ管理システム。
20. さらに、前記動画像データを格納する格納部と、
    前記格納部に格納された前記動画像データへアクセスするためのアクセスキーを発行するアクセスキー発行部とを備え、
    前記管理画像生成部は、前記第１出力静止画像データと前記アクセスキーとを含む第１管理画像データを生成するものであり、
    前記操作入力部は、ユーザから入力された前記第１管理画像のプリントに記載されたアクセスキーを受け取るものであり、
    さらに、前記管理マーカと前記操作入力部を介して入力されたアクセスキーとに基づいて前記格納部に格納された前記動画像データを検索する画像データ検索部を備え、
    前記表示制御部は、前記画像データ検索部により検索された動画像データの中から、前記管理マーカ読取部により、前記撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を前記表示部に表示するように制御するものである請求項１８または１９に記載のコンテンツ管理システム。
21. 前記管理画像生成部は、前記第１管理画像データに含まれた第１出力静止画像データに対応する第１出力静止画像の撮影日時に応じて、前記第１出力静止画像の表示色を変えるものである請求項１７〜２０のいずれか１項に記載のコンテンツ管理システム。
22. さらに、前記出力静止画像に含まれた人物の顔、前記出力静止画像のボケ、ブレ、色、明るさのうちの少なくとも１つに基づいて、前記１枚の出力静止画像ないし２枚以上の出力静止画像の各々を評価して評価値を算出する画像評価部を備え、
    前記管理マーカ登録部は、前記複数の動画像データの各々に対応する出力静止画像データの中から、前記画像評価部により算出された評価値が最も高い出力静止画像を１つずつ選択して、前記複数の第１出力静止画像データを得るものである請求項１７〜２１のいずれか１項に記載のコンテンツ管理システム。
23. 前記注目人物検出部は、さらに、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、および、前記静止画像における注目人物の領域を検出するものであり、
    前記運動軌跡検出部は、さらに、前記注目人物の運動軌跡の長さ、および、前記注目人物の移動パターンを検出するものであり、
    さらに、前記注目人物の運動軌跡の長さ、前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の重要度を判定し、前記複数枚の静止画像の各々について、前記判定された重要度に基づいて、前記重要度の評価値を算出する重要度判定部と、
    前記静止画像における注目人物の位置、前記静止画像における注目人物の大きさ、前記注目人物の移動パターンのうちの少なくとも１つに基づいて、前記複数枚の静止画像の各々の構図の良否を分析し、前記複数枚の静止画像の各々について、前記分析された構図の良否に基づいて、前記構図の評価値を算出する構図分析部と、
    前記静止画像における注目人物の領域に基づいて、前記複数枚の静止画像の各々の画質を判定し、前記複数枚の静止画像の各々について、前記判定された画質に基づいて、前記画質の評価値を算出する画質判定部とを備え、
    前記静止画像データ出力部は、前記複数枚の静止画像の中から、前記注目人物の動作に対する評価値と、前記重要度の評価値、前記構図の評価値、および、前記画質の評価値のうちの少なくとも１つの評価値との総合評価値が閾値以上である静止画像の静止画像データを出力するものである請求項１〜２２のいずれか１項に記載のコンテンツ管理システム。
24. 前記注目人物検出部は、さらに、前記静止画像における注目人物の顔の向きを検出するものであり、
    さらに、前記注目人物検出部により検出された注目人物の顔の向きに基づいて、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地が、前記動画像が撮影された時の撮影装置の天地と同じになるように、前記静止画像データ出力部から出力された静止画像データに対応する静止画像の天地を補正する天地補正部を備える請求項１〜２３のいずれか１項に記載のコンテンツ管理システム。
25. 前記表示制御部は、ＡＲ技術を使用して、前記撮像された管理画像のプリントを前記表示部に表示し、前記表示部に表示された管理画像のプリントの出力静止画像の表示部分において前記動画像のシーンを再生するように制御するものである請求項８、９および１８のいずれか１項に記載のコンテンツ管理システム。
26. 前記表示制御部は、前記表示部の全面ないし任意のサイズのウィンドウ内において前記動画像のシーンを再生するように制御するものである請求項８、９および１８のいずれか１項に記載のコンテンツ管理システム。
27. 管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
    静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
    注目人物検出部が、前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
    運動軌跡検出部が、前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出するステップと、
    動作分析部が、前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出するステップと、
    静止画像データ出力部が、前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である１枚の静止画像の静止画像データを出力静止画像データとして出力するステップと、
    管理マーカ登録部が、前記出力静止画像データ、もしくは、前記出力静止画像データに対応する出力静止画像の画像特徴量を、管理マーカとして、前記出力静止画像に対応する動画像の動画像データと紐付けて登録するステップと、
    管理画像生成部が、前記出力静止画像データを含む管理画像データを生成するステップとを含むことを特徴とする管理コンテンツの生成方法。
28. 請求項２７に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
    撮像部が、前記管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成するステップと、
    管理マーカ読取部が、前記撮像画像データに対応する撮像画像から前記管理マーカを読み取るステップと、
    前記撮像部により、前記管理画像のプリントに含まれた出力静止画像が撮像された場合に、前記表示制御部が、前記管理マーカ読取部により、前記撮像された出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像を前記表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法。
29. 管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
    静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
    注目人物検出部が、前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
    運動軌跡検出部が、前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出するステップと、
    動作分析部が、前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出するステップと、
    静止画像データ出力部が、前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である２枚以上の静止画像の静止画像データを出力静止画像データとして出力するステップと、
    シーン判別部が、２以上の前記出力静止画像データの各々について、前記出力静止画像データに対応する出力静止画像を含む前記動画像のシーンを判別するステップと、
    管理マーカ登録部が、前記２以上の出力静止画像データの各々、もしくは、前記２以上の出力静止画像データに対応する２枚以上の前記出力静止画像の各々の画像特徴量を、管理マーカとして、前記２枚以上の出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するステップと、
    管理画像生成部が、少なくとも２つの前記出力静止画像データを含む管理画像データを生成するステップとを含むことを特徴とする管理コンテンツ生成方法。
30. 請求項２９に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
    撮像部が、前記管理画像データに対応する管理画像のプリントを撮像して撮像画像データを生成するステップと、
    管理マーカ読取部が、前記撮像画像データに対応する撮像画像から前記管理マーカを読み取るステップと、
    前記撮像部により、前記管理画像のプリントに含まれた出力静止画像の中から１枚の出力静止画像が撮像された場合に、表示制御部が、前記管理マーカ読取部により、前記撮像された１枚の出力静止画像から読み取られた管理マーカに紐付けられた動画像データに対応する動画像のシーンを表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法。
31. 前記撮像部により、前記管理画像のプリントに含まれた出力静止画像の中から２枚以上の出力静止画像が同時に撮像された場合に、前記表示制御部が、前記同時に撮像された２枚以上の出力静止画像の各々に対応する動画像のシーンを前記表示部に同時に再生するように制御するステップを含む請求項３０に記載の管理コンテンツ再生方法。
32. 管理画像と前記管理画像に紐付られた動画像データとからなる管理コンテンツの生成方法であって、
    静止画像データ抽出部が、動画像データから、複数のフレームの静止画像データを抽出するステップと、
    注目人物検出部が、前記複数のフレームの静止画像データに対応する複数枚の静止画像の各々の中から、処理対象とする人物である注目人物を検出するステップと、
    運動軌跡検出部が、前記複数枚の静止画像における前記注目人物の検出結果に基づいて、前記動画像データに対応する動画像における前記注目人物の動きを追跡して前記注目人物の運動軌跡を検出するステップと、
    動作分析部が、前記注目人物の運動軌跡に基づいて、前記動画像における注目人物の動作を分析し、前記複数枚の静止画像の各々について、前記分析された注目人物の動作に基づいて、前記注目人物の動作に対する評価値を算出するステップと、
    静止画像データ出力部が、前記複数のフレームの静止画像データの中から、前記注目人物の動作に対する評価値が閾値以上である１枚ないし２枚以上の静止画像の静止画像データを出力静止画像データとして出力するステップと、
    シーン判別部が、１つの前記出力静止画像データないし２以上の前記出力静止画像データの各々について、前記出力静止画像データに対応する出力静止画像を含む前記動画像のシーンを判別するステップと、
    前記静止画像データ抽出部、前記注目人物検出部、前記運動軌跡検出部、前記動作分析部、前記静止画像データ出力部、および、前記シーン判別部が、複数の前記動画像データの各々について処理を繰り返し行うステップと、
    管理マーカ登録部が、前記複数の動画像データの各々に対応する出力静止画像データの中から前記出力静止画像データを少なくとも１つずつ選択して得られた複数の第１出力静止画像データの各々、もしくは、複数の前記第１出力静止画像データに対応する複数枚の第１出力静止画像の各々の画像特徴量を、第１管理マーカとして、前記複数枚の第１出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録し、かつ、前記複数の動画像データの各々について、前記出力静止画像データを第２出力静止画像データとして、１つの前記第２出力静止画像データないし２以上の前記第２出力静止画像データの各々、もしくは、前記１つの第２出力静止画像データないし前記２以上の第２出力静止画像データの各々に対応する第２出力静止画像の画像特徴量を、第２管理マーカとして、１枚の前記第２出力静止画像ないし２枚以上の前記第２出力静止画像の各々に対応する動画像のシーンの動画像データと紐付けて登録するステップと、
    管理画像生成部が、少なくとも２つの前記第１出力静止画像データを含む第１管理画像データ、および、前記複数の動画像データの各々について、少なくとも１つの前記第２出力静止画像データを含む第２管理画像データを生成するステップとを含むことを特徴とする管理コンテンツ生成方法。
33. 請求項３２に記載の管理コンテンツ生成方法によって生成された管理コンテンツを再生する管理コンテンツ再生方法であって、
    撮像部が、前記第１管理画像データに対応する第１管理画像のプリントを撮像して撮像画像データを生成するステップと、
    管理マーカ読取部が、前記撮像画像データに対応する撮像画像から前記第１管理マーカを読み取るステップと、
    前記撮像部により、前記第１管理画像のプリントに含まれた第１出力静止画像の中から１枚の第１出力静止画像が撮像された場合に、表示制御部が、前記管理マーカ読取部により、前記撮像された１枚の第１出力静止画像から読み取られた第１管理マーカに紐付けられた動画像データに対応する第２管理画像を表示部に表示するように制御するステップと、
    前記表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像を選択する指示を、操作入力部を介して入力するステップと、
    前記操作入力部を介して入力された指示により、前記表示部に表示された第２管理画像に含まれた第２出力静止画像の中から１枚の第２出力静止画像が選択された場合に、前記表示制御部が、前記管理マーカ読取部により、前記選択された１枚の第２出力静止画像から読み取られた第２管理マーカに紐付けられた動画像データに対応する動画像のシーンを前記表示部に再生するように制御するステップとを含むことを特徴とする管理コンテンツ再生方法。
34. 請求項２７、２９および３２のいずれか１項に記載の管理コンテンツ生成方法の各々のステップをコンピュータに実行させるためのプログラム。
35. 請求項２７、２９および３２のいずれか１項に記載の管理コンテンツ生成方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
36. 請求項２８、３０、３１および３３のいずれか１項に記載の管理コンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラム。
37. 請求項２８、３０、３１および３３のいずれか１項に記載の管理コンテンツ再生方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。