JP2016165078A - 情報処理装置、方法およびプログラム - Google Patents

Abstract

【課題】動画像から抽出された画像を含むレイアウト処理を適切に行う情報処理装置を提供する。【解決手段】静止画像ファイルに含まれている第１の静止画像と、動画像ファイルに含まれている動画像から抽出された第２の静止画像に対して、テンプレートへのレイアウト対象としての評価を行う。その評価に従って、第１の静止画像および第２の静止画像から、テンプレートへのレイアウト対象を特定し、レイアウト対象の静止画像ファイルをテンプレートへレイアウトする。第２の静止画像が特定される可能性が第１の静止画像よりも高くなるように、第１の静止画像と第２の静止画像が評価される。【選択図】図５

Description

本発明は、ファイルのレイアウト処理を行う情報処理装置、方法およびプログラムに関する。

近年、フォトアルバム作成アプリケーションを使って、複数の静止画像をフォトアルバム用のテンプレートに自動的に配置して、フォトアルバムを自動生成する製品がある。また、動画像から静止画像を抽出する技術として、ユーザによる指示に応じたフレーム間隔に基づき動画像において複数のフレーム群を特定し、それぞれに含まれる複数のフレームの解析結果に基づいて出力対象のフレームを抽出する技術がある（特許文献１）。

特開２０１３−２６９３５号公報

ユーザが静止画像と動画像の両方の画像をレイアウトしたフォトアルバムを作成したい場合であっても、フォトアルバムを自動的に作成するアプリケーションにおいて動画像がフォトアルバム用の画像の対象でない場合、当該アプリケーションでは動画像に含まれる画像は配置されない。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、動画像から抽出された画像を含むレイアウト処理を適切に行う情報処理装置、方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、静止画像ファイルに含まれている第１の静止画像と、動画像ファイルに含まれている動画像から抽出された第２の静止画像に対して、テンプレートへのレイアウト対象としての評価を行う評価手段と、前記評価手段による評価に従って、前記第１の静止画像および前記第２の静止画像から、前記テンプレートへのレイアウト対象を特定する特定手段と、前記特定手段により特定されたレイアウト対象の静止画像ファイルを前記テンプレートへレイアウトするレイアウト手段と、を備え、前記評価手段は、前記第２の静止画像が前記特定手段により特定される可能性が前記第１の静止画像よりも高くなるように、前記第１の静止画像と前記第２の静止画像を評価する、ことを特徴とする。

本発明によれば、動画像から抽出された画像を含むレイアウト処理を適切に行うことができる。

情報処理装置を含むシステムの構成を示す図である。 ＰＣのハードウェア構成を示す図である。 ＰＣのソフトウェア構成を示す図である。 アプリケーションの画面を示す図である。 フォトアルバムの自動作成処理を示すフローチャートである。 フォトアルバムの自動作成処理を示すフローチャートである。 静止画像の分類処理を示すフローチャートである。 動画像から静止画像を抽出する処理を示すフローチャートである。 フォトアルバムの自動作成処理を示すフローチャートである。 フォトアルバムの構成を表す図である。 レイアウトテンプレートを示す図である。 レイアウトテンプレートのスロットの管理方法を説明するための図である。 スロットと静止画像の配置の関係を示す図である。 静止画像のスコアを示す図である。 スロットの位置情報を示す図である。 動画像から静止画像を取得する処理を示すフローチャートである。 静止画像と動画像の関連付けと静止画像の分類とを示す図である。 動画像を構成するフレームを示す図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
図１は、情報処理装置からなるフォトアルバム作成／注文システムの構成の一例を示す図である。図１において、情報処理装置１及び２は、例えば、一般的なパーソナルコンピュータまたはサーバー（以下、ＰＣと略す場合がある）で構成される。ＰＣ１、ＰＣ２は、図２で後述するようなハードウェアで構成され、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと略す場合がある）としてＷｉｎｄｏｗｓ（登録商標）８またはＷｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ ２０１２と同等のＯＳがインストールされている。ＰＣ１、ＰＣ２は、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク４及び８に接続されている。

フォトアルバム作成アプリケーション８０は（以下、アプリケーションと略す場合がある）であり、例えばＷｉｎｄｏｗｓ（登録商標）用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。Ｗｅｂブラウザアプリケーション１４３（以下、Ｗｅｂブラウザと略す場合がある）は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）を利用する際に用いられるブラウザである。ネットワーク４は、ＰＣ１を使用するユーザ（顧客等）が住んでいる自宅に構築された一般家庭用のホームネットワークである。ネットワーク８は、ＡＢＣ社内に構築されたオフィスネットワークである。

ネットワーク８に接続されているＰＣ２は、Ｗｅｂサーバの機能を備えるＷｅｂサーバ９を含み、インターネットを介してＡＢＣ社のＷｅｂサイトを提供している。ショッピングサイト１１は、ＡＢＣ社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト１１を利用してフォトアルバムを注文することができる。

図２は、ＰＣのハードウェア構成の一例を表す図である。ＰＣ１及びＰＣ２は、図２に示すようなハードウェアを含んで構成されている。図２に示す通り、ＰＣ１及びＰＣ２は、ランダムアクセスメモリ部であるＲＡＭ２０１、ハードディスクドライブ部であるＨＤＤ２０２、キーボード部であるＫＢＤ２０３、ＣＰＵ２０４を含む。また、ＰＣ１及びＰＣ２は、表示用ディスプレイであるＬＣＤ２０５、ネットワークボードであるＮＢ２０７をさらに含む。また、ＰＣ１及びＰＣ２は、少なくとも図２に示す各ブロックを互いに通信可能に接続するバス２０６を含む。尚、ＨＤＤ２０２は、例えば、ＰＣ１及びＰＣ２の記憶部である。可搬性ＣＤ−ＲＯＭまたは内部据付のＲＯＭ等が記憶部であっても良い。ＫＢＤ２０３は、例えば、ＰＣ１及びＰＣ２の入力部である。ＣＰＵ２０４は、例えば、ＰＣ１及びＰＣ２の制御部である。ＬＣＤ２０５は、例えば、ＰＣ１及びＰＣ２の表示部である。ＮＢ２０７は、例えば、ＰＣ１及びＰＣ２の通信制御部である。

アプリケーション８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３に示す各モジュール（ソフトウェア）は、例えばＨＤＤ２０２に記憶され、必要に応じてＲＡＭ２０１に読み出されてＣＰＵ２０４により実行される。これにより、ＣＰＵ２０４が、アプリケーション８０、Ｗｅｂブラウザ１４３等のアプリケーションや、図３に示す各モジュール（ソフトウェア）の機能を実現する。

図３は、ＰＣのソフトウェアのモジュール構成の一例を表す図である。図３において、モジュール９２は、Ｅｔｈｅｒｎｅｔ（登録商標）を制御するＥｔｈｅｒｎｅｔ（登録商標）制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ（登録商標）８ ＯＳに標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。

モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｉｎｇＩｎｔｅｒｆａｃｅ（ＡＰＩ）、ＤｅｖｉｃｅＤｒｉｖｅｒＩｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。モジュール８０は例えばフォトアルバム作成アプリケーション、モジュール１４３は例えばＷｅｂブラウザアプリケーションである。モジュール８２は、アプリケーション群であり、アプリケーション８０、Ｗｅｂブラウザ１４３等を含んで構成される。

図４は、アプリケーションの画面の一例を示す図である。図４（ａ）は、アプリケーション８０のメイン画面の一例を示す。図４（ｂ）は、アプリケーション８０のプレビュー／編集画面の一例を示す。図４（ｃ）は、Ｗｅｂブラウザ１４３で表示されるフォトアルバムの注文画面の一例を示す。

図４（ａ）において、画面４０１は、アプリケーション８０のメイン画面である。選択部４０２は、フォトアルバムタイプ選択部であり、作成するフォトアルバムの種類についてタイプＫ、タイプＭの何れかからの選択を受け付けることができる。ボタン４０３は、タイプＫのフォトアルバムの選択を受け付ける為のフォトアルバム選択ボタンである。タイプＫのフォトアルバムは、例えば、次のようなフォトアルバムである。

形状： １５ｃｍ×１５ｃｍ スクエア
ページ数： ２０ページ
用紙の種類： サテン
綴じ方： ２つ折り
カバー： ソフト
ボタン４０４は、タイプＭのフォトアルバムの選択を受け付ける為のフォトアルバム選択ボタンである。タイプＭのフォトアルバムは、例えば、次のようなフォトアルバムである。

形状： Ａ４（２１０ｍｍ×２９７ｍｍ） 縦
ページ数： ５０ページ
用紙の種類： 光沢
綴じ方： フラット
カバー： ハード
マーク４０５は、フォトアルバム選択状態表示マークであり、選択されているフォトアルバムに関連付けられているフォトアルバム選択ボタンにマーク４０５が表示される。図４（ａ）は、ボタン４０３が押されてタイプＫのフォトアルバムが選択されている状態を示している。ボタン４１２は、フォトアルバム作成ボタンであり、ユーザによる押下を検出すると、アプリケーション８０は、フォトアルバムの作成を開始する。選択部４０６は、動画像ファイル処理方法選択部であり、動画像から静止画像を抽出する処理方法として、自動、時間、シーン、テーマの何れかからのラジオボタンによる選択を受け付ける。

ボタン４０７は、自動選択ボタンであり、動画像から静止画像を抽出する処理方法として、後述する図５に示す自動処理を実行する方法が対応しており、ボタン４０７が押下された場合に実行される。ボタン４０８は、時間選択ボタンであり、動画像から静止画像を抽出する処理方法として、後述する図８（ａ）に示すような撮影年月日時刻をもとにした処理を実行する方法が対応しており、ボタン４０８が押下された場合に実行される。ボタン４０９は、シーン選択ボタンであり、動画像から静止画像を抽出する処理方法として、後述する図８（ｂ）に示すような色、ヒストグラムをもとにしたシーン判定処理を実行する方法が対応しており、ボタン４０９が押下された場合に実行される。ボタン４１０は、テーマ選択ボタンであり、動画像から静止画像を抽出する処理方法として、後述する図８（ｃ）に示すようなオブジェクトをもとにしたテーマ判定処理を実行する方法が対応しており、ボタン４１０が押下された場合に実行される。

ボタン４１１はファイル選択ボタンであり、シーン選択ボタン４０９またはテーマ選択ボタン４１０が選択されている時に有効である。ユーザによるボタン４１１の押下を検出すると、ファイル選択画面（不図示）が表示され、ユーザによる静止画像ファイルの選択が可能になる。アプリケーション８０は、ファイル選択画面を介してユーザにより選択された静止画像ファイルを、アプリケーション８０が使用するＲＡＭ２０１内のワークメモリに一時的に保存する。ユーザによるフォトアルバム作成ボタン４１２の押下を検出すると、アプリケーション８０は、ワークメモリに一時的に保存されている静止画像ファイルに基づいて、前述のシーン判定処理またはテーマ判定処理を実行する。フレーム抽出時間間隔指定部４１３は、ユーザから、動画像から静止画像を抽出する時間間隔の指定を例えば１秒単位で受付可能である。尚、デフォルト値は例えば１秒で設定されている。

図４（ｂ）において、画面４１５は、アプリケーション８０のプレビュー／編集画面を示す。プレビュー表示部４１８は、プレビュー表示部であり、アプリケーション８０は、作成中のフォトアルバムの見開き２ページ分のプレビューをプレビュー表示部４１８に表示する。見開きページ選択部４１６は、ユーザから、プレビュー表示部４１８に表示する見開きページの選択を受付可能である。ユーザにより選択されている見開きページに見開きページ選択状態表示マーク４１７が表示される。図４（ｂ）は、７ページと８ページで構成される見開きページが選択されている状態を示している。

購入商品追加ボタン４１９は、ユーザがフォトアルバムを購入する際に、商品としてショッピングカート（不図示）に追加することができる。ユーザによる購入商品追加ボタン４１９の押下を検出すると、アプリケーション８０がプレビュー表示部４１８に表示されているフォトアルバムをショッピングカートに追加する。ユーザは、ショッピングカートに追加されたフォトアルバムを、ショッピングカートに関連付けられている図４（ｃ）に示すオンライン注文サイトと、それと連携している決済サイト（不図示）を介して購入することができる。尚、オンライン注文サイト、決済サイト、ショッピングカートに関しては、一般的なオンラインショッピングサイトとそれと連携する決済サイトやショッピングカートと同様なので、その説明を省略する。

図４（ｃ）において、ＵＲＬ設定部４２１は、ユーザがＷｅｂブラウザ１４３で表示させたいＷｅｂサイト（ページ）のＵＲＬの指定を受け付ける。また、Ｗｅｂブラウザ１４３が表示しているＷｅｂサイト（ページ）のＵＲＬもＵＲＬ設定部４２１に表示される。画面４２２は、Ｗｅｂブラウザ１４３が表示しているフォトアルバムの注文画面であり、図４（ｃ）は注文番号４６４９のフォトアルバムを注文する一例を示している。注文情報表示部４２３は、フォトアルバムの注文に関する情報を表示する。図４（ｃ）は、以下のような例を示している。

注文番号： ４６４９
フォトアルバムの種類： タイプＫ
価格： ￥１００，０００
ユーザは、注文ボタン４２４を押し、その後に表示される画面に従って氏名、住所、電話番号、配送先等の必要な情報を入力する。そして、決済サイトで決済を完了することで、アプリケーション８０で作成されたフォトアルバムを注文して、そのアルバムを購入することができる。

図１０は、フォトアルバムの構成の一例を示す図である。図１０（ａ）はタイプＫのフォトアルバムの構成の一例を示し、図１０（ｂ）はタイプＭのフォトアルバムの構成の一例を示す。

図１０（ａ）に示すフォトアルバムは、表紙１００１、裏表紙１００４、本身の１ページと２ページの見開き２ページ１００２、本身の１９ページと２０ページの見開き２ページ１００３を含む。タイプＫのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、２０ページ目が最終ページである。

図１０（ｂ）に示すフォトアルバムは、タイプＭのフォトアルバムに関し、表紙１０１１、裏表紙１０１４、本身の１ページと２ページの見開き２ページ１０１２、本身の４９ページと５０ページの見開き２ページの１０１３を含む。タイプＭのフォトアルバムの場合、本身に関しては、１ページ目が先頭ページ、５０ページ目が最終ページである。

図１１は、レイアウトテンプレート（以下、テンプレートともいう）の一例を示す図である。図１１（ａ）はタイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの一例を示す。図１１（ｂ）はタイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示す。図１１（ｃ）はタイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの一例を示す。

図１１（ａ）において、テンプレート１１００は、例えば、タイプＫのフォトアルバムの時間ベース用のレイアウトテンプレートの、本身の１ページと２ページの見開き２ページのレイアウトテンプレートである。テンプレート１１０１は本身の１ページのレイアウトテンプレート、テンプレート１１０２は本身の２ページのレイアウトテンプレートである。スロット１１０３、１１０４、１１０５、１１０６は本身の１ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。

スロット１１０３、１１０４、１１０５、１１０６はグループ１の領域に属する。テンプレート１１０１に付加されているコードＫ−Ａ−Ｇ１−Ｐ１はこのテンプレートの属性を表す。ＫはタイプＫのフォトアルバム用であることを表し、Ａは時間ベース用であることを表し、Ｇ１はグループ１の領域用であることを表し、Ｐ１は本身の１ページ用であることを表す。スロット１１０３、１１０４、１１０５、１１０６に付加されているコードＫ−Ａ−Ｇ１−１、Ｋ−Ａ−Ｇ１−２、Ｋ−Ａ−Ｇ１−３、Ｋ−Ａ−Ｇ１−４は、それぞれ、これらのテンプレートの属性を表す。Ｋ−Ａ−Ｇ１は前述の説明と同じ内容であるが、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。

スロット１１０７、１１０８、１１０９、１１１０は本身の２ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。スロット１１０７、１１０８、１１０９、１１１０はグループ２の領域に属する。テンプレート１１０２に付加されているコードＫ−Ａ−Ｇ２−Ｐ２はこのテンプレートの属性を表す。Ｋ−Ａは前述の説明と同じ内容であるが、Ｇ２はグループ２の領域用であることを表し、Ｐ２は本身の２ページ用であることを表す。スロット１１０７、１１０８、１１０９、１１１０に付加されているコードＫ−Ａ−Ｇ２−１、Ｋ−Ａ−Ｇ２−２、Ｋ−Ａ−Ｇ２−３、Ｋ−Ａ−Ｇ２−４は、それぞれ、これらのスロットの属性を表す。Ｋ−Ａ−Ｇ２は前述の説明と同じ内容であるが、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。図１１（ａ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例である。

図１１（ｂ）において、テンプレート１１２０は、例えば、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の７ページと８ページの見開き２ページのレイアウトテンプレートである。テンプレート１１２１は本身の７ページのレイアウトテンプレートであり、テンプレート１１２２は本身の８ページのレイアウトテンプレートである。スロット１１２４は本身の７ページに配置されているスロットであり、スロット１１２６は本身の８ページに配置されているスロットであり、スロット１１２３、１１２５は本身の７ページと８ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。

スロット１１２３、１１２４、１１２５、１１２６はグループ４の領域に属する。テンプレート１１２１に付加されているコードＫ−Ｂ−Ｇ４−Ｐ７、テンプレート１１２２に付加されているコードＫ−Ｂ−Ｇ４−Ｐ８は、それぞれのテンプレートの属性を表す。ＫはタイプＫのフォトアルバム用であることを表し、Ｂはシーンベース用であることを表し、Ｇ４はグループ４の領域用であることを表し、Ｐ７は本身の７ページ用、Ｐ８は本身の８ページ用であることを表す。スロット１１２３、１１２４、１１２５、１１２６に付加されているコードＫ−Ｂ−Ｇ４−１、Ｋ−Ｂ−Ｇ４−２、Ｋ−Ｂ−Ｇ４−３、Ｋ−Ｂ−Ｇ４−４は、それぞれ、これらのスロットの属性を表す。Ｋ−Ｂ−Ｇ４は前述の説明と同じ内容であるが、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。図１１（ｂ）は、見開き２ページ単位で領域をグループ化し、そのグループ（見開き２ページ）内の全てのスロットを同一グループの領域に属するものとした例である。

図１１（ｃ）において、テンプレート１１４０は、例えば、タイプＫのフォトアルバムのテーマベース用のレイアウトテンプレートの、本身の５ページと６ページの見開き２ページのレイアウトテンプレートである。テンプレート１１４１は本身の５ページのレイアウトテンプレートであり、テンプレート１１４２は本身の６ページのレイアウトテンプレートである。スロット１１４３、１１４４、１１４５、１１４６、１１４７は本身の５ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。

スロット１１４３、１１４４、１１４５、１１４６、１１４７はグループ５の領域に属する。テンプレート１１４１に付加されているコードＫ−Ｃ−Ｇ５−Ｐ５はこのテンプレートの属性を表す。ＫはタイプＫのフォトアルバム用であることを表し、Ｃはテーマベース用であることを表し、Ｇ５はグループ５の領域用であることを表し、Ｐ５は本身の５ページ用であることを表す。スロット１１４３、１１４４、１１４５、１１４６、１１４７に付加されているコードＫ−Ｃ−Ｇ５−１、Ｋ−Ｃ−Ｇ５−２、Ｋ−Ｃ−Ｇ５−３、Ｋ−Ｃ−Ｇ５−４、Ｋ−Ｃ−Ｇ５−５は、それぞれこれらのテンプレートの属性を表す。Ｋ−Ｃ−Ｇ５は前述の説明と同じ内容であるが、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。スロット１１４８、１１４９、１１５０、１１５１は本身の６ページに配置されているスロットであり、アプリケーション８０は静止画像をこれらのスロットに配置する。

スロット１１４８、１１４９、１１５０、１１５１はグループ６の領域に属する。テンプレート１１４２に付加されているコードＫ−Ｃ−Ｇ６−Ｐ６はこのテンプレートの属性を表す。Ｋ−Ｃは前述の説明と同じ内容であり、Ｇ６はグループ６の領域用であることを表し、Ｐ６は本身の６ページ用であることを表す。スロット１１４８、１１４９、１１５０、１１５１に付加されているコードＫ−Ｃ−Ｇ６−１、Ｋ−Ｃ−Ｇ６−２、Ｋ−Ｃ−Ｇ６−３、Ｋ−Ｃ−Ｇ６−４は、それぞれ、これらのスロットの属性を表す。Ｋ−Ｃ−Ｇ６は前述の説明と同じ内容であるが、最後の数字はスロット番号を表す。スロット番号はグループ単位で割り当てられる。図１１（ｃ）は、ページ単位で領域をグループ化し、そのグループ（片側１ページ）内の全てのスロットを同一グループの領域に属するものとした例である。

図１２は、レイアウトテンプレートとスロット管理を説明するための図である。図１２（ａ）はタイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの一例を示し、図１２（ｂ）はスロットの管理方法の一例を示す。図１２（ａ）は、図１１（ｂ）に示すレイアウトテンプレートが改良されたテンプレートであり、静止画像と、動画像から抽出した静止画像をそれぞれ適切なスロットに配置する例を示す。

図１２（ａ）において、テンプレート１２００は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートの、本身の１５ページと１６ページの見開き２ページのレイアウトテンプレートである。テンプレート１２０１は本身の１５ページのレイアウトテンプレート、テンプレート１２０２は本身の１６ページのレイアウトテンプレートである。スロット１２０５、１２０６は本身の１５ページに配置されているスロットであり、スロット１２０８、１２０９は本身の１６ページに配置されているスロットである。スロット１２０３、１２０４は本身の１５ページと１６ページの両方にまたがって配置されているスロットである。アプリケーション８０は、静止画像をこれらのスロットに配置する。

スロット１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１２０９は、グループ８の領域に属する。テンプレート１２０１に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１５、テンプレート１２０２に付加されているコードＫ−Ｂ−Ｇ８−Ｐ１６は、それぞれのテンプレートの属性を表す。ＫはタイプＫのフォトアルバム用であることを表し、Ｂはシーンベース用であることを表し、Ｇ８はグループ８の領域用であることを表し、Ｐ１５は本身の１５ページ用、Ｐ１６は本身の１６ページ用であることを表す。

スロット１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１２０９に付加されているコード（Ｋ−Ｂ−Ｇ８−１−Ｓ等）はそれぞれ、スロットの属性を表す。Ｋ−Ｂ−Ｇ８までは前述の説明と同じ内容であるが、その次の数字はスロット番号を表す。最後の文字は配置する画像の属性を表し、Ｓはデジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像用のスロットであることを示す属性を表す。また、Ｄは動画像からフレームの解析等を行って抽出した静止画像用のスロットであることを示す属性を表す。例えば、スロット１２０３にはコードＫ−Ｂ−Ｇ８−１−Ｓが付加されていて、画像の属性はＳであるので、このスロットに配置するのに適した画像は、一般的な静止画像である。また、例えば、スロット１２０５にはコードＫ−Ｂ−Ｇ８−３−Ｄが付加されていて、画像の属性はＤであるので、このスロットに配置するのに適した画像は、動画像から抽出した静止画像である。スロット番号はグループ単位で割り当てられる。

図１２（ａ）は、見開き２ページ単位で領域をグループ化し、そのグループ（見開き２ページ）内の全てのスロットを同一グループの領域に属するものとした例である。尚、一般的な静止画像用として適しているスロット１２０３に配置するのに適した一般的な静止画像が存在しない場合には、このスロットに動画像から抽出した静止画像を配置してもよい。また、動画像から抽出した静止画像用として適しているスロット１２０５に配置するのに適した動画像から抽出した静止画像が存在しない場合には、このスロットに一般的な静止画像を配置してもよい。

また、動画像から抽出した複数の静止画像の中に、例えば少しピンボケしていてフォトアルバムとしてはあまり適切でない静止画像が存在する場合で、仮にその少しピンボケしている静止画像よりも品位の高い一般的な静止画像が存在するケースがある。そのようなケースでも、あえて少しピンボケした静止画像を動画像から抽出した静止画像用として適している属性Ｄのスロットに、動画像から抽出した連続している静止画像の内の１つとして配置することも有効である。つまり、動画像から抽出した連続している複数の静止画像を、静止画像用として適している属性Ｄのスロットに一連の静止画像として配置する。それにより、ユーザの煩わしい操作を伴わずに、レイアウトテンプレートの特徴を引き出したダイナミックなフォトアルバムを自動的に作成することができる。また、魅力のあるフォトアルバムを自動生成する機能を備えるフォトアルバム作成アプリケーションを提供することができる。

図１２（ｂ）は、タイプＫのフォトアルバムのシーンベース用のレイアウトテンプレートを用いた、スロットの管理方法の一例を示す図である。図１２（ｂ）は、図１２（ａ）をもとにスロットの管理方法に着目した図である為、説明の都合上、スロット１２０３以外のスロットに関しては、その記載を省略している。図１２（ｂ）において、点Ｏはフォトアルバムの基準点であり、アプリケーション８０は、フォトアルバムの見開き２ページの左上端の角を基準点として、各スロットの位置を定義し、それぞれのスロットに対する画像の配置を管理／制御する。アプリケーション８０は、点Ｏから右方向を横のプラス（＋）座標、左方向を横のマイナス（−）座標、下方向を縦のプラス（＋）座標、上方向を縦のマイナス（−）座標と定義している。各点の座標は（横座標、縦座標）と表され、例えば点Ｏの座標は（０，０）［単位：ｃｍ］である。

点Ｗはスロット１２０３の基準点であり、このスロットの左上端の角と一致する。このように、各スロットの基準点は、それぞれのスロットの左上端とする。点Ｗは点Ｏから右方向に１ｃｍ、下方向に１ｃｍの位置にあり、座標は（１，１）［単位：ｃｍ］である。Ｌはスロット１２０３の幅であり、１６ｃｍである。Ｈはスロット１２０３の高さであり、６ｃｍである。これらにより、スロット１２０３を構成する長方形の各点及びその座標は、それぞれ点Ｘ（１７，１）［単位：ｃｍ］、点Ｙ（１７，７）［単位：ｃｍ］、点Ｚ（１，７）［単位：ｃｍ］である。点Ｐはスロット１２０３の中点であり、その座標は（９，４）［単位：ｃｍ］である。Ｒはスロット１２０３の回転角度であり、図１２（ｂ）の例ではスロット１２０３は回転されていないので、回転角度は０度である。このように、アプリケーション８０は、レイアウトテンプレートに配置する各スロットを座標と回転角度を用いて定義し、管理／制御する際にその情報を使用する。定義された情報は、図１５に示すテーブルのように管理される。

図１３は、スロットと静止画像の配置の関係の一例を示す図である。同１３（ａ）と図１３（ｂ）はテンプレート１１０２におけるスロットと静止画像の配置の関係を示す。図１３（ｃ）と図１３（ｄ）はテンプレート１１４１におけるスロットと静止画像の配置の関係を示す。図１３（ｅ）はテンプレート１２００におけるスロットと静止画像の配置の関係を示す。これらの図において、ＡｌｂｕｍＴｙｐｅはフォトアルバムの種類、Ｇｒｏｕｐは領域（グループ）番号、Ｐａｇｅはページ番号、Ｓｌｏｔはスロット番号、Ｆｉｌｅはファイル名である。同１３（ａ）と図１３（ｂ）において、スロット番号１〜４のスロットは、それぞれスロット１１０７〜１１１０に該当する。図１３（ｃ）と図１３（ｄ）において、スロット番号１〜５は、それぞれスロット１１４３〜１１４７に該当する。図１３（ｅ）において、スロット番号１〜７は、それぞれスロット１２０３〜１２０９に該当する。図１３において、ｓｔａｔｉｃ＊．ｊｐｇはデジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像、ｄｙｎａｍｉｃ＊．ｊｐｇ（＊は任意の数字）は動画像から抽出された静止画像である。

図１４は、静止画像のスコアの一例を示す図である。図１４において、Ｆｉｌｅはファイル名、Ｅｌｅｍｅｎｔｓはフォトアルバム用の画像としての適切さ（良さ）を定義する要素、Ｓｃｏｒｅはその各要素の総合的なスコアである。スコアは、Ｅｌｅｍｅｎｔの各要素の点から導き出された、テンプレートに配置（レイアウト）される上での総合的な適切さを示す指標である。

Ｅｌｅｍｅｎｔｓは、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の各要素を含む。各要素は０（最低）〜１０（最高）のポイントで、フォトアルバム用の画像としての適切さを表す。各要素のポイントは、予め定められた基準により付与されて良い。例えば、静止画像内の輝度値の最大値と最小値の差が所定の各レベルに対応すれば、対応するポイントをコントラスト点として付与しても良い。また、例えば、静止画像内のオブジェクトに基づいた三角構図の評価結果が所定の各レベルに対応すれば、対応するポイントを構図点として付与しても良い。また、例えば、静止画像内の輝度分布の変化の尖鋭度が所定の各レベルに対応すれば、対応するポイントをピント点として付与しても良い。

Ｏｒｉｇｉｎａｌはオリジナルのスコアであり、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）のそれぞれのポイントの平均値である。Ｍｏｄｉｆｉｅｄはオリジナルのスコアを補正したスコアである。アプリケーション８０は、動画像から抽出した静止画像に対して、そのメリットを表す分の重み付けをスコアとして表す為に、例えばオリジナルのスコアに１．２倍を乗算してスコアを増やしている。

メリットとは、例えば、オリジナルのスコア値を大きくすることによって、動画像から抽出した静止画像がテンプレートへのレイアウト対象として特定される可能性を高めることができる。つまり、動画像から抽出した静止画像については、再度の抽出し直しでより良い静止画像を取得することが可能であるので、最終的に完成するテンプレートの品質を向上させることができる。

アプリケーション８０は、静止画像を各スロットに配置する際に、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）または補正後のスコア（Ｍｏｄｉｆｉｅｄ）から高い方のスコアを採用して、テンプレートへのレイアウト対象としてより適切な画像の特定に使用する。尚、前述の例では、動画像から抽出した静止画像のオリジナルのスコアに１．２倍を乗算してそのスコアを増やしている。それにより、動画像から抽出した静止画像のスコアの方が、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアよりも相対的に高くなるように制御している。しかしながら、このような制御方法に限られることなく、例えば、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアに０．８倍を乗算してそのスコアを減らすことでも良い。それにより、動画像から抽出した静止画像のスコアの方が、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアよりも相対的に高くなるように制御することを実現できる。図１４の「−」はデータが存在しないことを表す。

図１５は、スロットの位置の一例を表す図である。図１５において、Ｓｌｏｔはスロット番号、ＲｅｆｅｒｅｎｃｅＰｏｉｎｔはスロットの基準点、Ｌｅｎｇｔｈはスロットの幅、Ｈｅｉｇｈｔはスロットの高さ、Ｒｏｔａｔｉｏｎはスロットの回転角度である。図１５は、図１２（ａ）に示すレイアウトテンプレート１２００のスロット１２０３〜１２０９の位置の例を示す。

図１７は、静止画像と動画像の関連付けと、静止画像の分類の一例を示す図である。図１７（ａ）は本実施形態における一例を示し、図１７（ｂ）は後述する第２の実施形態での一例を示す。これらの図において、ＪＰＥＧは静止画像のファイル名、ＭＰＥＧはＭＰＥＧ動画像のファイル名、Ｄａｔｅ＆Ｔｉｍｅは撮影年月日時刻、Ｉｎｆｏは分類に関する情報、Ｇｒｏｕｐは分類結果である。また、Ｆｒａｍｅは動画像を構成するフレーム番号、ＲｅｌａｔｅｄＦｉｌｅは静止画像ファイル、動画像ファイルに関連付けられている関連ファイル（動画像ファイル／静止画像ファイル）のファイル名である。ＪＰＥＧ欄に記載されている静止画像ファイルは、同じ行のＭＰＥＧ欄に記載されている動画像ファイルから抽出されて保存された静止画像ファイルである。Ｄａｔｅ＆Ｔｉｍｅの書式は年月日と時刻（１／１０００秒）である。例えば、図１７（ａ）のｄｙｎａｍｉｃ１５．ｊｐｇの行のＤａｔｅ＆Ｔｉｍｅ欄に記載されている「２０１４０３３０１０００１０３３４」は、２０１４年０３月３０日１０時００分１０と３３４／１０００秒を表す。図１７の「−」はデータが存在しないことを表す。

図５は、フォトアルバムを自動作成する処理を示すフローチャートである。図５のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザにより、図４（ａ）に示す自動選択ボタン４０７を選択して、フォトアルバム作成ボタン４１２が押下されると、アプリケーション８０が図５に示すフォローチャートに従ってＳ５０１からその処理を実行する。Ｓ５０２において、アプリケーション８０は、静止画像ファイルまたは動画像ファイルが格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像ファイルまたは動画像ファイルを選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ５０２において、ユーザに静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像ファイルまたは動画像ファイルを選択させてもよい。

Ｓ５０３において、アプリケーション８０は、図１６（ａ）に示す、動画像ファイルから静止画像を取得して保存する処理を実行する。Ｓ５０４において、アプリケーション８０は、Ｓ５０３で保存した静止画像に対して、その静止画像のもととなった動画像内のフレームの位置情報（フレーム番号）を、その静止画像と関連付けて例えば図１７（ａ）のように保存する。

Ｓ５０５において、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中の各静止画像に対して、フォトアルバム用の画像としての適切さを示す図４中の各要素について解析を行う。そして、各要素の適切さを示す評価値として、各静止画像に対してスコアを算出し、付与する。ここでスコアが付与される画像は、上記静止画像ファイル内の静止画像と、Ｓ５０３において保存された静止画像である。なお、Ｓ５０５では、静止画像ファイル内の静止画像、動画像ファイルから抽出された静止画像の両方に対して共通の評価基準によりスコアが付与される。Ｓ５０５において、アプリケーション８０は、Ｓ５０３で追加した、動画像から抽出した静止画像に対しても、フォトアルバム用の画像としての各要素の適切さに応じてスコアを付与する。

Ｓ５０６において、アプリケーション８０は、動画像から抽出した静止画像のスコアを補正する。Ｓ５０６において、アプリケーション８０は、動画像から抽出した静止画像に対して、そのメリットを表す分の重み付けをスコアとして表す為に、例えば、オリジナルのスコアに１．２倍を乗算してスコアを増やす。アプリケーション８０は、静止画像を各スロットに配置する際に、図１４に示すオリジナルのスコア（Ｏｒｉｇｉｎａｌ）または補正後のスコア（Ｍｏｄｉｆｉｅｄ）から高い方のスコアを採用する。そして、テンプレート内のスロット数分の静止画像を各スロットに対して配置する。

アプリケーション８０が、図１６（ａ）に示す処理を実行して動画像から抽出した静止画像に対して図１６（ｂ）に示す処理を実行することで、フォトアルバム用の画像としてより適切な静止画像を抽出することができるというメリットがある。従って、アプリケーション８０は、動画像から抽出した静止画像のオリジナルのスコアに対して、上記のメリット分の重み付けとして、１．２倍を乗算してスコアを増やしている。

以下、図１１（ａ）に示すレイアウトテンプレート１１００を例として、各スロットに画像を配置してフォトアルバムを作成する処理に関して説明する。Ｓ５０７において、アプリケーション８０は、レイアウトテンプレート１１００を含むタイプＫのフォトアルバム用のレイアウトテンプレート内の各スロットに、スコアの高い順に静止画像を配置する。

Ｓ５０８において、アプリケーション８０は、動画像から抽出した静止画像がスロットに配置されているか否かを判定する。Ｓ５０９において、アプリケーション８０は、動画像から抽出した静止画像がスロットの中の少なくとも何れか１つのスロットに配置されていると判定した場合にはＳ５１０へ進む。また、スロットのいずれにも配置されていないと判定した場合にはＳ５１２へ進んで図５の処理を終了する。

Ｓ５０７で、動画像から抽出した静止画像を図１４のスコアを基に図１３（ａ）に示す通り、スロット１１０７〜１１１０にｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇを各配置したとする。Ｓ５１０において、アプリケーション８０は、スロット１１１０に配置されたｄｙｎａｍｉｃ２０．ｊｐｇを基に、図１６（ｂ）に示す、動画像からテンプレートへのレイアウト対象としてより適切な静止画像を取得して保存する処理を実行する。静止画像ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）を基に、前後の一定時間の所定範囲内（例えば、前１秒、後１秒の合計２秒）に含まれる全てのフレームを解析してフォトアルバム用としてより適切なフレームを抽出する。

その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを採用する。アプリケーション８０は、フォトアルバム用としてより適切なフレームを抽出し、抽出したフレームを静止画像ｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。

Ｓ５１１において、アプリケーション８０は、スロット１１１０に配置されている静止画像ｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外す。そして、Ｓ５１０で保存したフォトアルバム用としてより適切な静止画像ｄｙｎａｍｉｃ２４．ｊｐｇをスロット１１１０に配置して置き換える。その結果、スロット１１０７、１１０８、１１０９、１１１０に対して、図１３（ｂ）に示す画像が配置される。Ｓ５１２において、アプリケーション８０は、フォトアルバムを自動作成する処理を終了し、図４（ｂ）に示すプレビュー／編集画面４１５を表示する。

以上のように、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

上記では、Ｓ５０６において、動画像から抽出した静止画像のオリジナルのスコアに１．２倍を乗算してそのスコアを増やしている。そして、動画像から抽出した静止画像のスコアの方が、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアよりも相対的に高くなるように制御することを実現している。しかしながら、このような制御方法に限られることなく、例えば、アプリケーション８０が、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアに０．８倍を乗算してそのスコアを減らすようにしても良い。そして、動画像から抽出した静止画像のスコアの方が、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアよりも相対的に高くなるように制御することでもよい。

尚、上記の例では、Ｓ５０６にて、動画像から抽出した静止画像のオリジナルのスコアに１．２倍を乗算してスコアを増やしたり、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像のスコアに０．８倍を乗算してスコアを減らしたりした。しかしながら、これらのような例に限られることなく、例えば、動画像の解像度等をもとにしたクオリティによってそのクオリティが高いと判断した場合はその動画像から抽出した静止画像のオリジナルのスコアに１．５倍を乗算してもよい。その場合には、解像度が基準値以上であれば、クオリティが高いと判定してもよい。また、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像の解像度等をもとにしたクオリティによってクオリティが低い場合はその静止画像のオリジナルのスコアに０．５倍を乗算してもよい。このような構成により、フォトアルバム用の画像としての適切さを示すスコア値を柔軟に制御することができる。

また上記の例では、Ｓ５０５において静止画像に対してスコアを付与した後、Ｓ５０６においてそのスコアを補正していた。しかしこれに限らず、Ｓ５０５において、動画像から抽出された静止画像に高いスコアが付与されるように処理が行われてもよい。例えば、高いスコアが付与されやすい第１の評価基準と、第１の評価基準よりは低いスコアが付与されやすい第２の評価基準とがＨＤＤ２０２に記憶されている。そして、ＣＰＵ２０４はＳ５０５において、動画像から抽出された静止画像については第１の評価基準によりスコアを付与し、それ以外の静止画像については第２の評価基準によりスコアを付与してもよい。

尚、前述の例では、Ｓ５１１にて、スロット１１１０に配置されている静止画像ｄｙｎａｍｉｃ２０．ｊｐｇをスロット１１１０から外し、Ｓ５１０で保存したフォトアルバム用としてより適切な静止画像ｄｙｎａｍｉｃ２４．ｊｐｇを配置して置き換えている。しかしながら、このような制御方法に限られることなく、例えば、静止画像ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）により、図１３（ｂ）に示すテンプレート１１０２におけるスロットと静止画像の配置の関係を見直してもよい。例えば、ｄｙｎａｍｉｃ２４．ｊｐｇのオリジナルのスコア（Ｏｒｉｇｉｎａｌ）が７．５であるとする。この場合、ｄｙｎａｍｉｃ２４．ｊｐｇの方がｓｔａｔｉｃ３．ｊｐｇのオリジナルのスコア７．０よりもスコア（＝オリジナルのスコア）が高くなる。従って、アプリケーション８０は、ｄｙｎａｍｉｃ２４．ｊｐｇを図１３（ｂ）のスロット３に、ｓｔａｔｉｃ３．ｊｐｇを図１３（ｂ）のスロット４にそれぞれ配置する。

図１６は、動画像から静止画像を取得して保存する処理を示すフローチャートであり、Ｓ２０３における処理の詳細を示す。図１６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。図１６（ａ）は動画像から静止画像を取得して保存する処理の一例を示すフローチャート、図１６（ｂ）は動画像からより適切な静止画像を取得して保存する処理を示すフローチャートである。

図５のＳ５０３において、アプリケーション８０が動画像から静止画像を取得して保存する処理を実行すると、アプリケーション８０は、図１６（ａ）のＳ１６１１からの処理を開始する。Ｓ１６１２において、アプリケーション８０は、図５のＳ５０２で指定したフォルダに格納されている静止画像または動画像、または図５のＳ５０２で指定した画像群から動画像を検索する。

Ｓ１６１３において、アプリケーション８０は、検索された動画像から図４のフレーム抽出時間間隔指定部４１３で指定されている時間間隔で複数のフレームを抽出する。ここでは、フレーム抽出時間間隔指定部４１３で指定されている時間間隔をデフォルト値の１秒としている。Ｓ１６１４において、アプリケーション８０は、抽出した各フレームを静止画像（ＪＰＥＧファイル）に変換して、これらの静止画像を保存する。なお、このとき静止画像をファイル化する場合に限らず、ＣＰＵ２０４が静止画像を例えばビットマップ形式でＲＡＭ２０１に記憶させておいてもよい。この時、図１７（ａ）に示すように、アプリケーション８０は、各静止画像に対して、その静止画像を抽出した動画像のファイル名と、その静止画像のもととなっているフレームの位置情報（フレーム番号）を、その静止画像と関連付けて保存する。静止画像を抽出した動画像のファイルの情報は格納先のフルパスを含むが、図１７（ａ）では格納先のフルパスを省略している。

Ｓ１６１５において、アプリケーション８０は、フォトアルバムを作成する際に必要な画像群の中にこれらの静止画像を追加する。Ｓ１６１６において、アプリケーション８０は、図１６（ａ）の処理を終了し、この処理の呼び出し元へ戻る。

ここで、Ｓ５０７にて、図１４に示すスコアを基に、図１３（ａ）に示す通り、スロット１１０７〜１１１０に静止画像ファイルｓｔａｔｉｃ１．ｊｐｇ、ｓｔａｔｉｃ２．ｊｐｇ、ｓｔａｔｉｃ３．ｊｐｇ、ｄｙｎａｍｉｃ２０．ｊｐｇが各配置されたとする。ここで、図１７（ａ）に示すように、静止画像ファイルｄｙｎａｍｉｃ２０．ｊｐｇは、動画像ファイルｖｉｄｅｏ１．ｍｐ４から抽出されたフレームをもとに保存されたファイルである。尚、ｖｉｄｅｏ１．ｍｐ４はＭＰＥＧ４形式の動画像ファイルであり、フレームレートは３０ｆｐｓ（フレーム／秒）である。

図５のＳ５１０で動画像からより適切な静止画像を取得して保存する処理が実行されると、アプリケーション８０は、スロット１１１０に配置された動画像から抽出した静止画像ｄｙｎａｍｉｃ２０．ｊｐｇを基に図１６（ｂ）の処理をＳ１６２１から開始する。図１６（ｂ）の処理は、動画像からテンプレートのレイアウト対象としてより適切な静止画像を取得して保存する処理である。Ｓ１６２２において、アプリケーション８０は、静止画像ｄｙｎａｍｉｃ２０．ｊｐｇに関連付けられている位置情報（フレーム番号）を取得する。Ｓ１６２３において、アプリケーション８０は、その位置情報（フレーム番号）をもとに、その前後の一定時間の所定範囲（例えば、前１秒、後１秒の合計２秒）の中に含まれる全てのフレームを抽出する。

Ｓ１６２４において、アプリケーション８０は、抽出した全てのフレームを解析して、フォトアルバム用としてより適切なフレームを選択する。その際、アプリケーション８０は、より適切なフレームを選択する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でより高いスコアのフレームを選択する。例えば、抽出されたフレームの中でオリジナルのスコアが最も高いフレームを選択する。

Ｓ１６２５において、アプリケーション８０は、選択したフレームを静止画像（ＪＰＥＧファイル）に変換して、その静止画像を保存する。ここで、アプリケーション８０は、静止画像ｄｙｎａｍｉｃ２０．ｊｐｇをもとに、フォトアルバム用としてより適切なフレームを選択し、その選択したフレームを静止画像ｄｙｎａｍｉｃ２４．ｊｐｇとして保存する。Ｓ１６２７において、アプリケーション８０は、図１６（ｂ）の処理を終了し、この処理の呼び出し元へ戻る。

以上で説明した処理によれば、静止画像がテンプレートにレイアウトされるに際し、動画像から抽出された静止画像に高いスコアが付与されやすくなり、当該静止画像がテンプレートに配置されやすくなる。

例えばカメラにより、あるシーンが静止画像として撮影された場合、ユーザがシャッターボタンを押したタイミングで撮影された画像が取得されるため、そのタイミングでピントがあっていなかった場合、画像にボケが発生する。一方、動画像の場合、あるシーンについて多数の画像（静止画像）が撮影されるため、その多数の画像の中にボケが少ない適切な画像が含まれることがある。

以上で説明した処理によれば、動画像から抽出された複数の静止画像に優先的に高いスコアが付与され、さらにその複数の静止画像のうち評価の高い画像がレイアウトされる。そのため、ボケ等の少ない適切な画像をレイアウトすることができる。

［第２の実施形態］
図１８は、動画像を構成するフレームの一例を示す図である。図１８は動画像ファイルｖｉｄｅｏ４４４．ｍｐ４の例を示す。図１８において、各フレームの下に記載されている番号はそのフレームのフレーム番号である。ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３、４、５からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ５４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ５６．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム９２５、９２６、９２７からそれぞれ抽出して保存した静止画像ファイルである。ｄｙｎａｍｉｃ８７．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇ、ｄｙｎａｍｉｃ８９．ｊｐｇは、アプリケーション８０がｖｉｄｅｏ４４４．ｍｐ４のフレーム３３３４、３３３５、３３３６からそれぞれ抽出して保存した静止画像ファイルである。図１８に示す通り、フレーム１〜５、フレーム９２４〜９２８、フレーム３３３３〜３３３７は、それぞれ異なる場面のフレーム群である。

場面について、静止画像中に含まれるオブジェクトをもとに静止画像が分類される。例えば、静止画像中に含まれるオブジェクトの種類が異なれば、異なる場面として場面分けされる。場面分けは、他の基準に因ってもよく、例えば、同一若しくは類似の構図ごとに場面分けされても良い。

図６は、フォトアルバムを自動作成する処理を示すフローチャートである。図６のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザは、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は、図６に示すフローチャートに従ってＳ６０１からの処理を実行する。Ｓ６０２において、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ６０２において、ユーザに静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。

Ｓ６０３において、アプリケーション８０は、図７に示す静止画像の分類処理を実行する。Ｓ６０４において、アプリケーション８０は、Ｓ６０３の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、各方法に該当する図８（ａ）、図８（ｂ）、図８（ｃ）の処理を実行する。図８（ａ）、図８（ｂ）、図８（ｃ）に示す処理は、分類に対応した、動画像から静止画像を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。

Ｓ６０５において、アプリケーション８０は、Ｓ６０３で適用した分類方法をもとに、その分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、Ｓ６０３において、アプリケーション８０がテーマベースの分類方法を選択したとする。Ｓ６０５において、アプリケーション８０は、テーマベースの分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、アプリケーション８０は、図１１（ｃ）に示すレイアウトテンプレート１１４０が含まれたレイアウトテンプレートを選択したとする。

Ｓ６０６において、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の各スロットに、互いに関連する静止画像を配置する。その際に、本分類（例えば、テーマ）に分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングが行われて、スコアの高い順に所定数のスロットに割り当てるようにしても良い。

Ｓ６０７において、アプリケーション８０は、各スロットに配置されている静止画像を確認し、動画像から抽出した静止画像が複数配置されているか否かを判定する。Ｓ６０８において、アプリケーション８０は、複数配置されていると判定された場合にはＳ６０９へ進み、複数配置されていないと判定された場合にはＳ６１５へ進んで図６の処理を終了する。

ここで、図１３（ｃ）に示す通り、スロット１１４３〜１１４７に静止画像ファイルｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ４５．ｊｐｇ、ｄｙｎａｍｉｃ４６．ｊｐｇが各配置されたとする。Ｓ６０９において、アプリケーション８０は、複数配置されている動画像から抽出した静止画像の中に同一場面のものが含まれているか否かを判定する。Ｓ６１０において、アプリケーション８０は、同一場面のものが含まれていると判定された場合にはＳ６１１へ進み、同一場面のものが含まれていないと判定された場合にはＳ６１５へ進んで図６の処理を終了する。

Ｓ６１１において、アプリケーション８０は、動画像から抽出した静止画像の中から、場面が異なる他の静止画像の有無を判定する。Ｓ６１２において、場面が異なる他の静止画像が有ると判定された場合にはＳ６１３へ進み、場面が異なる他の静止画像が無いと判定された場合にはＳ６１４へ進む。

Ｓ６１３において、アプリケーション８０は、スロットに配置されている動画像から抽出した静止画像の中の同一場面の静止画像の一方を、動画像から抽出した場面が異なる他の静止画像と置き換えて、そのスロットに配置する。その結果、スロット１１４６に配置されている静止画像ｄｙｎａｍｉｃ４５．ｊｐｇが静止画像ｄｙｎａｍｉｃ５５．ｊｐｇに、スロット１１４７に配置されている静止画像ｄｙｎａｍｉｃ４６．ｊｐｇがｄｙｎａｍｉｃ８８．ｊｐｇにそれぞれ置き換えられる。図１３（ｄ）に示す通り、スロット１１４３〜１１４７に静止画像ファイルｓｔａｔｉｃ１４．ｊｐｇ、ｓｔａｔｉｃ２８．ｊｐｇ、ｄｙｎａｍｉｃ４４．ｊｐｇ、ｄｙｎａｍｉｃ５５．ｊｐｇ、ｄｙｎａｍｉｃ８８．ｊｐｇが各配置される。

Ｓ６１４において、アプリケーション８０は、スロットに配置されている動画像から抽出した静止画像の中の同一場面の静止画像の一方を、動画像から抽出した静止画像ではない、同一分類の静止画像と置き換えて、そのスロットに配置する。このときに、図１４に示すスコア値が大きくなるように、置き換えを行っても良い。若しくは、図１４に示す各要素のいずれかのポイントが大きくなるように、置き換えを行っても良い。その結果、最終的に完成されるテンプレートの品質を向上させることができる。Ｓ６１５において、アプリケーション８０は、図６のフォトアルバムを自動作成する処理を終了し、図４（ｂ）に示すプレビュー／編集画面４１５を表示する。

図７は、静止画像の分類処理を示すフローチャートである。図７のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。図６のＳ６０３において、アプリケーション８０が静止画像の分類処理を実行すると、アプリケーション８０は、図７のＳ７０１から静止画像の分類処理を開始する。

Ｓ７０２において、アプリケーション８０は、ユーザによる動画像ファイル処理方法選択部４０６の選択状態を取得し、ユーザが選択した動画像から静止画像を抽出する処理方法をもとに、分類方法を判定する。Ｓ７０３において、アプリケーション８０は、時間ベースの分類方法であると判定した場合にはＳ７０４へ進み、時間ベースの分類方法ではないと判定した場合にはＳ７０５へ進む。

Ｓ７０４において、アプリケーション８０は、静止画像（ＪＰＥＧファイル）のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報、静止画像のファイルの作成日、更新日時、アクセス日時等を参照し、それらの情報から得られた撮影年月日時刻をもとに静止画像を分類する。そして、その分類情報と分類結果（グループ）を、対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報が存在しない場合、ファイルの作成日、更新日時、アクセス日時等から得られた撮影年月日時刻を、静止画像と関連付けて保存する。

分類の方法としては、例えば、同一日の静止画像をまとめて同じ分類としたり、同一月等の同一の時間情報の静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１０２．ｊｐｇの行がこの方法で分類したケースを表す。Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報がｓｔａｔｉｃ１０２．ｊｐｇに関連付けられて格納されている。

Ｓ７０５において、アプリケーション８０は、シーンベースの分類方法であると判定した場合にはＳ７０６へ進み、シーンベースの分類方法ではないと判定した場合にはＳ７０７へ進む。

Ｓ７０６において、アプリケーション８０は、静止画像の色情報やヒストグラム等を解析し、その解析結果をもとに静止画像を分類し、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、色情報やヒストグラムの情報も、静止画像と関連付けて保存する。分類の方法としては、例えば同じような色味の静止画像をまとめて同じ分類としたり、ＲＧＢまたはＹＣｒＣｂのヒストグラムが一致あるいは色度が所定の閾値範囲内の近い静止画像をまとめて同じ分類としたりする方法等がある。例えば、図１７（ｂ）のｓｔａｔｉｃ１２０．ｊｐｇの行がこの方法で分類したケースを表す。Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報がｓｔａｔｉｃ１２０．ｊｐｇに関連付けられて格納されている。

Ｓ７０７において、アプリケーション８０は、テーマベースの分類方法であると判定した場合にはＳ７０８へ進み、テーマベースの分類方法ではないと判定した場合にはＳ７０９へ進む。

Ｓ７０８において、アプリケーション８０は、ユーザがファイル選択ボタン４１１で選択したファイルに含まれているオブジェクトを解析し、その解析結果を基に静止画像を分類する。そして、その分類情報と分類結果（グループ）を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、オブジェクト情報も、静止画像と関連付けて保存する。ここでオブジェクトの例としては、犬や猫等のペット、花、列車、自動車、バイク、その他、様々なものがある。尚、オブジェクトの例として、人（人物、顔、ｅｔｃ．）も含まれる。例えば、図１７（ｂ）のｓｔａｔｉｃ１５５．ｊｐｇの行がこの方法で分類したケースを表す。Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報がｓｔａｔｉｃ１５５．ｊｐｇに関連付けられて格納されている。

Ｓ７０９において、アプリケーション８０は、その他の方法をもとに静止画像を分類し、その結果を対象の静止画像と関連付けて保存する。この時、アプリケーション８０は、上記のその他の方法の情報も、静止画像と関連付けて保存する。尚、ユーザが本実施形態のメイン画面４０１を操作する場合、アプリケーション８０がＳ７０９の処理を実行しない場合もある。Ｓ７１０において、アプリケーション８０は、図７の静止画像の分類処理を終了し、この処理の呼び出し元へ戻る。

図８は、動画像から静止画像の抽出処理を示すフローチャートである。図８のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。図８（ａ）は時間ベースで動画像から静止画像を抽出する処理を示すフローチャートである。また、図８（ｂ）はシーンベースで動画像から静止画像を抽出する処理を示すフローチャートである。また、図８（ｃ）はテーマベースで動画像から静止画像を抽出する処理を示すフローチャートである。

ユーザが、図４（ａ）に示す時間選択ボタン４０８を選択して、フォトアルバム作成ボタン４１２を押下したとする。そのケースにおいて、図６のＳ６０４でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ａ）のＳ８１１で動画像から静止画像の抽出処理を開始する。

Ｓ８１２において、アプリケーション８０は、Ｓ７０４で静止画像に関連付けられている分類情報と、その静止画像のＥｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はその静止画像に関連付けられている撮影年月日時刻を基に、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、まず、動画像の撮影年月日時刻を取得し、Ｓ７０４で得られた静止画像に関連付けられている分類情報（例えば、同一日、同一月）を使って、分類が一致する動画像を特定する。そして、特定した動画像にその分類情報を関連付けて、その情報を保存する。次に、アプリケーション８０は、同一分類の静止画像から、Ｅｘｉｆ情報のＤａｔｅＴｉｍｅ情報又はその静止画像に関連付けられている撮影年月日時刻を取得し、同一分類の動画像から、撮影年月日時刻が一致するフレームを抽出する。その際、アプリケーション８０は、撮影年月日時刻を基準時刻として、その前後の一定時間の所定範囲（例えば、前３秒、後３秒の合計６秒）の中に含まれる全てのフレームを解析して、フォトアルバム用としてより適切なフレームを抽出する。

ここで、アプリケーション８０は、複数のフレームを抽出してもよい。その際、アプリケーション８０は、より適切なフレームを抽出する為に、図１４に示す各要素を使って、フレームの画像をスコアリングし、オリジナルのスコア（Ｏｒｉｇｉｎａｌ）でスコアの高い順にフレームを採用する。フレームの採用数については、例えば、動画像から抽出した静止画像をレイアウト可能なスロット数を、フレームの採用数として決定しても良い。

Ｓ８１３において、アプリケーション８０は、Ｓ８１２で抽出されたフレームを静止画像として保存する。なお、Ｓ８１２において、撮影年月日時刻が一致するフレームが存在しない場合、その動画像に対して図１６（ａ）に示す処理を実行して静止画像を抽出する。

Ｓ８１４において、アプリケーション８０は、動画像から抽出した静止画像と、分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３０１．ｊｐｇの行がこのケースを表し、Ｉｎｆｏ（分類情報）に２０１３年１２月２４日２０時台（２０：００〜２０：５９）で分類したことを表す情報が関連付けて格納されている。また、Ｇｒｏｕｐ（分類結果）にｄａｔｅＴｉｍｅ１というグループ情報が関連付けて格納されている。また、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１０２．ｊｐｇが関連付けて格納されている。Ｓ８１５において、アプリケーション８０は、図８（ａ）の処理を終了し、この処理の呼び出し元へ戻る。

ユーザが、図４（ａ）に示すシーン選択ボタン４０９を選択して、フォトアルバム作成ボタン４１２を押下したとする。そのケースにおいて、図６のＳ６０４でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｂ）のＳ８２１で動画像から静止画像の抽出処理を開始する。

Ｓ８２２において、アプリケーション８０は、図７のＳ７０６で静止画像に関連付けられた色情報やヒストグラム等の分類情報をもとに、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの色情報やヒストグラム等を解析し、図７のＳ７０６で得られた静止画像に関連付けられた分類情報（色やヒストグラム等）と比較する。そして、その結果、両者が一致または類似している場合、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。Ｓ８２３において、アプリケーション８０は、Ｓ８２２で抽出されたフレームを静止画像として保存する。

Ｓ８２４において、アプリケーション８０は、動画像から抽出した静止画像と分類情報、分類結果、関連ファイルを関連付けて、その情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３２１．ｊｐｇの行がこのケースを表す。Ｉｎｆｏ（分類情報）にヒストグラム４（ｈｉｓｔｏｇｒａｍ４−＊、＊は自然数、ヒストグラム４のグループとして判定されるヒストグラム値）で分類したことを表す情報が関連付けて格納されている。また、Ｇｒｏｕｐ（分類結果）にｈｉｓｔｏｇｒａｍ４というグループ情報が関連付けて格納されている。また、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１２０．ｊｐｇが関連付けられて格納されている。Ｓ８２５において、アプリケーション８０は、図８（ｂ）の処理を終了し、この処理の呼び出し元へ戻る。

ユーザが、図４（ａ）に示すテーマ選択ボタン４１０を選択して、フォトアルバム作成ボタン４１２を押下したとする。そのケースにおいて、図６のＳ６０４でアプリケーション８０が動画像から静止画像の抽出処理を実行すると、アプリケーション８０は、図８（ｃ）のＳ８３１で動画像から静止画像の抽出処理を開始する。

Ｓ８３２において、アプリケーション８０は、図７のＳ７０８で静止画像に関連付けられたオブジェクトの分類情報をもとに、動画像から関連するフレームを抽出する。その際、アプリケーション８０は、各動画像からフレームを抽出し、そのフレームの中に含まれているオブジェクトを解析し、図７のＳ７０８で得られた静止画像に関連付けられている分類情報（オブジェクト）と比較する。その比較の結果、両者が一致または類似している場合、動画像にその分類情報を関連付けてその情報を保存する。また、アプリケーション８０は、分類情報が一致したフレームにもその分類情報を関連付けて、その情報を保存する。アプリケーション８０は、分類情報が一致した全てのフレームを解析して、フォトアルバム用として適切なフレームを抽出する。ここで、アプリケーション８０は、複数のフレームを抽出してもよい。適切なフレームの抽出（スコア順及びフレーム採用数）については、図８（ａ）と同じ基準で行われる。

Ｓ８３３において、アプリケーション８０は、Ｓ８３２で抽出されたフレームを静止画像として保存する。Ｓ８３４において、アプリケーション８０は、動画像から抽出した静止画像と、分類情報、分類結果、関連ファイルを関連付けてその情報を保存する。例えば、図１７（ｂ）のｄｙｎａｍｉｃ３４１．ｊｐｇの行がこのケースを表す。Ｉｎｆｏ（分類情報）にオブジェクト８（ｏｂｊｅｃｔ８−＊、＊は自然数、オブジェクト８のグループとして判定されるオブジェクトを規定する情報）で分類したことを表す情報が関連付けて格納されている。また、Ｇｒｏｕｐ（分類結果）にｏｂｊｅｃｔ８というグループ情報が関連付けて格納されている。また、ＲｅｌａｔｅｄＦｉｌｅ（関連ファイル）にｓｔａｔｉｃ１５５．ｊｐｇが関連付けて格納されている。Ｓ８３５において、アプリケーション８０は、図８（ｃ）の処理を終了し、この処理の呼び出し元へ戻る。

以上のように、分類分けされた静止画像をもとに、動画像から、静止画像と関連する静止画像を自動的に抽出し、これらの静止画像をレイアウト内の一連の領域に配置する。それにより、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に動画像から抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。また、１つの動画像から異なる場面の複数の静止画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

［第３の実施形態］
図９は、フォトアルバムを自動作成する処理を示すフローチャートである。図９のフローチャートに係るプログラムは、例えば、ＨＤＤ２０２に記憶されており、ＲＡＭ２０１に読み出され、ＣＰＵ２０４により実行される。ユーザが、図４（ａ）に示す時間選択ボタン４０８、シーン選択ボタン４０９、テーマ選択ボタン４１０の何れか１つを選択して、フォトアルバム作成ボタン４１２を押下する。その押下に応じて、アプリケーション８０は、図９に示すフォローチャートに従ってＳ９０１から処理を実行する。

Ｓ９０２において、アプリケーション８０は、静止画像または動画像が格納されているＰＣ１内のフォルダ（不図示）、またはＰＣ１内の静止画像または動画像を選択して、フォトアルバムを作成する際に必要な画像群の格納先または画像群として指定する。尚、Ｓ９０２において、ユーザに静止画像または動画像が格納されているＰＣ１内のフォルダ、またはＰＣ１内の静止画像または動画像を選択させてもよい。

Ｓ９０３において、アプリケーション８０は、第２の実施形態で説明した図７に示す静止画像の分類処理を実行する。ここで、ｓｔａｔｉｃ１１．ｊｐｇとｓｔａｔｉｃ１２．ｊｐｇは、デジタルスチルカメラで撮影して保存された写真（静止画像）である。また、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報とｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報は、一致しているものとする。

Ｓ９０４において、アプリケーション８０は、Ｓ９０３の静止画像の分類処理における分類方法（時間ベース、シーンベース、テーマベース）の各方法に応じて、それぞれの方法に該当する図８（ａ）、図８（ｂ）、図８（ｃ）の処理を実行する。図８（ａ）、図８（ｂ）、図８（ｃ）の処理は、動画像から静止画像を抽出する処理である。尚、分類方法は、時間ベース、シーンベース、テーマベースの何れか１つを適用するケースの他に、これらのいくつかを組合せて適用するケースも本実施形態に含まれる。ここで、ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇは、１つの動画像から抽出された静止画像である。また、これらの各静止画像に関連付けられている分類情報は全て一致し、ｓｔａｔｉｃ１１．ｊｐｇに関連付けられている分類情報と、ｓｔａｔｉｃ１２．ｊｐｇに関連付けられている分類情報とも一致しているとする。

Ｓ９０５において、アプリケーション８０は、Ｓ９０３で適用した分類方法をもとに、その分類方法に関連付けられているレイアウトテンプレートを選択する。ここで、Ｓ９０３において、アプリケーション８０がシーンベースの分類方法を選択したとする。Ｓ９０５において、アプリケーション８０は、シーンベースの分類方法に関連付けられているレイアウトテンプレートを選択する。

ここで、アプリケーション８０は、図１２（ａ）に示すレイアウトテンプレート１２００が含まれたレイアウトテンプレートを選択したとする。Ｓ９０６において、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像に適した各スロットに、互いに関連する一般的な静止画像を各配置する。ここでは、スロット１２０３、１２０４に互いに関連する一般的な静止画像ｓｔａｔｉｃ１１．ｊｐｇ、ｓｔａｔｉｃ１２．ｊｐｇが各配置される。その際に、分類分けされた静止画像が、一連の領域内の所定のスロット数より多い場合、第１の実施形態で説明したようなスコアリングが行われて、スコアの高い順に所定数のスロットに割り当てるようにしても良い。

Ｓ９０７において、アプリケーション８０は、レイアウトテンプレート内で関連付けられている一連の領域内の、動画像から抽出された静止画像に適した各スロットに、互いに関連する動画像から抽出された静止画像をそれぞれ配置する。ここでは、スロット１２０５〜１２０９に、互いに関連する動画像から抽出された静止画像ｄｙｎａｍｉｃ２２．ｊｐｇ、ｄｙｎａｍｉｃ４３．ｊｐｇ、ｄｙｎａｍｉｃ５０．ｊｐｇ、ｄｙｎａｍｉｃ７８．ｊｐｇ、ｄｙｎａｍｉｃ８５．ｊｐｇが各配置される。

Ｓ９０８において、アプリケーション８０は、図９のフォトアルバムを自動作成する処理を終了し、図４（ｂ）に示すプレビュー／編集画面４１５を表示する。

以上のように、解像度が高い静止画像を、レイアウトテンプレート内で関連付けられている一連の領域内の、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像に適した大きめのスロット１２０３、１２０４に配置する。また、１つの動画像から抽出された静止画像を、一連の領域内の動画像から抽出された静止画像に適した連続した一連のスロット１２０５〜１２０９に配置する。その結果、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、上述した実施形態では、アプリケーションの例として図４に示すようなフォトアルバム作成アプリケーション８０を挙げたが、この例に限られることなく、同様な画像抽出機能を備える任意のアプリケーションでも実現可能である。

また、上述した実施形態では、情報処理装置としてパーソナルコンピュータを想定した。しかしながら、携帯電話、携帯情報端末、デジタルスチルカメラ、デジタルビデオカメラ、携帯ミュージックプレーヤー、ゲーム、セットトップボックス、インターネット家電等、同様な使用方法が可能な任意の情報処理装置（端末）を用いても良い。

また、上述した実施形態では、ＯＳに例としてＷｉｎｄｏｗｓ（登録商標）８と同等のＯＳを使用したが、このＯＳに限られることなく、任意のＯＳを使用することができる。また、上述した実施形態では、ネットワーク４の構成例としてＥｔｈｅｒｎｅｔ（登録商標）を用いたが、この例に限られることなく、例えば、無線ＬＡＮ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、他の任意のネットワーク構成であってもよい。

以上のように、第１の実施形態によれば、静止画像と動画像の両方を一緒に取り扱い、ユーザの煩わしい操作を伴わずに、自動的により適切な画像を抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

また、第２の実施形態によれば、分類分けされた静止画像をもとに、動画像から、静止画像と関連する静止画像を自動的に抽出し、これらの静止画像を一連の領域に配置している。その結果、ユーザの煩わしい操作を伴わずに、関連性のある適切な画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。また、１つの動画像から異なる場面の複数の静止画像を抽出して一連の領域に配置することで、ユーザの煩わしい操作を伴わずに、変化に富んだ画像を自動的に抽出してレイアウトを行うフォトアルバム作成アプリケーションを提供することができる。

また、第３の実施形態によれば、レイアウトテンプレート内に、デジタルスチルカメラ等で撮影して保存された写真等の一般的な静止画像に適したスロットと、動画像から抽出された静止画像に適したスロットに対して、各適した静止画像を配置している。その結果、ユーザの煩わしい操作を伴わずに、静止画像の良さと動画像の動きを合わせた臨場感のある画像レイアウトを自動的に行うフォトアルバム作成アプリケーションを提供することができる。

静止画像の分類、動画像から静止画像を抽出する処理方法として、撮影年月日時刻、色やヒストグラム、オブジェクトを利用する例を挙げたが、これらの例に限られることなく、同様な目的を達成し得る任意の処理方法を利用して本発明を実現することができる。さらに、撮影年月日時刻、色やヒストグラム、オブジェクト、その他の処理方法等を組み合わせて静止画像を分類したり、動画像から静止画像を抽出したりしてもよい。このように複数の処理方法を組合せることで、フォトアルバムの完成度を向上することができる。

また、画像の解析方法として、Ｃｏｌｏｒ（色）、Ｃｏｎｔｒａｓｔ（コントラスト）、Ｂｒｉｇｈｔｎｅｓｓ（明るさ）、Ｆｏｃｕｓ（ピント）、Ｃｏｍｐｏｓｉｔｉｏｎ（構図）の要素を利用する例を挙げた。しかしながら、これらの例に限られることなく、同様な目的を達成し得る任意の解析方法を利用して本発明を実現することができる。

以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、本発明の要旨の範囲内において、種々の変形・変更が可能である。

８０ アプリケーション： ２０４ ＣＰＵ： ２０１ ＲＡＭ： ２０２ ＨＤＤ

Claims (20)

1. 静止画像ファイルに含まれている第１の静止画像と、動画像ファイルに含まれている動画像から抽出された第２の静止画像に対して、テンプレートへのレイアウト対象としての評価を行う評価手段と、
   前記評価手段による評価に従って、前記第１の静止画像および前記第２の静止画像から、前記テンプレートへのレイアウト対象を特定する特定手段と、
   前記特定手段により特定されたレイアウト対象の静止画像ファイルを前記テンプレートへレイアウトするレイアウト手段と、を備え、
   前記評価手段は、前記第２の静止画像が前記特定手段により特定される可能性が前記第１の静止画像よりも高くなるように、前記第１の静止画像と前記第２の静止画像を評価する、
   ことを特徴とする情報処理装置。
2. 前記評価手段は、前記第１の静止画像と前記第２の静止画像とに対して共通の評価基準を用いて評価値を算出し、さらに当該第１の静止画像に対して算出された評価値と当該第２の静止画像に対して算出された評価値の少なくとも一方を、前記第２の静止画像が前記特定手段により特定される可能性が高くなるように補正することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記テンプレート内でレイアウト可能な静止画像の数分の前記レイアウト対象の静止画像を、前記評価手段により補正された前記評価値の大きい順に特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記第２の静止画像が前記特定手段により特定された場合、当該特定された前記第２の静止画像の前記評価値より大きい第３の静止画像を前記動画像ファイルから取得する取得手段、をさらに備え、
   前記レイアウト手段は、前記取得手段により取得された前記第３の静止画像を前記第２の静止画像と置き換えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記取得手段は、前記特定手段により特定された前記第２の静止画像に対応するフレームの前後の所定範囲のフレームから、前記第３の静止画像を取得することを特徴とする請求項４に記載の情報処理装置。
6. 前記第１の静止画像を分類分けする分類手段と、
   前記分類手段による分類分けの基準に基づいて、前記動画像ファイルから前記第２の静止画像を抽出する抽出手段と、をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記抽出手段により前記基準に基づいて抽出された前記第２の静止画像が複数ある場合に、当該複数の第２の静止画像が同じ場面に対応するか判定する判定手段、をさらに備え、
   前記判定手段により当該同じ場面に対応すると判定された場合、前記抽出手段はさらに、当該場面と異なる場面に対応する第４の静止画像を前記動画像ファイルから抽出し、
   前記レイアウト手段は、前記抽出手段により抽出された前記第４の静止画像を前記第２の静止画像と置き換えることを特徴とする請求項６に記載の情報処理装置。
8. 前記場面は、前記第２の静止画像に含まれるオブジェクトにより定められることを特徴とする請求項７に記載の情報処理装置。
9. 前記基準は、色情報、オブジェクト情報、時間情報のうちのいずれかを含むことを特徴とする請求項６乃至８のいずれか１項に記載の情報処理装置。
10. 前記テンプレートは、静止画像をレイアウト可能なスロットを含み、
    前記レイアウト手段は、前記スロットの属性に従って、前記特定手段により特定された前記レイアウト対象の静止画像を前記テンプレートへレイアウトする、ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記スロットの属性は、静止画像の種類であることを特徴とする請求項１０に記載の情報処理装置。
12. 前記評価手段は、画像における色、コントラスト、明るさ、ピント、構図の少なくともいずれかに基づく評価を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 静止画像ファイルに含まれている第１の静止画像を分類分けする分類手段と、
    前記分類手段による分類分けの基準に基づいて、動画像ファイルから第２の静止画像を抽出する抽出手段と、
    前記第１の静止画像と、前記抽出手段により抽出された前記第２の静止画像と、をテンプレートへレイアウトするレイアウト手段と、
    を備えることを特徴とする情報処理装置。
14. 前記抽出手段により前記基準に基づいて抽出された前記第２の静止画像が複数ある場合に、当該複数の第２の静止画像が同じ場面に対応するか判定する判定手段、をさらに備え、
    前記抽出手段は、前記判定手段により当該同じ場面に対応すると判定された場合、当該場面と異なる場面に対応する第３の静止画像を前記動画像ファイルから抽出し、
    前記レイアウト手段は、前記取得手段により取得された前記第３の静止画像を前記第２の静止画像と置き換えることを特徴とする請求項１３に記載の情報処理装置。
15. 前記場面は、前記第２の静止画像に含まれるオブジェクトにより定められることを特徴とする請求項１４に記載の情報処理装置。
16. 前記基準は、色情報、オブジェクト情報、時間情報のうちのいずれかを含むことを特徴とする請求項１３乃至１５のいずれか１項に記載の情報処理装置。
17. 情報処理装置において実行される方法であって、
    静止画像ファイルに含まれている第１の静止画像と、動画像ファイルに含まれている動画像から抽出された第２の静止画像に対して、テンプレートへのレイアウト対象としての評価を行う評価工程と、
    前記評価工程における評価に従って、前記第１の静止画像および前記第２の静止画像から、前記テンプレートへのレイアウト対象を特定する特定工程と、
    前記特定工程において特定されたレイアウト対象の静止画像ファイルを前記テンプレートへレイアウトするレイアウト工程と、を有し、
    前記評価工程では、前記第２の静止画像が前記特定工程において特定される可能性が前記第１の静止画像よりも高くなるように、前記第１の静止画像と前記第２の静止画像を評価する、
    ことを特徴とする方法。
18. 情報処理装置において実行される方法であって、
    静止画像ファイルに含まれている第１の静止画像を分類分けする分類工程と、
    前記分類工程における分類分けの基準に基づいて、動画像ファイルから第２の静止画像を抽出する抽出工程と、
    前記第１の静止画像と、前記抽出工程において抽出された前記第２の静止画像と、をテンプレートへレイアウトするレイアウト工程と、
    を有することを特徴とする方法。
19. 請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
20. 請求項１３乃至１６のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images