JP2012003427A - 電子機器及び画像処理方法 - Google Patents

Abstract

【課題】思いがけない静止画像等を含む動画をユーザに提示できる電子機器及び画像処理方法を提供すること。
【解決手段】実施形態によれば、電子機器は、インデキシング手段、画像選択手段、画像抽出手段、及び画像表示手段を具備する。インデキシング手段は、複数の静止画像のインデックス情報を生成する。画像選択手段は、前記複数の静止画像から一枚の静止画像を選択する。画像抽出手段は、前記インデックス情報を用いて、前記複数の静止画像から、前記一枚の静止画像に関連する複数の静止画像を抽出する。画像表示手段は、前記抽出された複数の静止画像を用いた動画像を表示する。
【選択図】図３

Description

本発明の実施形態は、画像を表示する電子機器及び該機器に適用される画像処理方法に関する。

近年、パーソナルコンピュータ、デジタルカメラ、ＰＤＡのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された撮影位置データに基づいて、写真を複数のグループに分類する方法が知られている。

また、最近では、写真のような静止画像群を用いて動画像（例えば、フォトムービー、スライドショー等）を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影位置に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。

特開２００７−１９４９４８号公報

しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像（ユーザが意識していない静止画像）や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。

本発明は、思いがけない静止画像等を含む動画をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。

実施形態によれば、電子機器は、インデキシング手段、画像選択手段、画像抽出手段、及び画像表示手段を具備する。インデキシング手段は、複数の静止画像のインデックス情報を生成する。画像選択手段は、前記複数の静止画像から一枚の静止画像を選択する。画像抽出手段は、前記インデックス情報を用いて、前記複数の静止画像から、前記一枚の静止画像に関連する複数の静止画像を抽出する。画像表示手段は、前記抽出された複数の静止画像を用いた動画像を表示する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるインデックス情報の例を示す図。 同実施形態の電子機器によって実行されるフォトムービー作成処理の例を示す概念図。 同実施形態の電子機器によって表示されるメイン画面の例を示す図。 同実施形態の電子機器によって表示されるキー画像選択画面の例を示す図。 同実施形態の電子機器によって表示されるカレンダー画面の例を示す図。 同実施形態の電子機器によって表示される、エフェクトが施された顔画像を含むフォトムービーの例を示す図。 同実施形態の電子機器によって表示される、エフェクトが施された静止画像を含むフォトムービーの例を示す図。 同実施形態の電子機器によって表示される、エフェクトが施された静止画像と顔画像とを含むフォトムービーの例を示す図。 同実施形態の電子機器によって実行されるインデキシング処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される動画像生成処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるキー画像選択処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるキー画像選択処理の手順の別の例を示すフローチャート。 同実施形態の電子機器によって実行される関連画像選択処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。

図１は、実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。

また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。

ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及びフォトムービー作成アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。フォトムービー作成アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツデータ（例えば、フォトムービー）を再生するソフトウェアである。このフォトムービー作成アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された写真等の素材（デジタルコンテンツ）を用いて、合成動画（動画像）を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を分析する機能を含む。フォトムービー作成アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

次いで、図３を参照して、フォトムービー作成アプリケーションプログラム２０２の一機能構成を説明する。ここでは、フォトムービー作成アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、ＨＤＤ１０９内の所定のディレクトリ（素材データベース３０１）に格納された複数の静止画像（静止画像データ）５１を用いて動画像（フォトムービー、スライドショー）を作成し、その作成した動画像を再生する。静止画像５１は、例えば、デジタル写真、他の各種静止画像ファイル（JPEGファイル）等である。用語「フォトムービー」は複数の静止画像（例えば写真）を用いて生成される動画像（ムービー）を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は音楽と一緒に再生される。フォトムービー作成アプリケーションプログラム２０２は、ある静止画像（キー画像）に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。また、フォトムービー作成アプリケーションプログラム２０２は、抽出された静止画像群を用いてスライドショーを作成及び再生することもできる。用語「スライドショー」は静止画像を１枚ずつ順次表示する動画像（ムービー）を意味する。

フォトムービー作成アプリケーションプログラム２０２は、ユーザが設定したＨＤＤ１０９内のフォルダ（写真フォルダ）を監視し、１以上の新しい静止画像（写真ファイル）が写真フォルダに格納されたことを感知すると、それら１以上の新しい静止画像に対するインデキシングを行うと同時にそれら１以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、フォトムービー作成アプリケーションプログラム２０２は、１以上の新しい静止画像をベースとしたフォトムービーを作成して再生する。この場合、例えば、１以上の新しい静止画像のみからフォトムービーを作成して再生してもよい。代わりに、１以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、１以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生してもよい。

フォトムービーの作成は、１枚の静止画像（キー画像）を基に行われる。つまり、選択されたキー画像に関連する静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物（顔）の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト／トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、フォトムービー作成アプリケーションプログラム２０２は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。

抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用してもよい。例えば、同一の人物が登場するイベント同士は関連性があると推定してもよい。また、例えば、ある人物Ａと別の人物Ｂが同じ写真に写っている頻度（共起頻度）が高いならば、人物Ａを含む写真が属するイベントは、人物Ｂを含む写真が属するイベントに関連するイベントであると推定してもよい。

フォトムービー作成アプリケーションプログラム２０２は、監視部２１、インデキシング部２２及び再生制御部２３を備える。

監視部２１は、ＨＤＤ１０９内の素材データベース３０１を常時監視し、新たな静止画像５１が例えばＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介して素材データベース３０１に格納されたか否かを判定する。素材データベース３０１は、ＨＤＤ１０９内の所定のディレクトリ（上述の写真フォルダ）に相当する。素材データベース３０１に格納された静止画像５１は、合成動画（フォトムービー、スライドショー）の素材候補として用いられる。素材データベース３０１には、静止画像５１のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。監視部２１は、新たな静止画像５１がＨＤＤ１０９に格納されたことをインデキシング部２２に通知する。

インデキシング部２２は、監視部２１からの通知に応答して、素材データベース３０１内の複数の静止画像５１を分析し、それら複数の静止画像５１それぞれの属性を示すインデックス情報３０２Ａを生成する。インデキシング部２２によるインデキシングは、例えば、１以上の新しい静止画像（写真ファイル）が素材データベース３０１に格納されたことをトリガに開始される。つまり、素材データベース３０１に１以上の新たな静止画像が格納されたときに、インデキシング部２２は、その新しい静止画像に対応するインデックス情報３０２Ａを生成する。

インデキシング部２２は顔認識機能を有している。インデックス情報３０２Ａには、複数の静止画像５１に含まれる複数の顔画像それぞれの認識結果も含まれている。

インデキシング部２２は、顔画像検出部２２１、クラスタリング部２２２、イベント検出部２２３、及びインデックス情報生成部２２４を備える。
顔画像検出部２２１は、インデキシング対象の静止画像５１（例えば、写真フォルダに新たに格納された静止画像）から顔画像を検出する。顔画像は、例えば、その静止画像５１の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像５１に含まれる顔画像に対応する領域が検出され、当該領域の位置（座標）及びサイズが検出される。

また、顔画像検出部２２１は検出した顔画像を分析する。顔画像検出部２２１は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である（例えば、ぼけがない）度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。
顔画像検出部２２１は、検出した顔画像を示す情報をクラスタリング部２２２に出力する。

クラスタリング部２２２は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。クラスタリング部２２２は、処理結果に基づいて、顔画像に対応する人物の識別情報（人物ＩＤ）を付与する。クラスタリング部２２２は、顔画像検出部２２１によって検出された顔画像を示す情報と、顔画像の属性（笑顔度、鮮明度、正面度、人物ＩＤ）を示す情報とをインデックス情報生成部２２４に出力する。

また、イベント検出部２２３は、インデキシング対象の静止画像５１に対応するイベントを検出する。イベント検出部２２３は、例えば、そのインデキシング対象の静止画像５１の生成日時（撮影日時）に基づいて、所定の期間内（例えば、１日）に生成された静止画像５１を同一のイベントに分類する。また、イベント検出部２２３は、例えば、静止画像５１の生成日時に基づいて、時系列上で隣り合う静止画像５１間の生成日時の差（生成間隔）が所定時間以内であるときに、これら隣り合う静止画像５１を同一のイベントに分類する。イベント検出部２２３は、静止画像５１に対して、分類されたイベントの識別情報（イベントＩＤ）を付与する。そして、イベント検出部２２３は、静止画像５１に付与されたイベントＩＤをインデックス情報生成部２２４に出力する。

インデックス情報生成部２２４は、顔画像検出部２２１、クラスタリング部２２２及びイベント検出部２２３による処理結果に基づいて、インデックス情報３０２Ａを生成する。
図４は、インデックス情報３０２Ａの一構成例を示す。インデックス情報３０２Ａは、複数の静止画像５１にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ＩＤ、生成日時（撮影日時）、生成場所（撮影場所）、イベントＩＤ、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像ＩＤは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時（撮影された日時）を示す。生成場所は、その静止画像が生成（撮影）された場所（位置）を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、静止画像５１が生成されるときに（例えば、静止画像５１に対応する写真が撮影されるときに）、ＧＰＳレシーバによって検出された位置情報を示す。イベントＩＤは、静止画像５１に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、例えば、顔画像（例えば、顔画像に対応するデータの格納場所）、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像５１に複数の顔画像が含まれるとき、インデックス情報３０２Ａは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部２２４は、生成したインデックス情報３０２Ａを素材情報データベース３０２に格納する。

以上の構成により、インデキシング部２２は、インデキシング対象の静止画像５１に対応するインデックス情報３０２Ａを生成し、素材情報データベース３０２に格納することができる。

再生制御部２３は、インデキシング部２２（インデキシング情報生成部２２３）によって生成されたインデックス情報３０２Ａを利用して、静止画像５１を用いた動画像（フォトムービー又はスライドショー）を生成する。再生制御部２３は、インデックス情報３０２Ａに基づき、ある選択された静止画像（キー画像）に関連する静止画像群を、素材データベース３０１内の静止画像群５１から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。再生制御部２３は、例えば、キー画像選択部２３１、カレンダー表示部２３２、関連画像選択部２３３、エフェクト選択部２３４、動画像生成部２３５、及び動画像再生部２３６を備える。図５は、再生制御部２３によるフォトムービー作成の概要を示す。

まず、関連画像選択部２３３は、キー画像に関連する静止画像５１を素材データベース３０１から抽出（一次抽出）する（ブロックＢ１０１）。キー画像は、キー画像選択部２３１によって選択され、素材データベース３０１から静止画像５１を抽出するための抽出キーとして用いられる。

次に、エフェクト選択部２３４は、フォトムービーに用いるシナリオデータ３０３Ｃを選定する（ブロックＢ１０２）。シナリオデータ３０３Ｃは複数のチャプタ（シーン）を含む。そして、複数のチャプタの各々には一つ以上のエフェクト（エフェクトデータ）３０３Ａが対応付けられている。また、エフェクト３０３Ａには、エフェクトが施される静止画像５１の属性が規定されている。例えば、第１のエフェクト３０３Ａ（Ｅｆｆｅｃｔ＃１）では、当該エフェクトが主人公の顔画像に施されることが規定されている。

次いで、動画像生成部２３５は、ブロックＢ１０１で抽出した静止画像５１（一次抽出）から、選定されたシナリオデータ３０３Ｃに適した静止画像５１を、さらに抽出（本抽出）する（ブロックＢ１０３）。動画像生成部２３５は、各チャプタ（エフェクト３０３Ａ）の属性に合致する静止画像５１を抽出する。そして、動画像生成部２３５は、ブロックＢ１０２で選定されたシナリオデータ３０３Ｃと、ブロックＢ１０３で抽出された静止画像５１とを用いて、フォトムービーを作成し、動画像再生部２３６は、作成されたフォトムービーを再生する（ブロックＢ１０４）。

以上の処理により、再生制御部２３は、素材データベース３０１に格納された静止画像５１を用いて、フォトムービーを作成することができる。なお、再生制御部２３は、同様にして、素材データベース３０１に格納された静止画像５１を用いて、スライドショーを作成することもできる。スライドショーでは、抽出した静止画像５１が順次表示され、静止画像５１にエフェクトが施されない。なお、スライドショーでも、静止画像５１の切り替わり時に遷移効果（トランジションエフェクト）を施してもよい。

以下では、再生制御部２３内の各部の動作について詳述する。
キー画像選択部２３１は、素材データベース３０１に格納された静止画像（静止画像データ）５１からキー画像（キー静止画像）を選択する。このキー画像は、素材データベース３０１から、再生する動画像（フォトムービー又はスライドショー）に用いられる静止画像５１を抽出するための抽出キーとして用いられる。

キー画像選択部２３１は、例えば、画面（ＬＣＤ１７）に表示されている動画像上で、ユーザによって指示された画像をキー画像に決定する。画面に表示されている動画像は、例えば、フォトムービー作成アプリケーション２０２によって生成されたフォトムービー又はスライドショーである。つまり、キー画像選択部２３１は、生成されたフォトムービー又はスライドショーが再生される際に、ユーザによって指示された画像をキー画像に決定する。なお、生成されたフォトムービー又はスライドショーが再生される際に、ユーザによる画像の指示が行われないとき、キー画像選択部２３１は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。

キー画像選択部２３１は、カレンダー上に静止画像５１が配置されたカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部２３１は、例えば、カレンダー画面を用いて、ユーザによって指定された静止画像５１をキー画像に決定する。

キー画像選択部２３１は、さらに、決定されたキー画像に含まれる顔画像から、注目する人物の顔画像を選択し、選択された顔画像をキー顔画像に決定する。キー画像及びキー顔画像選択の詳細は、図６から図８を参照して後述する。キー画像選択部２３１は、決定されたキー画像及びキー顔画像を示す情報を関連画像選択部２３３に出力する。

関連画像選択部２３３は、素材データベース３０１に格納されている静止画像５１から、キー画像選択部２３１によって選択されたキー画像（キー顔画像）に関連する静止画像５１を選択する。キー画像に関連する静止画像５１は、キー画像に対して、例えば、日時、人物又は場所の関連性を有する静止画像５１である。関連画像選択部２３３は、例えば、素材情報データベース３０２に格納されたインデックス情報３０２Ａを用いて、キー画像に関連する静止画像５１を選択する。関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃを備える。

日時関連画像選択部２３３Ａは、素材データベース３０１に格納された静止画像５１から、キー画像の生成日時に関連する生成日時を有する静止画像５１を選択する。日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時と同一の期間内（例えば、日、月、時期、季節、年等で指定される期間内）に生成された静止画像５１を選択する。また、日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等（例えば、１年前の同じ日や２年後の同じ月等）に生成された静止画像５１を選択する。

人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された静止画像５１から、キー顔画像（キー画像に含まれる顔画像）に関連する静止画像５１を選択する。人物関連画像選択部２３３は、例えば、キー顔画像に対応する人物の顔画像を含む静止画像５１を選択する。また、人物関連画像選択部２３３は、例えば、キー顔画像に対応する人物に似た人物の顔画像を含む静止画像５１を選択する。キー顔画像に対応する人物に似た人物の顔画像は、例えば、クラスタリング部２２２によるクラスタリング結果を用いて選択される。

また、人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された静止画像５１から、キー画像に対応するイベントに関連する静止画像５１を選択する。イベントは、例えば、運動会、家族旅行等を含む。人物関連画像選択部２３３Ｂは、例えば、キー画像に対応するインデックス情報３０２ＡのイベントＩＤに基づいて、キー画像と同一のイベントＩＤを有する静止画像５１を抽出し、その静止画像５１に登場する人物が登場する別の静止画像５１を選択する。具体的には、例えば、人物関連画像選択部２３３Ｂは、キー画像に対応するイベントである「運動会」で撮影された写真を抽出し、この写真に登場する子供Ａが登場する別の写真を選択する。

また、人物関連画像選択部２３３Ｂは、例えば、キー画像に対応するインデックス情報３０２ＡのイベントＩＤに基づいて、キー画像と同一のイベントＩＤを有する静止画像５１を抽出し、その静止画像５１に登場する人物が登場する別の静止画像５１に対応するイベントＩＤを有する静止画像５１を選択する。具体的には、例えば、人物関連画像選択部２３３Ｂは、キー画像に対応するイベントである「運動会」で撮影された写真を抽出し、この写真に登場する子供Ａが登場する別の写真が属するイベントの写真を選択する。

なお、人物関連画像選択部２３３Ｂは、静止画像５１を選択する際に、インデックス情報３０２Ａを用いて、笑顔度、鮮明度及び正面度のうちの少なくともいずれかが高い画像や、サイズが大きい画像を優先的に選択してもよい。

場所関連画像選択部２３３Ｃは、素材データベース３０１に格納された静止画像５１から、キー画像の生成場所に関連する生成場所で生成された静止画像５１を選択する。場所関連画像選択部２３３Ｃは、素材データベース３０１から、例えば、キー画像の生成場所と同じ場所で生成された静止画像５１を選択する。具体的には、場所関連画像選択部２３３Ｃは、例えば、キー画像が生成された観光スポットで撮影された別の写真（静止画像５１）を、素材データベース３０１から選択する。

また、場所関連画像選択部２３３Ｃは、キー画像の生成場所が含まれるエリアと同じエリアで生成された静止画像５１を選択してもよい。具体的には、場所関連画像選択部２３３Ｃは、例えば、キー画像が生成された国で生成された静止画像５１を、素材データベース３０１から選択する。具体的には、場所関連画像選択部２３３Ｃは、例えば、キー画像が生成された県に対して、同じ国内の別の県で撮影された写真を選択する。

なお、関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃによる静止画像５１の選択を組み合わせて、選択される静止画像５１をさらに絞り込んでもよい。また、生成される動画像がフォトムービーであるかスライドショーであるかに応じて、静止画像５１を選択する条件を変更してもよい。

関連画像選択部２３３（日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃ）は、選択した静止画像５１を示す情報をエフェクト選択部２３４に出力する。

エフェクト選択部２３４は、生成される動画像がフォトムービーであるとき、エフェクトデータベース３０３に格納されたエフェクト３０３Ａから、関連画像選択部２３３によって選択された静止画像５１に適したエフェクト３０３Ａを選択する。また、エフェクト選択部２３４は、関連画像選択部２３３によって選択された静止画像５１に適した音声（音声データ）３０３Ｂを選択する。エフェクト選択部２３４は、例えば、静止画像５１に登場する人数（顔画像の数）や、顔画像の笑顔度等に基づいて、エフェクト３０３Ａと音声３０３Ｂとを選択する。

なお、エフェクト選択部２３４は、エフェクトデータベース３０３に格納されたシナリオデータ３０３Ｃから、関連画像選択部２３３によって選択された静止画像５１に適したシナリオデータ３０３Ｃを選択してもよい。シナリオデータ３０３Ｃは、上述のように、複数のチャプタ（タイムセグメント）を含み、チャプタ毎に静止画像５１に施されるエフェクト３０３Ａが規定されている。したがって、シナリオデータ３０３Ｃが選択されることにより、フォトムービーに用いられる複数のエフェクト３０３Ａが一括して選択される。

なお、エフェクト選択部２３４は、ユーザによって指定されたエフェクト３０３Ａ（シナリオ３０３Ｃ）及び音声３０３Ｂを選択してもよい。また、生成される動画像がスライドショーであるときには、エフェクトデータベース３０３に格納されたエフェクト３０３Ａから、静止画像５１にトランジションエフェクトを施すエフェクト３０３Ａを選択してもよい。エフェクト選択部２３４は、選択されたエフェクト３０３Ａ（シナリオ３０３Ｃ）及び音声３０３Ｂを示す情報、並びに関連画像選択部２３３によって選択された静止画像５１を示す情報を動画像生成部２３５に出力する。なお、エフェクト３０３Ａの例は、図９から図１１を参照して後述する。

動画像生成部２３５は、選択された静止画像５１、エフェクト３０３Ａ（シナリオ３０３Ｃ）及び音声３０３Ｂを用いてフォトムービー又はスライドショーを生成する。
生成される動画像がフォトムービーである場合、動画像生成部２３５は、関連画像選択部２３３によって選択された静止画像５１からさらに、エフェクト３０３Ａに規定された属性に合致する静止画像５１を選択する。そして、動画像生成部２３５は、選択した静止画像５１と、エフェクト選択部２３４によって選択されたエフェクト３０３Ａ及び音声３０３Ｂとを用いて、フォトムービーを生成する。具体的には、例えば、動画像生成部２３５は、エフェクト３０３Ａが施された静止画像５１の各々が表示されるタイミングを示す情報、エフェクト３０３Ａの各々が施される静止画像５１（又は静止画像５１に含まれる顔画像）を示す情報、及び音声３０３Ｂが出力されるタイミングを示す情報を含むフォトムービーを生成する。

生成される動画像がスライドショーである場合、動画像生成部２３５は、関連画像選択部２３３によって選択された静止画像５１を用いて、スライドショーを生成する。具体的には、例えば、動画像生成部２３５は、関連画像選択部２３３によって選択された静止画像５１の各々が出力されるタイミングを示す情報を含むスライドショーを生成する。なお、このスライドショーは、トランジションエフェクト（エフェクト３０３Ａ）が施された静止画像５１の各々が表示されるタイミングを示す情報や、音声３０３Ｂが出力されるタイミングを示す情報を含んでもよい。
動画像生成部２３５は、生成したフォトムービー又はスライドショーを動画像再生部２３６に出力する。

動画像再生部２３６は、動画像生成部２３５によって生成されたフォトムービー又はスライドショーを再生して、画面（ＬＣＤ１７）に表示する。具体的には、フォトムービーが再生される場合、動画像再生部２３６は、フォトムービーに示される情報に基づいて、素材データベース３０１から静止画像５１を抽出し、エフェクトデータベース３０３からエフェクト３０３Ａ及び音声３０３Ｂを抽出する。そして、動画像生成部２３５は、抽出した静止画像５１、エフェクト３０３Ａ及び音声３０３Ｂを用いてフォトムービーを再生する。フォトムービーでは、静止画像５１と静止画像５１に含まれる顔画像のうちの少なくともいずれかにエフェクト（エフェクト３０３Ａ）が施される。また、フォトムービーでは、エフェクトが施された静止画像５１（エフェクトが施された静止画像５１に含まれる顔画像）の表示に同期して、音声３０３Ｂが出力される。

また、スライドショーが再生される場合、動画像再生部２３６は、スライドショーに示される情報に基づいて、素材データベース３０１から静止画像５１を抽出する。そして、動画像再生部２３６は、抽出された静止画像５１を用いてスライドショーを再生する。スライドショーでは、選択された静止画像５１が順次表示される。なお、動画像再生部２３６は、スライドショーにおいて、静止画像５１と後続する静止画像５１とが切り替わる部分にトランジションエフェクト等のエフェクト３０３Ａを施してもよい。このトランジションエフェクトは、エフェクト選択部２３４によってエフェクトデータベース３０３から選択される。

また、上述のように、キー画像選択部２３１が、例えば、表示されているフォトムービー（スライドショー）から選択された静止画像５１を新たなキー画像に決定することにより、次のフォトムービーの作成を開始することもできる。

以上の構成により、フォトムービー作成アプリケーション２０２は、思いがけない静止画像等を含む動画像をユーザに提示することができる。関連画像選択部２３３は、素材データベース３０１に格納された静止画像５１から、一つの静止画像５１（キー画像）に関連する静止画像５１を選択する。キー画像に関連する静止画像５１は、キー画像の生成日時、生成場所、及びキー画像に登場する人物のうちの少なくともいずれかに関連する静止画像５１である。フォトムービー作成アプリケーション２０２では、生成日時等の条件を指定して、条件を満たす静止画像５１を選択するのではなく、キー画像に関連する静止画像５１を選択することにより、ユーザが意識していない静止画像等も選択することができる。また、生成日時や生成場所等に基づいてグループ化された静止画像群（例えば、生成日毎のディレクトリ内に格納された静止画像群）を選択して、動画像を作成する際には、そのグループに属する静止画像を用いた動画像しか作成することができない。しかし、本実施形態のフォトムービー作成アプリケーション２０２では、キー画像と（生成日時等に基づく）同一のグループに属さない静止画像５１であって、当該キー画像に関連性を有する静止画像５１を選択することができる。これにより、ユーザが静止画像５１を選択するための手間を軽減すると共に、関連性を有する静止画像群５１を用いた動画像を生成することができる。

図６は、再生制御部２３（動画像再生部２３６）によって表示されるメイン画面４０の例を示す。メイン画面４０は、例えば、「スタイル」ボタン４０１、「音楽」ボタン４０２、「主人公」ボタン４０３、「スタート」ボタン４０４、ムービー再生画面４０５、及び「カレンダー」ボタン４０６を備える。

ムービー再生画面４０５は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面４０５では、再生制御部２３（動画像生成部２３５）によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。ムービー再生画面４０５には、例えば、人物４０Ａ〜４０Ｆが登場する画像が表示されている。

ムービー再生画面４０５において、例えば、表示中の画像をクリックする操作が検出されたとき、キー画像選択部２３１は当該画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、フォトムービー作成アプリケーション２０２は、それら複数の静止画像の一つをキー画像に決定してもよい。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定してもよい。また、動画像再生部２３６は、ムービー再生画面４０５に表示されている画像をクリックする操作が検出されたとき、例えば、フォトムービー（スライドショー）の再生を一時停止し、選択されたキー画像が表示された状態に維持する。

「主人公」ボタン４０３は、生成されるフォトムービー内で注目される人物（キー顔画像）の選択を開始するためのボタンである。キー画像選択部２３１は、「主人公」ボタン４０３が押されたことに応答して、キー画像に登場する人物のリスト（顔画像選択画面）を表示する。ユーザは、例えば、ムービー再生画面４０５を用いてキー画像を選択した後に、「主人公」ボタン４０３を押して、キー顔画像の選択開始（すなわち、顔画像選択画面の表示）を指示する。

図７は、キー顔画像を選択するための顔画像選択画面４１の例を示す。顔画像選択画面４１では、キー画像に含まれる顔画像のリスト（顔画像４１Ａ〜４１Ｄ）が表示されている。キー画像選択部２３１は、キー画像に登場する人物４０Ａ〜４０Ｆのうち、例えば、出現頻度（その人物が出現する静止画像数）がしきい値以上である人物の顔画像（例えば、人物４０Ａ〜４０Ｄに対応する顔画像４１Ａ〜４１Ｄ）を顔画像選択画面４１に表示する。

ユーザは、顔画像選択画面４１を用いて、顔画像４１Ａ〜４１Ｄから注目する人物の顔画像（ここでは、顔画像４１Ａ）を選択する。キー画像選択部２３１は、選択された顔画像４１Ａをキー顔画像に決定する。なお、選択される顔画像は複数であってもよい。また、顔画像選択画面４１を用いて顔画像を選択する操作が行われないとき（例えば、「主人公」ボタン４０３が押されないとき）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。

図６のメイン画面４０上の「カレンダー」ボタン４０６は、カレンダー画面４２を表示するためのボタンである。図８はカレンダー画面４２の例を示す。キー画像選択部２３１は、上述のように、カレンダー上に静止画像５１が配置されたカレンダー画面４２を用いてキー画像を選択してもよい。カレンダー画面４２では、例えば、指定された月のカレンダーが表示され、静止画像５１の生成日に基づいて、カレンダー上の日毎の欄に静止画像５１のサムネイル画像が表示される。キー画像選択部２３１は、カレンダー画面４２を用いて選択されたサムネイル画像に対応する静止画像５１をキー画像に決定する。

なお、生成日が同一である静止画像５１が複数あるとき、カレンダー画面４２には、いずれかの静止画像５１のサムネイル画像が代表画像として表示される。そして、キー画像選択部２３１は、カレンダー画面４２を用いて代表画像が選択されたとき、対応する生成日に生成された複数の静止画像５１のサムネイル画像のリストを表示する。キー画像選択部２３１は、このリストから選択されたサムネイル画像に対応する静止画像５１をキー画像に決定する。また、キー画像選択部２３１は、カレンダー画面４２を用いてキー画像を選択した際にも、上述の顔画像選択画面４１を用いてキー顔画像を選択することができる。

また、「スタイル」ボタン４０１は、フォトムービーに用いられるスタイル（シナリオ３０３Ｃ）の選択を開始するためのボタンである。再生制御部２３は、「スタイル」ボタン４０１が押されたことに応答して、シナリオ３０３Ｃのリスト（スタイル選択画面）を表示する。エフェクト選択部２３４は、例えば、ユーザがスタイル選択画面を用いて選択したシナリオ３０３Ｃを、フォトムービーに用いるシナリオ３０３Ｃに決定する。関連画像選択部２３３は、素材データベース３０１に格納されている複数の静止画像５１から、キー画像（キー顔画像）に関連する１つ以上の静止画像（静止画像群）、及びスタイル選択画面を用いて選択されたスタイル（シナリオ３０３Ｃ）に応じた１つ以上の静止画像（静止画像群）のうち、何れかあるいは両方の条件を満たす静止画像を選択（抽出）してもよい。

「音楽」ボタン４０２は、フォトムービーに用いられる音声（音声データ）３０３Ｂの選択を開始するためのボタンである。再生制御部２３は、「音楽」ボタン４０２が押されたことに応答して、音声３０３Ｂのリスト（音楽選択画面）を表示する。エフェクト選択部２３４は、例えば、ユーザが音楽選択画面を用いて選択した音声３０３Ｂを、フォトムービーに用いる音声３０３Ｂに決定する。

「スタート」ボタン４０４は、フォトムービーの生成及び再生を開始するためのボタンである。動画像生成部２３５は、「スタート」ボタン４０４が押されたことに応答して、フォトムービーの作成を開始する。そして、動画像再生部２３６は、作成したフォトムービーを再生して、ムービー再生画面４０５に表示する。

ユーザは、上述のメイン画面４０、顔画像選択画面４１、カレンダー画面４２等を用いて、フォトムービーを作成するための操作を行う。なお、フォトムービー作成アプリケーション２０２は、ユーザによる操作が行われない期間では、所定の条件を満たすキー画像を自動的に決定してもよい。その場合、決定したキー画像に関連する静止画像５１が選択され、それら静止画像５１を用いたスライドショー（フォトムービー）が再生される。つまり、例えば、ユーザによる操作があったときには、その操作に応じたフォトムービーが再生され、ユーザによる操作がないときには、所定の条件に基づいて生成されたスライドショーが再生される。

図９から図１１は、エフェクト３０３Ａが施された静止画像５１を含む画面（フォトムービー）の例を示す。図９は、静止画像に登場する人物の顔画像にエフェクトが施される例を示す。画面４３では、人物４３Ａの顔画像に対して、人物４３Ａを強調するためのエフェクト４３Ｂが施されている。エフェクト４３Ｂは、顔画像を囲むイラストを顔画像に重畳している。また、画面４４では、人物４４Ａの顔画像に対して、人物４４Ａにスポットを当てるエフェクト４４Ｂが施されている。エフェクト４４Ｂは、人物４４Ａの顔画像以外の領域を暗くしている。

図１０は、複数の静止画像にエフェクトが施される例を示す。画面４５及び画面４６では、複数の静止画像に対して、それら静止画像を組み合わせて表示するためのエフェクトが施されている。このエフェクトは、複数の静止画像の配置、サイズ、モーション等を決定している。

また、図１１は、複数の静止画像の各々に登場する人物の顔画像にエフェクトが施される例を示す。画面４７では、複数の静止画像から切り出された顔画像４７Ａ〜４７Ｄが表示され、各顔画像が画面４７上を移動するエフェクトが施されている。なお、エフェクト３０３Ａは、上述の図９から図１１の例に限らず、例えば、ズーム、回転、スライドイン／スライドアウト、枠等の画像の重畳表示、フェードイン／フェードアウト等、静止画像５１に装飾的な効果を施すための様々なエフェクトを含み得る。

次いで、図１２のフローチャートを参照して、フォトムービー作成アプリケーションプログラム２０２によって実行されるインデキシング処理の手順の例を説明する。
まず、監視部２１は、素材データベース３０１を常時監視し、新たな静止画像（静止画像データ）５１がＨＤＤ１０９内の素材データベース３０１に格納されたか否かを判定する（ブロックＢ１１）。新たな静止画像５１が格納されていない場合（ブロックＢ１１のＮＯ）、監視部２１はブロックＢ１１に戻り、再度、新たな静止画像５１が格納されたか否かを判定する。

新たな静止画像５１が格納されている場合（ブロックＢ１１のＹＥＳ）、監視部２１は、新たな静止画像５１が素材データベース３０１に格納されたことを、インデキシング部２２に通知する（ブロックＢ１２）。

次いで、顔画像検出部２２１は、静止画像５１に含まれる顔画像を検出する（ブロックＢ１３）。顔画像検出部２２１は、静止画像５１に登場する人物の顔画像に対応する領域を検出し、当該領域の静止画像内における位置及びサイズを検出する。そして、顔画像検出部２２１は検出した顔画像を分析する（ブロックＢ１４）。顔画像検出部２２１は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。顔画像検出部２２１は、検出した顔画像を示す情報をクラスタリング部２２２に出力する。

クラスタリング部２２２は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する（ブロックＢ１５）。クラスタリング部２２２は、顔画像に対して、対応する人物の識別情報（人物ＩＤ）を付与する。そして、クラスタリング部２２２は、顔画像検出部２２１によって検出された顔画像を示す情報と、顔画像に付与された人物ＩＤを示す情報とをインデックス情報生成部２２４に出力する。

また、イベント検出部２２３は、静止画像５１に対応するイベントを検出する（ブロックＢ１６）。イベント検出部２２３は、静止画像５１に対して、分類されたイベントの識別情報（イベントＩＤ）を付与する。そして、イベント検出部２２３は、静止画像５１に付与されたイベントＩＤをインデックス情報生成部２２４に出力する。

インデックス情報生成部２２４は、顔画像検出部２２１及びクラスタリング部２２２による処理結果に基づいて、インデックス情報３０２Ａを生成する（ブロックＢ１７）。インデックス情報３０２Ａは、静止画像５１の生成日時、生成場所及びイベントＩＤ、並びに該静止画像５１に含まれる顔画像を示す顔画像情報を含む。また、この顔画像情報は、例えば、顔画像（例えば、顔画像に対応するデータの格納場所）、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、静止画像５１に複数の顔画像が含まれるとき、インデックス情報３０２Ａは、複数の顔画像に対応する複数の顔画像情報を含む。インデックス情報生成部２２４は、生成したインデックス情報３０２Ａを素材情報データベース３０２に格納する（ブロックＢ１８）。

以上の処理により、素材データベース３０１に新たに格納された静止画像５１に対応するインデックス情報３０２Ａ（のエントリ）が素材情報データベース３０２に格納される。

次いで、図１３のフローチャートを参照して、フォトムービー作成アプリケーションプログラム２０２によって実行される動画像生成処理の手順の例について説明する。フォトムービー作成アプリケーション２０２は、フォトムービー及びスライドショーのいずれかの動画像を再生する。

まず、キー画像選択部２３１はキー画像選択処理を実行する（ブロックＢ２０１）。キー画像選択部２３１は、素材データベース３０１に格納された静止画像５１からキー画像を選択する。このキー画像は、素材データベース３０１から、再生する動画像（フォトムービー又はスライドショー）に用いられる静止画像５１を抽出するための抽出キーとして用いられる。キー画像選択部２３１は、選択したキー画像を示す情報を関連画像選択部２３３に出力する。キー画像選択処理の詳細な手順は、図１４及び図１５を参照して後述する。

次いで、関連画像選択部２３３は、キー画像選択部２３１によって選択されたキー画像を用いて、関連画像選択処理を実行する（ブロックＢ２０２）。関連画像選択部２３３は、素材データベース３０１から、キー画像に関連する静止画像５１を選択する。キー画像に関連する静止画像５１は、キー画像に対して、例えば、日時、人物及び場所のうちの少なくともいずれかの関連性を有する静止画像５１である。関連画像選択部２３３は、選択したキー画像に関連する静止画像５１を示す情報を、エフェクト選択部２３４に出力する。関連画像選択処理の詳細な手順は、図１６を参照して後述する。

エフェクト選択部２３４は、表示モードがフォトムービーモードとスライドショーモードのいずれであるかを判定する（ブロックＢ２０３）。この表示モードは、再生される動画像がフォトムービーとスライドショーのいずれであるかを示す。なお、表示モードはユーザによって変更され得る。また、予め設定された表示モードに対応する動画像を再生することや、所定の条件に基づいて表示モードを切り替えることもできる。

表示モードがフォトムービーモードであると判定された場合（ブロックＢ２０３のフォトムービー）、エフェクト選択部２３４は、関連画像選択部２３３によって選択された静止画像５１に基づいて、エフェクト３０３Ａと音声３０３Ｂとを選択する（ブロックＢ２０４）。エフェクト選択部２３４は、選択された静止画像５１に適したエフェクト３０３Ａと音声データＢとを選択する。エフェクト選択部２３４は、選択された静止画像タ５１、エフェクト３０３Ａ及び音声３０３Ｂを示す情報を動画像生成部２３５に出力する。

動画像生成部２３５は、関連画像選択部２３３によって選択された静止画像５１と、エフェクト選択部２３４によって選択されたエフェクト３０３Ａ（シナリオデータ３０３Ｃ）及び音声３０３Ｂとを用いてフォトムービーを作成する（ブロックＢ２０５）。動画像生成部２３５は、生成したフォトムービーを動画像再生部２３６に出力する。

動画像再生部２３６は、動画像生成部２３５によって生成されたフォトムービーに基づいて、フォトムービーに用いられる静止画像５１を素材データベース３０１から抽出し、フォトムービーに用いられるエフェクト３０３Ａ及び音声３０３Ｂをエフェクトデータベース３０３から抽出する（ブロックＢ２０６）。動画像再生部２３６は、抽出した静止画像５１、エフェクト３０３Ａ及び音声３０３Ｂを用いて、フォトムービーを再生し、画面（ＬＣＤ１７）に表示する（ブロックＢ２０７）。そして、ブロックＢ２０１のキー画像選択処理に戻り、キー画像選択部２３１は、例えば、表示されているフォトムービーから選択された静止画像５１を新たなキー画像に決定する。

一方、表示モードがスライドショーモードであると判定された場合（ブロックＢ２０３のスライドショー）、動画像生成部２３５は、関連画像選択部２３３によって選択された静止画像５１を用いてスライドショーを作成する（ブロックＢ２０８）。動画像生成部２３５は、生成したスライドショーを動画像再生部２３６に出力する。

動画像再生部２３６は、動画像生成部２３５によって生成されたスライドショーに基づいて、スライドショーに用いられる静止画像５１を素材データベース３０１から抽出する（ブロックＢ２０９）。そして、動画像再生部２３６は、抽出した静止画像５１を用いて、スライドショーを再生し、画面（ＬＣＤ１７）に表示する（ブロックＢ２１０）。スライドショーでは、抽出された静止画像５１が所定のタイミングで順次表示される。そして、ブロックＢ２０１のキー画像選択処理に戻り、キー画像選択部２３１は、例えば、表示されているスライドショーから選択された静止画像５１を新たなキー画像に決定する。

以上の処理により、フォトムービー作成アプリケーションプログラム２０２は、キー画像に関連する静止画像５１を用いたスライドショー又はフォトムービーを表示できる。キー画像に関連する静止画像５１を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。

図１４のフローチャートは、キー画像選択部２３１によって実行されるキー画像選択処理（図１３のブロックＢ２０１）の手順の例を示す。ここでは、画面に表示されている動画像（フォトムービー又はスライドショー）からキー画像が選択されることを想定する。

まず、キー画像選択部２３１は、表示されている動画像から画像が選択されたか否かを判定する（ブロックＢ３１）。キー画像選択部２３１は、例えば、画面に表示中の画像をクリックする操作を検出したとき、当該画像がキー画像に選択されたものと判定する。画像が選択されていない場合（ブロックＢ３１のＮＯ）、キー画像選択部２３１はブロックＢ３１の処理に戻り、再度、画像が選択されたか否かを判定する。画像が選択された場合（ブロックＢ３１のＹＥＳ）、キー画像選択部２３１は、選択された画像をキー画像に決定する（ブロックＢ３２）。

次いで、キー画像選択部２３１は、顔画像選択画面４１を表示するか否かを判定する（ブロックＢ３３）。キー画像選択部２３１は、例えば、顔画像選択画面４１の表示を指示するボタンが押されたとき、顔画像選択画面４１を表示すると判定する。キー画像選択部２３１は、例えば、キー画像を確定するボタンが押されたとき、顔画像選択画面４１を表示しないと判定する。

顔画像選択画面４１を表示すると判定された場合（ブロックＢ３３のＹＥＳ）、キー画像選択部２３１は顔画像選択画面４１を表示する（ブロックＢ３４）。顔画像選択画面４１は、例えば、決定されたキー画像に含まれる顔画像のリストを表示する画面である。ユーザは、表示された顔画像のリストから、注目する人物（主人公）の顔画像を選択する操作を行う。そして、キー画像選択部２３１は、顔画像選択画面４１（顔画像のリスト）から選択された顔画像をキー顔画像に決定する（ブロックＢ３５）。なお、顔画像選択画面４１を用いて選択される顔画像は、複数であってもよい。

顔画像選択画面４１を表示しないと判定された場合（ブロックＢ３２のＮＯ）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に決定する（ブロックＢ３６）。例えば、キー画像選択部２３１は、キー画像に含まれる顔画像から、顔画像の位置、サイズ、鮮明度等に基づく条件を満たす顔画像を選択して、キー顔画像に決定してもよい。

ブロックＢ３５又はブロックＢ３６でキー顔画像を決定した後、キー画像選択部２３１は、決定したキー画像及びキー顔画像を示す情報を関連画像選択部２３３に出力する（ブロックＢ３７）。

以上の処理により、キー画像選択部２３１は、再生中の動画像（フォトムービー又はスライドショー）及び顔画像選択画面４１を用いて、静止画像５１を抽出するためのキー画像及びキー顔画像を決定することができる。関連画像選択部２３３は、決定されたキー画像及びキー顔画像に基づいて、素材データベース３０１に格納された静止画像５１から、キー画像及びキー顔画像に関連する静止画像５１を選択する。

また、図１５のフローチャートは、キー画像選択部２３１によって実行されるキー画像選択処理（図１３のブロックＢ２０１）の手順の別の例を示す。ここでは、カレンダー画面４２を用いて、キー画像が選択されることを想定する。

まず、カレンダー表示部２３２は、生成日時に基づいて静止画像５１が配置されたカレンダー画面４２を表示する（ブロックＢ４１）。カレンダー表示部２３２は、例えば、カレンダー画面４２に設けられた日毎の欄に、対応する生成日を有する静止画像５１のサムネイル画像を表示する。カレンダー表示部２３２は、対応する生成日を有する静止画像５１が複数存在するときには、それら複数の静止画像５１の内の、１つの静止画像５１のサムネイル画像（代表サムネイル画像）を表示する。ユーザは、カレンダー画面４２を用いて、サムネイル画像が表示されている欄に対応する生成日から、いずれかの生成日を選択する。

次に、カレンダー表示部２３２は、生成日が選択されたか否かを判定する（ブロックＢ４２）。カレンダー表示部２３２は、例えば、カレンダー画面４２上の日毎の欄がクリックされたことを検出したとき、生成日が選択されたと判定する。生成日が選択されていないとき（ブロックＢ４２のＮＯ）、カレンダー表示部２３２は、ブロックＢ４２の処理に戻り、再度、生成日が選択されたか否かを判定する。

生成日が選択されているとき（ブロックＢ４２のＹＥＳ）、カレンダー表示部２３２は、選択された生成日に生成された静止画像５１が複数存在するか否かを判定する（ブロックＢ４３）。選択された生成日に生成された静止画像５１が複数存在する場合（ブロックＢ４３のＹＥＳ）、カレンダー表示部２３２は、それら複数の静止画像５１の各々に対応するサムネイル画像のリストを画面に表示する（ブロックＢ４４）。そして、カレンダー表示部２３２は、表示されたリストから画像が選択されたか否かを判定する（ブロックＢ４５）。リストから画像が選択されていない場合（ブロックＢ４５のＮＯ）、カレンダー表示部２３２は、ブロックＢ４５に戻り、再度、リストから画像が選択されたか否かを判定する。リストから画像が選択されている場合（ブロックＢ４５のＹＥＳ）、キー画像選択部２３１は、選択された画像をキー画像に決定する（ブロックＢ４６）。

選択された生成日に生成された静止画像５１が複数存在しない場合（すなわち、選択された生成日に生成された静止画像５１が１つである場合）（ブロックＢ４３のＮＯ）、キー画像選択部２３１は、選択された生成日に生成された１つの静止画像５１をキー画像に決定する（ブロックＢ４７）。

ブロックＢ４６又はブロックＢ４７でキー画像が決定された後、キー画像選択部２３１は、顔画像選択画面４１を表示するか否かを判定する（ブロックＢ４８）。キー画像選択部２３１は、例えば、顔画像選択画面４１の表示を指示するボタンが押されたとき、顔画像選択画面４１を表示すると判定する。キー画像選択部２３１は、例えば、キー画像を確定するボタンが押されたとき、顔画像選択画面４１を表示しないと判定する。

顔画像選択画面４１を表示すると判定された場合（ブロックＢ４８のＹＥＳ）、キー画像選択部２３１は顔画像選択画面４１を表示する（ブロックＢ４９）。顔画像選択画面４１は、例えば、決定されたキー画像に含まれる顔画像のリストを表示する画面である。ユーザは、表示された顔画像のリストから、注目する人物（主人公）の顔画像を選択する操作を行う。そして、キー画像選択部２３１は、顔画像選択画面４１（顔画像のリスト）から選択された顔画像をキー顔画像に決定する（ブロックＢ５０）。なお、顔画像選択画面４１を用いて選択される顔画像は、複数であってもよい。

顔画像選択画面４１を表示しないと判定された場合（ブロックＢ４８のＮＯ）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に決定する（ブロックＢ５１）。キー画像選択部２３１は、例えば、キー画像に含まれる顔画像から、顔画像の位置、サイズ、鮮明度等に基づく条件を満たす顔画像を選択して、キー顔画像に決定してもよい。

ブロックＢ５０又はブロックＢ５１でキー顔画像を決定した後、キー画像選択部２３１は、決定したキー画像及びキー顔画像を示す情報を関連画像選択部２３３に出力する（ブロックＢ５２）。

以上の処理により、キー画像選択部２３１は、カレンダー画面４２及び顔画像選択画面４１を用いて、静止画像５１を抽出するためのキー画像及びキー顔画像を決定することができる。関連画像選択部２３３は、決定されたキー画像及びキー顔画像に基づいて、素材データベース３０１に格納された静止画像５１から、キー画像及びキー顔画像に関連する静止画像５１を選択する。なお、キー画像は、上述の再生中の動画像やカレンダー画面４２から選択する処理に限らず、例えば、素材データベース３０１に格納された静止画像５１を示すリストから選択されてもよい。

次いで、図１６のフローチャートを参照して、関連画像選択部２３３によって実行される関連画像選択処理（図１３のブロックＢ２０２）の手順の例を説明する。
まず、日時関連画像選択部２３３Ａは、素材データベース３０１に格納された静止画像５１から、キー画像が生成された日時に関連する日時に生成された静止画像５１を選択する（ブロックＢ６１）。次に、人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された静止画像５１から、キー顔画像に関連する静止画像５１を選択する（ブロックＢ６２）。人物関連画像選択部２３３Ｂは、例えば、素材データベース３０１に格納された静止画像５１から、キー顔画像に登場する人物の顔画像を含む静止画像５１、当該人物に関連する別の人物が登場する静止画像５１、キー画像が属するイベント（イベントグループ）内の他の静止画像５１等を選択する。そして、場所関連画像選択部２３３Ｃは、素材データベース３０１に格納された静止画像５１から、キー画像が生成された場所に関連する場所で生成された静止画像５１を選択する（ブロックＢ６３）。

関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃの各々で選択された静止画像５１を示す情報をエフェクト選択部２３４に出力する（ブロックＢ６４）。なお、関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃの各々で選択された静止画像５１に基づいて、選択される静止画像５１をさらに絞り込んでもよい。また、関連画像選択部２３３は、スタイルに応じた画像抽出条件とキー画像に関連するという条件の両方を満たす画像を抽出するようにしてもよい。

以上の処理により、関連画像選択部２３３は、キー画像及びキー顔画像に関連する静止画像５１を選択する。動画像生成部２３５は、選択された静止画像５１を用いて、動画像（フォトムービー又はスライドショー）を生成する。

以上説明したように、本実施形態によれば、思いがけない静止画像等を含む動画をユーザに提示することができる。フォトムービー作成アプリケーションプログラム２０２は、キー画像を選択し、選択したキー画像に関連する静止画像５１を用いたスライドショー又はフォトムービーを表示できる。キー画像に関連する静止画像５１を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。また、ユーザは、キー画像を指定する操作を行うだけで、キー画像に関連する静止画像５１を含むフォトムービーを作成することができるため、フォトムービー作成にかかる手間を軽減することができる。

なお、本実施形態の画像表示処理の手順は全てソフトウェアによって実行することができる。このため、画像表示処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１…監視部、２２…インデキシング部、２２１…顔画像検出部、２２２…クラスタリング部、２２３…イベント検出部、２２４…インデックス情報生成部、２３…再生制御部、２３１…キー画像選択部、２３２…カレンダー表示部、２３３…画像抽出部、２３３Ａ…日時関連画像抽出部、２３３Ｂ…人物関連画像抽出部、２３３Ｃ…場所関連画像抽出部、２３４…エフェクト抽出部、２３５…動画像生成部、２３６…動画像再生部、３０１…素材データベース、５１…静止画像データ、３０２…素材情報データベース、３０２Ａ…インデックス情報、３０３…エフェクトデータベース、３０３Ａ…エフェクトデータ、３０３Ｂ…音声データ、３０３Ｃ…シナリオデータ。

実施形態によれば、電子機器は、インデキシング手段、画像選択手段、画像抽出手段、及び画像表示手段を具備する。インデキシング手段は、複数の静止画像のインデックス情報を生成する。画像選択手段は、前記複数の静止画像から第１静止画像を選択する。画像抽出手段は、前記インデックス情報を用いて、前記複数の静止画像から、前記第１静止画像に関連する複数の静止画像を抽出する。画像表示手段は、前記第１静止画像に関連する複数の静止画像を用いた動画像を画面に表示する。前記画像選択手段は、前記動画像が表示されている間に、前記画面に表示されている、前記第１静止画像に関連する複数の静止画像の内の第２静止画像を選択する。前記画像抽出手段は、前記インデックス情報を用いて、前記複数の静止画像から、前記第２静止画像に関連する複数の静止画像を抽出する。前記画像表示手段は、前記第２静止画像に関連する複数の静止画像を用いた動画像を前記画面に表示する。

Claims (11)

1. 複数の静止画像のインデックス情報を生成するインデキシング手段と、
   前記複数の静止画像から一枚の静止画像を選択する画像選択手段と、
   前記インデックス情報を用いて、前記複数の静止画像から、前記一枚の静止画像に関連する複数の静止画像を抽出する画像抽出手段と、
   前記抽出された複数の静止画像を用いた動画像を表示する画像表示手段とを具備する電子機器。
2. 前記一枚の静止画像は、前記画像表示手段によって表示される動画像に用いられた静止画像から選択された静止画像である請求項１記載の電子機器。
3. 前記インデックス情報は、前記複数の静止画像の各々が生成された生成日時を示す情報を含み、
   前記複数の静止画像を、前記生成日時に基づく順序で配置して画面に表示するカレンダー表示手段をさらに具備し、
   前記一枚の静止画像は、前記カレンダー表示手段によって表示された静止画像から選択された静止画像である請求項１記載の電子機器。
4. 前記インデキシング手段は、前記複数の静止画像に含まれる顔画像を検出し、前記検出された顔画像を人物毎に分類し、前記顔画像の情報を含む前記インデックス情報を生成し、
   前記一枚の静止画像に関連する複数の静止画像は、前記一枚の静止画像に含まれる顔画像に対応する人物と同一の人物の顔画像を含む静止画像を含む請求項１記載の電子機器。
5. 前記インデックス情報に基づいて、前記一枚の静止画像に複数の顔画像が含まれるとき、前記複数の顔画像から一つ以上の顔画像を選択する顔画像選択手段をさらに具備し、
   前記一枚の静止画像に関連する複数の静止画像は、前記一つ以上の顔画像に対応する人物と同一の人物の顔画像を含む静止画像を含む請求項４記載の電子機器。
6. 前記画像表示手段は、エフェクトが施された前記抽出された複数の静止画像と、エフェクトが施された前記抽出された複数の静止画像に含まれる顔画像とのうちの少なくともいずれかを用いた動画像を表示する請求項４記載の電子機器。
7. 前記インデックス情報は、前記複数の静止画像の各々が生成された生成日時を示す情報を含み、
   前記一枚の静止画像に関連する複数の静止画像は、前記一枚の静止画像の生成日時を含む所定の期間内に生成された静止画像と、当該生成日時に関連する日時に生成された静止画像とのうちの少なくともいずれかを含む請求項１記載の電子機器。
8. 前記インデックス情報は、前記複数の静止画像の各々が生成された生成場所を示す情報を含み、
   前記一枚の静止画像に関連する複数の静止画像は、前記一枚の静止画像の生成場所で生成された静止画像と、当該生成場所に関連する場所で生成された静止画像とのうちの少なくともいずれかを含む請求項１記載の電子機器。
9. 前記インデックス情報は、前記複数の静止画像の各々が生成されたイベントを示す情報を含み、
   前記一枚の静止画像に関連する複数の静止画像は、前記一枚の静止画像が生成されたイベントで生成された静止画像と、当該イベントに関連するイベントで生成された静止画像とのうちの少なくともいずれかを含む請求項１記載の電子機器。
10. 前記画像表示手段は、エフェクトが施された、前記抽出された複数の静止画像を用いた動画像を表示する請求項１記載の電子機器。
11. 複数の静止画像のインデックス情報を生成し、
    前記複数の静止画像から一枚の静止画像を選択し、
    前記インデックス情報を用いて、前記複数の静止画像から、前記一枚の静止画像に関連する複数の静止画像を抽出し、
    前記抽出された複数の静止画像を用いた動画像を表示する画像処理方法。

Images