JP2017139702A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮影された複数の画像の中から、流し撮りによる良好な画質の画像を選抜可能にすることを課題とする。【解決手段】画像評価部（１１９）は、撮影により得られた画像の一部の画像領域を第１の評価領域とし、第１の評価領域のぶれ度合いと第１の評価領域を除く第２の評価領域のぶれ度合いとを算出する。また、画像評価部（１１９）は、第１の評価領域および第２の評価領域のぶれ度合いに基づいて、画像を評価する際の評価値を設定する。そして、画像選抜部（１２１）は、撮影により得られた複数の画像の中から、評価値に基づいて、一定の画質基準を満たす流し撮り画像を選抜する。【選択図】図１

Description

本発明は、画像を選抜する画像処理装置、画像処理方法、およびプログラムに関する。

従来、静止画や動画を記録媒体に記録するとともに、記録媒体に記録された静止画や動画を再生することができるデジタルカメラが知られている。このようなデジタルカメラにおいて、記録媒体に沢山の静止画や動画が記録されている場合、全てを閲覧するには時間がかかってしまう。一方、特許文献１には、例えば動画の中から重要なシーンだけを抽出（選抜）して、ダイジェスト再生する技術が開示されている。特許文献１では、サッカーなどの試合の動画の中で、音声パワーが所定のパワーを越えるようなシーンを重要なシーンとして検出し、そのシーンに含まれる画像をダイジェストとして再生する。ただし、特許文献１のように、音声レベルだけに基づいてシーンを抽出すると、似たようなシーンばかりが抽出されてしまうことになり易い。特許文献１の技術の場合、例えば、ゴールシーンなどのように観客が盛り上がったシーンの画像ばかりが選抜されることになり、例えばゴールシーンに至るまでの経緯が分かるような画像が選抜されることは少ない。このため、例えばゴールシーンのような似たシーンの画像ばかり連続するようなダイジェスト再生がなされてしまうことになり易い。

特開２００７−２６７３５１号公報

ところで、サッカーの試合などでは、例えばゴールシーンに至るまでの選手を、いわゆる「流し撮り」といった特殊な撮影方法で撮影する場合も多い。流し撮りとは、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影する方法である。ゴールシーンに至るまでの選手を流し撮りした画像の中から、ダイジェスト再生用の画像を選抜できれば、どのような経緯でゴールシーンに至ったかを判り易く見せることができると考えられる。一方、流し撮りでは、主被写体の移動に追従させてカメラを振るようにして撮影が行われるため、良好な画質の画像を得ることが難しいという面もある。流し撮り画像において良好な画質の画像は、主被写体等の一部の画像領域のぶれは少ない一方で、それ以外の背景等の画像領域は大きく流れた（大きくぶれた）画像であると考えられる。前述した特許文献１の技術を用い、流し撮りした画像の中からダイジェスト再生用の画像を選抜することも可能ではあるが、この場合の画像は、音声レベルのみに基づいて選抜される画像であるため、それが良好な画質の流し撮り画像であるとは限らない。

本発明はこのような問題点に鑑みてなされたものであり、撮影された複数の画像の中から、流し撮り撮影による良好な画質の画像を選抜可能にする画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。

本発明の画像処理装置は、撮影により得られた画像の一部の画像領域を第１の評価領域とし、前記第１の評価領域のぶれ度合いと前記第１の評価領域を除く第２の評価領域のぶれ度合いとを算出する算出手段と、前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像を評価する際の評価値を設定する設定手段と、撮影により得られた複数の画像の中から、前記評価値に基づいて、一定の画質基準を満たす流し撮り画像を選抜する選抜手段と、を有することを特徴とする。

本発明によれば、撮影された複数の画像の中から、流し撮りによる良好な画質の画像を選抜可能となる。

実施形態のデジタルカメラの概略構成を示す図である。 本実施形態のデジタルカメラの処理フローチャートである。 顔の画像評価値の算出例の説明に用いる図である。 ジャイロセンサによる回転方向と各速度変動量の説明に用いる図である。 コントラスト値の算出例の説明に用いる図である。 ぶれ度合い評価値の算出例の説明に用いる図である。 流し撮り画像に対するぶれ度合い評価の説明に用いる図である。 領域毎の評価値算出例の説明に用いる図である。 第１の評価領域に対する評価値算出例の説明に用いる図である。 第２の評価領域に対する評価値算出例の説明に用いる図である。 被写体の種別、明るさによる閾値変更例の説明に用いる図である。 被写体種別による第１の評価領域の形状変更例の説明に用いる図である。 動きベクトル評価値算出例の説明に用いる図である。 クラスタリングと正規化の説明に用いる図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係る画像処理装置の一適用例であるデジタルカメラの概略構成を示す図である。
図１において、操作部１０１は、デジタルカメラの電源スイッチ、操作者（以下、「ユーザ」と表記する。）がデジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部１０１としては、例えばシャッタースイッチ、録画ボタン、再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部１０７により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号ＳＷ１と、いわゆる全押し状態に対応した全押し信号ＳＷ２とを出力可能なスイッチとなされている。録画ボタンは、動画撮影を開始する際に用いられるボタンである。なお、録画ボタンの他、シャッタースイッチが全押しされている間、動画の撮影が行われてもよい。メニューボタンが操作された場合には、デジタルカメラにおいて各種メニューの設定が可能になる。メニューの中には、静止画撮影モードと動画撮影モードの切り替え設定メニュー、フラッシュ発光モードと非発光モードの切り替え設定メニュー、例えば日中モードや室内モード、夜景モードなどの撮影モード設定メニュー等がある。また、本実施形態のデジタルカメラは、後述するダイジェスト再生を行うダイジェスト再生モードへの設定メニュー等も有している。ダイジェスト再生モードでは、後述するスライドショー再生を行うスライドショー再生モードへの設定メニューも用意されている。制御部１０２は、デジタルカメラの各部の動作を制御するものであり、例えば操作部１０１からの指示に応じて各部を制御する。

レンズ１０８ａは、センサ部１０３の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構１０９ａは、メカニカルシャッター、絞り等を有して構成されている。センサ部１０３は、制御部１０２による制御の下、レンズ１０８ａ、メカ機構１０９ａを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部１０３には例えばＲ（赤）Ｇ（緑）Ｂ（青）の各色のカラーフィルタが設けられている。したがって、センサ部１０３からは、ＲＧＢの各色に対応したアナログ画像信号が出力される。本実施形態のデジタルカメラは静止画、動画の何れの撮影も可能であり、静止画撮影モードの場合、センサ部１０３からは静止画のアナログ画像信号が、動画撮影モードの場合、センサ部１０３からは動画の各フレームのアナログ画像信号が出力される。Ａ／Ｄ変換部１０４は、制御部１０２による制御の下、センサ部１０３から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。以下の説明では、静止画と動画を特に区別せずに説明する場合にはデジタル画像信号とのみ表記する。Ａ／Ｄ変換部１０４から出力されたデジタル画像信号は、画像処理部１０５に送られる。

画像処理部１０５は、制御部１０２による制御の下、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、その画像処理済みのデジタル画像信号を出力する。例えば、画像処理部１０５は、Ａ／Ｄ変換部１０４から供給されたＲＧＢのデジタル画像信号を、ＹＵＶのデジタル画像信号に変換して出力する。そして、画像処理部１０５は、画像処理を行ったデジタル画像信号を、被写体検出部１１５とエンコーダ部１１２、撮影情報作成部１１７に送る。また、画像処理部１０５から出力されたデジタル画像信号は、制御部１０２を介して、ＡＦ処理部１０８、ＡＥ処理部１０９、ＥＦ処理部１１０にも送られる。

ＡＦ処理部１０８は、制御部１０２を介して供給されたデジタル画像信号を基に、レンズ１０８ａを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。ＡＥ処理部１０９は、静止画撮影モードでは、制御部１０２からのデジタル画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構１０９ａのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。ＥＦ処理部１１０は、静止画撮影モードでフラッシュ発光を行う命令を制御部１０２から受けている場合、制御部１０２から供給されたデジタル画像信号の明るさを求める。そして、静止画撮影モードでは、ＥＦ処理部１１０は、その明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部１１１を発光させる。

ジャイロセンサ１０６は、静止画撮影や動画撮影の際に、カメラが振られたりぶれたりすることでカメラに加わる回転方向と角速度変動量と、をジャイロ情報として検出する。具体的には、ジャイロセンサ１０６は、Ｐｉｔｃｈ（ピッチ），Ｙａｗ（ヨー），Ｒｏｌｌ（ロール）の各回転方向と、それら各回転方向における角速度変動量とを、ジャイロ情報として検出する。ピッチ，ヨー，ロールの各回転方向の詳細は後述する。ジャイロセンサ１０６により検出されたジャイロ情報は、制御部１０２に送られる。本実施形態の場合、制御部１０２は、画像撮影が行われた場合には、その画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分のジャイロ情報を取得する。詳細については後述するが、本実施形態のデジタルカメラは、画像撮影の際に流し撮りによる撮影がなされたか否かを、ジャイロ情報を用いることで判定可能となされている。なお、流し撮りとは、前述したように、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影するような撮影方法である。

被写体検出部１１５は、制御部１０２による制御の下、画像処理部１０５より供給されたデジタル画像信号から、各被写体に対応した各画像領域（以下、「被写体領域」と表記する。）を検出し、それら各被写体領域の情報を出力する。本実施形態の場合、被写体検出部１１５は、一例として、画像内に存在する被写体毎の各画像領域と、例えば人物、人物の顔、車や建物など各被写体の種別を表す情報を検出する。また、被写体検出部１１５は、動画の画像撮影がなされている場合には、現時点のフレームの画像および現時点から時間的に前の所定期間分の各フレームの画像信号から、被写体領域毎に動きベクトルを求める。被写体検出部１１５は、撮影画像内における各被写体領域のサイズ、位置、種別等の情報、動画における被写体領域毎の動きベクトル情報等を、撮影情報作成部１１７に出力する。本実施形態において、これら各被写体領域のサイズ、位置、種別等の情報、動きベクトル情報等は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。また、被写体検出部１１５は、いわゆる顔検出処理を行い、検出した顔のサイズ、顔の位置などを示す顔情報をも生成する。被写体検出部１１５は、生成した顔情報を、表情検出部１１６に出力する。その他、被写体検出部１１５は、各被写体領域のうち何れかを主被写体領域として検出することも可能となされている。なお、被写体のサイズ、位置、種別の検出、被写体領域毎の動きベクトル検出、主被写体領域の検出等の技術は種々知られており、ここではそれら技術の説明については省略する。

表情検出部１１６は、被写体検出部１１５から供給された顔情報を基に、被写体である人物の顔の表情を検出する。顔の表情検出方法の詳細な説明は省略するが、表情検出部１１６は、一例として、顔の画像のエッジ情報から口や目等の領域を検出し、例えば口角の上がり具合や目尻の下がり具合などを基に笑顔のレベルを判定し、それを数値化した笑顔度を算出する。また、表情検出部１１６は、顔の向き、視線方向をも求める。詳細な説明は省略するが、表情検出部１１６は、一例として、顔の中の目や鼻、口、耳等の位置を基に顔の向きを検出し、また、目の領域内で瞳（虹彩、黒目）が向いている方向を基に視線方向を検出する。そして、表情検出部１１６は、笑顔度、顔の向き、視線方向等の情報を、撮影情報作成部１１７に出力する。本実施形態において、これら笑顔度、顔の向き、視線方向等の情報は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。

撮影情報作成部１１７には、制御部１０２から、合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等が供給される。本実施形態では、これら合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等についても、撮影された画像が有する特性の一部を表すパラメータとし、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。合焦情報は、オートフォーカス制御の際のカメラから被写体までの距離に対応した合焦距離情報と、撮影画像内でピントが合った被写体像の位置を表す合焦位置情報とを含む情報である。露出情報は、撮影時の自動露出補正制御に使用された絞り値やシャッタースピード、センサ部１０３における電荷蓄積時間等の露出に関する情報である。被写界深度情報は、レンズ１０８ａおよびメカ機構１０９ａの絞りによるｆ値に応じて決まる被写界深度を表す情報である。ユーザ設定情報は、撮影時においてユーザが操作部１０１を介して設定した情報であり、前述したメニューの設定情報や、撮影モードの設定情報などが含まれる。ジャイロ情報は、ジャイロセンサ１０６により検出された情報であり、前述したように、画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分の情報となされている。撮影情報作成部１１７は、デジタル画像信号に対応させるようにして、前述した各評価パラメータをまとめた撮影情報を作成する。そして、撮影情報作成部１１７は、撮影情報をエンコーダ部１１２に送る。

エンコーダ部１１２は、画像処理部１０５から供給されたデジタル画像信号のフォーマットを、ＪＰＥＧなどのフォーマットに変換する。以下、エンコーダ部１１２によりフォーマット変換された後のデジタル画像信号を「画像データ」と表記する。なお、デジタル画像信号が動画のフレーム画像信号である場合には、エンコーダ部１１２は、各フレーム画像信号をＭｏｔｉｏｎ−ＪＰＥＧ等のフォーマットに変換する。また、このときのエンコーダ部１１２は、前述した撮影情報作成部１１７にて作成された撮影情報を画像データのヘッダ領域に書き込む。エンコーダ部１１２によりフォーマット変換され、更にヘッダ領域に撮影情報が書き込まれた画像データは、画像記録部１１３に出力される。

画像記録部１１３は、制御部１０２による制御の下、エンコーダ部１１２から供給された画像データを、不図示の記録媒体に記録する。不図示の記録媒体は、デジタルカメラ内の内部メモリや、デジタルカメラに挿入されている外部メモリ（メモリーカード）等である。なお、以下の説明では、メモリーカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。

再生期間設定部１１８は、後述するダイジェスト再生が行われる場合に、記録画像の中から、ダイジェスト再生される画像を選抜する際の選抜対象となされる各記録画像を指定するための期間を設定する。以下の説明では、この期間を「再生期間」と表記する。本実施形態の場合、各記録画像の撮影日時や期間（例えば１日や１週間など）が、ユーザにより操作部１０１を介して指定されると、その指定された日時や期間の情報が制御部１０２を介して再生期間設定部１１８に送られる。再生期間設定部１１８は、その指定された日時や期間を再生期間として設定する。なお、再生期間の長さについては、ユーザにより指定される場合だけでなく、予め決められていてもよい。そして、再生期間設定部１１８は、制御部１０２による制御の下、再生期間に対応した各記録画像のデータを、画像記録部１１３を介してメモリーカード等から読み出して、画像評価部１１９へ送る。再生期間の記録画像は、後述するダイジェスト再生用の画像を選び出す際の際の選抜対象となされる画像であるため、以下の説明では「選抜対象画像」と表記する。

画像評価部１１９は、本実施形態における算出手段と設定手段の一例である。画像評価部１１９は、再生期間の各選抜対象画像のヘッダ領域に書き込まれている撮影情報（評価パラメータ）を基に、それら各選抜対象画像に対する後述する各種評価値を算出する。評価パラメータに基づいて算出される各種評価値の詳細については後述する。また、本実施形態において、画像評価部１１９は、選抜対象画像が流し撮り撮影された画像である場合には、その流し撮り画像の画質を評価するための評価値をも算出する。流し撮り画像の画質を評価するための評価値の算出等の詳細については後述する。そして、画像評価部１１９は、各選抜対象画像のデータとそれら各選抜対象画像について算出した各評価値の情報を、画像分類部１２０に送る。

画像分類部１２０は、後述するダイジェスト再生が行われる場合、前述した再生期間の各選抜対象画像について、撮影日時を用いたクラスタリング処理を行う。そして、画像分類部１２０は、クラスタリングされた各選抜対象画像のデータと各選抜対象画像の各評価値の情報を画像選抜部１２１に送る。クラスタリング処理の詳細については後述する。

画像選抜部１２１は、本実施形態における選抜手段の一例である。画像選抜部１２１は、後述するダイジェスト再生が行われる場合、制御部１０２による制御の下、前述した再生期間に応じた選抜枚数を設定する。そして、画像選抜部１２１は、画像分類部１２０によりクラスタリングされた各選抜対象画像の中から、前述した各評価値に基づき、一定の画質基準を満たす前述の選抜枚数分の流し撮りの画像を記録画像として選抜する。本実施形態において、各評価値に基づく画像選抜処理には、流し撮り撮影された複数の選抜対象画像の中から、流し撮り画像として良好な画質の画像を選抜する処理も含まれる。これら、再生期間に応じた選抜枚数の設定、評価値に基づく画像選抜の詳細については後述する。画像選抜部１２１により選抜された各記録画像のデータは、ダイジェスト再生用の選抜画像データとして、表示部１０７に送られる。

表示部１０７は、ダイジェスト再生が行われる場合、ダイジェスト再生用のタイトル画像等の生成、ダイジェスト再生用の各選抜画像データに応じた表示画像の生成、選抜画像データに対する色フィルタ処理などの加工処理後の表示画像の生成等を行う。選抜画像に対する色フィルタ処理の詳細については後述する。そして、表示部１０７は、タイトル画像、ダイジェスト再生用の各選抜画像データに応じた表示画像や色フィルタ処理などの加工処理後の表示画像を、液晶等の表示デバイスに送って画面上に表示させる。また、本実施形態において、ダイジェスト再生の際には、例えば４秒間隔などの一定時間間隔、若しくはユーザにより設定された任意の時間間隔で、選抜画像が順番に切り替えられて再生表示されるようなスライドショー再生も可能となされている。このようなスライドショー再生の制御は、制御部１０２により行われる。なお、ダイジェスト再生の際には、スライドショー再生だけでなく、例えば操作部１０１を介したユーザによる表示切り替え指示の入力がなされる毎に、選抜画像が切り替えられて画面上に表示されてもよい。また、外部接続部１１４を介して外部モニタ等が接続された場合、表示部１０７は、前述したタイトル画像や表示信号を外部接続部１１４を介して外部モニタ等に出力して、外部モニタの画面上に表示させることも可能となされている。

以下、図１に示した本実施形態のデジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像の中から選抜された画像によるダイジェスト再生（スライドショー再生）が行われるまでの動作について説明する。
先ず、本実施形態のデジタルカメラにおいて、静止画や動画の撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のデジタルカメラのユーザが、操作部１０１の電源スイッチをオンにすると、制御部１０２は、これを検知し、デジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部１０２は、ＡＥ処理部１０９を介して、前述のメカ機構１０９ａのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部１０３の撮像面には、レンズ１０８ａ、メカ機構１０９ｂを介して光が入射することになる。そして、制御部１０２による制御の下、センサ部１０３からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がＡ／Ｄ変換部１０４に送られる。このときのＡ／Ｄ変換部１０４は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４からのデジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのデジタル画像信号を出力する。また、制御部１０２は、画像処理部１０５からのデジタル画像信号をＡＥ処理部１０９に送り、これによりＡＥ処理部１０９では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部１０３〜画像処理部１０５を介した画像信号がＡＥ処理部１０９にフィードバックされることで、適正露出への収束制御が実現される。

ここで、静止画撮影モードの場合、操作部１０１のシャッタースイッチから半押し信号が出力されると、制御部１０２は、その時点でセンサ部１０３〜画像処理部１０５を介した画像信号を、ＡＦ処理部１０８とＡＥ処理部１０９に送る。これにより、ＡＦ処理部１０８ではオートフォーカス制御が行われて被写体にピントが合わされ、また、ＡＥ処理部１０９では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のデジタルカメラにおいて、撮影の際にフラッシュ発光を行う設定になされている場合、制御部１０２は、画像処理部１０５からのデジタル画像信号をＥＦ処理部１１０にも送る。この場合のＥＦ処理部１１０は、デジタル画像信号から輝度値を検出し、その輝度値に基づいて、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部１１１の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部１０２は、その時点でセンサ部１０３にて撮像されてＡ／Ｄ変換部１０４と画像処理部１０５を介したデジタル画像信号を、エンコーダ部１１２と被写体検出部１１５に取り込ませる。また、動画撮影モードの場合には、制御部１０２による制御の下、録画ボタンが押される前のライブビュー表示の際にオートフォーカス制御が行われて被写体にピントが合わされ、また露出補正制御が行われて適正な露出による動画撮影が可能になされる。その後、録画ボタンから録画の開始指示が入力されると、制御部１０２は、それ以後、センサ部１０３で撮像されてＡ／Ｄ変換部１０４から画像処理部１０５を介した動画の各フレームの画像信号を、エンコーダ部１１２と被写体検出部１１５に取り込ませる。被写体検出部１１５以降の詳細な処理の説明は後述する。

エンコーダ部１１２は、前述したように、フォーマット変換を行った後の画像データとヘッダ領域の撮影情報とを、画像記録部１１３に送る。画像記録部１１３は、制御部１０２による制御の下、フォーマット変換済みの画像データおよびヘッダ領域の撮影情報をメモリーカード等の記録媒体に記録する。これにより、画像記録部１１３のメモリーカード等には、静止画や動画の画像データとヘッダ領域の撮影情報とが記録される。

次に、本実施形態のデジタルカメラにおいて、画像記録部１１３のメモリーカード等の記録画像の中から選抜した画像によるダイジェスト再生を行うダイジェスト再生モード、さらに、スライドショー再生を行うスライドショー再生モードの際の動作を説明する。
図２は、図１に示した本実施形態のデジタルカメラが、画像記録部１１３のメモリーカード等の記録画像の中から画像を選抜してダイジェスト再生（スライドショー再生）を行うまでの処理の流れを示すフローチャートである。図２のフローチャートの処理は、図１の制御部１０２、再生期間設定部１１８、画像評価部１１９、画像分類部１２０、画像選抜部１２１、表示部１０７等にて行われる処理である。なお、図２のフローチャートの処理は、例えばＣＰＵ等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図２の各処理のステップＳ２０１〜ステップＳ２２０を、Ｓ２０１〜Ｓ２２０と略記する。

図２のＳ２０１において、ユーザにより操作部１０１の電源スイッチがオンされた後、メニューボタンが操作されてダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されると、制御部１０２は、Ｓ２０２に処理を進める。Ｓ２０２では、制御部１０２は、表示部１０７を介して表示デバイスの画面上に、ユーザに対して再生期間の指示を行うためのユーザインターフェース画像（図示は省略する。）を表示させる。そして、制御部１０２は、操作部１０１を介してユーザから再生期間の設定入力がなされると、再生期間設定部１１８に対して、その再生期間の設定入力情報を送る。

Ｓ２０２において、再生期間設定部１１８は、制御部１０２からユーザによる再生期間の設定入力情報を受けると、その情報に応じた再生期間を設定する。そして、再生期間設定部１１８は、メモリーカード等の記録画像の中で、再生期間に該当する各記録画像のデータとそれらのヘッダ領域内の撮影情報を取得して、画像評価部１１９に送る。再生期間に該当する各記録画像は前述した選抜対象画像である。Ｓ２０２の後、制御部１０２は、画像評価部１１９にて行われるＳ２０３に処理を移行させる。

Ｓ２０３では、画像評価部１１９は、再生期間の各選抜対象画像における撮影情報の評価パラメータを用いて、それぞれ各選抜対象画像に対する画像評価値を算出する。具体的には、画像評価部１１９は、各選抜対象画像について、例えば図３（ａ）〜図３（ｃ）を用いて説明するような３種類の画像評価値の何れか一つ、若しくは二つ以上の画像評価値（三つの画像評価値の場合も含む）を求める。

図３（ａ）は、前述した選抜対象画像の縦幅と、前述した被写体検出部１１５が検出した顔のサイズとの割合を算出し、その割合に基づいて画像評価値Ｗ１を求める例の説明図である。図３（ａ）の画像３１１は、その画像の縦幅を１００％とした場合に、顔領域３２１の縦幅サイズが２０％に相当する割合として算出された例を示している。一方、図３（ａ）の画像３１２は、その画像の縦幅を１００％とした場合に、顔領域３２２の縦幅サイズが６０％に相当する割合として算出された例を示している。また、図３（ａ）のサイズ評価特性３０１は、画像と顔領域の縦幅サイズの割合と、画像評価値Ｗ１との対応関係を表している。図３（ａ）のサイズ評価特性３０１は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ａ）のサイズ評価特性３０１は、縦幅サイズの割合が０％〜２０％までは画像評価値Ｗ１として「３」が対応付けられ、縦幅サイズの割合が６０％以上では画像評価値Ｗ１として「１０」が対応付けられた例を示している。さらに、図３（ａ）のサイズ評価特性３０１は、縦幅サイズの割合が２０％〜６０％では画像評価値Ｗ１として「３」から「１０」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１１の縦幅に対する顔領域３２１のサイズの割合を算出し、その割合に応じた画像評価値Ｗ１を、図３（ａ）のサイズ評価特性３０１から求めて、画像３１１の画像評価値とする。同様に、画像評価部１１９は、画像３１２の縦幅に対する顔領域３２２のサイズの割合を算出し、その割合に応じた画像評価値Ｗ１を、図３（ａ）のサイズ評価特性３０１から求めて、画像３１２の画像評価値とする。図３（ａ）の場合、画像３１１の画像評価値Ｗ１は、その画像から算出した縦幅サイズの割合である２０％に応じた値「３」となる。一方、画像３１２の画像評価値Ｗ１は、その画像から算出した縦幅サイズの割合である６０％に応じた値「１０」となる。すなわち、この図３（ａ）の例の場合、画像評価部１１９は、画像３１１の顔領域３２１よりも縦幅サイズが大きい顔領域３２２が写っている画像３１２の方を、高画像評価値の画像とする。

図３（ｂ）は、前述した選抜対象画像の中心位置から、前述した被写体検出部１１５が検出した顔位置（例えば顔領域の中心位置）までの距離を算出し、その距離に基づいて画像評価値Ｗ２を求める例の説明図である。図３（ｂ）の画像３１３は、その画像の対角線距離の１／２を１００％とした場合に、画像中心位置から、顔領域３２３の顔位置までの距離が５％に相当する割合として算出された例を示している。一方、図３（ｂ）の画像３１４は、その画像の対角線距離の１／２を１００％とした場合に、画像中心位置から、顔領域３２４の顔位置までの距離が６０％に相当する割合として算出された例を示している。また、図３（ｂ）の距離評価特性３０２は、前述した画像中心位置から顔位置までの距離の割合と、画像評価値Ｗ２との対応関係を表している。図３（ｂ）の距離評価特性３０２は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ｂ）の距離評価特性３０２は、前述の距離の割合が０％〜５％までは画像評価値Ｗ２として「１０」が対応付けられ、距離の割合が６０％以上では画像評価値Ｗ２として「３」が対応付けられた例を示している。さらに、図３（ｂ）の距離評価特性３０２は、距離の割合が５％〜６０％では画像評価値Ｗ２として「１０」から「３」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１３について前述した中心位置から顔領域３２３の位置までの距離の割合を算出し、その割合に応じた画像評価値Ｗ２を図３（ｂ）の距離評価特性３０２から求めて、画像３１３の画像評価値とする。また、画像評価部１１９は、画像３１４について前述した中心位置から顔領域３２４の位置までの距離の割合を算出し、その割合に応じた画像評価値Ｗ２を図３（ｂ）の距離評価特性３０２から求めて画像３１４の画像評価値とする。図３（ｂ）の例の場合、画像３１３の画像評価値Ｗ２は、その画像から算出した距離の割合である５％に応じた値「１０」となる。一方、画像３１４の画像評価値Ｗ２は、その画像から算出した距離の割合である６０％に応じた値「３」となる。すなわち、この図３（ｂ）の例の場合、画像評価部１１９は、画像３１４よりも距離の割合が小さい（画像中心から顔領域までの距離が近い）画像３１３の方を、高画像評価値の画像とする。

図３（ｃ）は、前述した表情検出部１１６が検出した笑顔度に基づいて、前述した選抜対象画像の画像評価値Ｗ３を求める例の説明図である。図３（ｃ）の画像３１５は、顔領域３２５の笑顔度が０（笑顔でない場合）として算出された例を示している。一方、図３（ｃ）の画像３１６は、顔領域３２６の笑顔度が１０００（笑顔である場合）として算出された例を示している。また、図３（ｃ）の笑顔度評価特性３０３は、顔領域の笑顔度と、画像評価値Ｗ３との対応関係を表している。図３（ｃ）の笑顔度評価特性３０３は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ｃ）の笑顔度評価特性３０３は、笑顔度０には画像評価値Ｗ３として「０」が対応付けられ、笑顔度１０００以上では画像評価値Ｗ３として「１０」が対応付けられた例を示している。さらに、図３（ｃ）の笑顔度評価特性３０３は、笑顔度０〜１０００では画像評価値Ｗ３として「０」から「１０」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１５の顔領域３２５の笑顔度に応じた画像評価値Ｗ３を、図３（ｃ）の笑顔度評価特性３０３から求めて、画像３１５の画像評価値とする。同様に、画像評価部１１９は、画像３１６の顔領域３２６の笑顔度に応じた画像評価値Ｗ３を、図３（ｃ）の笑顔度評価特性３０３から求めて、画像３１６の画像評価値とする。図３（ｃ）の例の場合、画像３１５の画像評価値Ｗ３は、その画像の顔領域３２５の笑顔度０に応じた値「０」となる。一方、画像３１６の画像評価値Ｗ３は、その画像の顔領域３２６の笑顔度１０００に応じた値「１０」となる。すなわち、この図３（ｃ）の例の場合、画像評価部１１９は、画像３１５よりも笑顔度の値が高い顔領域３２６が写っている画像３１６の方を、高画像評価値の画像とする。

画像評価部１１９は、図３（ａ）〜図３（ｃ）の例で挙げた３種類の画像評価値だけでなく、例えば、顔の向き、視線方向、オートフォーカス制御の合焦情報などの評価パラメータに基づいて、それぞれ画像評価値を求めてもよい。そして、画像評価部１１９は、それら各画像評価値の何れか一つ、若しくは、二つ以上の画像評価値（全ての画像評価値の場合も含む）を求める。一例として、画像評価部１１９は、顔の向きに基づく画像評価値では顔の向きが正面に向くほど高い値に設定し、視線方向に基づく画像評価値では視線方向が正面に向くほど高い値に設定する。また、画像評価部１１９は、例えば、合焦情報に基づく画像評価値では、選抜対象画像内の各被写体領域に対するピントズレ量が少なくなるほど高い値を設定する。また、画像評価部１１９は、例えば、合焦情報のうちカメラから被写体までの距離に対応した合焦距離情報が近いほど値が高くなる画像評価値を設定してもよい。その他にも、画像評価部１１９は、例えば、合焦情報のうち選抜対象画像内でピントが合った被写体像の位置を表す合焦位置情報から、前述の図３（ｂ）で説明したような距離に応じた画像評価値を求めてもよい。

図２のフローチャートに説明を戻す。Ｓ２０４の後、画像評価部１１９は、Ｓ２０５に処理を進める。Ｓ２０５において、画像評価部１１９は、撮影情報のジャイロ情報を用いて、その撮影情報に対応した選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。図４は、カメラ４００におけるＰｉｔｃｈ（ピッチ方向４１２），Ｙａｗ（ヨー方向４１１），Ｒｏｌｌ（ロール方向４１３）の各回転方向を示す図である。ジャイロ情報は、図４に示したようなピッチ方向４１２，ヨー方向４１１，ロール方向４１３の各回転方向と、各回転方向における角速度変動量とを示す情報である。また、本実施形態において、ジャイロ情報は、前述したように、画像撮影が行われた際の、撮影時点を含み且つその時点から時間的に前の所定期間分の情報となされている。

画像評価部１１９は、このようなジャイロ情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。具体的には、画像評価部１１９は、ジャイロ情報のヨー方向４１１における角速度変動量が所定の第１変動量以上であり、一方、ピッチ方向４１２およびロール方向４１３の角速度変動量が所定の第２変動量未満であったか否かを判定する。なお、第１変動量は、第２変動量よりも十分に大きな値として予め設定されている。そして、画像評価部１１９は、ヨー方向４１１の角速度変動量が第１変動量以上であり、且つ、ピッチ方向４１２およびロール方向４１３の角速度変動量が第２変動量未満であった場合、選抜対象画像が流し撮り状態で撮影された画像であると判定する。なお、流し撮りは、カメラ４００が短い時間（瞬間的に）だけ振られて行われる場合だけでなく、ある程度長い所定時間等速で振られるようにして行われる場合も想定される。このため、画像評価部１１９は、ピッチ方向４１２およびロール方向４１３の角速度変動量が第２変動量未満で、且つヨー方向４１１の角速度変動量が略々一定（等速に振られた）の状態が所定時間続いたと判断される場合にも流し撮りなされた画像と判定する。

なお、本実施形態では、ジャイロ情報を用いて流し撮りの判定を行う例を挙げたが、例えば３軸（ＸＹＺ軸）加速度センサにて検出された加速度情報を用いて、流し撮り状態で撮影されたか否かを判定してもよい。この場合、デジタルカメラは、図示しない３軸加速度センサを備えており、撮影がなされた際、制御部１０２は、加速度センサにより検出される加速度情報を取得する。このとき取得される加速度情報は、前述のジャイロ情報の場合と同様に、画像撮影が行われた時点を含み且つその時点から時間的に前の所定期間分の情報となされる。この取得された加速度情報は、評価パラメータの一つとして撮影情報に含められて、記録画像のヘッダ領域に書き込まれる。そして、画像評価部１１９は、撮影情報の中の加速度情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、例えば図４中のＸＹＺ軸に対する加速度情報が３軸加速度センサにより検出されたとする。この場合、画像評価部１１９は、加速度情報のうちＸ軸方向の加速度が所定の第１加速度以上であり、一方、Ｙ軸方向およびＺ軸方向の加速度が所定の第２加速度未満であった場合に、選抜対象画像が流し撮り状態で撮影された画像であると判定する。

その他にも、選抜対象画像が流し撮り状態で撮影された画像であるか否かは、例えば動きベクトル情報を用いて行われてもよい。この例の場合、画像評価部１１９は、撮影情報の中の動きベクトル情報を用い、選抜対象画像の被写体領域毎の動きベクトルを比較して、その選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、画像評価部１１９は、主被写体領域の動きベクトルの値が所定の第１動きベクトル値未満であり、他の被写体領域の動きベクトルの値が所定の第２動きベクトル値以上である場合、その選抜対象画像は流し撮りされた画像であると判定する。

図２のフローチャートに説明を戻す。Ｓ２０５の後、画像評価部１１９は、Ｓ２０６に処理を進める。Ｓ２０６では、画像評価部１１９は、Ｓ２０５における流し撮り状態判定により、選抜対象画像が流し撮り状態で撮影された画像であると判定（Ｙｅｓ）した場合には、Ｓ２０８に処理を進める。一方、画像評価部１１９は、Ｓ２０６において、流し撮り状態で撮影された画像ではないと判定（Ｎｏ）した場合には、Ｓ２０７に処理を進める。

Ｓ２０７に進んだ場合、画像評価部１１９は、選抜対象画像の画像全体についてのぶれ度合い評価を行った後、Ｓ２０９に処理を進める。
このとき、画像評価部１１９は、先ず、選抜対象画像のエッジ強度を画像のコントラスト値として求めるために、図５（ａ）に示すように画像５００を複数のブロック５１０に分割し、各ブロック５１０の画像領域からエッジ信号を抽出する。また、画像評価部１１９は、ブロック５１０毎にエッジのピークホールドを行って得られたエッジ信号を合計する。なお、図５（ｂ）のブロック５１０ｂと図５（ｃ）のブロック５１０ｃは、画像５００内の異なるブロックであるとする。すなわち、画像評価部１１９は、図５（ｂ）のブロック５１０ｂに示すように、そのブロック５１０ｂ内のエッジのピークホールドを行って得られたエッジ信号５１１ｂの合計値５１２ａを算出する。同様に、画像評価部１１９は、図５（ｃ）のブロック５１０ｃについても、そのブロック５１０ｃ内のエッジのピークホールドを行って得られたエッジ信号５１１ｃの合計値５１２ｃを算出する。さらに、画像評価部１１９は、図５（ｂ）や図５（ｃ）のようにして画像５００の全ブロックから求めたエッジ信号の合計値の平均値を、エッジ強度として算出し、そのエッジ強度の値をコントラスト値とする。

そして、画像評価部１１９は、再生期間の各選抜対象画像について求めたコントラスト値の高低（エッジ強度の大小）に基づいて、各選抜対象画像のぶれ度合い評価を行う。ここで、画像のコントラスト値は、画像のぶれ度合いが大きくなるほど低くなり、一方、画像のぶれ度合いが小さくなるほど高くなると考えられる。このため、画像評価部１１９は、図６に示すように、選抜対象画像のぶれ度合いが小さくコントラスト値が高くなるほど高評価となり、一方、ぶれ度合いが大きくコントラスト値が低くなるほど低評価となるぶれ度合い評価値Ｗ４を設定する。図６のぶれ度合い評価特性６００は、画像のコントラスト値と、ぶれ度合い評価値Ｗ４との対応関係を表している。図６のぶれ度合い評価特性６００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図６のぶれ度合い評価特性６００は、コントラスト値が例えば０〜２０まではぶれ度合い評価値Ｗ４として「３」が対応付けられ、コントラスト値が６０以上ではぶれ度合い評価値Ｗ４として「１０」が対応付けられた例を示している。さらに、図６のぶれ度合い評価特性６００は、コントラスト値が２０〜６０ではぶれ度合い評価値Ｗ４として「３」から「１０」まで線形に変化する値が対応付けられている。なお、図６に例示した画像６０１〜６０４は、それぞれ前述したＳ２０６において流し撮り状態で撮影された画像ではないと判定された選抜対象画像であるとする。また、これら画像６０１〜６０４において、コントラスト値は、画像６０１、６０２、６０３、６０４の順に高くなっていくとする。この図６の例の場合、画像評価部１１９は、画像６０１〜６０４に対し、ぶれ度合い評価特性６００上で各画像６０１〜６０４のコントラスト値にそれぞれ対応した点６１１〜６１４のぶれ度合い評価値Ｗ４を設定する。図６の例の場合、画像６０１、６０２、６０３、６０４の順に、高評価値になっていくようなぶれ度合い評価値Ｗ４が設定されることになる。

この図６で説明したように、流し撮りでない状態にて撮影された画像に対して設定されるぶれ度合い評価値Ｗ４は、その画像の被写体および背景等にピントが合っていて、被写体ぶれが少ないことを評価するためのぶれ度合い評価値となされる。図６の例の場合、画像６０１〜６０４のぶれ度合い評価値Ｗ４は、画像６０１、６０２、６０３、６０４の順に、よりピントが合っており、被写体ぶれが少なくなっていることを示す値になっている。したがって、図６に例示した画像６０１〜６０４の中から画質が良好な画像を選抜するような場合には、例えばぶれ度合い評価値Ｗ４が最も高評価値になっている画像６０４を選抜することが望ましいと考えられる。

一方、図７には、前述したＳ２０６において流し撮り状態で撮影された画像であると判定された選抜対象画像の一例として、各画像７０１〜７０４を挙げている。ただし、図７に例示した画像７０１〜７０４のうち、画像７０２は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。画像７０１は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば速すぎたために、背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。画像７０３は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば遅すぎたために、背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなってしまった被写体ぶれ画像であるとする。画像７０４は、例えばシャッタースピードが非常に高速であったために、流し撮り撮影であるにもかかわらず主被写体領域と背景領域のぶれが共に非常に少なくなっている高コントラスト画像であるとする。このような各画像７０１〜７０４の場合、前述したコントラスト値は、画像７０１では低く、画像７０４では高くなり、画像７０２と７０３のコントラスト値はある程度近い値になると考えられる。また、図７のぶれ度合い評価特性７００は、選抜対象画像のコントラスト値と、ぶれ度合い評価値Ｗ４との対応関係を表している。図７のぶれ度合い評価特性７００は、図６のぶれ度合い評価特性６００と同様の特性である。

そして、前述同様のコントラスト値によるぶれ度合い評価を行った場合、画像７０１〜７０４に対しては、ぶれ度合い評価特性７００上で画像７０１〜７０４の各コントラスト値に対応した点７１１〜７１４のぶれ度合い評価値Ｗ４が設定される。図７の例の場合、画像７０１、７０２、７０３、７０４の順に、より高評価値になっていくようなぶれ度合い評価値Ｗ４が設定されることになる。したがって、これら画像７０１〜７０４の中から、例えば前述同様にぶれ度合い評価値Ｗ４のみに基づいて画像を選抜した場合には、ぶれ度合い評価値Ｗ４が最も高評価値になっている画像７０４が選抜されることになると考えられる。

ここで、流し撮りにより撮影された画像の場合、良好な画質の画像は、主被写体領域のような一部の画像領域のぶれは非常に少ない一方で、それ以外の背景等の画像領域は大きく流れた背景ぶれ画像であると考えられる。すなわち、流し撮り撮影された画像の場合、画像全体が高コントラストな画像ではなく、主被写体領域は適切なコントラストで、背景領域は画像の流れによる低コントラストの画像が、良好な画質の画像であると考えられる。言い換えると、主被写体領域ではぶれ度合いが小さく、背景領域では画像の流れによりぶれ度合いが大きい画像が、良好な画質の流し撮り画像であると考えられる。一方、画像７０１〜７０４の中から前述したぶれ度合い評価値Ｗ４のみに基づいて画像を選抜した場合、選抜されるのは画像７０４になり、流し撮りにおいて良好な画質の画像であると考えられる画像７０２は選抜されないことになってしまう。

このため、本実施形態のデジタルカメラは、選抜対象画像が流し撮り状態で撮影された画像である場合には、その画像の一部の画像領域を第１の評価領域とし、それ以外を第２の評価領域として領域分けを行う。そして、デジタルカメラは、それら各評価領域でそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。詳細については後述するが、本実施形態のデジタルカメラは、流し撮りにより撮影された選抜対象画像について、第１の評価領域と第２の評価領域とでそれぞれ別のぶれ度合い判定基準による第１，第２のぶれ度合い評価値を求める。

図２のフローチャートに説明を戻す。Ｓ２０６で選抜対象画像が流し撮り撮影された画像であると判定されてＳ２０８に進んだ場合、画像評価部１１９は、先ず、その撮影対象画像を、縦横方向で共に例えば７分割した７×７のブロックに分割する。

図８（ａ）〜図８（ｄ）には、流し撮り状態で撮影された選抜対象画像であると判定された各画像８０１〜８０４の一例を示している。なお、図８（ａ）の画像８０１は、前述の画像７０１のように背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。図８（ｂ）の画像８０２は、前述の画像７０２のように主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。図８（ｃ）の画像８０３は、前述の画像７０３のように背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなっている被写体ぶれ画像であるとする。図８（ｄ）の画像８０４は、前述の画像７０４のように主被写体領域と背景領域のぶれが共に非常に少ない高コントラスト画像であるとする。これら図８（ａ）〜図８（ｄ）の各画像８０１〜８０４のうち、流し撮りされた画像において良好な画質とされる画像は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像（画像８０２）であると考えられる。

画像評価部１１９は、これら各画像８０１〜８０４を、それぞれ複数のブロック８１０に分割し、各ブロック８１０の画像領域からそれぞれ前述同様のエッジ信号を取得する。そして、画像評価部１１９は、各画像８０１〜８０４の各ブロック８１０を、例えば画像の中心領域８２０の複数ブロック（この例では縦×横が４×３のブロック）と、それら中心領域８２０を除く周辺領域８３０の複数ブロックとに分ける。本実施形態の場合、中心領域８２０を第１の評価領域とし、周辺領域８３０を第２の評価領域としており、画像評価部１１９は、中心領域８２０と周辺領域８３０とで、後述するようにそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。

なお、図８（ａ）〜図８（ｄ）の例では中心領域８２０を第１の評価領域としたが、選抜対象画像の評価パラメータに基づいて、第１の評価領域が決定されてもよい。一例として、画像評価部１１９は、評価パラメータに含まれている被写体情報に基づいて、選抜対象画像の中の主被写体領域を特定し、その主被写体領域の画像領域を第１の評価領域とし、それ以外を第２の評価領域としてもよい。また、例えばオートフォーカス制御による合焦位置の主被写体領域が第１の評価領域となされ、それ以外が第２の評価領域となされてもよい。また、各被写体領域の距離情報や、画像を撮影した際の被写界深度情報を基に、第１の評価領域と第２の評価領域の領域分けが行われてもよい。その他にも、例えば画像内の顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔等の顔の表情から前述のように算出した画像評価値に基づいて、第１の評価領域と第２の評価領域の領域分けが行われてもよい。この例の場合、顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔度等に基づく画像評価値を、画像内の被写体領域毎に求めるようにする。そして、それら各被写体領域の中で、例えば画像評価値が最も高い被写体領域を第１の評価領域とし、それ以外を第２の評価領域とする。

また、画像評価部１１９は、前述した第１の評価領域と第２の評価領域に対して、それぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行うために、それら第１の評価領域と第２の評価領域についてそれぞれコントラスト値を算出する。具体的には、画像評価部１１９は、第１の評価領域について前述したような各ブロックのエッジ信号の合計値から平均値を求め、その平均値（エッジ強度）を第１の評価領域のコントラスト値とする。同様に、画像評価部１１９は、第２の評価領域について各ブロックのエッジ信号の合計値から平均値を求め、その平均値（エッジ強度）を第２の評価領域のコントラスト値とする。そして、画像評価部１１９は、第１の評価領域については、その領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となるような第１の評価値（以下、第１のぶれ度合い評価値とする。）を設定する。一方、画像評価部１１９は、第２の評価領域については、その領域のコントラスト値が低くぶれ度合いが大きいほど、高評価値となるような第２の評価値（以下、第２のぶれ度合い評価値とする。）を設定する。

図９は、第１の評価領域についてぶれ度合い評価を行う際の評価基準としての第１のぶれ度合い評価特性９００と、第１の評価領域９２１〜９２４とを示す図である。図９の第１のぶれ度合い評価特性９００は、第１の評価領域のコントラスト値と、第１の評価領域に対する第１のぶれ度合い評価値Ｗ５との対応関係を表している。第１のぶれ度合い評価特性９００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第１のぶれ度合い評価特性９００は、前述の図７に示したぶれ度合い評価特性７００と同様の特性である。すなわち、第１のぶれ度合い評価特性９００は、第１の評価領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となる第１のぶれ度合い評価値Ｗ５を設定するような特性となされている。

また、図９に例示した第１の評価領域９２１は、前述の図８（ａ）に示した全体ぶれ画像である画像８０１から中心領域８２０のみを評価対象として抜き出した領域である。また、第１の評価領域９２２は、図８（ｃ）に示した被写体ぶれ画像である画像８０３から中心領域のみを評価対象として抜き出した領域である。以下同様に、第１の評価領域９２３は図８（ｂ）に示した背景ぶれ画像である画像８０２から、第１の評価領域９２４は図８（ｄ）に示した高コントラスト画像である画像８０４から中心領域を抜き出した領域である。第１の評価領域９２１は、全体ぶれ画像から抜き出された領域であるため、コントラスト値が低く、ぶれ度合いは大きい。また、第１の評価領域９２４は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。また、第１の評価領域９２２は、被写体ぶれ画像から抜き出された領域であるため、コントラスト値はやや高く、ぶれ度合いはやや小さい。これに対し、第１の評価領域９２３は、背景ぶれ画像から抜き出された中心領域（被写体領域）であり、この領域のコントラスト値は高いため、ぶれ度合いは非常に小さい。

画像評価部１１９は、これら第１の評価領域９２１〜９２４について、第１のぶれ度合い評価特性９００を用いてコントラスト値に基づくぶれ度合い評価を行う。図９の例では、第１の評価領域９２１〜９２４の各コントラスト値に対応した点９１１〜９１４の第１のぶれ度合い評価値Ｗ５が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図８（ｂ）の画像８０２から中心領域を抜き出した図９の第１の評価領域９２３は、値が例えば１０のように高い値の第１のぶれ度合い評価値Ｗ５が設定されることになる。

図１０は、第２の評価領域についてぶれ度合い評価を行う際の評価基準としての第２のぶれ度合い評価特性１０００と、第２の評価領域１０２１〜１０２４とを示す図である。第２のぶれ度合い評価特性１０００は、第２の評価領域のコントラスト値と、第２の評価領域に対する第２のぶれ度合い評価値Ｗ６との対応関係を表している。第２のぶれ度合い評価特性１０００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第２のぶれ度合い評価特性１０００は、コントラスト値が例えば０〜２０までは第２のぶれ度合い評価値Ｗ６として「１０」が対応付けられ、コントラスト値が６０以上では第２のぶれ度合い評価値Ｗ６として「３」が対応付けられた例を示している。また、第２のぶれ度合い評価特性１０００では、コントラスト値が２０〜６０では第２のぶれ度合い評価値Ｗ６として「１０」から「３」まで線形に変化する値が対応付けられている。すなわち、第２のぶれ度合い評価特性１０００は、コントラスト値が低くぶれ度合いが大きいほど、高評価値になる第２のぶれ度合い評価値を設定するような特性となされている。

また、図１０に示した第２の評価領域１０２１は、前述の図８（ａ）に示した全体ぶれ画像である画像８０１から周辺領域８３０のみを評価対象として抜き出した領域である。また、第２の評価領域１０２２は、図８（ｂ）に示した背景ぶれ画像である画像８０２から周辺領域８３０のみを評価対象として抜き出した領域である。以下同様に、第２の評価領域１０２３は図８（ｃ）に示した被写体ぶれ画像である画像８０３から、第２の評価領域１０２４は図８（ｄ）に示した高コントラスト画像である画像８０４から、周辺領域８３０を抜き出した領域である。第２の評価領域１０２１は、全体ぶれ画像から抜き出された領域であるため、コントラスト値は低く、ぶれ度合いは大きい。また、第２の評価領域１０２４は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。第２の評価領域１０２３は、被写体ぶれ画像から抜き出された周辺領域であるため、コントラスト値がやや高く、ぶれ度合いはやや小さい。これに対し、第２の評価領域１０２２は、背景ぶれ画像から抜き出された周辺領域であるため、コントラスト値が低く、ぶれ度合いは大きい。

画像評価部１１９は、これら第２の評価領域１０２１〜１０２４について、第２のぶれ度合い評価特性１０００を用いたコントラスト値に基づくぶれ度合い評価を行う。図１０の例では、第２の評価領域１０２１〜１０２４の各コントラスト値に対応した点１０１１〜１０１４の第２のぶれ度合い評価値Ｗ６が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図８（ｂ）の画像８０２から周辺領域を抜き出した図１０の第２の評価領域１０２２は、値が例えば１０に近い高い値の第２のぶれ度合い評価値Ｗ６が設定されることになる。

そして、画像評価部１１９は、流し撮り状態で撮影された選抜対象画像に対して前述のようにして求めた第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６とを用いて、最終的なぶれ度合い評価値を算出する。具体的には、画像評価部１１９は、第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６とを乗算した評価値を、流し撮り状態で撮影された選抜対象画像における最終的なぶれ度合い評価値として求める。最終的なぶれ度合い評価値は、流し撮り状態で撮影された画像の画質を評価する評価値であるため、以下の説明では「流し撮り評価値」と表記する。ここで、前述した図９の例で第１のぶれ度合い評価値Ｗ５の値が高いのは第１の評価領域９２３と第１評価領域９２４であり、図１０の例では第２のぶれ度合い評価値Ｗ６の値が高いのは第２の評価領域１０２１と第２の評価領域１０２２である。そして、第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６を乗算した流し撮り評価値が高くなるのは、図９の第１の評価領域９２３と図１０の第２の評価領域１０２２の元の画像である、前述した図８（ｂ）の画像８０２（背景ぶれ画像）となる。このため、例えば図８（ａ）〜図８（ｄ）に示した複数の画像８０１〜８０４の中から、流し撮り評価値に基づいて画像を選抜することを想定した場合、画質の良い流し撮り画像としては、画像８０２（背景ぶれ画像）が選抜されることになると考えられる。

前述の例では、第１，第２の評価領域から第１，第２のぶれ度合い評価値Ｗ５，Ｗ６を求めてそれらを乗算して流し撮り評価値を算出したが、例えば第１，第２の評価領域のコントラスト値に対して所定の閾値を設定して流し撮り評価を行うようにしてもよい。例えば、第１の評価領域のコントラスト値に対して所定の第１の閾値ＴＨ１を設定し、第２の評価領域のコントラスト値に対して所定の第２の閾値ＴＨ２を設定しておく。そして、画像評価部１１９は、第１の評価領域のコントラスト値が第１の閾値ＴＨ１以上で、第２の評価領域のコントラスト値が第２の閾値ＴＨ２未満であれば良好な流し撮り画像であると判定し、一方、それ以外である場合には流し撮り対象外の画像とする。

ここで、コントラスト値に対する閾値の設定例として、第１の閾値ＴＨ１を例えば６０とし、第２の閾値ＴＨ２を例えば３０とした場合、画像評価部１１９は、以下のようにして、選抜対象画像を流し撮り評価を行う。前述した図９の各第１の評価領域９２１〜９２４のうち第１コントラスト値が第１の閾値ＴＨ１以上となるのは、第１の評価領域９２３，９２４である。第１の評価領域９２３は図８（ｂ）の画像８０２の中心領域であり、第１の評価領域９２４は図８（ｄ）の画像８０４の中心領域である。また、図１０の第２の評価領域１０２１〜１０２４のうち第２コントラスト値が第２の閾値ＴＨ２未満となるのは、第２の評価領域１０２１，１０２２である。第１の評価領域１０２１は図８（ａ）の画像８０１の周辺領域であり、第２の評価領域１０２２は図８（ｂ）の画像８０２の周辺領域である。したがって、画像評価部１１９は、第１の評価領域９２３および第２の評価領域１０２２の元画像である図８（ｂ）の画像８０２を、良好な流し撮り画像と判定する。一方、画像評価部１１９は、図８（ｂ）の画像８０２を除いた、図８（ａ），図８（ｃ），図８（ｄ）の各画像８０１，８０３，８０４を流し撮り対象外の画像とする。

なお、画像評価部１１９は、第１の閾値ＴＨ１、第２の閾値ＴＨ２を、前述した評価パラメータに応じて変更することも可能である。具体的には、画像評価部１１９は、評価パラメータとして被写体領域の位置情報およびサイズ情報を用い、それら位置情報およびサイズ情報と第１の評価領域の範囲との比較に基づき、第１，第２の閾値ＴＨ１，ＴＨ２を変更する。例えば、図１１（ａ）のように、画像１１０１内の被写体領域（例えば顔）が第１の評価領域１１１１（中心領域）の範囲内に略々収まる場合には、例えば第１の閾値ＴＨ１は１００、第２の閾値ＴＨ２は３０に設定されているとする。これに対し、図１１（ｂ）のように、画像１１０２内の被写体領域（例えば車）が第１の評価領域１１１２の範囲内からはみ出す場合、画像評価部１１９は、例えば第１の閾値ＴＨ１を８０、第２の閾値ＴＨ２を５０に変更する。より詳細に説明すると、図１１（ａ）のように被写体領域が第１の評価領域１１１１の範囲内に収まっている場合、主被写体領域は周辺領域にはみ出すことはないため、周辺領域のコントラスト値は低くなると考えられる。またこの場合、第１の評価領域１１１１のコントラスト値は、周辺領域の低いコントラスト値に対して相対的に高くなっていると考えられる。これに対し、図１１（ｂ）のように被写体領域が第１の評価領域１１１２の範囲内からはみ出す場合、主被写体領域は周辺領域にまで広がることになり、周辺領域のコントラスト値は高くなると考えられる。またこの場合、第１の評価領域１１１２のコントラスト値は、周辺領域の高くなったコントラスト値に対して図１１（ａ）の場合よりも相対的に低くなると考えられる。したがって、図１１（ｂ）に示すように、被写体領域が第１の評価領域１１１２の範囲内からはみ出す場合、画像評価部１１９は、第１の閾値ＴＨ１をより低い値である８０に設定し、第２の閾値ＴＨ２をより高い値である５０に設定する。

また、画像評価部１１９は、第１の閾値ＴＨ１、第２の閾値ＴＨ２を、例えば撮影シーンに応じて変更することも可能である。なお、撮影シーンは、例えば撮影情報のうちユーザ設定情報の撮影モード情報や、撮影時の明るさに対応した露出情報等から判定することが可能である。一例として、図１１（ｂ）のように、画像１１０２が明るい日中のシーンを撮影した画像である場合には、例えば前述のように第１の閾値ＴＨ１は８０、第２の閾値ＴＨ２は５０に設定されるとする。これに対し、図１１（ｃ）のように、画像１１０３が暗い夜景のシーンを撮影した画像である場合、画像評価部１１９は、例えば第１の閾値ＴＨ１を１８０、第２の閾値ＴＨ２を１５０の値に変更する。より詳細に説明すると、図１１（ｃ）のように暗い夜景のシーンを撮影した画像１１０３の場合、周辺領域（背景）の中に電灯やヘッドライトなどの光源の画像があると、周辺領域のコントラスト値が高くなる可能性がある。また、夜景のシーンを撮影した画像１１０３の場合、第１の評価領域１１１３内の主被写体領域（この例では車）についても、ヘッドライトなどによりコントラスト値が高くなる可能性がある。このため、選抜対象画像が図１１（ｃ）のように夜景のシーンを撮影した画像である場合、画像評価部１１９は、第１の閾値ＴＨ１と第２の閾値ＴＨ２を共に高い値（ＴＨ１を１８０、ＴＨ２を１５０）に設定する。

前述の説明では、第１，第２の評価領域のコントラスト値に対して所定の第１，第２の閾値を設定した例を挙げたが、本実施形態では、コントラスト値は前述したようにぶれ度合いを表すための値として用いられている。したがって、第１，第２の評価領域についてぶれ度合いの観点から考えた場合には、第１，第２の閾値は、第１，第２の評価領域の「ぶれ度合い」に対して設定される値と言える。ただし、前述したようにコントラスト値が高い場合にはぶれ度合いは小さく、コントラスト値が低い場合にはぶれ度合いは大きくなるため、ぶれ度合いに対する第１，第２の閾値は、コントラスト値に対する第１，第２の閾値とは逆の特性を有することになる。すなわち、この場合、画像評価部１１９は、第１の評価領域の第１のぶれ度合い評価値が第１の閾値未満で、第２の評価領域の第２のぶれ度合い評価値が第２の閾値以上であれば良好な流し撮り画像と判定し、それ以外の場合には流し撮り対象外の画像とする。

また前述の説明では、第１，第２の評価領域における「ぶれ度合い」を表すための値としてコントラスト値を用いているが、例えば第１，第２の評価領域内の画像の周波数を用いてもよい。この場合、第１，第２の評価領域内の画像の周波数が高ければぶれ度合いは小さく、一方、周波数が低ければぶれ度合いは大きくなる。この例のような第１，第２の評価領域内の画像の周波数についても、前述同様の第１，第２の閾値を設定することが可能である。ただし、画像の周波数を用いた場合の第１，第２の閾値は、コントラスト値用の前述した第１，第２の閾値ＴＨ１，ＴＨ２とは異なり、画像の周波数に対して別途用意された値となされる。

また、第１の評価領域は、前述した撮影情報の評価パラメータに基づいて、その形状が変更されてもよい。例えば、前述した第１の評価領域は、アペクト比が固定されているが、例えば図１２（ａ）、図１２（ｂ）に示すように、評価パラメータのうち主被写体領域の種別や形状に応じて、アスペクト比が変更されてもよい。具体的には、図１２（ａ）に示すように、画像１２０１内の主被写体領域が人物のような縦長の被写体領域である場合、画像評価部１１９は、第１の評価領域１２１１を縦長のアスペクト比に設定する。また例えば、図１２（ｂ）に示すように、画像１２０２内の主被写体領域が車のような横長の被写体領域である場合、画像評価部１１９は、第１の評価領域１２１２を横長のアスペクト比に設定する。なお、第１の評価領域の形状は、四角形状に限定されず、例えば主被写体領域の種別や形状に応じた形状になされてもよい。その他にも、第１の評価領域の形状は、カメラから主被写体までの距離変動に応じて変更されてもよい。このように、主被写体の種別や形状にあわせて第１の評価領域の形状を変更した場合、流し撮り判定の精度を高めることが可能になる。

図２のフローチャートに説明を戻す。Ｓ２０８において、画像評価部１１９は、前述したようにして流し撮り画像用のぶれ度合い評価値（流し撮り評価値）を算出した後、Ｓ２０９に処理を進める。本実施形態のデジタルカメラは、前述したように静止画だけでなく動画にも対応しているため、Ｓ２０９において、画像評価部１１９は、再生期間設定部１１８を介して前述した再生期間内の動画データと撮影情報を取得する。撮影情報として、画像評価部１１９は、前述した撮影情報の中の顔情報や動きベクトル情報等を取得する。Ｓ２０９の後、画像評価部１１９は、Ｓ２１０に処理を進める。

Ｓ２１０では、画像評価部１１９は、動画の中の顔領域について位置の変動累積として、顔領域の動きベクトル累積量を求め、その動きベクトル累積量に基づいて動き評価値を算出する。具体的には、画像評価部１１９は、図１３（ａ）〜図１３（ｄ）に示すように、動画の各フレーム画像１３０１〜１３０４内の顔等の被写体領域１３１１〜１３１４の位置変動累積として、各被写体領域１３１１〜１３１４の動きベクトル累積量を求める。そして、図１３（ｅ）に示す動き評価特性１３２０を用いて動き評価値Ｗ７を求める。

ここで、図１３（ｅ）の動き評価特性１３２０は、動きベクトル累積量と、動き評価値Ｗ７との対応関係を表している。動き評価特性１３２０は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。動き評価特性１３２０は、動きベクトル累積量が例えば０〜ＭＶ１までは動き評価値Ｗ７として例えば「３」が対応付けられ、動きベクトル累積量が例えばＭＶ２以上では動き評価値Ｗ７として例えば「１０」が対応付けられた例を示している。また、動き評価特性１３２０では、動きベクトル累積量がＭＶ１〜ＭＶ２では動き評価値Ｗ７として「３」から「１０」まで線形に変化する値が対応付けられている。すなわち、動き評価特性１３２０は、動きベクトル累積量が大きければ、高評価値となるような動き評価値Ｗ７を設定するような特性となされている。画像評価部１１９は、この図１３（ｅ）に示す動き評価特性１３２０を用いて、図１３（ａ）〜図１３（ｄ）に示したような動画の各フレーム画像１３０１〜１３０４から求めた動きベクトル累積量に対応した動き評価値Ｗ７を求める。Ｓ２１０の後、画像評価部１１９は、Ｓ２１１に処理を進める。

Ｓ２１１では、画像評価部１１９は、前述したようにして、再生期間内の各選抜対象画像についてそれぞれ求められた画像評価値、最終的なぶれ度合い評価値（流し撮り評価値）、動き評価値等を足し合わせて、総合評価値を算出する。そして、画像評価部１１９は、再生期間内の各選抜対象画像を、総合評価値の高い順にソートする。Ｓ２１１の後、制御部１０２は、画像分類部１２０にて行われるＳ２１２に処理を移行させる。

Ｓ２１２では、画像分類部１２０は、再生期間の撮影総時間を算出する。具体的には、画像分類部１２０は、再生期間の各選抜対象画像の中で撮影日時が最も古い画像と、撮影日時が最も新しい画像との間の、撮影日時の時間差を撮影総時間として算出する。例えば、最も古い撮影時刻が８時、最も新しい撮影時刻が２０時であった場合、画像分類部１２０は、８時から２０時までの１２時間を撮影総時間として算出する。Ｓ２１２の後、画像分類部１２０は、Ｓ２１３に処理を進める。

Ｓ２１３では、画像分類部１２０は、Ｓ２１２で算出した撮影総時間が１日以下である場合には、１時間を一つのイベントの区切りとする。そして、画像分類部１２０は、撮影総時間内で時系列的に並んでいる各選抜対象画像の中で、それぞれ撮影時刻が近い１時間分の各画像を同一イベントに分類し、それら同一に分類されたイベント毎にクラスタを生成する。これにより、例えば８時から２０時までの１２時間の撮影総時間の場合には、最大で１２個のクラスタが生成されることになる。そして、画像分類部１２０は、総クラスタ数が決定したならば、その総クラスタ数に応じて、各クラスタに選抜対象画像を振り分けるようにクラスタリング処理する。なお、撮影総時間が例えば一週間など長い期間であり、多数の選抜対象画像が存在するような場合には、例えば所定の数時間や一日などをイベントの区切りにしてもよい。

図１４（ａ）と図１４（ｂ）は、例えば２月から３月の間に撮影された各記録画像に対して再生期間が設定され、その再生期間の各選抜対象画像に対して行われるクラスタリング処理の一例を示している。図１４（ａ）は、２月から３月の間において撮影されて記録された日毎の記録画像数１４００を示しており、一例として、２月２４日（２／２４）には６０シーン分の記録画像が存在していることを表している。そして、図１４（ａ）では、再生期間として、２月２４日の１日が設定されているとする。図１４（ｂ）は、再生期間として設定された２月２４日の１日において、時系列的に並んでいる各選抜対象画像の中で撮影時刻が近く同一イベントに分類された画像により生成されている各クラスタ１４０１内のシーン数の一例を示している。図１４（ｂ）では、再生期間の撮影総時間の中で、最も古い撮影時刻が６時（６：００）で、最も新しい撮影時刻が２０時（２０：００）となっている例を挙げている。図１４（ｂ）において、一例として、９時のクラスタ１４０１の「４」は９時から１時間のイベント内に４シーンの画像が存在することを表している。Ｓ２１３の後、画像分類部１２０は、Ｓ２１４に処理を進める。

Ｓ２１４では、画像分類部１２０は、操作部１０１を介してユーザが設定した目標再生時間の情報を、制御部１０２から取得する。そして、画像分類部１２０は、次のＳ２１５の処理として、目標再生時間から総選抜枚数を決定する。一例として、ダイジェスト再生が行われる際の静止画１枚当たりの再生時間が４秒に設定されたような場合、画像分類部１２０は、目標再生時間を４秒で割ることにより総選抜枚数を算出する。Ｓ２１５の後、画像分類部１２０は、Ｓ２１６に処理を進める。

Ｓ２１６では、画像分類部１２０は、得られた総選抜枚数を用いて、各クラスタを正規化する。なお、正規化を行う際に、例えばクラスタ内のシーン数が少ないと、正規化によりシーン数がゼロ（０）となってしまう場合があるため、正規化により小数点以下の値が得られる場合には、その小数点以下の値を切り上げ処理する。図１４（ｃ）は、図１４（ｂ）に示した各クラスタ１４０１に対する正規化後の各クラスタ１４０２のシーン数の一例を示している。Ｓ２１６の後、制御部１０２は、画像選抜部１２１にて行われるＳ２１７に処理を移行させる。

Ｓ２１７では、画像選抜部１２１は、前述した選抜対象画像の中から、各正規化後のクラスタにおいて選抜可能な数だけ、前述した総合評価値が上位の順に画像を選抜し、それら各選抜画像をダイジェスト再生用の画像とする。ここで、選抜対象画像が流し撮り撮影された画像である場合を例に挙げると、画質の良い流し撮り画像は前述したように流し撮り評価値が高評価値になるため、総合評価値も高い値になっていると考えられる。このため、画像選抜部１２１は、流し撮り撮影された複数の選抜対象画像の中から、総合評価値の高い順に画像を選抜することにより、画質の良い流し撮り画像を選抜することが可能になる。なお、ここでは、総合評価値を基に画像選抜を行ったが、例えば様々なシーンの画像が選抜されるようにするために、総合評価値ではなく、前述した画像評価値や動き評価値、流し撮り評価値等のそれぞれの評価値に基づいて画像を選抜するようにしてもよい。Ｓ２１７の後、画像選抜部１２１は、Ｓ２１８に処理を進める。

Ｓ２１８では、画像選抜部１２１は、Ｓ２１７で選抜した各画像を、時系列順に並べ替える。そして、画像選抜部１２１は、次のＳ２１９の処理として、それら時系列順に並べ替えた各画像を、ダイジェスト再生としてスライドショー再生する際の一つの動画として結合する。その後、画像選抜部１２１は、Ｓ２２０の処理として、Ｓ２１９で結合された動画を、スライドショー再生する。なお、スライドショー再生は、後に画像の印刷が行われる場合には、印刷前のプレビュー表示のために行ってもよい。Ｓ２２０によるスライドショー再生が終了すると、制御部１０２は、表示部１０７を介して表示デバイスの画面上に、保存指示入力用のメニュー画面を表示させる。そして、操作部１０１を介してユーザから保存指示が入力された場合、制御部１０２は、スライドショー再生用としての動画を記録媒体に保存させる。

なお、本実施形態のデジタルカメラは、前述したようなダイジェスト再生用に選抜された各画像に対し、タイトル処理や色フィルタ処理などの加工処理を行って表示することも可能である。タイトル処理は、一例として、ダイジェスト再生用に選抜された各画像の例えば色に応じた背景色のタイトル画像や、その背景色に対する補色関係を有するタイトル文字等を生成して、ダイジェスト再生される画像に付加する処理等を挙げることができる。なお、タイトル画像だけでなく、エンディング画像の背景色や文字色等を決めてもよい。前述した色フィルタ処理には、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工が含まれる。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、前述したように選抜された各画像の色に基づいて、それら各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、各画像の色に基づき、青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、各画像の色に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 操作部、１０２ 制御部、１０３ センサ部、１０５ 画像処理部、１０６ ジャイロセンサ、１０７ 表示部、１１２ エンコーダ部、１１３ 画像記録部、１１５ 被写体検出部、１１６ 表情検出部、１１７ 撮影情報作成部、１１８ 再生期間設定部、１１９ 画像評価部、１２０ 画像分類部、１２１ 画像選抜部

Claims (17)

1. 撮影により得られた画像の一部の画像領域を第１の評価領域とし、前記第１の評価領域のぶれ度合いと、前記第１の評価領域を除く第２の評価領域のぶれ度合いとを算出する算出手段と、
   前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像を評価する際の評価値を設定する設定手段と、
   撮影により得られた複数の画像の中から、前記評価値に基づいて、一定の画質基準を満たす流し撮り画像を選抜する選抜手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記第１の評価領域のぶれ度合いが小さいほど高評価値となる第１の評価値と、前記２の評価領域のぶれ度合いが大きいほど高評価値となる第２の評価値とを求め、前記第１および第２の評価値に基づいて前記画像を評価する際の前記評価値を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記第１の評価領域のぶれ度合いが所定の第１の閾値未満のぶれ度合いであり、前記第２の評価領域のぶれ度合いが前記第１の閾値より大きい所定の第２の閾値以上のぶれ度合いである場合、前記画像を評価する際の前記評価値を高評価値に設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、
   前記画像の主被写体領域が、予め決められたサイズの第１の評価領域の範囲内に収まる場合には、前記所定の第１および第２の閾値を用い、
   前記画像の主被写体領域が、予め決められたサイズの第１の評価領域の範囲内に収まらない場合には、前記第１の閾値を、前記画像の主被写体領域が予め決められたサイズの第１の評価領域の範囲内に収まる場合よりも低い閾値に変更し、前記第２の閾値を、前記画像の主被写体領域が予め決められたサイズの第１の評価領域の範囲内に収まる場合よりも高い閾値に変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、前記画像が撮影された際の撮影シーンの情報に基づいて、前記第１の閾値と前記第２の閾値を設定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記設定手段は、前記画像が撮影された撮影シーンが暗い夜景のシーンである場合、第１の閾値および第２の閾値を、前記撮影シーンが明るい日中のシーンである場合の第１の閾値および第２の閾値より高く設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記算出手段は、撮影により得られた画像が、移動している主被写体の移動方向と移動速度にカメラを追従させる撮影方法にて撮影された画像である場合に、前記第１および第２の評価領域のぶれ度合いを算出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記算出手段は、前記画像が撮影された際にジャイロセンサにて検出されたジャイロ情報に基づいて、前記撮影方法にて撮影された画像か否かを判定し、前記撮影方法にて撮影されたと判定した画像から前記第１および第２の評価領域のぶれ度合いを算出することを特徴とする請求項７に記載の画像処理装置。
9. 前記算出手段は、前記画像の動きベクトルに基づいて、前記撮影方法にて撮影された画像か否かを判定し、前記撮影方法にて撮影されたと判定した画像から前記第１および第２の評価領域のぶれ度合いを算出することを特徴とする請求項７に記載の画像処理装置。
10. 前記算出手段は、前記画像の中心領域を前記一部の画像領域として設定し、前記設定した一部の画像領域を前記第１の評価領域とすることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記算出手段は、前記画像の特性を表すパラメータに基づいて前記一部の画像領域を設定し、前記設定した一部の画像領域を前記第１の評価領域とすることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
12. 前記算出手段は、
    前記画像の特性を表すパラメータとして前記画像の主被写体領域の種別を示す情報を取得し、
    前記主被写体領域の種別に応じて、前記第１の評価領域の形状と大きさの少なくとも何れかを決めることを特徴とする請求項１１に記載の画像処理装置。
13. 前記算出手段は、前記第１の評価領域のコントラスト値に基づいて前記第１の評価領域のぶれ度合いを求め、前記第２の評価領域のコントラスト値に基づいて前記第２の評価領域のぶれ度合いを求めることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記算出手段は、前記第１の評価領域の画像の周波数に基づいて前記第１の評価領域のぶれ度合いを求め、前記第２の評価領域の画像の周波数に基づいて前記第２の評価領域のぶれ度合いを求めることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
15. 前記選抜手段により前記選抜された複数の画像を用いてスライドショー再生用の動画を生成する生成手段を有することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 算出手段が、撮影により得られた画像の一部の画像領域を第１の評価領域とし、前記第１の評価領域のぶれ度合いと、前記第１の評価領域を除く第２の評価領域のぶれ度合いとを算出するステップと、
    設定手段が、前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像を評価する際の評価値を設定するステップと、
    選抜手段が、撮影により得られた複数の画像の中から、前記評価値に基づいて、一定の画質基準を満たす流し撮り画像を選抜するステップと、
    を含むことを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images