JP2017112543A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像に基づいた適切な画像処理を行えるようにすることを課題とする。【解決手段】第１画像から代表色を決定し、代表色を用いて第１画像を加工した第２画像を出力する画像処理装置であり、テロップ色選抜部（１１８）は、予め設定された複数の分類色について、各分類色が第１画像内に占める面積比率に応じて第１評価値を算出する。そしてテロップ色選抜部（１１８）は、第１評価値が所定値以上である分類色との色相差に応じた係数により第１評価値に重み付けを行って第２評価値を算出し、その第２評価値に基づいて、複数の分類色のうちから代表色を決定し、その代表色を用いて第１画像を加工して第２画像を生成する。【選択図】図１

Description

本発明は、静止画や動画の画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

例えば、多数の静止画や動画が撮影された場合、ユーザが、それら全てを閲覧するのには非常に長い時間が必要になる。このため、例えば重要なシーンだけを抽出して、ダイジェストとして再生する技術が従来から提案されている（特許文献１）。このダイジェスト再生技術では、例えばサッカーの試合などの動画において、観客の盛り上がりを音声の大小で判別し、音声が所定のパワーを越えるシーンをダイジェストとして抜粋する。

特開２００７−２６７３５１号公報

ところで、ダイジェスト再生の際には、動画や静止画の中からダイジェスト用に選抜された画像に対し、例えばタイトル用の文字等を入れたいわゆるテロップを合成するような様々な画像処理が行われることがある。テロップを合成する画像処理では、一例として、テロップの背景や文字等の色を、予め決めた色やユーザにより設定された色に決めるような処理が行われる。しかしながら、これらの画像処理は、予め決められた処理やユーザにより設定される処理であるため、ダイジェスト用に選抜されて表示される画像に基づいた適切な画像処理とは言い難い場合が多い。

本発明はこのような問題点に鑑みてなされたものであり、画像に基づいた適切な画像処理を行える画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明は、第１画像から代表色を決定し、前記代表色を用いて前記第１画像を加工した第２画像を出力する画像処理装置であって、予め設定された複数の分類色について、各分類色が第１画像内で占める面積比率に応じた第１評価値を算出する第１算出手段と、前記第１評価値が所定値以上である分類色との色相差に応じた係数を用いて前記第１評価値に重み付けを行って第２評価値を算出する第２算出手段と、前記第２評価値に基づいて、前記複数の分類色のうちから代表色を決定する決定手段と、前記代表色を用いて前記第１画像を加工して前記第２画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、画像に基づいた適切な画像処理が可能となる。

実施形態のディジタルカメラの概略構成を示す図である。 動画のダイジェスト再生例の概略説明に用いる図である。 本実施形態の画像処理の流れを示すフローチャートである。 画像選抜の際の画像評価値の説明に用いる図である。 本実施形態における色分類の説明に用いる図である。 タイトル色の選抜例の説明に用いる図である。 色分類された画像例と色面積及び色相差の説明に用いる図である。 色相差と色相重みの説明に用いる図である。 分類色と色相重みの説明に用いる図である。 各色の面積と面積比率及び面積重みの説明に用いる図である。 分類色と面積重みの説明に用いる図である。 総合評価値の説明に用いる図である。 目立つ色によるタイトル色の選抜例の説明に用いる図である。 総合評価値に基づく優先的な画像選抜の説明に用いる図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一例であるディジタルカメラの概略構成を示す図である。先ず、図１のディジタルカメラの構成について説明する。
図１において、操作部１０１は、ディジタルカメラの電源スイッチや、操作者（以下、ユーザと表記する。）がディジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部１０１としては、例えばシャッタースイッチや再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部１０７により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号と、いわゆる全押しに対応した全押し信号を出力可能なスイッチとなされている。制御部１０２は、ディジタルカメラの各部の動作を制御するものであり、例えば操作部１０１からの指示に応じて各部を制御する。

レンズ１０８ａは、センサ部１０３の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構１０９ａは、メカニカルシャッターや絞りを有して構成されている。センサ部１０３は、制御部１０２による制御の下、レンズ１０８ａ、メカ機構１０９ａを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部１０３の前面には例えばＲＧＢの各色のフィルタがベイヤー配列されたカラーフィルタが設けられている。したがって、センサ部１０３からは、ＲＧＢの各色に対応したアナログ画像信号が出力される。Ａ／Ｄ変換部１０４は、制御部１０２による制御の下、センサ部１０３から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。Ａ／Ｄ変換部１０４から出力されたディジタル画像信号は、画像処理部１０５に送られる。

画像処理部１０５は、制御部１０２による制御の下、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、その画像処理済みのディジタル画像信号を出力する。例えば、画像処理部１０５は、Ａ／Ｄ変換部１０４から供給されたＲＧＢのディジタル画像信号を、ＹＵＶのディジタル画像信号に変換して出力する。画像処理部１０５での画像処理により得られたディジタル画像信号は、被写体検出部１１５、色分類部１１６、エンコーダ部１１２に送られる。また、画像処理部１０５から出力されたディジタル画像信号は、制御部１０２を介して、ＡＦ処理部１０８、ＡＥ処理部１０９、ＥＦ処理部１１０にも送られる。

ＡＦ処理部１０８は、制御部１０２を介して供給された画像信号を基に、レンズ１０８ａを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。ＡＥ処理部１０９は、制御部１０２を介して供給された画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構１０９ａのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。ＥＦ処理部１１０は、制御部１０２から撮影の際にフラッシュ発光を行うように命令を受けている場合、制御部１０２を介して供給された画像信号の明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部１１１を発光させる。

被写体検出部１１５は、制御部１０２による制御の下、画像処理部１０５より供給された画像信号から、撮影された被写体に対応した画像領域（以下、被写体領域と表記する。）を検出し、その被写体領域の情報を出力する。被写体検出部１１５が検出する被写体領域は、撮影画像内の人物、空、雲、草原、花、車など様々な被写体にそれぞれ対応した画像領域であり、例えば人物の顔などの領域も被写体領域として検出される。被写体検出部１１５は、被写体領域の情報として、撮影画像内における被写体領域の位置情報を出力する。被写体検出部１１５から出力された被写体領域の位置情報は、色分類部１１６に送られる。

色分類部１１６は、制御部１０２による制御の下、画像処理部１０５から供給された画像信号を色相、彩度、輝度の各情報に変換する。そして、色分類部１１６は、被写体検出部１１５で検出された被写体領域の位置情報と、画像撮影の際に制御部１０２が取得した撮影情報とを考慮した上で、画像の色分類を行う。なお、この色分類の際に用いられる撮影情報としては、例えばオートフォーカス制御の際の合焦情報、自動露出補正制御の際の露出情報、ズームレンズのズーム倍率を示すズーム情報などが挙げられる。これら撮影情報と被写体領域の位置情報を用いることで、色分類部１１６は、画像内の被写体領域の色分類、画像の露出に応じた色分類、撮影の際のズーム倍率に応じた色分類が可能である。詳細については後述するが、色分類部１１６により求められた分類色の情報は、テロップ色選抜部１１８においてテロップ色を決める際に用いられる。色分類部１１６は、画像信号の色分類処理により得られた分類色情報を、エンコーダ部１１２に送る。

エンコーダ部１１２は、画像処理部１０５から供給されたディジタル画像信号のフォーマットを、ＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力するものである。以下、エンコーダ部１１２によりフォーマット変換された後のディジタル画像信号を画像データと表記する。また、エンコーダ部１１２は、前述した色分類部１１６からの分類色情報を、フォーマット変換後の画像データに対応付けて、画像記録部１１３に出力する。

画像記録部１１３は、制御部１０２による制御の下、エンコーダ部１１２によるフォーマット変換済みの画像データとそれに対応した分類色情報とを、不図示の記録媒体に記録する。不図示の記録媒体は、ディジタルカメラ内の内部メモリや、ディジタルカメラに挿入されている外部メモリ（メモリカード）等である。本実施形態においては、画像記録部１１３によりメモリカード等に記録された画像データが、ディジタルカメラにより撮影されて記録された静止画や動画の画像データとなる。以下の説明では、メモリカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。

画像選抜部１１７は、選抜手段の一例である。画像選抜部１１７は、後述するダイジェスト再生が行われる際に、制御部１０２による制御の下、記録画像の画像データから後述する画像評価値を求める。具体的には、画像選抜部１１７は、後述するダイジェスト再生が行われる際、ダイジェスト用の画像を選抜する際の対象画像群の範囲を示す情報を制御部１０２から受け、それら対象画像群の範囲内の各画像データを記録画像の中から取得する。画像選抜部１１７は、それら対象画像群の範囲内の各画像データからそれぞれ後述する各画像評価値を求め、それら各画像評価値に基づいてダイジェスト用の画像を選抜する。詳細については後述するが、画像選抜部１１７によりダイジェスト用として選抜される画像は、例えばタイトル、オープニング、本編、エンディングなどに使用される。本実施形態において、これら選抜画像のうち、後述するテロップ画像の合成がなされる画像や、後述するフィルタ処理等の加工処理がなされる画像が、第１画像の一例である。制御部１０２によるダイジェスト用の画像選抜の際の対象画像群の範囲設定処理と、画像選抜部１１７における画像評価値の詳細及び画像評価値に基づくダイジェスト用の画像の選抜処理の詳細は後述する。そして、画像選抜部１１７は、ダイジェスト用に選抜した画像データとそれに対応した分類色情報とを、画像記録部１１３のメモリカード等から取得して、テロップ色選抜部１１８に出力する。

テロップ色選抜部１１８は、第１算出手段、第２算出手段、及び決定手段の一例である。テロップ色選抜部１１８は、後述するダイジェスト再生が行われる際に、制御部１０２による制御の下、画像選抜部１１７から送られてきたダイジェスト用の各選抜画像の分類色情報を基に、各選抜画像に対してテロップとして合成される画像の色を決定する。以下の説明では、ダイジェスト用の選抜画像に対してテロップとして合成される画像を「テロップ画像」と表記する。テロップ画像の色は、例えば背景色や文字色であり、以下の説明において、テロップ画像の背景色や文字色を区別しない場合にはそれらをまとめて「テロップ色」と表記する。詳細については後述するが、テロップ色選抜部１１８によりテロップ色が決められたテロップ画像は、後述するダイジェスト再生の際に、例えばタイトル用、オープニング用、本編用、エンディング用の画像に対して必要に応じて合成される画像である。テロップ色選抜部１１８におけるテロップ色の決定処理等の詳細は後述する。テロップ色選抜部１１８は、画像選抜部１１７から送られてきたダイジェスト用の各選抜画像の画像データと、決定したテロップ色の情報とを、表示部１０７に出力する。

表示部１０７は、生成手段の一例である。表示部１０７は、後述するダイジェスト再生が行われる場合、制御部１０２による制御の下、ダイジェスト用の選抜画像に対し必要に応じてテロップ画像を合成し、そのテロップ画像が合成された選抜画像を、液晶等の表示デバイスの画面上に表示させる。本実施形態において、テロップ画像が合成された選抜画像は、第２画像の一例である。ダイジェスト再生の際に、画面上に表示される各画像等の詳細については後述する。なお、外部接続部１１４を介して外部モニタ等が接続された場合、表示部１０７は、表示デバイスへの表示信号を、外部接続部１１４を介して外部モニタ等に出力し、外部モニタの画面上に表示させることも可能となされている。

以下、図１に示した本実施形態のディジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像のダイジェスト再生が行われる場合の動作について説明する。
先ず、本実施形態のディジタルカメラにおいて、画像撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のディジタルカメラのユーザが、操作部１０１の電源スイッチをオンにすると、制御部１０２は、これを検知し、ディジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部１０２は、ＡＥ処理部１０９を介して、前述のメカ機構１０９ａのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部１０３の撮像面には、レンズ１０８ａ、メカ機構１０９ｂを介して光が入射することになる。そして、制御部１０２による制御の下、センサ部１０３からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がＡ／Ｄ変換部１０４に送られる。このときのＡ／Ｄ変換部１０４は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４からのディジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのディジタル画像信号を出力する。また、制御部１０２は、画像処理部１０５からのディジタル画像信号をＡＥ処理部１０９に送り、これによりＡＥ処理部１０９では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部１０３〜画像処理部１０５を介した画像信号がＡＥ処理部１０９にフィードバックされることで、適正露出への収束制御が実現される。

ここで、操作部１０１のシャッタースイッチから例えば半押し信号が出力されると、制御部１０２は、その時点でセンサ部１０３〜画像処理部１０５を介した画像信号を、ＡＦ処理部１０８とＡＥ処理部１０９に送る。これにより、ＡＦ処理部１０８ではオートフォーカス制御が行われて被写体にピントが合わされ、また、ＡＥ処理部１０９では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のディジタルカメラにおいて、画像撮影の際にフラッシュ発光を行う設定になされている場合、制御部１０２は、画像処理部１０５からの画像信号をＥＦ処理部１１０にも送る。この場合のＥＦ処理部１１０は、画像信号から輝度値を検出し、その輝度値が所定の閾値よりも暗い場合には、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部１１１の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部１０２は、その時点でのセンサ部１０３で撮像されてＡ／Ｄ変換部１０４から画像処理部１０５を介した画像信号を、エンコーダ部１１２と被写体検出部１１５に取り込ませる。このときの被写体検出部１１５は、前述したように、画像信号から被写体領域を検出し、その被写体領域の情報を色分類部１１６に送り、色分類部１１６は、前述したように、画像信号の色分類処理を行う。エンコーダ部１１２は、前述したように、フォーマット変換を行った後の画像データと分類色情報を画像記録部１１３に送り、画像記録部１１３はそれら画像データと分類色情報をメモリカード等に記録する。なお、シャッタースイッチの全押しで撮影される画像は、静止画だけでなく、動画であってもよく、この場合、例えばシャッタースイッチが全押しされている間、動画の撮影が行われる。また、動画の撮影は、シャッタースイッチとは別に設けられた、動画撮影用のボタンの押下操作に応じて行われてもよい。これにより、画像記録部１１３のメモリカード等には、静止画の画像データと分類色情報や動画の各フレーム画像データと分類色情報とが記録される。

次に、本実施形態のディジタルカメラにおいて、記録画像のダイジェスト再生が行われる場合の動作について説明する。
本実施形態のディジタルカメラは、メモリカード等の記録画像の中からダイジェスト用の画像を選抜してそれらを表示するダイジェスト再生機能を備えている。ダイジェスト再生機能は、例えば、ディジタルカメラのユーザにより操作部１０１のメニューボタンが操作されて、ダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されたときに起動する。ダイジェスト再生機能が起動した場合、本実施形態のディジタルカメラは、メモリカード等の記録画像から、ユーザ又はカメラが設定した対象画像群の範囲内の各画像を取得し、それら対象画像群の各画像からそれぞれダイジェスト用の画像を選抜する。具体的には、ディジタルカメラは、それらダイジェスト用に選抜した画像を用いて、例えば図２に示すように、タイトル表示２０１、オープニング表示２０２、本編表示２０３、エンディング表示２０４のようなストーリー立てした順序による再生表示を行う。

具体的には、タイトル表示２０１では、対象画像群の範囲の各画像の中から、タイトル用として選抜された画像（タイトル画像２１１）が表示される。タイトル画像２１１は、対象画像群の範囲内の各画像の中から、後述する画像評価値に基づいて選抜された画像である。また、本実施形態において、タイトル画像２１１には、その画像の分類色情報に基づいて後述するようにテロップ色が決定されたテロップ画像が合成される。タイトル画像の選抜とテロップ色の決定等の詳細は後述する。

オープニング表示２０２では、対象画像群の範囲の各画像の中から、オープニング用として選抜された画像（オープニング画像２２１〜２２３）が表示される。オープニング画像２２１〜２２３は、対象画像群の範囲の各画像の中から、後述する画像評価値と顔認証に基づいて選抜された画像である。顔認証による画像の選抜の際には、認証されたそれぞれ異なる人物の画像が選抜され、更にそれら異なる人物の画像の中から人物一人につき一つの画像が選抜される。図２では、オープニング表示２０２の際に、異なる三人の人物の画像がオープニング画像２２１〜２２３として選抜された例を挙げている。また、オープニング画像２２１〜２２３には、例えば写っている人物の名前等を表す人物名（認証名）が記入されたテロップ画像が合成される。なお、人物名は、予め各人物に対して設定されて入力されているとする。オープニング画像に合成されるテロップ画像についても、後述するようにテロップ色が決定される。オープニング画像の選抜とテロップ色の決定等の詳細は後述する。

本編表示２０３では、対象画像群の範囲の複数の画像の中から、本編用として選抜された画像（本編画像２３１〜２３７）が表示される。本編画像は、後述する画像評価値や顔認証、画像の特徴等に基づいて選抜された画像である。本編画像としては、例えばオープニング画像２２１〜２２３の各人物が写った画像２３１，２３３，２３７や、タイトル画像に用いられた画像２３５、他の画像とは異なる特徴を持つ画像２３２，２３４，２３６等が選抜される。これら本編画像２３１〜２３７は、撮影日時や撮影期間に応じた時系列順に並べられて表示される。なお、図２の本編表示２０３の例では各本編画像２３１〜２３７にテロップ画像は合成されていないが、それぞれにテロップ画像が合成されていてもよい。また、本編画像に人物名のテロップ画像を合成する場合、例えば本編表示内で既に人物名のテロップ画像を表示した人物と同じ人物画像が、その後本編画像として表示されるときには、同じ人物名のテロップ画像を表示しないようにしてもよい。なお、本編画像に合成されるテロップ画像の配置位置は予め決められた初期配置となされるが、例えば本編画像に写っている人物等にテロップ画像が被ってしまう場合には、初期配置を変更して、人物等とテロップ画像が被らないようにする。本編画像に合成されるテロップ画像についても、後述するようにテロップ色が決定される。各本編画像の選抜とテロップ色の決定等の詳細は後述する。

エンディング表示２０４では、対象画像群の範囲の各画像の中から、エンディング用として選抜された画像（エンディング画像２４１）が表示される。エンディング画像２４１は、対象画像の範囲の各画像の中から、後述する画像評価値に基づいて選抜された画像である。また、本実施形態において、エンディング表示２０４では、エンディング画像２４１の表示がなされた後に、更に、予め決められたエンディング画像２４２を表示してもよい。エンディング画像２４２については、予め決められた背景色や文字色を用いてもよいし、例えば、エンディング画像２４１に対応した分類色情報に基づく背景色や文字色が用いられてもよい。

図３には、図１に示した本実施形態のディジタルカメラが、ダイジェスト再生の際に画像選抜及びテロップ色選抜を行ってタイトル画像、オープニング画像、本編画像を生成するまでの処理の流れを示すフローチャートである。図３のフローチャートの処理は、図１の制御部１０２、画像選抜部１１７、テロップ色選抜部１１８、色分類部１１６等にて行われる処理であるが、例えばＣＰＵ等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図３の各処理のステップＳ２０１〜ステップＳ２２７を、Ｓ２０１〜Ｓ２２７と略記する。図３のフローチャートの処理は、例えばユーザにより操作部１０１のメニューボタンが操作されて、ダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されたことでスタートする。

図３のフローチャートにおいて、Ｓ２０１では、制御部１０２は、画像記録部１１３のメモリカード等に記録されている記録画像の中で、ダイジェスト用の画像を選抜する際の対象となる画像群の範囲を設定する。本実施形態では、制御部１０２は、記録画像の撮影日時を基に、所定期間内の記録画像を、ダイジェスト用の画像選抜の際の対象画像群の範囲とする。なお、操作部１０１を介してユーザにより範囲設定された記録画像を対象画像群の範囲としてもよい。Ｓ２０１の後、制御部１０２は、Ｓ２０２に処理を進める。

Ｓ２０２では、制御部１０２は、目標時間の設定を行う。例えばＳ２０１で設定されたダイジェスト用の画像選抜の対象画像群が動画である場合、制御部１０２は、その動画の中から所定の再生枚数（一例として３０枚）の画像を再生表示する際の再生時間を、目標時間に設定する。なお、所定の再生枚数は、例えば３０枚のような固定である場合の他に、例えば操作部１０１を介してユーザが設定した可変の再生枚数であってもよい。Ｓ２０２の後、ディジタルカメラの処理は、画像選抜部１１７により行われるＳ２０３の処理に移行する。

Ｓ２０３では、画像選抜部１１７は、Ｓ２０１で対象画像群となされた各画像についてそれぞれ画像評価値を算出する。具体的には、画像選抜部１１７は、対象画像群に含まれる各画像について、例えば図４（ａ）〜図４（ｃ）を用いて説明するような３種類の画像評価値の何れか一つ、若しくは２種類の画像評価値、或いはそれら３種類の全ての画像評価値を求める。

図４（ａ）は、前述した対象画像群の画像の横幅と、顔認証により検出された顔領域のサイズとの割合を算出し、その割合に基づいて画像評価値を求める例の説明図である。図４（ａ）の画像４１１は、その画像の横幅を１００％とした場合に、顔認証で検出された顔領域４２１の横幅サイズが２０％に相当する割合として算出された例を示している。一方、図４（ａ）の画像４１２は、その画像の横幅を１００％とした場合に、顔認証で検出された顔領域４２２の横幅サイズが６０％に相当する割合として算出された例を示している。また、図４（ａ）のサイズ評価値特性４０１は、画像と顔領域の横幅サイズの割合と、画像評価値との対応関係を表している。図４（ａ）のサイズ評価値特性４０１は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図４（ａ）のサイズ評価値特性４０１は、横幅サイズの割合が０％〜２０％までは画像評価値として「３」が対応付けられ、横幅サイズの割合が６０％以上では画像評価値として「１０」が対応付けられた例を示している。さらに、図４（ａ）のサイズ評価値特性４０１は、横幅サイズの割合が２０％〜６０％では画像評価値として「３」から「１０」まで線形に変化する値が対応付けられている。画像選抜部１１７は、画像４１１の横幅に対する顔領域４２１のサイズの割合を算出し、その割合に応じた画像評価値を、図４（ａ）のサイズ評価値特性４０１から求めて、画像４１１の画像評価値とする。同様に、画像選抜部１１７は、画像４１２の横幅に対する顔領域４２２のサイズの割合を算出し、その割合に応じた画像評価値を、図４（ａ）のサイズ評価値特性４０１から求めて、画像４１２の画像評価値とする。図４（ａ）の場合、画像４１１の画像評価値は、その画像４１１から算出した横幅サイズの割合である２０％に応じた値「３」となされ、一方、画像４１２の画像評価値は、その画像４１２から算出した横幅サイズの割合である６０％に応じた値「１０」となされる。すなわち、この図４（ａ）の例の場合、画像選抜部１１７は、画像４１１の顔領域４２１よりも横幅サイズが大きい顔領域４２２が写っている画像４１２の方を、高画像評価値の画像とする。

図４（ｂ）は、前述した対象画像群の画像の中心から、顔認証により検出された顔領域までの距離を算出し、その距離に基づいて画像評価値を求める例の説明図である。図４（ｂ）の画像４１３は、その画像の対角線距離の１／２を１００％とした場合に、画像中心から、顔認証で検出された顔領域４２３までの距離（例えば顔領域の中心までの距離）が５％に相当する割合として算出された例を示している。一方、図４（ｂ）の画像４１４は、その画像の対角線距離の１／２を１００％とした場合に、画像中心から、顔認証で検出された顔領域４２４までの距離が６０％に相当する割合として算出された例を示している。また、図４（ｂ）の距離評価値特性４０２は、画像の対角線距離と画像中心から顔領域までの距離との割合と、画像評価値との対応関係を表している。図４（ｂ）の距離評価値特性４０２は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図４（ｂ）の距離評価値特性４０２は、距離の割合が０％〜５％までは画像評価値として「１０」が対応付けられ、距離の割合が６０％以上では画像評価値として「３」が対応付けられた例を示している。さらに、図４（ｂ）の距離評価値特性４０２は、距離の割合が５％〜６０％では画像評価値として「１０」から「３」まで線形に変化する値が対応付けられている。画像選抜部１１７は、画像４１３の対角線距離と、その画像４１３の画像中心から顔領域４２３までの距離との割合を算出し、その割合に応じた画像評価値を、図４（ｂ）の距離評価値特性４０２から求めて、画像４１３の画像評価値とする。同様に、画像選抜部１１７は、画像４１４の対角線距離と、その画像４１４の画像中心から顔領域４２４までの距離との割合を算出し、その割合に応じた画像評価値を、図４（ｂ）の距離評価値特性４０２から求めて、画像４１４の画像評価値とする。図４（ｂ）の例の場合、画像４１３の画像評価値は、その画像４１３から算出した距離の割合である５％に応じた値「１０」となされ、一方、画像４１４の画像評価値は、その画像４１４から算出した距離の割合である６０％に応じた値「３」となされる。すなわち、この図４（ｂ）の例の場合、画像選抜部１１７は、画像４１４よりも距離の割合が少ない（画像中心から顔領域までの距離が近い）画像４１３の方を、高画像評価値の画像とする。

図４（ｃ）は、前述した対象画像群の画像から顔認証により検出した顔領域の笑顔度を算出し、その笑顔度に基づいて画像評価値を求める例の説明図である。なお、笑顔度の算出手法については公知の様々な手法を用いることができ、本実施形態ではそれら何れの手法を用いるかについて限定しない。図４（ｃ）の画像４１５は、顔認証で検出された顔領域４２５の笑顔度が０（笑顔でない場合）として算出された例を示している。一方、図４（ｃ）の画像４１６は、顔認証で検出された顔領域４２６の笑顔度が１０００（笑顔である場合）として算出された例を示している。また、図４（ｃ）の笑顔度評価値特性４０３は、顔領域の笑顔度と、画像評価値との対応関係を表している。図４（ｃ）の笑顔度評価値特性４０３は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図４（ｃ）の笑顔度評価値特性４０３は、笑顔度０には画像評価値として「０」が対応付けられ、笑顔度１０００以上では画像評価値として「１０」が対応付けられた例を示している。さらに、図４（ｃ）の笑顔度評価値特性４０３は、笑顔度０〜１０００では画像評価値として「０」から「１０」まで線形に変化する値が対応付けられている。画像選抜部１１７は、画像４１５の顔領域４２５から笑顔度を算出し、その笑顔度に応じた画像評価値を、図４（ｃ）の笑顔度評価値特性４０３から求めて、画像４１５の画像評価値とする。同様に、画像選抜部１１７は、画像４１６の顔領域４２６から笑顔度を算出し、その笑顔度に応じた画像評価値を、図４（ｃ）の笑顔度評価値特性４０３から求めて、画像４１６の画像評価値とする。図４（ｃ）の例の場合、画像４１５の画像評価値は、その画像４１５の顔領域４２５から算出した笑顔度０に応じた値「０」となされ、一方、画像４１６の画像評価値は、その画像４１６の顔領域４２６から算出した笑顔度１０００に応じた値「１０」となされる。すなわち、この図４（ｃ）の例の場合、画像選抜部１１７は、画像４１５よりも笑顔度の値が高い顔領域４２６が写っている画像４１６の方を、高画像評価値の画像とする。

なお、画像選抜部１１７は、図４（ａ）〜図４（ｃ）の例で挙げた３種類の画像評価値だけでなく、例えば、合焦情報や、ＹＵＶ画像信号のＹＵＶヒストグラム、ジャイロ変動量、ズーム情報などを含む撮影情報に基づく画像評価値を求めてもよい。そして、画像選抜部１１７は、それら各画像評価値の何れか一つ、若しくは、二つ以上の各画像評価値（全画像評価値の場合も含む）を求める。

ここで、画像評価値を求める際に用いられる合焦情報は、オートフォーカス制御により例えば人物等の被写体にピントが合ったか（合焦したか）否かを示す情報である。画像選抜部１１７は、前述した対象画像群の画像において人物等の被写体にピントが合った場合（合焦している場合）には、その画像の画像評価値を高く設定する。なお、合焦したか否かだけでなく、オートフォーカス制御の際のピントズレ量に応じて画像評価値を決定してもよく、この場合、画像選抜部１１７は、よりピントズレ量が少ない画像に対して、より高い画像評価値を設定する。また、合焦情報は、オートフォーカス制御の際に使用される複数の測距点の中の合焦位置、具体的には測距点位置を示す情報も含む。この合焦した測距点位置から、画像内で合焦した被写体の大凡の位置を決めることができ、その位置の情報から前述した図４（ｂ）に示したような距離に応じた画像評価値を求めてもよい。

ＹＵＶヒストグラムを用いて画像評価値を決める場合には、初期設定として予め大別した色分類と画像評価値とを対応付けておく。そして、画像選抜部１１７は、前述した対象画像群の画像のＹＵＶヒストグラムを基に、その画像の色情報を取得して色分類を行い、その色分類結果が初期設定された何れの色分類に対応しているかを識別し、その対応した色分類に応じた画像評価値を求める。一例として、初期設定として赤色に高い画像評価値が設定されているような場合、画像選抜部１１７は、ＹＵＶヒストグラムを基に、画像の色分類を行った結果、その画像が赤色に属すると分類されたときには、高い画像評価値を設定する。

画像評価値を求める際に用いられるジャイロ情報は、ディジタルカメラに内蔵された図示しないジャイロセンサ（角速度センサ）により検出される角速度情報から求められるジャイロ変動量を表す情報である。ジャイロセンサにて検出された角速度情報は、例えば制御部１０２に送られ、制御部１０２は、角速度情報から画像撮影がなされた際にディジタルカメラに加えられた角速度の変動量（ジャイロ変動量）を求める。このジャイロ変動量がジャイロ情報として画像選抜部１１７に送られる。ここで、ディジタルカメラによる撮影の際に、例えば手振れ等によりディジタルカメラが大きく振れた状態となっていた場合、ジャイロ変動量は大きな値となる。このようにディジタルカメラが大きく振れた状態で撮影された画像は、画質が低下しているため、ダイジェスト再生の際に表示する画像としては好ましくないと考えられる。このため、画像選抜部１１７は、ジャイロ変動量が例えば予め決めた閾値より大きい場合には、画像評価値を低くして、その画像を選抜対象の画像から除外する。なお、画像選抜部１１７は、ジャイロ変動量が少ない場合には、画像評価値を高く設定してもよい。

画像評価値を求める際に用いられるズーム情報は、レンズ１０８ａのズームレンズが操作されてズーム倍率が変えられた場合のズーム変動情報である。制御部１０２は、例えばＡＦ処理部１０８を介してレンズ１０８ａのズームレンズのズーム倍率の情報についても取得しており、そのズーム倍率の情報からズーム変動回数の情報を求めている。ここで、例えば動画が撮影された場合に、ズーム変動回数が多い動画は非常に見辛く画質も低くなっている可能性があり、このようなズーム変動回数が多い動画の画像は、ダイジェスト再生の際に表示する画像としては好ましくないと考えられる。このため、画像選抜部１１７は、制御部１０２から取得したズーム変動回数が例えば予め決めた閾値回数より大きい場合には、画像評価値を低くする。なお、画像選抜部１１７は、ズーム変動回数が少ない場合には、その画像の画像評価値を高くしてもよい。

図３のフローチャートに説明を戻す。Ｓ２０３の後、画像選抜部１１７は、Ｓ２０４に処理を進める。Ｓ２０４では、画像選抜部１１７は、前述した対象画像群の各画像を、Ｓ２０３で求めた画像評価値の高い順にソートする。Ｓ２０４の後、画像選抜部１１７は、Ｓ２０５に処理を進める。

Ｓ２０５では、画像選抜部１１７は、Ｓ２０４でソートした画像評価値の上位からダイジェスト用の画像を選抜する。本実施形態の場合、画像選抜部１１７は、タイトル画像用とエンディング画像用、オープニング画像用として、画像評価値の高い順に画像を選抜する。また、画像選抜部１１７は、本編画像としては、それらタイトル画像、エンディング画像、オープニング画像に続く高画像評価値の各画像を順に選抜する。なお、本編画像は、それらタイトル画像、エンディング画像、オープニング画像を含めた画像評価値の高い順に選抜された画像であってもよい。Ｓ２０５の後、画像選抜部１１７は、Ｓ２０６に処理を進める。

Ｓ２０６では、画像選抜部１１７は、Ｓ２０５にてダイジェスト用の画像として画像評価値の上位の画像のうち、画像評価値が一位の（一番高い値）の画像をタイトル画像とし、また、画像評価値が２位（二番目に高い値）の画像をエンディング画像として選抜する。Ｓ２０６の後、ディジタルカメラの処理は、テロップ色選抜部１１８にて行われるＳ２０７の処理に移行する。

Ｓ２０７からＳ２１７までの処理は、前述した図２のタイトル表示２０１で示したようなテロップ画像が合成されたタイトル画像２１１を生成する処理である。Ｓ２０７では、テロップ色選抜部１１８は、Ｓ２０６にて選抜されたタイトル画像をブロック毎に分割する。Ｓ２０７の後、テロップ色選抜部１１８は、Ｓ２０８に処理を進める。

Ｓ２０８では、テロップ色選抜部１１８は、色分類部１１６による色分類処理にて求められて画像（この場合はタイトル画像）に対応付けられている分類色情報に基づいて、タイトル画像の各ブロックを、例えば図５に示すような各色に分類する。ここで、色分類部１１６では画素毎の輝度、色相、彩度が分類色情報として求められており、テロップ色選抜部１１８はタイトル画像の各ブロックの分類色を求める。なお、この例では、テロップ色選抜部１１８が画像のブロック毎に分類色を求めているが、色分類部１１６が、撮像画像をブロック毎に分割して、各ブロックの色分類を行っていてもよい。図５の例は、輝度と色相と彩度の値の各範囲に対して、それぞれ白（Ｗｈｉｔｅ）、灰（Ｇｅａｙ）、ダーク（Ｄａｒｋ）、紫（Ｐｕｒｐｌｅ）、赤（Ｒｅｄ）、黄（Ｙｅｌｌｏｗ）、緑色（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の色分類を対応付けた対応表である。一例を挙げると、ブロックの輝度の値が２００〜２５６の範囲、色相の値が０〜３６０の範囲、彩度の値が０〜１０の範囲に入っている場合、テロップ色選抜部１１８は、そのブロックを白（Ｗｈｉｔｅ）として分類する。このように、テロップ色選抜部１１８は、予め設定された複数の分類色と、輝度と色相と彩度の値の各範囲とを対応付けた図５の対応表に基づいて、タイトル画像の各ブロックの色分類を行う。Ｓ２０８の後、テロップ色選抜部１１８は、Ｓ２０９に処理を進める。

Ｓ２０９では、テロップ色選抜部１１８は、Ｓ２０８でタイトル画像の各ブロックの色分類結果を基に、色毎のブロック数を集計し、それら色毎のブロック数から、タイトル画像内でそれぞれの色が占める面積を求める。さらに、テロップ色選抜部１１８は、タイトル画像内における各色の面積比率を、第１評価値として算出する。各色の面積比率が高いほど、第１評価値は高い値として求められる。各色の面積比率をどのように用いるかについては後に説明する。

そして、テロップ色選抜部１１８は、Ｓ２０９において、タイトル画像内の白（Ｗｈｉｔｅ）、灰（Ｇｅａｙ）、ダーク（Ｄａｒｋ）等の無彩色の面積比率が予め決めた面積比率以上であるか否かを判定する。具体的には、テロップ色選抜部１１８は、無彩色のブロック数が所定数ＴＨ１以上であるか否かを判定する。つまり、この場合、無彩色がタイトル画面内で予め決めた面積比率以上であるか否かを判定する。テロップ色選抜部１１８は、Ｓ２０９において、無彩色のブロック数が所定数ＴＨ１以上であると判定した場合にはＳ２１０に処理を進める。一方、テロップ色選抜部１１８は、Ｓ２０９において、無彩色のブロック数が所定数ＴＨ１未満、つまり無彩色の領域が予め決めた面積比率未満であると判定した場合にはＳ２１１に処理を進める。

Ｓ２１０では、テロップ色選抜部１１８は、無彩色の各ブロックのうち、最もブロック数が多い色を、テロップ画像の代表色とする。このように、テロップ色選抜部１１８は、テロップ画像内で無彩色が占める面積が大きい場合には、そのタイトル画像内で面積比率が最も大きい無彩色（つまり無彩色の第１評価値が最も高い色）を、テロップ画像の代表色とする。Ｓ２１０の後、テロップ色選抜部１１８は、Ｓ２１７に処理を進める。そして、Ｓ２１７では、テロップ色選抜部１１８は、Ｓ２１０で決めた代表色を、タイトル画像に合成されるテロップ画像の色、例えばテロップ色のうち背景色とする。テロップ画像内には、例えば、Ｓ２０１で設定された対象画像群の範囲内の画像に応じた日付（例えば撮影日時等）等の文字が記入される。文字色（フォント色）は、背景色（代表色）の例えば補色とする。

一方、Ｓ２１１に進んだ場合、テロップ色選抜部１１８は、無彩色ではない各ブロック、つまり有彩色のブロックの数が、所定数ＴＨ２以上であるか否かを判定する。つまり、この場合、テロップ色選抜部１１８は、有彩色がタイトル画面内で所定面積比率以上の大きな面積を占めているか否かを判定する。なお、本実施形態の場合、有彩色は、例えば紫（Ｐｕｒｐｌｅ）、赤（Ｒｅｄ）、黄（Ｙｅｌｌｏｗ）、緑色（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）に分類された色である。テロップ色選抜部１１８は、Ｓ２１１において、有彩色のブロック数が所定数ＴＨ２以上であると判定した場合にはＳ２１２に処理を進める。一方、テロップ色選抜部１１８は、有彩色のブロック数が所定数ＴＨ２未満、つまり有彩色の領域が所定面積比率未満であると判定した場合には、Ｓ２１３に処理を進める。Ｓ２１３以降の処理の説明は後述する。

Ｓ２１２に進むと、テロップ色選抜部１１８は、有彩色の各ブロックのうち、最もブロック数が多い色をテロップ画像の代表色とする。このように、テロップ色選抜部１１８は、テロップ画像内で有彩色が占める面積が大きい場合には、そのタイトル画像内で面積比率が最も大きい有彩色（つまり有彩色の第１評価値が最も高い色）を、テロップ画像の代表色とする。Ｓ２１２の後、テロップ色選抜部１１８は、Ｓ２１７に処理を進める。そして、Ｓ２１７では、テロップ色選抜部１１８は、Ｓ２１２で決めた代表色を、タイトル画像に合成されるテロップ画像の色（テロップ画像の背景色）とする。テロップ画像内には、前述同様に、例えば対象画像群の範囲内の画像に応じた撮影日付等の文字が記入され、その文字色は背景色（代表色）の例えば補色とする。

以下、図６（ａ）〜図６（ｆ）を用い、Ｓ２０７のブロック分割からＳ２１１で有彩色の各ブロック数が所定数ＴＨ２以上と判定されてＳ２１２で代表色が決定され、Ｓ２１７でタイトル画像にテロップ画像が合成されるまでの具体的な画像例について説明する。
図６（ａ）は、タイトル画像として選抜された一例の画像６０１を示しており、この画像６０１は晴天の空６２１と海辺を撮影した画像であるとする。そして、この画像６０１をブロック分割して各ブロックの色分類を行うことで、図６（ｂ）に示すような色分類結果６０２が得られたとする。また、図６（ｂ）の例では、図６（ａ）の空６２１の画像領域６２２に対応した青（Ｂｌｕｅ）に色分類されたブロック数が所定数ＴＨ２以上であったとする。この場合、図６（ｃ）に示すように、画像６０１に合成されるテロップ画像６２３のテロップ色（背景色）は青（Ｂｌｕｅ）に設定される。

図６（ｄ）は、タイトル画像として選抜された他の例の画像６１１を示しており、この画像６１１は花や樹木等が生えた草原６３１を撮影した画像であるとする。そして、この画像６１１をブロック分割して各ブロックの色分類を行うことで、図６（ｅ）に示すような色分類結果６１２が得られたとする。また、図６（ｅ）の例では、図６（ｄ）の草原６３１の画像領域６３２に対応した緑（Ｇｒｅｅｎ）に色分類されたブロック数が所定数ＴＨ２以上であったとする。この場合、図６（ｆ）に示すように、画像６１１に合成されるテロップ画像６３３のテロップ色（背景色）は緑（Ｇｒｅｅｎ）に設定される。

ここで、タイトル画像に合成されるテロップ画像の代表色としては、前述したようにタイトル画像内で大勢を占める（大きな面積を占める）支配色ではないが、画像構成上で特に目立つ色に設定したい場合も考えられる。
このようなことから、本実施形態において、テロップ色選抜部１１８は、画像構成上で特に目立つ色をテロップ画像の代表色として設定することも可能となされている。詳細は後述するが、テロップ色選抜部１１８は、タイトル画像内における色の補色関係及び各色が画像内で占める面積比率等を考慮して、第１評価値に重み付けを行って第２評価値を求め、その第２評価値に基づいてテロップ画像の代表色を決定する。

図３のフローチャートのＳ２１３〜Ｓ２１６は、タイトル画像内で目立つ色をテロップ画像の代表色として選抜する際の処理を示している。
Ｓ２１３に進むと、テロップ色選抜部１１８は、タイトル画像内で支配的な色に対して特に際立っている色を決めるために、前述した第１評価値に対して後述するような重み付けを行った色評価値を求める。本実施形態では、Ｓ２０９で求めた面積比率が予め決めた所定値以上、つまり面積比率が所定比率以上の色を支配色として定義する。本実施形態では、所定比率の一例として１８％を用いている。例えば、前述の図６（ｅ）と同様の図７（ａ）に示す色分類結果６１２を例に挙げ、草原の画像領域６３２に対応した緑（Ｇｒｅｅｎ）の面積率が図７（ｂ）に示すように１９％、空の画像領域６３４に対応した青（Ｂｌｕｅ）の面積率が２５％であるとする。なお、図７（ｂ）は、図７（ａ）に示す色分類結果６１２の例における、各色と、それら色毎の面積率（比率）、色相の中心の値、緑（Ｇｒｅｅｎ）の補色を基準とした場合の各色との色相差（ΔＨｕｅ）を示している。図７（ａ）及び図７（ｂ）の例の場合、テロップ色選抜部１１８は、緑と青を支配色とする。

そして、テロップ色選抜部１１８は、それら緑と青の２色に対して、タイトル画像内で他に際立つ色があるか探す。本実施形態の場合、際立つ色を探す際には、支配色に対して色相において補色関係にあるものを、目立ち度合いが高い色とする。具体的には、テロップ色選抜部１１８は、支配色と、それに対して補色関係にある色との色相差（ΔＨｕｅ）が大きいほど、その補色関係にある色の有彩色の第１評価値を高くするような係数により重み付けを行って第２評価値を求める。例えば、緑（Ｇｒｅｅｎ）が支配色である場合、図７（ｂ）に示すように、色相の中心の値は２２５となり、その補色の色相の値は４５（図示せず）である。テロップ色選抜部１１８は、その補色の色相値をピークとする各色の色相差（ΔＨｕｅ）に応じた係数（ΔＨｕｅ重み）を、図８（ａ）及び図８（ｂ）に示すように設定する。図８（ａ）及び図８（ｂ）は、図７（ｂ）の例で、緑（Ｇｒｅｅｎ）を支配色とし、その支配色の補色の色相値をピークとする各色の色相差（ΔＨｕｅ）と、それら各色の色相差（ΔＨｕｅ）に応じた係数（ΔＨｕｅ重み）の関係を示している。この図８（ａ）及び図８（ｂ）に示した色相差（ΔＨｕｅ）に応じた係数（ΔＨｕｅ重み）による重み付けにより、各色の評価値は図９に示すような値となる。

また、前述したように、テロップ色選抜部１１８は、タイトル画像内で各色が占める面積比率に応じて第１評価値を設定している。ここで、本実施形態では、前述した図６（ｄ）の画像６１１から得られる図７（ａ）の色分類結果６１２の例のように、草原の中の花の画像領域６３５のような画像内で占める面積比率は少ないが、特に目立つ色の評価値を高くすることを想定している。このため、テロップ色選抜部１１８は、図１０（ａ）〜図１０（ｃ）に示すように、支配色（青や緑）を基準とし、その支配色の面積比率より若干小さい所定範囲内の面積比率の色である紫（Ｐｕｒｐｌｅ）の評価値をピークと設定する。なお、図１０（ａ）は、図７（ａ）の色分類結果６１２の例において、例えば緑（Ｇｒｅｅｎ）を基準の支配色とした場合の各色の面積比率と、基準の支配色に対する各色の面積比率を示している。また、図１０（ｂ）と図１０（ｃ）は、面積比率と面積重みの関係を示している。これら図１０（ｂ）、図１０（ｃ）のような面積比率に応じた重み付けにより、各色の評価値は図１１のような値となる。

そして、テロップ色選抜部１１８は、図９で示した色相差（ΔＨｕｅ）に応じた係数（ΔＨｕｅ重み）により重み付けがなされた評価値と、図１１で示した面積比率に応じて重み付けがなされた評価値とを色毎に掛け合わせて第２評価値を算出する。つまり、第２評価値は、タイトル画像内における色の補色関係及び各色が画像内で占める面積比率等を考慮して第１評価値に重み付けを行って得られた総合評価値である。緑（Ｇｒｅｅｎ）を支配色とした場合の総合評価値は、図１２（ａ）及び図１２（ｂ）に示すようになる。なお、図１２（ｂ）の図中の色相範囲１２１１は紫（Ｐｕｐｌｅ）、色相範囲１２１２は赤（Ｒｅｄ）、色相範囲１２１３は黄（Ｙｅｌｌｏｗ）、色相範囲１２１４は緑（Ｇｒｅｅｎ）、色相範囲１２１５は青（Ｂｌｕｅ）に対応している。テロップ色選抜部１１８は、図３のフローチャートのＳ２１３において、各支配色に対して、前述のような有彩色の総合評価値を算出する。ここでは、色相差（ΔＨｕｅ）に応じた係数（ΔＨｕｅ重み）により重み付けされた各評価値と、面積比率に応じた係数（面積重み）により重み付けがなされた評価値とを色毎に掛け合わせたものを総合評価値としたが、それらの何れかを総合評価値としてもよい。Ｓ２１３の後、テロップ色選抜部１１８は、Ｓ２１４に処理を進める。

Ｓ２１４では、テロップ色選抜部１１８は、総合評価値が、予め決めた所定評価値以上となる有彩色があるか否か判定する。テロップ色選抜部１１８は、Ｓ２１４において、総合評価値が所定評価値以上となる有彩色があると判定した場合にはＳ２１５に処理を進め、一方、所定評価値以上となる有彩色がないと判定した場合にはＳ２１６に処理を進める。

Ｓ２１５では、テロップ色選抜部１１８は、総合評価値のうち最大評価値となる色を、タイトル画像の代表色とする。Ｓ２１５の後、テロップ色選抜部１１８は、Ｓ２１７に処理を進める。また、Ｓ２１６では、テロップ色選抜部１１８は、初期設定されているデフォルト色（例えば黒色）を、タイトル画像の代表色として設定する。Ｓ２１６の後、テロップ色選抜部１１８は、Ｓ２１７に処理を進める。

前述したＳ２１５又はＳ２１６からＳ２１７に進むと、テロップ色選抜部１１８は、Ｓ２１５又はＳ２１６で決めた代表色を、タイトル画像に合成されるテロップ画像の色（テロップ画像の背景色）とする。テロップ画像内には、前述同様に、ダイジェスト用の画像選抜を行う際の対象画像群の範囲に応じた日付等の文字が記入される。

以下、図１３（ａ）〜図１３（ｆ）を用い、前述したＳ２１４で所定評価値以上の有彩色があると判定されてＳ２１５で代表色が決定され、さらにＳ２１７でタイトル画像にテロップ画像が合成されるまでの具体的な画像例について説明する。
図１３（ａ）は、タイトル画像として選抜された一例の画像１３０１を示しており、この画像１３０１は前述の図６（ｄ）の画像６０１と同じ画像であり、特に紫色の花１３２１が目立つような画像である。なお、この画像１３０１からは、前述の図６（ｅ）と同様に示した図１３（ｂ）のような色分類結果１３０２が得られたとする。なお、図１３（ｂ）の例において、画像領域１３２２は、図１３（ａ）で目立つ花１３２１の紫色の画像領域である。図１３（ｂ）の例の場合、前述した総合評価値に基づいて決定される代表色として、図１３（ａ）で目立つ花１３２１の紫色が決定される。これにより、図１３（ｃ）に示すように、画像１３０１に合成されるテロップ画像１３２３のテロップ色（背景色）は紫に設定される。

図１３（ｄ）は、タイトル画像として選抜された他の例の画像１３１１を示しており、この画像１３１１は紫色の花１３３１等が生えた草原を撮影した画像であるとする。この画像１３１１について各ブロックの色分類が行われた場合には、例えば、図１３（ｅ）に示すような色分類結果１３１２が得られることになる。なお、図１３（ｅ）の例において、画像領域１３３２は、図１３（ａ）で目立つ花１３３１の紫色の画像領域である。この図１３（ｅ）の色分類結果１３１２の場合、支配色は草原の緑（Ｇｒｅｅｎ）になるが、特に目立つ色は、図１３（ｄ）の花１３３１に対応した紫色となる。図１３（ｅ）の例の場合、前述した総合評価値に基づいて決定される代表色として、図１３（ｄ）で目立つ花１３３１の紫色が決定される。これにより、図１３（ｆ）に示すように、画像１３１１に合成されるテロップ画像１３３３のテロップ色（背景色）は紫に設定される。

なお、前述した図６（ａ）〜図６（ｆ）や図１３（ａ）〜図１３（ｆ）では、タイトル画像にそのままテロップ画像を合成したが、例えば、代表色が集中した領域をタイトル画像の中心とした画像の切り出しを行って、その画像のテロップ画像を合成してもよい。

図３のフローチャートに説明を戻す。図３のＳ２１７の後、ディジタルカメラの処理は、画像選抜部１１７にて行われるＳ２１８の処理に移行する。
Ｓ２１８からＳ２２７までの処理は、前述した図２のオープニング表示２０２で表示されるオープニング画像２２１〜２２３を生成する処理である。ここで、本実施形態において、ダイジェスト再生機能では、ダイジェスト再生で人物が写っている画像を選抜する際、操作部１０１を介したユーザによる所望の人物画像の選択のための入力が可能となされている。ユーザが操作部１０１を介して人物の選択を行った場合、その選択人物の情報は、制御部１０２を介して画像選抜部１１７に送られる。画像選抜部１１７は、Ｓ２１８において、ユーザによる選択人物の数が４人未満であるか否かを判定する。画像選抜部１１７は、Ｓ２１８において選択人物の数が４人未満であると判定した場合にはＳ２１９に処理を進め、一方、４人以上であると判定した場合にはＳ２２３に処理を進める。なお、Ｓ２１８における人物画像の選択は、画像選抜部１１７が行ってもよい。画像選抜部２１７が人物画像の選択を行う場合には、例えば顔認証技術により顔画像が検出された画像を人物画像として選択する。

Ｓ２１９では、画像選抜部１１７は、例えば顔認証技術により認識される顔画像に基づいて、前述した対象画像群において画像評価値の高い画像の中から、選択人物の画像をそれぞれ一枚ずつ選抜する。具体的には、対象画像群の各画像の中から各選択人物の画像を一枚選抜する際、画像選抜部１１７は、例えば前述した画像評価値が最も高い一枚を選択する。Ｓ２１９の後、画像選抜部１１７は、Ｓ２２０に処理を進める。

Ｓ２２０では、画像選抜部１１７は、Ｓ２１９で選抜された画像から、顔情報に基づいて人物領域を切り出す。これら切り出された人物領域の画像は、オープニング画像に使用される。そして、画像選抜部１１７は、その認証された人物名が記入等されたテロップ画像を人物領域の画像に合成して、オープニング画像を生成する。このＳ２２０におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。画像選抜部１１７は、前述したような人物画像の切り出しとテロップ画像の生成、及び、それら人物画像とテロップ画像の合成によるオープニング画像の生成とを、選択人物の人数分作成する。Ｓ２２０の後、画像選抜部１１７は、Ｓ２２１に処理を進める。

Ｓ２２１では、画像選抜部１１７は、Ｓ２２０で選択人物の人数分作成したオープニング画像を、オープニング画像セットとする。オープニング画像セットとは、例えば前述した図２のオープニング表示２０２に示したように表示される複数のオープニング画像２２１〜２２３からなるセットである。Ｓ２２１の後、画像選抜部１１７は、後述するＳ２２２に処理を進める。

一方、Ｓ２２３に進んだ場合、画像選抜部１１７は、例えば顔認証技術により認識した顔画像に基づき、各選択人物の中で、前述した対象画像群の各画像から最も多く認証されている人物を代表人物とし、その代表人物が写っている画像を一枚選抜する。そして、画像選抜部１１７は、その代表人物の選抜画像から、顔情報に基づいて人物領域を切り出す。Ｓ２２３の後、画像選抜部１１７は、Ｓ２２４に処理を進める。

Ｓ２２４では、画像選抜部１１７は、前述した対象画像群に含まれる各画像の撮影日時情報に基づき、それら各画像の最も古い撮影日時と最も新しい撮影日時とから撮影期間を求め、その撮影期間を表す文字等が入ったテロップ画像を生成する。そして、画像選抜部１１７は、Ｓ２２３で切り出した人物領域の画像に、Ｓ２２４で生成したテロップ画像を合成してオープニング画像を生成する。このＳ２２４におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。Ｓ２２４の後、画像選抜部１１７は、後述するＳ２２５に処理を進める。

Ｓ２２２２、Ｓ２２５からＳ２２７までの処理は、前述の図２に示したような本編表示２０３の本編画像２３１〜２３７を表示するための処理である。
Ｓ２２２の処理に進んだ場合、画像選抜部１１７は、前述した対象画像群に含まれる各画像の撮影日時情報に基づき、それら各画像を、時系列順に並べて本編表示のための各本編画像とする。

また、Ｓ２２５の処理に進んだ場合、画像選抜部１１７は、Ｓ２２２と同様に、撮影日時情報に基づいて時系列順に並べた各画像を、本編表示のための各本編画像とする。Ｓ２２５の後、画像選抜部１１７は、Ｓ２２６に処理を進める。Ｓ２２６では、画像選抜部１１７は、Ｓ２２５で時系列順に並べられた本編画像の中で、Ｓ２２３で認証した各人物が写っている画像が最初に出てきたか否かを判定する。画像選抜部１１７は、Ｓ２２６において、Ｓ２２３で認証された人物が写っている画像が最初に出てきた場合にはＳ２２７に処理を進める。

Ｓ２２７では、画像選抜部１１７は、その人物名が記入されたテロップ画像を、その人物が写っている画像に合成して本編画像とする。このＳ２２７におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。なお、前述したように、既にテロップ画像が合成された人物が写っている画像が再度本編中に登場した場合には、その人物名の入ったテロップ画像の合成は行わない。また、本編画像中の顔領域にテロップ画像が被るような場合は、そのテロップ画像の初期配置を変更して、被らない領域にテロップ画像を配置する。

Ｓ２２２とＳ２２７の後、及び、Ｓ２２６で各人物が写っている最初の画像でないと判定された場合、制御部１０２は、図３のフローチャートの処理を終了させる。その後、制御部１０２は、図３のフローチャートで生成したタイトル画像、オープニング画像、本編画像を、表示部１０７を介して表示デバイス等に表示させることにより、ダイジェスト再生表示を行わせる。

なお、前述の説明では、選抜された画像からテロップ画像の背景色（代表色）を決める例を挙げたが、例えば、代表色に基づいて画像の選抜を行うことも可能である。例えば、前述した対象画像群の各画像の中から、図１４に示すように、高い総合評価値が得られている画像を優先的に選抜することも可能である。図１４では、画像１４００〜１４０７が総合評価値の高い順に並べられた例を示している。総合評価値の高い画像は、代表色が明確な画像であるため、総合評価値が高い上位の幾つかの画像１４００〜１４０４を優先的に選抜することで、印象的な画像を中心に選抜することが可能となる。

また、本実施形態のディジタルカメラは、ダイジェスト再生表示の際に、表示される画像に対し、例えば、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工を行うことも可能である。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、対象画像群の各画像の色の評価値を集計することで、それら対象画像群の各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、対象画像群の各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。対象画像群の各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、対象画像群の各画像の色の評価値の集計結果から、対象画像群に青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、対象画像群に例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、対象画像群の各画像の色の評価値を集計し、その集計した色の評価値に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。

また、本実施形態のディジタルカメラは、ダイジェスト再生表示の際に、再生表示される１枚の画像の中で所望の画像領域を別の位置にスライドさせるスライド処理や、所望の画像領域を拡大ズームや縮小ズームするズーム処理等の加工を行うことも可能である。スライド処理では、一例として、一枚の画像の中で代表色が隣接して存在する領域を見つけ出し、その中心座標をスライド処理の終点座標とし、その終点座標まで所望の画像領域をスライド移動させるような処理を行う。なお、スライド処理における中心座標はスライド処理の始点座標として扱われてもよい。中心座標を始点座標と終点座標の何れにするかは、例えばダイジェスト再生の際のバリエーションの一つとして扱い、例えば同一バリエーションが重複し過ぎないように設計しておくようにする。このように、ダイジェスト再生表示の際に、代表色に基づいて、所望の画像領域をスライドさせることで、より印象の強いダイジェスト再生が可能となる。ズーム処理では、一例として、画像から代表色を求め、ズームの中心座標に、その代表色が集中した画像領域をおくようにする。このように、ダイジェスト再生表示の際に、ズーム処理により中心座標に代表色の集中した画像領域をおくことで、より印象の強いダイジェスト再生が可能となる。
前述した画像に対する加工は、それぞれ個別に行われてもよいし、それらが組み合わされて行われてもよい。本実施形態において、それら加工が施される前の画像は第１画像の一例であり、それら加工が施された画像は第２画像の一例である。

また、前述した実施形態では、代表色に基づいて、タイトル画像、オープニング画像、本編画像等に合成されるテロップ色を決める例を挙げたが、エンディング用画像の画面の色の選択にも適用可能である。その他にも、画像に適用する色変換フィルタを代表色に関連して選択する場合や、動画内に適用しているフォントの色の選択する場合などにも適用可能である。さらに、代表色は、例えばダイジェスト再生される各画像を一覧表示する際の各小画面表示の際に用いることも可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 操作部、１０２ 制御部、１０３ センサ部、１０５ 画像処理部、１０７ 表示部、１１３ 画像記録部、１１５ 被写体検出部、１１６ 色分類部、１１７ 画像選抜部、１１８ テロップ色選抜部

Claims (12)

1. 第１画像から代表色を決定し、前記代表色を用いて前記第１画像を加工した第２画像を出力する画像処理装置であって、
   予め設定された複数の分類色について、各分類色が第１画像内で占める面積比率に応じた第１評価値を算出する第１算出手段と、
   前記第１評価値が所定値以上である分類色との色相差に応じた係数を用いて前記第１評価値に重み付けを行って第２評価値を算出する第２算出手段と、
   前記第２評価値に基づいて、前記複数の分類色のうちから代表色を決定する決定手段と、
   前記代表色を用いて前記第１画像を加工して前記第２画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１算出手段は、前記各分類色が前記第１画像内で占める面積比率が大きくなるほど値が高くなる前記第１評価値を算出し、
   前記決定手段は、前記複数の分類色のうち、値が最も高い前記第２評価値に応じた分類色を、代表色として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記各分類色のうち、有彩色に分類される分類色の、前記第１画像内における面積比率が所定面積比率以上である場合に、前記有彩色の各分類色のうちから、値が最も高い前記第２評価値に応じた分類色を、前記代表色として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１算出手段は、前記各分類色が前記第１画像内で占める面積比率が大きくなるほど値が高くなる前記第１評価値を算出し、
   前記第２算出手段は、前記第１画像内で占める面積比率が所定比率以上となっている支配色の分類色との色相差が大きいほど重くなる第１係数により重み付けを行った後の第１評価値と、前記支配色の分類色が前記第１画像内で占める面積比率より小さい所定範囲内に入る面積比率の分類色に対して重くなる第２係数により重み付けを行った後の第１評価値とを、掛け合わせて前記第２評価値を算出し、
   前記決定手段は、前記複数の分類色のうちから、値が最も高い前記第２評価値に応じた分類色を、前記代表色として決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記第２算出手段は、前記支配色の分類色に対して、補色関係となる色相差を有する分類色に対して最大の重み付けを行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２算出手段は、前記各分類色のうち、無彩色に分類される各分類色の第１画像内の面積比率が予め決めた面積比率以上である場合には、前記第１評価値に基づいて、前記無彩色に分類される分類色のうちから代表色を決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、前記代表色が背景色となされた所定の画像を前記第１画像に合成する加工により前記第２画像を生成することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記生成手段は、前記所定の画像に記入される文字色を、前記背景色に対する補色の色とすることを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、前記第１画像に対して前記代表色に応じたフィルタ処理を行って前記第２画像を生成する特徴とする請求項１に記載の画像処理装置。
10. 複数の画像の中から、前記第１画像を選抜する選抜手段を更に有することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 第１画像から代表色を決定し、前記代表色を用いて前記第１画像を加工した第２画像を出力する画像処理方法であって、
    第１算出手段が、予め設定された複数の分類色について、各分類色が第１画像内で占める面積比率に応じた第１評価値を算出するステップと、
    第２算出手段が、前記第１評価値が所定値以上である分類色との色相差に応じた係数を用いて前記第１評価値に重み付けを行って第２評価値を算出するステップと、
    決定手段が、前記第２評価値に基づいて、前記複数の分類色のうちから代表色を決定するステップと、
    生成手段が、前記代表色を用いて前記第１画像を加工して前記第２画像を生成するステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images