JP2017098640A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすること。
【解決手段】撮像装置１は、画像取得部５２と、特徴量算出部５３と、スコア補正部５７と、画像選択部５８とを備える。画像取得部５２は、複数の画像を取得する。画像取得部５２は、複数の画像の撮像タイミングに関する情報を取得する。特徴量算出部５３及びスコア補正部５７は、撮像タイミングに関する情報に基づいて複数の画像を評価する。画像選択部５８は、特徴量算出部５３及びスコア補正部５７による評価結果に基づいて、複数の画像から所定数の画像を選択する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、複数種の画像を合成することにより、スライドショーのような動画像を生成する技術が知られている。
例えば、特許文献１には、音声信号のパワー（音量）が大きい時点を盛り上がり時点として、動画を切り出す技術が記載されている。

特開２００７−２６７３５１号公報

しかしながら、上記特許文献１に記載された技術のように音量に基づいて画像を抽出すると、抽出される画像に偏りが生じることがあり、抽出される画像の撮影時刻の間隔が適切にとれず、バランス良く画像を抽出できない虞があった。

本発明は、このような状況に鑑みてなされたものであり、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
複数の画像を取得する画像取得手段と、
前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得手段と、
前記撮像タイミングに関する情報に基づいて前記複数の画像を評価する第一の評価手段と、
前記第一の評価手段による評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択手段と、
を備えることを特徴とする。

本発明によれば、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることができる。

本発明の第１実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 スコア別最適化の具体例を示す模式図である。 撮影時刻の分布例を示す模式図である。 式（４）で表されるペナルティＫｐの特性を示す模式図である。 図１の撮像装置の機能的構成のうち、ハイライト動画生成処理を実行するための機能的構成を示す機能ブロック図である。 図５の機能的構成を有する図１の撮像装置が実行するハイライト動画生成処理の流れを説明するフローチャートである。 注目時刻に対するペナルティＫｐの設定例を示す模式図である。 第２実施形態に係る撮像装置が実行するハイライト動画生成処理の流れを説明するフローチャートである。 ペナルティＫｐをガウス分布とした場合の特性を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

センサ部１７は、加速度や角速度の情報を取得する加速度センサやジャイロセンサといった各種センサにより構成される。
本実施形態においては、撮像部１６において撮影が行われた場合には、撮影時のセンサ情報を取得して、撮影した画像に対応付けて記憶しておく。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このように構成される撮像装置１では、記憶している複数の画像を閲覧しようとする場合、全てを閲覧するには膨大な時間を要してしまうため、特徴的な画像だけを選択して、ユーザの閲覧に供する機能を有する。本実施形態の撮像装置１では、選択した画像をフレーム画像として動画化して、特徴的なシーンのみを集めた要約動画（以下、「ハイライト動画」ともいう。）を生成して、ユーザの閲覧に供する。

［画像の組み合わせの選択手法（スコア別最適化）の基本的な流れ］
本実施形態においては、撮像装置１では、画像の撮影時のセンサ情報（加速度情報や角速度情報）、画像解析結果（顔等の特定の被写体の有無等）、及び使用状況に関する情報（再生回数やＳＮＳへのアップロード情報等）といった属性情報に基づいて、ハイライト動画の生成対象の候補となる画像（以下、「候補画像」ともいう。）の特徴量を算出する。
そして、算出した特徴量に基づいて、画像の価値としてスコア（以下、「画像スコア」という。）を設定する。なお、画像スコアは、人の主観に基づいて特徴量算出に用いた項目に応じて一義的に設定してもよいし、主観的な評価結果を教師データとして機械学習に基づいて特徴量の項目のそれぞれに重み付けをして、重み付けに応じて、総合的に設定してもよい。

また、撮像装置１では、画像スコアに基づいて、ランク付けを行う。ランクは、生成するハイライト動画での画像の個別再生時間を決定するために用いる。なお、ランクは、ユーザが任意に付してもよいし、画像に対して設定された画像スコアに応じて付してもよい。

また、撮像装置１では、ハイライト動画の最大再生時間を上限として、個別再生時間の合計（合計再生時間）が最大再生時間内に収まる画像の組み合わせにおいて、各画像の画像スコアを積算したスコア（以下、「積算スコア」という。）が最大の組み合わせとなる経路を画像の撮像順に沿って探索する。ここで、本実施形態においては、動画の最大再生時間の制約下において、積算スコアの最大の経路を選択することを「スコア別最適化」という。

図２は、スコア別最適化の具体例を示す模式図である。本例では、ハイライト動画の最大再生時間は、６ｓｅｃに設定されている。
なお、図２においては、起点ノードからの経路として、個別再生時間の組み合わせや画像スコア等の観点から適切な経路とならない経路を「淘汰パス」、設定可能な経路を「親パス」、積算スコアが最も高くなる経路を最適パスとして示している。

具体的には、本実施形態においては、個別再生時間と撮影順の画像とのマトリクスに、撮影順に画像を組み合わせた経路を設定する。各経路の組み合わせのうち、経路にある画像の画像スコアを積算した積算スコアが最大となる経路の組み合わせを、ハイライト動画を構成する画像群として選択する。
「撮影順に画像が組み合わされた経路」とは、本実施形態においては画像の撮影順に沿って最初の画像から最後の画像に向かって順番に経路探索を行うことで算出される経路のことである。

図２（ａ）の例では、撮影順に画像Ａ乃至画像Ｄを、ハイライト画像を構成するフレーム画像の候補の画像としている。
画像Ａ乃至画像Ｄでは、画像の特徴量に基づいて算出された画像スコアが設定されており、画像Ａ［Ｓｃｏｒｅ：８］、画像Ｂ［Ｓｃｏｒｅ：５］、画像Ｃ［Ｓｃｏｒｅ：１０］、画像Ｄ［Ｓｃｏｒｅ：６］となっている。また、画像の個別再生時間が設定されており、画像Ａ［Ｔｉｍｅ：２ｓｅｃ］、画像Ｂ［Ｔｉｍｅ：３ｓｅｃ］、画像Ｃ［Ｔｉｍｅ：１ｓｅｃ］、画像Ｄ［Ｔｉｍｅ：２ｓｅｃ］が設定される。なお、個別再生時間は、画像スコア等に対応して設定するように構成してもよい。具体的には、例えば、画像スコアの高い画像は個別再生時間を長く、画像スコアの低い画像は個別再生時間を短く設定するように構成してもよい。また、図２（ａ）におけるＥｘＴｉｍｅ（期待ハイライト時間）については後述する。

このように画像スコアと個別再生時間が設定された画像群において、図２（ｂ）に示すように、縦軸が画像の撮影順で、横軸が動画の再生時間のマトリクスにおいて、設定された動画の最大再生時間内に納まるように、撮影順に画像が組み合わされた経路を設定する。
設定した経路において、経路を構成する全ての画像の積算スコアを算出して、最大の積算スコアの経路の組み合わせを選択する。
本例では各経路のうち、積算スコア［２４］となる経路が、積算スコアが最大となる経路となる。この経路は、画像Ａを起点ノードとして、画像Ｃと、画像Ｄの組み合わせからなる。即ち、画像Ａ→画像Ｃ→画像Ｄの経路が最適パスとなる。
なお、本例では、積算スコアのみを考慮したスコア別最適化を行ったが、合計再生時間を長くすることを考慮するスコア別最適化を行うように構成してもよい。
その場合、合計再生時間も最大の６ｓｅｃとなり、積算スコアも［２３］と比較的高くなる画像Ａを起点ノードとする画像Ｂと、画像Ｃの組み合わせの経路を選択する。

その後、撮像装置１では、選択された経路における再生順で、各画像の個別再生時間を合計した合計再生時間からなるハイライト動画を作成する。

［時刻拡散性の向上］
上述したようなスコア別最適化を行った場合、選択される画像の組み合わせにおいて、近い時刻で撮影された画像が偏って含まれてしまうことがある。
一方、撮影タイミング（以下、撮影時刻と呼ぶ。）に注目し、選択される画像を時間軸上で均一化しようとすると、撮影時刻に偏りがある場合、近い時刻で撮影された画像群の画像は、画像の内容にかかわらず、選択されにくくなるという事態を生じる。
図３は、撮影時刻の分布例を示す模式図である。
図３においては、画像Ｉ１〜Ｉ５までは、一定間隔で撮影されているが、その後の画像Ｉ６〜Ｉ７までしばらく撮影されず、その後も時間が空いた後に画像Ｉ８〜Ｉ１７が撮影されている。このように撮影時刻の分布が不均一な場合、選択される画像を撮影時刻のみに注目して均一化しようとすると、近い時刻で撮影された画像群（例えば画像Ｉ８〜Ｉ１７）においては、多数の中から１つの画像のみが選択されるといった事態を生じ、適切な画像の選択を行うことができない。例えば、１日を朝昼夜と３つの時間のグループに分けた際、朝に１０枚、昼に２枚、夜に５枚撮影され、且つすべてのグループから１枚ずつ画像が選択される場合、昼に撮影された画像は画像内容に関わらず、朝に撮像された画像群に比べて選択されやすくなってしまうという事態が生じる。
そこで、本手法では、撮影時刻及び撮影順の指標を基に、各画像の時刻拡散性向上のためのペナルティ量を算出し、そのペナルティ量で、上記選択手法（スコア別最適化）によって得られる画像スコアを補正する。
これにより、結果として時刻拡散性の観点から望ましい画像を含む経路の積算スコアが高くなるために、時刻拡散の観点から適切な画像の組み合わせの経路が選択されやすくなる。

本例では、まず、各画像の撮影時刻と撮影順とを用いて、時刻拡散性を判断する上でのその画像の評価を算出する［式（１）］。
Ｖａｌｕｅ_ｐ＝（α×ｐ）＋（１−α）ＣａｐｔＴｉｍｅ_ｐ・・・（１）
なお、「α」は混合比であり、「ｐ」は画像番号であり、「ＣａｐｔＴｉｍｅ_ｐ」は画像ｐの撮影時刻であり、「Ｖａｌｕｅ_ｐ」は画像ｐの評価を示す値である。ただし、画像の撮影時刻と撮影順とから評価を算出することができれば、式（１）以外の関数を用いることとしてもよい。

また、画像ｐがハイライト動画において配置されると望ましいと考えられる配置時間を算出する［式（２）］。
ＥｘＴｉｍｅ_ｐ＝（Ｖａｌｕｅ_ｐ／Ｖａｌｕｅ_ｍａｘ）ＨＬＴｉｍｅ・・・（２）
なお、「ＥｘＴｉｍｅ_ｐ」はハイライト動画内における画像ｐの望ましい配置時間（期待ハイライト時間）であり、「Ｖａｌｕｅ_ｍａｘ」は最終画像の評価を示す値であり、「ＨＬＴｉｍｅ」はハイライト動画の合計再生時間である。

さらに、式（２）で算出した画像ｐの期待ハイライト時間が、スコア別最適化における注目時刻から乖離している度合い（時刻誤差率）を算出する［式（３）］。
ＤｉｆｆＲａｔｅ_ｐ＝ａｂｓ（ＦｌｄＴｉｍｅ−Ｅｘｔｉｍｅ_ｐ／ＨＬＴｉｍｅ）
・・・（３）
なお、「ＤｉｆｆＲａｔｅ_ｐ」は画像ｐのハイライト動画内における時刻誤差率を示す値であり、「ＦｌｄＴｉｍｅ」はハイライト動画における注目時刻である。また、「ａｂｓ」は絶対値を取る演算子である。ここで、注目時刻は、ハイライト動画における画像の切り替えタイミングの目安となる時刻である。例えば、ハイライト動画の候補画像に分配された個別再生時間の平均でハイライト動画の合計再生時間（または最大再生時間）を除算することにより、１つの画像が表示される平均期間を求め、ハイライト動画の合計再生時間（または最大再生時間）を平均期間毎の区分（セクション）に分割する。すると、このセクションの境界が画像を切り替えるべき注目時刻となる。
そして、算出した時刻誤差率を１から減算することで、注目時刻に対する画像ｐのペナルティを算出する［式（４）］。
Ｋｐ＝１−ＤｉｆｆＲａｔｅ_ｐ・・・（４）

図４は、式（４）で表されるペナルティＫｐ（１≧Ｋｐ≧０）の特性を示す模式図である。
図４に示すように、画像ｐの時刻拡散性に関するペナルティＫｐは、期待ハイライト時間から離れるほど、０に近づく。即ち、期待ハイライト時間に近い位置（注目時刻）に画像ｐが配置される場合ほど、ペナルティＫｐの値が１に近づき、スコア別最適化で算出された画像スコアをペナルティＫｐで補正（例えば乗算）した場合に、大きいスコアが維持される。例えば、図２（ｂ）において、画像ｐが配置される再生時間ｔが期待ハイライト時間に近い場合ほど、マトリクス内の画像スコアは大きい値が維持されるように補正され、再生時間ｔが期待ハイライト時間から離れるほど、マトリクス内の画像スコアが小さくなるように補正される。

そのため、スコア別最適化における画像の組み合わせの経路それぞれにおいて、画像の時刻拡散性に応じて画像スコアにペナルティを与えると、期待ハイライト時間が注目時刻に近い画像のスコアが相対的に高く補正される。このように補正された画像のスコアを含む各経路の積算スコアを算出し、最も積算スコアが高い組み合わせの経路を選択すると、時刻拡散性の観点から適切な画像を含む経路が選択される。
なお、本例では、ペナルティＫｐは、「１」を上限とし、画像スコアを減少させる補正値として説明するが、ペナルティＫｐとして１より大きい値を許容し、画像スコアを増加させる補正値とすることとしてもよい。

図２（ｃ）において、時刻拡散性を向上させた際の組み合わせ最適化の例を示す。
図２（ｃ）も図２（ｂ）と同様に、撮影順に画像Ａ乃至画像Ｄを、ハイライト画像を構成するフレーム画像の候補の画像としている。
画像Ａ乃至画像Ｄでは、画像の特徴量に基づいて算出された画像スコアが設定されており、画像Ａ［Ｓｃｏｒｅ：８］、画像Ｂ［Ｓｃｏｒｅ：５］、画像Ｃ［Ｓｃｏｒｅ：１０］、画像Ｄ［Ｓｃｏｒｅ：６］となっている。また、画像スコアに基づいて画像の個別再生時間が分配されており、画像Ａ［Ｔｉｍｅ：２ｓｅｃ］、画像Ｂ［Ｔｉｍｅ：３ｓｅｃ］、画像Ｃ［Ｔｉｍｅ：１ｓｅｃ］、画像Ｄ［Ｔｉｍｅ：２ｓｅｃ］が分配される。
また、各画像に対し、期待ハイライト時間（ＥｘＴｉｍｅ）が次のように設定されている。
画像Ａ［ＥｘＴｉｍｅ：２］、画像Ｂ［ＥｘＴｉｍｅ：４］、画像Ｃ［ＥｘＴｉｍｅ：５］、画像Ｄ［ＥｘＴｉｍｅ：６］となっている。

このように画像スコアと個別再生時間が設定された画像群において、図２（ｃ）においても、図２（ｂ）と同様の組み合わせ経路探索を行う。最適経路探索の際に、上述した時刻拡散性向上のため、各画像に設定された期待ハイライト時間と注目時刻とに基づき、画像のスコアに対し、ペナルティを与える。説明の簡略化のため、図２（ｃ）においては期待ハイライト時間と１ｓｅｃ離れる毎に２０％ずつスコアを減算するように設定した。
上記のように設定された経路において、経路を構成する全ての画像の積算スコアを算出して、最大の積算スコアの経路の組み合わせを選択する。
本例では時刻拡散性を考慮しない図２（ｂ）と異なり、積算スコア［２０］となる経路が、積算スコアが最大となる経路となる。この経路は、画像Ａを起点ノードとして、画像Ｂと、画像Ｃの組み合わせからなる。即ち、画像Ａ→画像Ｂ→画像Ｃの経路が最適パスとなる。

図５は、図１の撮像装置１の機能的構成のうち、ハイライト動画生成処理を実行するための機能的構成を示す機能ブロック図である。

ハイライト動画生成処理とは、複数の候補画像の中から、選択した画像スコアの高い組み合わせとなる候補画像からなるハイライト動画を生成する一連の処理をいう。

ハイライト動画生成処理が実行される場合には、図５に示すように、ＣＰＵ１１において、モード設定部５１と、画像取得部５２と、特徴量算出部５３と、動画再生時間設定部５４と、画像再生時間設定部５５と、経路設定部５６と、スコア補正部５７と、画像選択部５８と、動画生成部５９と、が機能する。

また、記憶部２０の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、撮影時に取得したセンサ情報と対応付けられた画像のデータが記憶される。

モード設定部５１は、例えば、ユーザにより入力部１８を介してモードを設定する。

本実施形態では、「ノーマルモード」と、「時刻拡散性向上モード」とが設定可能となる。
「ノーマルモード」は、設定された動画の合計再生時間が最大再生時間内に納まる時間で、合計したスコアが最も高いスコアとなる組み合わせの経路を選択して、選択された経路を構成する画像をフレーム画像として選択するモードである。「ノーマルモード」では、上述した［スコア別最適化］の手法を用いて、画像の組み合わせの経路選択を行う。
「時刻拡散性向上モード」は、撮影時刻がより適切に拡散するように画像するモードである。「時刻拡散性向上モード」では、上述した［時刻拡散性の向上］の手法を用いて、「ノーマルモード」で算出される候補画像のスコアを補正して、画像の組み合わせの経路選択を行う。

画像取得部５２は、ハイライト動画の対象となる複数の候補画像を画像記憶部７１から取得する。画像取得部５２によって取得される画像には、撮像時刻や撮像画像の通し番号（撮影順）を含む撮影情報が付加されている。

特徴量算出部５３は、上述の「スコア別最適化」の手法に従って、取得した候補画像毎に特徴量を算出する。本実施形態において特徴量は、候補画像を画像解析して、解析した画像内における特徴点等に基づいて算出する。また、特徴量算出部５３は、特徴量に基づいて、候補画像のスコアを算出し、スコアに応じて候補画像のランク付けを行う。即ち、スコアとランクが候補画像に付される。

動画再生時間設定部５４は、ユーザにより入力部１８を介してハイライト動画の最大再生時間（例えば、６ｓｅｃ）を設定する。

画像再生時間設定部５５は、スコアに基づいて決定される候補画像のランクに応じて、動画内における候補画像の個別再生時間を設定する。なお、候補画像の個別再生時間は、スコアやランクにかかわらず、ユーザによって設定可能に構成してもよい。

経路設定部５６は、画像の撮影順と設定された候補画像の個別再生時間に基づいて、ハイライト動画の最大再生時間と候補画像によって構成されるマトリクスに選択可能な経路の組み合わせ（配列）を設定する。即ち、経路設定部５６は、画像の撮影順を配列の制約としつつ、ハイライト動画の最大再生時間内に収まる候補画像の組み合わせ（配列）を設定する。

スコア補正部５７は、設定されたモードに応じて画像スコアを補正する。ただし、「ノーマルモード」の場合には、スコア補正部５７は、画像スコアを補正しない。
なお、「時刻拡散性向上モード」の場合には、スコア補正部５７は、上述した［時刻拡散性の向上］の手法に従って、撮影時刻及び撮影順の指標を基に、注目時刻に対応して、各画像の時刻拡散性を表すペナルティＫｐを算出し、そのペナルティＫｐで、スコア別最適化によって得られる画像スコアを補正する。

画像選択部５８は、積算スコアが最も高くなる経路を選択して、経路を構成する候補画像を選択する。なお、「時刻拡散性向上モード」の場合には、ペナルティＫｐで画像スコアが補正された後の積算スコアに基づいて、経路が選択される。

動画生成部５９は、画像選択部５８によって選択された経路の候補画像を、設定された最大再生時間内の合計再生時間となるように構成したハイライト動画を生成する。

図６は、図５の機能的構成を有する図１の撮像装置１が実行するハイライト動画生成処理の流れを説明するフローチャートである。
ハイライト動画生成処理は、ユーザによる入力部１８へのハイライト動画生成処理開始の操作により開始される。

ステップＳ１において、モード設定部５１は、例えば、ユーザにより入力部１８を介してモードを設定する。
本実施形態では、上述のように、「ノーマルモード」と、「時刻拡散性向上モード」とが設定可能となる。

ステップＳ２において、画像取得部５２は、ハイライト動画の対象となる複数の候補画像を画像記憶部７１から取得する。

ステップＳ３において、特徴量算出部５３は、取得した候補画像毎に特徴量を算出する。本実施形態において特徴量は、候補画像を画像解析して、解析した画像内における特徴点等に基づいて算出する。その後、特徴量に基づいて、候補画像のスコアを算出し、スコアに応じて候補画像のランク付けを行う。即ち、スコアとランクが候補画像に付される。

ステップＳ４において、動画再生時間設定部５４は、ユーザにより入力部１８を介してハイライト動画の最大再生時間（例えば、６秒）を設定する。

ステップＳ５において、画像再生時間設定部５５は、スコアに基づいて決定される候補画像のランクに応じて、動画内における候補画像の個別再生時間を設定する。なお、候補画像の個別再生時間は、スコアやランクにかかわらず、ユーザによって設定可能に構成してもよい。

ステップＳ６において、経路設定部５６は、画像の撮影順と設定された候補画像の個別再生時間に基づいて、ハイライト動画の最大再生時間と候補画像によって構成されるマトリクスに選択可能な経路の組み合わせ（配列）を設定する。

ステップＳ７において、スコア補正部５７は、設定されたモードに応じてスコアを補正する。
即ち、「時刻拡散性向上モード」の場合には、スコア補正部５７は、上述の［時間拡散性の向上］の手法に従って、撮影時刻及び撮影順の指標を基に、注目時刻に対応して、各画像の時刻拡散性を表すペナルティ量を算出する。そして、スコア補正部５７は、そのペナルティ量で、スコア別最適化によって得られる画像スコアを補正する。一方、「ノーマルモード」の場合には、ステップＳ７の処理はスキップされる。

ステップＳ８において、画像選択部５８は、積算スコアが最も高くなる経路を選択して、経路を構成する候補画像を選択する。

ステップＳ９において、動画生成部５９は、画像選択部５８によって選択された経路の候補画像を、設定された最大再生時間内の合計再生時間となるように構成したハイライト動画を生成する。
その後、ハイライト動画生成処理は終了する。

このような処理により、候補画像の撮影時刻及び撮影順から候補画像のハイライト動画の合計再生時間（または最大再生時間）内における期待ハイライト時間が算出され、期待ハイライト時間が注目時刻に近いほど、候補画像の画像スコアが、より大きいペナルティＫｐで補正される。
そのため、期待ハイライト時間が注目時刻に近い候補画像を含む経路の積算スコアが高くなるために、時刻拡散の観点から適切な画像の組み合わせの経路が選択されやすくなる。
したがって、撮影された複数の画像から撮影時刻が偏らず、バランス良く画像を選択することができる。即ち、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることができる。
また、候補画像の撮影時刻及び撮影順を基に候補画像の評価を行うことで、ハイライト動画における画像選択の優先度を制御することが可能となる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
本実施形態に係る撮像装置１は、［時刻拡散性の向上］の手法が第１実施形態と異なっているため、以下、［時刻拡散性の向上］の手法に関する部分を主として説明し、他の部分の説明は、第１実施形態を参照することとする。

［時刻拡散性の向上］
第１実施形態で説明したように、スコア別最適化を行った場合、選択される画像の組み合わせにおいて、近い撮影時刻で撮影された画像が偏って選ばれてしまうことがある。
即ち、図３において、画像Ｉ１〜Ｉ１５までは、一定間隔で撮影されているが、その後の画像Ｉ６〜Ｉ７までしばらく撮影されず、その後も時間が空いた後に画像Ｉ８〜Ｉ１７が撮影されている。このように撮影時刻の分布が不均一な場合、スコア別最適化の結果によって画像を選択すると、近い時刻で撮影された画像が複数選択され、撮影時刻の偏りが生じるため、適切な画像の選択を行うことができない。
そこで、本手法では、ハイライト動画の候補画像に分配された個別再生時間の平均でハイライト動画の合計再生時間（または最大再生時間）を除算することにより、１つの画像が表示される平均期間を求め、ハイライト動画の合計再生時間（または最大再生時間）を平均期間毎の区分（セクション）に分割する。すると、このセクションの境界が注目時刻となる。
そして、候補画像全体の撮影時刻の範囲（最も早い撮影時刻から最も遅い撮影時刻までの実時間の範囲）における各候補画像の撮影時刻に基づく分布をハイライト動画の合計再生時間（または最大再生時間）を撮影時刻の範囲として対応させた画像分布を算出し、候補画像を算出された画像分布に応じて、ハイライト動画の合計再生時間内におけるセクションに振り分ける。
さらに、候補画像を選択する場合、注目時刻を起点とするセクションに含まれる候補画像については、より大きいペナルティＫｐで画像スコアが高くなるように補正し、セクションに含まれない候補画像については、より小さいペナルティＫｐで画像スコアが低くなるように補正する。
これにより、結果として時刻拡散性の観点から望ましい画像を含む経路の積算スコアが高くなるために、積算スコアの高くなる組み合わせを選択することで、時刻拡散性の観点から適切な画像の組み合わせの経路が選択されやすくなる。

図７は、注目時刻に対するペナルティＫｐの設定例を示す模式図である。
なお、図７においては、開始時刻ｔ０〜終了時刻ｔ４までに４つのセクションＳＣ１〜ＳＣ４が含まれるハイライト動画において、時刻ｔ＝２が注目時刻である場合のペナルティＫｐの設定例を示している。
注目時刻が２．０ｓｅｃである場合、時刻ｔが２．０〜３．０ｓｅｃのセクションＳＣ３には、ペナルティＫｐとして「１」が設定されている。
また、セクションＳＣ３に隣接するセクションＳＣ２及びセクションＳＣ４には、セクションＳＣ３から離れるほどスコアが減少するようにペナルティＫｐ（図７中の実線）が設定されている。
なお、セクションＳＣ３から最も離れたセクションＳＣ１には、最小のペナルティＫｐ（ここでは０．２５）が設定されている。
同様の処理を、注目時刻が時刻ｔ＝１からｔ＝４の時点に順番に変化することで、ペナルティの高く設定されるセクションがＳＣ１からＳＣ４に順番に変化し、最適な経路の選択を行う。
このように設定されたペナルティＫｐで各画像（画像Ａ〜Ｇ）の画像スコアを補正し、積算スコアが最も高くなる経路（最適パス）を選択することにより、時刻拡散性の観点から適切な画像を含む経路が選択される。
なお、ペナルティＫｐを設定する場合、同一のセクションには一定値のペナルティＫｐの値を設定することも可能である。
例えば、図７中に破線で示すように、セクションＳＣ３に隣接するセクションＳＣ２及びセクションＳＣ４には、一定のペナルティＫｐ（ここでは０．５）を設定することとしてもよい。

また、本実施形態においては、第１実施形態の図５に示す機能ブロック図において、スコア補正部５７が上述のペナルティＫｐに基づく画像スコアの補正を行う。
即ち、スコア補正部５７は、設定されたモードに応じて画像スコアを補正する。ただし、「ノーマルモード」の場合には、スコア補正部５７は、画像スコアを補正しない。
具体的には、「時刻拡散性向上モード」の場合には、スコア補正部５７は、本実施形態における［時刻拡散性の向上］の手法に従って、候補画像を撮影時刻に応じて、ハイライト動画のセクションに振り分ける。そして、スコア補正部５７は、注目時刻毎に、その注目時刻を起点とするセクションに振り分けられた各画像のペナルティＫｐを相対的に高く設定して、画像スコアが高く維持されるよう補正する。
これにより、結果として時刻拡散性の観点から望ましい画像を含む経路の積算スコアが高くなるために、時刻拡散の観点から適切な画像の組み合わせの経路が選択されやすくなる。

図８は、第２実施形態に係る撮像装置１が実行するハイライト動画生成処理の流れを説明するフローチャートである。
ハイライト動画生成処理は、ユーザによる入力部１８へのハイライト動画生成処理開始の操作により開始される。
図８において、ステップＳ１〜ステップＳ６、ステップＳ８及びステップＳ９の処理は、図６に示す第１実施形態のハイライト動画生成処理と同様である。
ステップＳ６の後、ステップＳ７１において、スコア補正部５７は、ハイライト動画の候補画像に分配された個別再生時間の平均でハイライト動画の合計再生時間（または最大再生時間）を除算することにより、１つの画像が表示される平均期間を求め、ハイライト動画の合計再生時間（または最大再生時間）を平均期間毎の区分（セクション）に分割する。
ステップＳ７２において、スコア補正部５７は、候補画像の撮影時刻の範囲（最も新しい撮影時刻から最も古い撮影時刻までの実時間の範囲）をハイライト動画の合計再生時間（または最大再生時間）に割り当て、候補画像を撮影時刻に応じて、ハイライト動画のセクションに振り分ける。
ステップＳ７３において、スコア補正部５７は、注目時刻を起点とするセクションに含まれる候補画像について、相対的に他の画像より高いペナルティＫｐで画像スコアが高く維持されるよう補正する。
なお、ステップＳ７１〜ステップＳ７３の処理は、「時刻拡散性向上モード」の場合に実行され、「ノーマルモード」の場合にはスキップされる。
ステップＳ７３の後、処理はステップＳ８に移行する。

このような処理により、候補画像の撮影時刻の分布がハイライト動画の合計再生時間（または最大再生時間）内における位置の分布に対応付けられ、注目時刻を起点とするセクションに振り分けられた候補画像の画像スコアが、より大きいペナルティＫｐでスコアが高いまま維持されるよう補正される。
そのため、注目時刻を起点とするセクションに位置する候補画像を含む経路の積算スコアが高くなるために、時刻拡散の観点から適切な画像の組み合わせの経路が選択されやすくなる。
したがって、撮影された複数の画像からバランス良く画像を選択することができる。即ち、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることができる。
また、第１実施形態における［時刻拡散性の向上］の手法に対して、より軽い負荷の処理で、撮影された複数の画像からバランス良く画像を選択する機能を実現することができる。
なお、本実施形態において、最大再生時間を設定することに代えて、画像の最大再生枚数を設定し、最大再生枚数を制約として候補画像から静止画を複数選択することにより、これら複数の画像を含む１枚の画像（いわゆるコラージュ画像等）を生成することとしてもよい。
これにより、時刻拡散の観点から適切な画像の組み合わせを選択することができるため、撮影された複数の画像からバランス良く選択された画像によって１枚の画像を生成することができる。

［変形例１］
第１実施形態において、ペナルティＫｐは、式（４）のように算出する他、種々の方法で算出することが可能である。
例えば、式（４）の右辺を２乗したものをペナルティＫｐとすることができる。
また、ペナルティＫｐを期待ハイライト時間を中心とするガウス分布として設定することも可能である。
図９は、ペナルティＫｐをガウス分布とした場合の特性を示す模式図である。
図９に示すように、ペナルティＫｐをガウス分布（図９中の実線）とした場合、期待ハイライト時間からの乖離に応じて、ペナルティＫｐの変化が、図４の示す特性よりも強調されたものとなる。
なお、図９中に破線で示すように、ペナルティＫｐの値に上限及び下限を設け、値をクリップすることとしてもよい。

以上のように構成される撮像装置１は、画像取得部５２と、特徴量算出部５３と、スコア補正部５７と、画像選択部５８とを備える。
画像取得部５２は、複数の画像を取得する。
画像取得部５２は、複数の画像の撮像タイミングに関する情報を取得する。
特徴量算出部５３及びスコア補正部５７は、撮像タイミングに関する情報に基づいて複数の画像を評価する。
画像選択部５８は、特徴量算出部５３及びスコア補正部５７による評価結果に基づいて、複数の画像から所定数の画像を選択する。
これにより、画像の撮像タイミングを加味して画像を評価することができるため、時刻拡散の観点から適切な画像の組み合わせを選択することができる。
したがって、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることができる。

特徴量算出部５３は、撮像タイミングに関する情報以外の所定の情報に基づいて複数の画像を評価する。
画像選択部５８は、撮像タイミングに関する情報と、特徴量算出部５３による評価結果とに基づいて複数の画像から所定数の画像を選択する。
これにより、複数の画像の撮像タイミングと、それ以外の評価結果とを反映させて、複数の画像を評価することができる。

スコア補正部５７は、特徴量算出部５３による評価結果を、画像の撮像タイミングに関する情報に基づいて評価する。
これにより、画像の評価を撮像タイミングに応じて変更することができる。

スコア補正部５７は、複数の画像の撮像タイミングと、画像選択部５８によって選択された画像から動画を生成する場合の各画像の表示タイミングとの関係に基づいて、複数の画像を評価する。
これにより、複数の画像の撮像タイミングと、動画を生成する場合の表示タイミングとの関係に応じて、複数の画像を評価することができるため、動画における表示タイミングとして、より適切な画像を選択することが可能となる。

経路設定部５６は、画像選択部５８により選択される画像数を設定する。
画像選択部５８は、経路設定部５６により設定された画像数に基づいて、複数の画像から画像を選択する。
これにより、再生される画像数を優先して、適切な画像を選択することが可能となる。

特徴量算出部５３は、画像が有する特徴量を算出して当該特徴量に基づく評価を行う。
スコア補正部５７は、撮像タイミングに基づいて、特徴量に基づく評価を補正することにより、画像の評価結果を算出する。
これにより、画像の特徴量に基づく評価に、撮像タイミングを反映させて画像の評価結果を算出することができるため、バランスの良い評価基準で画像を選択することができる。

また、撮像装置１は、動画再生時間設定部５４と、画像再生時間設定部５５とを備える。
画像再生時間設定部５５は、複数の画像それぞれに個別再生時間を設定する。
動画再生時間設定部５４は、複数の画像から選択された画像によって生成する動画の目標再生時間を設定する。
スコア補正部５７は、複数の画像の撮像順と撮像タイミングとに基づいて、目標再生時間内における画像の理想表示タイミングを設定する。
画像選択部５８は、理想表示タイミングと個別再生時間とに基づいて、目標再生時間内に収まる数の画像を選択する。
これにより、表示タイミングの観点からより適切な画像を適切な数だけ選択することが可能となる。

スコア補正部５７は、複数の画像の撮像タイミングの範囲を目標再生時間または選択された画像の合計再生時間に対応付け、目標再生時間または選択された画像の合計再生時間における各画像の理想表示タイミングを特定する。
これにより、目標再生時間における各画像の表示タイミングが、複数の画像の撮像タイミングと対応した画像を選択されやすくすることができる。

画像選択部５８は、理想表示タイミングに基づいて、複数の画像から所定の順序で画像を選択する。
これにより、理想表示タイミングに則した画像を選択することができる。

スコア補正部５７は、複数の画像から選択された画像によって生成する動画における基準時刻と、複数の画像の撮像タイミングとの比較結果に基づいて、特徴量に基づく評価を補正する。
これにより、動画における基準時刻と画像の撮像タイミングとを関連付けて動画を選択することができる。

スコア補正部５７は、複数の画像から選択された画像によって生成する動画における基準時刻と、複数の画像の撮像タイミングとの差が大きいほど、当該画像の特徴量に基づく評価を小さく補正する。
これにより、動画における基準時刻に適合する撮像タイミングの画像を選択されやすくすることができる。

スコア補正部５７は、複数の画像の撮像順と撮像タイミングとに重み付けをして評価値を算出し、当該評価値に基づいて複数の画像を評価する。
これにより、画像の撮影順と撮像タイミングとを適切に反映させて、画像の評価を行うことができる。

特徴量算出部５３は、複数の画像それぞれの属性情報に基づいて、画像が有する特徴量を算出する。
画像選択部５８は、特徴量に基づく評価が基準値よりも大きい画像を優先して選択する。
これにより、評価値が大きい画像を選択されやすくすることができる。

特徴量算出部５３は、属性情報としての画像の使用状況に関する情報に基づいて、特徴量を算出する。
これにより、ユーザの使用状況を反映させて、画像の特徴量を算出することができる。

使用状況は、再生回数に関する情報やＳＮＳへのアップロードに関する情報といった各種情報を含む。
これにより、画像の再生回数やＳＮＳへのアップロード等、ユーザによる各種形態での画像の使用状況を反映させて、画像の特徴量を算出することができる。

スコア補正部５７は、撮像タイミングに基づいて、複数の画像を複数のグループに分類し、分類されたグループに基づいて、画像それぞれを評価する。
これにより、時刻拡散の観点から適切な画像の組み合わせを選択することができる。

経路設定部５６は、複数の画像から選択された画像によって生成する動画の目標画像数を設定する。
画像選択部５８は、目標画像数の画像を複数の画像から選択する。
これにより、画像の枚数を基準として、複数の画像から撮影時刻の間隔が適切にとれたバランスの良い画像選択をすることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、ハイライト動画の制約として動画の最大再生時間としたが、これに限られず、例えば、動画を構成するフレーム画像の枚数であってもよい。

また、上述の実施形態では、複数の静止画を候補画像として取得して、取得した候補画像から画像を選択してハイライト動画を生成するように構成したが、例えば、１つまたは複数の動画において、動画を構成するフレーム画像を候補画像としてもよい。
また、ハイライト動画に代えて、複数の静止画が一枚の画像となっているような画像を生成するように構成してもよい。

また、上述の実施形態において、動画内における候補画像の個別再生時間は、画像スコアに基づいて決定される候補画像のランクに応じて設定するものとしたが、動画再生時間設定部５４が、スコア補正部５７によって補正された後の画像スコアに応じて、候補画像の個別再生時間を変化させることとしてもよい。

また、上述の実施形態において、特徴量算出部５３によって算出した画像スコアをスコア補正部５７によって補正するものとして説明したが、これに限られない。即ち、特徴量算出部５３が、スコア補正部５７の機能を備え、補正後の画像スコアを直接算出することとしてもよい。

また、上述の実施形態において、ハイライト動画の合計再生時間（または最大再生時間）をセクションに分割する場合、１つの画像が表示される平均期間（個別再生時間）によって分割するものとして説明したが、これに限られない。例えば、朝、昼及び夜等の任意のセクションを設定することとしてもよい。
また、セクションに候補画像が振り分けられた場合の画像の数に応じて、セクションの長さを変更することとしてもよい。例えば、セクションに含まれる画像の数が多いほど、セクションの長さを延長するように補正することが可能である。

また、上述の実施形態において、ハイライト動画の最大再生時間を設定して候補画像を選択するものとしたが、これに限られない。例えば、ハイライト動画に含める画像の枚数を設定して候補画像を選択するものとしてもよい。
この場合、経路設定部５６によって設定された候補画像の組み合わせのうち、設定された枚数の画像となる経路を選択することが可能である。また、経路設定部５６が、設定された枚数の画像となる経路のみを設定することとしてもよい。

また、上述の実施形態において、経路設定部５６がハイライト動画の最大再生時間と候補画像によって構成されるマトリクスに可能な経路の組み合わせ（配列）を設定する場合、画像スコアが基準値より大きいものを優先して選択することとしてもよい。あるいは、画像選択部５８が経路設定部５６によって設定された経路の組み合わせを選択する場合に、画像スコアが基準値より大きいものを含む経路を優先して選択することとしてもよい。例えば、積算スコアが同一あるいは近似する経路が選択可能な場合に、画像スコアが基準値よりも大きい画像を含む経路を選択すること等ができる。
これにより、画像スコアが大きい画像を選択されやすくすることができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、ハイライト動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を取得する画像取得手段と、
前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得手段と、
前記撮像タイミングに関する情報に基づいて前記複数の画像を評価する第一の評価手段と、
前記第一の評価手段による評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第一の評価手段は、前記撮像タイミングに関する情報以外の所定の情報に基づいて前記複数の画像を評価し、
前記選択手段は、前記撮像タイミングに関する情報と、前記第一の評価手段による前記評価結果とに基づいて前記複数の画像から前記所定数の画像を選択することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第一の評価手段による前記評価結果を、前記画像の撮像タイミングに関する情報に基づいて評価する第二の評価手段を更に備えることを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記第一の評価手段は、前記複数の画像の撮像タイミングと、前記選択手段によって選択された画像から動画を生成する場合の各画像の表示タイミングとの関係に基づいて、前記複数の画像を評価することを特徴とする付記１に記載の画像処理装置。
［付記５］
前記選択手段により選択される画像数を設定する選択画像数設定手段を更に備え、
前記選択手段は、前記選択画像数設定手段により設定された前記画像数に基づいて、前記複数の画像から前記画像数の画像を選択することを特徴とする付記１に記載の画像処理装置。
［付記６］
前記第一の評価手段は、前記画像が有する特徴量を算出して当該特徴量に基づく評価を行い、前記撮像タイミングに基づいて、前記特徴量に基づく評価を補正することにより、前記画像の評価結果を算出することを特徴とする付記１または２に記載の画像処理装置。
［付記７］
前記複数の画像それぞれに個別再生時間を設定する個別再生時間設定手段さらに備え、
前記選択画像数設定手段は、前記複数の画像から選択された画像によって生成する動画の目標再生時間を設定する目標再生時間設定手段を含み、
前記第一の評価手段は、前記複数の画像の撮像順と前記撮像タイミングとに基づいて、前記目標再生時間内における前記画像の理想表示タイミングを設定し、
前記選択手段は、前記理想表示タイミングと前記個別再生時間とに基づいて、前記目標再生時間内に収まる数の画像を選択することを特徴とする付記５に記載の画像処理装置。
［付記８］
前記第一の評価手段は、前記複数の画像の撮像タイミングの範囲を、前記目標再生時間または選択された前記画像の合計再生時間に対応付け、前記目標再生時間または選択された前記画像の合計再生時間における各画像の前記理想表示タイミングを特定する付記７に記載の画像処理装置。
［付記９］
前記選択手段は、前記理想表示タイミングに基づいて、前記複数の画像から所定の順序で画像を選択することを特徴とする付記７または８に記載の画像処理装置。
［付記１０］
前記第一の評価手段は、前記複数の画像から選択された画像によって生成する動画における基準時刻と、前記複数の画像の前記撮像タイミングとの比較結果に基づいて、前記特徴量に基づく評価を補正することを特徴とする付記６に記載の画像処理装置。
［付記１１］
前記第一の評価手段は、前記複数の画像から選択された画像によって生成する動画における基準時刻と、前記複数の画像の前記撮像タイミングとの差が大きいほど、当該画像の前記特徴量に基づく評価を小さく補正することを特徴とする付記１０に記載の画像処理装置。
［付記１２］
前記第一の評価手段は、前記複数の画像の撮像順と前記撮像タイミングとに重み付けをして評価値を算出し、当該評価値に基づいて前記複数の画像を評価することを特徴とする付記１から１１のいずれか１つに記載の画像処理装置。
［付記１３］
前記第一の評価手段は、前記複数の画像それぞれの属性情報に基づいて、前記画像が有する特徴量を算出し、
前記選択手段は、前記特徴量に基づく評価が基準値よりも大きい画像を優先して選択することを特徴とする付記１から１２のいずれか１つに記載の画像処理装置。
［付記１４］
前記評価手段は、前記属性情報としての前記画像の使用状況に関する情報に基づいて、前記特徴量を算出することを特徴とする付記１３に記載の画像処理装置。
［付記１５］
前記使用状況は、再生回数に関する情報やＳＮＳへのアップロードに関する情報といった各種情報を含むことを特徴とする付記１４に記載の画像処理装置。
［付記１６］
前記第一の評価手段は、前記撮像タイミングに基づいて、前記複数の画像を複数のグループに分類し、分類されたグループに基づいて、前記画像それぞれを評価することを特徴とする付記１から１５のいずれか１つに記載の画像処理装置。
［付記１７］
前記複数の画像から選択された画像によって生成する動画の目標画像数を設定する目標画像数設定手段を備え、
前記選択手段は、前記目標画像数の画像を前記複数の画像から選択することを特徴とする付記１から１７のいずれか１つに記載の画像処理装置。
［付記１８］
画像処理装置で実行される画像処理方法であって、
複数の画像を取得する画像取得処理と、
前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得処理と、
前記撮像タイミングに関する情報に基づいて、前記複数の画像を評価する評価処理と、
前記評価処理における評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択処理と、
を含むことを特徴とする画像処理方法。
［付記１９］
画像処理装置を制御するコンピュータに、
複数の画像を取得する画像取得機能と、
前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得機能と、
前記撮像タイミングに関する情報に基づいて、前記複数の画像を評価する評価機能と、
前記評価機能による評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択機能と、
を実現させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・モード設定部，５２・・・画像取得部，５３・・・特徴量算出部，５４・・・動画再生時間設定部，５５・・・画像再生時間設定部，５６・・・経路設定部，５７・・・スコア補正部，５８・・・画像選択部，５９・・・動画生成部，７１・・・画像記憶部

Claims (19)

1. 複数の画像を取得する画像取得手段と、
   前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得手段と、
   前記撮像タイミングに関する情報に基づいて前記複数の画像を評価する第一の評価手段と、
   前記第一の評価手段による評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第一の評価手段は、前記撮像タイミングに関する情報以外の所定の情報に基づいて前記複数の画像を評価し、
   前記選択手段は、前記撮像タイミングに関する情報と、前記第一の評価手段による前記評価結果とに基づいて前記複数の画像から前記所定数の画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の評価手段による前記評価結果を、前記画像の撮像タイミングに関する情報に基づいて評価する第二の評価手段を更に備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第一の評価手段は、前記複数の画像の撮像タイミングと、前記選択手段によって選択された画像から動画を生成する場合の各画像の表示タイミングとの関係に基づいて、前記複数の画像を評価することを特徴とする請求項１に記載の画像処理装置。
5. 前記選択手段により選択される画像数を設定する選択画像数設定手段を更に備え、
   前記選択手段は、前記選択画像数設定手段により設定された前記画像数に基づいて、前記複数の画像から前記画像数の画像を選択することを特徴とする請求項１に記載の画像処理装置。
6. 前記第一の評価手段は、前記画像が有する特徴量を算出して当該特徴量に基づく評価を行い、前記撮像タイミングに基づいて、前記特徴量に基づく評価を補正することにより、前記画像の評価結果を算出することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記複数の画像それぞれに個別再生時間を設定する個別再生時間設定手段さらに備え、
   前記選択画像数設定手段は、前記複数の画像から選択された画像によって生成する動画の目標再生時間を設定する目標再生時間設定手段を含み、
   前記第一の評価手段は、前記複数の画像の撮像順と前記撮像タイミングとに基づいて、前記目標再生時間内における前記画像の理想表示タイミングを設定し、
   前記選択手段は、前記理想表示タイミングと前記個別再生時間とに基づいて、前記目標再生時間内に収まる数の画像を選択することを特徴とする請求項５に記載の画像処理装置。
8. 前記第一の評価手段は、前記複数の画像の撮像タイミングの範囲を、前記目標再生時間または選択された前記画像の合計再生時間に対応付け、前記目標再生時間または選択された前記画像の合計再生時間における各画像の前記理想表示タイミングを特定する請求項７に記載の画像処理装置。
9. 前記選択手段は、前記理想表示タイミングに基づいて、前記複数の画像から所定の順序で画像を選択することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第一の評価手段は、前記複数の画像から選択された画像によって生成する動画における基準時刻と、前記複数の画像の前記撮像タイミングとの比較結果に基づいて、前記特徴量に基づく評価を補正することを特徴とする請求項６に記載の画像処理装置。
11. 前記第一の評価手段は、前記複数の画像から選択された画像によって生成する動画における基準時刻と、前記複数の画像の前記撮像タイミングとの差が大きいほど、当該画像の前記特徴量に基づく評価を小さく補正することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第一の評価手段は、前記複数の画像の撮像順と前記撮像タイミングとに重み付けをして評価値を算出し、当該評価値に基づいて前記複数の画像を評価することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記第一の評価手段は、前記複数の画像それぞれの属性情報に基づいて、前記画像が有する特徴量を算出し、
    前記選択手段は、前記特徴量に基づく評価が基準値よりも大きい画像を優先して選択することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記評価手段は、前記属性情報としての前記画像の使用状況に関する情報に基づいて、前記特徴量を算出することを特徴とする請求項１３に記載の画像処理装置。
15. 前記使用状況は、再生回数に関する情報やＳＮＳへのアップロードに関する情報といった各種情報を含むことを特徴とする請求項１４に記載の画像処理装置。
16. 前記第一の評価手段は、前記撮像タイミングに基づいて、前記複数の画像を複数のグループに分類し、分類されたグループに基づいて、前記画像それぞれを評価することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記複数の画像から選択された画像によって生成する動画の目標画像数を設定する目標画像数設定手段を備え、
    前記選択手段は、前記目標画像数の画像を前記複数の画像から選択することを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 画像処理装置で実行される画像処理方法であって、
    複数の画像を取得する画像取得処理と、
    前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得処理と、
    前記撮像タイミングに関する情報に基づいて、前記複数の画像を評価する評価処理と、
    前記評価処理における評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択処理と、
    を含むことを特徴とする画像処理方法。
19. 画像処理装置を制御するコンピュータに、
    複数の画像を取得する画像取得機能と、
    前記複数の画像の撮像タイミングに関する情報を取得するタイミング取得機能と、
    前記撮像タイミングに関する情報に基づいて、前記複数の画像を評価する評価機能と、
    前記評価機能による評価結果に基づいて、前記複数の画像から所定数の画像を選択する選択機能と、
    を実現させることを特徴とするプログラム。

Images