JP2018166314A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザにとって趣向性の高い集約画像を提供すること。
【解決手段】撮像装置１は、画像取得部５１と、候補画像選択部５３（候補画像選択部５３ａ）と、類似度算出部５４と、動画生成部５６と、を備える。画像取得部５１は、動画像を取得する。動画生成部５６は、動画像の代表画像と、動画像とは異なる複数の画像とを合成して１つの画像を生成する。類似度算出部５４は、動画生成部５６により動画像の時間的または空間的に前または後に合成される画像と、動画像との類似度を算出する。候補画像選択部５３は、類似度算出部５４による算出結果に基づいて、動画像から代表画像を特定する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

複数の画像から所定数の画像を合成して画像を生成する技術が知られている（特許文献１を参照）。

特開２０１６−０６６３４３号公報

上記特許文献１には、複数の静止画像と動画像の代表画像とから評価の高いものを優先的に選択して新たに１つの集約画像を生成する技術が開示されている。このような集約画像の作成技術に用いられる代表画像は、動画像の先頭区間か評価値の高い区間を代表画像として選出している。しかしながら、上述のように選出される代表画像は前後の画像と内容が似通ってしまい、結果的に得られる集約画像が趣向性を欠いた単調なものになってしまうことがあった。

本発明は係る問題に鑑みてなされたものであり、ユーザにとって趣向性の高い集約画像を提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理置は、
動画像を取得する取得手段と、
前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成手段と、
前記合成手段により前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出手段と、
前記算出手段による算出結果に基づいて、前記動画像から前記代表画像を特定する特定手段と、
を備える。

本発明によれば、ユーザにとって趣向性の高い集約画像を提供できる。

本発明の実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本発明の第１の実施形態において生成される集約画像を説明するための模式図である。 図１の撮像装置の機能的構成のうち、第１の実施形態において代表画像抽出処理を実行するための機能的構成を示す機能ブロック図である。 図３の機能的構成を有する本発明の第１の実施形態としての撮像装置が実行する代表画像抽出処理の流れの一例を説明するフローチャートである。 第２の実施形態において生成される集約画像を説明するための模式図である。 図１の撮像装置の機能的構成のうち、第２の実施形態において代表画像抽出処理を実行するための機能的構成を示す機能ブロック図である。 図６の機能的構成を有する本発明の第１の実施形態としての撮像装置が実行する代表画像抽出処理の流れの一例を説明するフローチャートである。 第１の実施形態の変形例における代表画像抽出処理の流れを説明するフローチャートである。 前後に配置される画像との類似度を加味して選択した代表画像を用いてハイライト動画を生成するハイライト動画生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
［ハードウェア構成］
図１は、本発明の第１実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、本発明の画像処理装置の一実施形態として実現されるものであり、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

センサ部１７は、加速度や角速度の情報を取得する加速度センサやジャイロセンサといった各種センサにより構成される。
本実施形態においては、撮像部１６において撮影が行われた場合には、撮影時のセンサ情報を取得して、撮影した画像に対応付けて記憶しておく。

入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

ここで、本実施形態における集約画像の生成方法について説明する。
集約画像とは、１または複数の画像（画像の一部または全部を含む。）から、特徴的な画像を集約して１つの画像としたものである。なお、ここで対象とする画像には、静止画及び動画のいずれも含むことができる。本実施形態においては、１つの動画ファイルを区分した部分的な動画（以下、「部分動画」と称する。）を候補画像とし、これら候補画像のうち、特徴的な部分動画を代表画像として選択する。そして、これら代表画像を集約することにより１つの動画（集約画像）を生成する。なお、動画ファイルの動画以外の候補画像と、選択された部分動画（動画ファイルの代表画像）とから集約画像を生成することも可能である。
図２は、本発明の第１の実施形態において生成される集約画像を説明するための模式図である。
図２に示すように、本発明の第１の実施形態では、１つの動画ファイルを、時間区間Ｔａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅ、Ｔｆ、Ｔｇ、Ｔｈ・・・毎に区切って部分動画を抽出する。そして、複数の部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・、Ｋ部から、類似度及び特徴量から定められるスコアに基づいて、一部の部分動画を選択することにより集約画像を生成する。即ち、本実施形態における集約画像は、類似度がより低いこと及びスコアがより高いことを条件として、１つの動画ファイルから選択された部分動画を集約したハイライト動画である。

ここで、部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・には、ハイライト動画の生成に際して、あるいは、事前に、部分動画のスコアが設定されている。部分動画のスコアは、例えば、部分動画の特徴量を基に設定することができる。部分動画の特徴量としては、画像の内容を解析して算出される指標（例えば、人物の顔が写っていること、ブレが小さいこと等）や、撮影時の撮影パラメータやセンサ情報から算出される指標（撮影状況の適否等）を用いることができる。なお、部分動画の特徴量は、フレーム毎に算出した特徴量を平均化して部分動画の特徴量としたり、部分動画における特徴量の代表値（最高値または最低値等）を特徴量として採用したりすることができる。

図２に示すように、部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・には、スコアＰａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅ、Ｐｆ、Ｐｇ、Ｐｈ・・・が設定されている。
そして、後述する代表画像抽出処理によって、スコアＰａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅ、Ｐｆ、Ｐｇ、Ｐｈ・・・から、基準とする部分動画Ｐｘ（後述する最新の選択された部分動画）に対する部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・の類似度を加味した換算スコアＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅ、Ｓｆ、Ｓｇ、Ｓｈ・・・が算出される。ここで、換算スコアは、基準とする部分動画Ｐｘとの類似度が高い程、部分動画のスコアを低くする演算によって算出される。

この結果、Ｐａ＞Ｐｈ＞Ｐｃ＞Ｐｄ＞Ｐｅ＞Ｐｆ＞Ｐｇ＞・・・の関係を有するスコアの順位が、一例として、換算スコアでは、Ｓａ＞Ｓｃ＞Ｓｆ＞Ｓｇ＞Ｓｂ＞Ｓｄ＞Ｓｅ＞・・・＞Ｓｈとなる。
即ち、基準とする部分動画Ｐｘに対しては、換算スコアが最高である部分動画Ａ部を、動画を代表する画像（代表画像）として暫定バッファに格納する。
このような処理を最新の選択された部分動画（代表画像）について順次行うことにより、既に選択されている代表画像との類似度がより低く、スコアがより高い部分動画が代表画像として選択される。

［機能的構成］
図３は、図１の撮像装置１の機能的構成のうち、代表画像抽出処理を実行するための機能的構成を示す機能ブロック図である。

代表画像抽出処理とは、１つの動画ファイルを区分した部分的な動画（部分動画）の中から、互いの類似度を加味して、スコアの高い組み合わせとなる部分動画を代表画像として選択する一連の処理をいう。

代表画像抽出処理が実行される場合には、図２に示すように、ＣＰＵ１１において、画像取得部５１と、スコア設定部５２と、候補画像選択部５３と、類似度算出部５４と、換算スコア算出部５５と、動画生成部５６と、が機能する。

また、記憶部２０の一領域には、画像記憶部７１と、候補画像保持部７２とが設定される。
画像記憶部７１には、画像取得部５１によって取得された各種動画のデータが記憶される。本実施形態において、動画のデータには、撮影時に取得した撮影パラメータやセンサ情報等の付随情報が対応付けられている。
候補画像保持部７２には、代表画像抽出処理の過程で暫定的に選択される代表画像が記憶される。即ち、候補画像保持部７２は、代表画像を暫定的に記憶する暫定バッファとなる。

画像取得部５１は、代表画像抽出処理の対象となる動画ファイルのデータを画像記憶部７１から取得する。
スコア設定部５２は、取得した動画ファイルにおいて特定される部分動画毎に特徴量を算出し、特徴量に基づいて、各部分動画のスコアを設定（部分動画を評価）する。本実施形態において、部分動画の特徴量は、部分画像を画像解析して、解析した画像内における特徴点等に基づいて算出される。また、部分動画のスコアは、特徴量から自動的に設定することや、特徴量を参照してユーザが設定すること等が可能である。

候補画像選択部５３は、動画ファイルにおける各部分動画（候補画像）の中からスコアが最高の部分動画を初めに選択する。そして、候補画像選択部５３は、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、換算スコアが最高の部分動画を次の部分動画として選択する。以降、候補画像選択部５３は、最新の選択された部分動画に対して、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、ハイライト動画に設定された再生時間が充足されるまで、換算スコアが最高の部分動画を順次選択する。なお、候補画像選択部５３によって選択された部分動画は、予め記憶容量が設定された暫定バッファに順次格納される。

類似度算出部５４は、最新の選択された部分動画と、他の選択されていない各部分動画との類似度を算出する。
換算スコア算出部５５は、類似度算出部５４によって算出された類似度および各部分動画のスコアに基づいて、最新の選択された部分動画に対して、他の選択されていない部分動画の換算スコアを算出する。換算スコアは、２つの部分動画の類似度を加味したスコアであり、一例として、基準とする部分動画（ここでは最新の選択された部分動画）に対して、他の選択されていない各部分動画の類似度とスコアとを乗算することにより算出される。なお、ここで用いられる類似度は、２つの部分動画の類似度合いが高い程、低い値となるパラメータである。
動画生成部５６は、候補画像選択部５３によって選択された各部分動画（代表画像）を動画ファイルにおける時系列順に配置して合成することにより、ハイライト動画を生成する。なお、動画生成部５６は、ユーザによって、代表画像抽出処理で選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われている場合に、ハイライト動画を生成して出力する。一方、ユーザによって、代表画像抽出処理によって選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われていない場合には、暫定バッファ内の代表画像を代表画像抽出処理の結果として出力する。代表画像抽出処理の結果として出力された暫定バッファ内の部分動画は、動画ファイルを代表する代表画像として、動画ファイルの動画及び他の複数の静止画または動画を対象として集約画像（ハイライト動画）を生成する際に、候補画像として用いることができる。

［動作］
次に、撮像装置１の動作を説明する。
図４は、図３の機能的構成を有する本発明の第１の実施形態としての撮像装置が実行する代表画像抽出処理の流れを説明するフローチャートである。
代表画像抽出処理は、ユーザによる入力部１８への代表画像抽出処理開始の操作により開始される。
ステップＳ４０１において、候補画像選択部５３は、動画ファイルにおける各部分動画の中からスコアが最高の部分動画を選択し、暫定バッファ（図３の候補画像保持部７２）に格納する。

ステップＳ４０２において、類似度算出部５４は、最新の選択された部分動画（暫定バッファ内に格納された最新の部分動画）と、他の選択されていない各部分動画との類似度を算出する。
ステップＳ４０３において、換算スコア算出部５５は、類似度算出部５４によって算出された類似度および各部分動画のスコアに基づいて、最新の選択された部分動画に対して、他の選択されていない部分動画の換算スコアを算出する。

ステップＳ４０４において、候補画像選択部５３は、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、換算スコアが最高の部分動画を次の部分動画として選択する。
ステップＳ４０５において、候補画像選択部５３は、ハイライト動画に設定された再生時間が充足されているか否か（暫定バッファに空きがないか否か）の判定を行う。
ハイライト動画に設定された再生時間が充足されている（暫定バッファに空きがない）場合、ステップＳ４０５においてＹＥＳと判定されて、処理はステップＳ４０２に移行する。

一方、ハイライト動画に設定された再生時間が充足されていない（暫定バッファに空きがある）場合、ステップＳ４０５においてＮＯと判定されて、処理はステップＳ４０６に移行する。
ステップＳ４０６において、動画生成部５６は、候補画像選択部５３によって選択された各部分動画（代表画像）を動画ファイルにおける時系列順に配置して合成することにより、ハイライト動画を生成する。なお、動画生成部５６は、ユーザによって、代表画像抽出処理で選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われている場合に、ハイライト動画を生成して出力する。一方、ユーザによって、代表画像抽出処理によって選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われていない場合には、暫定バッファ内の代表画像を代表画像抽出処理の結果として出力する。
ステップＳ４０６の後、代表画像抽出処理は終了となる。

このような処理により、動画ファイルを構成する部分動画において、スコアが最も高いものが選択されると共に、最新の選択された部分動画との類似度を加味した換算スコアによって、残りの部分動画が順次選択される。
そのため、似通った部分動画が選択されることを抑制することができ、ユーザにとって趣向性が高いハイライト動画を生成することが可能となる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
図５は、第２実施形態において生成される集約画像を説明するための模式図である。
図５の第２実施形態においても、１つの動画ファイルを、時間区間Ｔａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅ、Ｔｆ、Ｔｇ、Ｔｈ・・・毎に区切り、特徴的な部分画像を選択することにより集約画像を得る点は、図２の第１の実施形態の場合と同様である。

ここで、部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・には、ハイライト動画の生成に際して、あるいは、事前に、部分動画のスコアが設定されている。部分動画のスコアの設定方法については、第１実施形態と同様である。

第２の実施形態では、ハイライト動画の生成に際して、図５におけるように、部分動画Ａ部、Ｂ部、Ｃ部、Ｄ部、Ｅ部、Ｆ部、Ｇ部、Ｈ部・・・のうちから、先ず、１つの部分動画である、例えば先頭のＡ部を、暫定バッファに格納する。そして、既に暫定バッファに格納された部分動画と、動画ファイルにおける残りの全ての部分動画との類似度を算出する。上述のように算出された類似度に基づいて、類似度の低いものを暫定バッファに追加して保持したり、暫定バッファに既に保持されている部分動画と置き換えたりする。即ち、既に暫定バッファに格納された部分動画との類似度が低ければ、暫定バッファに空きがある場合、部分動画を追加して保持し、暫定バッファに空きがない場合、暫定バッファ内の部分動画よりスコアが高ければ、暫定バッファに保持されている部分動画を置き換える。また、既に暫定バッファに格納された部分動画との類似度が高ければ、暫定バッファ内の部分動画よりスコアが高ければ、暫定バッファに保持されている部分動画を置き換える。
上述のような処理を、動画ファイルを構成する部分動画について、時系列に順に実行する。

この結果、図５の例では、暫定バッファに５つの部分動画Ａ部、Ｃ部、Ｆ部、Ｇ部、Ｋ部が保持された状態となり、これらが動画ファイルの代表画像となる。

図６は、図１の撮像装置の機能的構成のうち、第２の実施形態において代表画像抽出処理を実行するための機能的構成を示す機能ブロック図である。

本実施形態における撮像装置１は、第１実施形態の撮像装置１に対し、候補画像選択部５３ａおよび類似度算出部５４ａの機能的構成、及び、代表画像抽出処理の内容が異なっている。なお、本実施形態における撮像装置１では、換算スコア算出部５５は備えられていない。

以下、第１実施形態と異なる部分について主として説明する。
候補画像選択部５３ａは、動画ファイルにおける部分動画の中からいずれか１つの部分動画を初めに選択する。このとき、例えば、先頭の部分動画を選択すること等が可能である。そして、候補画像選択部５３ａは、動画ファイルにおける先頭側から、各部分動画を選択するか否かを順次判定する。
即ち、候補画像選択部５３ａは、類似度算出部５４ａによって算出される、時系列における次の部分動画と既に選択されている各部分動画（暫定バッファ内の各部分動画）との類似度に基づいて、暫定バッファへの部分動画の追加または部分動画の置き換えを行う。

一例として、候補画像選択部５３ａは、暫定バッファ内の部分動画と時系列における次の部分動画との類似度が高い場合、時系列における次の部分動画のスコアと暫定バッファ内における類似度が高い部分動画のスコアとを比較する。そして、候補画像選択部５３ａは、時系列における次の部分動画のスコアが暫定バッファ内における類似度が高い部分動画のスコアよりも高い場合、暫定バッファにおいて、類似度が高い部分動画の中で最低スコアの部分動画と時系列における次の部分動画とを置き換える。

また、候補画像選択部５３ａは、暫定バッファ内の部分動画と時系列における次の部分動画との類似度が低い場合、暫定バッファに空きがあれば、時系列における次の部分動画を暫定バッファに追加する。一方、候補画像選択部５３ａは、暫定バッファ内の部分動画と時系列における次の部分動画との類似度が低い場合、暫定バッファに空きがなければ、時系列における次の部分動画のスコアと暫定バッファ内における部分動画の最低スコアとを比較する。そして、候補画像選択部５３ａは、時系列における次の部分動画のスコアが暫定バッファ内における部分動画の最低スコアよりも高い場合、暫定バッファにおいて、最低スコアの部分動画と時系列における次の部分動画とを置き換える。
候補画像選択部５３ａは、このような処理を動画ファイルの時系列における最後の部分動画まで繰り返す。
類似度算出部５４ａは、既に選択された各部分動画（暫定バッファ内の各部分動画）と、時系列における次の部分動画との類似度を算出する。

［動作］
次に、撮像装置１の動作を説明する。
図７は、第２実施形態の撮像装置１が実行する代表画像抽出処理の流れを説明するフローチャートである。
代表画像抽出処理は、ユーザによる入力部１８への代表画像抽出処理開始の操作により開始される。
ステップＳ７０１において、候補画像選択部５３ａは、動画ファイルにおける部分動画の中からいずれか１つの部分動画（先頭の部分動画等）を選択して暫定バッファに格納する。

ステップＳ７０２において、類似度算出部５４ａは、既に選択された各部分動画（暫定バッファ内の各部分動画）と、時系列における次の部分動画との類似度を算出する。
ステップＳ７０３において、候補画像選択部５３ａは、暫定バッファ内の各部分動画と時系列における次の部分動画とが類似しているか否かの判定を行う。
暫定バッファ内のいずれかの部分動画と時系列における次の部分動画とが類似している場合、ステップＳ７０３においてＹＥＳと判定されて、処理はステップＳ７０４に移行する。
一方、暫定バッファ内の各部分動画と時系列における次の部分動画とが類似していない場合、ステップＳ７０３においてＮＯと判定されて、処理はステップＳ７０６に移行する。

ステップＳ７０４において、候補画像選択部５３ａは、時系列における次の部分動画のスコアが暫定バッファ内における部分動画（類似している部分動画）の最低スコアよりも高いか否かの判定を行う。
時系列における次の部分動画のスコアが暫定バッファ内における部分動画（類似している部分動画）の最低スコアよりも高い場合、ステップＳ７０４においてＹＥＳと判定されて、処理はステップＳ７０５に移行する。
一方、時系列における次の部分動画のスコアが暫定バッファ内における部分動画（類似している部分動画）の最低スコアよりも高くない場合、ステップＳ７０４においてＮＯと判定されて、処理はステップＳ７１０に移行する。
ステップＳ７０５において、候補画像選択部５３ａは、暫定バッファにおいて、類似度が高い部分動画の中で最低スコアの部分動画と時系列における次の部分動画とを置き換える。
ステップＳ７０５の後、処理はステップＳ７１０に移行する。

ステップＳ７０６において、候補画像選択部５３ａは、暫定バッファに空きがあるか否かの判定を行う。
暫定バッファに空きがある場合、ステップＳ７０６においてＹＥＳと判定されて、処理はステップＳ７０７に移行する。
暫定バッファに空きがない場合、ステップＳ７０６においてＮＯと判定されて、処理はステップＳ７０８に移行する。
ステップＳ７０７において、候補画像選択部５３ａは、時系列における次の部分動画を暫定バッファに追加する。
ステップＳ７０７の後、処理はステップＳ７１０に移行する。

ステップＳ７０８において、候補画像選択部５３ａは、時系列における次の部分動画のスコアが暫定バッファ内における部分動画の最低スコアよりも高いか否かの判定を行う。
時系列における次の部分動画のスコアが暫定バッファ内における部分動画の最低スコアよりも高い場合、ステップＳ７０８においてＹＥＳと判定されて、処理はステップＳ７０９に移行する。
一方、時系列における次の部分動画のスコアが暫定バッファ内における部分動画の最低スコアよりも高くない場合、ステップＳ７０８においてＮＯと判定されて、処理はステップＳ７１０に移行する。

ステップＳ７０９において、候補画像選択部５３ａは、暫定バッファにおいて、最低スコアの部分動画と時系列における次の部分動画とを置き換える。
ステップＳ７１０において、候補画像選択部５３ａは、動画ファイルの最後の部分動画まで処理が終了したか否かの判定を行う。

動画ファイルの最後の部分動画まで処理が終了していない場合、ステップＳ７１０においてＮＯと判定されて、処理はステップＳ７０２に移行する。
一方、動画ファイルの最後の部分動画まで処理が終了した場合、ステップＳ７１０においてＹＥＳと判定されて、処理はステップＳ７１１に移行する。

ステップＳ７１１において、動画生成部５６は、候補画像選択部５３ａによって選択された各部分動画（代表画像）を動画ファイルにおける時系列順に配置して合成することにより、ハイライト動画を生成する。なお、動画生成部５６は、ユーザによって、代表画像抽出処理で選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われている場合に、ハイライト動画を生成して出力する。一方、ユーザによって、代表画像抽出処理によって選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われていない場合には、暫定バッファ内の代表画像を代表画像抽出処理の結果として出力する。
ステップＳ７１１の後、代表画像抽出処理は終了となる。

このような処理により、動画ファイルにおいて、時系列の各部分動画を先頭から一度処理することで、選択された部分動画との類似度を加味して、互いに類似していない部分動画や、スコアがより高い部分動画が選択される。
そのため、似通った部分動画が選択されることを抑制することができ、ユーザにとって趣向性が高いハイライト動画を生成することが可能となる。

［変形例１］
第１実施形態において、候補画像選択部５３は、最新の選択された部分動画を対象として、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、ハイライト動画に設定された再生時間が充足されるまで、換算スコアが最高の部分動画を順次選択するものとした。
これに対し、候補画像選択部５３が、既に選択された部分動画全体を対象として、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、換算スコアが最高の部分動画を選択することとしてもよい。

以下、本変形例における代表画像抽出処理について説明する。
図８は、変形例１における代表画像抽出処理の流れを説明するフローチャートである。
代表画像抽出処理は、ユーザによる入力部１８への代表画像抽出処理開始の操作により開始される。
ステップＳ８０１において、候補画像選択部５３は、動画ファイルにおける各部分動画の中からスコアが最高の部分動画を選択し、暫定バッファに格納する。
ステップＳ８０２において、類似度算出部５４は、選択されている各部分動画（暫定バッファ内の各部分動画）と、他の選択されていない各部分動画との類似度を算出する。

ステップＳ８０３において、類似度算出部５４は、選択されている各部分動画（暫定バッファ内の各部分動画）と、他の選択されていない１つの部分動画との類似度の平均値を算出する。なお、ステップＳ８０３において、類似度算出部５４は、他の選択されていない各部分動画について、この類似度の平均値を算出する。
ステップＳ８０４において、換算スコア算出部５５は、類似度算出部５４によって算出された類似度の平均値および各部分動画のスコアに基づいて、選択されている各部分動画に対して、他の選択されていない部分動画の換算スコアを算出する。

ステップＳ８０５において、候補画像選択部５３は、換算スコア算出部５５によって算出される他の部分動画の換算スコアに基づいて、換算スコアが最高の部分動画を次の部分動画として選択する。
ステップＳ８０６において、候補画像選択部５３は、ハイライト動画に設定された再生時間が充足されているか否か（暫定バッファに空きがないか否か）の判定を行う。
ハイライト動画に設定された再生時間が充足されていない（暫定バッファに空きがある）場合、ステップＳ８０６においてＮＯと判定されて、処理はステップＳ８０２に移行する。
一方、ハイライト動画に設定された再生時間が充足されている（暫定バッファに空きがない）場合、ステップＳ８０６においてＹＥＳと判定されて、処理はステップＳ８０７に移行する。

ステップＳ８０７において、動画生成部５６は、候補画像選択部５３によって選択された各部分動画（代表画像）を動画ファイルにおける時系列順に配置して合成することにより、ハイライト動画を生成する。なお、動画生成部５６は、ユーザによって、代表画像抽出処理で選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われている場合に、ハイライト動画を生成して出力する。一方、ユーザによって、代表画像抽出処理によって選択された暫定バッファ内の部分動画から、ハイライト動画を生成する指示が行われていない場合には、暫定バッファ内の代表画像を代表画像抽出処理の結果として出力する。
ステップＳ８０７の後、代表画像抽出処理は終了となる。

このような処理により、動画ファイルを構成する部分動画において、スコアが最も高いものが選択されると共に、選択された部分動画全体との類似度を加味した換算スコアによって、残りの部分動画が順次選択される。
そのため、似通った部分動画が選択されることを抑制することができ、ユーザにとって趣向性が高いハイライト動画を生成することが可能となる。

［変形例２］
上述の実施形態及び変形例において、部分動画が選択される動画ファイルの動画を含め、複数の静止画または動画を対象として、以下のような方法で集約画像（ハイライト動画）を生成することが可能である。
即ち、代表画像抽出処理を実行する際に、暫定バッファの先頭及び末尾の領域に、部分動画が選択される動画ファイルの前及び後に配置される候補画像を固定的に記憶しておく。そして、部分動画が選択される動画ファイルの前及び後に配置される候補画像との類似度を加味して、動画ファイルを代表する代表画像を選択する。
即ち、代表画像抽出処理において、部分動画を選択する際に、暫定バッファの先頭に記憶されている候補画像との類似度がより低く、スコアがより高い部分動画を選択することにより、動画ファイルの前の候補画像と類似する部分動画が動画ファイルの代表画像として選択されることを抑制できる。同様に、代表画像抽出処理において、部分動画を選択する際に、暫定バッファの末尾に記憶されている候補画像との類似度がより低く、スコアがより高い部分動画を選択することにより、動画ファイルの後の候補画像と類似する部分動画が動画ファイルの代表画像として選択されることを抑制できる。
なお、代表画像の先頭及び末尾には、部分動画が選択される動画ファイルの前の所定数の候補画像及び後の所定数の候補画像を記憶しておくこととしてもよい。また、部分動画が選択される動画ファイルの前と後とで、異なる数の候補画像を暫定バッファに記憶しておくこととしてもよい。さらに、部分動画が選択される動画ファイルの前または後の候補画像のみを暫定バッファに記憶しておくこととしてもよい。
このように、代表画像抽出処理を実行することにより、部分動画が選択される動画ファイルの前後の画像と似通った代表画像が選択されることを抑制できる。
本変形例によれば、部分動画が選択される動画ファイルの前及び後に配置される候補画像との類似度を加味して、動画ファイルを代表する代表画像を１つ選択することができるため、候補画像を複数記憶せずに代表画像を選択することができる。

［変形例３］
変形例２に示す方法の他、部分動画が選択される動画ファイルの動画を含め、複数の静止画または動画を対象として、以下のような方法で集約画像（ハイライト動画）を生成することが可能である。
即ち、本変形例では、代表画像抽出処理で選択された複数の代表画像のうち、前後に配置される画像との類似度を加味して選択した代表画像を用いて、複数の静止画及び動画を対象としたハイライト動画（集約画像）を生成する。
図９は、前後に配置される画像との類似度を加味して選択した代表画像を用いてハイライト動画を生成するハイライト動画生成処理の流れを説明するフローチャートである。
ハイライト動画生成処理は、ユーザによる入力部１８へのハイライト動画生成処理開始の操作により開始される。
ステップＳ９０１において、画像取得部５１は、ハイライト動画を生成する対象となる画像を取得する。
ステップＳ９０２において、候補画像選択部５３は、取得された画像の中に動画が含まれているか否かの判定を行う。
取得された画像の中に動画が含まれている場合、ステップＳ９０２においてＹＥＳと判定されて、処理はステップＳ９０３に移行する。
一方、取得された画像の中に動画が含まれていない場合、ステップＳ９０２においてＮＯと判定されて、処理はステップＳ９０６に移行する。
ステップＳ９０３において、候補画像選択部５３は、ハイライト動画生成処理において、動画から複数の代表画像を選択する設定となっているか否かの判定を行う。この設定は、ハイライト動画生成処理の開始に先立ち、ユーザによって予め行っておくことができる。
ステップＳ９０４において、代表画像抽出処理が実行される。なお、ここで実行される代表画像抽出処理としては、第１実施形態における代表画像抽出処理、第２実施形態における代表画像抽出処理、及び、変形例１における代表画像抽出処理のいずれを採用することも可能である。ステップＳ９０４においては、代表画像抽出処理によって選択された暫定バッファ内の部分動画が処理結果として出力される。
ステップＳ９０５において、画像取得部５１は、ステップＳ９０４において出力された暫定バッファ内の部分動画を、ハイライト動画を生成する対象の画像に含める。なお、これら暫定バッファ内の部分動画（代表画像）は、動画ファイルを代表する１組の候補画像群として対応付けて取り扱われる。
ステップＳ９０６において、候補画像選択部５３は、画像の数または再生時間を条件として、画像のスコアに基づいて、ハイライト動画に用いる候補画像を選択する。このとき、暫定バッファ内の候補画像群によって代表される動画ファイルがハイライト動画に用いるものとして選択される場合、候補画像選択部５３は、動画ファイルの前及び後に配置された画像との類似度を加味し、これらの画像と類似度がより低く、スコアがより高い代表画像をハイライト動画に用いられる部分動画として選択する。
ステップＳ９０７において、動画生成部５６は、ステップＳ９０６において選択された画像を動画として合成することにより、ハイライト動画を生成する。
ステップＳ９０７の後、ハイライト動画生成処理は終了となる。
このような処理により、代表画像抽出処理で選択された複数の代表画像のうち、前後に配置される画像との類似度を加味して選択した代表画像を用いて、複数の静止画及び動画を対象としたハイライト動画（集約画像）を生成することができる。
したがって、ユーザにとって趣向性の高いハイライト動画を提供できる。

以上のように構成される撮像装置１は、画像取得部５１と、候補画像選択部５３（候補画像選択部５３ａ）と、類似度算出部５４と、動画生成部５６と、を備える。
画像取得部５１は、動画像を取得する。
動画生成部５６は、動画像の代表画像と、動画像とは異なる複数の画像とを合成して１つの画像を生成する。
類似度算出部５４は、動画生成部５６により動画像の時間的または空間的に前または後に合成される画像と、動画像との類似度を算出する。
候補画像選択部５３は、類似度算出部５４による算出結果に基づいて、動画像から代表画像を特定する。
これにより、時間的または空間的に前または後に合成される画像との類似度を加味して動画像から代表画像を特定することができる。
したがって、ユーザにとって趣向性の高い集約画像を提供できる。

候補画像選択部５３は、画像取得部５１により取得された動画像から複数の候補画像を選択する。
候補画像選択部５３は、類似度算出部５４による算出結果に基づいて複数の候補画像から代表画像を選択する。
これにより、動画像における複数の候補画像から、時間的または空間的に前または後に合成される画像との類似度を加味して代表動画を選択することができる。

撮像装置１は、スコア設定部５２を備える。
スコア設定部５２は、画像取得部５１により特定される複数の候補画像を評価する。
候補画像選択部５３は、スコア設定部５２による評価結果と、類似度算出部５４による算出結果に応じて複数の候補画像から代表画像を選択する。
これにより、各候補画像の評価結果及び算出された類似度に応じて、代表画像を選択することができる。

類似度算出部５４は、動画像の時間的または空間的に前または後に表示される複数の画像と、動画像との類似度を算出する。
これにより、候補画像の所定数前まで、または、所定数後までに表示される画像との類似度を加味して、候補画像を選択することが可能となる。

類似度算出部５４は、動画像の時間的または空間的に前及び後に表示される画像と、動画像との類似度を算出する。
これにより、候補画像の前及び後に表示される画像との類似度を加味して、候補画像を選択することが可能となる。

また、以上のように構成される撮像装置１は、候補画像選択部５３（候補画像選択部５３ａ）と、動画生成部５６と、を備える。
候補画像選択部５３は、画像の部分または全体である候補画像について、当該候補画像に設定されたスコアと、当該候補画像と他の候補画像との類似度とに基づいて、複数の候補画像の中から候補画像を選択する。
動画生成部５６は、候補画像選択部５３により選択された候補画像に基づいて、集約画像を生成する。
これにより、類似度を加味したスコアに基づいて部分動画を選択することができる。
したがって、似通った部分動画が選択されることを抑制することができ、ユーザにとって趣向性が高い集約画像を生成することが可能となる。

撮像装置１は、スコア設定部５２と、類似度算出部５４（類似度算出部５４ａ）と、を備える。
スコア設定部５２は、候補画像それぞれについて、スコアを設定する。
類似度算出部５４は、候補画像と他の候補画像との類似度を算出する。
これにより、撮像装置１において、候補画像のスコアを設定し、さらに、候補画像間の類似度を算出して、候補画像を選択することができる。

撮像装置１は、換算スコア算出部５５を備える。
換算スコア算出部５５は、注目する候補画像と他の候補画像との類似度と、注目する候補画像のスコアとに基づいて、類似度を反映したスコアである換算スコアを算出する。
候補画像選択部５３は、換算スコア算出部５５によって算出された換算スコアに基づいて、候補画像を選択する。
これにより、候補画像間の類似度を反映した換算スコアに基づいて部分動画を選択することができるため、集約画像の趣向性を向上させることができる。

類似度は、候補画像選択部５３により既に選択されている候補画像それぞれと他の候補画像との類似度である。
換算スコア算出部５５は、候補画像選択部５３により既に選択されている候補画像それぞれと他の候補画像との類似度と、注目する候補画像のスコアとに基づいて、候補画像それぞれと他の候補画像との類似度を反映したスコアである換算スコアを算出する。
候補画像選択部５３は、換算スコアに基づいて、候補画像を選択する。
これにより、既に選択されている候補画像全体と、注目する候補画像間の類似度を反映した換算スコアに基づいて部分動画を選択することができるため、集約画像の趣向性を向上させることができる。

候補画像選択部５３は、注目する候補画像のスコアが、候補画像選択部５３により既に選択されている候補画像における最低のスコアよりも高い場合、最低のスコアを有する候補画像に代えて、注目する候補画像を選択する。
これにより、既に選択されている候補画像に代えて、スコアがより高い候補画像を逐次選択することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、実施形態や変形例の組合せ等は本発明に含まれるものである。
例えば、本発明によって生成される集約画像には、ハイライト動画、スライドショーあるいはコラージュ画像等、時間的または空間的に種々の形態で画像が集約されたものが含まれる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、代表画像抽出機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

また、上述の実施形態における撮像装置１の機能を複数の情報処理装置に分散して実装することが可能である。例えば、候補画像のスコアの設定や、類似度の算出を他の情報処理装置において実行し、撮像装置１がこれらスコア及び類似度を取得して、候補画像の選択を行うこととしてもよい。また、候補画像の選択を撮像装置１以外の情報処理装置で実行し、撮像装置１は、その処理結果を取得して表示することとしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３及び図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３及び図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
動画像を取得する取得手段と、
前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成手段と、
前記合成手段により前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出手段と、
前記算出手段による算出結果に基づいて、前記動画像から前記代表画像を特定する特定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記取得手段により取得された動画像から複数の候補画像を選択する選択手段をさらに備え、
前記特定手段は、前記算出手段による算出結果に基づいて前記複数の候補画像から前記代表画像を選択することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記特定手段により特定される複数の候補画像を評価する評価手段をさらに備え、
前記選択手段は、前記評価手段による評価結果と、前記算出手段による算出結果に応じて前記複数の候補画像から前記代表画像を選択することを特徴とする付記２に記載の画像処理装置。
［付記４］
前記算出手段は、前記動画像の時間的または空間的に前または後に表示される複数の画像と、前記動画像との類似度を算出することを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
［付記５］
前記算出手段は、前記動画像の時間的または空間的に前及び後に表示される画像と、前記動画像との類似度を算出することを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法であって、
動画像を取得する取得ステップと、
前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成ステップと、
前記合成ステップにより前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出ステップと、
前記算出ステップにおける算出結果に基づいて、前記動画像から前記代表画像を特定する特定ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
コンピュータに、
動画像を取得する取得機能と、
前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成機能と、
前記合成機能により前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出機能と、
前記算出機能による算出結果に基づいて、前記動画像から前記代表画像を特定する特定機能と、
を実現させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・スコア設定部，５３，５３ａ・・・候補画像選択部，５４，５４ａ・・・類似度算出部，５５・・・換算スコア算出部，５６・・・動画生成部，７１・・・画像記憶部，７２・・・候補画像保持部

Claims (7)

1. 動画像を取得する取得手段と、
   前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成手段と、
   前記合成手段により前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出手段と、
   前記算出手段による算出結果に基づいて、前記動画像から前記代表画像を特定する特定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段により取得された動画像から複数の候補画像を選択する選択手段をさらに備え、
   前記特定手段は、前記算出手段による算出結果に基づいて前記複数の候補画像から前記代表画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段により特定される複数の候補画像を評価する評価手段をさらに備え、
   前記選択手段は、前記評価手段による評価結果と、前記算出手段による算出結果に応じて前記複数の候補画像から前記代表画像を選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、前記動画像の時間的または空間的に前または後に表示される複数の画像と、前記動画像との類似度を算出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記算出手段は、前記動画像の時間的または空間的に前及び後に表示される画像と、前記動画像との類似度を算出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像処理装置が実行する画像処理方法であって、
   動画像を取得する取得ステップと、
   前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成ステップと、
   前記合成ステップにより前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出ステップと、
   前記算出ステップにおける算出結果に基づいて、前記動画像から前記代表画像を特定する特定ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータに、
   動画像を取得する取得機能と、
   前記動画像の代表画像と、前記動画像とは異なる画像とを合成して１つの画像を生成する合成機能と、
   前記合成機能により前記動画像の時間的または空間的に前または後に合成される画像と、前記動画像との類似度を算出する算出機能と、
   前記算出機能による算出結果に基づいて、前記動画像から前記代表画像を特定する特定機能と、
   を実現させることを特徴とするプログラム。

Images