JP2017098638A - 画像処理装置、画像選択方法及びプログラム - Google Patents

Abstract

【課題】内容が単調でない動画生成のための画像選択を可能にすること。
【解決手段】撮像装置１は、画像取得部５２と、特徴量算出部５３と、動画再生時間設定部５４と、画像再生時間設定部５５と、画像選択部５８と、を備える。画像取得部５２は、複数の画像を取得する。動画再生時間設定部５４は、複数の画像からなるデータの再生総時間を設定する。画像再生時間設定部５５は、複数の画像の夫々に異なる個別再生時間を設定する。画像選択部５８は、複数の画像の個別再生時間に基づいて、複数の画像から再生総時間に応じた所定数の画像を選択する。したがって、撮像装置１においては、内容が単調でない動画生成のための画像選択を可能にすることができる。
【選択図】図１０

Description

本発明は、画像処理装置、画像選択方法及びプログラムに関する。

従来、複数種の画像を合成することにより、スライドショーのような動画像を生成する技術がある（特許文献１参照）。

特開２０１０−１７７７３１号公報

しかしながら、上述した特許文献１に記載された技術では、スライドショーに表示される１枚当たりの画像の再生時間を固定値で選択対象の画像全てに一括で設定して画像を選択するため、各画像の表示時間が等間隔になる単調な動画像になってしまう虞があった。

本発明は、このような状況に鑑みてなされたものであり、内容が単調でない動画生成のための画像選択を可能にすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
複数の画像を取得する画像取得手段と、
複数の画像からなるデータの再生総時間を設定する再生総時間設定手段と、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
を備えることを特徴とする。

本発明によれば、内容が単調でない動画生成のための画像選択を可能にすることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 スコア別最適化の具体例を示す模式図である。 冗長性を排除したスコア別最適化の具体例を示す模式図である。 キーポイント同期最適化を行った場合の画像の再生位置を説明するための模式図である。 キーポイント同期最適化の具体例を示す模式図である。 高ランク画像のキーポイント優先設定におけるキーポイント同期最適化を行った場合の画像の再生位置を説明するための模式図である。 高ランク画像のキーポイント優先設定におけるキーポイント同期最適化の具体例を説明するための模式図である。 キーポイント同期最適化を行って短時間再生画像が存在していた場合の画像の再生位置を説明するための模式図である。 キーポイント同期最適化を行って短時間再生画像が存在していた場合の再生時間調整の具体例を説明するための模式図である。 図１の撮像装置の機能的構成のうち、ハイライト動画生成処理を実行するための機能的構成を示す機能ブロック図である。 図１０の機能的構成を有する図１の撮像装置が実行するハイライト動画生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の第１実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、センサ部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、センサ部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

センサ部１７は、加速度や角速度の情報を取得する加速度センサやジャイロセンサといった各種センサにより構成される。
本実施形態においては、撮像部１６において撮影が行われた場合には、撮影時のセンサ情報を取得して、撮影した画像に対応付けて記憶しておく。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このように構成される撮像装置１では、記憶している複数の画像を閲覧しようとする場合、全てを閲覧するには膨大な時間を要してしまうため、特徴的な画像だけを選択して、ユーザの閲覧に供する機能を有する。本実施形態の撮像装置１では、選択した画像をフレーム画像として動画化して、特徴的なシーンのみを集めた要約動画（以下、「ハイライト動画」ともいう。）を生成して、ユーザの閲覧に供する。

［画像の組み合わせの選択手法（スコア別最適化）の基本的な流れ］
本実施形態においては、撮像装置１では、画像の撮影時のセンサ情報（加速度情報や角速度情報）、画像解析結果（顔等の特定の被写体の有無等）、及び使用状況に関する情報（再生回数やＳＮＳへのアップロード情報等）といった属性情報に基づいて、ハイライト動画の生成対象の候補となる画像（以下、「候補画像」ともいう。）の特徴量を算出する。
そして、算出した特徴量に基づいて、画像の価値としてスコア（以下、「画像スコア」という。）を設定する。なお、画像スコアは、人の主観に基づいて特徴量算出に用いた項目に応じて一義的に設定してもよいし、主観的な評価結果を教師データとして機械学習に基づいて特徴量の項目のそれぞれに重み付けをして、重み付けに応じて、総合的に設定してもよい。

また、撮像装置１では、画像スコアに基づいて、ランク付けを行う。ランクは、生成するハイライト動画での画像の個別再生時間を決定するために用いる。なお、ランクは、ユーザが任意に付してもよいし、画像に対して設定された画像スコアに応じて付してもよい。

また、撮像装置１では、ハイライト動画の最大再生時間を上限として、個別再生時間の合計（合計再生時間）が最大再生時間内に収まる画像の組み合わせにおいて、各画像の画像スコアを積算したスコア（以下、「積算スコア」という。）が最大の組み合わせとなる経路を画像の撮像順に沿って探索する。ここで、本実施形態においては、動画の最大再生時間の制約下において、積算スコアの最大の経路を選択することを「スコア別最適化」という。

図２は、スコア別最適化の具体例を示す模式図である。本例では、ハイライト動画の最大再生時間は、６ｓｅｃに設定されている。
なお、図２においては、起点ノードからの経路として、個別再生時間の組み合わせや画像スコア等の観点から適切な経路とならない経路を「淘汰パス」、設定可能な経路を「親パス」、積算スコアが最も高くなる経路を最適パスとして示している。

具体的には、本実施形態においては、個別再生時間と撮影順の画像とのマトリクスに、撮影順に画像を組み合わせた経路を設定する。各経路の組み合わせのうち、経路にある画像の画像スコアを積算した積算スコアが最大となる経路の組み合わせを、ハイライト動画を構成する画像群として選択する。
「撮影順に画像が組み合わされた経路」とは、本実施形態においては画像の撮影順に沿って最初の画像から最後の画像に向かって順番に経路探索を行うことで算出される経路のことである。

図２（ａ）の例では、撮影順に画像Ａ乃至画像Ｄを、ハイライト画像を構成するフレーム画像の候補の画像としている。
画像Ａ乃至画像Ｄでは、画像の特徴量に基づいて算出された画像スコアが設定されており、画像Ａ［Ｓｃｏｒｅ：８］、画像Ｂ［Ｓｃｏｒｅ：５］、画像Ｃ［Ｓｃｏｒｅ：１０］、画像Ｄ［Ｓｃｏｒｅ：６］となっている。また、画像の個別再生時間が設定されており、画像Ａ［Ｔｉｍｅ：２ｓｅｃ］、画像Ｂ［Ｔｉｍｅ：３ｓｅｃ］、画像Ｃ［Ｔｉｍｅ：１ｓｅｃ］、画像Ｄ［Ｔｉｍｅ：２ｓｅｃ］が設定される。なお、個別再生時間は、画像スコア等に対応して設定するように構成してもよい。具体的には、例えば、画像スコアの高い画像は個別再生時間を長く、画像スコアの低い画像は個別再生時間を短く設定するように構成してもよい。

このように画像スコアと個別再生時間が設定された画像群において、図２（ｂ）に示すように、縦軸が画像の撮影順で、横軸が動画の再生時間のマトリクスにおいて、設定された動画の最大再生時間内に納まるように、撮影順に画像が組み合わされた経路を設定する。
設定した経路において、経路を構成する全ての画像の積算スコアを算出して、最大の積算スコアの経路の組み合わせを選択する。
本例では各経路のうち、積算スコア［２４］となる経路が、積算スコアが最大となる経路となる。この経路は、画像Ａを起点ノードとして、画像Ｃと、画像Ｄの組み合わせからなる。即ち、画像Ａ→画像Ｃ→画像Ｄの経路が最適パスとなる。
なお、本例では、積算スコアのみを考慮したスコア別最適化を行ったが、合計再生時間を長くすることを考慮するスコア別最適化を行うように構成してもよい。
その場合、合計再生時間も最大の６ｓｅｃとなり、積算スコアも［２３］と比較的高くなる画像Ａを起点ノードとする画像Ｂと、画像Ｃの組み合わせの経路を選択する。

その後、撮像装置１では、選択された経路における再生順で、各画像の個別再生時間を合計した合計再生時間からなるハイライト動画を作成する。

［非類似性の向上（冗長性の排除）］
上述したようなスコア別最適化を行った場合、特徴量とスコアが関連しているために選択される組み合わせにおいて類似した画像が含まれてしまうことがある。本手法では、画像間の非類似度を算出して、画像間の類似度をペナルティとして換算して画像スコアに与え、近接する画像との類似度が高い画像の画像スコアを下げるように補正することで、結果として画像スコアの合計である積算スコアが低くなるために、類似した画像の組み合わせの経路が選択されにくくなる。
また、本実施形態では、類似度に応じた画像スコアの補正に対しては、画像間で類似度が高い画像の画像スコアを下げるように補正しているが、画像間で類似度の低い画像に対して、画像スコアを上げるように補正するよう構成してもよい。

本例では、まず、経路の１つ上流の画像（１世代前の経路の画像［親］）と、非類似度を判定する画像（以下、「注目画像」ともいう。）において、類似していない度合いである非類似度を算出する［式（１）］。

なお、「Ｄｉｓｓｉｍｉｌａｒｉｔｙ」は非類似度であり、「Ｉ_ｐ」は画像ｐであり、「Ｉ_ｑ」は画像ｑであり、「^ｐＦｅａｔ／_ｉＦｅａｔ」は画像（ｐ）の特徴量であり、「^ｑＦｅａｔ／_ｉＦｅａｔ」は画像ｑのｉ特徴量であり、「ＦｅａｔＶａｒ_ｉ」はｉ特徴量の偏差であり、「Ｗ_ｉ」はｉ特徴量の荷重係数である。

そして、非類似度に応じたペナルティ量を算出する［式（２）］。なお、ペナルティは、隣接した画像の順列だけではなく離れた画像に対しても考慮する。本実施形態では世代が離れるほどペナルティが小さくなるようにペナルティ量を算出する。

なお、「Ｄｉｓｓｉｍｉｌａｒｉｔｙ」は非類似度であり、「Ｉ_ｐ」は画像ｐであり、「Ｉ_ｑ」は画像ｑであり、「Ｇ」は世代間距離の荷重関数であり、「Ｄｉｓｔ」は世代間距離である。
本実施形態における「世代間距離」とは、経路において注目画像からみた他の画像との組み合わせでの距離であり、例えば、注目画像の前後の隣接画像を１世代、その次の先の画像を２世代としており、画像ｐと画像ｑとの間の画像数によって一意に決まるものである。

上流の世代から注目画像とのペナルティ量を算出していき、最小となるペナルティ量を注目画像の画像スコアにかけることで、ペナルティを与えた画像選択時に用いる画像スコアとして決定する［式（３）］。

なお、「Ｓｃｏｒｅ_ｐ」は画像ｐの最終的なスコアであり、「ｑ」は親ノード画像であり、「Ｒ」は冗長性を考慮する領域であり、「Ｐｅｎａ_ｐｑ」は画像ｐと画像ｑ間の冗長性ペナルティ量である。

また、画像スコアの決定式は、算出したペナルティを上流の世代から累積させて、注目画像の画像スコアにかけることで、ペナルティを与えた画像スコアとして決定する以下の式（３−１）を用いても良い。

なお、「Ｓｃｏｒｅ_ｐ」は画像ｐの最終的なスコアであり、「ＩｍｇＳｃｏｒｅ_ｐ」は特徴量から算出された画像ｐのスコアであり、「ｑ」は親ノード画像であり、「Ｒ」は冗長性を考慮する領域であり、「Ｐｅｎａ_ｐｑ」は画像ｐと画像ｑ間の冗長性ペナルティ量である。

上述したように組み合わせの経路それぞれにおいて画像間の類似度に応じて各画像の画像スコアにペナルティを与えて、積算スコアを算出する。その後、最も積算スコアが高い組み合わせの経路を最適経路として選択する。

図３は、冗長性を排除したスコア別最適化の具体例を示す模式図である。なお、本例では、ハイライト動画の最大再生時間は、６ｓｅｃに設定されている。また、本例では、考慮する世代Ｒを１世代前（隣接）のみとし、ａｂｓ（Ｆ_ｐ−Ｆ_ｑ）をペナルティとしている。

各画像ｐにおける画像スコアＳと個別再生時間τは、図３（ａ）の例では、画像Ａの画像スコアは［Ｓｃｏｒｅ：８］となり、個別再生時間は［Ｔｉｍｅ：２］となり、画像の特徴量［Ｆｅａｔ：１］となっている。また、画像Ｂの画像スコアは［Ｓｃｏｒｅ：５］となり、個別再生時間は［Ｔｉｍｅ：３］となり、画像の特徴量（Ｆｅａｔ：３）となっている。また、画像Ｃの画像スコアは［Ｓｃｏｒｅ：１０］となり、個別再生時間は［Ｔｉｍｅ：１］となり、画像の特徴量［Ｆｅａｔ：２］となっている。また、画像Ｄの画像スコアは［Ｓｃｏｒｅ：６］となり、個別再生時間は［Ｔｉｍｅ：２］となり、画像の特徴量［Ｆｅａｔ：２］となっている。なお、本実施形態においては、特徴量Ｆｅａｔの値が近い程、画像同士が類似しており、類似度が高いものとする。

上述した画像Ａ乃至Ｄにおいて冗長性を考慮しない場合には、図３（ｂ）に示すように、画像Ａを起点ノードとして、画像Ｃ、画像Ｄの組み合わせを選択することで、積算スコアが最大の［２４］となる。即ち、画像Ａ→画像Ｃ→画像Ｄの経路が最適パスとなる。

これに対して、上述したような冗長性を排除する手法を用いた場合には、図３（ｃ）に示すように、画像Ａを起点ノードとして、画像Ｂ、画像Ｃの組み合わせを選択することで、積算スコアが最大の［２８］となる。即ち、画像Ａ→画像Ｂ→画像Ｃの経路が最適パスとなる。
ここで、上述の手法を用いない場合には、［Ｆｅａｔ：１］の画像Ａと、特徴量の差が小さい［Ｆｅａｔ：２］の画像Ｃ、及び画像Ｄの経路の組み合わせが積算スコアの最大となる経路の組み合わせであったが、本手法を用いることで、起点ノードである画像Ａとの特徴量の差が大きな［Ｆｅａｔ：３］の画像Ｂ、画像Ｃの経路の組み合わせが積算スコアの最大となる経路の組み合わせとなる。なお、画像Ｂを起点ノードとし次いで画像Ｃを組み合わせた場合には、積算スコアは最大とならない。

したがって、本手法を用いることで、画像間の類似度に応じたペナルティを画像スコアに与えることで、冗長性を排除しながら非類似性を向上させ、例えば、時間や枚数等の制約内で積算スコアがなるべく最大となるような経路の組み合わせを高速に選択することができる。

［音声同期再生：キーポイント同期最適化］
本実施形態の撮像装置１では、生成したハイライト動画の再生中にＢＧＭを再生するように構成してもよい。
この際、ハイライト動画と、ＢＧＭがリンクするように、ハイライト動画の画像の切り替わりと、ＢＧＭの拍子やフレーズといった切り替わり箇所とを一致させる。具体的には、ハイライト動画の作成時に、ＢＧＭの内容（例えば、拍子のタイミングや拍子が変化した地点、フレーズの開始／終了地点、変調地点等）を考慮して、画像の選択順・選択数や画像の個別再生時間の調整を行う。
このようにハイライト動画の場面の切り替わり（異なる種類のフレーム画像への切り替わり）と、音楽の切り替わりを一致させることで映像と音楽との協調性がある好適な動画の表示を行うことができる。

動画と共に再生する音楽については、画像が切り替わって欲しい位置（以下、「キーポイント」という。）を音楽の再生時間内に設定する。
キーポイントは、例えば、音圧の極値、リズムの変化点等の音楽内の一定の変化が見受けられるポイントに自動的に設定してもよいし、ユーザにより任意の位置に設定してもよい。

予め生成されたハイライト動画の各画像の切り替わり位置を、該ハイライト動画とともに再生する音楽のキーポイントに一致するように該ハイライト動画内の画像の個別再生時間・再生タイミング等を調整することも可能である。
この場合は、キーポイントが画像の切り替わりのポイントになるように、キーポイントをまたぐ画像の表示開始／終了タイミングを前後の時点にスライドさせて変更する。

また、予め設定されたキーポイントに対応するように画像を選択して、ハイライト動画を生成するように構成してもよい。

図４は、ハイライト動画に対して、キーポイント同期最適化を行った場合の画像の再生位置を説明するための模式図である。
なお、本例では、図４（ａ）に示すように、ハイライト動画の最大再生時間は、８．０ｓｅｃに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、各キーポイントは、キーポイント１：１．３ｓｅｃ、キーポイント２：２．６ｓｅｃ、キーポイント３：３．２ｓｅｃ、キーポイント４：５．４ｓｅｃ、キーポイント５：６．７ｓｅｃ、キーポイント６：７．１ｓｅｃに設定される。

キーポイント同期最適化を行わずに、積算スコアが最も高くなるような最適な組み合わせの探索を行った場合には、図４（ｂ）に示すように、画像Ａ：２．０ｓｅｃ、画像Ｂ：３．０ｓｅｃ、画像Ｃ：１．０ｓｅｃ、画像Ｄ：１．０ｓｅｃ、画像Ｅ：１．０ｓｅｃとなる。キーポイントが考慮されていないために、選択された画像の再生開始／終了の位置と、キーポイントの位置は一致してない。

これに対して、キーポイントを考慮して画像の再生開始／終了の位置の同期の最適化（以下、「キーポイント同期最適化」という。）をした画像の組み合わせを選択した場合（キーポイント同期最適化）には、図４（ｃ）に示すように、画像Ａは個別再生時間：２．０ｓｅｃに設定されているが、設定された個別再生時間としてしまうとキーポイント１が到来してしまうために、キーポイント１の経過時間：１．３ｓｅｃで表示を終了し、次に画像Ｂの再生が始まるように再生タイミングが調整される。

また、画像Ｂは個別再生時間：３．０ｓｅｃに設定されているが、設定された個別再生時間としてしまうと次のキーポイントが到来してしまうために、キーポイント１からキーポイント２の経過時間：２．６ｓｅｃで終了するように、個別再生時間が１．３ｓｅｃに調整される。

また、画像Ｃは個別再生時間：１．０ｓｅｃに設定されているが、設定された個別再生時間としてしまうと次のキーポイントが到来してしまうために、キーポイント２からキーポイント３の経過時間：３．２ｓｅｃで終了するように、個別再生時間が０．６ｓｅｃに調整される。

また、画像Ｄは個別再生時間：１．０ｓｅｃに設定されており、次のキーポイントが到来しないために、キーポイント３から１．０ｓｅｃの間表示される。（経過時間：４．２ｓｅｃ）

また、画像Ｅは個別再生時間：１．０ｓｅｃに設定されており、次のキーポイントが到来しないために、画像Ｄの再生終了後から１．０ｓｅｃの間表示される。（経過時間：５．２ｓｅｃ）

キーポイント同期最適化を行う場合は、キーポイント同期最適化を行わない場合に比べ、画像の切替箇所が増えるため、選択すべき画像数が増える。そのため、キーポイント同期最適化を行う場合には、切替箇所の増加により足りなくなった分の画像を選択する必要があるため、画像Ｅが表示された以降、動画の終了時間の８．０ｓｅｃまで、キーポイントを考慮して、さらに画像が選択される。なお、本例では以降選択される画像Ｆ以降の画像は個別再生時間を２．０ｓｅｃとする。

選択された画像Ｆは個別再生時間２．０ｓｅｃに設定されているが、次のキーポイントが到来してしまうために、画像Ｅの再生終了後からキーポイント４の経過時間：５．４で終了するように、個別再生時間が０．２ｓｅｃに調整される。

また、画像Ｇは個別再生時間：２．０ｓｅｃに設定されているが、次のキーポイントが到来してしまうために、画像Ｆの再生終了後からキーポイント５の経過時間：６．７で終了するように、個別再生時間が１．３ｓｅｃに調整される。

また、画像Ｈは個別再生時間：１．０ｓｅｃに設定されているが、次のキーポイントが到来してしまうために、画像Ｇの再生終了後からキーポイント６の経過時間：７．１で終了するように、個別再生時間が０．４ｓｅｃに調整される。

最後に、画像Ｉは個別再生時間：１．０ｓｅｃに設定されているが、動画の最大再生時間が到来してしまうために、画像Ｈの再生終了後から動画の最大再生時間の経過時間：８．０ｓｅｃで終了するように、個別再生時間が０．９ｓｅｃに調整される。

図５は、キーポイント同期最適化の具体例を示す模式図である。なお、本例では、最大再生時間を６ｓｅｃとし、キーポイントが動画の再生時間：４ｓｅｃ経過の時点に設定されている。

各画像ｐにおける画像スコアｓと個別再生時間τは、図５（ａ）の例に示すように、画像Ａでは画像スコア：８、個別再生時間：２ｓｅｃに設定される。また、画像Ｂでは画像スコア：５、個別再生時間：３ｓｅｃに設定される。また、画像Ｃでは画像スコア：１０、個別再生時間：１ｓｅｃに設定される。また、画像Ｄでは画像スコア：６、個別再生時間：２ｓｅｃに設定される。また、画像Ｅでは画像スコア：７、個別再生時間：２ｓｅｃに設定される。

このような画像の個別再生時間／画像スコアで、キーポイントを考慮せず、スコア別最適化を行った場合には、図５（ｂ）に示すように、起点ノードとなる画像Ａ：２ｓｅｃから、画像Ｃ：３ｓｅｃ、画像Ｅ：５ｓｅｃとなる経路の組み合わせを選択することで、積算スコアが最大の［２５］となる。即ち、スコア別最適化を行った場合には、画像Ａ→画像Ｃ→画像Ｅの経路が最適パスとなる。

これに対して、キーポイント同期最適化を行った場合、選択された画像の個別再生時間内にキーポイントがあるときには、キーポイントでの画像の切り替えを行うために当該画像の個別再生時間を短く調整する。
当該画像の個別再生時間を事前に設定された個別再生時間［τ］とするのではなく、画像Ａの表示終了時点［ｔ］からキーポイントＫ［ｔ‘］でクリップした（Ｋ［ｔ’］−ｔ）ｓｅｃとする。図５（ｃ）を用いて説明すると、画像Ａ：ｔ＝２を起点ノードとした場合に、ｔ＝２の時点において画像Ｂを選択しようとすると画像Ｂの個別再生時間がキーポイントＫ（ｔ＝４）を跨いでしまう。そのため、キーポイントで確実に画像を切り替えるように画像Ａの表示が終わるｔ＝２の時点からキーポイントＫ（ｔ＝４）までの間、画像Ｂが表示されるように画像Ｂの個別再生時間を２ｓｅｃに調整する。
これによって、キーポイントを跨いで画像が再生されることを排除し、結果的にキーポイント上にて必ず画像の切り替わりが発生するようになる。
即ち、図５（ｃ）の例では、画像Ｄの個別再生時間が削られて、画像Ｅへの切り替わりがキーポイント上で行われているため、起点ノードとなる画像Ａから、画像Ｃ、画像Ｄ、画像Ｅの経路の組み合わせを選択することで、最大再生時間の条件下で積算スコアが最大の［３１］となる。即ち、キーポイント同期最適化を行った場合には、画像Ａ→画像Ｃ→画像Ｄ→画像Ｅの経路が最適パスとなる。

したがって、本手法を用いることにより、価値をもとにスコア化された画像群に対し、画像の個別再生時間をキーポイントの時刻にてクリップすることで、ＢＧＭのリズムに同期して画像が切り替わりながら、例えば、時間や枚数等の制約内で積算スコアがなるべく最大となるような経路を選択することができる。このため、ＢＧＭのリズムに同期して、ある制約内でのスコア最大な画像の組み合わせを高速に実現することができる。

［キーポイント同期最適化：高ランク画像のキーポイント優先］
また、楽曲におけるサビ部分への切り替わりのような重要な時点のキーポイントで切り替わるフレーム画像は、高いランクのものになるように調整するように構成しても良い。高いランクのフレーム画像は、ユーザにとって印象深い画像である可能性が高いため、動画の中で重要な時点でのキーポイントで切り替わることで、よりユーザにとって好適な動画の再生を行うことができる。

図６は、高ランク画像のキーポイント優先設定におけるキーポイント同期最適化を行った場合の画像の再生位置を説明するための模式図である。
なお、本例では、図６（ａ）に示すように、ハイライト動画の最大再生時間は、６．０ｓｅｃに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、優先度の高いキーポイント１は４．０ｓｅｃに設定されている。

スコア別最適化を行った場合には、図６（ｂ）の例に示すように、画像Ａ：２．０ｓｅｃ、画像Ｃ：１．０ｓｅｃ、画像Ｅ：３．０ｓｅｃとなる。最大再生時間に足りない１．０ｓｅｃだけ画像Ｅの個別再生時間を伸張している。また、図６（ｂ）ではキーポイントが考慮されていないために、決定した画像の再生開始／終了の位置と、キーポイントの位置は一致していない。

キーポイント同期最適化を行った場合には、図６（ｃ）の例に示すように、画像Ａ：２．０ｓｅｃ、画像Ｃ：１．０ｓｅｃ、画像Ｄ：１．０ｓｅｃ、画像Ｅ：２．０ｓｅｃとなる。キーポイントの優先度は考慮されていないために、優先度の高いキーポイントでスコアの高い画像に切り替わるようになっていない。

これに対して、高ランク画像のキーポイント優先設定においてキーポイント同期最適化を行った場合には、図６（ｄ）の例に示すように、画像Ａ：２．０ｓｅｃ、画像Ｂ：２．０ｓｅｃ、画像Ｃ：２．０ｓｅｃの組み合わせが最適となる。最大再生時間に足りない１．０ｓｅｃだけ画像Ｃの個別再生時間を伸張している。
さらに、優先度の高いキーポイントでスコアの高い画像に切り替わるように画像が選択されるため、図６（ｄ）では図６（ｃ）とは異なる経路が最適な経路として選択される。

図６（ｄ）において最初に選択された画像Ａは個別再生時間：２．０ｓｅｃに設定されおり、個別再生時間内にキーポイント１が到来しないため、２．０ｓｅｃ再生され、画像Ｂに切り替わる。

画像Ｂは個別再生時間：３．０ｓｅｃに設定されているが、決定した個別再生時間内にキーポイントが到来してしまうために、キーポイントの位置に対応する経過時間：４．０ｓｅｃで終了するように、個別再生時間が２．０ｓｅｃに調整される。

また、画像Ｃは個別再生時間：１．０ｓｅｃに設定されているが、他の画像に比べ、画像スコアも高いため、キーポイントで切り替わるように選択され、且つ、経過時間：６．０ｓｅｃで終了するように、個別再生時間が２．０ｓｅｃに調整される。

図７は、高ランク画像のキーポイント優先設定におけるキーポイント同期最適化の具体例を説明するための模式図である。なお、本例では、最大再生時間が６ｓｅｃに設定され、図７（ｃ）及び（ｄ）においてキーポイントが再生経過時間：４ｓｅｃに設定されている。図７（ｄ）ではキーポイントに優先度情報が設定されている。

各画像ｐにおける画像スコアＳと個別再生時間τは、図７（ａ）の例に示すように、画像Ａではスコア：８、ランク：３、個別再生時間：２ｓｅｃに設定される。また、画像Ｂではスコア：５、ランク：２、個別再生時間：３ｓｅｃに設定される。また、画像Ｃではスコア：１０、ランク：５、個別再生時間：１ｓｅｃに設定される。また、画像Ｄではスコア：６、ランク：２、個別再生時間：２ｓｅｃに設定される。また、画像Ｅではスコア：７、ランク：３、個別再生時間：２ｓｅｃに設定される。

このように設定された画像の個別再生時間／画像スコアで、最大再生時間に収まるようにスコア別最適化を行った場合には、図７（ｂ）に示すように、起点ノードとなる画像Ａ：２ｓｅｃから、画像Ｃ：３ｓｅｃ、画像Ｅ：５ｓｅｃとなる経路の組み合わせを選択することで、積算スコアが最大の［２５］となる。即ち、スコア別最適化を行った場合には、画像Ａ→画像Ｃ→画像Ｅの経路が最適パスとなる。

また、キーポイントで画像を切り替えるように、スコア別最適化を行った場合には、図７（ｃ）に示すように、起点ノードとなる画像Ａ：２ｓｅｃから、画像Ｃ：３ｓｅｃ、画像Ｄ：４ｓｅｃ、画像Ｅ：６ｓｅｃとなる経路の組み合わせが選択される。
この時、画像Ｄはキーポイントを跨ぐため、個別再生時間が３ｓｅｃから１ｓｅｃになるよう調整される。選択された経路における積算スコアが最大の［３１］となる。即ち、キーポイントを考慮しスコア別最適化を行った場合には、画像Ａ→画像Ｃ→画像Ｄ→画像Ｅの経路が最適パスとなる。

これに対して、キーポイントにおける高ランク画像の優先設定の最適化を行った場合、もし親がキーポイント時刻上にあるときには、次に選択される画像が高いランクであれば、予め設定されたスコアではなく、当該スコアにランクに応じたボーナス（乗数Ｂｏｎｕｓ）をかけることにする。
これによって、そのノードを通過するパスのスコアは相対的に高くなるため、結果的により高いランクの画像がキーポイント上で切り替わるようになる。
即ち、図７（ｄ）の例では、高いランクの画像Ｃに対して５倍のボーナスを与えているために、キーポイントから開始される画像として選択されることとなり、起点ノードとなる画像Ａ：２ｓｅｃから、画像Ｂ：４ｓｅｃ、画像Ｃ：５ｓｅｃの経路の組み合わせを選択することで、積算スコアが最大の［５３］となる。即ち、キーポイントにおける高ランク画像の優先設定の最適化を行った場合には、画像Ａ→画像Ｂ→画像Ｃの経路が最適パスとなる。

したがって、本手法を用いることにより、画像夫々の価値をもとにスコア化された画像群に対し、親ノードが音声キーポイント上にある場合には、そこからの追加ノードの画像ランクが高い時にボーナスを与えることで、より高いランクの画像がキーポイント上で切り替わりながら、ある制約（時間・枚数）内で積算スコアがなるべく最大となるような経路を選択することができる。このため、ＢＧＭのリズムに同期して、例えば、時間や枚数等の制約内でのスコア最大な画像組み合わせを高速に実現することができる。

［キーポイント同期最適化：短時間再生画像存在時の個別再生時間調整］
また、あまりに短い個別再生時間で画像を表示しても効果的でないため、１枚当たりの画像の再生時間の最短の長さの閾値となる最低個別再生時間を設定することができる。本例では、０．５ｓｅｃを最低個別再生時間として設定する。即ち、再生時間が０．５ｓｅｃ未満となるようなフレーム画像を経路探索の選択肢から外すように抑止（以下、「短時間再生抑止」という。）する。

図８は、キーポイント同期最適化を行って短時間再生画像が存在していた場合の画像の再生位置を説明するための模式図である。
なお、本例では、図８（ａ）に示すように、ハイライト動画の最大再生時間は、８．０ｓｅｃに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、各キーポイントは、キーポイント１：１．３ｓｅｃ、キーポイント２：２．６ｓｅｃ、キーポイント３：３．２ｓｅｃ、キーポイント４：５．４ｓｅｃ、キーポイント５：６．７ｓｅｃ、キーポイント６：７．１ｓｅｃに設定される。

キーポイント同期最適化を行った場合には、図８（ｂ）に示すようになり、個別再生時間が０．５ｓｅｃ未満となる画像Ｆ：０．２ｓｅｃ、画像Ｈ：０．４ｓｅｃが存在する。そのため、再生時間が短いフレーム画像が存在してしまうため、画像の切り替わりの早いユーザにとって好適でない動画像になってしまっている。

本例では、図８（ｃ）に示すように、個別再生時間が０．２ｓｅｃとなってしまう画像Ｆの区間に相当する部分を画像Ｆの１つ前の画像Ｅの個別再生時間を延長することで個別再生時間が最低個別再生時間を下回らないように構成する。即ち、画像Ｅの個別再生時間が１．３ｓｅｃとなる。それ以降は、キーポイントを考慮して再設定する。

画像Ｆは個別再生時間：２．０ｓｅｃに設定されているが、次のキーポイントが到来してしまうために、画像Ｅの再生終了後からキーポイント５の経過時間：６．７ｓｅｃで終了するように、個別再生時間が１．３ｓｅｃに調整される。

また、画像Ｇは個別再生時間：２．０ｓｅｃに設定されているが、次のキーポイントが到来してしまうが、次のキーポイントまで、０．５ｓｅｃ未満の０．４ｓｅｃであるため、キーポイントを考慮せず、画像Ｇの再生終了後から動画の最大再生時間の経過時間：８．０ｓｅｃで終了するように、個別再生時間が１．３ｓｅｃに調整される。

図９は、キーポイント同期最適化を行って短時間再生画像が存在する場合の個別再生時間調整の具体例を説明するための模式図である。
なお、各画像ｐにおける画像スコアＳと個別再生時間τは、図９（ａ）の例に示すように、画像Ａではスコア：４、個別再生時間：１ｓｅｃに設定される。また、画像Ｂではスコア：１０、個別再生時間：２ｓｅｃに設定される。また、画像Ｃではスコア：５、個別再生時間：３ｓｅｃに設定される。また、画像Ｄではスコア：６、個別再生時間：２ｓｅｃに設定される。また、画像Ｅではスコア：７、個別再生時間：２ｓｅｃに設定される。

このような画像の個別再生時間／スコアで、キーポイント同期最適化を行った場合には、図９（ｂ）の例に示すように、起点ノードなる画像Ａ：１ｓｅｃから、画像Ｂ：３ｓｅｃ、画像Ｄ：２ｓｅｃ、画像Ｅ：２ｓｅｃの経路の組み合わせを選択することで、積算スコアが最大の［２７］となる。この場合、画像Ｂの再生時間にキーポイントが存在することになり、画像Ｂの再生時間は３ｓｅｃから１ｓｅｃに短縮される。
即ち、キーポイント同期最適化を行った場合には、画像Ａ→画像Ｂ→画像Ｃ→画像Ｅの経路が最適パスとなる。
しかしながら、例えば、個別再生時間が１ｓｅｃのような短時間で切り替わる画像は、画像内容によってはハイライト動画の閲覧者には内容を認識できない場合も考えられる。

そこで、本例では、図９（ｃ）の例に示すように、キーポイント時刻１ｓｅｃ前のｔ＝３にノードが発生する場合、画像の切り替わりの影響により、そこからの個別再生時間は短時間となることが予想されるため、その前の親画像の個別再生時間をその分延長してしまうことで対応する。
例えば、画像Ａを選択した後に画像Ｂを追加するパスでは、画像Ｂの個別再生時間は２ｓｅｃ間なので本来はｔ＝３となるはずであるがｔ＝４へと移動させる。つまりこれは、画像Ｂの再生を３ｓｅｃへと延長させることで、次の画像がキーポイントクリップにより１ｓｅｃ再生となることを抑止していることになる。
図９（ｂ）の例では、最適パスとして画像Ａ→画像Ｂ→画像Ｃ→画像Ｅの経路が選択されていたが、結果的に図９（ｃ）ではキーポイントの前のノード時点で短時間再生が生じる場合、上述の延長処理が行われたうえで経路探索が行われるため、画像Ａを選択するパスは回避され、短時間再生を含まず、積算スコアの最も高い経路である画像Ｂ→画像Ｄ→画像Ｅの経路が選択されることになる。

なお、ハイライト動画を構成するフレーム画像が動画である場合には、クリップおよび伸張処理を行うことで、画像や動画のスコアを再生時間比率などで変化させてもよい。例えば、再生時間がクリップによってα倍（１＞α≧０）に減少されてしまった場合、そのノードに与えるスコアもα倍に減少させることで、最適パスがそのノードを通過しづらくすることができる。これによって、なるべく本来の個別再生時間を維持している経路が選択されやくなる。また、そもそも伸張処理を行わずに、短時間再生が発生する可能性のあるパスに対して大きなペナルティを与えることで、最適パスがそのノードを通過しづらくするだけでもよい。

したがって、キーポイント時刻より、ある閾値内の手前にノードが発生する場合には、親のノードの再生時間をキーポイント時刻まで延長することよって、短時間再生を抑圧することができる。また、クリップおよび伸張処理による再生時間変化を画像スコアへも影響を与えることで、最適パスのノードへの回避および誘導を制御する。よって、短時間再生を抑圧しつつＢＧＭのリズムに同期して、動画の再生時間の制約内での画像スコアが最大となる画像の組み合わせを高速に実現することができる。

図１０は、図１の撮像装置１の機能的構成のうち、ハイライト動画生成処理を実行するための機能的構成を示す機能ブロック図である。

ハイライト動画生成処理とは、複数の候補画像の中から、選択した画像スコアの高い組み合わせとなる候補画像からなるハイライト動画を生成する一連の処理をいう。

ハイライト動画生成処理を実行する場合には、図１０に示すように、ＣＰＵ１１において、モード設定部５１と、画像取得部５２と、特徴量算出部５３と、動画再生時間設定部５４と、画像再生時間設定部５５と、経路設定部５６と、スコア補正部５７と、画像選択部５８と、動画生成部５９と、が機能する。

また、記憶部２０の一領域には、動画記憶部７１が設定される。
動画記憶部７１には、撮影時に取得したセンサ情報と対応付けられた画像のデータが記憶される。

モード設定部５１は、例えば、ユーザにより入力部１８を介してモードを設定する。

本実施形態では、「ノーマルモード」と、「非類似性向上モード」と、「キーポイント切替モード」のモードが設定可能となる。
「ノーマルモード」は、設定された動画の最大再生時間内に納まる時間で、最も高いスコアとなる組み合わせの経路を選択して、選択された経路を構成する画像をフレーム画像として選択するモードである。「ノーマルモード」では、上述した［スコア別最適化］の手法を用いて、画像の組み合わせの経路選択を行う。
「非類似性向上モード」は、類似度が高い画像同士が選択されることを避けることで冗長性を排除し、非類似性を向上させるモードである。「非類似性向上モード」では、上述した［非類似性の向上（冗長性の排除）］の手法を用いて、画像の組み合わせの経路選択を行う。
「キーポイント切替モード」は、動画の再生時にＢＧＭが同時に再生されるものであり、ＢＧＭのキーポイントで画像を切り替えるモードであり、ランクの高い画像がキーポイントで切り替わるようにしたり、キーポイントで画像を切り替えることで画像の切り替わりが短時間となることを抑制したりするモードである。「キーポイント切替モード」では、［音声同期再生：キーポイント同期最適化］・［キーポイント同期最適化：高ランク画像のキーポイント優先］・［キーポイント同期最適化：短時間再生画像存在時の再生時間調整］の手法を用いて、画像の組み合わせの経路選択を行う。

画像取得部５２は、ハイライト動画の対象となる複数の候補画像を動画記憶部７１から取得する。

特徴量算出部５３は、取得した候補画像毎に特徴量を算出する。本実施形態において特徴量は、候補画像を画像解析して、解析した画像内における特徴点等に基づいて算出する。また、特徴量に基づいて、候補画像のスコアを算出し、スコアに応じて候補画像のランク付けを行う。即ち、スコアとランクが候補画像に付される。

動画再生時間設定部５４は、ユーザにより入力部１８を介してハイライト動画の最大再生時間（例えば、６ｓｅｃ）を設定する。

画像再生時間設定部５５は、スコアに基づいて決定される候補画像のランクに応じて、動画内における候補画像の個別再生時間を設定する。なお、候補画像の個別再生時間は、スコアやランクにかかわらず、ユーザによって設定可能に構成してもよい。

経路設定部５６は、画像の撮影順と設定された候補画像の個別再生時間に基づいて、ハイライト動画の個別再生時間と候補画像によって構成されるマトリクスに可能な経路の組み合わせ（配列）を設定する。

スコア補正部５７は、設定されたモードに応じてスコアを補正する。
なお、「非類似性向上モード」の場合には、類似度が高いフレーム画像が連続する場合には、ペナルティをかけたスコアに補正する。また、「キーポイント切替モード」の場合には、キーポイントでクリッピングした場合には、クリッピング後に選択される可能性のある画像のうちランクの高いものに、ランクに応じたボーナスを加算してスコアを補正する。

画像選択部５８は、積算スコアが最も高くなる経路を選択して、経路を構成する候補画像を選択する。なお、「キーポイント切替モード」の場合には、クリッピングしてキーポイントに合わせた後の余った時間に応じて、候補画像を選択する。ただし、補正後の積算スコアを用いて経路を選択する。また、例えば、個別再生時間が０．５ｓｅｃ未満のように短くなってしまう候補画像がある場合には、経路の上流にある候補画像の親（１つ前の候補画像）の再生時間を延長して、子（次の候補画像）がキーポイントで切り替わるようにする。

動画生成部５９は、画像選択部５８によって選択された経路の候補画像を設定された最大再生時間に収まるように構成したハイライト動画を生成する。

図１１は、図１０の機能的構成を有する図１の撮像装置１が実行するハイライト動画生成処理の流れを説明するフローチャートである。
ハイライト動画生成処理は、ユーザによる入力部１８へのハイライト動画生成処理開始の操作により開始される。

ステップＳ１において、モード設定部５１は、例えば、ユーザにより入力部１８を介してモードを設定する。
本実施形態では、「ノーマルモード」と、「非類似性向上モード」と、「キーポイント切替モード」のモードが設定可能となる。
「ノーマルモード」は、設定された動画の最大再生時間内に納まる時間で、最も高いスコアとなる組み合わせの経路を選択して、選択された経路を構成する画像をフレーム画像として選択するモードである。
「非類似性向上モード」は、類似度が高い画像同士が選択されることを避けることで冗長性を排除し、非類似性を向上させるモードである。
「キーポイント切替モード」は、動画の再生時にＢＧＭが同時に再生されるものであり、ＢＧＭのキーポイントで画像を切り替えるモードであり、ランクの高い画像がキーポイントで切り替わるようにしたり、キーポイントで画像を切り替えることで画像の再生時間が短時間となることを抑制したりするモードである。

ステップＳ２において、画像取得部５２は、ハイライト動画の対象となる複数の候補画像を動画記憶部７１から取得する。

ステップＳ３において、特徴量算出部５３は、取得した候補画像毎に特徴量を算出する。本実施形態において特徴量は、候補画像を画像解析して、解析した画像内における特徴点等に基づいて算出する。その後、特徴量に基づいて、候補画像のスコアを算出し、スコアに応じて候補画像のランク付けを行う。即ち、スコアとランクが候補画像に付される。

ステップＳ４において、動画再生時間設定部５４は、ユーザにより入力部１８を介してハイライト動画の最大再生時間（例えば、６ｓｅｃ）を設定する。

ステップＳ５において、画像再生時間設定部５５は、スコアに基づいて決定される候補画像のランクに応じて、動画内における候補画像の個別再生時間を設定する。なお、候補画像の再生時間は、スコアやランクにかかわらず、ユーザによって設定可能に構成してもよい。

ステップＳ６において、経路設定部５６は、画像の撮影順と設定された候補画像の個別再生時間に基づいて、ハイライト動画の最大再生時間と候補画像によって構成されるマトリクスに可能な経路の組み合わせ（配列）を設定する。

ステップＳ７において、スコア補正部５７は、設定されたモードに応じてスコアを補正する。
「非類似性向上モード」の場合には、類似度が高いフレーム画像が連続する場合には、ペナルティをかけたスコアに補正する。
「キーポイント切替モード」の場合には、キーポイントでクリッピングした場合には、クリッピング後に選択される可能性のある画像のうちランクの高いものに、ランクに応じたボーナスを加算してスコアを補正する。

ステップＳ８において、画像選択部５８は、積算スコアが最も高くなる経路を選択して、経路を構成する候補画像を選択する。
「キーポイント切替モード」の場合には、クリッピングしてキーポイントに合わせた後の余った再生時間に応じて、候補画像を選択する。この場合、補正後の積算スコアを用いて経路を選択する。また、例えば、個別再生時間が０．５ｓｅｃ未満の短い再生時間になってしまう候補画像がある場合には、経路の上流にある候補画像の親（１つ前の候補画像）の個別再生時間を延長して、子（次の候補画像）がキーポイントで切り替わるようにする。

ステップＳ９において、動画生成部５９は、画像選択部５８によって選択された経路の候補画像を設定された最大再生時間に収まるように構成したハイライト動画を生成する。
その後、ハイライト動画生成処理は終了する。

以上のように構成される撮像装置１は、画像取得部５２と、動画再生時間設定部５４と、画像再生時間設定部５５と、画像選択部５８と、を備える。
画像取得部５２は、複数の画像を取得する。
特徴量算出部５３は、画像取得部５２によって取得された複数の画像を評価する。
動画再生時間設定部５４は、複数の画像からなるデータの再生総時間を設定する。
画像再生時間設定部５５は、複数の画像の夫々に個別再生時間を設定する。
画像選択部５８は、複数の画像の評価結果と個別再生時間に基づいて、複数の画像から再生総時間に応じた所定数の画像を選択する。
したがって、撮像装置１においては、内容が単調でない動画生成のための画像選択を可能にすることができる。

また、撮像装置１は、画像取得部５２によって取得された複数の画像を評価する特徴量算出部５３を更に備える。
画像選択部５８は、複数の画像の特徴量算出部５３による評価結果と個別再生時間に基づいて、複数の画像から再生総時間に応じた所定数の画像を選択する。
したがって、撮像装置１においては、より内容が単調でない動画生成のための画像選択を可能にすることができる。

画像再生時間設定部５５は、特徴量算出部５３による評価結果に基づいて個別再生時間を設定する。
したがって、撮像装置１においては、評価結果に関係のある個別再生時間とすることができる。

特徴量算出部５３は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて画像を評価する。
したがって、撮像装置１においては、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に関係する評価を行うことができる。

画像選択部５８は、選択される画像の評価結果が高く、かつ、選択される複数の画像の個別再生時間の合計時間が再生総時間を超えない範囲となるように、所定数の画像を選択する。
したがって、撮像装置１においては、設定した時間内となるように画像を選択することができる。

画像における類似度を判定するスコア補正部５７を更に備える。
画像選択部５８は、スコア補正部５７による判定結果に基づいて、画像を選択する。
したがって、撮像装置１においては、類似度に応じて、動画生成のための画像選択を可能にすることができる。

スコア補正部５７は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて、類似度を判定する。
したがって、撮像装置１においては、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に関係する画像の類似度を判定することができる。

スコア補正部５７は、類似度を判定する対象の画像において画像選択部５８により選択される順番が近い前後の画像を比較対象とする。
したがって、撮像装置１においては、選択される順番が近い画像の類似度を判定することができる。

特徴量算出部５３は、複数種の異なる観点から画像を評価する。
したがって、撮像装置１においては、複数種の異なる観点から画像を総合的に評価することができる。

画像選択部５８は、撮影される画像の撮影タイミングに関する情報が分散するように所定数の画像を選択する。
したがって、撮像装置１においては、選択対象となる画像を分散した動画生成のための画像選択を可能にすることができる。

また、撮像装置１は、再生開始タイミングを設定するモード設定部５１を備える。
画像選択部５８は、モード設定部５１によって設定された再生開始タイミングを考慮して、所定数の画像を選択する。
したがって、撮像装置１においては、設定された再生開始タイミングに合うように動画生成のための画像選択を可能にすることができる。

モード設定部５１は、楽音に対応するように再生開始タイミングを設定する。
したがって、撮像装置１においては、楽音に合うように動画生成のための画像選択を可能にすることができる。なお、複数の楽音によって有機的に構成されたものが楽曲となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、ハイライト動画の制約として動画の最大再生時間としたが、これに限られず、例えば、動画を構成するフレーム画像の最大枚数を制約条件とするようにしても良い。

また、上述の実施形態では、複数の静止画を候補画像として取得して、取得した候補画像から画像を選択してハイライト動画を生成するように構成したが、例えば、１つ又は複数の動画において、動画を構成するフレーム画像を候補画像としてもよい。
また、ハイライト動画に代えて、複数の静止画が一枚の画像となっているような画像を生成するように構成してもよい。

また、上述の実施形態では、選択する画像の個別再生時間を合計した場合に、合計した合計再生時間が設定した最大再生時間を超えない最大の再生時間となるように構成したがこれに限られない。例えば、設定した再生時間（再生総時間）付近において最大のスコアとなるような画像を選択するように構成してもよい。

また、上述した実施形態では、類似度が高い画像を連続して選択しないように構成したがこれに限られず、類似度が高い画像を積極的に選択するように構成してもよい。
また、類似度は、例えば、画像における構図、画角、色又は等の画像の内容や、撮影時間、撮影時のセンサ情報等の撮影時の情報に基づいて決定することができる。
また、画像の評価においても、例えば、画像における構図、画角、色又は等の画像の内容や、撮影時間、撮影時のセンサ情報等の撮影時の情報に基づいて行うことができる。また、画像の評価は、画像単体において行ってもよいが、他の画像との比較において行うように構成してもよい。例えば、画像の内容からして画像単体としては高い評価となるが、同時期に同じような画像が集中した場合には、他の画像との関係から同時期に最も評価の高い画像を除いて評価を下げるように構成してもよい。

また、上述した実施形態では、切り替えポイントは、楽曲の内容に基づいて設定されるように構成したがこれに限られない。切り替えポイントは、例えば、楽曲の内容から複数の候補が挙げられ、当該候補のそれぞれに対して、重要度を割り当てる。切り替えポイントは、割り当てられた重要度のうち、所定の重要度以上の候補を、切り替えポイントとして設定する。また、設定された切り替えポイントに対して、割り当てられた重要度に応じて、切り替えるか否かを判断して画像を選択するように構成してもよい。

また、上述した実施形態では、最大再生時間はユーザが任意に設定するように構成していたが、これに限られず、ＢＧＭとして使用する楽曲の長さを最大再生時間として設定するように構成することができる。

また、上述した実施形態では、動画と共に再生する楽曲の内容に基づいて切り替えポイントが設定されるように構成したが、例えば、選択される画像の枚数に応じて、切り替えポイントを設定するように構成してもよい。この場合、楽曲の内容に基づいて切り替えポイントの数が選択される画像よりも多い場合には、例えば、内容の変化の少ないポイントを切り替えポイントから外すようにしたり、楽曲の内容に基づいて切り替えポイントの数が選択される画像よりも少ない場合には、内容の変化が次に多いポイントを切り替えポイントとして設定したりするように構成することができる。また、切り替えポイントは、前半・中盤・後半と再生時期に応じて数を増減させてもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、ハイライト動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１０の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１０の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を取得する画像取得手段と、
複数の画像からなるデータの再生総時間を設定する再生総時間設定手段と、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記画像取得手段によって取得された前記複数の画像を評価する評価手段を更に備え、
前記選択手段は、前記複数の画像の前記評価手段による評価結果と前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記個別再生時間設定手段は、前記評価手段による評価結果に基づいて前記個別再生時間を設定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記評価手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて前記画像を評価する、
ことを特徴とする付記２又は３に記載の画像処理装置。
［付記５］
前記選択手段は、選択される前記画像の評価結果が高く、かつ、選択される前記複数の画像の前記個別再生時間の合計時間が前記再生総時間を超えない範囲となるように、前記所定数の画像を選択する、
ことを特徴とする付記２乃至４の何れか１つに記載の画像処理装置。
［付記６］
画像における類似度を判定する類似度判定手段を更に備え、
前記選択手段は、前記類似度判定手段による判定結果に基づいて、前記画像を選択する、
ことを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記類似度判定手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報の情報に基づいて、前記類似度を判定する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記類似度判定手段は、類似度を判定する対象の画像において前記選択手段により選択される順番が近い前後の画像を比較対象とする、
ことを特徴とする付記６又は７に記載の画像処理装置。
［付記９］
前記選択手段は、撮影される画像の撮影タイミングに関連する情報が分散するように前記所定数の画像を選択する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
再生開始タイミングを設定するタイミング設定手段と、
前記選択手段は、前記タイミング設定手段によって設定された前記再生開始タイミングを考慮して、前記所定数の画像を選択する、
ことを特徴とする付記１乃至９の何れか１つに記載の画像処理装置。
［付記１１］
前記タイミング設定手段は、楽音に対応するように前記再生開始タイミングを設定する、
ことを特徴とする付記１０に記載の画像処理装置。
［付記１２］
複数の画像を取得する画像取得ステップと、
複数の画像からなるデータの再生総時間を設定する再生総時間設定ステップと、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定ステップと、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択ステップと、
を含むことを特徴とする画像選択方法。
［付記１３］
画像処理装置を制御するコンピュータを、
複数の画像を取得する画像取得手段、
複数の画像からなるデータの再生総時間を設定する再生総時間設定手段、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・センサ部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・モード設定部，５２・・・画像取得部，５３・・・特徴量算出部，５４・・・動画再生時間設定部，５５・・・画像再生時間設定部，５６・・・経路設定部，５７・・・スコア補正部，５８・・・画像選択部，５９・・・動画生成部，７１・・・画像記憶部

Claims (13)

1. 複数の画像を取得する画像取得手段と、
   複数の画像からなるデータの再生総時間を設定する再生総時間設定手段と、
   前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段と、
   前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像取得手段によって取得された前記複数の画像を評価する評価手段を更に備え、
   前記選択手段は、前記複数の画像の前記評価手段による評価結果と前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記個別再生時間設定手段は、前記評価手段による評価結果に基づいて前記個別再生時間を設定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記評価手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて前記画像を評価する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記選択手段は、選択される前記画像の評価結果が高く、かつ、選択される前記複数の画像の前記個別再生時間の合計時間が前記再生総時間を超えない範囲となるように、前記所定数の画像を選択する、
   ことを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 画像における類似度を判定する類似度判定手段を更に備え、
   前記選択手段は、前記類似度判定手段による判定結果に基づいて、前記画像を選択する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記類似度判定手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報の情報に基づいて、前記類似度を判定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記類似度判定手段は、類似度を判定する対象の画像において前記選択手段により選択される順番が近い前後の画像を比較対象とする、
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記選択手段は、撮影される画像の撮影タイミングに関連する情報が分散するように前記所定数の画像を選択する、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 再生開始タイミングを設定するタイミング設定手段と、
    前記選択手段は、前記タイミング設定手段によって設定された前記再生開始タイミングを考慮して、前記所定数の画像を選択する、
    ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記タイミング設定手段は、楽音に対応するように前記再生開始タイミングを設定する、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 複数の画像を取得する画像取得ステップと、
    複数の画像からなるデータの再生総時間を設定する再生総時間設定ステップと、
    前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定ステップと、
    前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択ステップと、
    を含むことを特徴とする画像選択方法。
13. 画像処理装置を制御するコンピュータを、
    複数の画像を取得する画像取得手段、
    複数の画像からなるデータの再生総時間を設定する再生総時間設定手段、
    前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段、
    前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段、
    として機能させることを特徴とするプログラム。

Images