JP2018160235A - 情報処理装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 ユーザが望む被写体が静止した画像が生成されるようにするため、画像中の複数の被写体それぞれに合わせたスピード感ある画像を生成する。【解決手段】 複数の画像から合成画像を生成する画像処理装置は、連続して撮像された複数の画像データを取得する取得部と、前記画像データに撮像された被写体を特定する特定部と、第１の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第１の合成画像と、前記第１の被写体とは動きが異なる第２の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第２の合成画像とを生成する生成部を有する。【選択図】 図２

Description

本発明は、画像にモーションブラーを付与する技術に関するものである。

被写体の動きを強調して撮影するテクニックとして、「流し撮り」が知られている。流し撮りでは、シャッター速度を通常よりも遅く設定し、撮影者が被写体の動きに合わせてカメラをパンニング（移動）するものである。得られる画像は、被写体が静止状態となり、背景が流れる状態となる。被写体の代表的なものとしては、離着陸時や低空飛行中の航空機、走行中の列車、自動車やバイクなどが挙げられる。動きの速い被写体のスピード感が表現される。また、これとは別に、移動速度の速い被写体のモーションブラーを強調することで、静止画においてスピード感のある画像を得ることができる。

特許文献１では、連続撮影を行って複数枚の画像を取得し、動きベクトルを推定して、画像において最も移動速度の小さい被写体に位置合わせ合成を行うことで、ユーザが容易に流し撮りを模した画像を得る技術を開示している。

特許第４５６９３８９号公報

しかしながら、特許文献１の手法では、移動速度が最も小さい被写体を自動で抽出するため、ユーザが着目したい他の被写体を静止させた、スピード感のある画像を生成するという要望には応えることができない。

本発明はかかる問題に鑑みなされたものであり、ユーザが望む被写体が静止した画像が生成されるようにするため、画像中の複数の被写体それぞれに合わせたスピード感ある画像を生成する技術を提供する。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数の画像から合成画像を生成する画像処理装置であって、
連続して撮像された複数の画像データを取得する取得手段と、
前記画像データにおける被写体を特定する特定手段と、
第１の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第１の合成画像と、前記第１の被写体とは動きが異なる第２の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第２の合成画像とを生成する生成手段とを有する。

本発明によれば、画像中の複数の被写体それぞれに合わせたスピード感ある画像を生成するので、ユーザが望んだ被写体が静止した画像を得る、或いは、得易くすることが可能になる。

画像処理装置の構成を示すブロック図。 第１の実施形態の画像処理装置の構成を示すブロック図。 第１の実施形態の画像処理装置の流れを示すフローチャート。 動きベクトルのヒストグラムを示す図。 領域分割の結果を示す概念図。 ブラー付与部の構成を示すブロック図。 ブラー付与部の処理の流れを示すフローチャート。 位置合わせ合成を説明するための図。 カウントマップの概念図。 第１の実施形態に係る表示装置のＵＩを示す図。 第２の実施形態の画像処理装置の構成を示すブロック図。 第２の実施形態に係る表示装置のＵＩを示す図。 第３の実施形態の画像処理装置の構成を示すブロック図。 第３の実施形態に係る表示装置のＵＩを示す図。 第３の実施形態に係る表示装置のＵＩを示す図。 第５の実施形態に係る位置合わせ合成を説明するための図。

以下添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
静止した被写体が異なる、モーションブラーを付与した複数枚の画像を、ＵＩ画面に表示する場合について説明する。

図１は、本実施形態の画像処理装置１００の構成を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、記憶部１０４、入力インターフェース１０５、出力インターフェース１０６、及び、システムバス１０７で構成される。外部メモリ１０８は入力インターフェース１０５と出力インターフェース１０６に接続されており、表示装置１０９と出力インターフェース１０６に接続されている。

ＣＰＵ１０１は、画像処理装置１００の各構成を統括的に制御するプロセッサであり、ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリアとして機能するメモリである。そして、ＲＯＭ１０３は画像処理装置１００内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとしてＲＯＭ１０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。記憶部１０４は、画像処理装置１００での処理に用いる画像データや、処理のためのパラメータなどを記憶する記憶デバイスである。記憶部１０４としてはＨＤＤや光ディスクドライブ、フラッシュメモリなどを用いることができる。入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。画像処理装置１００は、この入力インターフェース１０５を介して、外部メモリ１０８（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）から処理対象の画像データ等を取得することができる。出力インターフェース１０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。画像処理装置１００は、この出力インターフェース１０６を介して、表示装置１０９（液晶ディスプレイなどの画像表示デバイス）に、画像処理装置１００で処理した画像データを出力することができる。なお、画像処理装置１００の構成要素は上記のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。

以下、本実施形態の画像処理装置１００における処理を、図２に示すブロック図と、図３に示すフローチャートを用いて説明する。図２は、画像処理装置１００の処理ブロック図である。本実施形態では、ＣＰＵ１０１がＲＯＭ１０３に格納された図３のフローチャートに示すプログラムを実行することにより、図２に記載の各ブロックとして機能する。もちろん、全ての処理ブロックの機能をＣＰＵ１０１が有していなくてもよく、各処理ブロックに対応する処理回路を画像処理装置１００内に新たに設けるようにしてもよい。各ステップの動作はＣＰＵ１０１が実行するものとして説明するが、専用の処理モジュールを持ち、そのモジュールが処理してもよい。なお、以下の説明において、記憶部１０４には処理対象の画像データが既に格納されているものとして説明する。

Ｓ３０１にて、画像データ取得部２０１は、連続して撮影して得た複数枚（２枚以上）の画像データを記憶部１０４より取得する。

Ｓ３０２にて、基準画像設定部２０２は、取得した複数枚の画像データから、モーションブラーを付与する際に基準となる画像（以下、基準画像データ）を設定する。基準画像データの決定法は特に問わないが、実施形態では連続撮影した複数の画像データのうち、最初に撮影して得た画像データとする。勿論、最後に撮影した画像データや中間フレームの画像データとしても良い。

Ｓ３０３にて、動きベクトル取得部２０３が複数枚の画像データ間の動きベクトルを取得する。ここで、動きベクトルとは各被写体が画像間でどの方向にどれだけ動いたかを示すベクトルのことである。動きベクトルは、画素毎に与えてもよいし、領域で分割して領域ごとに与えてもよい。複数枚の画像データから動きベクトルを推定する場合は、特徴点のマッチングや、ブロックマッチング、勾配法によるオプティカルフロー推定などを用いるものとする。動きベクトルを推定する手法についてはこれ以外の手法を用いて構わない。例えば、カメラに搭載されているジャイロセンサや加速度センサの情報が、画像データに関連付けられている場合には、それを活用してもよい。以下では、勾配法を用いて画素毎に動きベクトルを推定する場合について説明する。また、画素毎の動きベクトルで表されるデータを、以降、動きベクトルマップと呼称することにする。

Ｓ３０４にて、代表動きベクトル決定部２０４は、動きベクトルマップの中から代表となる動きベクトル（以下、代表動きベクトル）を決定する。また、代表動きベクトル決定部２０４は、代表動きベクトルの個数Ｎも決定する。代表動きベクトル決定部２０４の詳細な動作については後述する。

Ｓ３０５にて、ブラー付与部２０５は、代表動きベクトルのインデックスを表す変数ｋに初期値“１”を設定する。そして、Ｓ３０６にて、ブラー付与部２０５は、ｋ番目の代表動きベクトル（着目動きベクトル）と、複数枚の画像データに基づいて、ブラーを付与した合成画像データを生成する。このブラー付与部２０５の詳細な動作については後述する。

Ｓ３０７にて、ブラー付与部２０５は、代表動きベクトルのインデックスｋが代表動きベクトル数Ｎに等しいかどうかを判定する。ｋがＮに比べて小さい場合は、ブラー付与部２０５は、Ｓ３０８で変数ｋの値を“１”増加させ、Ｓ３０６に戻る。ｋがＮと等しい場合、ブラー付与部２０５は、Ｎ個のベクトルに対応するブラー付与画像が生成されたことになる。それ故、Ｓ３０９にて、画像表示部２０６は、表示装置１０９に、生成したＮ枚のブラーを付与した画像を表示する。この表示ＵＩについては後述する。

Ｓ３１０にて、画像保存部２０７は、ユーザから表示ＵＩ上の保存対象の画像の選択があったか否か、及び、選択された画像がどれであるかの判定を行う。保存対象として選択された画像があった場合には、画像保存部２０７がＳ３１１にて、選択画像を記憶部１０４に保存して処理を終了する。一方、ユーザが画像の選択を行わなかった場合には本処理を終了する。画像の保存の詳細については、後述する。

［代表ベクトル決定部］
次に、代表動きベクトル決定部２０４における動きベクトルの決定処理を説明する。代表動きベクトル決定部２０４は、シーン中に含まれる二つ以上の主要被写体に対し、主要被写体の個数と、夫々の平均的な動きを表す代表的な動きベクトルを算出する。ここではヒストグラムを用いて代表動きベクトルを算出する例と、領域分割に基づき主要被写体を特定する例について説明するが、それ以外の手法を用いても構わない。

まず、ヒストグラムを用いる例について、図４を用いて説明する。図４は、基準画像における動きベクトルのヒストグラムを表したものである。グラフ４０１において、ｘ、ｙ軸は動きベクトルのｘ成分（画像の水平成分）、ｙ成分（画像の垂直成分）を対応している。軸の単位はｐｉｘｅｌ（画素）であり、幅Δで離散化している。幅Δとしては、例えば１を取ることができる。バー４０２の長さ（ｚ軸の値）は、ｘ成分、ｙ成分がそれぞれ[ａΔ, ａΔ＋１）、[ｂΔ, ｂΔ＋１）の範囲に入る動きベクトルの個数（出現頻度）を表している。ここでａ、ｂは適当な整数である。なお、ここで区間を表す“［”は、その区間の下限値を含むこと（以上）を表し、“）”はその区間の上限値を含まないこと（未満）を表している。

代表動きベクトル算出部２０３は、バー４０２の長さ（度数）が長い順にＮ個の動きベクトルを抽出する。このとき、抽出する動きベクトル値は、[ａΔ, ａΔ＋１）、[ｂΔ, ｂΔ＋１）の重心位置である、（ａΔ＋０．５Δ, ｂΔ＋０．５Δ）を採用する。以上が、ヒストグラムを用いた場合の処理の詳細である。

なお、上記では、バーの長さの上位Ｎ個の動きベクトルを代表動きベクトルとするものであったが、度数（ｚ軸の値）が閾値以上であることを条件に付加し、最大でもＮ個を代表ベクトルとして決定しても良い。この場合、代表動きベクトルの個数は画像に依存することになる。

次に、領域分割に基づき主要被写体を特定する場合について、図５を用いて説明する。
図５は既存の領域分割手法を用いて画像を領域分割した例である。図示の参照符号５０２、５０３は移動被写体（車）、５０４は静止被写体（家）である。点線５０５は分割された領域と領域の境界線を表している。領域分割は、画素値に基づきクラスタリングする手法など既存手法を用いるものとする。もしくは、ユーザが予め入力した、概略の領域分割線の情報をもとに、適当なアルゴリズムを用いて補正してもよい。以上のように、領域分割を行うことができれば、全て自動で処理してもよいし、ユーザの入力情報をもとに補正・高精度化してもよい。

代表動きベクトル決定部２０４は、領域分割を行い、点線５０５で囲まれた各領域内で動きベクトルの平均値を算出する。領域の動きを表す動きベクトルが算出できれば、平均値以外の値でも構わない。例えばｘ、ｙ成分それぞれの中央値を採用してもよい。また、それぞれの領域を代表する動きベクトルの値が近い場合は、領域を統合して一つの領域としてもよい。ここで、動きベクトル間の距離は、動きベクトルの差のノルムで測るものとする。

また、代表動きベクトル決定部２０４の決定処理に、カメラの動き情報を加味する場合は、カメラの動き情報をもとにグローバルモーションを算出し、背景領域を特定してもよい。以上が領域分割を用いた場合の説明である。

［ブラー付与部］
次にブラー付与部２０５における処理を説明する。ここでは複数枚の画像を基準画像に位置合わせする場合と、基準画像に対してブラーフィルタを作用させる場合について説明する。

説明を単純化するため、基準画像とその次に撮影した画像間の動きベクトルのみを推定し、基準画像とそのほかの画像間の動きベクトルは、適宜定数倍して得るものとする。例えば、基準画像のフレーム番号をｉとした場合、フレーム番号ｉとｉ＋２間の動きベクトルは、フレーム番号ｉとｉ＋１間の動きベクトルを２倍して得る。もちろん、複数の画像間で全ての動きベクトルを算出してもよいことは言うまでもない。特に、加速度運動が存在する場合は、全ての動きベクトルを算出する方が精度のよい動きベクトルを得ることができる。ブラー付与部２０５の構成を図６に示し、その動作を図７のフローチャートに従って説明する。ブラー付与部２０５は、図示の通り、位置合わせ部６０１、カウントマップ生成部６０２、合成部６０３、ブラーフィルタ作用部６０４を含む。

Ｓ７０１にて、位置合わせ部６０１は、代表動きベクトルと動きベクトルマップの情報を元に、複数枚の画像の位置合わせを行う。画像の位置合わせと画像合成の概念図を図８（ａ）乃至（ｃ）を参照して説明する。そして以下では、取得した画像データが２枚、代表動きベクトルが３つの場合を説明する。

図８（ａ）は基準画像８０１を示している。そして、図８（ｂ）は時間軸に隣接するフレームの画像８０２を示している。また、図８（ａ），（ｂ）の画像８０１、８０２は共にユーザがカメラを固定にして撮影して得た画像であるものとする。

基準画像８０１において、ベクトル８０３、８０４はそれぞれ車５０２、車５０３における代表動きベクトルを表している。家５０４は静止している。故に、図示されていないが、家５０４に対応する代表動きベクトル”０”が検出されていることになる。代表動きベクトル８０３に対して位置合わせを行う場合は、画像８０２を代表動きベクトル８０３を反転させた方向に、代表動きベクトルの長さ分だけ平行移動し基準画像８０１と加算平均を取って合成画像を得る。ただし、平行移動した際に、画像情報がない部分に関しては画素値０で埋めるものとする。もちろん別の手法で画素値補間をしてもよい。図８（ｃ）に示す画像８１０は、この合成処理で得られた合成画像である。なお、合成画像の画素値の算出方法については、後述する。画像８１０において、被写体５０２は静止し、被写体５０３、５０４にはモーションブラーが付与されていることが分かる。ここでは、被写体の動きを強調するため、動き量の大きい例を示したが、実際には、撮影間隔を短くし、撮影枚数を多くすることで、モーションブラーは図８よりも滑らかになる。さらにモーションブラーを滑らかにするため、動きベクトルの方向にブラーフィルタを作用させてもよい。ここでは、代表ベクトル８０３に対して位置合わせを行う場合について説明したが、代表ベクトル８０４や家５０４に対応する代表ベクトルに対して位置合わせを行う場合についても同様である。

図７のフローチャートの説明に戻る。Ｓ７０２にて、カウントマップ生成部６０２はカウントマップを生成する。カウントマップの概念図を図９に示す。カウントマップの各画素には、画像合成時に使用した画像の枚数が格納されている。画像９０１はカウントマップの数値を画像化したものであり、２枚の画像８０１、８０２を代表動きベクトル８０３に基づいて合成する場合の結果を示したものである。カウントマップ９０１は基準画像８０１と同等の画素数を有する。画像９０１において、カウントマップの画素値は画像枚数で規格化されており、白が画像枚数＝２、グレーが画像枚数＝１を表している。ここでは説明の都合上、画像を用いているが、画像化する必要はなくテーブルに数値を格納して保持すればよい。画像８０２を代表動きベクトル８０３を反転させた方向に代表動きベクトル８０３の長さ分だけ移動させて合成するため、区間９０２は代表動きベクトル８０３と同じ長さを有している。

Ｓ７０３にて、カウントマップ生成部６０２は、着目画素のカウントマップの数値が閾値以上であると判定した場合、合成部６０３がＳ７０４において、着目画素に対して画像合成を行う。ここで、着目画素における画像合成後の画素値Ｉ_synth（ｘ, ｙ）の値は次式（１）に従って算出される。

式（１）において、（ｘ, ｙ）は着目画素の座標値、Ｎ（ｘ, ｙ）はカウントマップでありＩ_i’（ｘ, ｙ）は代表動きベクトルに基づいてｉ番目の画像を平行移動させた画像である。

一方、Ｓ７０３にて、カウントマップ生成部６０２が、着目画素のカウントマップの数値が閾値未満であると判定したとする。この場合は、画像合成のみでは、滑らかなモーションブラーが生成できない。そこで、Ｓ７０５にて、ブラーフィルタ作用部６０４はカウントマップが閾値未満の画素に対し、着目画素における動きベクトルに基づいて、ブラーフィルタを生成する。例えば、被写体が水平方向に移動している場合は、動きベクトルの長さに応じてフィルタ長を決めて、[１，１，１，１・・・]というフィルタを生成する。フィルタは、フィルタ係数によって規格化するものとする。他にも、方向に応じて何パターンかブラーフィルタを用意しておき、動きベクトルの方向に応じて、フィルタを決定してもよい。また、フィルタ係数の値を着目画素からの距離に応じて変化させてもよい。Ｓ７０６にて、ブラーフィルタ作用部６０４は、着目画素に対して、ブラーフィルタを作用させる。ここでは説明の都合上、着目画素におけるカウントマップが閾値以下の場合のみブラーフィルタを作用させたが、よりモーションブラー滑らかにするために、動きベクトルに応じて各画素に対しブラーフィルタを作用させてもよい。

［画像表示部］
画像表示部２０６が表示装置１０９に表示するＵＩ（ユーザインターフェース）について図１０を用いて説明する。図１０において、画像１００１〜１００３はそれぞれ被写体５０２〜５０４が静止するようにモーションブラーを付与した画像である。なお、実施形態では、代表動きベクトルの数が３の例を説明しているので、図示のように生成されるモーションブラーが付与された画像は３つとなる。

モーションブラーを付与することにより、各被写体５０２〜５０４に着目したスピード感のある画像をユーザに提示することができる。表示される各画像には、ユーザがマウス等のポインティングデバイスで選択できるように、チェックボックスが重畳して表示される。図１０では、画像１００２、１００３が選択された状態になっている。ウィンドウ１０１０は表示装置１０９に表示されるＵＩ画面である。ユーザはチェックボックス１００４〜１００６で好きな画像を１枚以上選択し、ＯＫボタン１００７を押下することで対象画像が決定され、Ｓ３１１において記憶部１０４に保存される。チェックボックスで複数枚選択された場合は、複数枚の画像を記憶部１０４に保存する。図１０の場合は、画像１００２、１００３が記憶部１０４に保存されることになる。ここでは画像のみを保存したが、複数枚の撮影画像と動きベクトルマップを同時に保存しても構わない。また、ＣＡＮＣＥＬボタン１００８が押下された場合は、ウィンドウ１０１０を閉じる。ここでは、チェックボックスを用いて画像選択を行ったが、ユーザが順次画像をクリックし、クリックした画像の周辺を色を変えるなど、画像選択ができれば、別のＵＩを用いてもよいことは言うまでもない。

以上のように、静止させる被写体を変えて、モーションブラーを付与した複数枚の画像をユーザに提示することで、ユーザが着目したい被写体を静止させた、スピード感のある画像を容易に得ることが可能になる。

［第２の実施形態］
上記第１の実施形態では、静止させる被写体を変えた複数枚の画像をユーザに選択可能に表示した。本第２の実施形態では、その際に付加的な情報もユーザに表示する場合について説明する。図１１は、本第２の実施形態の画像処理装置１１００の構成を示す図である。図示において、参照符号２０１乃至２０５、２０７は、第１の実施形態（図２）と同じであるものとして説明は省略し、図２との差異のみを説明する。

被写体判定部１１０１は、カメラの動き情報を取得して、カメラが追随している被写体と、背景被写体を判別する（詳細後述）。ただし、取得した複数の画像と、カメラの追随は同期している。カメラの動き情報は、カメラに搭載されている加速度センサやジャイロセンサにより取得してもよいし、別のカメラから撮影された画像情報に基づいてカメラの動きを推定してもよい。また、デプスセンサを用いて推定してもよい。画像表示部１１０２は、モーションブラーを付与した画像に加え、被写体判定部１１０１が出力した判定情報も表示装置１０９に表示する。図１２は、流し撮り撮影をした際に、画像表示部１１０２のＵＩを示したものである。図１０との差異のみ説明する。図１２において、アイコン１２０１はカメラの動きに追随してモーションブラーが付与された画像であることを表しており、アイコン１２０２は、背景（風景）が静止した状態で、モーションブラーが付与された画像（静止被写体が静止した画像）であることを表している。

被写体判定部１１０１は、ノルムが閾値以下の代表動きベクトルを抽出し、アイコン１２０１を、ＵＩ画面上の該当する画像に重畳表示する。これは、特定の被写体をカメラで追随するように流し撮りがなされていること（連続する撮影間で視線方向が変わっていること）、及び、その結果、カメラが追随している被写体の動きベクトルはノルムが小さくなるのを利用する。ノルムの閾値としては、例えば２ｐｉｘなどを採用することができる。なお、この閾値は、ユーザが適宜設定できるようにしても良い。

また、カメラの動き情報を画像上のグローバルモーションに換算し、グローバルモーションとの差分ベクトルのノルムが閾値以下の代表動きベクトルを抽出し、アイコン１２０２をＵＩ画面上の該当する画像に重畳表示する。これは、画像上における風景の動きが、カメラの動きそのものになるためである。

カメラを風景に対して静止させて撮影したときは、画像１００３においてカメラが追随している被写体＝風景となるため、アイコン１２０２のみを表示してもよいし、アイコン１２０１と１２０２を並べて表示してもよい。

以上のように、被写体が静止被写体（背景）か移動体（実施形態での車）かが区別可能な情報をＵＩに重畳表示することにより、ユーザが画像選択する際の参考情報を提供することができる。

［第３の実施形態］
第１の実施形態では、静止させる被写体毎の画像候補をユーザに表示したが、本実施形態では、動きベクトルに基づく位置合わせに誤差があった際にユーザが微修正可能とする例を説明する。

図１３は、本第３の実施形態の画像処理装置１３００の構成を示す図である。ここでは、図２との差異のみ説明する。ベクトル取得部１３０１は、表示装置１０９よりユーザが入力したベクトル値を取得する。なお、本第３の実施形態における表示装置１０９は、タッチパネルを有するものとしているが、ベクトル値の入力はマウス等のポインティングデバイスやキーボードでも構わない。

代表動きベクトル修正部１３０２は、代表動きベクトルを取得し、ベクトル取得部１３０１が取得したベクトル値に基づいて代表動きベクトルの値を修正する（詳細後述）。画像表示部１３０３は、表示装置１０９に結果を表示する。画像表示部１３０３のＵＩについては、図１４、図１５を用いて説明する。

図１４は、第１の実施形態における図１０に相当する表示画面である。図示のように、修正を指示するＭｏｄｉｆｙボタン１４０１が追加表示されている。ユーザが、表示された画像の１つを選択した状態（図示では画像１００３が選択状態）で、このユーザがＭｏｄｉｆｙボタン１４０１を押すと、図１５に示すＵＩ画面に遷移する。図１５において、スライドバー１５０１、１５０２はそれぞれベクトル値のｘ方向、ｙ方向の値に対応している。ユーザがスライドバー１５０１、１５０２をそれぞれ調節することにより、選択した画像を生成する際に用いた代表動きベクトルに対する修正値が、表示部１０９を通じて、ベクトル取得部１３０１に供給される。ここでは、スライドバーを用いてベクトル値を入力したが、テキストボックスでｘ方向、ｙ方向のベクトル値を入力するなど、別のＵＩを用いてもよい。

代表動きベクトル修正部１３０２は、代表動きベクトル（ｖ_x, ｖ_y）に対して、ユーザが入力したベクトル値（ｕ_x, ｕ_y）に基づき次式（２）に従って代表動きベクトルの値を修正（更新）する。
（ｖ_x，ｖ_y）←（ｖ_x，ｖ_y）＋（ｕ_x，ｕ_y） …（２）
以上により、位置合わせに誤差があった場合においても、ユーザが微調整を行うことで、ユーザの好みに合わせた、高画質なモーションブラー画像を得ることができる。

以上本発明に係る実施形態を説明した。実施形態で説明した画像処理装置は、連続して撮影した画像からモーションブラーを付与した画像を生成するものであるので、デジタルカメラ等の撮像装置に実装しても良い。この場合、例えば流し撮りに不慣れなユーザであっても、上記実施形態の機能をＯＮにした連写を行うだけで、図１０等の処理結果の画像一覧が得られ、ユーザのお気に入りとして保存対象が選択できる。

［第４の実施形態］
第１や第２の実施形態では、表示装置１０９にＵＩ画面を表示し、ユーザが選択・もしくは修正した画像を記憶部１０４に保存した。

本実施形態では、ＵＩ上に表示せず、直接記憶部１０４に画像を保存する場合について説明する。この場合、図３において、Ｓ３０９、Ｓ３１０の処理は行わず、Ｓ３０７で終了条件を満たした後、Ｓ３１１に移行する。このとき、画像保存部２０７は、実施形態１、２でＵＩ上に表示していたすべての画像を保存してもよいし、ユーザの嗜好を予めデータベースに蓄積しておき、嗜好に近いものを保存してもよい。例えば、図１２において、ユーザがアイコン１２０１、１２０２が表示されている画像を選択する頻度が高いのであれば、アイコン１２０１、１２０２が表示される画像のみを保存してもよい。

以上のように、本実施形態によれば、自動的に画像が保存されるため、ユーザの操作負荷を軽減することが可能になる。

［第５の実施形態］
第１から第４の実施形態では、静止画を複数表示するＵＩについて説明を行ったが、本実施例では、連続して撮影された画像をもとに複数の動画像を生成してＵＩに表示、保存する場合について説明する。本実施形態では、高速なシャッタースピードで連続撮影した場合について説明を行うが、６０ｆｐｓなどで動画撮影された場合も同様である。図示において、第１から第４の実施形態との差異のみを説明する。

図１６は、撮影した連続画像から新しい連続画像を生成する際の概念図である。図１６において、画像１６０１はＮフレーム目、画像１６０２はＮ＋１フレーム目であるとし、Ｎフレーム目を基準フレームとする。代表動きベクトル１６１２に対して位置合わせを行う場合は、画像１６０２を代表動きベクトル１６０３を反転させた方向に、代表動きベクトルの長さ分だけ平行移動して、新しいＮ＋１番目の合成フレーム１６０３を得る。このとき、斜線で示された部分は画像１６０３上に情報がないため、ここでは画像１６０１の画素値を代入するものとする。もちろんそれ以外のフレームの情報を用いても構わない。次に、フレーム１６０３とＮ＋２フレーム目の位置合わせを行って新たなＮ＋２フレーム目の画像を得る。以上の処理は、Ｎフレームより前のフレームに対しても同様に適用することが可能である。この処理を繰り返すことで、車１６１０に追随して撮影したような動画を生成することができる。もちろん逐次的に１フレームずつ位置合わせを行わずに、数フレーム飛ばして位置合わせしてもよい。

以上のように、代表動きベクトルそれぞれに対して位置合わせを行った動画をウィンドウ１０１０に表示する。表示の仕方は、第１、第２の実施形態と同様であるが、参照符号１００１〜１００３には動画を表示するものとする。例えば、参照符号１００１には、車５０２が静止し、車５０３や家５０４が移動する動画が表示される。これは、車５０２に追随して撮影した動画に該当する。一方、参照符号１００３には、家５０４が静止し、車５０２、５０３が移動する動画が表示される。これは撮影者が静止して撮影した動画に該当する。なお、高速シャッターで連続撮影したものを、例えば６０ｆｐｓで動画表示する際には、滑らかに表示するため、１/６０ｓｅｃ分のブラーフィルタを動きベクトルに基づいて作用させてもよい。

以上のように、本実施形態によれば、静止させる被写体を変えた複数の動画をユーザに提示することで、ユーザが着目したい被写体を静止させた、動画を容易に得ることが可能になる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、２０１…画像データ取得部、２０２…基準画像設定部、２０３…動きベクトル取得部、２０４…代表動きベクトル決定部、２０５…ブラー付与部、２０６…画像表示部、２０７…画像保存部、１０９…表示装置

Claims (19)

1. 複数の画像から合成画像を生成する画像処理装置であって、
   連続して撮像された複数の画像データを取得する取得手段と、
   前記画像データにおける被写体を特定する特定手段と、
   第１の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第１の合成画像と、前記第１の被写体とは動きが異なる第２の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第２の合成画像とを生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記複数の画像データのうちの１つを基準画像データとし、当該基準画像データと他の画像データ間の、前記基準画像データに含まれる複数の被写体の動きベクトルを抽出する抽出手段を更に有し、
   前記生成手段は、前記動きベクトルのうちの着目動きベクトルに基づいて、対象の被写体が同じ位置となるように前記基準画像データ及び他の画像データとを合成して合成画像データを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記抽出手段で抽出された動きベクトルのうちの着目動きベクトルに基づいて、対象の被写体が同じ位置となるように前記基準画像データ及び他の画像データとを合成して合成画像データを生成することを、抽出した動きベクトルの個数ぶん行うことで複数の合成画像データを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段で得られた前記第１の合成画像と前記第２の合成画像を並べて表示する表示手段を更に有することを特徴とする請求項１に記載の画像処理装置。
5. 前記抽出手段は、動きベクトルの出現頻度を求め、出現頻度の上位の予め設定された数の動きベクトルを、抽出の対象として決定することを特徴とする請求項２に記載の画像処理装置。
6. 前記生成手段は、前記他の画像データを前記着目動きベクトルとは逆に方向にずらして、前記基準画像データと合成することで前記合成画像データを生成することを特徴とする請求項２又は３に記載の画像処理装置。
7. 前記生成手段は、画像データどうしを合成する際に、動きベクトルに基づくブラーフィルタを用いて合成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記複数の画像データの撮像する際の撮像装置の動きを表す情報を更に取得し、
   前記表示手段は、前記撮像装置の動き情報と前記動きベクトルから、各合成画像データにおける主要被写体が静止被写体か移動体かのいずれであるかを区別可能に、複数の合成画像を表示することを特徴とする請求項４に記載の画像処理装置。
9. 前記表示手段は、複数の合成画像を、ユーザによる選択可能に表示することを特徴とする請求項４に記載の画像処理装置。
10. ユーザが選択した合成画像を生成する際に用いた動きベクトルを、ユーザの指示に応じて修正する修正手段を更に有することを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段で得られた複数の合成画像を表示する前に、前記複数の合成画像のうち、少なくとも１つ以上を自動で保存する保存手段を有する請求項１乃至３の何れか一項に記載の画像処理装置。
12. 前記生成手段で得られた第１の合成画像と前記第２の合成画像を動画像として並べて表示する表示手段をさらに有することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
13. 前記抽出手段は、前記基準画像データにおける各画素の動きベクトルのヒストグラムを作成し、頻度の高い動きベクトル順にＮ個の動きベクトルを抽出することで、前記基準画像データに含まれる複数の被写体の動きベクトル抽出することを特徴とする請求項２または３に記載の画像処理装置。
14. 前記抽出手段は、前記基準画像データを複数の領域に分割し、各領域内の動きベクトルの平均値を算出することで、前記基準画像データに含まれる複数の被写体の動きベクトルを抽出することを特徴とする請求項２または３に記載の画像処理装置。
15. 前記表示手段は、前記第１の合成画像と前記第２の合成画像に、前記複数の画像における被写体の動きに応じた合成をしたことを示すアイコンを重畳して表示することを特徴とする請求項４に記載の画像処理装置。
16. 前記表示手段は、前記第１の合成画像と前記第２の合成画像それぞれに、被写体が静止被写体か移動体かが区別可能な情報をＵＩに重畳して表示する請求項４または１５に記載の画像処理装置。
17. 前記表示手段は、ユーザによる、前記合成画像のうち少なくとも１つに対する修正の指示を受けつけると、前記動きベクトルを修正するためのスライドバーを表示し、
    前記修正手段は、前記スライドバーに対するユーザの入力に応じて、前記動きベクトルを修正することを特徴とする請求項１０に記載の画像処理装置。
18. 複数の画像から合成画像を生成する画像処理装置の制御方法であって、
    連続して撮像された複数の画像データを取得する取得工程と、
    前記画像データにおける被写体を特定する特定工程と、
    第１の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第１の合成画像と、前記第１の被写体とは動きが異なる第２の被写体の動きに応じて前記複数の画像データのうち少なくとも２つの画像データを合成した第２の合成画像とを生成する生成工程と
    を有することを特徴とする画像処理装置の制御方法。
19. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至１７のいずれか一項に記載の各手段として機能させるためのプログラム。