JP5687553B2 - 画像合成装置、画像合成方法及び画像合成プログラム - Google Patents

Description

時系列に撮影した複数枚画像を合成する画像合成装置、画像合成方法及び画像合成プログラムに関する。

デジタルカメラ等の撮像装置において、連写した複数の静止画を合成して１枚の静止画を作成する多重露光方式が知られている。このような連写画像の合成により、動く被写体の軌跡を１枚の画像に収めた画像を得ることができる。良好な合成画像を得るためには、合成に用いる画像間の位置合わせを行う必要がある。例えば、特許文献１では、連写画像間の手ぶれの影響を除くため、画像全体の動きを表すグローバル動きベクトルにより画像間の位置合わせを行った後に合成する方式が開示されている。

他方、一般に複数枚画像の位置合わせをしながら合成する際に、画像に対して１個のグローバル動きベクトルを求めるのではなく、画像中の場所に応じて異なるローカル動きベクトルを利用して位置合わせ処理と合成処理を行う方式も存在する。例えば特許文献２では、動きベクトルを求めるターゲットブロックの数を増やすことで、画像中に複数の方向に動く被写体が存在した場合でも対応可能な方式が開示されている。また、この特許文献２の実施形態１では、移動体や被写体を検出し、それぞれに領域においてローカル動きベクトルを検出し、これら複数の動きベクトルから画像の各場所において適した動きベクトルを選択する方式が開示されている。また、特許文献３では、ローカル動きベクトルとグローバル動きベクトルを組み合わせて位置合わせをしながら合成する方式が開示されている。

特開２０１０−２５２３１３号公報 特開２００７−３６７４１号公報 特開２０１０―１４７９８５号公報

特許文献１で開示されているようなグローバル動きベクトルを用いる方式は、画像全体の情報を用いてグローバル動きベクトルを算出するため、ノイズ等の影響を受けにくい安定した位置合わせが可能である。しかし、１個のベクトルで画像全体の位置合わせを正確に行うことは難しく、グローバル動きベクトルの誤差により画像がぼけてしまうという問題がある。

特許文献２や特許文献３で示されたようなグローバル動きベクトルとローカル動きベクトルを用いた位置合わせ方式を行えば、画像の各場所において精度よく位置合わせが可能となるので、合成した画像のぼけは防ぐことが可能となる。しかし、動く被写体、背景部分の両方に対して画像間の位置を合わせて合成してしまう。そのため、合成により背景部分で多重像の発生を防ぎ、動く被写体で多重像を発生させることにより、動く被写体の軌跡を表示するという効果を得ることはできない。

本発明は、上記問題に鑑みてなされたもので、複数枚画像を位置合わせをしながら合成する画像合成装置において、多重像とすべき被写体の軌跡が表示され、かつ静止像とすべき被写体のぼけの発生が抑えられた画像を生成する画像合成装置を提供することにある。

本発明の画像合成装置の一態様は、基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、基準画像と参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出する動きベクトル算出部と、グローバル動きベクトルとローカル動きベクトルから動領域情報を算出する動領域情報算出部と、参照画像をグローバル動きベクトルに基づき補正した補正参照画像とローカル動きベクトルに基づき補正した補正参照画像を生成する画像補正部と、基準画像と、グローバル動きベクトルに基づき補正した補正参照画像とローカル動きベクトルに基づき補正した補正参照画像とを動領域情報により決定される合成比率で合成する合成部と、を有し、動領域情報が動領域である領域においては、グローバル動きベクトルに基づき補正した補正参照画像の合成比率がローカル動きベクトルに基づき補正した補正参照画像の合成比率よりも大きいことを特徴とする。

また、本発明の画像合成方法の一態様は、画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、基準画像と参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出するステップと、グローバル動きベクトルとローカル動きベクトルから動領域情報を算出するステップと、参照画像をグローバル動きベクトルに基づき補正した補正参照画像とローカル動きベクトルに基づき補正した補正参照画像を生成するステップと、基準画像と、グローバル動きベクトルで補正した補正参照画像とローカル動きベクトルで補正した補正参照画像とを動領域情報により決定される合成比率で合成するステップと、を有し、動領域情報が動領域である領域においては、グローバル動きベクトルに基づき補正した補正参照画像の合成比率がローカル動きベクトルに基づき補正した補正参照画像の合成比率よりも大きいことを特徴とする。

また、本発明の画像合成プログラムの一態様は、基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、基準画像と参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出するステップと、グローバル動きベクトルとローカル動きベクトルから動領域情報を算出するステップと、参照画像をグローバル動きベクトルに基づき補正した補正参照画像とローカル動きベクトルに基づき補正した補正参照画像を生成するステップと、基準画像と、グローバル動きベクトルで補正した補正参照画像とローカル動きベクトルで補正した補正参照画像とを動領域情報により決定される合成比率で合成するステップと、をコンピュータに発揮させ、合成比率は、動領域情報が動領域である領域においては、グローバル動きベクトルに基づき補正した補正参照画像の合成比率を、ローカル動きベクトルに基づき補正した補正参照画像の合成比率よりも大きいことを特徴とする。

本発明によれば、動領域においては、グローバル動きベクトルに基づき補正した画像の合成比率を、ローカル動きベクトルに基づき補正した画像の合成比率よりも大きくすることで、多重像とすべき被写体の軌跡が表示され、かつ静止像とすべき被写体のぼけが抑えられた画像を生成することができる。

軌跡画像の生成を説明する図。 第１実施形態に係る画像合成装置の構成図。 ４枚の画像から１枚の画像を合成する手法を説明する図。 ブロックマッチング法を説明する図。 合成処理部１０５の構成図。 第１の動きベクトル候補決定部２００と第２の動きベクトル候補決定部２０１の動作を説明する図。 動領域情報算出部２０６の動作の例を説明する図。 合成比率決定部２０７の動作の例を説明する図。 合成比率決定部２０７の動作の別の例を説明する図。 第１実施形態に係る画像合成処理を説明するフロー図。 第２実施形態に係る合成処理部１１５の構成図。 動領域情報算出部２０６の動作の例を説明する図。

以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
本実施形態においては、動く被写体の安定した軌跡画像の生成と、背景部分などの静止領域でのぼけや多重像の発生を抑える効果を得る方式について説明する。図１に、軌跡画像の生成を説明する図を示す。

図１において、動く被写体（車）を撮影した複数枚画像を用いて軌跡画像を生成する例を示す。動く被写体（車）に対し連写撮影を行う。得られた複数枚画像を合成する際に、背景部分の位置が複数枚画像間で一致するように位置合わせをしながら合成することで、背景部分はぼけずにくっきりと表現し、動く被写体（車）は多重像の発生により軌跡を表現することが可能となる。

図２は、本発明の実施形態に係る画像合成装置を適用した撮像装置の構成例を示す図である。本撮像装置は、光学系１００と、撮像素子１０１と、画像処理部１０２と、フレームメモリ１０３と、動き情報取得部１０４と、合成処理部１０５を有する。

レンズ等からなる光学系１００を通して撮像素子１０１にて画像が撮像される。画像処理部１０２は撮像素子１０１で撮像された画像に対して色処理や階調変換処理等の画像処理を施した後にフレームメモリ１０３に格納する。以上の撮像処理を所定枚数分繰り返すことで、フレームメモリ１０３に画像処理済の複数枚の画像を格納する。

合成処理に用いる画像は２枚以上あればよいが、本実施形態においては、４枚の画像を合成処理の対象とした例を示す。４回の撮像処理により４枚の画像がフレームメモリ１０３に格納される。

動き情報取得部１０４は、フレームメモリ１０３から２枚の画像を読みだし、２枚間の動き情報を算出し、合成処理部１０５に出力する。合成処理部１０５は、２枚の画像を動き情報取得部１０４より出力された動き情報に基づき合成し、合成画像としてフレームメモリ１０３に格納する。この動き情報算出と、それに基づく合成を繰り返し、全画像に対する処理後、合成処理部１０５は、最終画像を外部に出力する。

図３に４枚の画像から１枚の画像を合成する例を示す。４枚の画像をフレーム１からフレーム４とし、合成は２枚から１枚を合成するという基本処理を３回行うことで、最終的に４枚の画像から１枚の合成画像を得る。このような合成方式により、ハードウェアの規模を小さくすることが可能となる。

最初に、フレーム１とフレーム２を合成し合成画像１を生成する。合成の際には一方を基準画像、他方を参照画像と定義するものとする。次に合成画像１を基準画像、フレーム３を参照画像として合成し合成画像２を生成する。最後に、合成画像２を基準画像、フレーム４を参照画像として合成し、最終結果である合成画像３を生成する。

以下、動き情報取得部１０４と合成処理部１０５の動作を、基準画像としてフレーム１を、参照画像としてフレーム２の２枚の画像を処理の対象とするものとして説明する。

動き情報取得部１０４は、フレームメモリ１０３に格納された基準画像と参照画像との間の動きを動き情報とする。本実施の形態においては、動き情報取得部１０４はブロックマッチング法を用いて画像中に設定された複数の場所における動きベクトルを出力するものとする。

図４にブロックマッチング法を説明する図を示す。まず、基準画像中にターゲットブロックを複数個設定する。図４の例では、水平方向４個、垂直方向４個、計１６個のターゲットブロック（ＴＢ１１〜ＴＢ４４）が設定されている。これら各ターゲットブロックに対して、参照画像中に動きベクトル探索領域を設定し、ＳＡＤ値（ブロック内の差分絶対値和）が最小となる動きベクトル（ＭＶ１１〜ＭＶ４４）を検出し、合成処理部１０５に出力する。

合成処理部１０５は、動き情報取得部１０４が出力する動き情報（ターゲットブロック数の動きベクトル）に基づき、基準画像と参照画像の合成を実施する。図５に合成処理部１０５の構成図を示す。

第１の動きベクトル候補決定部２００は、動き情報取得部１０４が出力する動き情報（動きベクトル）から、基準画像と参照画像の画像間の局所的な動きを反映したローカル動きベクトルである、処理対象画素の動きベクトルを算出する。この際、参照する動き情報は、処理対象画素周辺の狭い領域における動き情報とする。

第２の動きベクトル候補決定部２０１は、動き情報取得部１０４が出力する動き情報（動きベクトル）から、基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルである、画面全体の動き情報を算出する。

図６を用いて第１の動きベクトル、第２の動きベクトルの算出方法を説明する。基準画像における処理対象画素６００を中心とした所定の大きさの対象領域６０１内に、動き情報取得部１０４が検出した動きベクトルが複数個（図６では、ＭＶ２２、ＭＶ３２、ＭＶ２３、ＭＶ３３の４個）存在する。第１の動きベクトル候補決定部２００は、これら処理対象画素６００の近傍の４個の動きベクトル（ＭＶ２２、ＭＶ３２、ＭＶ２３、ＭＶ３３）に基づき、処理対象画素６００の位置におけるローカル動きベクトルを算出する。

算出方法は、４個のベクトルの平均値としてもよいし、処理対象画素６００の位置と各動きベクトル位置との距離を考慮した加重平均処理としても良い。

このようにすることで、第１の動きベクトル候補決定部２００が決定する動きベクトル候補は、狭い範囲の局所的な動きを強く反映し、動く被写体の情報を反映した動きベクトルとなる。

第２の動きベクトル候補決定部２０１は、基準画像全体の動きベクトル（ＭＶ１１〜ＭＶ４４）に基づき、グローバル動きベクトルを算出する。算出方法は、１６個のベクトルの平均値や加重平均値としてもよいし、これら動きベクトルをヒストグラム処理し、発生頻度の最も高い動きベクトルを採用しても良い。

このようにすることで、第２の動きベクトル候補決定部２０１が決定するグローバル動きベクトルは、広い範囲の大域的な動きを反映するもので、手振れ等の影響を反映した動きベクトルとなる。

なお、グローバル動きベクトルは、画像全体から求めるのではなく、処理対象画素周辺の狭い領域における動き情報を求める領域（対象領域６０１）よりも大きい領域から求めることとしてもよい。

第１の画像補正部２０２は、第１の動きベクトル候補決定部２００が算出したローカル動きベクトルに基づき、参照画像を変形させ、動き補償を行い補正参照画像を生成する。第２の画像補正部２０３は、第２の動きベクトル候補決定部２０１が算出したグローバル動きベクトルに基づき、参照画像を変形させ、動き補償を行い補正参照画像を生成する。具体的には、基準画像における処理対象画素位置に対応する参照画像の画素位置をそれぞれの動きベクトルから算出し、画素値を得る。そして、この画素値を補正参照画像の補正画素値に設定する。

第１の相関計算部２０４と第２の相関計算部２０５は、基準画像の処理対象画素と第１の画像補正部２０２、第２の画像補正部２０３が対応づけた補正参照画像の画素との相関を計算する。具体的には、基準画像の画素値とそれに対応づけられた補正参照画像の画素値との差分の絶対値等とすればよい。

この差分の絶対値が小さい場合（相関が大きい場合）には、動きベクトルが適正である可能性が高く合成処理に用いてもぼけや多重像が発生する可能性は小さい。この差分の絶対値が大きい場合（相関が小さい場合）には、動きベクトルが適正ではない可能性があり、合成処理に用いるとぼけや多重像が発生する可能性が高いが、動く被写体の軌跡を合成したい領域ではこの値が大きくなることは通常ありえることである。

なお、相関としては画素値の差分絶対値ではなく、小ブロック（例えば３×３画素や５×５画素）の差分絶対値和としても良い。この際には、用いる基準画像の画素値は、処理対象画素周辺の小ブロックの画素値となり、参照画像に関しては、参照画像を各動きベクトルによって補正した後の画像における対応小ブロックの画素値となる。

動領域情報算出部２０６は、第１の動きベクトル候補決定部２００が決定したローカル動きベクトルと第２の動きベクトル候補決定部２０１が決定したグローバル動きベクトルを比較することで、処理対象画素位置が、動く被写体が存在する領域か背景部分等の静止領域かを判別する。

図７に、動領域情報算出部２０６が出力する動領域情報の算出方法を説明する図を示す。図７の横軸はグローバル動きベクトルとローカル動きベクトルの差分ベクトルの大きさである。この差分ベクトルの大きさに対して図７で示したような特性のグラフをテーブル化等の手法により事前に設定しておき、動領域情報を得る。

グローバル動きベクトルとローカル動きベクトルの差分が小さい領域は被写体が動いていない静止領域と考えられるため、動領域情報として０．０を出力する。差分が大きい領域は被写体が動いている動領域と考えられるため、動領域情報として１．０を出力する。差分が中間的な領域は静止領域と動領域との明確は判断ができない遷移領域と設定し、動領域情報としては０．０から１．０の値を図７に示すように出力する。

合成比率決定部２０７は、第１の相関計算部２０４、第２の相関計算部２０５が計算する相関値（差分絶対値）と動領域情報算出部２０６が出力する動領域情報に応じて、加重平均化処理部２０８における重み（合成比率）を決定する。

以下、合成比率１は、基準画像の画素値の重みを１．０とした際の、第１の画像補正部２０２の出力画素値の重みであり、合成比率２は、第２の画像補正部２０３の出力画素値の重みとする。

静止領域であり動領域情報が０．０の場合、合成によるぼけや多重像の発生を抑えるため、合成対象とする参照画像はグローバル動きベクトルで補正した補正画像とローカル動きベクトルで補正した補正画像のうち適した方を選択して合成する。

図８に動領域情報が０．０の場合の合成比率１、合成比率２の決定方法の例を示す。図８中の相関値の差とは、第２の相関計算部２０５の出力値（差分絶対値）から第１の相関計算部２０４の出力値（差分絶対値）を引いた値とする。この相関値の差が正の値の場合には、第１の画像補正部２０２の出力画素値が基準画像の画素値と相関が高く、負の値の場合には、第２の画像補正部２０３の出力画素値が基準画像の画素値と相関が高いことを意味する。

図８の例では、第１の画像補正部２０２の出力画素値と第２の画像補正部２０３の出力画素値の内、基準画像の画素値と相関の高い方の画素値のみを加重平均化処理部２０７で合成に用いる例となる。

この他にも、図８に示す例のように、合成比率を０．０から１．０にゆるやかに遷移させることで、相関値の差の絶対値が小さい場合には双方の画素値を合成に用いる構成とすることも可能である。

また、第１の相関計算部２０４、第２の相関計算部２０５が計算する相関値がともに所定の閾値よりも小さい場合（画素値の差分絶対値がともに所定の閾値よりも大きい場合）には、どちらの動きベクトル候補も適正でないと判断して、双方の画素をともに合成に使用しないように合成比率１、合成比率２を０．０にすることも可能である。

次に、動領域であり動領域情報が１．０の場合について説明する。動領域においては、軌跡画像を表示するために、合成対象とする参照画像はグローバル動きベクトルで補正した補正画像とする。このため合成比率１を０．０、合成比率２を１．０とする。

遷移領域であり動領域情報が０．０〜１．０の場合については、動領域情報が０．０の場合の合成比率１、合成比率２と、動領域情報が１．０の場合の合成比率１、合成比率２それぞれを、動領域情報に応じて線形補間した値を合成比率１、合成比率２とすればよい。このようにすることで、動領域と静止領域が急峻に変化することによる画質の急変を緩和することが可能となる。

加重平均化処理部２０８は、合成比率決定部２０７が出力する合成比率に基づき、基準画像の画素、第１の画像補正部２０２の出力画素と第２の画像補正部２０３の出力画素との間で加重平均処理を行い、これを合成画像の画素とする。

以上が、図３においての１段目の合成、すなわち、基準画像としてフレーム１を、参照画像としてフレーム２を処理の対象とした場合の説明である。図３における合成画像１はフレームメモリ１０３に格納され、図３のフレーム３との合成に用いられる。

図３における２段目の合成である合成画像１とフレーム３の合成、３段目の合成である合成画像２とフレーム４の合成も合成画像１と同様に実施すればよいが、この場合、基準画像と参照画像の合成比率を調整する必要がある。

動領域においては最終合成結果としてフレーム１〜フレーム４が全て同じ比率で合成されていることが望ましい。このような結果を得るために、例えば合成画像２とフレーム４の合成比率は１．０対１．０ではなく、３．０対１．０とする必要がある。合成画像２にはフレーム１からフレーム３まで３枚分の画像が既に合成されているからである。このために、加重平均化処理部２０８では、合成の段数に応じて、基準画像の合成比率を調整する。

以上のような処理を画像中の全画素に対して行い合成画像を得る。なお、本実施の形態においては、画像中の全画素において画素毎に第１の動きベクトル候補決定部２００と第２の動きベクトル候補決定部２０１で候補動きベクトルの計算をする例を示したが、複数の画素からなる単位領域毎に計算することも可能である。例えば単位領域を１６×１６画素のブロックとし、当該ブロック内では同一の動きベクトル候補を使用する。

このようにすることで、動きベクトル候補決定に必要な演算量を削減することが可能である。また、本実施の形態においては、グローバル動きベクトルをブロックマッチング処理により算出したが、これに換えて、撮像装置などに搭載されているブレセンサ等から得られる情報を基に算出してもよい。

また、上記実施形態の機能を実現する画像合成プログラムをユーザのパーソナルコンピュータや、サーバコンピュータに供給し、当該コンピュータがこの画像合成プログラムを実行することによって、上記機能を実現することも可能である。

図１０は、本実施形態に係る画像合成プログラムの例を示すフローチャートである。

ステップＳ２０１で、コンピュータのフレームメモリに格納された基準画像と参照画像との間の動き情報を取得する。動き情報はブロックマッチング法を用いて画像中に設定された複数の場所における動きベクトルを算出することで得られる。

ステップＳ２０２で、動き情報から処理対象画素のローカル動きベクトルとグローバル動きベクトルを算出する。この際、参照する動き情報は、ローカル動きベクトルの算出においては、処理対象画素周辺の狭い領域における動き情報とし、グローバル動きベクトルの算出においては、画面全体の動き情報とする。

ステップＳ２０３で、動領域情報を算出する。算出方法はローカル動きベクトルとグローバル動きベクトルを比較することで、処理対象画素位置が、動く被写体等が存在する動領域か、背景部分等の静止領域かを判別する。

ステップＳ２０４で、ローカル動きベクトルとグローバル動きベクトルのそれぞれに基づき、動き補償を行い、補正参照画像を算出する。具体的には、基準画像における処理対象画素位置に対応する参照画像の画素位置をそれぞれの動きベクトルから算出し画素値を得る。ステップＳ２０５で、複数の補正参照画像の合成比率を算出する。処理対象画素位置が動領域情報から動領域であると判定された場合、グローバル動きベクトルで補正した補正参照画像の合成比率を１．０、ローカルベクトルで補正した補正参照画像の合成比率を０．０に設定する。

処理対象画素位置が動領域情報から静止領域であると判定された場合、各補正参照画像と基準画像との相関に基づき各補正参照画像の合成比率が設定される。

ステップＳ２０６で、基準画像と各補正参照画像を設定した合成比率で加重平均することで合成画像を生成する。ステップS２０７で、画像中の全画素の処理が終了したかを判定する。

なお、フレーム１とフレーム２の合成画像はコンピュータのフレームメモリに格納され、次のフレーム３との合成に利用される。このような複数枚画像の合成を繰り返し行い、最終合成画像を出力する。

以上、本実施の形態のように、動領域情報算出部２０６で処理対象画素が軌跡を表示したい動領域か、ぼけや多重像の発生を抑えたい静止領域かを判別し、その結果に応じて合成対象とする補正参照画像をグローバル動きベクトルで補正した補正参照画像、ローカル動きベクトルで補正した補正参照画像から合成比率を適切に設定する構成により、多重像とすべき被写体の安定した軌跡画像の生成と、静止像とすべき被写体である背景部分などの静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

さらに、本実施の形態のように、第１の動きベクトル候補決定部２００で計算されるローカル動きベクトルと、第２の動きベクトル候補決定部２０１で計算されるグローバル動きベクトルを用いて、動領域情報算出部２０６で動領域か否かを判断することで、動領域の判別に複雑な演算処理をする必要がなく、ハードウェア規模を抑える効果を得ることができる。

［第２実施形態］
第１実施形態においては、動領域情報算出部２０６で処理対象画素が軌跡を表示したい動領域か、ぼけや多重像の発生を抑えたい静止領域かを判別し、その結果に応じてグローバル動きベクトルで補正した補正参照画像、ローカル動きベクトルで補正した補正参照画像の合成比率を適切に設定する構成により、多重像とすべき被写体の安定した軌跡画像の生成と、静止像とすべき被写体である背景部分などの静止領域でのぼけや多重像の発生を抑える効果を両立した。本実施の形態では、これを簡易化した方式について説明する。

図１１に本実施形態における合成処理部１１５の構成図を示す。本実施形態は、第１実施形態の合成処理部１０５を合成処理部１１５に変更したものであり、他の構成は第１実施形態と同一である。ここでは説明の重複を避けるため、合成処理部１１５の構成についてのみ説明する。

第１の動きベクトル候補決定部２００と第２の動きベクトル候補決定部２０１は、第１の実施の形態と同様にそれぞれローカル動きベクトルとグローバル動きベクトルを算出する。動領域情報算出部２０６は、図１２に示すような特性に従い、処理対象画素位置が、動く被写体が存在する動領域か背景部分等の静止領域かを２値で判別する。

動きベクトル選択部３００は、動領域情報算出部２０６の結果に基づき、処理対象画素位置で採用する動きベクトルをローカル動きベクトルとグローバル動きベクトルから選択する。具体的には、動領域情報が０．０である静止領域においては、合成によるぼけや多重像の発生を抑えるため動きベクトルとしてより精度の高いローカル動きベクトルを選択する。動領域情報が１．０である動領域においては、軌跡画像を表示する効果を得るために、動きベクトルとしてグローバル動きベクトルを選択する。

画像補正部３０１は、選択された動きベクトルに基づき、動き補償を行い補正参照画像を生成する。具体的には、基準画像における処理対象画素位置に対応する参照画像の画素位置を動きベクトルから算出し、その画素位置の画素値を得る。相関計算部３０２は、基準画像の処理対象画素と画像補正部３０１が対応づけた画素との相関を計算する。具体的には、基準画像の画素値とそれに対応づけられた補正参照画像の画素値の差分の絶対値等とすればよい。

この差分の絶対値が小さい場合（相関が大きい場合）には、動きベクトルが適正である可能性が高く合成処理に用いてもぼけや多重像が発生する可能性は小さい。この差分の絶対値が大きい場合（相関が小さい場合）には、動きベクトルが適正でない可能性があり合成処理に用いるとぼけや多重像が発生する可能性が高いが、動く被写体の軌跡を合成したい領域ではこの値が大きくなることは通常ありえることである。

なお、相関としては画素値の差分絶対値ではなく、小ブロック（３×３画素や５×５画素）の差分絶対値和としても良い。

合成比率決定部３０３は、相関計算部３０２が計算する差分絶対値（相関値）と動領域情報算出部２０６が出力する動領域情報に応じて、加重平均化処理部３０４における重み（合成比率）を決定する。以下、合成比率は、基準画像の画素値の重みを１．０とした際の、画像補正部３０１の出力画素値の重みとする。

静止領域であり動領域情報が０．０の場合、合成によるぼけや多重像の発生をより抑えるため、相関値を利用して合成比率を制御することが望ましい。相関計算部３０２が計算する画素値の差分絶対値が所定の閾値よりも大きい場合（相関値が所定の閾値よりも小さい場合）には、選択した動きベクトルが適正でないと判断し、合成比率を０．０とすることで合成しないものとする。

他方、画素値の差分絶対値が所定の閾値よりも小さい場合（相関値が所定の閾値よりも大きい場合）には、選択した動きベクトルが適正であると判断し、合成比率は１．０とすることで合成を進め、合成によるノイズ低減効果等を得る。

動領域であり動領域情報が１．０の場合には、軌跡画像を表示するために画素値の差分絶対値が大きくても（相関値が小さくても）合成を行う必要がある。このため、動領域においては、画素値の差分絶対値（相関値）の大小にかかわらず、合成比率は１．０とする。

加重平均化処理部３０４は、合成比率決定部３０３が出力する合成比率に基づき、基準画像の画素と画像補正部３０１の出力画素との間で加重平均処理を行い、これを合成画像の画素とする。

以上のような処理を画像中の全画素に対して行い合成画像を得る。なお、本実施の形態においては、相関計算部３０２と合成比率決定部３０３で静止領域における合成比率の制御を実施したが、これを行わず、動きベクトル選択部３００における動きベクトルの選択のみを実施するより簡易な構成とすることも可能である。

以上、本実施の形態のように、動領域情報算出部２０６で処理対象画素が軌跡を表示したい動領域か、ぼけや多重像の発生を抑えたい静止領域かを判別し、その結果に応じて基準画像とグローバル動きベクトル又は、ローカル動きベクトルで補正した補正参照画像との合成比率を適切に設定する構成により多重像とすべき被写体の安定した軌跡画像の生成と、静止像とすべき被写体である背景部分などの静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

以上、実施形態を用いて説明したように、本発明によれば、処理対象画素が動領域か静止領域かを判別し、その結果に応じて合成対象とする補正参照画像を複数の動きベクトル候補で補正した補正参照画像から適切に生成することで、動領域での安定した軌跡画像や多重像の生成と、静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

また、動領域ではグローバル動きベクトルで補正した補正参照画像と基準画像を合成し、静止領域では参照画像をローカル動きベクトルに基づき補正した補正参照画像と参照画像をグローバル動きベクトルに基づき補正した補正参照画像と基準画像とを合成することも可能である。これにより動領域での安定した軌跡画像や多重像の生成と、静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

また、各補正参照画像と基準画像との相関を求めることも可能である。静止領域において相関に応じて基準画像と各補正参照画像を合成することで、静止領域でのぼけや多重像の発生をさらに抑えることができる。

また、各補正参照画像と基準画像との相関を比較し、大きい方の画像の合成比率を相関が小さい方の画像の合成比率よりも大きくすることも可能である。これにより、静止領域でのぼけや多重像の発生をさらに抑えることができる。

また、動領域ではグローバル動きベクトルに基づき補正した補正参照画像と基準画像を合成し、静止領域では参照画像をローカル動きベクトルに基づき補正した補正参照画像と基準画像とを合成することも可能である、これにより、簡易な構成で、動領域での安定した軌跡画像や多重像の生成と、静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

また、グローバル動きベクトルを手振れなどに起因する画面全体の動きとすることで、動領域での安定した軌跡画像の生成と、静止領域でのぼけや多重像の発生を抑える効果を両立することができる。

また、グローバル動きベクトルとローカル動きベクトルの差分から動領域情報を算出することで、精度の高い動領域の抽出が可能となる。

１００…光学系、 １０１…撮像素子、 １０２…画像処理部、 １０３…フレームメモリ、 １０４…動き情報取得部、 １０５…合成処理部、 １１５…合成処理部、 １２５…合成処理部、 ２００…第１の動き候補決定部、 ２０１…第２の動き候補決定部、 ２０２…第１の動き補正部、 ２０３…第２の動き補正部、 ２０４…第１の相関計算部、 ２０５…第２の相関計算部、 ２０６…動領域情報算出部、 ２０７…合成比率決定部、 ２０８…加重平均化処理部、 ３００…動きベクトル選択部、 ３０１…画像補正部、 ３０２…相関計算部、 ３０３…合成比率決定部、 ３０４…加重平均化処理部。

Claims (11)

1. 基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、前記基準画像と前記参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出する動きベクトル算出部と、
   前記グローバル動きベクトルと前記ローカル動きベクトルから動領域情報を算出する動領域情報算出部と、
   前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と前記ローカル動きベクトルに基づき補正した補正参照画像を生成する画像補正部と、
   前記基準画像と、前記グローバル動きベクトルに基づき補正した前記補正参照画像と前記ローカル動きベクトルに基づき補正した前記補正参照画像とを、前記動領域情報により決定される合成比率で合成する合成部と、
   を有し、前記動領域情報が動領域である領域においては、前記グローバル動きベクトルに基づき補正した前記補正参照画像の合成比率が前記ローカル動きベクトルに基づき補正した前記補正参照画像の合成比率よりも大きい
   ことを特徴とする画像合成装置。
2. 前記合成部は、
   前記動領域情報が動領域である領域では、前記グローバル動きベクトルに基づき補正した補正参照画像と前記基準画像を合成し、
   前記動領域情報が静止領域である領域では、前記参照画像を前記ローカル動きベクトルに基づき補正した補正参照画像と、前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と、前記基準画像とを合成する
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記基準画像と前記複数の補正参照画像間の相関を算出する相関算出部をさらに有し、
   前記合成部は、
   前記動領域情報が静止領域である領域においては前記相関を用いて前記合成比率を決定する
   ことを特徴とする請求項１に記載の画像合成装置。
4. 前記合成部は、
   前記動領域情報が静止領域である領域においては、前記参照画像を前記ローカル動きベクトルに基づき補正した補正参照画像と前記基準画像間の相関、前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と前記基準画像間の相関を比較し、基準画像との相関が大きい方の画像の合成比率を相関が小さい方の画像の合成比率よりも大きくする
   ことを特徴とする請求項３に記載の画像合成装置。
5. 前記合成部は、
   前記動領域情報が静止領域である領域においては、前記参照画像を前記ローカル動きベクトルに基づき補正した補正参照画像と前記基準画像間の相関、前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と前記基準画像間の相関を比較し、基準画像との相関が大きい方の画像と前記基準画像を合成する
   ことを特徴とする請求項４記載の画像合成装置。
6. 前記画像補正部は、
   前記動領域情報が動領域である領域では前記グローバル動きベクトルに基づき補正した補正参照画像を生成し、前記動領域情報が静止領域である領域では前記参照画像を前記ローカル動きベクトルに基づき補正した補正参照画像を生成し、
   前記合成部は、
   前記動領域情報が動領域である領域では前記グローバル動きベクトルに基づき補正した補正参照画像と前記基準画像を合成し、前記動領域情報が静止領域である領域では前記参照画像を前記ローカル動きベクトルに基づき補正した補正参照画像と前記基準画像とを合成する
   ことを特徴とする請求項１に記載の画像合成装置。
7. 前記グローバル動きベクトルは、前記大域的な動きを画像全体の動きから求めることにより算出された動きベクトルであることを特徴とする請求項１に記載の画像合成装置。
8. 前記動領域情報算出部は、前記グローバル動きベクトルと前記ローカル動きベクトルの差分から動領域情報を算出することを特徴とする請求項１に記載の画像合成装置。
9. 前記合成部にて合成された画像を前記基準画像と設定し、合成を繰り返し行うことで、最終合成画像を生成することを特徴とする請求項１に記載の画像合成装置。
10. 基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、前記基準画像と前記参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出するステップと、
    前記グローバル動きベクトルと前記ローカル動きベクトルから動領域情報を算出するステップと、
    前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と前記ローカル動きベクトルに基づき補正した補正参照画像を生成するステップと、
    前記基準画像と、前記グローバル動きベクトルで補正した前記補正参照画像と前記ローカル動きベクトルで補正した前記補正参照画像とを、前記動領域情報により決定される合成比率で合成するステップと、
    を有し、前記動領域情報が動領域である領域においては、前記グローバル動きベクトルに基づき補正した前記補正参照画像の合成比率が前記ローカル動きベクトルに基づき補正した前記補正参照画像の合成比率よりも大きい
    ことを特徴とする画像合成方法。
11. 基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、前記基準画像と前記参照画像の画像間の局所的な動きを反映したローカル動きベクトルを画素毎、あるいは複数画素からなる単位領域毎に算出するステップと、
    前記グローバル動きベクトルと前記ローカル動きベクトルから動領域情報を算出するステップと、
    前記参照画像を前記グローバル動きベクトルに基づき補正した補正参照画像と前記ローカル動きベクトルに基づき補正した補正参照画像を生成するステップと、
    前記基準画像と、前記グローバル動きベクトルで補正した前記補正参照画像と前記ローカル動きベクトルで補正した前記補正参照画像とを、前記動領域情報により決定される合成比率で合成するステップと、
    をコンピュータに発揮させ、前記合成比率は、前記動領域情報が動領域である領域においては、前記グローバル動きベクトルに基づき補正した前記補正参照画像の合成比率を、前記ローカル動きベクトルに基づき補正した前記補正参照画像の合成比率よりも大きい
    ことを特徴とする画像合成プログラム。

Images