JP2010021698A

JP2010021698A - 画像処理装置およびプログラム

Info

Publication number: JP2010021698A
Application number: JP2008178971A
Authority: JP
Inventors: Kazuhisa Matsunaga; 和久松永; Shinichi Matsui; 紳一松井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-07-09
Filing date: 2008-07-09
Publication date: 2010-01-28
Anticipated expiration: 2028-07-09
Also published as: US8233055B2; CN101626459A; TW201007617A; TWI444924B; CN101626459B; KR20100006542A; US20100007761A1; JP4720859B2; KR100994063B1

Abstract

【課題】流し撮りを実行した際に、合成画像の背景に縦方向の縞模様が生じるのを防止できる画像処理装置を提供すること。
【解決手段】流し撮りモードにおいて、ＣＭＯＳセンサ３により、時系列的に連続する５枚の画像を取得し、この取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする。次に、ブロックマッチング部１６および特徴量演算部１５により、４枚の対象画像のそれぞれの主被写体部分を基準画像の主被写体部分に重ねるように位置合わせ変換するための複数のパラメータを算出する。次に、画像変形合成加算部１７により、所定の箇所から離れるに従ってパラメータの位置合わせ度を減衰しながら、主被写体部分が重なるように画像を合成する。
【選択図】図１

Description

本発明は、画像処理装置およびプログラムに関する。詳しくは、移動体を被写体として流し撮りを行うのに好適な撮像装置に用いられる画像処理装置と、この画像処理装置に用いられるプログラムに関する。

従来より、移動する被写体を撮影してスピード感のある画像を得るために、カメラのシャッタ速度を通常よりも遅く設定しておき、撮影者が被写体の移動に合わせてカメラをパンニングすることにより、被写体を静止させつつ背景を流した画像を得る、いわゆる流し撮りが知られている。この流し撮りを可能にする技術として、例えば特許文献１には以下のような技術が示されている。
すなわち、まず、時系列的に連続したフレーム画像を取得し、これらフレーム画像からメインとなる被写体を特定する。そして、この被写体の各フレーム画像間での相対的にずれ量およびずれ方向を検出し、この検出したずれ量およびずれ方向に基づいて、被写体が同じ位置に重なるように各フレーム画像合成する（特許文献１参照）。

特開２００７−１８４７３３号公報

しかしながら、特許文献１に示された手法では、複数のフレーム画像を合成すると、背景に縞模様が発生する場合がある。このような縞模様が発生する原因は、移動する被写体の動作に対して、ユーザによるカメラを追随させる動作が一致しないためである。

つまり、移動する被写体の動作に対して、カメラを追随させる動作が速い場合、各フレーム画像では、背景のボケの水平方向の寸法が大きくなる。このようなフレーム画像を合成すると、合成画像では各フレーム画像のボケの一部がオーバーラップすることになる。例えば、ポールのような幅の狭い物体が背景に含まれる場合、ポールのボケがオーバーラップする部分とオーバーラップしない部分とで濃淡が生じて、合成画像に縦縞模様が発生することになる。

一方、移動する被写体の動作に対して、カメラを追随させる動作が遅い場合、各フレーム画像では、背景のボケの水平方向の寸法が小さくなる。このようなフレーム画像を合成すると、合成画像では各フレーム画像のボケが分離することになる。例えば、ポールのような幅の狭い物体が背景に含まれる場合、従来の合成画像１０１では、図８中破線で示すように、ポールのボケが存在する部分と存在しない部分とで濃淡が生じて、縦縞模様が発生することになる。

本発明は、流し撮りを実行した際に、合成画像の背景に生じる縦方向の縞模様を低減できる画像処理装置およびプログラムを提供することを目的とする。

請求項１に記載の発明に係る画像処理装置は、時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする画像取得手段と、前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるように位置合わせ変換するための複数のパラメータを算出するパラメータ算出手段と、所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する画像合成手段と、を備えることを特徴とする。

請求項２に記載の発明に係る画像処理装置は、前記画像合成手段は、減衰された複数の位置合わせ度のそれぞれについて、中間合成画像を生成することを特徴とする。

請求項３に記載の発明に係る画像処理装置は、前記画像合成手段は、前記複数の中間合成画像を重み付け加算平均することを特徴とする。

請求項４に記載の発明に係る画像処理装置は、前記パラメータは、射影変換行列の各成分であることを特徴とする。

請求項５に記載の発明に係る画像処理装置は、前記所定の箇所は画角の中央であることを特徴とする。

請求項６に記載の発明に係る画像処理装置は、前記所定の箇所は主被写体であることを特徴とする。

請求項７に記載の発明に係る画像処理方法は、時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする行程と、前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるよう位置合わせ変換するための複数のパラメータを算出する行程と、所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する行程と、を備えることを特徴とする。

請求項８に記載の発明に係る画像処理方法は、撮像手段を有するコンピュータを、時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする画像取得手段、前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるよう位置合わせ変換するための複数のパラメータを算出するパラメータ算出手段、所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する画像合成手段、として機能させるプログラム。

本発明によれば、主被写体から離れるに従って強度比βを低下させて位置合わせを抑制したので、流し撮りを実行した際に、合成画像の背景に生じる縦方向の縞模様を低減できる。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る画像処理装置としてのデジタルカメラの電気的構成を示すブロック図である。
このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとを有し、記録モードの下位モードとして流し撮りモードが設けられたものである。なお、流し撮りモードは、メインの被写体の動きに合わせてカメラを追従させながら撮影を行うことによって、メインの被写体を静止させ、かつ背景を流したような流し撮り画像を得るための撮影モードである。

本実施形態のデジタルカメラは、撮影レンズ１と、シャッタ２、ＣＭＯＳセンサ３、Ａ／Ｄ変換器４、ＤＲＡＭ５、液晶表示コントローラ６、液晶表示器７、シャッタ制御部８、ＣＰＵ９、受光制御部１０、デモザイク部１１、外部記憶メモリ１２、キー入力ブロック１３、プログラムメモリ１４、特徴量演算部１５、ブロックマッチング部１６、画像変形合成加算部１７を備える。

記録モードで撮影する場合には、ＣＭＯＳセンサ３により、撮影レンズ１により収束された撮影光をシャッタ２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する。次に、Ａ／Ｄ変換器４により、ＣＭＯＳセンサ３の出力信号をデジタルの画像データへ変換する。そして、ＤＲＡＭ５により、Ａ／Ｄ変換器４により変換された画像データを逐次記憶する。なお、このＤＲＡＭ５には、流し撮りモードでの撮影時においては複数枚分の画像データが格納される。
ＣＭＯＳセンサ３は、流し撮りモードにおいては、本発明の画像取得手段として機能する。

前記シャッタ２の動作は、ＣＰＵ９の命令に従い、シャッタ制御部８により制御され、前記ＣＭＯＳセンサ３およびＡ／Ｄ変換器４の動作は、ＣＰＵ９の命令に従い、受光制御部１０により制御される。
前記ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。

なお、前記デモザイク部１１は、流し撮りモードでの撮影時においてはＲＡＷデータをＹＵＶデータ（撮影画像）のみならず、必要に応じて輝度情報のみからなる輝度画像データ（輝度画像）へ変換する。また、変換されたＹＵＶデータ及び輝度画像データは、ＤＲＡＭ５に一時的に記憶される。

記録モードで撮影する場合に、デモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記録される。
また、外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードでは、必要に応じＣＰＵ９に読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。
なお、外部記憶メモリ１２は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

ＣＰＵ９には、キー入力ブロック１３、プログラムメモリ１４、特徴量演算部１５、ブロックマッチング部１６、画像変形合成加算部１７が接続されている。
キー入力ブロック１３は、使用者によるデジタルカメラの操作に使用される、電源キーやシャッターキー、モード切替キー等を含む複数のスイッチ類から構成される。
プログラムメモリ１４は、ＣＰＵ９の動作に必要に種々のプログラム、及びプログラムの実行に際して使用される各種のデータが記憶されたメモリである。

ＣＰＵ９は、プログラムメモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。

特徴量演算部１５は、流し撮りモードでの撮影に際して、ＣＭＯＳセンサ３により撮像された画像における特定の局所領域（ブロック）について射影変換行列を演算してＣＰＵ９に出力する本発明のパラメータ算出手段である。

ブロックマッチング部１６は、流し撮りモードでの撮影に際して、ＳＲＡＭ１８を作業メモリとして使用し、ＣＭＯＳセンサ３により撮像された基準画像と他の画像との間でブロックマッチングを行い、基準画像の特定の局所領域（ブロック）における主被写体部分の相対的なずれ量及びずれ方向を示す動きベクトルを取得してＣＰＵ９に出力する本発明のパラメータ算出手段である。

画像変形合成加算部１７は、流し撮りモードでの撮影に際して、ＣＰＵ９の指示に応じ、ＣＭＯＳセンサ３により撮像された複数枚の画像を位置合わせして合成する本発明の画像合成手段である。

図２は、デジタルカメラの流し撮りモードでの動作を示すフローチャートである。
キー入力ブロック１３に設けられているモード切替キーが操作されて流し撮りモードが設定されると、ＣＰＵ９は、図２に示すフローチャートの処理を実行するためのプログラムをプログラムメモリ１４から読み出す。ＣＰＵ９は、このプログラムに従って、図２に示すフローチャートにおける各種処理を実行する。

また、プログラムメモリ１４には、図３に示すように、後述の中間合成画像のインデックスｋと減衰射影変換行列の強度比βとの関係を示す強度比テーブルが記憶されている。
この強度比テーブルでは、ｋ＝０のとき強度比β＝１（減衰なし）、ｋ＝１のとき強度比β＝３／４（減衰率２５％）、ｋ＝２のとき強度比β＝１／２（減衰率５０％）となっている。

ＣＰＵ９は、流し撮りモードの設定とともに、液晶表示器７にスルー画像を表示する。
なお、周知のＯＳＤ（On Screen Display）技術により、スルー画像に重ねて、フレーム内の中央部分にグリッドを表示してもよい。このグリッドは、撮影者がカメラの向きをメインの被写体の動きに追従させるとき、メインの被写体をフレーム内の特定位置にガイドするものである。

まず、ステップＳ１では、ＣＰＵ９は、シャッターキーの操作を監視し、シャッターキーの操作が検出されると、５回の連写撮影を行う。例えば、各回の撮影条件を露光がシームレスになるように設定した状態で、シャッタ時間１／６０秒、連写速度６０ｆｐｓでＣＭＯＳセンサ３によって時間的に連続する５枚の画像のＲＡＷデータを取得し、ＤＲＡＭ５に記憶する。
この連写撮影中、撮影者は、メインの被写体が撮影フレーム内の中央部分に位置するようにメインの被写体の動きに合わせてカメラを追従させる。

以下、取得した時系列的に連続する５枚の画像ｐ[０]〜ｐ[４]とし、これら取得した画像のうち１枚を基準画像ｐ[０]とし、残りを対象画像ｐ[１]〜ｐ[４]とする。

ステップＳ２では、取得した画像ｐ[０]〜ｐ[４]のそれぞれについて、ＹＵＶ画像、輝度画像を生成する。
具体的には、デモザイク部１１により、ＤＲＡＭ５に記憶した各々のＲＡＷデータをＹＵＶデータ、および、輝度成分のみからなる輝度画像データに変換し、変換後の画像データをＤＲＡＭ５に記憶する。ここで、ＹＵＶデータは合成用の画像データであり、輝度画像データは中間合成画像の生成時における位置合わせ作業に十分なサイズの縮小画像データである。

以下、基準画像ｐ[０]の輝度画像を、基準輝度画像ｐｌ[０]、対象画像ｐ[１]〜ｐ[４]の輝度画像を対象輝度画像ｐｌ[０]〜ｐｌ[４]とする。
ステップＳ３では、対象輝度画像ｐｌ[ｉ]のインデックスであるカウンタｉを１とする。

ステップＳ４では、対象輝度画像ｐｌ[ｉ]について、主被写体部分の基準輝度画像ｐｌ[０]に対する動きベクトル群を求める。
具体的には、図４（ａ）に示すように、基準輝度画像ｐｌ[０]の中央部に矩形状のマッチング対象領域ａを設定する。このマッチング対象領域ａの縦方向の長さは、基準輝度画像ｐｌ[０]の縦方向の長さの１／２であり、横方向の長さは、基準輝度画像ｐｌ[０]の横方向の長さの１／２である。

そして、図４（ｂ）に示すように、このマッチング対象領域を縦１６画素×横１６画素を単位とした複数ブロックに分割し、各ブロックについて対象輝度画像ｐｌ[ｉ]内でブロックマッチングを行う。
すなわち、各ブロックについて、対象輝度画像ｐｌ[ｉ]内の同一座標のブロックを中心とした所定範囲内で、ブロック間の差分二乗和を評価しながら探索する。そして、差分二乗和が最小となる位置に基づいて、相対的なずれ量およびずれ方向を示す当該ブロックの動きベクトルを求める。

ステップＳ５では、動きベクトル群に基づいて、対象輝度画像ｐｌ[ｉ]の主被写体部分を基準輝度画像ｐｌ[０]の主被写体部分に重ねるように位置合わせ変換する射影変換行列ｍ[ｉ]を生成する。

具体的には、動きベクトル群の中から、ＲＡＮＳＡＣ法により射影変換行列ｍ[ｉ]を生成する。
ＲＡＮＳＡＣ法とは、アウトライア（イレギュラーに移動したブロックの動きベクトル）を排除して射影変換行列を求める手法である。より具体的には、ＲＡＮＳＡＣ法で求められる射影変換行列サポート率（全サンプル数に対するインライア（変換行列が有効となるサンプル）の割合）が一定値以上であれば、ＲＡＮＳＡＣ法による射影変換行列の生成は成功であるとみなし、変換行列が有効であると判断する。

ステップＳ６では、ｉ＝４であるか否かを判定する。この判定がＮＯの場合には、ステップＳ７に移り、カウンタｉをインクリメントして、ステップＳ４に戻る。
一方、この判定がＹＥＳの場合には、ステップＳ８に移る。

以上のステップＳ１〜Ｓ７により、全ての対象輝度画像ｐｌ[１]〜ｐｌ[４]に対して、射影変換行列ｍ[１]〜ｍ[４]を生成する。

ステップＳ８では、中間合成画像のインデックスであるカウンタｋを再びゼロとする。
ステップＳ９では、上述の強度比テーブルを参照して、図５に示すように、カウンタｋの値に対応した強度比βを読み出して、射影変換行列ｍ[ｉ]のパラメータの位置合わせ度を強度比βとした減衰射影変換行列ｍβ[ｉ][ｋ]を生成する。ここで強度比βは、ｋ＝０の場合β＝１、ｋ＝０の場合β＝３／４、ｋ＝０の場合β＝１／２である。

ステップＳ１０では、対象画像ｐ[１]〜ｐ[４]のそれぞれに対して、カウンタｋに対応した減衰射影変換行列ｍβ[１][ｋ]〜ｍβ[４][ｋ]を適用し、基準画像ｐ[０]に加算平均して、中間合成画像ｃ[ｋ]を生成する。
例えば、中間合成画像ｃ[１]は、対象画像ｐ[１]に減衰射影変換行列ｍβ[１][１]を適用し、対象画像ｐ[２]に減衰射影変換行列ｍβ[２][１]を適用し、対象画像ｐ[３]に減衰射影変換行列ｍβ[３][１]を適用し、対象画像ｐ[４]に減衰射影変換行列ｍβ[４][１]を適用して、基準画像ｐ[０]に加算平均することで生成された画像である。

ステップＳ１１では、カウンタｋ＝２であるか否かを判定する。この判定がＮＯの場合には、カウンタｋをインクリメントして（ステップＳ１２）、ステップＳ９に戻る。この判定がＹＥＳの場合には、ステップＳ１３に移る。

ステップＳ１３では、図６に示すマップに従って、中間合成画像ｃ[０]〜ｃ[２]をアルファ・ブレンディングにより合成して、最終合成画像ｃｆを生成する。
具体的には、最終合成画像ｃｆを、中央部の矩形状の領域である第１領域ｂ_１と、この第１領域ｂ_１の外側の枠状の領域である第２領域ｂ_２と、この第２領域ｂ_２の外側の枠状の領域である第３領域ｂ_３と、この第３領域ｂ_３の外側の枠状の領域である第４領域ｂ_４と、この第４領域ｂ_４の外側の枠状の領域である第５領域ｂ_５と、で構成する。

第１領域ｂ_１の縦方向の長さは、最終合成画像ｃｆの縦方向の長さの１／３であり、横方向の長さは、最終合成画像ｃｆの横方向の長さの１／３である。
この第１領域ｂ_１を、中間合成画像ｃ[０]のみで生成する。

第２領域ｂ_２の縦方向に延出する部分の幅は、最終合成画像ｃｆの横方向の長さの１／８であり、横方向に延出する部分の幅は、最終合成画像ｃｆの縦方向の長さの１／８である。

この第２領域ｂ_２を、中間合成画像ｃ[０]および中間合成画像ｃ[１]をアルファ・ブレンディングにより合成することで、生成する。第２領域ｂ_２の幅は、３等分されており、内側から順に、中間合成画像ｃ[０]および中間合成画像ｃ[１]のブレンド比は、７５％および２５％、５０％および５０％、２５％および７５％となっている。

第３領域ｂ_３の縦方向に延出する部分の幅は、最終合成画像ｃｆの横方向の長さの１／２４であり、横方向に延出する部分の幅は、最終合成画像ｃｆの縦方向の長さの１／２４である。
この第３領域ｂ_３を、中間合成画像ｃ[１]のみで生成する。

第４領域ｂ_４の縦方向に延出する部分の幅は、最終合成画像ｃｆの横方向の長さの１／８であり、横方向に延出する部分の幅は、最終合成画像ｃｆの縦方向の長さの１／８である。

この第４領域ｂ_４を、中間合成画像ｃ[１]および中間合成画像ｃ[２]をアルファ・ブレンディングにより合成することで、生成する。
第４領域ｂ_４の幅は、３等分されており、内側から順に、中間合成画像ｃ[１]および中間合成画像ｃ[２]のブレンド比は、７５％および２５％、５０％および５０％、２５％および７５％となっている。

第５領域ｂ_５の縦方向に延出する部分の幅は、最終合成画像ｃｆの横方向の長さの１／２４であり、横方向に延出する部分の幅は、最終合成画像ｃｆの縦方向の長さの１／２４である。
この第５領域ｂ_５を、中間合成画像ｃ[２]のみで生成する。

例えば、ポールのような水平方向の寸法が小さい物体が背景に含まれる場合、本実施形態の最終合成画像２１では、図７中破線で示すように、ポールのボケが存在する部分が接近し、ボケが存在しない部分が減少して、縦縞模様が目立たなくなっている。

ステップＳ１４では、ＣＰＵ９は、最終的な合成画像ｃｆの画像データを順次圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録するとともに液晶表示器７に表示する。

本実施形態によれば、以下のような効果がある。
（１）４枚の対象輝度画像ｐｌ[１]〜ｐｌ[４]のそれぞれについて、主被写体部分の基準輝度画像ｐｌ[０]に対する動きベクトル群を求めて、この動きベクトル群に基づいて、対象輝度画像ｐｌ[１]〜ｐｌ[４]の主被写体部分を基準輝度画像ｐｌ[０]の主被写体部分に重ねるように位置合わせ変換する射影変換行列ｍ[１]〜ｍ[４]を生成する。次に、これら射影変換行列ｍ[１]〜ｍ[４]に対して強度比βを導入して減衰射影変換行列ｍβ[１]〜ｍβ[４]を生成し、強度比βを３段階に変化させて対象画像ｐ[１]〜ｐ[４]に適用し、基準画像ｐｌ[０]に加算平均することで、３種類の中間合成画像ｃ[０]〜ｃ[２]を生成する。次に、主被写体から離れるに従って強度比βが低下するようにこれら３種類の中間合成画像ｃ[０]〜ｃ[２]を合成して、１つの最終合成画像ｃｆを生成する。
このように主被写体から離れるに従って強度比βを低下させて位置合わせを抑制したので、流し撮りを実行した際に、最終合成画像ｃｆの背景に生じる縦方向の縞模様を低減できる。

（２）最終合成画像ｃｆの中心から周縁部に向かうに従って減衰射影変換行列ｍβ[１]〜ｍβ[４]の強度比βが低下するように、３種類の中間合成画像ｃ[０]〜ｃ[２]をアルファ・ブレンディングにより合成した。主被写体は撮影フレームのほぼ中心に位置していると判断できるから、このように設定することで、回路の計算負荷を軽減できる。

（３）動きベクトル群に基づいて射影変換行列ｍ[１]〜ｍ[４]を生成する際に、ＲＡＮＳＡＣ法を採用した。よって、イレギュラーに移動したブロックの動きベクトルを排除できるから、射影変換行列による主被写体の位置合わせの精度を高めることができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施形態では、３個の中間合成画像ｃ[０]〜ｃ[２]を合成する際、撮影画像の中心に主被写体が存在するものとして、最終合成画像ｃｆの中心から周縁部に向かうに従って、減衰射影変換行列ｍβの強度比βを低下させたが、これに限らない。すなわち、基準画像と対象画像との相関性を画素単位で判定して、相関性が高い領域を主被写体領域として強度比を１とし、この相関性が高い領域から離れるに従って強度比を低下させてもよい。

また、上述の実施形態では、撮像素子がＣＭＯＳセンサであるデジタルカメラに本発明を適用したが、これに限らず、ＣＣＤ等の他の撮像素子を用いてもよい。
また、上述のデモザイク部１１、特徴量演算部１５、ブロックマッチング部１６、画像変形合成加算部１７の機能の一部または全てを、ＣＰＵ９を所定のプログラムに従い動作することによって実現するようにしてもよい。

また、本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、時間的に連続する複数枚の画像から流し撮り画像を生成する機能を有する任意の画像処理装置にも適用できる。また、係る画像処理装置には、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。

本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。前記実施形態に係るデジタルカメラの流し撮りモードでの動作を示すフローチャートである。前記実施形態に係るデジタルカメラのプログラムメモリに記憶された強度比テーブルを示す図である。前記実施形態に係るデジタルカメラの基準画像に設定するマッチング対象領域を説明するための図である。前記実施形態に係るデジタルカメラの射影変換行列を生成する手順を説明するための図である。前記実施形態に係るデジタルカメラの中間合成画像を合成するためのマップである。前記実施形態に係るデジタルカメラの最終の合成画像の具体例である。従来例に係るデジタルカメラの合成画像の具体例である。

符号の説明

β 強度比
ｃ中間合成画像
ｍ射影変換行列
ｐ[０] 基準画像
ｐ[１]〜ｐ[４] 対象画像
３ＣＭＯＳセンサ（画像取得手段）
１５特徴量演算部（パラメータ算出手段）
１６ブロックマッチング部（パラメータ算出手段）
１７画像変形合成加算部（画像合成手段）

Claims

時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする画像取得手段と、
前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるように位置合わせ変換するための複数のパラメータを算出するパラメータ算出手段と、
所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する画像合成手段と、を備える
ことを特徴とする画像処理装置。
前記画像合成手段は、減衰された複数の位置合わせ度のそれぞれについて、中間合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記画像合成手段は、前記複数の中間合成画像を重み付け加算平均することを特徴とする請求項２に記載の画像処理装置。
前記パラメータは、射影変換行列の各成分であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
前記所定の箇所は画角の中央であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
前記所定の箇所は主被写体であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする行程と、
前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるよう位置合わせ変換するための複数のパラメータを算出する行程と、
所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する行程と、を備える
ことを特徴とする画像処理方法。
撮像手段を有するコンピュータを、
時系列的に連続する複数の画像を取得し、当該取得した複数の画像のうち１つを基準画像とし、残りを対象画像とする画像取得手段、
前記複数の対象画像のそれぞれの主被写体部分を前記基準画像の主被写体部分に重ねるよう位置合わせ変換するための複数のパラメータを算出するパラメータ算出手段、
所定の箇所から離れるに従って前記パラメータの位置合わせ度を減衰しながら、前記主被写体部分が重なるように画像を合成する画像合成手段、
として機能させるプログラム。