JP2010187347A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】撮影条件によっては、フィルタ処理後の画像が不自然になる。
【解決手段】時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置は、複数の画像間の移動ベクトルを求め、求めた移動ベクトルに基づいて画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して１枚の合成画像を生成する。また、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するとともに、撮影条件に基づいて、フィルタカーネルを決定し、生成した合成画像のうち、フィルタ領域に対して、フィルタカーネルに基づいたフィルタ処理を行う。
【選択図】図２

Description

本発明は、時系列に撮影した複数枚画像を用いた画像合成技術に関する。

従来、カメラ撮影において、電車や自動車、スポーツシーンなど移動する被写体を撮影するときに「流し撮り」という撮影技法が用いられる。「流し撮り」とは、被写体のファインダ内（画像内）での被写体位置が静止するように、被写体の動きに合わせてカメラを移動（パンニング）させながら撮影する技法である。流し撮り撮影した画像は、被写体がぶれずに背景が流れたような画像を得ることができ、スピード感がある画像を得ることができる。しかし、実際は、撮影中（シャッタが開いていて撮像素子へ露光する時間中）に、画像内での被写体位置を一定にすることは容易ではなく、被写体にぶれを含んでしまうことが多かった。この問題に対して、従来の一般的に用いられる方法では、角速度センサを用いて撮影中のカメラの移動方向を感知し、カメラの移動方向でない方向のぶれ成分について、光学系や撮像素子をシフトすることで抑制する方法などが採用されてきた。例えば、水平方向にカメラをパンニングしている場合、垂直方向のぶれを抑制する。しかしながら、この従来方法では、カメラの移動方向に対するぶれには対応することができないため、依然として、画像内での被写体位置を一定にすることは容易ではなく、被写体がぶれてしまうことが多かった。

これに対して、特許文献１には、メッシュ状に領域を分割し、各領域の移動ベクトルから、注目領域とそれ以外の領域に領域分割し、注目領域でない部分に対して、流し撮りのようなボケ味を出すための平滑化フィルタを施す手法が開示されている。

特開２００７−０７４０３１号公報

しかしながら、引用文献１の手法では、撮影条件に関係なく、同じ平滑化フィルタ処理を施しているので、撮影条件によっては、自然な流し撮り画像を得ることができないという問題があった。

本発明は、上記課題に鑑みてなされたものであり、画像に対して、撮影条件に応じて決定したフィルタカーネルに基づいたフィルタ処理を行うことを目的とする。

本発明のある態様に係る画像処理装置は、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置であって、前記複数の画像間の移動ベクトルを求める移動ベクトル検出部と、求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理装置は、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置であって、前記複数の画像間の移動ベクトルを求める移動ベクトル検出部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部と、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理装置は、複数の画像間の移動ベクトルを求める移動ベクトル検出部と、前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理方法であって、前記複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理方法であって、前記複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、複数の画像間の移動ベクトルを求めるステップと、前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行うためのプログラムであって、前記複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、をコンピュータに実行させるための画像処理プログラムである。

本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行うためのプログラムであって、前記複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、をコンピュータに実行させるための画像処理プログラムである。

本発明のさらに別の態様に係る画像処理プログラムは、複数の画像間の移動ベクトルを求めるステップと、前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、撮影条件に基づいて、フィルタカーネルを決定するステップと、単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、をコンピュータに実行させるための画像処理プログラムである。

これら態様によれば、撮影条件に基づいてフィルタカーネルを決定し、決定したフィルタカーネルに基づいたフィルタ処理を行うので、撮影条件に応じて適切なフィルタ処理を行うことができ、例えば、背景が自然に流れる流し撮り画像を安定的に取得することができる。

本発明によれば、撮影条件に応じて決定したフィルタカーネルに基づいたフィルタ処理を行うので、撮影条件に関わらず、自然なフィルタ処理画像を得ることができる。

本発明の第１の実施形態の画像処理装置の構成を示す図である。 第１の実施形態における画像処理装置によって行われる全体の処理フローを示すフローチャートである。 図３（ａ）、（ｂ）は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。 図４（ａ）は、各テンプレートブロックの移動ベクトルの一例を示す図であり、図４（ｂ）は、信頼性の低い移動ベクトルを除外することにより残った信頼性の高い移動ベクトルを示す図である。 信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。 フィルタ領域を抽出する処理の処理フローを示すフローチャートである。 上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、輝度値の最大値と最小値との差分をそれぞれ示す図である。 図８（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。 撮影条件と背景ボケとの関係を説明するための図である。 被写体距離Ｌ、背景距離Ｌ’を求める方法を説明するための図である。 図１１（ａ）は、被写体距離Ｌの算出方法を説明するための図であり、図１１（ｂ）は、背景距離Ｌ’の算出方法を説明するための図である。 平滑化フィルタカーネルの生成方法を説明するための図である。 ボケ度Ｄとフィルタカーネルの大きさの関係を定めたテーブルの一例を示す図である。 ４枚の画像から流し撮り画像を生成する手順を説明するための図である。 第２の実施形態における画像処理装置の構成を示す図である。 カメラの動きを説明するための図である。 カメラのブレ角度と像ズレとの関係を示す図である。 第２の実施形態において、平滑化フィルタカーネルの生成方法を説明するための図である。 第３の実施形態における画像処理装置の構成を示す図である。 第３の実施形態における画像処理装置によって行われる全体の処理フローを示すフローチャートである。 第４の実施形態における画像処理装置の構成を示す図である。 第５の実施形態における画像処理装置の構成を示す図である。 第５の実施形態における画像処理装置により行われる処理内容を示すフローチャートである。 図２４（ａ）は、フィルタ処理を施す前の画像を示す図であり、図２４（ｂ）は、主要被写体である人物以外の背景部分に、等方性の平滑化フィルタを用いたフィルタ処理を施した画像を示す図である。 ボケ度Ｄと、フィルタカーネルとの関係を定めたテーブルの一例である。 第６の実施形態における画像処理装置の構成を示す図である。

−第１の実施形態−
図１は、本発明の第１の実施形態の画像処理装置の構成を示す図である。図中、矢印はデータの流れを表している。なお、本実施の形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。

記録部５には、焦点距離、シャッタ速度、絞り値（Ｆ値）、フォーカス設定パラメータ（被写体距離）などの撮影パラメータが予め記録されている。これらの撮影パラメータは、光学系１に設定される。また、記録部５には、ＩＳＯ感度（Ａ／Ｄ変換のゲイン）などの撮影パラメータも記録されており、このＩＳＯ感度などの撮影パラメータは、Ａ／Ｄ変換処理部３に設定される。

光学系１で取り込まれた光は、撮像部２で電気信号に変換され、アナログ信号として出力される。Ａ／Ｄ変換処理部３は、撮像部２から出力されるアナログ信号をデジタル信号に変換する。画像処理部４は、このデジタル信号に対して、ノイズ除去処理やデモザイキング処理（画素毎にＲＧＢ信号のいずれか１つの信号だけが存在する状態から、画素毎にＲＧＢの３つの値を割り当てる処理）などを行って、画像信号に変換する。画像信号は、記録部５に蓄積される。ここまでの一連のデータフローは撮像ごとに行われる。

連写撮影の場合、連写回数分だけ上記のデータフローが行われる。また、光学系１やＡ／Ｄ変換処理部３に設定される撮影パラメータは、変更されるたびに、記録部５に更新・保持される。

位置合わせ処理部６は、記録部５に蓄積された複数枚の画像データに基づいて、画像データ間の移動ベクトル（位置ずれ量）を求める。画像合成処理部８は、複数枚の画像データと移動ベクトルに基づいて、複数枚の画像データを合成する処理を行い、合成画像を出力する。

フィルタ領域演算部７は、複数枚の画像データと移動ベクトルに基づいて、合成画像に対するフィルタ領域を計算する。フィルタカーネル生成部９は、撮影パラメータに基づいて、フィルタカーネルを決定する。フィルタ処理部１０は、フィルタカーネルおよびフィルタ領域に基づいて、合成画像に対してフィルタ処理を行い、出力画像を得る。

図２は、第１の実施形態における画像処理装置によって行われる全体の処理フローを示すフローチャートである。

ステップＳ１０１では、撮像部２にて、連写撮影を行い、時系列に連続な複数枚の画像を取得する。取得された複数枚の画像は、Ａ／Ｄ変換処理部３および画像処理部４でそれぞれ処理が行われた後、記録部５に記録される。

ステップＳ１０２では、位置合わせ処理部６により、記録部５に記録された複数枚の画像を用いて、画像の位置合わせ処理を行い、画像間の位置ずれを示す移動ベクトルを求める。以下では、位置合わせの基準となる画像を基準フレーム、基準フレームに対して位置合わせする画像を位置合わせ対象フレーム（または、対象フレーム）と呼ぶ。基準フレームは、連写画像のうち、任意の１枚を位置合わせの基準座標系として設定する。位置合わせ対象フレームは、基準フレーム以外の画像を順次設定する。例えば、最初の１フレーム目を位置合わせの基準とすると、２フレーム目以降が位置合わせ対象フレームとなる。位置合わせ処理では、２フレーム目以降の画像について、１フレーム目からの移動量を計算することになる。

図３は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。図３（ａ）に示すように、位置合わせ対象フレーム２６の中央部分の所定領域２５内に、位置合わせ用のテンプレートブロック２１を複数設定する。テンプレートブロック２１は、所定の大きさの矩形領域であり、移動ベクトルを求める際に用いられる。

図３（ｂ）は、基準フレーム２７において設定された探索領域２２を示す図である。探索領域２２は、基準フレーム２７において、テンプレートブロック２１の相当する座標近傍に、テンプレートブロック２１より広い範囲で設定される。

移動ベクトル演算では、位置合わせ対象フレーム２６のテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査することにより、位置合わせの重なり度合いを示す一致指標を演算する。そして、一致指標が最も大きい（一致指標の種類によっては、最も小さい）位置を、位置合わせの対応点とし、テンプレートブロック２１との相対的な位置ずれ量を移動ベクトルとする。一致指標としては、例えばフレーム間の輝度差の絶対値の和であるＳＡＤ(Sum of Absolute intensity Difference)がある。ＳＡＤが小さいほど、一致度が高いと判断する。基準フレーム２７のテンプレートブロック領域Ｉに含まれる画素をｐ（ｐ∈Ｉ）とし、位置合わせ対象フレーム２６の位置合わせ処理領域Ｉ’に含まれる画素をｑ（ｑ∈Ｉ’）とし、輝度値をそれぞれＬｐ、Ｌｑとすると、ＳＡＤは、次式（１）で与えられる。

他の一致指標としては、自乗誤差を演算するＳＳＤ(Sum of Squared intensity Difference)や、正規化相互相関を演算するＮＣＣ(Normalized Cross-Correlation)などがある。上記の手順により、図３（ａ）に示す各テンプレートブロック２１の移動ベクトルを求めることができる。

図４（ａ）は、各テンプレートブロック２１の移動ベクトル２３の一例を示す図である。上述した方法により求めた各テンプレートブロック２１の移動ベクトルには、信頼性の高いものと低いものとが含まれる。例えば、低コントラストで位置合わせの手がかりがない領域では、移動ベクトルの信頼性は低い。一方、コントラストが強い領域では、信頼性の高い結果が得られる可能性が高くなる。

従って、各テンプレートブロック２１のコントラスト情報を用いて各ブロックの移動ベクトル２３の信頼性を判定し、信頼性の低い移動ベクトル、すなわち、コントラストが低い領域の移動ベクトルは、その後の計算の対象外とする。図４（ｂ）は、信頼性の低い移動ベクトル２４を除外することにより残った信頼性の高い移動ベクトルを示している。

続いて、残った信頼性の高い移動ベクトルに対して投票処理を行い、最も頻度の高い移動ベクトル、すなわち、最も数の多い同一の移動ベクトルを選択する。図５は、信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。信頼性の高い移動ベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解して投票処理を行うことにより、最も頻度の高い移動ベクトルを求める。この最も頻度の高い移動ベクトルを、基準フレームおよび位置合わせ対象フレーム間の代表的な移動ベクトルとする。

上述したように、本実施形態では、画像の中央部分の所定領域２５内において移動ベクトルを検出するようにしている。この考え方は、主要被写体は画像の中央部分にあることを仮定するとともに、画像中央部分において、大半が主要被写体であることを仮定している。なお、この方法では、連写の開始時点で主要被写体が画面の中央部分にあったとしても、主要被写体が動くことによって、主要被写体が画面の中央部分から外れてしまう場合がある。この課題に対応するため、位置合わせの１回目は画像中央部で位置合わせ処理を行うが、２回目以降は、前回の位置合わせ結果を用いて、その移動ベクトル近傍で位置合わせを行うようにしてもよい。

図２のフローチャートのステップＳ１０３では、画像合成処理部８により、ステップＳ１０２で求められた移動ベクトルに基づいて、画像間の位置ずれを補正しながら、複数枚の画像を加算する。ステップＳ１０４では、画像合成処理部８により、加算画像を加算回数で正規化して、合成画像を得る。

ステップＳ１０５では、複数枚の画像データと移動ベクトルに基づいて、フィルタ領域を抽出する。連写撮影した画像を被写体基準で位置合わせすると、合成画像の背景部分において不自然なガタツキが発生する。このガタツキを目立たなくするためのフィルタ処理の処理領域を抽出することが、ステップＳ１０５における処理の目的である。

図６は、図２のステップＳ１０５で行うフィルタ領域抽出処理の処理フローを示すフローチャートである。ステップＳ６０１では、合成画像における画像間の位置合わせの不整合を表す第１の特徴量ｆ₁（ｘ，ｙ）を演算する。第１の特徴量ｆ₁（ｘ，ｙ）の演算方法について、図７を用いて説明する。

図７では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、１〜３フレーム目の画像の輝度値の最大値と最小値との差分をそれぞれ示している。

合成画像においては、被写体を基準に位置合わせを行っているため、被写体部分はほぼ同じ輝度値の画像を加算することになる。一方、背景部分については、輝度の異なる画像どうしを加算することがあり、これが合成画像の背景部分のガタツキの原因となる（図７参照）。

従って、加算画像の輝度値のばらつき具合を第１の特徴量ｆ₁（ｘ，ｙ）として求める。具体的には、位置合わせ後の各画像の輝度値の差を特徴量ｆ₁（ｘ，ｙ）として定義して、次式（２）により求める。式（２）において、Ｎは、画像の加算枚数、（Ｖｘ（ｎ），Ｖｙ（ｎ））は、ｎ番目画像の移動ベクトル、Ｉ_n（ｘ，ｙ）は、ｎ番目画像の画素（ｘ，ｙ）における輝度値である。

ステップＳ６０２では、位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量ｆ₂（ｘ，ｙ）を演算する。第２の特徴量ｆ₂（ｘ，ｙ）の演算方法について、図８を用いて説明する。

図８（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。２つの画像を重ね合わせた際に位置合わせ誤差が存在する場合に、位置合わせ誤差による輝度値の差が小さい場合の例を図８（ａ）に、位置合わせ誤差による輝度値の差が大きい場合の例を図８（ｂ）に示している。

実際の位置合わせ処理では、位置合わせ誤差が発生する。第２の特徴量ｆ₂（ｘ，ｙ）は、位置合わせ誤差に起因した悪影響を打ち消すことを目的としている。第１の特徴量ｆ₁（ｘ，ｙ）では、輝度値の差を算出しているが、位置合わせ誤差があると、輝度値の差も変動する。輝度値の変化度合いである輝度勾配の小さな領域では、位置合わせ誤差が輝度値の差に与える影響は小さいが（図８（ａ）参照）、輝度勾配の大きい領域では、同じ位置合わせ誤差であっても、輝度値の差の変動が大きくなる（図８（ｂ）参照）。この影響を排除するため、位置合わせ誤差が輝度差に与える変動量を特徴量ｆ₂（ｘ，ｙ）として、次式（３）より求める。

式（３）において、αは、画素単位における画像の位置合わせ精度、Ｉ₀（ｘ，ｙ）は、基準画像の画素（ｘ，ｙ）における輝度値を表している。基準画像は、例えば、先頭フレームや中間フレームなど、Ｎ枚の加算画像のうちの任意の画像を設定してよい。なお、通常の位置合わせ処理では、位置合わせ精度αを予め解析的に知ることができる。ここで、上記（３）式のα以外の項は、位置合わせが１画素ずれたときの輝度変動の最悪値を示している。これに位置合わせ精度αを掛け合わせることで、画像上の場所ごとに、位置合わせ誤差に起因する輝度変動を求めることができる。

ステップＳ６０３では、ステップＳ６０１で求めた第１の特徴量ｆ₁（ｘ，ｙ）と、ステップＳ６０２で求めた第２の特徴量ｆ₂（ｘ，ｙ）とに基づいて、フィルタ領域特徴量ｆ（ｘ，ｙ）を次式（４）より求める。

ステップＳ６０４では、ステップＳ６０３で求めたフィルタ領域特徴量ｆ（ｘ，ｙ）と所定のしきい値Ｔｈとを比較するしきい値処理を行う。ここでは、フィルタ領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ以上の場合に、Ａｒｅａ（ｘ，ｙ）＝１とし、フィルタ領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ未満の場合に、Ａｒｅａ（ｘ，ｙ）＝０とする。すなわち、次式（５）の関係が成り立つ。Ａｒｅａ（ｘ，ｙ）＝１の領域がフィルタ処理を行うフィルタ領域となる。

ステップＳ６０５では、Ａｒｅａ（ｘ，ｙ）＝１の領域に対して、既知のモルフォロジ処理（Ｃｌｏｓｉｎｇ処理）を行ってフィルタ領域を決定する。これは、ステップＳ６０４で得られたＡｒｅａ（ｘ，ｙ）＝１の領域が微小な領域に分割されている場合があるため、このような微小な領域をつなげるための処理である。

なお、上記の第１の特徴量ｆ₁（ｘ，ｙ）の演算処理（ステップＳ６０１）において、輝度値の最大値と最小値の差に着目して説明したが、他に、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差などを用いてもよい。その場合、第２の特徴量ｆ₂（ｘ，ｙ）の演算処理（ステップＳ６０２）では、位置ずれに起因した輝度値、色相、彩度の変動量を求めることにより、同様の効果を得ることができる。

なお、ここでは、複数枚の画像を用いて、背景部の位置合わせ不整合領域を抽出する手法について説明したが、ユーザがフィルタ領域を指定するようにしてもよい。

図２のフローチャートのステップＳ１０６では、フィルタカーネル生成部９により、撮影パラメータに基づいて、フィルタカーネルを決定する。上述したように、被写体基準で位置合わせすると、合成画像の背景部分において位置合わせ不整合に起因して、不自然なガタツキが発生する。このガタツキが目立たなくするためのフィルタカーネルを生成することがステップＳ１０６の目的である。ここでは、流し撮り効果を出すために、方向性の平滑化フィルタを生成する。

ステップＳ１０６における処理の特徴は、撮影条件に応じて平滑化の度合いを変更したフィルタカーネルを生成することにある。例えば、被写界深度が深い場合には、背景がはっきり写り、位置合わせしたときに位置合わせ不整合が目立つ。従って、背景領域の平滑化の度合いを強くする。一方、被写界深度が浅い場合には、背景ボケが発生するため、位置合わせの不整合は目立たない。従って、平滑化の度合いを小さくする。

撮影条件と背景ボケとの関係を図９に示す。レンズ９０の結像式より、主要被写体距離Ｌ、結像距離Ｓ、焦点距離ｆの間には、次式（６）の関係が成り立つ。

背景距離Ｌ’についても、結像距離Ｓ’および焦点距離ｆとの間で同様の関係が成り立つことと、ｆ≫（Ｓ−Ｓ’）の関係が成り立つことを考慮して、画像上での画素単位における像の広がりＤは、次式（７）にて表すことができる。ただし、式（７）において、Ｆはレンズ９０のＦ値（絞り値：Ｆ＝ｆ／Ｈ）、ｃは画素サイズ［ｍｍ／画素］、ｄは、図９に示すように、背景光の広がり（ボケ）を表している。なお、Ｈは、レンズ９０の有効口径である。

ここでは、式（７）により求められるＤを、ボケ度として定義する。ボケ度Ｄが大きいほど像ボケは大きく、ボケ度Ｄが小さいほど像ボケは小さいことを示している。ボケ度Ｄは、式（７）より、撮影状態に応じて、焦点距離ｆ、Ｆ値Ｆ、被写体距離Ｌ、背景距離Ｌ’の値を取得することにより、求めることができる。焦点距離ｆ、Ｆ値Ｆは、記録部５に記録されている撮影パラメータから得ることができる。また、被写体距離Ｌ、背景距離Ｌ’は、フォーカス設定データを利用して求める。

図１０は、被写体距離Ｌ、背景距離Ｌ’を求める方法を説明するための図である。図１０では、カメラで撮像された人物１００、および、複数の測距点１０１，１０２を示している。複数の測距点のうち、フォーカス設定の基準となる測距点を測距点１０１とし、それ以外の測距点を測距点１０２とする。

図１０に示すように、カメラ撮影においては、通常、複数の測距点があり、そのうちの１つの測距点における測定結果に基づいて、フォーカス設定を行っている。フォーカス設定に用いた測距点１０１の出力が被写体距離Ｌとなる。また、フォーカス設定基準の測距点１０１以外の測距点１０２で計測された距離のうちの中央値を背景距離Ｌ’とする。

図１１（ａ）は、被写体距離Ｌの算出方法を説明するための図であり、図１１（ｂ）は、背景距離Ｌ’の算出方法を説明するための図である。図１１（ａ）、（ｂ）において、横軸は測定距離、縦軸は頻度である。

上述したように、フォーカス設定に用いた測距点１０１の出力を被写体距離Ｌとする。ただし、測距点１０１において、複数の距離測定結果が得られた場合には、図１１（ａ）に示すように、最も頻度の高い距離を、被写体距離Ｌとする。

また、上述したように、フォーカス設定基準の測距点１０１以外の測距点１０２で計測された距離のうちの中央値を背景距離Ｌ’とする。すなわち、図１１（ｂ）に示すように、フォーカス設定基準の測距点１０１以外の測距点１０２で計測された距離を小さい順に並べた時に、中央に位置する値を背景距離Ｌ’とする。

このように、被写体距離Ｌ、背景距離Ｌ’を求めるとともに、記録部５に記録されている撮影パラメータから、焦点距離ｆ、Ｆ値Ｆを得ることによって、式（７）より、ボケ度Ｄを求めることができる。

求めたボケ度Ｄに基づいて、フィルタカーネルを決定する方法について、図１２を用いて説明する。図１２（ａ）では、画像上での像の広がりを示すボケ度Ｄ１２２、および、ステップＳ１０２で求めた被写体の移動ベクトル１２１をそれぞれ示している。被写体の移動ベクトルと、背景の流れ具合は、近似的に逆ベクトルの関係にあると考えられる。移動ベクトルが大きいと、背景部分の位置合わせ不整合が大きくなるため、平滑化度合いを強くする必要がある。

一方、背景のずれ具合（移動ベクトル）が同じでも、背景のボケ具合が大きいと、位置合わせ不整合は目立たない。反対に、ボケ具合が小さいと、位置合わせ不整合が目立つ。これらを考慮し、移動ベクトルと背景領域のボケ度Ｄに基づいて、フィルタカーネルを決定する。まず、移動ベクトル１２１に対して、ボケ度Ｄ１２２の大きさ分だけ長さを縮小したベクトル１２３を考える。このベクトル１２３を用いて、ベクトルの方向に、ベクトル長さ分のカーネルの方向性の平滑化フィルタを生成する（図１２（ｂ）参照）。なお、図１２（ｂ）では、撮影時間中、被写体は等速直線的に移動していると仮定し、同じフィルタ係数のカーネルを生成している。

なお、移動ベクトルの大きさを考慮せずに、ボケ度Ｄとフィルタカーネルの大きさの関係を定めたテーブルを保持し、ボケ度Ｄを算出すると、移動ベクトル方向に、テーブルに保持されたフィルタカーネルサイズ分の方向性の平滑化フィルタを生成するようにしてもよい。ボケ度Ｄとフィルタカーネルの大きさの関係を定めたテーブルの一例を図１３に示す。図１３に示すように、ボケ度Ｄが大きくなるほど、フィルタカーネルの大きさを小さくする。

図２のフローチャートに戻って説明を続ける。ステップＳ１０７において、フィルタ処理部１０は、ステップＳ１０４の処理で得られた合成画像、ステップＳ１０５の処理で得られたフィルタ領域、および、ステップＳ１０６の処理で得られたフィルタカーネルに基づいて、フィルタ処理を行う。すなわち、ステップＳ１０４の処理で得られた合成画像を構成する各画素の輝度値のうち、ステップＳ１０５の処理で得られたフィルタ領域における画素の輝度値に対して、ステップＳ１０６の処理で得られたフィルタカーネルを用いて平滑化処理を行う。

ステップＳ１０８において、フィルタ処理部１０は、ステップＳ１０７で得られた画像を出力する。

一連の処理の効果や特性について、図１４を用いて説明する。図１４では、４フレームを連写した画像１４１〜１４４を用いて合成画像を生成する例を挙げている。各画像１４１〜１４４には、画像上で移動しない家１４１０と、移動する車１４２０が写っている。

画像１４５は、主要被写体である車１４２０を基準として各画像１４１〜１４４の位置合わせを行うことにより得られた合成画像である。移動する被写体を基準として、連写画像を位置合わせして合成すると、背景部分にガタツキがある画像を得る。第１の特徴量ｆ₁（ｘ，ｙ）は、背景部分の一部と被写体部分のエッジ近傍で大きな値をもつ（画像１４６参照）。第２の特徴量ｆ₂（ｘ，ｙ）は、エッジ近傍で大きな値をもつ（画像１４７参照）。第１の特徴量ｆ₁（ｘ，ｙ）と第２の特徴量ｆ₂（ｘ，ｙ）との差を求めることにより、フィルタ領域特徴量ｆ（ｘ，ｙ）を求め（画像１４８参照）、さらにしきい値処理を行うことにより、フィルタ領域を得る（画像１４９参照）。

このような処理を行うことにより、図１４の画像１４９に示すように、基準被写体部分（車１４２０）は、フィルタ領域（白色領域）とはならず、背景の位置合わせ不整合領域だけをフィルタ領域として抽出することができる。このフィルタ領域において、フィルタ処理（平滑化処理）を行うことにより、流し撮り画像を得る。このとき、フィルタカーネルは、撮影条件を加味して設定する。すなわち、背景にガタツキが発生しやすい撮影条件では、平滑化フィルタの効果を強くすることにより、背景のガタツキを抑制して、自然な流し撮り画像を生成することができる。逆に、背景に像ボケが発生する撮影条件下では、平滑化フィルタの効果を弱くすることにより、計算コストを低減することができる。これにより、比較的低速な連写撮影で取得した複数枚の画像を用いて、安定的に、自然な流し撮り画像を得ることができる。

以上、第１の実施形態における画像処理装置によれば、時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置であって、複数の画像間の移動ベクトルを求め、求めた移動ベクトルに基づいて、複数の画像の位置ずれを補正し、位置ずれを補正した複数の画像を合成して１枚の合成画像を生成する。また、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するとともに、撮影条件に基づいてフィルタカーネルを決定し、生成した合成画像のうち、フィルタ領域に対してフィルタカーネルに基づいたフィルタ処理を行う。撮影条件に応じて決定したフィルタカーネルに基づいたフィルタ処理を行うことにより、撮影条件に応じた自然な合成画像を生成することができる。

特に、複数の画像を取得した時の焦点距離、Ｆ値、被写体距離、背景距離のうちの少なくとも１つの撮影パラメータに基づいて、フィルタカーネルを決定するので、撮影条件に応じた自然な合成画像を適切に生成することができる。

−第２の実施形態−
第１の実施形態における画像処理装置では、撮影パラメータに応じてフィルタカーネルを決定した。これに対し、第２の実施形態における画像処理装置では、角速度センサの出力と撮影パラメータに応じて、フィルタカーネルを決定する。本実施形態では、流し撮り画像を得るため、被写体がおおよそ画像中心となるように撮影者がパンニングを行うことを前提としている。微小な被写体の位置ずれは、画像処理的に補正することで、被写体がぶれにくくなり、流し撮りを容易に行うことができる。また、背景の流れ具合は、角速度センサで計測したカメラの動きと逆方向であることを仮定している。

図１５は、第２の実施形態における画像処理装置の構成を示す図である。図１に示す第１の実施形態における画像処理装置の構成と異なるのは、角速度センサ１１が追加されていることと、フィルタカーネル生成部９Ａがフィルタカーネルを生成する方法である。

角速度センサ１１は、撮影時のカメラの手ブレ量を計測し、角速度データとして出力する。フィルタカーネル生成部９Ａは、角速度データおよび撮影パラメータに基づいて、フィルタカーネルを生成する。

第２の実施形態における画像処理装置によって行われる全体の処理フローは、図２に示すフローチャートと同じであるが、ステップＳ１０６の処理、すなわち、フィルタカーネルを生成する処理の処理内容が異なる。本実施形態におけるフィルタカーネル生成処理の処理内容を以下で説明する。

フィルタカーネル生成処理では、角速度センサ１１で計測したカメラの動きに基づいてフィルタカーネルを生成する。

図１６は、カメラ１６０の動きを説明するための図である。カメラ１６０の回転方向の動きは、ｘ軸、ｙ軸、ｚ軸の３軸回りの回転で表現することができる。ｘ軸は、カメラ１６０の光軸方向の軸、ｙ軸は、水平面においてｘ軸と垂直な方向の軸、ｚ軸は、ｘｙ平面に垂直な方向の軸である。図１６（ａ）に示す状態を基準として、ｘ軸回りの回転をロール（図１６（ｂ））、ｚ軸回りの回転をヨー（図１６（ｃ））、ｙ軸回りの回転をピッチ（図１６（ｄ））と呼ぶ。通常のカメラ撮影においては、ヨーとピッチが支配的であり、ロールの影響は比較的小さい。従って、ヨーとピッチに基づいて、フィルタカーネルを生成する。

図１７は、カメラのブレ角度と像ズレとの関係を示す図である。図１７（ａ）は、カメラのブレが発生していない状態を示しており、図１７（ｂ）は、回転角θ_yでピッチが発生した状態を示している。レンズ１７０から撮像素子１７１までの距離は、レンズ１７０の焦点距離ｆとほぼ等しいものとし、１画素あたりの撮像素子の大きさをｃ［ｍｍ］とすると、像ブレ量ｄ_yは次式（８）にて表される。

回転角θ_zでヨーが発生した場合の像ブレ量ｄ_xについても同様に、次式（９）にて表される。

像ブレ量ｄ_x、ｄ_yに基づいてフィルタカーネルを決定する方法について、図１８を用いて説明する。撮影時間中の微小な時間では、ブレは等速直線運動をすると仮定する。ｘ軸方向の像ブレ量ｄ_xおよびｙ軸方向の像ブレ量ｄ_yによって、ベクトル１８０が定まる（図１８（ａ）参照）。このベクトル１８０を用いて、ベクトル１８０の方向に、ベクトル長さ分のカーネルの方向性の平滑化フィルタを生成する（図１８（ｂ）参照）。ここでも、ベクトル１８０の方向におけるフィルタ係数は全て同じものとする。

以上より、被写体がおおよそ画像中心となるように、撮影者がパンニングを行うことを前提として、微小な被写体の位置ずれは画像処理的に補正しつつ、流し撮り画像を生成することができる。フィルタカーネルの生成処理において、第１の実施形態では、画像処理的に求めた画像間の移動ベクトルを用いているのに対して、第２の実施形態では、角速度センサ１１の出力を用いているため、低コントラストや繰り返しパターンがある場合など、画像処理的な位置合わせ手法が不得手なシーンでも、安定的に処理を行うことが可能となる。

以上、第２の実施形態における画像処理装置によれば、複数の画像を取得するカメラの動きを検出し、検出したカメラの動きと、焦点距離とに基づいて、フィルタカーネルを決定する。これにより、カメラの動きおよび撮影パラメータに応じた自然な合成画像を適切に生成することができる。

−第３の実施形態−
第１の実施形態における画像処理装置では、合成画像に対してフィルタ処理を行った。第３の実施形態における画像処理装置では、複数枚の画像に対してフィルタ処理を行った後、合成処理を行う。これによって、画像ごとに平滑化の度合いを変えることが可能となり、より背景が滑らかな画像を得ることができる。

図１９は、第３の実施形態における画像処理装置の構成を示す図である。図１に示す第１の実施形態における画像処理装置と異なるのは、フィルタ処理部１０Ａおよび画像合成処理部８Ａの内部で行われる処理内容である。

フィルタ処理部１０Ａは、記録部５に記録されている複数枚の画像データと、フィルタ領域演算部７で求められたフィルタ領域と、フィルタカーネル生成部９で生成されたフィルタカーネルとに基づいてフィルタ処理を行い、フィルタ画像を得る。

画像合成処理部８Ａは、フィルタ処理部１０Ａによるフィルタ処理によって得られた複数枚のフィルタ画像と、位置合わせ処理部６で求められた移動ベクトルに基づいて、画像間の位置ずれを補償しながら画像合成を行い、出力画像を得る。

図２０は、第３の実施形態における画像処理装置によって行われる全体の処理フローを示すフローチャートである。図２に示すフローチャートの処理と同じ処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。

ステップＳ１０７Ａにおいて、フィルタ処理部１０Ａは、ステップＳ１０５の処理で得られたフィルタ領域、ステップＳ１０６の処理で得られたフィルタカーネルに基づいて、記録部５に記録されている複数枚の画像データに対してフィルタ処理を行う。すなわち、画像を構成する各画素の輝度値のうち、ステップＳ１０５の処理で得られたフィルタ領域における画素の輝度値に対して、ステップＳ１０６の処理で得られたフィルタカーネルを用いて平滑化処理を行う。

ステップＳ１０３Ａにおいて、画像合成処理部８は、フィルタ処理が行われた画像と、ステップＳ１０２で求められた移動ベクトルとに基づいて、画像間の位置ずれを補正しながら、複数枚の画像を加算する。

ステップＳ２０００では、加算枚数分全ての画像、すなわち、合成画像を生成するために用いる全ての画像に対して、ステップＳ１０３Ａまでの処理を行ったか否かを判定する。加算枚数分全ての画像に対して、ステップ１０３Ａまでの処理が終了していないと判定すると、ステップＳ１０２に戻って、未処理の画像に対して、上述したステップＳ１０３Ａまでの処理を行う。一方、加算枚数分全ての画像に対して、ステップＳ１０３Ａまでの処理が終了していると判定すると、ステップＳ１０４に進む。

ステップＳ１０４において、画像合成処理部８Ａは、加算画像を加算回数で正規化して、合成画像を得る。ステップＳ１０８において、画像合成処理部８Ａは、ステップＳ１０４で得られた合成画像を出力する。

第１の実施形態では、画像合成後にフィルタ処理を行ったが、第３の実施形態では、個々の画像に対してフィルタ処理を施し、フィルタ処理を施した複数枚の画像を合成する。
これにより、各画像の位置ずれ量に応じて平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。

第３の実施形態における画像処理装置によれば、複数の画像間の移動ベクトルを求め、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出する。また、撮影条件に基づいて、フィルタカーネルを決定するとともに、複数の画像のうち、フィルタ領域に対して、フィルタカーネルに基づいたフィルタ処理を行う。そして、求めた移動ベクトルに基づいて、フィルタ処理を行った複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して１枚の合成画像を生成する。これにより、撮影条件に応じた自然な合成画像を生成することができる。また、各画像の位置ずれ量に応じて平滑化の度合いを変えることが可能となるので、背景がより滑らかな画像を得ることができる。

−第４の実施形態−
第２の実施形態における画像処理装置では、合成画像に対してフィルタ処理を行ったが、第４の実施形態における画像処理装置では、複数枚の画像に対してフィルタ処理を行った後、合成処理を行う。これにより、画像ごとに平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。また、第３の実施形態における画像処理装置では、撮影パラメータに応じてフィルタカーネルを決定したが、第４の実施形態における画像処理装置では、角速度センサの出力と撮影パラメータに応じてフィルタカーネルを決定する。

図２１は、第４の実施形態における画像処理装置の構成を示す図である。図１９に示す第３の実施形態における画像処理装置と異なるのは、角速度センサ１１が追加されていることと、フィルタカーネル生成部９Ａがフィルタカーネルを生成する方法である。

角速度センサ１１は、撮影時のカメラの手ブレを計測し、角速度データとして出力する。フィルタカーネル生成部９Ａは、角速度データおよび撮影パラメータに基づいて、フィルタカーネルを生成する。

第４の実施形態における画像処理装置によって行われる全体の処理フローは、図２０に示すフローチャートと同じであるが、ステップＳ１０６の処理、すなわち、フィルタカーネルを生成する処理の処理内容が異なる。ただし、第４の実施形態におけるフィルタカーネル生成処理の内容は、第２の実施形態におけるフィルタカーネル生成処理の内容と同じであるため、ここでは詳しい説明は省略する。

以上、第４の実施形態における画像処理装置によれば、複数の画像を取得するカメラの動きを検出し、検出したカメラの動きと、焦点距離とに基づいて、フィルタカーネルを決定する。これにより、カメラの動きおよび撮影パラメータに応じた自然な合成画像を適切に生成することができる。また、フィルタ処理を行った複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して１枚の合成画像を生成するので、各画像の位置ずれ量に応じて平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。

−第５の実施形態−
第１の実施形態における画像処理装置では、複数枚の画像を合成して得られた合成画像に対してフィルタ処理を行った。第５の実施形態における画像処理装置では、合成処理は行わず、単一の画像に対して、撮影パラメータに応じたフィルタカーネルでフィルタ処理を行い、流し撮り画像として出力する。これにより、より簡便に、流し撮り画像を得ることができる。

図２２は、第５の実施形態における画像処理装置の構成を示す図である。フィルタ処理部１０Ａは、記録部５に記録されている画像と、フィルタ領域演算部７で求められたフィルタ領域と、フィルタカーネル生成部９で生成されたフィルタカーネルとに基づいて、フィルタ処理を行い、出力画像を得る。

図２３は、第５の実施形態における画像処理装置により行われる処理内容を示すフローチャートである。図２に示すフローチャートの処理と同じ処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。

ステップＳ１０７Ａにおいて、フィルタ処理部１０Ａは、ステップＳ１０５の処理で得られたフィルタ領域、および、ステップＳ１０６の処理で得られたフィルタカーネルに基づいて、記録部５に記録されている単一の画像データに対してフィルタ処理を行う。すなわち、画像を構成する各画素の輝度値のうち、ステップＳ１０５の処理で得られたフィルタ領域における画素の輝度値に対して、ステップＳ１０６の処理で得られたフィルタカーネルを用いて平滑化処理を行う。

ステップＳ１０８において、フィルタ処理部１０Ａは、ステップＳ１０７Ａでフィルタ処理を行った画像を、流し撮り画像として出力する。

第５の実施形態における画像処理装置によれば、複数の画像間の移動ベクトルを求めるとともに、移動ベクトルに基づいて複数の画像間の位置合わせを行った際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出する。また、撮影条件に基づいて、フィルタカーネルを決定し、画像の各領域のうち、抽出されたフィルタ領域に対して、フィルタカーネルに基づいたフィルタ処理を行う。これにより、画像を加算する必要がなく、背景部分の位置合わせ不整合領域にフィルタ処理を施した流し撮り画像を簡便に得ることができる。

−第５の実施形態における変形例−
第５の実施形態における画像処理装置の変形例について説明する。上述した第５の実施形態では、主要被写体以外の背景部分において、方向性の平滑化フィルタ処理を行うことにより、流し撮り効果を簡便に生成した。これに対して、等方性の平滑化フィルタを用いたフィルタ処理を行うことにより、擬似的に背景の被写界深度を浅くしたような画像を得ることが可能になる。

図２４（ａ）は、フィルタ処理を施す前の画像を示す図であり、図２４（ｂ）は、主要被写体である人物２４０以外の背景部分に、等方性の平滑化フィルタを用いたフィルタ処理を施した画像を示す図である。

フィルタ処理で用いる平滑化フィルタのフィルタカーネルは、式（７）から算出されるボケ度Ｄに応じて決定する。図２５は、ボケ度Ｄと、フィルタカーネルとの関係を定めたテーブルの一例である。図２５では、ボケ度Ｄと、５×５の等方性のフィルタカーネルおよび３×３の等方性のフィルタカーネルとの関係を定めている。

例えば、ボケ度Ｄが１０［画素］の場合には、５×５の等方性の平滑化フィルタを１回、３×３の等方性の平滑化フィルタを１回の合計２回のフィルタ処理を行う。また、ボケ度Ｄが１５［画素］の場合には、３×３の等方性の平滑化フィルタを２回用いるフィルタ処理を行う。

このように、図２５に示すようなテーブルを予め用意しておき、式（７）から算出されるボケ度Ｄに応じて、フィルタ処理に用いる平滑化フィルタの種類および適用回数を求めて、フィルタ処理を行う。なお、図２５に示すテーブルは、一例であって、ボケ度Ｄに対応する平滑化フィルタの種類および適用回数は、図２５に示す値に限定されることはない。

以上より、撮影状況に応じて、背景のぼかし具合を変えることができ、撮影後に擬似的に被写界深度を切り替えることが可能となる。

−第６の実施形態−
第２の実施形態における画像処理装置では、複数枚の画像を合成して得られた合成画像に対してフィルタ処理を行った。第６の実施形態における画像処理装置では、合成処理は行わず、単一の画像に対して、撮影パラメータに応じたフィルタカーネルでフィルタ処理を行い、流し撮り画像として出力する。また、第２の実施形態における画像処理装置と同様に、角速度センサ１１の出力と撮影パラメータに応じて、フィルタカーネルを決定する。これにより、第２の実施形態における画像処理装置と比べ、より簡便に、流し撮り画像を得ることができる。

図２６は、第６の実施形態における画像処理装置の構成を示す図である。図２２に示す第５の実施形態における画像処理装置と異なるのは、角速度センサ１１が追加されていることと、フィルタカーネル生成部９Ａがフィルタカーネルを生成する方法である。

角速度センサ１１は、撮影時のカメラの手ブレを計測し、角速度データとして出力する。フィルタカーネル生成部９Ａは、角速度データおよび撮影パラメータに基づいて、フィルタカーネルを生成する。フィルタ処理部１０Ａは、記録部５に記録されている画像と、フィルタ領域演算部７で求められたフィルタ領域と、フィルタカーネルとに基づいて、フィルタ処理を行い、出力画像を得る。

第６の実施形態における画像処理装置によって行われる処理の内容は、図２３に示すフローチャートと同じであるが、ステップＳ１０６の処理、すなわち、フィルタカーネルを生成する処理の処理内容が異なる。ただし、第６の実施形態におけるフィルタカーネル生成処理の内容は、第２の実施形態におけるフィルタカーネル生成処理の内容と同じであるため、ここでは詳しい説明は省略する。

以上、第６の実施形態における画像処理装置によれば、第５の実施形態における画像処理装置と同様に、１枚画像に対してフィルタ処理を行うことで、簡便に流し撮り画像を生成することができる。また、カメラの動きと、焦点距離とに基づいて、フィルタカーネルを決定して、フィルタ処理を行うので、カメラの動きおよび撮影パラメータに応じた自然な合成画像を適切に生成することができる。

なお、上述した第１〜第６の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した第１〜第６の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、移動ベクトル演算では、位置合わせ対象フレーム２６内に設定したテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査するものとして説明したが（図３（ａ）、（ｂ）参照）、基準フレーム内にテンプレートブロックを設定し、位置合わせ対象フレームの探索領域内において、テンプレートブロックのマッチング処理を行うようにしてもよい。

フィルタ処理部１０，１０Ａは、流し撮り画像を得るために、方向性の平滑化フィルタを用いたフィルタ処理、または、被写界深度の浅い画像を得るために、等方性の平滑化フィルタを用いたフィルタ処理を行うものとして説明したが、他のフィルタを用いたフィルタ処理を行うこともできる。

また、第２、第４、第６実施形態では、角速度センサ１１を用いてカメラの動きを検出したが、他のセンサや他の手法を用いて検出することもできる。

１…光学系
２…撮像部
３…Ａ／Ｄ変換処理部
４…画像処理部
５…記録部
６…位置合わせ処理部
７…フィルタ領域演算部
８、８Ａ…画像合成処理部
９、９Ａ…フィルタカーネル生成部
１０、１０Ａ…フィルタ処理部
１１…角速度センサ

Claims (22)

1. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置であって、
   前記複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
   求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部と、
   前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、
   撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、
   前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記フィルタカーネル決定部は、前記複数の画像を取得した時の焦点距離、Ｆ値、被写体距離、背景距離のうちの少なくとも１つの撮影パラメータに基づいて、前記フィルタカーネルを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像を取得する撮像装置の動きを検出する動き検出部をさらに備え、
   前記フィルタカーネル決定部は、検出された前記撮像装置の動き、および、焦点距離に基づいて、前記フィルタカーネルを決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記動き検出部は、前記撮像装置の回転角度を検出することを特徴とする請求項３に記載の画像処理装置。
5. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理装置であって、
   前記複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
   前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、
   撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、
   前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、
   求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する画像合成部と、
   を備えることを特徴とする画像処理装置。
6. 前記フィルタカーネル決定部は、前記複数の画像を取得した時の焦点距離、Ｆ値、被写体距離、背景距離のうちの少なくとも１つの撮影パラメータに基づいて、前記フィルタカーネルを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の画像を取得する撮像装置の動きを検出する動き検出部をさらに備え、
   前記フィルタカーネル決定部は、検出された前記撮像装置の動き、および、焦点距離に基づいて、前記フィルタカーネルを決定することを特徴とする請求項５に記載の画像処理装置。
8. 前記動き検出部は、前記撮像装置の回転角度を検出することを特徴とする請求項７に記載の画像処理装置。
9. 前記フィルタ処理部は、前記フィルタ処理として平滑化フィルタ処理を行うことを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
10. 複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
    前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するフィルタ領域抽出部と、
    撮影条件に基づいて、フィルタカーネルを決定するフィルタカーネル決定部と、
    単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うフィルタ処理部と、
    を備えることを特徴とする画像処理装置。
11. 前記フィルタカーネル決定部は、前記複数の画像を取得した時の焦点距離、Ｆ値、被写体距離、背景距離のうちの少なくとも１つの撮影パラメータに基づいて、前記フィルタカーネルを決定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記複数の画像を取得する撮像装置の動きを検出する動き検出部をさらに備え、
    前記フィルタカーネル決定部は、検出された前記撮像装置の動き、および、焦点距離に基づいて、前記フィルタカーネルを決定することを特徴とする請求項１０に記載の画像処理装置。
13. 前記動き検出部は、前記撮像装置の回転角度を検出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記フィルタカーネル決定部は、等方性の平滑化フィルタのフィルタカーネルを決定することを特徴とする請求項１０から請求項１３のいずれか一項に記載の画像処理装置。
15. 前記フィルタカーネル決定部は、方向性の平滑化フィルタのフィルタカーネルを決定することを特徴とする請求項１０から請求項１３のいずれか一項に記載の画像処理装置。
16. 請求項１から請求項１５のいずれか一項に記載の画像処理装置を備えた電子機器。
17. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理方法であって、
    前記複数の画像間の移動ベクトルを求めるステップと、
    求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、
    前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    を備えることを特徴とする画像処理方法。
18. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行う画像処理方法であって、
    前記複数の画像間の移動ベクトルを求めるステップと、
    前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、
    を備えることを特徴とする画像処理方法。
19. 複数の画像間の移動ベクトルを求めるステップと、
    前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    を備えることを特徴とする画像処理方法。
20. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行うための画像処理プログラムであって、
    前記複数の画像間の移動ベクトルを求めるステップと、
    求められた前記移動ベクトルに基づいて、前記複数の画像の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、
    前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    前記合成画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    をコンピュータに実行させるための画像処理プログラム。
21. 時系列的に得られた複数の画像の位置ずれを補正し、補正後の複数の画像の合成処理を行うための画像処理プログラムであって、
    前記複数の画像間の移動ベクトルを求めるステップと、
    前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    前記複数の画像のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    求められた前記移動ベクトルに基づいて、前記フィルタ処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成するステップと、
    をコンピュータに実行させるための画像処理プログラム。
22. 複数の画像間の移動ベクトルを求めるステップと、
    前記移動ベクトルに応じて前記複数の画像間の位置合わせを行った場合の不整合度合いに基づいて、フィルタ処理を行うフィルタ領域を抽出するステップと、
    撮影条件に基づいて、フィルタカーネルを決定するステップと、
    単一の画像の各領域のうち、抽出された前記フィルタ領域に対して、前記フィルタカーネルに基づいたフィルタ処理を行うステップと、
    をコンピュータに実行させるための画像処理プログラム。