JP2021111811A - 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 ピント位置の離れた画像に対して位置合わせするときピント位置の違いにより位置合わせの精度が低下してしまう可能性がある。【解決手段】 上記課題を解決するため、本願発明は、光軸方向でのピント位置が異なる複数の画像に対してフィルタをかける処理手段と、前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出手段と、前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせ手段と、を有し、前記処理手段は、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とする。【選択図】 図６

Description

本発明は、光軸方向でのピント位置の異なる複数の画像を合成する画像処理装置に関するものである。

デジタルカメラなどからの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の、同じ位置に対応する領域の中で、コントラスト値の最も高い領域を合焦領域とし、合成に用いられる。

深度合成において、合成に用いられる複数の画像は、ピント位置の違いなどによりずれが生じ、合成を行う前に位置合わせを行う必要がある。

非特許文献１と非特許文献２とには、バンドパスフィルタなどをかけて得られたエッジ画像から特徴点を抽出する方法が開示されている。抽出された特徴点を用いて位置合わせを行うことができる。

特開２０１５−２１６５３２号公報

Ｃｈｒｉｓ Ｈａｒｒｉｓ ＆ Ｍｉｋｅ Ｓｔｅｐｈｅｎｓ，Ａ ＣＯＭＢＩＮＥＤ ＣＯＮＥＲ ＡＮＤ ＥＤＧＥ ＤＥＴＥＣＴＯＲ，Ｐｌｅｓｓｅｙ Ｒｅｓｅａｒｃｈ Ｒｏｋｅ Ｍａｎｏｒ，１９８８ Ｊｉａｎｂｏ Ｓｈｉ ＆ Ｃａｒｌｏ Ｔｏｍａｓｉ，Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ，ＣＶＰＲ，１９９４

しかしながら、ピント位置が離れた画像から得られたエッジ画像は形状がかなり違ってしまう可能性がある。このようなエッジ画像を用いて位置合わせを行うと、精度が低下してしまう可能性がある。

本発明は、上述した課題を鑑みてなされたものであり、フィルタを用いてピント位置の異なる複数の画像から特徴点を検出するとき、ピント位置に基づいて、フィルタを決める画像処理装置を提供することを目的とする。

上記課題を解決するため、本願発明は、光軸方向でのピント位置が異なる複数の画像に対してフィルタをかける処理手段と、前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出手段と、前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせ手段と、を有し、前記処理手段は、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とする画像処理装置を提供する。

本発明の構成によれば、ピント位置の異なる複数の画像にフィルタをかけて位置合わせを行うとき、位置合わせの精度の低下を防ぐことができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における撮像について説明するためのフローチャートである。 本発明の実施形態における位置合わせについて説明するためのフローチャートである。 本発明の実施形態における撮像画像のボケを説明するための図である。 本発明の実施形態におけるフィルタ特性を説明するためのグラフである。 本発明の実施形態における画像合成を説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、ピント位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。

レンズ１０３は、光量を調節する絞りやピント位置を調整するフォーカスレンズを含む。撮像部２２は、光学像を電気信号に変換する撮像素子を備える。Ａ／Ｄ変換器２３は撮像部２２のアナログ信号出力をデジタル信号に変換する。撮像部２２の撮像素子は、本実施形態ではＲ、Ｇ１、Ｇ２、Ｂのカラーフィルタを具え、各色が規則的に配置されたベイヤー配列の構成となっているが、これに限られない。なお、撮像部２２、レンズ１０３、シャッター１０１はタイミング発生回路を使用してシステム制御部５０により制御される。

シャッター１０１の機械式シャッター以外にも、撮像素子のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮像などに使用可能である。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータあるいはメモリ制御部１５からのデータに対して所定の画素補間処理やシェーディング補正などの各種補正処理を行うことができる。また、画像処理部２４は、ホワイトバランス処理、γ補正処理、色変換処理、ローパスフィルタ、バンドパスフィルタ、エッジ検出、コントラスト検出等の各種フィルタ効果などを行うこともできる。また、画像処理部２４によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。シェーディング補正処理は、Ａ／Ｄ変換器２３からのデータあるいはメモリ制御部１５からのデータに対してレンズ１０３の特性や撮像部２２の収差等の特性に起因して生じるシェーディングを補正するように、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理は、画面内の白基準を白に合わせるＡＷＢ（オートホワイトバランス）処理をシェーディング補正処理後の画像データに対して行う。本実施形態においては、シェーディング補正は撮像部２２の撮像素子の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂごとに異なるゲインをかける処理である。さらにベイヤー毎のＲＡＷ画像から汎用的な画像フォーマットであるＹＵＶ形式などへ現像する機能や、ＪＰＥＧなどへのエンコードあるいはデコード機能も有する。また画像処理部２４は１枚ごとの画像処理だけではなく、複数枚の画像間から位置ずれ量を検出し、幾何学変換により位置合わせをも可能である。

画像合成部５４は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成、加算平均合成あるいは減算だけでなく、合成対象の画像データの各画素あるいは各領域において最も明るいまたは暗い値を持つ画像を選択して合成して１枚の画像を生成する比較明合成処理、比較暗合成処理が可能である。さらには２つの画像を画素ごとの係数（α値）により合成するアルファブレンドの機能を有する。また、画像合成部５４は画像処理部２４と一体に構成されていてもよい。

メモリ制御部１５はメモリ３２を制御する。Ａ／Ｄ変換器２３のデータが画像処理部２４、メモリ制御部１５を介して、あるいはＡ／Ｄ変換器２３のデータが直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

表示部２８はＴＦＴ液晶等から成る表示部であり、メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５を介して表示部２８により表示される。

表示部２８を用いて、撮像部２２で所定の周期で露光及び読み出しを繰り返し行って順次撮像した画像データを順次取得し、画像処理部２４、メモリ制御部１５等を経て順次表示すれば、ライブビュー表示や電子ファインダー機能を実現することが可能である。

また、表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

メモリ３２は撮像した静止画像や動画像を格納するためのメモリであり、静止画像や所定時間の動画像を格納する。また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。

システム制御部５０は、デジタルカメラ１００全体を制御する。後述する不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２にはＲＡＭなどが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

不揮発性メモリ５６はＦｌａｓｈＲＯＭ等で構成される。システム制御部５０が実行するプログラムコードは不揮発性メモリ５６に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザ設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

操作部７０は各種ボタンやタッチパネル等からなり、シャッタースイッチ（ＳＷ１、ＳＷ２）、メニューボタン、セットボタン、マクロボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も設けられてもよい。

操作部７０への操作によるシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、撮像された画像データを画像処理部２４において所定の演算処理を行う。ここで得られた演算結果に基づいてシステム制御部５０が露光制御部４０、フォーカス制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行う。そして操作部７０への操作によるシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、圧縮・伸長処理、記録処理という一連の処理の動作開始を指示する。

また所定のピント位置で撮像を行い、以後自動でフォーカス制御部４２が所定のフォーカスステップ幅でレンズ１０３に含まれるフォーカスレンズを駆動しながら連続して撮像を行うフォーカスブラケット機能を有する。さらにはフォーカスブラケット機能を利用して撮像された複数枚の画像から画像処理部２４でピントの合った部分だけを抽出し、画像合成部５４でこれらを合成して被写界深度の深い１枚の画像を得るいわゆる深度合成機能を実施可能とする。

３０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。８０は電源部３０を制御する電源制御部である。

１８はメモリカードやハードディスク等の記録媒体とのインタフェース、メモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、デジタルカメラ１００のレンズ１０３及び撮像部２２を覆う事により、撮像部の汚れや破損を防止するバリアである。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部２２は、光軸方向でのピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、画像処理部２４は、ステップＳ２０１で撮像した複数の画像に対して画角が一致するように位置合わせを行う。ステップＳ２０３で、画像処理部２４は、位置合わせを行った後の画像に対してピントの合った部分を選択的に合成し、被写界深度の深い合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

図３は、本実施形態におけるステップＳ２０１での光軸方向でのピント位置の異なる複数の画像の撮像について説明するためのフローチャートである。

ステップＳ３０１で、システム制御部５０は、フォーカス制御部４２にピント位置の設定を行わせる。たとえば、ユーザは表示部２８と兼用する操作部７０であるタッチパネルを通して合焦させたい領域、例えば奥行きのある被写体の手前の領域を指定する。さらに指定した領域に相当するピント位置から無限遠方向に向けてどのくらいのピント位置をずらしながら撮像するかを指定する（以下、フォーカスステップ幅という）。また同時に、ピント位置の数、つまり撮像枚数も設定される。

なおこの設定方法は一例であり、例えば撮像したい領域の最至近側と最無限遠側とを、タッチパネルを通して指定する方法など、適宜変更可能である。

ステップＳ３０２では、システム制御部５０はフォーカス制御部４２を介してステップＳ３０１で設定した領域に相当するピント位置にレンズ１０３を駆動させる。そしてステップＳ３０３で、システム制御部５０は撮像部２２を制御して撮像し、Ａ／Ｄ変換器２３を通して画像データとして取得する。

次にステップＳ３０４で、システム制御部５０は、ステップＳ３０１で設定した撮像枚数分、撮像が完了したかを判断する。すべてのピント位置で撮像した場合は、図３に示したフローチャートでの処理を終了する。まだの場合はステップＳ３０２へと戻り、システム制御部５０はフォーカス制御部４２を介してピント位置をステップＳ３０１で指定したフォーカスステップ幅分、移動させて再度撮像を行わせる。

次に本実施形態におけるステップＳ２０２での位置合わせについて図４のフローチャートを用いて説明する。

図４は、本実施形態における位置合わせの処理を説明するためのフローチャートである。

ステップＳ４０１、システム制御部５０は、ステップＳ２０１で撮像した画像の中から、位置合わせの基準画像を取得する。次に、ステップＳ４０２で、システム制御部５０は、基準画像と位置合わせを行う対象画像を取得する。

図５は、本実施形態における撮像画像のボケを説明するための図である。本実施形態では、ピント位置を変えて撮像しているため、図５で示したようにｎ枚目でピントが合っていたところが、ｎ＋１枚目では若干ボケており、さらにｎ＋２枚目、ｎ＋３枚目と撮像間隔が増えるほど、そのボケ量は大きくなる。後述する位置ずれ量検出では、２枚の画像間での差が大きくなるほど検出しづらくなるため、本実施例では基準画像と対象画像は連続して撮像した隣り合う２枚の画像を選択している。しかしながらピント位置を変えながら撮像することで、レンズ１０３によってはわずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものを基準画像としてもよいし、単純に最初に撮像された画像としてもよい。

ステップＳ４０３で、システム制御部５０は、ステップＳ３０１で指定したフォーカスステップ幅に基づいて、フィルタを生成する。一例として、システム制御部５０は、下記の表１のようにフィルタを決める。

ただし、上記の表１で、ＦはステップＳ３０３で撮像を行うときのレンズ１０３の絞り値を表す。

一般に被写界深度は（式１）で表すことができる。
被写界深度＝２Ｆδ ・・・（式１）

上記の（式１）でＦはレンズの絞り値すなわちＦ値を表し、δは許容錯乱円径を表す。許容錯乱円とは一般にボケが判別できない錯乱円のことを言い、一般的には２０から４０μｍ程度である。ただし鑑賞環境によって変わり、例えば撮像素子の１画素をモニタの１画素で表示させるドット・バイ・ドットでの表示では撮像素子の大きさ以下であることが好ましく、逆に小さなモニタで鑑賞する場合は許容錯乱円径を大きくすることも可能である。画像を印刷して鑑賞する場合は印刷機の性能や印刷サイズによっても異なる。

たとえば、許容錯乱円径δを３０μｍとすると、被写界深度が２Ｆ×３０μｍになる。フォーカスステップ幅も２Ｆ×３０μｍに設定すると、隣り合う２枚の画像間のエッジ形状がより近く、従来技術のバンドパスフィルタを施すことで位置合わせが精度よくできると考えられる。ここでいう「従来技術のバンドパスフィルタ」は、たとえば後述する図６（ａ）に示したような特性を有するバンドパスフィルタである。

図６は、本実施形態におけるフィルタ特性を説明するためのグラフである。図６（ａ）では、２００Ｈｚをゲイン１倍で透過させ、それよりも大きい周波数、小さい周波数を徐々に除去していくフィルタ特性を有するバンドパスフィルタを示している。図６（ａ）に示したフィルタより高周波ノイズとＤＣ成分を除去しつつエッジ成分を抽出可能である。図６（ａ）に示した特性を有するバンドパスフィルタを用いて、フォーカスステップ幅が２Ｆδ程度で撮像された画像に対して処理を行うと、画質のよい合成画像が得られることができる。

一方で、フォーカスステップ幅がそれ以上広くなると、図６（ａ）に示したようなバンドパスフィルタのままだとすると、位置合わせの精度が低下し始める可能性がある。したがって、本実施形態では、フォーカスステップ幅により、フィルタの種類を変更する。たとえば、表１では、フォーカスステップ幅が２Ｆ×３０μｍ≦ｓ＜４Ｆ×３０μｍを満たすとき、ゲインアップフィルタを用いることを示されている。ゲインアップフィルタは、ｓ＜２Ｆ×３０μｍを満たす場合のバンドパスフィルタのゲイン特性を高めたフィルタである。図６（ｂ）は、ゲインアップフィルタの一例を示している。図６（ｂ）に示したグラフは、図６（ａ）に示したグラフよりかなりゲイン特性が強いことがわかる。

フォーカスステップ幅がさらに広くなると、システム制御部５０は、図６（ｃ）に示したような低周波数側にシフトしたフィルタを生成する。またさらにフォーカスステップ幅が広くなると、システム制御部５０は、図６（ｄ）に示したような複数の周波数ピークをもつフィルタを合成したナロー化したフィルタを生成する。

以上のように、フォーカスステップ幅が広くなると、ゲインを大きくしたり、透過する周波数の幅を広くしたりするフィルタを用いるのは、基準画像と対象画像とより形状の近いエッジ画像が得られるためである。逆に、基準画像と対象画像とのピント位置が近いと、ゲインの大きく、透過する周波数の幅が広いフィルタを使うと、ノイズ成分がエッジとして誤検出される可能性が高くなる。

表１に示したようなフィルタ以外は、たとえば、高いＩＳＯ感度で撮像するとき、特殊なフィルタに変更する。図６（ｅ）では、高周波成分のゲインを落とすような特性のバンドパスフィルタを示している。高周波成分を許容するバンドパスフィルタを用いると、特に高ＩＳＯ感度で撮像した画像などではノイズの影響を受けやすくなる。そこで、図６（ｅ）に示したような高周波数成分のゲインが極端に減らされるようなフィルタを用いる。

また、もとの画像のエッジが少ないと、適宜フィルタのゲインを高めにしてもよい。

以上は、ステップＳ４０３でのフィルタ生成に関する説明であった。

ステップＳ４０４で、画像処理部２４は、ステップＳ４０３で生成したフィルタを使って、基準画像と対象画像とからエッジ画像を生成する。

ステップＳ４０５で、画像処理部２４は、ステップＳ４０４で生成したエッジ画像から、対応する特徴点を検出する。たとえば、非特許文献１に記載のＨａｒｒｉｓのコーナー検出器や非特許文献２に記載のＳｈｉ＆Ｔｏｍａｓｉの方法でエッジ画像から特徴点を検出することができる。また、エッジ画像を二値化してから特徴点を検出してもよい。

ステップＳ４０６で、システム制御部５０は、ステップＳ４０５で検出した対応する特徴点を用いて、幾何変形係数を検出する。幾何変形係数の一例としては、アフィン係数が挙げられる。アフィン係数の算出方法は、下記の（式２）で表される。

ただし、（式２）は常にｇ＝０、ｈ＝０、ｉ＝１を満たす。
（ｘ´，ｙ´）と（ｘ，ｙ）とは、それぞれ基準画像と対象画像とにおける対応する特徴点を意味する。少なくとも３つの同じ直線上に位置していない対応する特徴点（基準画像と対象画像とのそれぞれにおける３つの座標）があれば、アフィン係数が算出できる。

ステップＳ４０７で、画像処理部２４は、ステップＳ４０６で算出した幾何変形係数を用いて、対象画像に対して幾何変形処理を行う。その結果、対象画像が基準画像に位置合わせられ、対応する特徴点の座標が同位置になる。

ステップＳ４０８で、システム制御部５０は、ステップＳ３０３で撮像したすべての画像が位置合わせの処理を済んだかどうかを判断する。まだ位置合わせしていない画像があればステップＳ４０１に戻り、すべての画像が位置合わせの処理を済んだのであれば位置合わせのフローを終了する。

次に、ステップＳ２０３での画像合成について説明する。ステップＳ２０３で、システム制御部５０は、ステップＳ２０２で位置合わせされた後の画像のそれぞれから合焦している領域を抽出して合成画像を作成する。

図７は、本実施形態における画像合成を説明するためのフローチャートである。

ステップＳ７０１で、ステップＳ２０２で位置合わせされた後の画像のコントラスト値を算出する。算出方法の一例としては、前述したバンドパスフィルタを用いることができる。また、輝度信号を用いることもできる。

輝度信号を用いてコントラスト値を算出する方法について簡単に説明する。まず画像処理部２４は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式３）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・（式３）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式４）ないし（式６）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

次に、ステップＳ７０２で、システム制御部５０は、複数の位置合わせされた後の画像の同じ座標にある画素のコントラスト値を比較し、コントラスト値の最も高い画素に１００％の合成比率を与えて合成マップを作成する。同じ位置にある複数の画素のうち、コントラスト値が最も高いところは、ピントの最もあうところである可能性が高いので、システム制御部５０は、コントラスト値の最も高い画素を、合焦している領域と判断する。

ステップＳ７０２で生成した合成マップでは、隣り合う画素間の合成比率が急峻に変化し、合成画像が不自然になる可能性がある。したがって、ステップＳ７０３で、システム制御部５０は、たとえばローパスフィルタなど既存の方法を用いてステップＳ７０２で生成した合成マップに対して補正を行う。補正を行った結果、画素間の合成比率の変化がなめらかになり、合成画像の見栄えが良くなる。

ステップＳ７０４で、画像処理部２４は、ステップＳ７０３で補正された合成マップを用いて合成画像を作成する。たとえば、下記の（式７）を用いて合成画像を生成する。

上記の（式７）では、Ｐｋ（ｘ，ｙ）は、ｋ枚目の位置合わせされた後の画像の座標（ｘ，ｙ）の画素値を示し、Ａｋ（ｘ，ｙ）は、補正された後の合成マップでの画素Ｐｋ（ｘ，ｙ）に対する合成比率であり、Ｏ（ｘ，ｙ）は座標（ｘ，ｙ）の合成結果を示す。

生成した合成画像は、ステップＳ２０１で撮像した複数の画像のそれぞれの合焦している領域を抽出してできたものなので、撮像した画像よりも深い被写界深度を有する。

（その他の実施形態）
なお、上記実施形態においては、光軸方向でのピント位置を変えて撮像し、複数の画像の位置合わせを行い、コントラストの高い部分を合成していくことで、被写界深度が深い画像を得る深度合成機能を有するデジタルカメラを例に挙げて説明した。しかしながらピント位置を変えながら撮像した画像間で、位置合わせを行う機能を有していればよく、例えばフォーカスブラケット撮像をした画像は、一般に光学系の影響により像倍率が異なり、複数の画像間で画角が異なる。これを位置ずれ量を求めてアフィン変換の変倍を利用して画角をあわせる機能などにも応用可能である。またデジタルカメラに限らず携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

さらにはピント位置を変えて撮像した画像に、絞り値やＩＳＯ感度、フォーカスステップ幅などの撮像情報を画像ファイルに記録しておき、コンピュータ上でその画像を読み込んで処理する画像処理装置にも適用可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したもの過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１５ メモリ制御部
１８ Ｉ／Ｆ
２２ 撮像部
２３ Ａ／Ｄ変換器
２４ 画像処理部
２８ 表示部
３０ 電源部
３２ メモリ
４０ 露光制御部
４２ フォーカス制御部
５０ システム制御部
５１ 演算部
５２ システムメモリ
５３ システムタイマー
５４ 画像合成部
５６ 不揮発性メモリ
７０ 操作部
８０ 電源制御部
１００ 撮像装置
１０１ シャッター
１０２ バリア
１０３ レンズ
２００ 記録媒体

Claims (17)

1. 光軸方向でのピント位置が異なる複数の画像に対してフィルタをかける処理手段と、
   前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出手段と、
   前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせ手段と、を有し、
   前記処理手段は、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とする画像処理装置。
2. 前記複数の画像を用いて合成画像を生成する合成手段を有し、
   前記合成画像は、前記複数の画像よりも被写界深度が深いことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を抽出して前記合成画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記複数の画像の対応する領域のうち、コントラスト値の最も高い領域を前記合焦している領域と判断することを特徴とする請求項３に記載の画像処理装置。
5. 前記対応する領域とは、前記位置合わせを行った後に同じ位置にある領域であることを特徴とする請求項４に記載の画像処理装置。
6. 前記処理手段は、前記複数の画像の前記ピント位置の間の間隔に基づいて前記フィルタを生成することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記位置合わせ手段は、前記複数の画像のうち、２枚の画像ずつに対して位置合わせを行い、
   前記処理手段は、前記２枚の画像の前記ピント位置に基づいて前記２枚の画像にかける前記フィルタを生成することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記処理手段は、前記複数の画像のノイズに基づいて前記フィルタを生成することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記フィルタは、バンドパスフィルタであることを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 前記処理手段は、前記ピント位置に基づいて、前記バンドパスフィルタに対して、ゲインアップ、低周波数シフト、ナロー化の少なくともいずれかの処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記処理手段は、前記複数の画像に前記フィルタをかけてエッジ画像を生成し、
    前記検出手段は、前記エッジ画像から前記特徴点を検出することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記検出手段は、コーナー検出器を用いて前記エッジ画像から前記特徴点を検出することを特徴とする請求項１１に記載の画像処理装置。
13. 光軸方向でのピント位置が異なる複数の画像を撮像する撮像手段と、
    前記複数の画像に対してフィルタをかける処理手段と、
    前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出手段と、
    前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせ手段と、を有し、
    前記処理手段は、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とする撮像装置。
14. 前記複数の画像を撮像するときのフォーカスステップ幅を設定する設定手段を有することを特徴とする請求項１３に記載の撮像装置。
15. 光軸方向でのピント位置が異なる複数の画像に対してフィルタをかける処理ステップと、
    前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出ステップと、
    前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせステップと、を有し、
    前記処理ステップにおいては、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とする画像処理方法。
16. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    光軸方向でのピント位置が異なる複数の画像に対してフィルタをかける処理ステップと、
    前記フィルタをかけた後の前記複数の画像から特徴点を検出する検出ステップと、
    前記特徴点を用いて前記複数の画像の位置合わせを行う位置合わせステップと、を行わせ、
    前記処理ステップにおいては、前記複数の画像の前記ピント位置に基づいて前記フィルタを生成することを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記録した読み出し可能な記録媒体。

Images