JP2007286846A - 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像装置において、撮像素子近傍に異物が付着した場合でも、異物の影響の少ない画像を得られるようにする。
【解決手段】 被写体像を光電変換する撮像素子４２と、撮像素子の近傍に付着した異物に関する情報である異物領域情報を記憶するメモリ４９と、撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出部４４と、位置ずれ検出部の検出結果に基づいて、複数の画像を位置合わせして合成する画像合成部４４と、位置ずれ検出部の検出結果と、メモリに記憶された異物領域情報とに基づいて、複数の画像の内の第１の画像における異物が写りこんだ一部の画像を、複数の画像のうちの第２の画像における異物が写りこんでいない一部の画像で補正する画像補正部４４とを具備する。
【選択図】図１

Description

本発明は、デジタルカメラなどにおいて撮像素子の近傍に付着した異物が画像品質に影響を与えることを抑制する技術に関するものである。

近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置でフィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及も進んでいる。デジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しないため、レンズ交換等の作業において一旦撮像素子近傍に異物が進入すると、継続して異物が撮影した像に写り込む。そのため、一連の撮影画像の品質を損ねてしまうという問題点がある。

特許文献１は複数の画像から異物検出を行う方法を開示している。特許文献１に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に撮影を行うことで高品位の像を得ることができる。

特許文献２は基準画像から異物による輝度変化を補正する方法を開示している。特許文献２に開示された発明によると、基準となる一様な輝度を持つ被写体を撮影し、そのときの輝度分布から透過率マップを生成する。その後ユーザーが撮影した画像に対して適切にゲイン補正を行うことで異物による透過率変化を補正し、高品位の像を得ることができる。

特許文献３は複数の画像の位置合わせを行うための方法を開示している。特許文献３に開示された発明によると、信頼度の高い特徴点を参照して複数画像の位置合わせを行い、複数画像から１つの画像を生成する。適切に合成が行われることでダイナミックレンジを拡大した合成画像を得ることが出来る。
特開２００４−１７２８２０号公報 特開２００４−２２２２３１号公報 特開２０００−３４１５８２号公報

しかしながら、上記の従来技術においては次のような問題があった。

特許文献１の発明においては、ユーザーはクリーニングモードなどの動作を行う必要があり、撮像直前に付着した異物に対しては対応できないといった問題があった。

特許文献２の発明においても、ユーザーはクリーニングモードなどの動作を行う必要があり、撮像直前に付着した異物に対しては対応できない。また、テクスチャの影響が出てしまうような参照画像が適切ではない場合は適切なゲイン補正を行うことが出来ないといった問題があった。

特許文献３の発明では、異物が付着した場合の画像品位の劣化に対しては対処できないという問題があった。

したがって、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、撮像素子近傍に異物が付着した場合でも、異物の影響の少ない画像を得られるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子と、前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を記憶する記憶手段と、前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、前記位置ずれ検出手段の検出結果と、前記記憶手段に記憶された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子と、前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出手段と、前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、前記位置ずれ検出手段の検出結果と、前記異物領域検出手段により検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、
を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子と、前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を記憶する記憶手段とを備える撮像装置を制御する方法であって、前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、前記位置ずれ検出工程における検出結果と、前記記憶手段に記憶された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子を備える撮像装置を制御する方法であって、前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出工程と、前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、前記位置ずれ検出工程における検出結果と、前記異物領域検出工程において検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる画像処理装置は、撮像装置の撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報と、前記撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得手段と、前記複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、前記位置ずれ検出手段の検出結果と、前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、を具備することを特徴とする。

また、本発明に係わる画像処理装置は、撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得手段と、前記複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、前記撮像装置に配置された撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出手段と、前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、前記位置ずれ検出手段の検出結果と、前記異物領域検出手段により検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、を具備することを特徴とする。

また、本発明に係わる画像処理方法は、撮像装置の撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報と、前記撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得工程と、前記複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、前記位置ずれ検出工程における検出結果と、前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、を具備することを特徴とする。

また、本発明に係わる画像処理方法は、撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得工程と、前記複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、前記撮像装置に配置された撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出工程と、前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、前記位置ずれ検出工程における検出結果と、前記異物領域検出工程において検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

本発明によれば、撮像装置において、撮像素子近傍に異物が付着した場合でも、異物の影響の少ない画像を得ることが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わるデジタルカメラの構成を示すブロック図である。

図１において、４１は被写体像を結像させるための撮影光学系、４１ａは撮影光学系４１中に備えられ、撮像素子４２に入射する光量を調節するための絞り、４２は被写体像を光電変換するための撮像素子である。撮像素子４２の前面には、ローパスフィルタやカバーフィルタといった光学部材４２ａが近接して配置されており、この光学部材４２ａの表面に異物が付着する。付着した異物は、影となって撮像素子４２上の被写体像に写り込む。また、４３は撮像素子４２から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄコンバータ、４４はＡ／Ｄコンバータから出力されるデジタル画像信号を処理する画像処理装置である。また、４５は撮影光学系４１のレンズ位置や絞りの開度を制御するレンズ系制御部、４６はＡＦ（オートフォーカス）センサ、ＡＥ（自動露出）センサなどの各種センサである。さらに、４７はデジタルカメラ全体の動作を制御するカメラ制御部、４８はレリーズスイッチ、ディスプレイなどとのＩ／Ｏ、４９は撮影画像や種々の情報を記憶するメモリである。

ユーザーの操作はＩ／Ｏ４８を介して取得され、ユーザーの指示によって電源ＯＮ／ＯＦＦ、撮影動作などが行われる。撮影動作が指示された場合、各種センサ４６や撮像素子４２から得られる情報に基づいてカメラ制御部４７は適切な撮影条件を決定し、レンズ系制御部４５を介して適切なレンズ位置などを設定する。露光後に撮像素子４２の出力信号をＡ／Ｄコンバータ４３を介してデジタル化したのち、画像処理装置４４で適切な画像処理を施してメモリ４９に保存する。また必要な場合には、Ｉ／Ｏ４８を介して図示しないディスプレイに画像を表示する。

画像処理装置４４は、一般的には、ホワイトバランス調整、ＲＧＢ現像、圧縮符号化等の処理を行う。本実施形態の画像処理装置４４には、これらに加えて複数の画像を合成して１つの出力画像を生成する合成処理部が設けられている。

図２は、画像処理装置４４の構成を示すブロック図である。

図２において、４４は画像処理装置、５２は複数の画像１０ａ，１０ｂ，…の合成及び補正を行なう画像処理部、５３はホワイトバランス調整部、５４はＲＧＢ現像部、５５は圧縮符号化部である。

詳細は後述するが、本実施形態では、ユーザーの指示などにより複数の画像から異物による画像劣化を補正するモードが指示された場合、複数の画像１０ａ，１０ｂ，…を合成して１つの出力画像１１が生成される。その後出力画像１１に対して画像処理を適切に行うことで、異物による画像劣化が補正された高品位な圧縮画像が得られる。

図３は、図２に示した画像処理装置４４から主に画像処理部５２を抜き出して示した図であり、本実施形態に係わる画像処理方法のデータの流れを示すブロック図である。図３を用いて本実施形態における画像処理動作について説明する。

ここで、図２及び図３に示した複数の画像１０ａ，１０ｂ，…について説明する。

図２及び図３に示した複数の画像１０ａ，１０ｂ，…は、同じ被写体を連写することにより得られた画像である。本実施形態では、このように同じ被写体を連写して複数の画像を生成し、それらを合成して１つの画像を生成することを前提としている。同じ被写体を連写し、得られた複数の撮影画像を合成する理由は以下のようなものである。

被写体輝度が低く、撮影時に十分なシャッタースピードが得られない場合、手振れを起こし画像が劣化することはよく知られている。この場合、適正露出が得られる手振れを起こしやすいシャッタースピードに対して、手振れが起きにくいシャッタースピードまでシャッタースピードを速くして露出アンダーの画像を複数枚撮影し、それらの複数枚の画像を合成して適正露出の１枚の画像を生成する。即ち、この技術は、手振れの無視できる露出アンダーの画像を複数枚撮影して合成することにより、手振れの影響が目立たない適正露出の画像を得ようとするものである。

本実施形態では、図２及び図３に示した複数の画像１０ａ，１０ｂ，…は、このような目的で連写撮影して得られた画像である。ただし、複数の画像１０ａ，１０ｂ，…は、手振れを補正する目的で撮影されたものに限られるものではなく、他の目的で複数の画像を合成するために撮影された画像であってもかまわない。

次に、本実施形態における画像処理動作について、図３を参照して以下説明する。

図３に示されるように、複数の画像１０ａ，１０ｂ，…が位置ずれ検出部１および画像合成部２に入力される。位置ずれ検出部１では例えば特開２０００−３４１５８２号公報に開示された方法などによって複数の画像間の位置ずれを検出する。画像合成部２においては位置ずれ検出部１によって求められた位置ずれ情報に基づいて複数の画像の位置合わせと画像の露出補正などを行って複数の画像から１つの画像を合成する。画像補正部３では、画像合成部２で得られた合成画像と、位置ずれ検出部１で得られた複数の画像間の位置ずれ情報と、メモリ４に記憶されている異物領域情報とに基づいて合成画像を補正し出力画像１１を生成する。メモリ４上の異物領域情報は、例えば特開２００４−１７２８２０号公報や特開２００４−２２２２３１号公報に開示された方法などにより検出された撮像素子近傍の異物が存在する領域についての情報である。なお、この異物領域情報とは、光学部材４２ａに存在する異物が撮影画像に写り込んだときの位置や大きさに関する情報である。

次に、図４を用いて位置ずれ検出部１および画像合成部２の動作について説明する。

図４においては、説明を簡単にするために、合成する画像の数が２つである例について示している。

図４（ａ）、図４（ｂ）は位置ずれ検出部１に与えられる複数の画像（ここでは２つの画像）を示している。図４（ｃ）は位置合わせを行わずに図４（ａ）、図４（ｂ）に示される２つの画像を重ねた場合の模式図である。

位置ずれ検出部１は特開２０００−３４１５８２号公報に開示された方法などによって、複数の画像間（ここでは２つの画像間）の位置ずれを求める。図４（ｃ）はこのとき求められた２つの画像間のずれベクトルを示している。画像合成部２は位置ずれ検出部１によって求められた２つの画像のずれベクトルに基づいて位置合わせを行い、２つの画像を合成する。図４（ｄ）は合成された画像の例を示す。

ここで光学部材４２ａに異物が付着している場合を考える。図４においては、２つの画像における光学部材４２ａへの異物の付着に起因して画像の品位が低下している領域を、２０ａおよび２０ｂで示している。また、２つの画像における同一の被写体を２１ａおよび２１ｂで示している。

２つの画像が同一ではない構図で撮像されている場合には、位置ずれ検出部１で求められるずれベクトルは０ではない値をとる。つまり図４（ｃ）においてベクトル２２ｃは０ベクトルではない値をとり、被写体２１ａと被写体２１ｂが同一の被写体であっても、画面上におけるそれらの位置が一致しない。

一方で光学部材４２ａに付着した異物による像は、常に画面上の一定の場所に存在する。つまり位置合わせを行なわずに２つの画像を重ねた図４（ｃ）において、異物の付着によって画像の品位が低下している領域２０ａ，２０ｂは一致する。このため図４（ｄ）に示すように、２つの画像を適切に位置合わせして合成した場合は、逆に被写体２１ａおよび２１ｂの位置は一致するが、異物の付着によって画像の品位が低下している領域２０ａ，２０ｂの位置は一致しない。即ち、図４（ｄ）に示す合成後の画像には、画像の品位が低下した２つの領域２０ａ，２０ｂが出来ることとなる。

次に本実施形態の要部である、画像補正部３の動作を図３及び図５を用いて説明する。

画像補正部３には位置ずれ検出部１によって求められたずれ情報（ずれベクトル）、画像合成部２が合成した合成画像、メモリ４に予め記憶されている異物情報（異物の位置、大きさ等）が入力される。異物情報は特開２００４−１７２８２０号公報や特開２００４−２２２２３１号公報に開示された方法などにより予め求められ、メモリ４上に蓄積されている。

図５は、合成前の２つの画像と合成後の画像を示した図であり、図５（ａ）、図５（ｂ）は合成前の２つの画像をそれぞれ示し、図５（ｃ）は合成後の画像を示している。

図５においてメモリ４上の情報は例えば異物の位置と大きさで与えられ、図５（ａ）、図５（ｂ）に示すように、合成前の２つの画像それぞれの異物領域２０ａ，２０ｂが特定される。図４を用いて説明したように２つの像の位置ずれ情報が既に検出されているので、図５（ａ）の画像を位置合わせして図５（ｂ）の画像に重ねた場合の、異物領域２０ａの占める位置が２３ｂとして容易に特定できる。同様にして、図５（ｂ）の画像を位置合わせして図５（ａ）の画像に重ねた場合の、異物領域２０ｂの占める位置が２３ａとして特定できる。

異物領域２３ａおよび２３ｂの領域は他方の画像では品位が低下した画像となっている部分と考えられるのでこの部分を劣化していない画像２３ａ，２３ｂを用いて補正する。例えば２０ａの部分を２３ｂで入れ替え、２０ｂの部分を２３ａで入れ替えたり、２０ａの部分と２３ｂ、及び２０ｂと２３ａを加重平均する際に重み付けを変化させるなどの適切な方法によって画像補正を行う。

最終的に得られた画像は所謂異物による画像の劣化を受けていない領域の情報を用いて生成されているので、高品位な画像が得られる。また２枚よりもさらに多くの画像を用いることで、より精度良く広い範囲の画像の劣化に対しても対応可能となる。

以上のように、本実施形態によれば、撮影した画像に異物が写り込むことを抑制し、結果として高品位な画像を得ることが出来る。

（第２の実施形態）
第２の実施形態では、デジタルカメラのブロック構成は、図１に示した第１の実施形態の構成と同じであり、画像処理装置４４の内部構成が異なるのみである。

図６は本実施形態の画像処理装置４４の内部構成を示すブロック図である。図６において４４は画像処理装置、５２ａは複数画像処理部、５３はホワイトバランス調整部、５４はＲＧＢ現像部、５５は圧縮符号化部である。複数画像処理部５２ａは、図２に示した第１の実施形態の画像処理部５２とは、異物領域検出部５を備える点が異なる。

図６を参照して、本実施形態の異物領域検出部５の動作について説明する。

ユーザーの指示などにより複数画像から異物による画像劣化を補正するモードが指示された場合、ユーザーの指示する絞り状態での適正露出の複数の画像１０ａ，１０ｂ…と絞り４１ａを予め定められた値よりも絞った複数の画像１３ａ，１３ｂ…を取得する。

図７は、絞りと異物の像の関係を示す模式図である。図７（ａ）は絞りを開放した(＝Ｆナンバーを小さくした)場合の模式図であり、図７（ｂ）は絞りを絞った(＝Ｆナンバーを大きくした)場合の模式図である。

図７（ａ）、図７（ｂ）において、６１ａ，６１ｂは瞳、６２ａ，６２ｂは撮像素子上で異物の影響が及ぶ範囲、６３は異物、６４ａ，６４ｂは撮像素子での異物の影響の大きさを模式的に示した図である。絞り４１ａを絞ることで、異物の影響が及ぶ範囲が狭くなるとともにピークが高くなり、画像信号への影響が大きくなることが分かる。結果として、絞り４１ａを絞ることで異物の像を鮮明にして検出を容易にすることができる。これにより、異物検出の信頼性を向上させることが出来る。

複数画像処理部５２ａは絞った画像によって異物検出を行い、それによって検出された異物領域情報をもとにユーザー指示の絞り状態での適正露出の複数画像を補正して、出力画像１１を得る。結果として、より正確な異物領域情報に基づいて補正を行なった高品位な像が得られる。

図８は、図６に示した画像処理装置４４から主に画像処理部５２ａを抜き出して示した図であり、本実施形態に係わる画像処理方法のデータの流れを示すブロック図である。図８を用いて本実施形態における画像処理動作について説明する。

図８に示すように、複数の画像１０ａ，１０ｂ，…が位置ずれ検出部１および画像合成部２に与えられる。位置ずれ検出部１では例えば特開２０００−３４１５８２号公報に開示された方法などによって複数の画像間の位置ずれを検出する。画像合成部２においては、位置ずれ検出部１によって求められた位置ずれ情報に基づいて複数の画像の位置合わせと画像の露出補正などを行って複数の画像から１つの画像を合成する。異物領域検出部５は位置ずれ検出部１によって求められた位置ずれ情報と複数の画像から特開２００４−１７２８２０号公報に開示された方法などによって異物の位置、大きさなどの異物領域情報を検出する。画像補正部３では画像合成部２で得られた合成画像と、位置ずれ検出部１で得られた複数の画像間の位置ずれ情報と、異物領域検出部５から得られた異物領域情報に基づいて合成画像を補正し、出力画像１１を生成する。

位置ずれ検出部１、画像合成部２、および画像補正部３の動作は第１の実施形態と同様であるため省略する。

図９を用いて異物領域検出部５の動作について説明する。

図９は、与えられた複数の画像（ここでは２つの画像とする）を位置合わせを行わずに重ねた画像を示す。図９中の２０ａ，２０ｂは異物によって画像の品位が低下している領域を示す。また、図５において２２ｃは位置ずれ検出部１によって求められた位置ずれベクトルである。

適正に位置ずれ検出部１によって位置ずれ情報が求められている場合、コントラスト等を基準にて抽出された有限個の特徴点のうち、ゴミによって生成された特徴点以外は対応する特徴点を検出することが出来る。一方、図９の特徴点２４のようにゴミによって生成された特徴点は、複数の画像間で移動しないために、位置ずれ情報で与えられた移動ベクトルの先に対応する点がない。この原理を用いて、異物の像を検出することが可能となる。

例えば上記に説明したような方法によって異物の位置を特定して異物領域情報として画像補正部３に与える。

画像補正部３は第１の実施形態に示した方法を用いて画像を補正し出力画像を生成する。

最終的に得られた画像は所謂異物による画像の劣化を受けていない領域の情報を用いて生成されているので、高品位な画像が得られる。また２枚よりもさらに多くの画像を用いることで、より精度良く広い範囲の画像の劣化に対しても対応可能となる。

なお、上記の第２の実施形態では、適正露出で連写した複数の画像を合成する場合について説明した。しかし、複数の画像がそれぞれ適正露出で且つ手振れも無い場合には、それらを合成する必要が無い場合もある。その場合には、１枚の画像の異物領域を他の画像の対応する領域の画像で補正するのみとしても良い。これによっても、画像中から異物の影響を無くすことが可能となる。

また、上記の第１及び第２の実施形態では、複数の画像をカメラ内で合成する場合について説明したが、カメラ側では複数の画像の撮影を行なうのみにして、画像の合成及び異物の除去処理をカメラ外部の画像処理装置で行うようにしてもよい。

具体的には、ＰＣ（パーソナルコンピュータ）などの画像処理装置において、画像処理装置５２もしくは５２ａを内蔵するように構成する。入力される複数の撮影画像１０ａ，１０ｂ，…および複数の画像１３ａ，１３ｂ…、異物領域情報は、カメラとＰＣをＬＡＮなどで接続することにより、もしくは、着脱可能な記録媒体を介して、ＰＣに取り込むことができる。このようにすることで、画像の合成及び異物の除去処理をカメラ外部の画像処理装置で実現することが可能となる。

以上説明したように、上記の第１及び第２の実施形態によれば、撮影した画像に異物が写り込むことを抑制し、結果として高品位な画像を得ることが可能なデジタルカメラ及び画像処理装置を提供出来る。撮影と同時にデジタルカメラ内で、もしくは撮影後にＰＣなどの画像処理装置で異物の検出を行うことが出来るために、クリーニングモードでの動作などをユーザーに求める必要が無く、ユーザーの利便性が向上する。さらに撮影直前に付着した異物に対しても適切に補正動作を行うことが出来る。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わるデジタルカメラの構成を示すブロック図である。 第１の実施形態における画像処理装置の構成を示すブロック図である。 図２に示した画像処理装置から画像処理部を抜き出して示した図であり、第１の実施形態に係わる画像処理方法のデータの流れを示すブロック図である。 図４（ａ）、図４（ｂ）は位置ずれ検出部に与えられる２つの画像を示す図であり、図４（ｃ）は位置合わせを行わずに図４（ａ）、図４（ｂ）に示される２つの画像を重ねた場合の模式図である。 合成前の２つの画像と合成後の画像を示した図である。 第２の実施形態の画像処理装置の内部構成を示すブロック図である。 絞りと異物の像の関係を示す模式図である。 図６に示した画像処理装置から画像処理部を抜き出して示した図であり、第２の実施形態に係わる画像処理方法のデータの流れを示すブロック図である。 与えられた２つの画像を位置合わせを行わずに重ねた画像を示す図である。

符号の説明

１ 位置ずれ検出部
２ 画像合成部
３ 画像補正部
４ メモリ
５ 異物領域検出部
１０ａ，１０ｂ 合成に用いる画像
１１ 出力画像
１３ａ，１３ｂ 位置検出に用いる画像
２０ａ，２０ｂ 画像劣化領域
２１ａ，２１ｂ 被写体
２２ｃ ずれベクトル

Claims (20)

1. 被写体像を光電変換する撮像素子と、
   前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を記憶する記憶手段と、
   前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、
   前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、
   前記位置ずれ検出手段の検出結果と、前記記憶手段に記憶された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、
   を具備することを特徴とする撮像装置。
2. 前記異物が写りこんだ一部の画像と、前記異物が写りこんでいない一部の画像とは、前記第１の画像と前記第２の画像における前記被写体の同一部分に対応する画像であることを特徴とする請求項１に記載の撮像装置。
3. 被写体像を光電変換する撮像素子と、
   前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出手段と、
   前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、
   前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、
   前記位置ずれ検出手段の検出結果と、前記異物領域検出手段により検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、
   を具備することを特徴とする撮像装置。
4. 前記異物が写りこんだ一部の画像と、前記異物が写りこんでいない一部の画像とは、前記第１の画像と前記第２の画像における前記被写体の同一部分に対応する画像であることを特徴とする請求項３に記載の撮像装置。
5. 前記異物領域検出手段は、前記位置ずれ検出手段の検出結果において、画面内の他の部分と異なるずれを示す領域を異物領域として検出することを特徴とする請求項３に記載の撮像装置。
6. 前記異物領域検出手段には、前記複数の画像とは異なる画像が入力されることを特徴とする請求項３に記載の撮像装置。
7. 前記異物領域検出手段には、予め定められた絞り径よりも小さい絞り径で撮像された画像が入力されることを特徴とする請求項６に記載の撮像装置。
8. 被写体像を光電変換する撮像素子と、前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を記憶する記憶手段とを備える撮像装置を制御する方法であって、
   前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、
   前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、
   前記位置ずれ検出工程における検出結果と、前記記憶手段に記憶された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、
   を具備することを特徴とする撮像装置の制御方法。
9. 被写体像を光電変換する撮像素子を備える撮像装置を制御する方法であって、
   前記撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出工程と、
   前記撮像素子により略同一の被写体を撮像して生成された複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、
   前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、
   前記位置ずれ検出工程における検出結果と、前記異物領域検出工程において検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、
   を具備することを特徴とする撮像装置の制御方法。
10. 請求項８又は９に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
11. 撮像装置の撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報と、前記撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得手段と、
    前記複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、
    前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、
    前記位置ずれ検出手段の検出結果と、前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、
    を具備することを特徴とする画像処理装置。
12. 前記異物が写りこんだ一部の画像と、前記異物が写りこんでいない一部の画像とは、前記第１の画像と前記第２の画像における前記被写体の同一部分に対応する画像であることを特徴とする請求項１１に記載の画像処理装置。
13. 撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得手段と、
    前記複数の画像の相互の位置ずれを検出する位置ずれ検出手段と、
    前記撮像装置に配置された撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出手段と、
    前記位置ずれ検出手段の検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成手段と、
    前記位置ずれ検出手段の検出結果と、前記異物領域検出手段により検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正手段と、
    を具備することを特徴とする画像処理装置。
14. 前記異物が写りこんだ一部の画像と、前記異物が写りこんでいない一部の画像とは、前記第１の画像と前記第２の画像における前記被写体の同一部分に対応する画像であることを特徴とする請求項１３に記載の画像処理装置。
15. 前記異物領域検出手段は、前記位置ずれ検出手段の検出結果において、画面内の他の部分と異なるずれを示す領域を異物領域として検出することを特徴とする請求項１３に記載の画像処理装置。
16. 前記異物領域検出手段には、前記複数の画像とは異なる画像が入力されることを特徴とする請求項１３に記載の画像処理装置。
17. 前記異物領域検出手段には、予め定められた絞り径よりも小さい絞り径で撮像された画像が入力されることを特徴とする請求項１６に記載の画像処理装置。
18. 撮像装置の撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報と、前記撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得工程と、
    前記複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、
    前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、
    前記位置ずれ検出工程における検出結果と、前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、
    を具備することを特徴とする画像処理方法。
19. 撮像装置により略同一の被写体を撮像して生成された複数の画像を取得する取得工程と、
    前記複数の画像の相互の位置ずれを検出する位置ずれ検出工程と、
    前記撮像装置に配置された撮像素子の近傍に付着した異物に関する情報であり、少なくとも前記異物の位置情報を含む異物領域情報を検出する異物領域検出工程と、
    前記位置ずれ検出工程における検出結果に基づいて、前記複数の画像を位置合わせして合成する画像合成工程と、
    前記位置ずれ検出工程における検出結果と、前記異物領域検出工程において検出された前記異物領域情報とに基づいて、前記複数の画像の内の１つである第１の画像における前記異物が写りこんだ一部の画像を、前記複数の画像のうちの前記第１の画像とは異なる第２の画像における前記異物が写りこんでいない一部の画像で補正する画像補正工程と、
    を具備することを特徴とする画像処理方法。
20. 請求項１８又は１９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images