JP2009017058A - 画像処理装置及び撮像装置及び画像処理方法及び記憶媒体 - Google Patents

Abstract

【課題】欠陥画素と異物付着画素の補正精度の低下を抑制できるようにする。
【解決手段】撮像素子で撮像された画像から、撮像素子の前方に付着した異物の影の影響を除去するための画像処理装置であって、撮像素子における欠陥画素の位置情報を記憶する欠陥画素情報記憶部と、その情報に基づいて、欠陥画素からの画像信号を、周囲の画素からの画像信号を用いて補正する欠陥画素補正部と、異物情報を検出する異物付着検出部と、異物情報を記憶する異物情報記憶部と、その異物情報に基づいて、異物の影になっている画素である異物画素からの画像信号を、周囲の画素からの画像信号を用いて補正する異物補正部と、欠陥画素の補正に用いられるべき周囲の画素が異物の影の影響を受けている場合に、その欠陥画素を異物画素と見なして、異物情報記憶部に記憶するとともに、その欠陥画素の情報を欠陥画素情報記憶部から削除する制御部とを備える。
【選択図】 図３

Description

本発明は、デジタルカメラ等の撮像装置における撮像素子の前方に配置された光学部材の表面に付着した塵埃等の異物が写り込んだ画像を補正する技術に関するものである。

固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子（以下撮像素子）で撮像した静止画像や動画像を記録及び再生するデジタルカメラ等の撮像装置が知られている。

上記撮像装置においては、光学レンズを通して入射した外光は、多数の受光素子（以下、画素と記載）を平面内に二次元配列して形成された撮像素子で受光される。各画素は夫々、撮像対象からの反射光を受光し、受光量に応じた大きさのアナログ電気信号を出力する。撮像素子の各画素の出力は走査されて一つずつ順次Ａ／Ｄ変換器でデジタル信号に変換された後に信号処理回路へ供給される。信号処理回路は、デジタル信号を表示信号に変換し表示器や記録媒体へ供給する。その結果、表示器の画面には、二次元配列された画素に対応する画像が表示されることになる。

撮像素子は二次元に配列された画素の内の幾つかに、その製造過程もしくは製造後において半導体の局部的な感度不良が発生する場合があることが知られている。この現象が発生すると、入射した光量に応じた電荷出力が得られなくなるため、取得した画像には被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる問題が発生する。

こうした欠陥画素に起因する画質劣化を信号処理によって補正するために、従来、次のような方法が提案されている。まず、撮像素子の工場出荷時に、所定の環境下での所定の蓄積時間における出力を評価し、欠陥と判定された画素については、この欠陥の種別（黒点、白点）及び画素のアドレス（欠陥画素の位置情報（ｘ，ｙ））、さらには欠陥の度合い（レベル）の情報を得る。得られた情報を撮像装置に備えられた不揮発性メモリに記憶し、撮像された画像を取得する時にはこの情報を元に欠陥画素を補正する（特許文献１）。

また欠陥画素は時間の経過と共に増加する傾向があるため、新たに発生した欠陥画素を検出し、その欠陥画素の情報を追加記憶し、欠陥画素を補正するよう構成された撮像装置もある（特許文献２）。

また欠陥画素の補正には、補正対象画素の周辺にある同色画素の平均値や補間値を画素欠陥部の画像に置きかえる手法が知られている。

この手法の一例を図５Ａを参照して説明する。図５Ａは、撮像素子の画素の一部を模式的に表した図であり、Ｒ、Ｇ、Ｂの三色の画素が規則的な組合せで配列されている。今、中央部に位置するＧ２１が欠陥画素とすると、隣接する同色画素であるＧ１６、Ｇ１７、Ｇ２５、Ｇ２６の画像信号の平均値を求め、Ｇ２１の画像信号をその平均値に置き換えることで欠陥画素を補正する。

このような補正方法では、撮像素子のパッケージ受光面であるカバーガラス表面や、このカバーガラス上面に貼り付けられる光学フィルタ表面に、図５Ｂに示すように塵などの異物が付着すると、次のような問題が発生する。即ち、この付着した異物の影が補正に使用する画素にかかると、その画素の出力信号が低下し、この出力が低下した信号を用いて欠陥画素を補正することになるので、補正精度が低下してしまう。

そこで撮像素子パッケージのカバーガラスや光学フィルタの表面に付着した異物を、自動的に除去する装置を備えたカメラが提案されている（特許文献３）。これは前述の欠陥画素の補正時に異物によって補正精度が低下してしまう問題に対しても非常に有効である。

しかしながら、上記異物除去機能を用いても付着した異物の中には除去しきれないものが存在する。そのため、除去しきれない異物の影を補正するために次のような方法も提案されている。まず、レンズの絞りを絞った状態で白い壁などを撮像し、その撮像画像から異物の画面上の位置情報を算出し、得られた異物位置情報をデータベース化する（以下、ゴミプロファイルと記載）。そして、このゴミプロファイルを用いて、前述した欠陥画素と同様の手法により、異物の影になった画素の信号を補正する。従って、欠陥画素の補正を行った後に、異物付着画素の補正を行うことで、高画質の画像を得ることが出来る。
特開２０００−２３０５１号公報 特開２００５−１２３８７３号公報 特開２００３−０１８４４０号公報

しかしながら、欠陥画素の補正と異物付着画素の補正を個別に行う、即ち欠陥画素の補正をまず行ない、次に異物付着画素の補正を行なうと、次のような問題が発生する。即ち、欠陥画素の補正に使用する補正対象画素の周辺の同色画素に異物が付着していると、前述したように、異物の影により信号が低下している画素を欠陥画素の補正に使用することになる。そのため、欠陥画素の補正精度が低下する。さらに、このように補正精度が低下する状態で補正された欠陥画素の信号が、次にその近くの異物付着画素の補正に使用される場合が発生し、異物付着画素の補正精度も低下してしまう。

また、欠陥画素上に異物の影がかかっている場合には、その欠陥画素に対して、欠陥画素補正と異物付着画素補正の二重の補正をしてしまう場合があり、やはり補正精度が低下する。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、欠陥画素と異物付着画素の補正精度の低下を抑制できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、二次元的に画素が配列された撮像素子で撮像された画像から、前記撮像素子の前方に配置された光学素子の表面に付着した異物の影の影響を除去するための画像処理装置であって、前記撮像素子における欠陥画素の少なくとも位置に関する情報を記憶する欠陥画素情報記憶手段と、前記欠陥画素情報記憶手段に記憶されている情報に基づいて、前記欠陥画素からの画像信号を、当該欠陥画素の周囲の画素からの画像信号を用いて補正する欠陥画素補正手段と、前記撮像素子から出力される画像信号に基づいて、前記異物の少なくとも位置に関する情報を検出する異物付着検出手段と、前記異物付着検出手段により検出された前記異物に関する情報を記憶する異物情報記憶手段と、前記異物情報記憶手段に記憶されている情報に基づいて、前記異物の影になっている画素である異物画素からの画像信号を、当該異物画素の周囲の画素からの画像信号を用いて補正する異物補正手段と、前記欠陥画素の補正に用いられるべき当該欠陥画素の周囲の画素が前記異物の影の影響を受けている場合に、当該欠陥画素を前記異物画素と見なして、当該欠陥画素に関する情報を前記異物情報記憶手段に記憶するとともに、当該欠陥画素に関する情報を前記欠陥画素情報記憶手段から削除する制御手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置は、二次元的に画素が配列された撮像素子と、前記撮像素子の前方に配置された光学素子と、請求項１に記載の画像処理装置と、を備えることを特徴とする。

また、本発明に係わる撮像方法は、二次元的に画素が配列された撮像素子で撮像された画像から、前記撮像素子の前方に配置された光学素子の表面に付着した異物の影の影響を除去するための画像処理方法であって、前記撮像素子における欠陥画素の少なくとも位置に関する情報を欠陥画素情報記憶手段に記憶する欠陥画素情報記憶工程と、前記欠陥画素情報記憶手段に記憶されている情報に基づいて、前記欠陥画素からの画像信号を、当該欠陥画素の周囲の画素からの画像信号を用いて補正する欠陥画素補正工程と、前記撮像素子から出力される画像信号に基づいて、前記異物の少なくとも位置に関する情報を検出する異物付着検出工程と、前記異物付着検出工程において検出された前記異物に関する情報を異物情報記憶手段に記憶する異物情報記憶工程と、前記異物情報記憶手段に記憶されている情報に基づいて、前記異物の影になっている画素である異物画素からの画像信号を、当該異物画素の周囲の画素からの画像信号を用いて補正する異物補正工程と、前記欠陥画素の補正に用いられるべき当該欠陥画素の周囲の画素が前記異物の影の影響を受けている場合に、当該欠陥画素を前記異物画素と見なして、当該欠陥画素に関する情報を前記異物情報記憶手段に記憶するとともに、当該欠陥画素に関する情報を前記欠陥画素情報記憶手段から削除する制御工程と、を備えることを特徴とする。

また、本発明に係わる記憶媒体は、上記の画像処理方法をコンピュータに実行させるプログラムを記憶したことを特徴とする。

本発明によれば、欠陥画素と異物付着画素の補正精度の低下を抑制することが可能となる。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラのブロック構成を示す図である。

図１において、複数の光電変換部（画素）が二次元的に配列された、ＣＣＤ、ＣＭＯＳセンサ等からなる撮像素子１の出力には、ＣＤＳ／ＡＧＣ回路２でノイズリダクションとゲイン調整が実施される。ＣＤＳ／ＡＧＣ回路２から出力された信号は、Ａ／Ｄ変換器３でアナログ信号からデジタル信号に変換され、デジタル信号処理ＩＣであるエンジン４に入力される。エンジン４は、画像処理装置として機能する。

エンジン４は、欠陥画素補正部５、欠陥画素情報記憶部６、異物付着検出部７、異物情報記憶部８、異物補正部１０、現像処理部１１及び、スイッチ９を含む。

エンジン４に入力されたデジタル画像信号は欠陥画素補正部５で処理され、撮像素子１の欠陥画素からの画像信号が補正される。更に、欠陥画素の補正が行なわれた画像信号は、異物補正部１０で処理され、異物付着による影響を受ける画素が補正される。これらの補正が行なわれた画像信号は、現像処理部１１で色補間処理などの現像処理が施され、メモリ２０に保存される。

上記の欠陥画素補正部５では、欠陥画素情報記憶部６内の情報、異物情報記憶部８内のゴミプロファイルから得られる、欠陥画素の位置データ、欠陥部画像の補正に使用する画像信号の異物の有無などから有効な補正値を割り出す。そして、欠陥画素部からの画像信号を補正する。

例えば図２Ａは、撮像素子の画素の一部を模式的に表した図であり、Ｒ、Ｇ、Ｂの三色の画素が規則的な組合せで配列されている。今、中央部のＧ２１が欠陥画素の場合、隣接する同色画素であるＧ１６、Ｇ１７、Ｇ２５、Ｇ２６（欠陥画素の周囲の画素）の画像信号の平均値を求め、Ｇ２１の画像信号をその平均値に置き換えることで欠陥画素部からの画像信号を補正する。尚、上記補正方法以外でも、補正に用いる画像信号の画素数を替えたりする方法なども考えられ、欠陥画素による画像の劣化を回避できる手法であれば上記の方法に限定されるものではない。

また、上記の欠陥画素情報記憶部６には、例えば撮像素子１の工場出荷時に取得した欠陥画素の位置データ、欠陥のレベル、欠陥の種類などの情報が記憶されている。また、撮像素子１のカバーガラスの表面または撮像素子１のカバーガラス表面に貼り付けられた光学フィルタ２１の表面の異物の位置、大きさ等の情報は、異物付着検出部７により検出される。検出された異物の位置、大きさ等の情報は、異物情報記憶部８に記憶される。ここで、上記の撮像素子１のカバーガラス表面または撮像素子１のカバーガラス表面に貼り付けられた光学フィルタ２１の表面を、簡単のため「撮像素子表面」と記述する。

現像処理部１１で現像処理された画像は、例えばＴＦＴ液晶表示器等の表示器（ＬＣＤ）１２に表示されたり、あるいは、ビデオ端子（ＶＩＤＥＯ）１３等から外部モニターなどに出力されたりする。

また、現像処理された画像は、外部メモリ１４、例えばＣＦカード（フラッシュメモリカード）などに保存することもできる。またエンジン４にはシリアル通信装置であるＵＳＢインターフェース等のインターフェース１５が接続されており、これを通して外部のコンピュータなどに画像データなどを出力できる。さらに、エンジン４はタイミングジェネレータ（ＴＧ／ＶＤＲ）１６を駆動して、これによって撮像素子１に供給すべきクロック信号等を発生させる。

また、エンジン４には、マイクロプロセッサ（ＣＰＵ）１９が接続されており、ＣＰＵ１９からの命令に応じて種々の設定が行われ、ＣＰＵ１９によって動作が管理される。メモリ２０は、ＣＰＵ１９に提供すべきプログラムを格納したり、撮影画像を一時的に格納したりするため、及び、作業領域として使用される。レンズ１７は、撮影のための光学系であり、その絞りや焦点を調節するためのアクチュエータを有する。アクチュエータは、ＣＰＵ１９からの指示にしたがって制御される。また異物除去部１８は撮像素子１に貼り付けられた光学フィルタ（光学素子）２１表面の異物を除去するためのアクチュエータ（例えば光学フィルタ２１を振動させる圧電素子）を有し、例えば電源起動時にＣＰＵ１９により駆動制御される。

また光学フィルタ２１は撮像素子１のカバーガラスの表面上及び光学フィルタ２１の表面上の異物を充分除去した状態で高密閉状態で貼り合わせしたり、組みつけられたりしている。

次にエンジン４内部に備えられた異物付着検出部７の動作について図３のフローチャートを参照して説明する。

図３において、カメラの主電源（不図示）が起動されると、ＣＰＵ１９は異物除去部１８を制御し、撮像素子１のカバーガラスに貼り付けられた光学フィルタ２１表面の異物除去を所定時間だけ自動実行する（ステップＳ２０１）。この動作について本実施形態ではカメラの主電源起動時に実行するようにしたが、動作時期はこれに限らず定期的に自動実行してもよいし、または使用者が任意に実行させるようにしてもかまわない。異物除去動作の詳細については例えば特開２００３−０１８４４０号公報に記載された内容のものでもよいし、その他撮像素子表面の異物を効果的に除去できる構成であれば特に限定はない。

上記の異物除去動作の目的は、撮像素子１のカバーガラスに貼り付けられた光学フィルタ２１表面に付着した異物を除去することにある。しかしながらこの除去能力には限界があり、付着したほとんどの異物は確実に除去可能であるが、撮像素子の数画素分程度の非常に細かい一部の異物には除去しきれないものが存在する。よってステップＳ２０２以降で撮像素子１の表面にどの程度異物が残っているかを検出する。

異物除去動作が完了すると、ＣＰＵ１９はエンジン４に異物情報記憶部８のゴミプロファイル内容を初期化させ（ステップＳ２０２）、スイッチ９をＯＮにしてＡ／Ｄ変換器３からの画像信号が異物付着検出部７に入力される状態にする（ステップＳ２０３）。そして異物検出用の画像の撮影を行う（ステップＳ２０４）。撮像素子表面に異物が付着した個所では撮影された画像に影ができる（異物画素）ため、ステップＳ２０４では異物を検出しやすい比較的明るい均一光を撮影して、異物検出用の画像を生成する。光の入射方法は、特開２００２−３００４４２号公報のようにカメラ内部に専用光源を備えてもよいし、カメラ外部からの光を利用しても構わない。

均一光撮影による撮像素子１の出力は、ＣＤＳ／ＡＧＣ回路２、Ａ／Ｄ変換器３を経てエンジン４へ入力される。エンジン４に入力された画像信号は異物付着検出部７へ１画素相当の画像信号毎に順次入力される（ステップＳ２０５）。この異物付着検出部７に入力された画像信号に対して、欠陥画素情報記憶部６の情報をもとに欠陥画素判定を行い（ステップＳ２０６）、欠陥画素である画像信号については異物付着判定は行なわず（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０９へ移行する。欠陥画素でない画像信号（ステップＳ２０６：Ｎｏ）については規定値と比較し（ステップＳ２０７）、比較した画像信号が規定値より小さいときは撮像素子表面に異物が付着しているものと判断する。そして、異物情報記憶部８にゴミプロファイルとして位置データ、大きさ、画像信号のレベルなどの情報を書き込む（ステップＳ２０８）。一方比較した画像信号が規定値以上のときは、異物が付着していないと判断出来るため、異物情報記憶部８への書き込みは行わない。１画素分の検出動作が終了する度に全画素の検出動作が終了したかを確認し（ステップＳ２０９）、終了するまでステップＳ２０５〜Ｓ２０９を繰り返す。

次に、欠陥画素情報記憶部６に記録されている欠陥画素の情報を順次読み出す（ステップＳ２１０）。読み出された欠陥画素の情報に基づいて、各欠陥画素を補正するために使用する画素と上記のステップＳ２０１〜Ｓ２０９によって作成されたゴミプロファイルとを比較する（ステップＳ２１１）。欠陥画素の補正に使用する画素がゴミプロファイルと一致しなかった場合（ステップＳ２１１：Ｎｏ）、ステップＳ２１４へ移行する。また、欠陥画素の補正に使用する画素がゴミプロファイルと一致している場合（ステップＳ２１１：Ｙｅｓ）、欠陥画素部をゴミプロファイルに追記する（ステップＳ２１２）。

例えば図２Ｂのように欠陥画素Ｇ２１と隣接する同色画素のひとつであるＧ１７の画像信号が異物付着による影響を受けているような場合では、Ｇ２１をゴミプロファイルに追記する。即ち、欠陥画素Ｇ２１を、欠陥画素ではなくゴミ付着画素として扱う。また或いは、図２Ｃのように異物付着画素の補正方法によっては、欠陥画素Ｇ２１を包含する様に異物付着領域を拡大し、Ｒ８、Ｂ１１も異物付着領域としてゴミプロファイルを作成しても良い。

更に、ステップＳ２１２でゴミ付着画素としてゴミプロファイルに追記された欠陥画素の画素情報を欠陥画素情報記憶部６から削除する（ステップＳ２１３）。ここで、欠陥画素情報記憶部６から削除せず、新規に補正時に使用する欠陥画素情報のファイルを作成しても良い。全欠陥画素の判定が終了したかを確認し（ステップＳ２１４）、終了するまでステップＳ２１０〜Ｓ２１４を繰り返す。

以上の図３のフローチャートの動作により、対象となるデジタルカメラについての最新の欠陥画素情報と異物付着画素情報（ゴミプロファイル）が作成される。

次に、上記のようにして作成された欠陥画素情報と異物付着画素情報（ゴミプロファイル）を用いて、エンジン４の内部に備えられた欠陥画素補正部５及び異物補正部１０で撮影画像を補正する動作について図４のフローチャートを参照して説明する。

図４において、使用者によりゴミ検出用の撮影ではない通常の撮影が行われると、撮影対象からの反射光を受けた撮像素子１の出力が、ＣＤＳ／ＡＧＣ回路２、Ａ／Ｄ変換器３を経てエンジン４へ入力される（ステップＳ３０１）。エンジン４に入力された画像信号は欠陥画素補正部５へ１画素相当の画像信号毎に順次入力される（ステップＳ３０２）。

この欠陥画素補正部５に入力された画像信号について、欠陥画素情報記憶部６の情報をもとに欠陥画素判定が行われる（ステップＳ３０３）。そして、この画像信号が欠陥画素のものでない場合（ステップＳ３０３：Ｎｏ）には、画像信号を補正せずにステップＳ３０６へ移行する。この画像信号が欠陥画素部のものである場合（ステップＳ３０３：Ｙｅｓ）には、欠陥画素周辺の所定の画素からの画像信号を使って補正値を求め（ステップＳ３０４）、求められた補正値を欠陥画素部の画像信号と置き換える（ステップＳ３０５）。

上記手法では、例えば図２Ａのように欠陥画素Ｇ２１に隣接した同色画素Ｇ１６、Ｇ１７、Ｇ２５、Ｇ２６の画像信号の平均値を求め、この平均値をＧ２１の画像信号と置換えることで欠陥画素の補正が行われる。なお、図３のフローチャートの動作で、欠陥画素の補正に使用する画素が異物の影響を受けている場合には、その欠陥画素は、既に欠陥画素ではなく異物付着画素として登録されている。そのため、上記のステップＳ３０５の補正動作では、異物の影響を受けている画素の信号を用いないで補正できる欠陥画素のみが補正されるので、欠陥画素の補正精度が低下することはない。

次に、異物補正部１０に入力された画像信号について、異物情報記憶部８の情報であるゴミプロファイルを用いて異物付着の判定が行われる（Ｓ３０６）。そして、この画像信号が異物付着の影響を受けていない画素の場合（ステップＳ３０６：Ｎｏ）には、画像信号を補正せずにステップＳ３０９へ移行する。また、この画像信号が異物付着の影響を受けている画素の場合（ステップＳ３０６：Ｙｅｓ）には、異物付着画素周辺の所定の画素からの画像信号を使って補正値を求める（ステップＳ３０７）。そして、求められた補正値を異物付着画素部の画像信号と置き換える（ステップＳ３０８）。

その後、１画素分の補正動作が終了する度に全画素分の欠陥画素・異物付着画素の判定及び画像信号の補正動作が終了したかを確認し（ステップＳ３０９）、これが終了するまでステップＳ３０２〜Ｓ３０８を繰り返す。

以上述べたように本実施形態では、撮像素子の欠陥画素の画像信号を欠陥画素近傍の画素部からの画像信号で補正する場合には、次のようにする。即ち、上記近傍画素部からの画像信号が異物付着による影響を受けているような場合には、補正の対象となる欠陥画素を欠陥画素としてではなく、異物付着画素として補正を行う。これにより、精度の低い画像信号を用いた補正や同一画素に二重の補正を行うこと無く、補正精度の高い画像を提供することが可能となる。

また、本実施形態においては、欠陥画素の補正方法は同色の周辺画素を用いた補正としたが本発明はこの補正方法に限るものではない。異物付着部の位置情報取得方法、ゴミプロファイルの作成方法、欠陥画素のゴミプロファイルへの追加方法及び補正方法においても同様に本実施形態に限るものでは無い。

更に、本実施形態においては、デジタルカメラ本体で、欠陥画素の補正と異物付着部の補正を行ったが、欠陥画素部の補正はカメラ本体で行い、異物付着部の補正はパーソナルコンピュータなどの外部装置で行っても良い。また、欠陥画素部の補正も外部装置で行っても良い。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の撮像装置の一実施形態であるデジタルカメラのブロック構成を示す図である。 本発明の一実施形態における、欠陥画素部からの画像信号を補正する動作を説明するための撮像素子の画素の一部を抜き出して模式的に表した図である。 本発明の一実施形態における、欠陥画素部からの画像信号を補正する動作を説明するための撮像素子の画素の一部を抜き出して模式的に表した図である。 本発明の一実施形態における、欠陥画素部からの画像信号を補正する動作を説明するための撮像素子の画素の一部を抜き出して模式的に表した図である。 欠陥画素の情報と異物付着画素の情報の作成手法を説明するフローチャートである。 欠陥画素及び異物付着画素の補正動作を説明するフローチャートである。 従来の欠陥画素部からの画像信号を補正する動作を説明するための撮像素子の画素の一部を抜き出して模式的に表した図である。 従来の欠陥画素部からの画像信号を補正する動作を説明するための撮像素子の画素の一部を抜き出して模式的に表した図である。

符号の説明

１ 撮像素子
２ ＣＤＳ／ＡＧＣ回路
３ Ａ／Ｄ変換器
４ エンジン
５ 欠陥画素補正部
６ 欠陥画素情報記憶部
７ 異物付着検出部
８ 異物情報記憶部
９ スイッチ
１０ 異物補正部
１１ 現像処理部
１２ 表示器
１３ ビデオ端子
１４ 外部メモリ
１５ インターフェース
１６ タイミングジェネレータ
１７ レンズ
１８ 異物除去部
１９ マイクロプロセッサ
２０ メモリ
２１ 光学フィルタ

Claims (4)

1. 二次元的に画素が配列された撮像素子で撮像された画像から、前記撮像素子の前方に配置された光学素子の表面に付着した異物の影の影響を除去するための画像処理装置であって、
   前記撮像素子における欠陥画素の少なくとも位置に関する情報を記憶する欠陥画素情報記憶手段と、
   前記欠陥画素情報記憶手段に記憶されている情報に基づいて、前記欠陥画素からの画像信号を、当該欠陥画素の周囲の画素からの画像信号を用いて補正する欠陥画素補正手段と、
   前記撮像素子から出力される画像信号に基づいて、前記異物の少なくとも位置に関する情報を検出する異物付着検出手段と、
   前記異物付着検出手段により検出された前記異物に関する情報を記憶する異物情報記憶手段と、
   前記異物情報記憶手段に記憶されている情報に基づいて、前記異物の影になっている画素である異物画素からの画像信号を、当該異物画素の周囲の画素からの画像信号を用いて補正する異物補正手段と、
   前記欠陥画素の補正に用いられるべき当該欠陥画素の周囲の画素が前記異物の影の影響を受けている場合に、当該欠陥画素を前記異物画素と見なして、当該欠陥画素に関する情報を前記異物情報記憶手段に記憶するとともに、当該欠陥画素に関する情報を前記欠陥画素情報記憶手段から削除する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 二次元的に画素が配列された撮像素子と、
   前記撮像素子の前方に配置された光学素子と、
   請求項１に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
3. 二次元的に画素が配列された撮像素子で撮像された画像から、前記撮像素子の前方に配置された光学素子の表面に付着した異物の影の影響を除去するための画像処理方法であって、
   前記撮像素子における欠陥画素の少なくとも位置に関する情報を欠陥画素情報記憶手段に記憶する欠陥画素情報記憶工程と、
   前記欠陥画素情報記憶手段に記憶されている情報に基づいて、前記欠陥画素からの画像信号を、当該欠陥画素の周囲の画素からの画像信号を用いて補正する欠陥画素補正工程と、
   前記撮像素子から出力される画像信号に基づいて、前記異物の少なくとも位置に関する情報を検出する異物付着検出工程と、
   前記異物付着検出工程において検出された前記異物に関する情報を異物情報記憶手段に記憶する異物情報記憶工程と、
   前記異物情報記憶手段に記憶されている情報に基づいて、前記異物の影になっている画素である異物画素からの画像信号を、当該異物画素の周囲の画素からの画像信号を用いて補正する異物補正工程と、
   前記欠陥画素の補正に用いられるべき当該欠陥画素の周囲の画素が前記異物の影の影響を受けている場合に、当該欠陥画素を前記異物画素と見なして、当該欠陥画素に関する情報を前記異物情報記憶手段に記憶するとともに、当該欠陥画素に関する情報を前記欠陥画素情報記憶手段から削除する制御工程と、
   を備えることを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法をコンピュータに実行させるプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images