JP2005033687A - 欠陥検出装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】 ユーザが意識することなく欠陥画素を検出できるようにする。
【解決手段】 静止画を撮像する際、露光が完了して遮光装置１２ｂの状態になると、撮像素子１３により受光された信号がA/D変換器１４を介して一旦欠陥補正部１７、供給される。このとき、欠陥補正部１７は、欠陥記憶部１６に記憶されている欠陥画素位置の情報に基づいて欠陥画素を補正し、カメラ信号処理部１８に出力する。その後、撮像素子１３は遮光装置１２ｂにより光が入らない状態となるので、この間に全黒画像を撮像し、この画像を欠陥検出部１５に出力する。欠陥検出部１５は、全黒画像を用いて白欠陥画素検出処理を実行し、検出された欠陥画素の画素位置の情報を欠陥記憶部１６に記憶させる。本発明は、デジタルカメラに適用することができる。
【選択図】 図１

Description

本発明は、欠陥検出装置および方法、記録媒体、並びにプログラムに関し、特に、後発欠陥画素に起因する撮像画像の色の違和感を抑制できるようにした欠陥検出装置および方法、記録媒体、並びにプログラムに関する。

CCD（Charge Coupled Device）などに代表される撮像素子を用いたデジタルカメラが一般に普及しつつある。

従来、デジタルカメラに搭載されている被写体を撮像する撮像素子は、製造過程において画素に欠陥画素が生じることがあり、この欠陥画素が異常なレベルの信号を出力するため、撮像素子の画像信号を加工して画像として表示すると、本来被写体には存在し得ない色の情報が表示されてしまい、違和感を生じてしまうことがあった。

欠陥画素が生じる原因は暗電流やフォトダイオードの異常等、様々な原因が考えられる。欠陥画素には、欠陥画素の出力が本来の出力レベルよりも高い出力レベルが得られる白欠陥画素と、本来の出力レベルよりも低い出力レベルが得られる黒欠陥画素が存在する。撮像素子上に欠陥画素があると、その画素の出力レベルが異常になるため、その画像信号を加工して画面に表示すると被写体にはない誤った色の情報が出力されることになり、不自然な画像が生成されてしまうという課題があった。

この様な欠陥画素のうち、特に、白欠陥画素を検出し、さらに補正する方法として、撮像素子を遮光した状態で得られた各素子の画像信号の出力から、突出した画素値を検出して、その欠陥画素の位置を記憶装置（RAM（Random Access memory）、または、ROM（Read Only Memory））に記憶しておき、画像を撮像する場合、この記憶装置から白欠陥画素の位置を読み出して、白欠陥画素の画素値を周囲の画素の画素値から補間する方法が提案されている。

この様な白欠陥画素の検出手段は撮像素子を遮光した状態で行わなければならないので、欠陥検出を行うタイミングはユーザに分からないように注意しなければならない。

このようなタイミングとしては、デジタルカメラ電源投入時（例えば、特許文献１参照）、バッテリー装着時、または、時刻設定時のものがあり、これらは電源投入直後のカメラ初期化処理の一環として欠陥検出を行っている。例えば、電子カメラ電源投入時の場合、電子カメラを電源投入した直後にシャッタ等の遮光装置で撮像素子を遮光し、撮像素子の出力レベルが所定値以上のものを白欠陥画素とみなし、その位置を記憶装置に記憶させるものである。このように電源投入時において（欠陥検出が行われている間において）、通常、デジタルカメラは、初期化処理が行われている為、表示画面には撮像素子の信号出力に対応する画像が表示されないので、ユーザは欠陥検出が行われていることを意識することが無いため、違和感を持たずに欠陥検出処理が実行されることになる。
特開平０３−２２７１８５号公報

しかしながら、一般的に撮像素子が高温になると暗電流が増加するため、撮像素子に生じる欠陥画素（白欠陥画素、および、黒欠陥画素のいずれも含む）は、初期化時よりも、動作時間が経過するに連れて増加する傾向があり、結果として、動作時間が長くなり、撮像素子の温度が上昇するに従って、より欠陥画素からの信号出力が目立ってしまうことがある。

デジタルカメラを使用する上で温度上昇は避けられないものであるため、使用環境の変化により位置が変化する欠陥画素に対して、上記の方法で欠陥検出を行った場合、電源投入直後の温度にて欠陥検出が行われるので、電源投入直後の撮影では問題ないが、デジタルカメラを長時間使用することでの温度上昇に伴って発生する欠陥画素（以下、後発欠陥画素と称する）に対する欠陥検出が不可能となってしまう恐れがあった。すなわち、例えば、撮像素子が低温のときに上記欠陥検出手段で欠陥検出をしたら欠陥画素がＸ個であるのに対し、撮像素子が高温のときに同様の欠陥検出をしたところ、欠陥画素がＹ個になっている可能性があり（Ｙ＞Ｘ）、結果として、（Ｙ−Ｘ）個の欠陥画素が検出できないことになるので、当然のことながら、（Ｙ−Ｘ）個の画素に対しての補正が不可能となってしまう。

このような事態に対応するため、温度上昇した状態で電源再投入することで、温度が上昇した状態での欠陥画素の検出が可能とはなるが、ユーザは、ある程度の温度上昇が発生したと思われるタイミングで、電源の再投入を繰り返す必要が生じるので、手間がかかるという課題があった。

また、デジタルカメラを航空機で輸送する場合、宇宙線の影響により黒欠陥画素の後発欠陥画素がカメラの出荷時に比べて増加してしまうことがあり、この場合、白欠陥画素に関しては電源投入により欠陥検出を行うことができるが、黒欠陥画素の検出は一様な白い画像を撮像させて検出する必要があるのでデジタルカメラ、または撮像素子の製造段階で行う必要があり、宇宙線の影響による後発黒欠陥画素を検出することができなかった。

これらの後発欠陥画素を補正する為に温度上昇、および、露光時間に基づいて、欠陥画素の補正に用いられる係数（以下、補正係数と称する）を変化させるものも提案されているが、いずれも補正係数を変えるために、電源投入時に検出できなかった画素に対して的確な欠陥補正を行うことができないという課題があった。

本発明はこのような状況に鑑みてなされたものであり、欠陥画素の検出処理をユーザに意識させること無く随時実行し、検出された欠陥画素位置を随時更新することで、後発欠陥画素にも対応できる欠陥検出を可能にさせるものである。

本発明の欠陥検出装置は、撮像素子を用いた撮像手段と、撮像手段により撮像された画像信号を検出する信号検出手段と、信号検出手段の信号検出結果と所定の閾値とを比較する比較手段と、比較手段の比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出手段とを備えることを特徴とする。

前記欠陥検出手段により検出された撮像素子の欠陥の位置を記憶する記憶手段と、記憶手段により記憶された欠陥が検出された位置の画素の画素値を補正する補正手段とをさらに設けるようにさせることができる。

前記比較手段による比較結果が、信号検出手段の信号検出結果が所定の閾値より小さい場合、欠陥検出手段には、撮像素子の白欠陥検出を行わせるようにさせることができる。

前記撮像素子で受光される光を遮光する遮光手段をさらに設けるようにさせることができ、比較手段には、遮光手段により遮光された場合に、信号検出手段の信号検出結果と所定の閾値とを比較させるようにすることができる。

前記比較手段による比較結果が、信号検出手段の信号検出結果が所定の閾値より大きい場合、欠陥検出手段には、撮像素子の黒欠陥検出を行わせるようにすることができる。

本発明の欠陥検出方法は、撮像素子を用いた撮像ステップと、撮像ステップの処理で撮像された画像信号を検出する信号検出ステップと、信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、比較ステップの処理での比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、撮像素子を用いて撮像された画像信号を検出する信号検出ステップと、信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、比較ステップの処理での比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出ステップとを含むことを特徴とする。

本発明のプログラムは、撮像素子を用いて撮像された画像信号を検出する信号検出ステップと、信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、比較ステップの処理での比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出ステップとをコンピュータに実行させることを特徴とする。

本発明の欠陥検出装置および方法、並びにプログラムにおいては、撮像素子を用いて撮像された画像信号が検出され、信号検出結果と所定の閾値とが比較され、比較結果に基づいて、撮像素子の欠陥検出が行われる。

本発明の欠陥検出装置は、独立した装置であっても良いし、欠陥検出を行うブロックであっても良い。

本発明によれば、後発欠陥画素を検出し、検出された後発欠陥画素に対応した補正画素値を生成することが可能となり、後発欠陥画素に起因する撮像画像の色の違和感を抑制することが可能となる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

即ち、本発明の欠陥検出装置は、撮像素子を用いた撮像手段（例えば、図１の撮像素子１３）と、撮像手段により撮像された画像信号を検出する信号検出手段（例えば、図１のA/D変換器１４）と、信号検出手段の信号検出結果と所定の閾値とを比較する比較手段（例えば、図１の欠陥検出部１５）と、比較手段の比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出手段（例えば、図１の欠陥検出部１５）とを備えることを特徴とする。

本発明の欠陥検出方法は、撮像素子を用いた撮像ステップ（例えば、図２のフローチャートのステップＳ３の処理）と、撮像ステップの処理で撮像された画像信号を検出する信号検出ステップ（例えば、図２のフローチャートのステップＳ３の処理）と、信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップ（例えば、図２のフローチャートのステップＳ１０の処理）と、比較ステップの処理での比較結果に基づいて、撮像素子の欠陥検出を行う欠陥検出ステップ（例えば、図２のフローチャートのステップＳ１１の処理）とを含むことを特徴とする。

図１は、本発明を適用した撮像装置の一実施の形態の構成を示すブロック図である。図１の撮像装置は、図示せぬシャッタボタンがユーザにより押下されたとき、静止画を撮像するものである。

レンズ１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、撮像素子１３に供給する。遮光装置１２は、図１で示されるように、１２ａの状態、または、１２ｂの状態に変化し、１２ａの状態のとき、レンズ１１からの光を撮像素子に透過できる状態にし、逆に、１２ｂの状態のとき、レンズ１１からの光を遮光し撮像素子１３に光が供給されないようにする。尚、本明細書においては、遮光装置１２ａ，１２ｂといった状態を区別する必要がない場合、単に遮光装置１２と称する。

撮像素子１３は、CCDやCMOS（Complementary Metal-Oxide Semiconducto）などから構成され、入射される光を受光し、これを光電変換して光の強度に応じた電圧信号にしてA/D（アナログ/デジタル）変換器１４に出力される。A/D変換器１４は、入力された電圧信号をデジタル信号からなる画像信号に変換し、欠陥検出部１５、および、欠陥補正部１７に出力する。

欠陥検出部１５は、欠陥検出処理がなされる際、動作し、入力された画像信号から各画素について、その周辺の画素との画素値の差を比較することで、欠陥画素であるか否かを判定し、欠陥画素であると判定された画素の位置の情報を欠陥記憶部１６に出力し、記憶させる。尚、欠陥検出の方法については、後述する。

欠陥補正部１７は、撮像された画像信号A/D変換器１４から供給された場合、動作し、欠陥記憶部１６に記憶された画素の位置情報を読み出し、入力された画像信号のうち、欠陥画素の画素位置として認識されている位置の画素の画素値を、その周辺画素から補間生成することで補正し、カメラ信号処理部１８に出力する。

次に、図２のフローチャートを参照して、欠陥検出補正処理を含む撮像処理について説明する。

図示せぬシャッタボタンがオンにされたか否か（ユーザによりシャッタボタンが押下されたか否か）が判定され、シャッタボタンがオンにされたと判定されるまでその処理が繰り返される。ステップＳ１において、シャッタボタンがオンにされて、静止画の撮像が指示されると、その処理は、ステップＳ２に進む。

ステップＳ２において、撮像素子１３は、露光状態となり撮像が開始される。すなわち、このとき遮光装置１２ａは、オフの状態、すなわち、図１の１２ａの状態となりレンズ１１より入射される光が遮光されずに撮像素子１３に入射される状態となっている。

ステップＳ３において、ステップＳ２の露光を開始したタイミングから所定の時間が経過した後、遮光装置１２は、オンにされて図１の１２ｂの状態となり、レンズ１１を透過した光が撮像素子１３に入射できない状態となる。

ステップＳ４において、撮像素子１３は、ステップＳ２の処理で露光が開始されてから、ステップＳ３の処理により露光が終了するまでの露光時間の間に、レンズ１１を透過して入射された光に基づいた、光電変換による電圧の値をアナログの画像信号としてA/D変換器１４に出力し、さらに、A/D変換器１４は、デジタル信号に変換した画像信号を欠陥検出部１５、および、欠陥補正部１７に出力する。すなわち、ステップＳ４の処理においては、ユーザがシャッタボタンを押下した瞬間の画像信号が、A/D変換器１４より出力される。

ステップＳ５において、欠陥補正部１７は、欠陥画素を補正する補正処理を実行し、欠陥画素を補正した画像信号をカメラ信号処理部１８に出力する。尚、補正処理については、図５を参照して後述する。

ステップＳ６において、これに基づいて、カメラ信号処理部１８は、欠陥補正部１７より供給された画像信号を所定の形式の画像データに処理し、記録部１９に出力して記録させる。

ステップＳ７において、撮像素子１３は、光電変換による電圧の値をアナログの画像信号としてA/D変換器１４に出力し、さらに、A/D変換器１４は、デジタル信号に変換した画像信号を欠陥検出部１５、および、欠陥補正部１７に出力する。尚、この場合、ステップＳ６の処理により画像信号が出力されて、かつ、遮光装置１２がオンの状態になった状態で、撮像素子１３に入射される光、すなわち、全黒画像の画像信号が出力される。

ステップＳ８において、欠陥検出部１５は、図示せぬカウンタＮを１に初期化する。

ステップＳ９において、欠陥検出部１５は、A/D変換器１４より供給された画像のうちブロックＢＮに属する画素値レベルが所定の閾値以下であるか否かを判定する。

より詳細には、A/D変換器１４より供給された画像が図３で示されるような、例えば、ブロックＢ１乃至Ｂ９までのブロックから構成されるものとする場合、各ブロックが所定の画素数×所定の画素数の大きさであるので、欠陥検出部１５は、そのうちのブロックＢＮについて、すなわち、今の場合、Ｎ＝１であるので、ブロックＢ１について、そのブロックに含まれる全画素の画素値レベルの総和と所定の閾値とを比較することにより、ブロックＢＮに属する画素値レベルが所定の閾値以下であるか否かを判定する。尚、この閾値は、例えば、ノイズレベルの大きさ程度に設定されている値である。尚、図３で示される各マス目は、ブロックを示している。

ステップＳ９において、ブロックＢＮに属する画素値レベルが所定の閾値以下であると判定された場合、すなわち、ブロックに含まれる全画素の画素値レベルの総和が所定の閾値よりも低いと判定された場合、上述したように、閾値は、ノイズレベルの大きさであるので、各画素の画素値レベルは、全黒画像であるとみなし、その処理は、ステップＳ１０に進む。

ステップＳ１０において、欠陥検出部１５は、ブロックＢＮのうちの所定の注目画素Ｐｋを決定する。すなわち、例えば、ブロックＢＮが６画素×６画素からなるブロックである場合、図４で示されるように、右から３列目で、かつ、上から３段目の画素を注目画素Ｐｋとして設定する。

ステップＳ１１において、欠陥検出部１５は、注目画素Ｐｋの画素値から、周辺画素の平均画素値を引いた値が所定の閾値thよりも大きいか否かを判定する。すなわち、今の場合、ブロックＢＮは、全黒画像となっていることが前提となっているので、白欠陥検出処理がなれていることになる。

通常、撮像装置の光学系には、レンズの他に図示せぬ光学ローパスフィルタが設けられている。この結果、１個の画素が周辺画素に比べて突出した画素値とならない構成となっている。しかしながら、白欠陥画素は、入射される光とは無関係に異常に強く発光するものであるので、光学ローパスフィルタの影響を受けることなく、欠陥画素だけが周辺の画素とは、無関係に高い画素値となる。

そこで、欠陥検出部１５は、ステップＳ１１において、図４の注目画素Ｐｋの画素値から、その周辺画素Ｐ１乃至Ｐ８の平均画素値を引いた値が所定の閾値thよりも大きいと判定する場合、その注目画素は、白欠陥画素であるとみなし、ステップＳ１２において、注目画素Ｐｋの画素位置を白欠陥画素であると欠陥記憶部１６に記憶させる。尚、注目画素の周辺画素の平均画素値は、上述した注目画素の隣接画素となる８画素のみならず、それ以上の数、または、それ以下の数の周辺画素の平均画素値であってもよく、例えば、注目画素の上下左右の４個の画素の平均画素値でもよいし、注目画素を中心として５画素×５画素の合計２５画素の平均画素値を用いるようにしてもよい。

ステップＳ１３において、欠陥検出部１５は、ブロックＢＮに属する全ての画素について、欠陥検出処理を施したか否かを判定し、例えば、まだ、ブロックＢＮに属する画素のうち、欠陥検出処理をしていない画素が存在すると判定した場合、その処理は、ステップＳ１４に進む。

ステップＳ１４において、欠陥検出部１５は、ブロックＢＮ中で、欠陥検出処理がなされていない画素の中から、次の欠陥検出処理を行うための注目画素Ｐｋを設定し、その処理は、ステップＳ１１に進む。

ステップＳ１３において、ブロックＢＮに属する全ての画素について、ステップＳ１１の処理である欠陥検出処理がなされたと判定された場合、その処理は、ステップＳ１５に進む。

ステップＳ１５において、欠陥検出部１５は、A/D変換器１４より供給された画像信号中の全てのブロックＢＮについて欠陥検出処理がなされたか否かを判定する。すなわち、図３で示されるような画像信号Ｆが入力された場合、ブロックＢ１乃至Ｂ９の全てのブロックＢＮにおいて欠陥検出がなされたか否かが判定される。

ステップＳ１５において、例えば、全てのブロックについて欠陥検出処理がなされていないと判定された場合、ステップＳ１６において、欠陥検出部１５は、図示せぬカウンタＮを１インクリメントし、その処理は、ステップＳ９に戻る。すなわち、全てのブロックＢＮにおいて、欠陥検出処理がなされるまで、ステップＳ９乃至Ｓ１６の処理が繰り返される。ステップＳ１５において、全てのブロックＢＮにおいて、欠陥検出処理がなされたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。

以上の処理により、シャッタボタンが押下された後、画像信号を転送する際に遮光装置１２がオンになる（図１の１２ｂの状態になる）タイミングを利用して、白欠陥画素の検出処理がなされるので、ユーザに意識されること無く、撮像装置が白欠陥検出処理をすることが可能となる。

以上においては、シャッタボタンが押下された後のタイミングで遮光装置１２がオンになるタイミングを利用して、白欠陥画素の検出処理を行うこと場合について説明してきたが、遮光装置１２をオンにしても撮像装置の動作に影響しないタイミングであれば、遮光装置１２をオンにすることで、ステップＳ９において、常に、ブロックＢＮの画素値レベルは所定の閾値以下となるので、撮像の度に、欠陥画素の位置を検出する処理が実行されることになるので、ユーザに意識されることなく、白欠陥検出処理を行うことができる。

また、遮光装置１２をオンにしても撮像装置の動作に影響しないタイミングとしては、例えば、電源投入直後の使用開始時、撮像した画像が表示されている時、メニュー選択画面を表示している時、ネットワーク機能を使用している時、または、メモリにアクセスしている時（例えば、フォーマットなど）などである。さらに、撮像素子１３を露光する必要のない機能が使用されている状態から、他の露光が必要なモードに切り替わる直前、または、切り替わった直後に欠陥検出を行うと、温度上昇によって発生した後発欠陥画素の最新状態に対した欠陥検出処理がなされることになるので、撮像する直前の状態の欠陥画素を反映して画像を撮像することが可能となる。

さらに、撮像装置の電源がオフにされた直後に欠陥検出処理を実行するようにしてもよい。すなわち、先に述べたように後発欠陥は温度上昇により増加するものなので、電源がオフにされた直後というのは撮像装置の温度が高温になっている可能性が高いと考えられる。そこで過去の温度情報の最高温度を欠陥記憶部１６に併せて記憶させておき、電源がオフにされる直前の温度が過去の最高温度よりも大きいときにのみ欠陥検出を行うようにさせてもよい。結果として、後発欠陥が目立ち易い条件で欠陥検出処理が行われるので、最悪の条件での欠陥検出処理が可能となる。

ただし、このように最悪の条件での欠陥検出結果を用いると、低温撮影時には目立たない欠陥画素の位置までが検出されることになるため、低温撮影時においては過補正になる恐れがある。そこで、欠陥検出画素の個数に限界個数を設けるようにして閾値（図２のフローチャートにおけるステップＳ１１の閾値th）との差が大きい欠陥画素のみが記憶されるようにしてもよい。このように欠陥検出画素の個数に限界個数が設定されることにより、特に目立つ欠陥画素の欠陥画素位置のみが記憶されることになるので、低温時での撮影時に生じる恐れのある過補正が抑制されることになる。さらに、この場合、低温で欠陥画素の検出が行われたときに比べて、後発欠陥画素が目立ち易い条件で欠陥画素の検出が行われるので、低温で欠陥画素の検出を行った場合には検出できない可能性があった欠陥画素（例えば、低温時には、図２のフローチャートにおけるステップＳ１１の閾値thとの差がほとんど無いような欠陥画素）も確実に欠陥画素として検出することができる。

次に、図５を参照して、図２のフローチャートのステップＳ５における補正処理について説明する。

ステップＳ２１において、欠陥補正部１７は、欠陥記憶部１６に記憶されている欠陥画素の画素位置の情報を読み出す。

ステップＳ２２において、欠陥補正部１７は、A/D変換器１４より供給された画像信号のうち、読み出した欠陥画素の画素位置に対応する画素の周辺画素のッ画素値を読み出す。すなわち、欠陥補正部１７は、例えば、図４における画素Ｐｋが欠陥画素位置である場合、その周辺の画素として、画素Ｐ１乃至Ｐ８の画素値を読み出す。

ステップＳ２３において、欠陥補正部１７は、読み出した欠陥画素位置の周辺画素の画素値の平均を求める。すなわち、例えば、図４の場合、欠陥補正部１７は、周辺画素の平均値として（Ｐ１＋Ｐ２＋Ｐ３＋Ｐ４＋Ｐ５＋Ｐ６＋Ｐ７＋Ｐ８）／８を演算する。尚、ここで、Ｐ１乃至Ｐ８は、画素Ｐ１乃至Ｐ８の画素値を示す。また、図４においては、欠陥画素が画素Ｐｋだけであるが、欠陥画素が複数個であった場合は、各欠陥画素について同様の処理を施す。尚、欠陥画素の周辺画素の平均画素値は、上述した欠陥画素の隣接画素となる8画素のみならず、それ以上の数、または、それ以下の数の周辺画素であってもよく、例えば、上下左右の４個の画素の平均画素値でもよいし、注目画素を中心として５画素×５画素の合計２５画素の平均画素値であってもよい。

ステップＳ２４において、欠陥補正部１７は、ステップＳ２３の処理により求められた欠陥画素の周辺画素の画素値の平均値を欠陥画素の画素値として、欠陥画素ではない位置の画素は、入力されたままの画素値で、それぞれカメラ信号処理部１８に出力する。

すなわち、以上の処理により、欠陥画素の画素値は、周辺画素の画素値の平均画素値を用いた補間により補正されるので、欠陥画素に起因する本来の被写体に存在する色とは異なる発色がなされることにより画像上に発生する色による違和感を抑制することができる。

また、図２のフローチャートを参照して説明した処理を、図６Ａ乃至Ｅで示すようなタイミングチャートにまとめると、以下のようになる。尚、図６Ａは、撮像装置を制御する垂直同期信号を示す。図６Ａにおいては、所定の立ち下がりのタイミングで制御を行うものとする。また、図６Ｂは、遮光装置１２の動作を示しており、図中の「ＯＮ」の場合、図１の遮光装置１２ａの状態を示し、「ＯＦＦ」の場合、遮光装置１２ｂの状態を示す。図６Ｃは、撮像素子１３の露光状態を示す。図６Ｄは、撮像素子１３の画像信号がA/D変換器１４に供給され、さらに、A/D変換器１４によりデジタル信号に変換された信号が出力されるタイミングを示している。図６Eは、欠陥補正部１７により欠陥画素位置の画素の画素値が補正されるタイミングを示している。図６Ｆは、欠陥検出部１５が、欠陥画素を検出し、検出した欠陥画素の画素位置の情報を欠陥記憶部１６に記憶させるタイミングを示している。

すなわち、時刻ｔ０において、シャッタボタンが押下されると、ステップＳ１において、シャッタボタンがオンにされたと判定し、遮光装置１２が図１の１２ａの状態となり、図６Ｃで示されるように露光が開始される（ステップＳ２の状態）。所定の時間が経過した時刻ｔ１において、図６Ｂで示されるように、遮光装置１２がオンにされて、図１の１２ｂの状態にされると共に、同時に、図６Ｃで示されるように、露光が終了し、さらに、図６Ｄで示されるように撮像素子１３からの画像信号が出力され、時刻ｔ３で終了する（ステップＳ４の処理）。より詳細には、インタレース方式で画像信号が出力される場合、時刻ｔ１乃至ｔ２において、偶数段目の画素からなるフレームの画像信号が出力され、時刻ｔ２乃至ｔ３において、奇数段目の画素からなるフレームの画像信号が出力されることになる。

時刻ｔ３になると、撮像素子１３は、全ての画像信号を全て出力しきった状態となるが、同時刻には、遮光装置１２は、１２ｂの状態のままであるため、光が入らない状態で露光された状態（全黒露光状態）となる。また、同時に、時刻ｔ３において、欠陥補正部１７は、欠陥記憶部１６より欠陥画素の位置情報を読み出し、読み出した欠陥画素の位置情報に基づいて、欠陥画素の補正処理を実行する（ステップＳ５の処理）。

時刻ｔ４において、露光が完了すると共に、欠陥補正処理が終了すると、撮像素子１３は、遮光装置１２がオンになった状態、すなわち、全黒状態で露光したときの画像信号を出力する（ステップＳ７の処理）。

ここでの処理においても、インタレース方式で画像信号が出力される場合、時刻ｔ４乃至ｔ５において、偶数段目の画素からなるフレームの画像信号が出力され、時刻ｔ５乃至ｔ６において、奇数段目の画素からなるフレームの画像信号が出力されることになる。

時刻ｔ６において、欠陥検出部１５は、撮像素子１３から出力され、A/D変換器１４においてデジタル変換された画像信号に基づいて、欠陥検出処理を実行する（ステップＳ８乃至Ｓ１６）。また、同時に、遮光装置１２は、オフにされて、図１の１２ａの状態となる。

これらの処理は、上述したように、ユーザが静止画を撮像する際になされる一連の処理であるので、ユーザは、欠陥画素の補正や、欠陥画素の検出処理が実行されていることを意識する必要が無くなる。さらに、静止画が撮像される度に、欠陥検出処理（図２のフローチャートにおいてなされるのは白欠陥画素の検出処理）が行われるので、特に、連続して撮影が続く場合、直前の欠陥画素の状態を反映して画像を撮像することが可能となるので、より高い精度で欠陥画素の位置を検出して補正することが可能となる。

尚、図２においては、ステップＳ９の処理は、遮光装置１２の機能障害が発生したようなとき（例えば、遮光が完全にできないような機能障害などが発生したとき）、欠陥検出部１５が、遮光装置１２により光が遮光されていない状態で欠陥画素の検出が行われないようにするための処理であるが、通常は、遮光装置１２が、オンにされた状態になった後に、欠陥画素検出処理（ステップＳ８乃至Ｓ１６の処理）がなされることになるので、ステップＳ９においては、実質的には、常に、ブロックＢＮの画素値レベルが所定の閾値よりも低いと判定されることになるはずである（遮光装置１２により撮像素子１３に入射される光は遮光されているはずである）ので、ステップＳ９の処理は、スキップし（或いは削除し）、ステップＳ８の処理の後、ステップＳ１０の処理に進むようにしてもよい。

以上においては、静止画を撮像する際に、遮光装置１２の動作に応じて、全黒状態での露光可能なタイミングを利用して、欠陥検出処理（白欠陥検出処理）をする場合の例について説明してきたが、以上の例においては、白欠陥検出処理のみしかできず、また、静止画を撮像するシャッタボタンを押下するといった、きっかけとなる動作が無ければ欠陥検出ができない。結果として、動画を撮像するような場合、動画の撮像が継続され続けると、動作時間の経過と共に撮像装置本体の温度が上昇していくにも関わらず欠陥検出ができない状態が継続することになるため、後発欠陥画素に対応した撮像ができなくなる恐れがある。

そこで、動画を撮像する場合に、上述した画像信号の各ブロック単位（図３で示されるようなブロックＢ１乃至Ｂ９）で全白画像、または、全黒画像を検出し、全白画像、または、全黒画像が検出されたタイミングで、ブロック単位で欠陥画素検出をさせるようにしてもよい。

図７は、動画の撮像を目的とした撮像装置の他の構成を示す図である。

レンズ３１は、図１のレンズ１１と同様に被写体からの光を集光し、アイリス３２を介して撮像素子３３に供給する。アイリス３２は、いわゆる絞りであり、演算部４０により制御され、レンズ３１より入射される光の量を調整する。撮像素子３３は、基本的に図１の撮像素子１３と同様のものであり、CCDやCMOSなどから構成され、レンズ３１、および、アイリス３２を介して入射された光を光電変換し、所定の電圧値からなる画像信号を発生し、AGC（Automatic Gain Control）３４に出力する。

AGC３４は、演算部４０により制御され、撮像素子３３より供給される光の強度を示す電圧値のゲインを制御し、一定のレベルの電圧値にしてA/D変換器３５に出力する。A/D変換器３５は、AGC３４より供給された画像信号をデジタル信号に変換し、欠陥検出部３６、および、欠陥補正部３８に供給する。

欠陥検出部３６は、演算部４０に制御され、白欠陥画素検出処理、および、黒欠陥画素検出処理を実行し、検出した欠陥画素の位置情報を欠陥記憶部３７に記憶させる。尚、欠陥検出部３６による欠陥検出処理については、詳細を後述する。

欠陥補正部３８は、図１の欠陥補正部１７と同一のものであり、欠陥記憶部３７に記憶された欠陥画素の位置情報に基づいて、A/D変換器３５より供給された画像信号のうちの対応する位置に存在する画素の画素値を補正し、検波部３９に出力する。

検波部３９は、欠陥補正部３８より供給された画像信号に基づいて検波処理を行い、検波信号を演算部４０、および、カメラ信号処理部４１に出力する。

演算部４０は、例えば、マイクロコンピュータなどから構成されており、検波部３９より供給された検波信号のレベルに基づいて、アイリス３２、および、AGC３４を制御することによりゲインを制御する。また、演算部４０は、検波信号に基づいて、図３を参照して説明したようなブロック単位で全白画像、または、全黒画像を検出し、検出結果に応じて、欠陥検出部３６を制御して、白欠陥検出処理、または、黒欠陥検出処理を実行させる。

カメラ信号処理部４１は、検波部３９より入力された検波信号に基づいて、信号処理を行い、処理結果を表示部４２に出力して、表示させると共に、記録部４３に出力して画像データとして記録させる。

次に、図８のフローチャートを参照して、図７の撮像装置による欠陥検出処理を含む撮像処理について説明する。

ステップＳ４１において、録画が指示されたか否か（ユーザにより図示せぬ録画開始ボタンが押下されて録画が指示されている状態か否か）が判定され、録画が指示されていると判定されるまでその処理を繰り返す。ステップＳ４１において、録画が指示された状態になったと判定された場合、その処理は、ステップＳ４２に進む。

ステップＳ４２において、撮像素子３５は、露光状態となり撮像が開始され、順次レンズ３１を透過して入射された光に基づいた、光電変換による電圧の値を画像信号としてAGC３４に出力する。さらに、AGC３４は、この画像信号をゲインコントロールし、A/D変換器３５に出力する。そして、A/D変換器３５は、入力された画像信号を、デジタル信号に変換し、欠陥検出部３６、および、欠陥補正部３８に出力する。

ステップＳ４３において、欠陥補正部３８は、欠陥画素を補正する補正処理を実行し、欠陥画素を補正した画像信号を検波部３９に出力する。尚、補正処理については、図５を参照して説明した処理と同様であるので、その説明は省略する。

ステップＳ４４において、検波部３９は、入力された画像信号を検波処理し、検波信号をカメラ信号処理部４１、および、演算部４０に出力する。

ステップＳ４５において、カメラ信号処理部１８は、検波信号を所定の形式の画像データに処理し、表示部４２に表示させると共に、記録部４３に出力して記録させる。

ステップＳ４６において、演算部４０は、図示せぬカウンタＮを１に初期化する。

ステップＳ４７において、演算部４０は、検波信号に基づいて、図２のステップＳ９の処理と同様に、撮像された画像のうち、ブロックＢＮに属する画素値レベルが所定の閾値以下であるか否かを判定する。

ステップＳ４７において、ブロックＢＮに属する画素値レベルが所定の閾値以下であると判定された場合、すなわち、ブロックＢＮに含まれる全画素の画素値の総和が所定の閾値よりも低いと判定された場合、上述したように、閾値は、ノイズレベルの大きさであるので、各画素の画素値レベルは、全黒画像であるとみなし、ステップＳ４８において、演算部４０は、欠陥検出部３６を制御し、白欠陥検出処理を実行させる。

尚、白欠陥検出処理は、図９のフローチャートの処理となるが、図９におけるステップＳ６１乃至Ｓ６５の処理は、図２を参照して説明したステップＳ１０乃至Ｓ１４の処理と同様であるので、その説明は省略する。

ステップＳ４９において、演算部４０は、検波部３９より供給された検波信号に基づいた、画像のうちブロックＢＮに属する画素値レベルが所定の閾値以上であるか否かを判定する。

より詳細には、検波部３９は、上述したステップＳ４７の処理は逆に、各ブロックＢＮについて、全白画像であるか否かを判定する処理を実行する。すなわち、検波部３９より供給された検波信号に基づいた画像が図３で示されるような場合、例えば、ブロックＢ１乃至Ｂ９までのブロックとして処理を進める。各ブロックは、所定の画素数×所定の画素数の大きさであり、そのうちのブロックＢＮについて、すなわち、今の場合、Ｎ＝１であるので、ブロックＢ１について、そのブロックに含まれる全画素の画素値の総和と所定の閾値とを比較することにより、ブロックＢＮに属する画素値レベルが所定の閾値以上であるか否かを判定する。

ステップＳ４９において、ブロックＢＮに属する画素値レベルが所定の閾値以上であると判定された場合、すなわち、ブロックに含まれる全画素の画素値の総和が所定の閾値よりも高いと判定された場合、上述したように、各画素の画素値は、全白画像のものであるとみなし、ステップＳ５０において、演算部４０は、欠陥検出部３６を制御して、黒欠陥検出処理を実行させる。

ここで、図１０のフローチャートを参照して、黒欠陥検出処理について説明する。尚、ステップＳ７１，Ｓ７４、および、Ｓ７５の処理は、図２のフローチャートを参照して説明したステップＳ１０，Ｓ１３、および、Ｓ１４の処理と同様であるのでその説明は省略する。

ステップＳ７２において、欠陥検出部３６は、周辺画素の平均画素値から注目画素Ｐｋの画素値を引いた値が所定の閾値thよりも大きいか否かを判定する。すなわち、今の場合、ブロックＢＮは、全白画像となっていることが前提となっているので、黒欠陥検出処理がなされていることになる。

上述したように、通常、撮像装置の光学系には、レンズの他に図示せぬ光学ローパスフィルタが設けられている。この結果、１個の画素が周辺画素に比べて突出した画素値とならない構成となっている。しかしながら、黒欠陥画素は、入射される光とは無関係に異常に弱く発光するものであるので、光学ローパスフィルタの影響を受けることなく、欠陥画素だけが周辺の画素とは、無関係に低い画素値となる。

そこで、欠陥検出部３６は、ステップＳ７２において、図４の注目画素Ｐｋの周辺画素Ｐ１乃至Ｐ８の平均画素値から注目画素Ｐｋの画素値を引いた値が所定の閾値thよりも大きいと判定する場合、その注目画素は、黒欠陥画素であるとみなし、ステップＳ７３において、注目画素Ｐｋの画素の位置を黒欠陥画素であると欠陥記憶部３７に記憶させる。尚、注目画素の周辺画素の平均画素値は、上述した注目画素の隣接画素となる８画素のみならず、それ以上の数、または、それ以下の数の周辺画素であってもよく、例えば、上下左右の４個の画素を平均画素値でもよいし、注目画素を中心として５画素×５画素の合計２５画素の平均画素値を用いるようにしてもよい。

以上のように、欠陥検出部３６は、上述した白欠陥検出処理における周辺画素の画素値と、注目画素の画素値との大小関係が反対の関係となる画素を検出することで、黒欠陥画素を検出している。

ここで、図８のフローチャートの説明に戻る。ステップＳ５１において、演算部４０は、A/D変換器１４より供給された画像信号中の全てのブロックＢＮについて欠陥検出処理がなされたか否かを判定する。すなわち、図３で示されるような画像信号Ｆが入力された場合、ブロックＢ１乃至Ｂ９の全てのブロックＢＮにおいて欠陥検出がなされたか否かが判定される。

ステップＳ５１において、例えば、全てのブロックについて欠陥検出処理がなされていないと判定された場合、ステップＳ５２において、演算部４０は、図示せぬカウンタＮを１インクリメントし、その処理は、ステップＳ４７に戻る。すなわち、全てのブロックＢＮにおいて、欠陥検出処理がなされるまで、ステップＳ４７乃至Ｓ５２の処理が繰り返される。ステップＳ５１において、全てのブロックＢＮにおいて、欠陥検出処理がなされたと判定された場合、その処理は、ステップＳ４１に戻り、それ以降の処理が繰り返される。

すなわち、ステップＳ４７，Ｓ４９の処理により、各ブロックの画素値レベル（各ブロックに属する画素値の総和）が所定の閾値と比較して、小さい場合、または、大きい場合に、それぞれ白欠陥検出処理、または、黒欠陥検出処理が、撮像処理を行う中で繰り返し実行されることにより、直近の各ブロックが全白画像、または、全黒画像になったタイミングにおける欠陥検出結果を反映して欠陥画素の画素値を補正することが可能となる。

尚、各ブロックの画素値レベルが所定の閾値よりも小さくなる、いわゆる、全白画面が検出される条件は、例えば、明るいところを撮像していて急に暗いところを撮像した場合が考えられる。すなわち、明るいところで最適な露光になるようにして撮像すると、アイリス３２が絞り気味に設定されることで映像信号が所定のレベルにされる。この状態から急に暗いところが撮像されると最適な露光にするためにアイリス３２が開放方向に動作するように制御されることになるが、アイリス３２の制御の応答性により生じる遅れから、一瞬、入射される光は暗いにもかかわらずアイリス３２が絞られすぎた状態となる。このような状態のとき、全黒画像が撮像されることになる。

また、ユーザがAE（Automatic Exposure）をマニュアルで使用するモードにしている場合が考えられる。すなわち、露出時間がユーザにより設定されるため、ユーザの設定によっては、アイリス３２が絞られすぎた状態となることがあり、このような状態のとき、全黒画像が撮像されることになる。

さらに、低照度撮像においてAEの制御範囲を超えた場合が考えられる。すなわち、低照度撮像では、AEは映像信号を一定にしようとするので、アイリス３２、電子シャッタ（撮像素子３３が受光した光に基づいて光電効果によって生成する信号を発生できる状態にする時間を制御することにより、あたかも擬似的にシャッタがあるかのように制御させることでシャッタのように振舞うもの）、および、AGC４が、全てそれぞれに明るくなる方向（アイリス３２を開放し、電子シャッタが露光時間を長くし、AGC４がゲインを高める方向）に動作するように制御されるが、規定レベル以上には動作しないようになっているので、AEの制御範囲を超えた場合では明るさの制御ができず、低照度になればなるほど映像信号も低下する。加えて、低照度では映像信号は黒となる。例えば、真っ暗なシーンを撮像した場合や、レンズフードを装着して撮像した場合がこれにあたる。

また、各ブロックの画素値レベルが所定の閾値よりも大きくなる、いわゆる、全白画面が検出される条件は、暗いところで撮像しているような状態から、急に明るいところが撮像された場合が考えられる。暗いところで最適な露光になるようにするとアイリス３２はやや開放した状態となることで、映像信号が所定のレベルとなるように制御される。この状態で、突然明るいところが撮像されると最適な露光にするためにアイリス３２が絞る方向に動作するように制御されるが、応答性の関係から一瞬遅れてしまうので、入射される光は明るいがアイリス３２の絞りが暗いときの状態のままで、本来の絞りよりも開放されている状態となったままの場合があり、そのときの全白画像が検出される。

また、ユーザがAE（Automatic Exposure）がマニュアルで使用するモードになされている場合が考えられる。すなわち、露出時間がユーザにより設定されるため、ユーザの設定によっては、アイリス３２が開放状態となっていることがあり、このような状態のとき、全白画像が撮像されることになる。

なお、撮像素子１３，３３は、CCDに限らず、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、またはCPD（Charge Priming Device）などでもよく、また、画素がマトリックス状に配置されている撮像素子１３，３３に限らず、画素が１列に並んでいる撮像素子１３，３３でもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図１１は、図１，図７の撮像装置の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory) １０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、または半導体メモリ１２４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory) １０３にロードして実行する。これにより、上述した図１，図７の撮像装置の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した撮像装置の構成を示すブロック図である。 図１の撮像装置による撮像処理を説明するフローチャートである。 ブロックを説明する図である。 欠陥画素の検出方法を説明する図である。 図１の撮像装置による補正処理を説明するフローチャートである。 図１の撮像装置による撮像処理を説明するタイミングチャートである。 本発明を適用したその他の撮像装置を示すブロック図である。 図８の撮像装置による撮像処理を説明するフローチャートである。 図８の撮像装置による白欠陥検出処理を説明するフローチャートである。 図８の撮像装置による黒欠陥検出処理を説明するフローチャートである。 記録媒体を説明する図である。

符号の説明

１１ レンズ， １２，１２ａ，１２ｂ 遮光装置， １３ 撮像装置， １４ A/D変換器， １５ 欠陥検出部， １６ 欠陥記憶部， １７ 欠陥補正部， １８ カメラ信号処理部， ３１ レンズ， ３２ アイリス， ３３ 撮像素子， ３４ AGC， ３５ A/D変換器， ３６ 欠陥検出部， ３７ 欠陥記憶部， ３８ 欠陥補正部， ３９ 検波部， ４０ 演算部

Claims (8)

1. 撮像素子を用いた撮像手段と、
   前記撮像手段により撮像された画像信号を検出する信号検出手段と、
   前記信号検出手段の信号検出結果と所定の閾値とを比較する比較手段と、
   前記比較手段の比較結果に基づいて、前記撮像素子の欠陥検出を行う欠陥検出手段と
   を備えることを特徴とする欠陥検出装置。
2. 前記欠陥検出手段により検出された前記撮像素子の欠陥の位置を記憶する記憶手段と、
   前記記憶手段により記憶された欠陥が検出された位置の画素の画素値を補正する補正手段とをさらに備える
   ことを特徴とする請求項１に記載の欠陥検出装置。
3. 前記比較手段による比較結果が、前記信号検出手段の信号検出結果が所定の閾値より小さい場合、前記欠陥検出手段は、前記撮像素子の白欠陥検出を行う
   ことを特徴とする請求項１に記載の欠陥検出装置。
4. 撮像素子で受光される光を遮光する遮光手段をさらに備え、
   前記比較手段は、前記遮光手段により遮光された場合に、前記信号検出手段の信号検出結果と所定の閾値とを比較する
   ことを特徴とする請求項３に記載の欠陥検出装置。
5. 前記比較手段による比較結果が、前記信号検出手段の信号検出結果が所定の閾値より大きい場合、前記欠陥検出手段は、前記撮像素子の黒欠陥検出を行う
   ことを特徴とする請求項１に記載の欠陥検出装置。
6. 撮像素子を用いて撮像された画像信号を検出する信号検出ステップと、
   前記信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、
   前記比較ステップの処理での比較結果に基づいて、前記撮像素子の欠陥検出を行う欠陥検出ステップと
   を含むことを特徴とする欠陥検出方法。
7. 撮像素子を用いて撮像された画像信号を検出する信号検出ステップと、
   前記信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、
   前記比較ステップの処理での比較結果に基づいて、前記撮像素子の欠陥検出を行う欠陥検出ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 撮像素子を用いて撮像された画像信号を検出する信号検出ステップと、
   前記信号検出ステップの処理での信号検出結果と所定の閾値とを比較する比較ステップと、
   前記比較ステップの処理での比較結果に基づいて、前記撮像素子の欠陥検出を行う欠陥検出ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images