JP2009284343A - 撮像装置、欠陥補正装置、欠陥補正方法及びプログラム - Google Patents

Abstract

【課題】 画像データの補正処理を高精度で行うことができる撮像装置、欠陥補正装置、欠陥補正方法及びプログラムを提供すること。
【解決手段】 撮像装置１は、固体撮像素子３と、予め欠陥画素の欠陥種類情報及び欠陥レベル情報を記憶する欠陥情報メモリ７と、欠陥画素の画像データに関する補正を行う欠陥補正回路６とを有する。欠陥補正回路６は、欠陥種類情報に基づいて欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部５２と、欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部５３と、欠陥種類判定部５２及び補正判定部５３の判定結果に応じて欠陥画素の画像データを補正する画素データ補正部５４とを含む。
【選択図】 図１

Description

本発明は、欠陥画素を有する固体撮像素子から出力される画像信号を補正処理する撮像装置、欠陥補正装置、欠陥補正方法及びプログラムに関する技術分野である。

従来、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で構成された固体撮像素子を有するディジタルスチルカメラ等の撮像装置では、製造工程上の不具合などで予め定められた正常な出力レベルが得られない欠陥画素が存在する。

欠陥画素の欠陥の種類としては、白欠陥、黒欠陥、割合性画素欠陥及びオフセット性画素欠陥が存在する。白欠陥は半導体の結晶ダメージによって生じ、黒表示の際に光が通過する欠陥である。黒欠陥は白表示の際に光を透過しない欠陥である。割合性画素欠陥は画素の感度が異なるために正常画素の出力レベルに対する増減率を示す欠陥レベルを有する欠陥であり、入射光量が同一にもかかわらず、出力レベルが他の画素と比べて所定の割合だけ増減するものである。オフセット性欠陥は正常画素の出力レベルに対して上乗せされる所定のオフセット量を示す欠陥レベルを有する欠陥であり、正常画素に比べて、基準となる出力レベルが所定のオフセット量だけシフトするものである。

このような欠陥画素が存在すると予め定められた正常な出力レベルを得ることができないため、画質の劣化を引き起こすことがある。

以下に、上記したような欠陥画素から出力される信号を補正する従来の撮像装置について図５〜図７を参照して説明する。

図５に示すように、撮像装置１００は、レンズ１０１と、固体撮像素子１０２と、前処理部１０３と、Ａ/Ｄ変換部１０４と、欠陥補正回路１０５と、不揮発性の欠陥情報格納メモリ１０６と、信号処理部１０７とを備えて構成されている。欠陥情報格納メモリ１０６には、工場出荷時などにおいて予め検出された固体撮像素子１０２の欠陥画素のアドレス情報が記憶されている。

撮像装置１００において、レンズ１０１から入射された入射光は固体撮像素子１０２で光電変換される。光電変換された入射光は、前処理部１０３で黒レベル調整などが施され、Ａ/Ｄ変換部１０４において画素ごとにディジタル信号に変換され、画像データとして欠陥補正回路１０５に入力される。欠陥補正回路１０５は、常に、アドレス情報を参照して欠陥画素のデータを該欠陥画素と同色であってその前後のアドレスに位置する同色フィルタ画素に基づいて算出された画素データに置き換える処理を行う。

欠陥補正回路１０５は、例えば、図６に示すように、ベイヤー状（碁盤の目状）に配列された５×５サイズの画像データにおけるアドレス（３,ｃ）に位置する画素（黒太枠で囲まれた画素）が欠陥画素であった場合に、該欠陥画素のデータを同色フィルタで水平方向において最近傍にあるアドレス（１,ｃ）と（５,ｃ）に位置する画素データの平均値を有する画素データに置き換える処理を行っている。

欠陥補正回路１０５において欠陥の補正が行われた画像データは、信号処理部１０６において各種の信号処理が施される。

しかしながら、欠陥補正回路１０５が、常に、前後のアドレスに位置する画素データに基づいて欠陥画素の出力信号のレベルを補正する処理を行っているので、補正に用いる画素データとしては、本来出力されるべき信号レベルとはかけ離れた信号レベルを有する画素データが用いられることがあり、その場合、欠陥の補正後の信号レベルが理想の信号レベルとはかけ離れた信号レベルとなり補正による傷（以下、「補正傷」と呼ぶ。）が発生し、画像データの欠陥の補正処理の精度の低下を招いていた。

具体的には、ある被写体（図７（ａ）、（ｂ）の網掛け部分）が撮影され、図７（ａ）の左側に示すような画像データが欠陥補正回路１０５に入力されると、被写体のエッジ部分（第３列と第４列の境界線）と重複している欠陥画素（太黒枠に囲まれた画素）が図７（ａ）の右側に示すように補正された結果、補正傷が発生する。

また、図７（ｂ）の左側に示すような画像データが欠陥補正回路１０５に入力されると、被写体の高解像度部分（網掛け部分）と重複している欠陥画素（太黒枠に囲まれた画素）が図７（ｂ）の右側に示すように補正された結果、補正傷が発生する。
上記したような補正傷の発生を避けるために、欠陥画素の周囲に存在する画素の信号出力を用いてパターン認識を行い、補正に用いる画素をリアルタイムに適宜変更するような従来技術（例えば、特許文献１参照）が知られている。

特開平３−２９６３７４号公報

しかしながら、上記した欠陥補正方法では補正を行うために欠陥画素の上下ラインにある画素情報を記憶しておくための複数のラインメモリやパターン認識処理を行う信号処理部が必要となり、システムが複雑となってしまう。
本発明は、上記問題点を解消するためになされたものであり、パターン認識などの複雑な処理を必要とせずに高精度で画像データの補正処理を行うことができる撮像装置、欠陥補正装置、欠陥補正方法及びプログラムを提供することを目的とする。

本発明の第１の態様による撮像装置は、入射光を光電変換する固体撮像素子と、予め前記固体撮像素子の欠陥画素のアドレス情報、欠陥種類情報及び欠陥レベル情報を記憶する記憶手段と、前記欠陥画素の画像データに関する処理を行う欠陥処理手段とを有し、前記欠陥処理手段が、前記欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを含むようにしたものである。

従って、撮像装置による撮像時において、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無の判定処理が行われる。

本発明の第２の態様に係る欠陥補正装置は、予め記憶手段に記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて該欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを有するようにしたものである。

従って、欠陥補正装置による欠陥の補正処理において、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無が判定される。

本発明の第３の態様に係る欠陥補正方法は、予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有するようにしたものである。

従って、欠陥の補正処理において、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無の判定処理を行う。

本発明の第４の態様に係るプログラムは、コンピュータに、予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有する処理を実行させるようにしたものである。

従って、コンピュータに、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無の判定処理を実行させる。

本撮像装置は、入射光を光電変換する固体撮像素子と、予め前記固体撮像素子の欠陥画素のアドレス情報、欠陥種類情報及び欠陥レベル情報を記憶する記憶手段と、前記欠陥画素の画像データに関する処理を行う欠陥処理手段とを有し、前記欠陥処理手段が、前記欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを含む。

従って、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無を判定し、判定結果に応じて前記欠陥画素の画像データを補正しているので、撮像装置における画像データの補正処理を高精度で行うことができる。

請求項２に記載した発明にあっては、前記第１の欠陥が正常画素の出力レベルに対する増減率として表わされる欠陥レベルを有する割合性画素欠陥であり、前記第２の欠陥が正常画素の出力レベルに対して上乗せされる所定のオフセット量として表わされる欠陥レベルを有するオフセット性画素欠陥であるので、欠陥の種類が割合性画素欠陥、オフセット性画素欠陥であった場合に高精度で画像データの補正処理を行うことができる。

請求項３に記載した発明にあっては、欠陥の種類が前記割合性画素欠陥である場合に、前記補正判定値は前記増減率に基づいて得られる正常画素の出力レベルと前記割合性画素欠陥を有する欠陥画素の出力レベルとの差として求められ、前記補正判定部は、前記補正判定値が前記閾値より小さい場合に、前記欠陥画素の画像データを補正しないように前記画素データ補正部を制御しているので、割合性画素欠陥における欠陥の補正を行うことによって逆に補正傷が発生してしまうような場合に補正せずに画質を劣化させないように処理することができる。その結果、補正傷の発生頻度を減らすことができる。

請求項４に記載した発明にあっては、欠陥の種類が前記オフセット性画素欠陥である場合に、前記補正判定値は欠陥画素の出力レベルから前記オフセット量を減じて得られる正常画素の出力レベルと該オフセット量との比率として求められ、前記補正判定部は、前記補正判定値が前記閾値より小さい場合に、前記欠陥画素の画像データを補正しないように前記画素データ補正部を制御しているので、オフセット性画素欠陥における欠陥の補正を行うことによって逆に補正傷が発生してしまうような場合に補正せずに画質を劣化させないように処理することができる。その結果、補正傷の発生頻度を減らすことができる。

本欠陥補正装置にあっては、予め記憶手段に記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて該欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを有する。

従って、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無を判定し、判定結果に応じて前記欠陥画素の画像データを補正しているので、欠陥補正装置における画像データの補正処理を高精度で行うことができる。

本欠陥補正方法にあっては、予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有する。

従って、欠陥の種類、欠陥レベル及び欠陥画素の現在の出力レベルに基づいて算出された値と、予め定められた閾値とを比較して補正の有無を判定し、判定結果に応じて前記欠陥画素の画像データを補正しているので、欠陥補正方法における画像データの補正処理を高精度で行うことができる。

本プログラムにあっては、コンピュータに、予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有する処理を実行させる。

従って、本プログラムをコンピュータに実行させることにより画像データの補正処理を高精度で行うことができる。

以下に、本発明の実施の形態に係る撮像装置について説明する。図１は、本発明の実施の形態に係る撮像装置の構成について示すブロック図である。

撮像装置１は、レンズ２と、固体撮像素子３と、前処理部４と、Ａ/Ｄ変換部５と、欠陥補正回路６と、欠陥情報格納メモリ７と、信号処理部８とを備えて構成されている。

レンズ２は、図示しない被写体からの光を集光するレンズやフォーカス（ピント）の調整をするためのフォーカスレンズ等の光学系を備えて構成され、被写体からの光を固体撮像素子３の受光面に集光する。

固体撮像素子３は、ＣＣＤ、ＣＭＯＳセンサ等を備えて構成され、レンズ２を介して入射された光を受光して光電変換を行い、光の受光量に応じた電気信号としてのアナログ信号の画像（画像信号）を送出する。

前処理部４はアナログ信号の黒レベル調整等の前処理を行う。

Ａ/Ｄ変換部５は、前処理部４からのアナログ信号をＡ/Ｄ変換し、その結果得られるディジタル信号の画像（画像データ）を送出する。

欠陥補正回路６は、Ａ/Ｄ変換部５からの画像データに含まれる欠陥画素の欠陥の補正処理を行う欠陥処理手段として機能し、アドレス確認部５１、欠陥種類判定部５２、補正判定部５３及び画素データ補正部５４を備えて構成されている。この欠陥の補正処理の詳細については後述する。

欠陥情報格納メモリ７はＲＡＭ（Random Access Memory）等の不揮発性メモリである。欠陥情報格納メモリ７は欠陥画素に関する各種の情報を記憶する記憶手段として機能し、欠陥情報格納メモリ７には、工場出荷時などにおいて予め検出された固体撮像素子２の欠陥画素のアドレス情報、欠陥種類情報及び欠陥レベル情報が記憶されている。欠陥の種類としては白欠陥、黒欠陥、割合性画素欠陥及びオフセット性画素欠陥が挙げられる。欠陥レベルの詳細については後述する。尚、欠陥画素の欠陥種類情報は、それぞれ該欠陥画素のアドレス情報と一義的に対応して欠陥情報格納メモリ７に記憶されている。

信号処理部８は、ディジタル化された画像データに基づいてフィルタ演算、輝度生成演算、色生成演算等のディジタル信号処理を行い、輝度・色信号から成る画像信号を生成する。

以下に、欠陥補正回路６の欠陥の補正処理について図２〜図４を参照して説明する。

上記したように、欠陥情報格納メモリ７は、予め検出された固体撮像素子２の欠陥画素のアドレス情報、欠陥種類情報及び欠陥レベル情報を記憶する（欠陥画素情報記憶ステップ）。

まず、ステップＳ１（欠陥画素判定ステップ）において、アドレス確認部５１は、Ａ／Ｄ変換部５から送出された画像データを受け、欠陥情報格納メモリ７に格納されている欠陥画素のアドレス情報を参照し、前記画像データが欠陥画素であるか否かを判定する。画像データが欠陥画素であると判定された場合には、欠陥種類判定部５２に前記欠陥画素の画像データが送出され、ステップＳ２（欠陥画素種類判定ステップ）に移行する。画像データが欠陥画素でないと判定された場合には信号処理部８に前記画像データが送出され、欠陥の補正処理が終了する。

ステップＳ２の欠陥画素種類判定処理において、欠陥種類判定部５２は、欠陥情報格納メモリ７に記憶されている欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が割合性画素欠陥及びオフセット性画素欠陥の少なくとも一つの欠陥であるか否かを判定する。

具体的には、欠陥種類判定部５２に入力された欠陥画素のアドレス情報を参照し、該アドレス情報に対応した欠陥種類情報が割合性画素欠陥を示していた場合には欠陥の種類が割合性画素欠陥であると判定され、欠陥種類情報がオフセット性画素欠陥を示していた場合には欠陥の種類がオフセット性画素欠陥であると判定され、欠陥種類情報が割合性画素欠陥及びオフセット性画素欠陥を示していた場合には欠陥の種類が割合性画素欠陥であると共にオフセット性画素欠陥であると判定される。

欠陥画素の欠陥が割合性画素欠陥及びオフセット性画素欠陥の少なくとも一つの欠陥であると判定された場合には、欠陥種類判定部５２に前記欠陥画素の画像データが送出され、ステップＳ３（欠陥補正判定ステップ）に移行する。当該欠陥が割合性画素欠陥及びオフセット性画素欠陥以外の欠陥、例えば白欠陥等のその他の欠陥である場合には、ステップＳ４の画素データ補正処理に移行する。

ステップＳ４の画素データ補正処理において、画素データ補正部５４は、入力された欠陥画素のデータを、該欠陥画素と同色であってその欠陥画素の前後のアドレスに位置する同色フィルタ画素に基づいて算出された画素データに置き換える処理を行った後に、該置き換えた画素データを信号処理部８へ送出し、欠陥の補正処理が終了する。

ステップＳ３の欠陥の補正判定処理において、補正判定部５３は、前記欠陥画素の出力レベル及び欠陥情報格納メモリ７に記憶された欠陥レベル情報に基づいて算出される補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する。

ここで、欠陥レベルは、割合性画素欠陥の場合には、割合性画素欠陥を有する欠陥画素の出力レベル（以下、「割合性欠陥出力」と呼ぶ。）Ｄ_ratioの正常出力レベル（以下、「正常出力」と呼ぶ。）Ｄiに対する所定の増減率Ｒ[％]で表わされる（以下の数式（１）参照）。

Ｄ_ratio＝Ｄi×（１−Ｒ／１００） ・・・・・・・（１）
図３（ａ）に示す例では、割合性欠陥出力Ｄ_ratioが正常出力Ｄiに対して所定の増減率Ｒ[％]だけ減じた値となっている。

オフセット性画素欠陥の場合には、欠陥レベルは、図４（ａ）に示すように、オフセット性画素欠陥を有する欠陥画素の出力レベル（以下、「オフセット性欠陥出力」と呼ぶ。）Ｄ_offsetと正常出力Ｄiの差、即ち、オフセット量Ｄoで表わされる（以下の数式（２）参照）。即ち、オフセット性欠陥出力Ｄ_offsetは正常出力Ｄiに対してオフセット量Ｄo上乗せされた（シフトした）値となる。

Ｄ_offset＝Ｄi＋Ｄo ・・・・・・・（２）
欠陥情報格納メモリ７には予め欠陥画素のアドレスに対応した増減率Ｒ及びオフセット量Ｄoが記憶されている。即ち、工場出荷時において欠陥画素であると認定された場合に、該欠陥画素のアドレス情報及び欠陥種類情報と共に該欠陥画素の増減率Ｒ及びオフセット量Ｄoが欠陥レベル情報として欠陥情報格納メモリ７に記憶される。

割合性画素欠陥の場合における補正判定値は、以下の数式（３）の左辺を計算して求められる。尚、左辺は増減率Ｒに基づいて得られる正常画素の出力レベルＤiと割合性欠陥出力Ｄ_ratioとの差を意味している。右辺は前記補正判定値と比較するための閾値Ｓrであり、この閾値Ｓrは予め補正判定部５３に設けられた内部メモリ（図示せず）に記憶されているが、欠陥情報格納メモリ７に記憶されていても良い。

Ｄ_ratio／（１−Ｒ／１００）×Ｒ／１００＜Ｓr ・・・・・・・（３）
オフセット性画素欠陥の場合における補正判定値は、以下の数式（４）の左辺を計算して求められる。尚、左辺は、オフセット性欠陥出力Ｄ_offsetからオフセット量Ｄoを減じて得られる正常画素の出力レベルＤiとオフセット量Ｄoとの比率を意味している。右辺は前記補正判定値と比較するための閾値Ｓoである。

Ｄo／（Ｄ_offset−Ｄo）×１００＜Ｓo ・・・・・・・（４）
以下に、ステップＳ３における欠陥の補正の有無の具体的な判定方法について上記した数式（３）、（４）を参照して説明する。

割合性画素欠陥においては、数式（３）の左辺で表わされる補正判定値が閾値Ｓrより小さい場合、即ち、数式（３）の関係を満たす場合に、補正判定部５３は、ステップＳ４における画素データの補正処理を行わないように画素データ補正部５４を制御し、欠陥の補正処理が終了する。前記補正判定値が閾値Ｓr以上である場合、即ち、数式（３）の関係を満たさない場合に、補正判定部５３は、前記欠陥画素の画像データについて、上記したステップＳ４における画素データの補正処理を行うように画素データ補正部５４を制御する。

以下に、数式（３）の関係を満たす場合に画素データの補正処理を行わないようにした理由について図３（ｂ）を参照して説明する。図３（ｂ）は割合性欠陥出力Ｄ_ratioと正常出力Ｄiの関係を示したグラフである。

図３（ｂ）に示すように、割合性画素欠陥においては、欠陥補正回路６に入力された画像データの入力レベルが大きい場合には、割合性欠陥出力Ｄ_ratioと正常出力Ｄiとの差が大きくなるので補正をしなければ画質の劣化が目立ってしまう。ところが、入力レベルが小さい場合には、割合性欠陥出力Ｄ_ratioと正常出力Ｄiとの差が小さくなるので、その差がノイズと同視でき補正を行わなくても画質の劣化が目立つことはなく画質に悪影響を及ぼさない。このような理由により、上記した数式（３）の関係を満たす場合には補正を行わないようにしている。

また、オフセット性画素欠陥においては、数式（４）の左辺で表わされる補正判定値が閾値Ｓoより小さい場合、即ち、数式（４）の関係を満たす場合に、補正判定部５３は、ステップＳ４における画素データの補正処理を行わないように画素データ補正部５４を制御し、欠陥の補正処理が終了する。前記補正判定値が閾値Ｓo以上である場合、即ち、数式（４）の関係を満たさない場合に、補正判定部５３は、前記欠陥画素の画像データについて上記したステップＳ４における画素データの補正処理を行うように画素データ補正部５４を制御する。

以下に、数式（４）の関係を満たす場合に画素データの補正処理を行わないようにした理由について図４（ｂ）を参照して説明する。図４（ｂ）はオフセット性欠陥出力Ｄ_offsetと正常出力Ｄiの関係を示したグラフである。

図４（ｂ）に示すように、オフセット性画素欠陥においては、欠陥補正回路６に入力された画像データの入力レベルが小さい場合には、正常出力Ｄiとオフセット性欠陥出力D_offsetとの比率が大きくなるので補正をしなければ画質の劣化が目立ってしまう。ところが、入力レベルが大きい場合には前記比率が小さくなるので、正常出力Ｄiとオフセット性欠陥出力D_offsetとの差がノイズと同視でき補正を行わなくても画質の劣化が目立つことはなく画質に悪影響を及ぼさない。このような理由により上記した数式（４）の関係を満たす場合には補正を行わないようにしている。

尚、閾値Ｓr、Ｓoに関しては、撮像装置１の画質調整を行なう際に、固体撮像素子２の飽和電荷量、信号処理部８におけるガンマ（γ）処理等のパラメータを考慮して、どの程度であれば画質の劣化が目立たないかを確認した上で決定することが好ましい。また、この閾値Ｓr、Ｓoは固定値とするのではなく、固体撮像素子２や信号処理部８などの組み合わせで決まる撮像装置ごとに決定することが好ましい。

上記した実施の形態では、割合性欠陥出力Ｄ_ratioと正常出力Ｄiとの差が小さい場合やオフセット性欠陥出力D_offsetと正常出力Ｄiとの比率が小さい場合には画質の劣化が少ないことに着目して、欠陥画素の画素出力（入力レベル）に応じて欠陥の補正の有無を判定しているので、欠陥の補正を行うことによって逆に補正傷が発生してしまうような場合には、補正せずに画質を劣化させないように処理することができる。その結果、補正傷の発生頻度を減らすことができる。

また、上記したような補正傷の発生を避けるために、欠陥画素の周囲に存在する画素の信号出力を用いてパターン認識を行い、補正に用いる画素をリアルタイムに適宜変更するような従来技術も知られているが、このような方式では補正を行うために欠陥画素の上下ラインにある画素情報を記憶しておくための複数のラインメモリやパターン認識処理を行う信号処理部が必要となり、システムが複雑となってしまう。

上記した実施の形態によれば欠陥画素の画素出力（入力レベル）応じて欠陥の補正の有無を判定しているので、前記ラインメモリの追加やパターン認識などの複雑な処理を必要とすることなく、補正傷の発生頻度を減らすことができる。

また、本発明には、上記欠陥補正方法における各ステップをコンピュータに実行させるプログラムも含む。このプログラムは、コンピュータで実行される処理そのものであってもよく、このプログラムがコンピュータで読み取り可能な記録媒体に格納されているものであってもよく、また、インターネットを含む通信ネットワークとアクセスすることにより取り込まれるものであってもよい。

プログラムを実行する方式としては、コンピュータがアクセスして実行させる方式であってもよく、また、コンピュータのプログラム記憶エリアに読み出して実行させる方式であってもよい。

本発明における記録媒体として、コンピュータで処理が行なわれるために必要なメモリ、例えば、ＲＯＭ（Read Only Memory）等のプログラムメディアを用いてもよく、また、プログラム読取装置として設けられた外部記憶装置によって読取可能なプログラムメディアを用いてもよい。

また、本発明において用いられる記録媒体は、インターネットを含む通信ネットワークからダウンロードするプログラムを記録する媒体であってもよい。通信ネットワークからプログラムをダウンロードする場合には、ダウンロード用のソフトウエアを予め撮像装置に格納しておくか、ダウンロード用のソフトウエアを別の記録媒体からインストールしてもよい。

尚、上記したプログラムメディアには、例えば、磁気テープ等のテープ状記録媒体、ＦＤ（フレキシブルディスク）やＨＤ（ハードディスク）等の磁気ディスク、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、ＩＣ（Integrated Circuit）カード等のカード型の記録媒体、マスクＲＯＭやＥＰＲＯＭ（Erasable Programmable Read Only Memory）やＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）やフラッシュＲＯＭ等の半導体メモリ等の各種のメディアが含まれる。

また、上記した各実施の形態は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。

本発明の実施の形態に係る撮像装置の構成を示した図である。 欠陥補正回路における欠陥補正方法を説明するためのフローチャートである。 （ａ）は割合性画素欠陥を説明するための図であり、（ｂ）は割合性欠陥出力と正常出力の関係を示したグラフである。 （ａ）はオフセット性画素欠陥を説明するための図であり、（ｂ）はオフセット性欠陥出力と正常出力の関係を示したグラフである。 従来の撮像装置の構成を示した図である。 欠陥画素を含んで配列された画素データの構成を示した図である。 従来における欠陥画素の出力信号の補正について説明するための図である。

符号の説明

１…撮像装置、２…レンズ、３…固体撮像素子、４…前処理部、５…Ａ／Ｄ変換部、６…欠陥補正回路、７…欠陥情報格納メモリ、８…信号処理部、５１…アドレス確認部、５２…欠陥種類判定部、５３…補正判定部、５４…画素データ補正部

Claims (7)

1. 入射光を光電変換する固体撮像素子と、
   予め前記固体撮像素子の欠陥画素のアドレス情報、欠陥種類情報及び欠陥レベル情報を記憶する記憶手段と、
   前記欠陥画素の画像データに関する処理を行う欠陥処理手段とを有し、
   前記欠陥処理手段が、
   前記欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、
   前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、
   前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを含む
   撮像装置。
2. 前記第１の欠陥は正常画素の出力レベルに対する増減率として表わされる欠陥レベルを有する割合性画素欠陥であり、
   前記第２の欠陥は正常画素の出力レベルに対して上乗せされる所定のオフセット量として表わされる欠陥レベルを有するオフセット性画素欠陥である
   請求項１に記載の撮像装置。
3. 欠陥の種類が前記割合性画素欠陥である場合に、前記補正判定値は前記増減率に基づいて得られる正常画素の出力レベルと前記割合性画素欠陥を有する欠陥画素の出力レベルとの差として求められ、
   前記補正判定部は、前記補正判定値が前記閾値より小さい場合に、前記欠陥画素の画像データを補正しないように前記画素データ補正部を制御する
   請求項２に記載の撮像装置。
4. 欠陥の種類が前記オフセット性画素欠陥である場合に、前記補正判定値は欠陥画素の出力レベルから前記オフセット量を減じて得られる正常画素の出力レベルと該オフセット量との比率として求められ、
   前記補正判定部は、前記補正判定値が前記閾値より小さい場合に、前記欠陥画素の画像データを補正しないように前記画素データ補正部を制御する
   請求項２に記載の撮像装置。
5. 予め記憶手段に記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて該欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥種類判定部と、
   前記欠陥画素の出力レベル及び前記欠陥レベル情報に基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する補正判定部と、
   前記欠陥種類判定部及び前記補正判定部の判定結果に応じて前記欠陥画素の画像データを補正する画素データ補正部とを有する
   欠陥補正装置。
6. 予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、
   予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、
   前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有する
   欠陥補正方法。
7. コンピュータに、
   予め記憶された固体撮像素子の欠陥画素の欠陥種類情報に基づいて前記欠陥画素の欠陥の種類が第１の欠陥及び第２の欠陥の少なくとも一つの欠陥であるか否かを判定する欠陥画素種類判定ステップと、
   予め記憶された固体撮像素子の欠陥画素の欠陥レベル情報及び前記欠陥画素の出力レベルに基づいて求められる補正判定値と予め定められた閾値とを比較して得られた比較結果に応じて欠陥の補正を行うか否かを判定する欠陥補正判定ステップと、
   前記欠陥画素種類判定ステップ及び前記欠陥補正判定ステップにおける判定結果に応じて前記欠陥画素の画像データを補正する画像データ補正ステップとを有する処理を実行させる
   プログラム。

Images