JP2006157192A - 欠陥画素補正装置及び欠陥画素補正方法 - Google Patents

Abstract

【課題】ユーザを煩わせることなく、また特別な機器構成を取ることなく欠陥画素の補正を行う技術を提供する。
【解決手段】撮像デバイス１６から取得された通常記録用の画像データをメモリ３０のＡ領域に取り込む撮影シーケンスが終了した場合、シャッター１４で撮像デバイス１６を遮光し、この状態で撮像デバイス１６により欠陥画素検出用の画像データを取り込み、メモリ３０のＢ領域に記憶する。ＣＰＵ２０は、欠陥画素検出用の画像データのなかで所定の閾値以上の信号値となる欠陥画素を検出し、そのアドレスをカメラ１０のＲＯＭ４６に記録する。デジタル信号処理部３２は、ＲＯＭ４６内に記録してある欠陥画素のアドレスに存在する通常記録用の画像データの画素を周囲の同色画素から補間して埋め戻す処理を行うことにより、キズを補正する。
【選択図】 図１

Description

本発明は欠陥画素補正装置及び欠陥画素補正方法に係り、特に固体撮像素子の欠陥画素補正に関する。

従来、固体撮像素子の欠陥画素を補正する技術が様々考案されている。例えば特許文献１によると、画像処理装置（撮像装置）の電源スイッチがＯＮになった直後に、撮像素子を露光しない状態で該撮像素子の電荷を蓄積させて、これによりダーク画像データを得る。その後、撮像素子の温度を計測し、その温度に応じてダーク補正係数及び／或いは点キズ位置情報を決定し、ダーク画像データ、及びダーク補正係数及び／或いは点キズ位置情報に基づいて撮影画像を補正する。
特開２００１−２８７１３号公報

特許文献１では、電源オンになったときに自動的に欠陥画素検出を行うのであるが、毎回カメラの起動に時間がかかるため不便であり、シャッターチャンスを逃す可能性もある。また、撮像素子の温度条件で欠陥画素を決定することから、ＣＣＤ温度を測定する温度センサーが必要となり、機器構成が複雑となりコスト面でも問題がある。本発明はこのような問題点に鑑みてなされたもので、ユーザを煩わせることなく、また特別な機器構成を取ることなく欠陥画素の補正を行う技術を提供することを目的とする。

上述の課題を解決するため、本発明に係る欠陥画素補正装置は、固体撮像素子と、固体撮像素子を遮光する遮光部と、遮光部により遮光しない状態で固体撮像素子から通常記録用の画像データを取得した後、遮光部により遮光した状態で固体撮像素子から欠陥画素検出用の画像データを取得する動作を実行するよう固体撮像素子及び遮光部を制御する制御部と、欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録する検出部と、通常記録用の画像データの画素のうち、アドレスに存在する画素を補間する補正部と、を備える。

この発明によると、通常記録用の画像データ取り込みの後に遮光状態で欠陥画素検出用の画像データを取り込み、欠陥画素のアドレスを記録し、そのアドレスに存在する通常記録用の画像の画素を補正する。このため、従来のように、欠陥画素の補正処理によりシャッターチャンスを逃すなどユーザを煩わせることもなく、また特別な構成も必要ない。

欠陥画素補正装置は、前記動作を実行するか否かを指定する指定部をさらに備え、制御部は、前記動作の実行が指定された場合に前記動作を実行するよう制御してもよい。

欠陥画素補正装置は、長時間露光による撮影モードである長時間撮影モードを設定するモード設定部をさらに備え、制御部は、長時間撮影モードが設定された場合に動作を実行するよう制御してもよい。

制御部は、所定時間以上の長時間露光による撮影が行われる場合に動作を実行するよう制御してもよい。

また、上述の課題を解決するため、本発明に係る欠陥画素補正装置は、固体撮像素子と、固体撮像素子を遮光する遮光部と、所定時間以上の長時間露光による撮影が行われる場合、遮光部により遮光しない状態で固体撮像素子から通常記録用の画像データを取得する動作と、遮光部により遮光した状態で固体撮像素子から欠陥画素検出用の画像データを取得する動作とを少なくとも所定時間が経過するまで交互に実行するよう固体撮像素子及び遮光部を制御する制御部と、欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録する検出部と、通常記録用の画像データの画素のうち、アドレスに存在する画素を補間する補正部と、を備える。

この発明によると、長時間露光の場合、欠陥画素検出用の画像データを通常記録用の画像データの取り込みの合間に少なくとも所定時間が経過するまで繰り返し取り込む。このため、長時間露光による撮影を妨げることなく、欠陥画素の補正を行うことができる。

また、上述の課題を解決するため、本発明に係る欠陥画素補正方法は、固体撮像素子を遮光する遮光部により遮光しない状態で固体撮像素子から通常記録用の画像データを取得した後、遮光部により遮光した状態で固体撮像素子から欠陥画素検出用の画像データを取得するステップと、欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録するステップと、通常記録用の画像データの画素のうち、アドレスに存在する画素を補間するステップと、を含む。

また、上述の課題を解決するため、本発明に係る欠陥画素補正方法は、所定時間以上の長時間露光による撮影が行われる場合、固体撮像素子を遮光する遮光部により遮光しない状態で固体撮像素子から通常記録用の画像データを取得する動作と、遮光部により遮光した状態で固体撮像素子から欠陥画素検出用の画像データを取得する動作とを少なくとも所定時間が経過するまで交互に実行するするステップと、欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録するステップと、通常記録用の画像データの画素のうち、アドレスに存在する画素を補間するステップと、を含む。

この発明によると、通常記録用の画像データ取り込みの後に遮光状態で欠陥画素検出用の画像データを取り込み、欠陥画素のアドレスを記録し、そのアドレスに存在する通常記録用の画像の画素を補正する。このため、従来のように、欠陥画素の補正処理によりシャッターチャンスを逃すなどユーザを煩わせることもなく、また特別な構成も必要ない。

また、この発明によると、長時間露光の場合、欠陥画素検出用の画像データを通常記録用の画像データの取り込みの合間に取り込む。このため、長時間露光による撮影を妨げることなく、欠陥画素の補正を行うことができる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

＜第１実施形態＞
［概略構成］
図１は本発明の好ましい実施形態に係る電子カメラ１０のブロック図である。このカメラ１０は、単板式のデジタルカメラであり、撮影レンズ１２及びシャッター兼用絞り機構１４を通過した光は、撮像デバイス１６の受光面の上に結像される。メカシャッター１４は、撮像デバイス１６から信号を読み出すときに光が撮像デバイス１６に入射してスミア等が発生するのを防止する。絞り機構は、撮像デバイス１６に入射する光の量を調節する。

本例では撮像デバイス１６としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを適用してもよい。撮像デバイス１６の受光面には多数の受光素子（フォトダイオード）が２次元的に配列されており、各受光素子に対応して色分解用のカラーフィルタが設けられている。撮像デバイス１６の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。こうして各受光素子に蓄積された信号電荷は、駆動回路１８から加えられるリードゲートパルスによって転送路に読み出され、信号電荷に応じた電圧信号（画像信号）として順次出力される。なお、撮像デバイス１６は、シャッターゲートパルスのタイミングによって電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。

シャッタースイッチ４２が半押しされると、ＡＥ処理が開始される。即ち、撮像デバイス１６から出力された画像信号はＡ／Ｄ変換後にＡＥ／ＡＷＢ検出回路１３８に入力される。

ＡＥ／ＡＷＢ検出回路１３８は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ２０に提供する。ＣＰＵ２０は、ＡＥ／ＡＷＢ検出回路１３８から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードＳｐが決定され、これに従いＣＰＵ２０は駆動回路１８を介してシャッター・絞り１４を制御して適正な露光量を得る。

駆動回路１８は、タイミング信号を発生させるタイミングジェネレータを含み、中央処理装置（ＣＰＵ）２０の指令に従って撮像デバイス１６に対して駆動信号を与えるとともに、撮像デバイス１６及びアナログ信号処理部２２等に同期信号を与える。また、駆動回路１８は、撮像デバイス１６のドライバ回路として機能すると同時に、撮影レンズ１２、シャッター兼用絞り機構１４及びストロボ（閃光装置）２４を動作させる駆動回路として機能する。なお、ストロボ２４は、低照度時など必要な時に自動的に、或いはユーザの操作によって強制的に発光させることができ、被写体に補助光を照射する。

撮像デバイス１６は、タイミングジェネレータで生成したタイミング信号に基づいて駆動され、画像信号を出力する。撮像デバイス１６から出力された画像信号はアナログ信号処理部２２に送られる。アナログ信号処理部２２は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含む。このアナログ信号処理部２２に入力された画像信号は相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。

アナログ信号処理部２２で生成された信号は、Ａ／Ｄ変換器２６においてデジタル信号に変換された後、バス（カメラ内部のメインバス）２８を介して一旦メモリ３０に格納される。なお、このメモリ３０の記憶領域の一部はＣＰＵ２０の演算作業用エリアとしても利用される。

メモリ３０に格納された画像データは、バス２８を介してデジタル信号処理部３２に送られる。デジタル信号処理部３２は、撮像デバイス１６の欠陥画素（キズ）のデータを補間する補正（以下、欠陥画素補正という。）処理、ホワイトバランス処理、ガンマ変換処理、同時化処理（単板撮像デバイスのカラーフィルタ配列に起因する色信号の空間的なズレを補間して各点の色を計算する処理）、輝度・色差信号生成（ＹＣ変換）処理、輪郭強調（アパーチャ付加）処理、シャープネス補正処理、データの圧縮・伸張処理等を行う信号処理手段であり、ＣＰＵ２０からのコマンドに従ってメモリ３０を活用しながら画像信号を処理する。

デジタル信号処理部３２に入力された画像データは、欠陥画素補正、ＹＣ変換等の所定の処理が施された後、ＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮され、メモリカードインターフェース部３４を介してメモリカード３６に記録される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。

画像データを保存する手段は、メモリカード３６で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。

なお、カメラ１０において、ガンマ変換や同時化、ＹＣ変換などの画像処理を施していない未加工の画像データ（Ａ／Ｄ変換後に欠陥画素補正のみを実施したＣＣＤ−ＲＡＷデータ）をメモリカード３６に記録するモード（ＲＡＷデータ記録モード）を付加してもよい。

再生モード時には、メモリカード３６から画像データが読み出され、デジタル信号処理部３２において伸張処理された後、表示用の信号に変換され、画像表示部３８に出力される。画像表示部３８には、液晶モニタや有機ＥＬなどの表示装置を用いることができる。この画像表示部３８はユーザインターフェース用の表示画面としても利用される。

また、カメラ１０はパソコンその他の外部機器との間でデータの送受信を行うための通信接続、或いは外部オプション装置を接続するための通信／オプションインターフェース部４０を備えている。この通信／オプションインターフェース部４０には、例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈなど有線又は無線方式の各種インターフェースを適用できる。

ＣＰＵ２０は、所定のプログラムに従って本カメラ１０を統括制御する制御部であり、シャッタースイッチ４２及びその他の操作スイッチ等４４からの入力信号に基づいてカメラ１０内の各回路の動作を制御する。カメラ１０に対してユーザが各種の指示を入力するための操作スイッチには、例えば、カメラ１０の動作モードを選択するためモード選択スイッチ、メニューを表示させるメニュースイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなどがある。

ＣＰＵ２０はシャッタースイッチ４２及び操作スイッチ等４４から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス１６を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード３６の読み書き制御、画像表示部３８の表示制御、外部機器との通信制御などを行う。

ＲＯＭ４６にはＣＰＵ２０が処理するプログラム及び制御に必要な各種データ（欠陥画素のアドレスや欠陥画素判定用の閾値、調整値データなど）が格納されている。不揮発性記憶手段としてのＲＯＭ４６は、書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものであってもよい。

［処理の流れ］
次に、図２のフローチャートに基づき、上記の如く構成されたカメラ１０において撮像デバイス１６の欠陥画素を補正する補正処理の流れを説明する。

Ｓ１では、ＣＰＵ２０は、シャッタースイッチ４２の全押しに応じて撮影シーケンスを実行し、撮像デバイス１６から取得された通常記録用の画像データの出力信号をＡ／Ｄ変換してメモリ３０のＡ領域に取り込む。ＣＰＵ２０は、撮影シーケンスが終了したか否かを判断する。撮影シーケンスが終了した場合はＳ２に移行し、終了していない場合は上記判断を繰り返す。なお、撮影シーケンスが終了したか否の判断方法は様々ある。例えば、通常の撮影モードが設定されている場合、シャッタースイッチ４２が全押しされて離されたときに撮影シーケンスが終了したと判断する。あるいは、連続撮影モード（連写モード）が設定されている場合、所定枚数の画像を撮り終えた時点で撮影シーケンスが終了したと判断する。あるいは、多重露光モードが設定されている場合、ユーザにより設定された多重露光を行う回数にいたるまで被写体像が多重に露光された場合、撮影シーケンスが終了したと判断する。

Ｓ２では、ＣＰＵ２０は、シャッター１４を制御して撮像デバイス１６を遮光し、この状態で撮像デバイス１６により欠陥画素検出用の画像データを取り込み、メモリ３０のＢ領域に記憶する。Ｓ３では、ＣＰＵ２０は、欠陥画素検出用の画像データのなかで所定の閾値以上の信号値となる欠陥画素を検出し、そのアドレスをカメラ１０のＲＯＭ４６に記録する（暗時白欠陥画素の登録）。

Ｓ４では、デジタル信号処理部３２は、ＲＯＭ４６内に記録してある欠陥画素のアドレスに存在する通常記録用の画像データの画素を周囲の同色画素から補間して埋め戻す処理を行うことにより、キズを補正する。

以上説明したように、本実施形態の補正処理では、撮影シーケンスが終了した直後に遮光状態で欠陥画素検出用の画像データを取り込み、その画像データに基づいて欠陥画素の存在するアドレスを記録し、そのアドレスにある通常記録用画像の画素を補正する。このため、従来のように、欠陥画素のアドレス記録処理によりシャッターチャンスを逃すなどユーザを煩わせることもなく、また特別な構成も必要ない。

＜第２実施形態＞
遮光状態で欠陥画素検出用の画像データを取り込むタイミングは、第１実施形態に示したものに限らず、特に長時間撮影においては、以下のようにすることもできる。図３は第２実施形態に係る補正処理のフローチャートである。

Ｓ１１では、ＣＰＵ２０は、シャッタースイッチ４２の半押しに応じて撮影に適した露出値（撮影ＥＶ値）を算出し、露出値と所定のプログラム線図に従い、絞り値とシャッタースピードＳｐを決定する。

Ｓ１２では、ＣＰＵ２０は、シャッタースピードＳｐが所定時間ｎ（ｍｓｅｃ）以上、即ち長時間露光による撮影であるか否かを判断する。Ｓｐ≧ｎであればＳ１３に移行し、Ｓｐ＜ｎであれば処理を終了する。

Ｓ１３では、ＣＰＵ２０は、Ｋ＝０としてメモリ３０に記憶する。

Ｓ１４では、ＣＰＵ２０は、撮影のシャッタースピードＳｐ＝ｍ（ｍｓｅｃ）とし、シャッタースイッチ４２の全押しに応じて通常記録用の画像データ取得を開始する。得られた画像データはメモリ３０のＡ領域に記憶される。ｍは、固定された任意の値であり、ｍ＜ｎである。例えば、ｎ＝３０であれば、ｍ＝１とする。

Ｓ１５では、ＣＰＵ２０は、遮光撮影のシャッタースピードＳｐ＝ｍ（ｍｓｅｃ）とし、シャッター１４で撮像デバイス１６を遮光し、この状態で撮像デバイス１６により欠陥画素検出用の画像データを取り込む。取り込まれた画像はメモリ３０のＢ領域に記憶される。なお、Ｓ１４のシャッタースピードとＳ１５のシャッタースピードは同じ時間ｍである必要はない。

Ｓ１６では、ＣＰＵ２０は、Ｋを１だけインクリメントしてメモリ３０に記憶する。

Ｓ１７では、ＣＰＵ２０は、Ｋ≧ｎ／ｍ、即ちＳ１４の繰り返しによる露光時間の総計ｍＫが所定時間ｎ以上となったか否かを判断する。Ｋ≧ｎ／ｍとなった場合はＳ１８に移行し、Ｋ＜ｎ／ｍの場合はＳ１４に戻る。Ｓ１４の再実行で取得された通常記録用の画像データは、既にメモリ３０のＡ領域に記憶されている通常記録用の画像データに多重される。この繰り返しで天体撮影時などのように極めて低輝度の被写体撮影を行う最長露光時間の長い撮影を行う。Ｓ１５の再実行で取得された欠陥画素検出用の画像データを、既にメモリ３０のＢ領域に記憶されている通常記録用の画像データに多重してもよい。

Ｓ１８では、ＣＰＵ２０は、メモリ３０のＢ領域に記憶された画像データのなかで所定の閾値以上の信号値となる欠陥画素を検出し、そのアドレスをカメラ１０のＲＯＭ４６に記録する。

Ｓ１９では、デジタル信号処理部３２は、ＲＯＭ４６内に記録してあるアドレスに存在するメモリ３０のＡ領域に記憶された画像データの画素を周囲の同色画素から補間して埋め戻す処理を行うことにより、キズを補正する。

なお、補正処理をＣＰＵ２０などに実行させるプログラムはＲＯＭ４６に記憶されている。

補正処理を実行するか否かは操作スイッチ４４などから指定できるようにしてもよく、例えば操作スイッチ４４から補正モードが設定されたときに限り実行するようにしてもよい。あるいは、長時間撮影を行なうと画質劣化が生じやすいため、ＣＰＵ２０は、操作スイッチ４４などから最長露光時間の長い長時間撮影モードの設定を受け付けた場合に補正処理を実行するようにしてもよい。長時間撮影モードの設定はＣＰＵ２０が自動的に行ってもよい。例えば、撮像デバイス１６の近傍に設けられた図示しない温度検出素子によって、撮像デバイス１６の表面温度が所定温度以下になったことが検出された場合、ＣＰＵ２０は長時間撮影モードを設定してもよい。あるいは、ＣＰＵ２０は撮像デバイス１６への通電時間を計測し、通電時間が所定時間を超えた場合に長時間撮影モードを設定してもよい。

上記の処理では、シャッタースピードＳｐが所定時間ｎ以上となる長時間露光の場合、補正用の画像データを通常撮影の合間に取り込む。このため、通常撮影を妨げることなく、欠陥画素のアドレス記録及び補正を行うことができる。

本発明の好ましい実施形態に係る電子カメラのブロック構成図 第１実施形態に係る補正処理の流れを示すフローチャート 第２実施形態に係る補正処理の流れを示すフローチャート

符号の説明

１４：シャッタ・絞り、１６：撮像デバイス、２０：ＣＰＵ、３０：メモリ

Claims (7)

1. 固体撮像素子と、
   前記固体撮像素子を遮光する遮光部と、
   前記遮光部により遮光しない状態で前記固体撮像素子から通常記録用の画像データを取得した後、前記遮光部により遮光した状態で前記固体撮像素子から欠陥画素検出用の画像データを取得する動作を実行するよう前記固体撮像素子及び前記遮光部を制御する制御部と、
   前記欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録する検出部と、
   前記通常記録用の画像データの画素のうち、前記アドレスに存在する画素を補間する補正部と、
   を備える欠陥画素補正装置。
2. 前記動作を実行するか否かを指定する指定部をさらに備え、
   前記制御部は、前記動作の実行が指定された場合に前記動作を実行するよう制御する請求項１に記載の欠陥画素補正装置。
3. 長時間露光による撮影モードである長時間撮影モードを設定するモード設定部をさらに備え、
   前記制御部は、前記長時間撮影モードが設定された場合に前記動作を実行するよう制御する請求項１又は２に記載の欠陥画素補正装置。
4. 前記制御部は、所定時間以上の長時間露光による撮影が行われる場合に前記動作を実行するよう制御する請求項１に記載の欠陥画素補正装置。
5. 固体撮像素子と、
   前記固体撮像素子を遮光する遮光部と、
   所定時間以上の長時間露光による撮影が行われる場合、前記遮光部により遮光しない状態で前記固体撮像素子から通常記録用の画像データを取得する動作と、前記遮光部により遮光した状態で前記固体撮像素子から欠陥画素検出用の画像データを取得する動作とを少なくとも前記所定時間が経過するまで交互に実行するよう前記固体撮像素子及び前記遮光部を制御する制御部と、
   前記欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録する検出部と、
   前記通常記録用の画像データの画素のうち、前記アドレスに存在する画素を補間する補正部と、
   を備える欠陥画素補正装置。
6. 固体撮像素子を遮光する遮光部により遮光しない状態で前記固体撮像素子から通常記録用の画像データを取得した後、前記遮光部により遮光した状態で前記固体撮像素子から欠陥画素検出用の画像データを取得するステップと、
   前記欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録するステップと、
   前記通常記録用の画像データの画素のうち、前記アドレスに存在する画素を補間するステップと、
   を含む欠陥画素補正方法。
7. 所定時間以上の長時間露光による撮影が行われる場合、固体撮像素子を遮光する遮光部により遮光しない状態で前記固体撮像素子から通常記録用の画像データを取得する動作と、前記遮光部により遮光した状態で前記固体撮像素子から欠陥画素検出用の画像データを取得する動作とを少なくとも前記所定時間が経過するまで交互に実行するするステップと、
   前記欠陥画素検出用の画像データから欠陥画素を検出し、検出された欠陥画素の存在するアドレスを記録するステップと、
   前記通常記録用の画像データの画素のうち、前記アドレスに存在する画素を補間するステップと、
   を含む欠陥画素補正方法。

Images