JP2009290653A - 欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラム - Google Patents

Abstract

【課題】注目画素の色に依存することなくエッジの検出精度を高めることが可能で、また、欠陥補正系の回路規模の増大を抑えることが可能な欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラムを提供する。
【解決手段】所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出部１４２と、所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部１４３と、輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出部１４４と、方向検出部で決定された補正方向にある同色画素を用いて、欠陥検出部で欠陥と判定された注目画素の補正を行う欠陥補正部１４５とを有する。
【選択図】図１

Description

本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子における欠陥画素を補償する機能を有する欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラムに関するものである。

一般に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子には、欠陥画素が生じることが知られている。
すなわち、固体撮像素子において、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を生じ、これに起因する画質劣化を生じることが知られている。
これらには、たとえば黒傷欠陥画素や白傷欠陥画素などがある。

これら欠陥画素を信号処理によって補正するための方式や回路構成が各種提案されている。

たとえば、出荷時の検査において欠陥画素を検出し、その位置をメモリに記憶しておくことで欠陥補正を行う技術が知られている。

しかし、この欠陥補正技術では、近年の画素数の増大に比例して１つの撮像素子あたりの欠陥画素の数も多くなり、記憶するためのコストが増大しているという問題がある。
さらに、欠陥画素は出荷後にも時間の経過とともに宇宙線等の影響で新たに発生するため、メモリに欠陥画素位置を記憶しておく方法では対応できない欠陥画素が存在する。

このような欠点を補うものとして、周辺画素とのレベル差等を用いて動的に欠陥画素を検出する方法が知られている。

こうした欠陥検出方法では、しばしば過検出による画質低下が問題となるため、被写体の状況を考慮した補正方法が提案されている（たとえば特許文献１，２参照）。

特許文献１に開示された方法では、緑（Ｇ）画素を用いてエッジ検出を行い、補正に用いる画素の方向を選択している。

また、特許文献２に開示された方法では、注目画素を中心に(１，１，０，−１，−１)といったフィルタ演算を行うことでエッジ検出を行っている。
特開２００５-３１８３８３号公報 特許第３９５０８６４号

ところが、特許文献１に開示された方法では、Ｇ画素のうち同色列のものをエッジ検出に用いているため、高周波のエッジに対応できないという不利益がある。
さらに、赤（Ｒ），青（Ｂ）画素を注目画素とした際とＧ画素を注目画素とした際に、エッジ検出の精度が異なるという不利益がある。

また、特許文献２に開示された方法では、異なる色の画素に対してフィルタ演算を行っているうえ、フィルタの性能として１／４ｆｓ以下のエッジしか検出できないため、高周波のエッジに対応できないという不利益ある。
また、特許文献２においては、Ｇ画素のみ斜め方向に用いて高周波のエッジを検出する実施例もあるが、これはＧ画素の補正に限られている。
さらに、特許文献２に開示された方法では、エッジ方向を算出するために逆正接関数を用いているため、回路規模が大きくなるという不利益がある。

本発明は、注目画素の色に依存することなくエッジの検出精度を高めることが可能で、また、欠陥補正系の回路規模の増大を抑えることが可能な欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラムを提供することにある。

本発明の第１の観点の欠陥画素補正装置は、所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出部と、上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出部と、上記方向検出部で決定された補正方向にある同色画素を用いて、上記欠陥検出部で欠陥と判定された注目画素の補正を行う欠陥補正部とを有する。

本発明の第２の観点に係る撮像装置は、被写体像を撮像する撮像素子と、上記撮像素子からの画像データを受けて、撮像素子の欠陥画素を動的に検出し、被写体のエッジに沿って周辺画素を用いて補間を行う欠陥補正を行う機能を有する欠陥画素補正部と、を有し、上記欠陥画素補正部は、所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出部と、上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出部と、上記方向検出部で決定された補正方向にある同色画素を用いて、上記欠陥検出部で欠陥と判定された注目画素の補正を行う欠陥補正部と、を含む。

好適には、上記欠陥検出部は、上記注目画素と周辺の同色複数画素とのレベルを比較することにより、注目画素が欠陥であるか否かを判定する。

好適には、上記欠陥検出部は、上記注目画素の周辺の複数の画素の平均値に対して、注目画素値が一定の閾値以上大きい場合に、注目画素は欠陥画素であると判定する。

好適には、上記方向検出部は、最もエッジ成分の弱い方向を補正方向として決定する。

好適には、上記方向検出部は、画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向についてエッジ検出を行い、最もエッジ成分の弱い方向を補正方向として決定する。

好適には、上記方向検出部は、画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向について複数列ずつエッジ検出処理を行い、当該絶対値の総和が最も小さい方向を補正方向として決定する。

好適には、上記欠陥補正部は、上記方向検出部で決定した補正方向に対して、注目画素と同色周辺の複数画素を抽出し、当該注目画素を含む複数画素に対して所定のフィルタリング処理を施す。

本発明の第３の観点の欠陥画素補正装置は、所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出ステップと、上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、上記算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出ステップと、上記方向検出ステップで決定された補正方向にある同色画素を用いて、上記欠陥検出ステップで欠陥と判定された注目画素の補正を行う欠陥補正ステップとを有する。

本発明の第４の観点は、所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出処理と、上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、上記算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出処理と、上記方向検出処理で決定された補正方向にある同色画素を用いて、上記欠陥検出ステップで欠陥と判定された注目画素の補正を行う欠陥補正処理とを含む欠陥画素補正処理をコンピュータに実行させるプログラムである。

本発明によれば、欠陥検出部が、所定サイズの撮像画像データを受けて、注目画素と周辺画素のレベル基に、注目画素が欠陥であるか否かを検出し判定する。
また、輝度算出部が、所定サイズの撮像画像データを基に、所定サイズの輝度データを得し、その輝度データを方向検出部に出力する。
方向検出部は、輝度算出部で算出された所定サイズの輝度データを受けて、画素配列において、複数方向についてのエッジ検出を行い、補正を行う方向を決定する。
そして、欠陥補正部が、方向検出部で決定された補正方向にある同色画素を用いて、欠陥検出部で欠陥と判定された注目画素の補正を行う。

本発明によれば、注目画素の色に依存することなくエッジの検出精度を高めることが可能で、また、欠陥補正系の回路規模の増大を抑えることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る欠陥画素補正装置を適用した撮像装置の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、レンズ系１１、撮像素子１２、プリ処理部１３、欠陥画素補正部１４、およびカメラ信号処理部１５を有する。

レンズ系１１は、被写体像を撮像素子１２の撮像面に結像する。

撮像素子１２は、ＣＣＤやＣＭＯＳセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
撮像素子１２は、その画素配列として、たとえば図２に示すようなベイヤ配列が採用される。

図３は、本実施形態に係る撮像素子１２の単位画素の構成例を示す回路図である。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。

各画素１２０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１２１を有する。
そして、画素回路１２０は、この１個の光電変換素子１１１に対して、転送トランジスタ１２２、リセットトランジスタ１２３、増幅トランジスタ１２４、および選択トランジスタ１２５の４つのトランジスタを能動素子として有する。

光電変換素子１２１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１２２は、光電変換素子１２１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１２２は、光電変換素子１２１で光電変換された電子をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ１２３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１２３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。

フローティングディフュージョンＦＤには、増幅トランジスタ１２４のゲートが接続されている。増幅トランジスタ１２４は、選択トランジスタ１２５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１２６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１２５のゲートに与えられ、選択トランジスタ１２５がオンする。
選択トランジスタ１２５がオンすると、増幅トランジスタ１２４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出力する。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、カラム読み出し回路に出力される。
これらの動作は、たとえば転送トランジスタ１２２、リセットトランジスタ１２３、および選択トランジスタ１２５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。

撮像素子１２は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、信号線ＬＳＧＮは、ＣＤＳ回路（相関二重サンプリング回路）等を含むカラム読み出し回路に接続される。

プリ処理部１３は、撮像素子１２から読み出されたアナログ画素情報に対して標本化処理、量子化処理等を行い、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して、生（ＲＡＷ）データを欠陥画素補正部１４に出力する。

欠陥画素補正部１４は、撮像素子１２から画像のＲＡＷデータを、プリ処理部１３を介して受け取り、撮像素子１２の欠陥画素を動的に検出し、被写体のエッジに沿って周辺画素を用いて補間を行う欠陥補正を行う機能を有する。
欠陥画素補正部１４は、欠陥補正を行うに際し、ＲＧＢ画素から輝度を計算することで高周波のエッジを検出し、補間の方向を決定する機能を有する。

カメラ信号処理部１５は、欠陥画素補正部１４の出力画像信号に対してカラー補間、ホワイトバランス、圧縮等の処理を行う。

以下、本実施形態に係る欠陥画素補正部１４の構成および機能についてさらに詳細に説明する。

図４は、本実施形態に係る欠陥画素補正部の構成例を示すブロック図である。

図４の欠陥画素補正部１４は、ディレイライン１４１、欠陥検出回路１４２、輝度算出回路１４３、方向検出回路１４４、および欠陥補正回路１４５を有する。

ディレイライン１４１は、撮像素子１２によるプリ処理部１３を介した画像のＲＡＷデータを受け取り、５×５サイズに展開する。

欠陥検出回路１４２は、ディレイライン１４１によるデータを受けて、注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する。
欠陥検出回路１４２は、検出（判定）結果を信号Ｓ１４２として欠陥補正回路１４５に出力する。

輝度算出回路１４３は、ディレイライン１４１による５×５のデータを基に、輝度算出４×４の輝度データを得る。
輝度算出回路１４３は、算出した輝度データを信号Ｓ１４３として方向検出回路１４４に出力する。

方向検出回路１４４は、輝度算出回路１４３で算出された４×４の輝度データを受けて、画素配列において、縦・横・斜め４５度・斜め１３５度の4方向についてエッジ検出を行い、補正を行う方向を決定する。
方向検出回路１４４は、決定した方向情報を信号Ｓ１４４として欠陥補正回路１４５に出力する。

欠陥補正回路１４５は、方向検出回路１４４で決定された補正方向にある同色画素を用いて、欠陥検出回路１４２で欠陥と判定された注目画素の補正を行う。

次に、本実施形態の欠陥画素補正部１４を構成する欠陥検出回路１４２、輝度算出回路１４３、方向検出回路１４４、欠陥補正回路１４５の具体的な処理について説明する。

欠陥検出回路１４２は、ディレイライン１４１によるデータを受けて、注目画素と周辺の同色８画素とのレベルを比較することにより、注目画素が欠陥であるか否かを判定する。

図５は、５×５のベイヤ配列に対応する図であって、欠陥検出回路１４２の処理を説明するための図である。

図５において、Ｐ₂₂を注目画素とすると、同色の周辺画素はＰ₀₀，Ｐ₀₂，Ｐ₀₄，Ｐ₂₀，Ｐ₂₄，Ｐ₄₀，Ｐ₄₂，Ｐ₄₄となり、欠陥検出回路１４２は、これらを用いて欠陥画素の判定を行う。
欠陥検出回路１４２は、たとえば周辺８画素Ｐ₀₀，Ｐ₀₂，Ｐ₀₄，Ｐ₂₀，Ｐ₂₄，Ｐ₄₀，Ｐ₄₂，Ｐ₄₄の平均値Ｐ_AVEに対して、注目画素値が一定の閾値ＴＨ_DEF以上大きい、または小さい場合に、注目画素は欠陥画素であるという判断を行うことができる。
なお、周辺８画素Ｐ₀₀，Ｐ₀₂，Ｐ₀₄，Ｐ₂₀，Ｐ₂₄，Ｐ₄₀，Ｐ₄₂，Ｐ₄₄の平均値Ｐ_AVは次式で与えられる。

［数１］
Ｐ_AVE ＝ （Ｐ₀₀+Ｐ₀₂+Ｐ₀₄+Ｐ₂₀+Ｐ₂₄+Ｐ₄₀+Ｐ₄₂+Ｐ₄₄）／８

欠陥検出回路１４２は、注目画素Ｐ₂₂の値が平均値Ｐ_AVと閾値ＴＨ_DEFとを加算した値と同じまたは大きい場合（P₂₂ ≧ P_AVE + TH_DE）、注目画素は白傷欠陥であると判定する。また、注目画素Ｐ₂₂の値が平均値Ｐ_AVから閾値ＴＨ_DEFを引いた値と同じまたは小さい場合（P₂₂ ≦ P_AVE - TH_DE）、注目画素は黒傷欠陥であると判定する。
欠陥検出回路１４２は、注目画素Ｐ₂₂の値が平均値Ｐ_AVと閾値ＴＨ_DEFとを加算した値より小さく、かつ平均値Ｐ_AVから閾値ＴＨ_DEFを引いた値より大きい場合（P_AVE - TH_DE < P₂₂ < P_AVE + TH_DE）、注目画素は欠陥でないと判定する。
ここで、欠陥判定に用いる閾値ＴＨ_DEFは、白傷欠陥判定用と黒傷欠陥判定用で別の値を用いても良い。
なお、欠陥検出の実現方法は必ずしもこれに限定されるものではない。

輝度算出回路１４３は、５×５のＲＡＷデータを基に、隣接した４画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ）をそれぞれ加算することによって４×４の輝度データを得る。
輝度算出回路１４３は、隣接した4画素の中心位置の輝度値Ｙ_ijを以下の式を計算することによって求める。

［数２］
Ｙ_ij ＝ Ｐ_ij + Ｐ_(i+1)j + Ｐ_i(j+1) + Ｐ_(i+1)(j+1)

図６は、５×５のベイヤ配列に対応する図であって、輝度算出回路１４３の処理を説明するための図である。

画素Ｐ_ijがＲ，Ｇｒ，Ｇｂ，Ｂのいずれであっても、輝度Ｙ_ijはＲ，Ｇｒ，Ｇｂ，Ｂをそれぞれひとつずつ用いて演算されるため、図６に示すように輝度Ｙ_ijはベイヤ配列の画素配置と同じ間隔で求めることができる。

図７（Ａ）〜（Ｄ）は、方向検出回路１４４の処理を説明するための図である。

方向検出回路１４４は、輝度算出回路１４３で得た輝度データを基に、エッジ検出を行う。
方向検出回路１４４は、正方の画素配列において、図７（Ａ）に示すような縦方向、図７（Ｂ）に示すような横方向、図７（Ｃ）に示すような斜め４５度方向、図７（Ｄ）に示すような斜め１３５度方向の４方向についてエッジ検出を行い、最もエッジ成分の弱い方向を補正方向とする。

エッジ成分は注目画素付近の３点の輝度値に関して（１，−２，１)フィルタを適用することで求める。
フィルタを適用する輝度値に関しては図７（Ａ）〜（Ｄ）に示す通りである。
方向検出回路１４４は、各方向で、長円で示す４列ずつ処理を行い、その絶対値の総和が最も小さい方向を補正方向とする。
具体的に、各方向のエッジ成分は以下の通りに計算する。なお、以下の式でabsは絶対値であることを示す。

［数３］
縦方向：
abs(Y₀₁ - 2*Y₁₁ + Y₂₁) + abs(Y₁₁ - 2*Y₂₁ + Y₃₁) + abs(Y₀₂ - 2*Y₁₂ + Y₂₂) + abs(Y₁₂ - 2*Y₂₂ + Y₃₂)

［数４］
横方向：
abs(Y₁₀ - 2*Y₁₁ + Y₁₂) + abs(Y₁₁ - 2*Y₁₂ + Y₁₃) + abs(Y₂₀ - 2*Y₂₁ + Y₂₂) + abs(Y₂₁ - 2*Y₂₂ + Y₂₃)

［数５］
斜め４５度方向：
abs(Y₂₀ - 2*Y₁₁ + Y₀₂) + abs(Y₃₀ - 2*Y₂₁ + Y₁₂) + abs(Y₂₁ - 2*Y₁₂ + Y₀₃) + abs(Y₃₁ - 2*Y₂₂ + Y₁₃)

［数６］
斜め１３５度方向：
abs(Y₀₁ - 2*Y₁₂ + Y₂₃) + abs(Y₀₀ - 2*Y₁₁ + Y₂₂) + abs(Y₁₁ - 2*Y₂₂ + Y₃₃) + abs(Y₁₀ - 2*Y₂₁ + Y₃₂)

欠陥補正回路１４５は、欠陥検出回路１４２および方向検出回路１４４の出力情報に基づいて欠陥補正を行う。
欠陥補正回路１４５は、方向検出回路１４４で決定した補正方向に対して、注目画素と同色周辺画素２つの計３画素を取りだす。
取り出す３画素は、決定された補正方向に対して、それぞれ以下の通りである。

縦方向：P₀₂, P₂₂, P₄₂、
横方向：P₂₀, P₂₂, P₂₄、
斜め４５度方向：P₄₀, P₂₂, P₀₄、
斜め１３５度方向：P₀₀, P₂₂, P₄₄

欠陥補正回路１４５は、この３画素に対してメディアンフィルタを施し、その結果を出力とする。

次に、上記構成による動作を図８のフローチャートに関連付けて説明する。

撮像素子１２の撮像画像は、プリ処理部１３で所定の処理を受けてデジタル画像信号として欠陥画素補正部１４に入力される。
欠陥画素補正部１４においては、ＲＡＷデータを受け取り、ディレイライン１４１によって５×５サイズに展開する（ＳＴ１）。
そして、注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを欠陥検出回路１４２によって判定する（ＳＴ２）。ここで欠陥であると判定された場合のみ、欠陥補正回路１４５における欠陥補正処理が行われる。
５×５のデータを基に、輝度算出回路１４３において４×４の輝度データを得る（ＳＴ３）。
この４×４の輝度データを用いて方向検出回路に１４４よって縦・横・斜め４５度・斜め１３５度の4方向についてエッジ検出を行い、補正を行う方向を決定する（ＳＴ４）。
最後に、欠陥補正回路１４５において、決定された補正方向にある同色画素を用いて、欠陥と判定された注目画素の補正を行う（ＳＴ５）。

以上説明したように、本実施形態によれば、欠陥画素補正部１４においては、ディレイライン１４１は、撮像素子１２によるプリ処理部１３を介した画像のＲＡＷデータを受け取り、５×５サイズに展開する。
欠陥検出回路１４２が、ディレイライン１４１による５×５サイズのデータを受けて、注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する。
輝度算出回路１４３が、ディレイライン１４１による５×５のデータを基に、４×４の輝度データを得る。
方向検出回路１４４が、輝度算出回路１４３で算出された４×４の輝度データを受けて、画素配列において、縦・横・斜め４５度・斜め１３５度の4方向についてエッジ検出を行い、補正を行う方向を決定する。
そして、欠陥補正回路１４５が、方向検出回路１４４で決定された補正方向にある同色画素を用いて、欠陥検出回路１４２で欠陥と判定された注目画素の補正を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。

欠陥画素を補正するため、撮像素子の歩留まりを向上させることができる。
動的に欠陥画素を検出するため、宇宙線等による出荷後の欠陥画素を補正することができる。
エッジ検出を行っているため、欠陥画素でない画素を誤検出して補完してしまっても、その悪影響が目立ちにくい。そのため、動的欠陥検出の設定を可検出気味に設定することが可能となり、欠陥検出の取りこぼしが少なくなる。
また、高周波のエッジにも対応できる。
注目画素がＲＧＢのいずれであっても同じように処理をすることができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

図１は、本発明の実施形態に係る欠陥画素補正装置を適用した撮像装置の構成例を示すブロック図である。 画素配列例としてベイヤ配列を示す図である。 本実施形態に係る撮像素子の単位画素の構成例を示す回路図である。 本実施形態に係る欠陥画素補正部の構成例を示すブロック図である。 ５×５のベイヤ配列に対応する図であって、欠陥検出回路の処理を説明するための図である。 ５×５のベイヤ配列に対応する図であって、輝度算出回路の処理を説明するための図である。 方向検出回路の処理を説明するための図である。 本実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・レンズ系、１２・・・撮像素子、１３・・・プリ処理部、１４・・・欠陥画素補正部、１４１・・・ディレイライン、１４２・・・欠陥検出回路、１４３、輝度算出回路、１４４・・・方向検出回路、１４５・・・欠陥補正回路、１５・・・カメラ信号処理部。

Claims (16)

1. 所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出部と、
   上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
   上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出部と、
   上記方向検出部で決定された補正方向にある同色画素を用いて、上記欠陥検出部で欠陥と判定された注目画素の補正を行う欠陥補正部と
   を有する欠陥画素補正装置。
2. 上記欠陥検出部は、
   上記注目画素と周辺の同色複数画素とのレベルを比較することにより、注目画素が欠陥であるか否かを判定する
   請求項１記載の欠陥画素補正装置。
3. 上記欠陥検出部は、
   上記注目画素の周辺の複数の画素の平均値に対して、注目画素値が一定の閾値以上大きい場合に、注目画素は欠陥画素であると判定する
   請求項２記載の欠陥画素補正装置。
4. 上記方向検出部は、
   最もエッジ成分の弱い方向を補正方向として決定する
   請求項１から３のいずれか一に記載の欠陥画素補正装置。
5. 上記方向検出部は、
   画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向についてエッジ検出を行い、最もエッジ成分の弱い方向を補正方向として決定する
   請求項４記載の欠陥画素補正装置。
6. 上記方向検出部は、
   画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向について複数列ずつエッジ検出処理を行い、当該絶対値の総和が最も小さい方向を補正方向として決定する
   請求項４記載の欠陥画素補正装置。
7. 上記欠陥補正部は、
   上記方向検出部で決定した補正方向に対して、注目画素と同色周辺の複数画素を抽出し、当該注目画素を含む複数画素に対して所定のフィルタリング処理を施す
   請求項１から６のいずれか一に記載の欠陥画素補正装置。
8. 被写体像を撮像する撮像素子と、
   上記撮像素子からの画像データを受けて、撮像素子の欠陥画素を動的に検出し、被写体のエッジに沿って周辺画素を用いて補間を行う欠陥補正を行う機能を有する欠陥画素補正部と、を有し、
   上記欠陥画素補正部は、
   所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出部と、
   上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出部と、
   上記輝度算出部で算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出部と、
   上記方向検出部で決定された補正方向にある同色画素を用いて、上記欠陥検出部で欠陥と判定された注目画素の補正を行う欠陥補正部と、を含む
   撮像装置。
9. 上記欠陥検出部は、
   上記注目画素と周辺の同色複数画素とのレベルを比較することにより、注目画素が欠陥であるか否かを判定する
   請求項８記載の撮像装置。
10. 上記欠陥検出部は、
    上記注目画素の周辺の複数の画素の平均値に対して、注目画素値が一定の閾値以上大きい場合に、注目画素は欠陥画素であると判定する
    請求項９記載の撮像装置。
11. 上記方向検出部は、
    最もエッジ成分の弱い方向を補正方向として決定する
    請求項８から１０のいずれか一に記載の撮像装置。
12. 上記方向検出部は、
    画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向についてエッジ検出を行い、最もエッジ成分の弱い方向を補正方向として決定する
    請求項１１記載の撮像装置。
13. 上記方向検出部は、
    画素配列において、縦方向、横方向、斜め４５度方向、および斜め１３５度方向の４方向について複数列ずつエッジ検出処理を行い、当該絶対値の総和が最も小さい方向を補正方向として決定する
    請求項１１記載の撮像装置。
14. 上記欠陥補正部は、
    上記方向検出部で決定した補正方向に対して、注目画素と同色周辺の複数画素を抽出し、当該注目画素を含む複数画素に対して所定のフィルタリング処理を施す
    請求項８から１３のいずれか一に記載の撮像装置。
15. 所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出ステップと、
    上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出ステップと、
    上記算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出ステップと、
    上記方向検出ステップで決定された補正方向にある同色画素を用いて、上記欠陥検出ステップで欠陥と判定された注目画素の補正を行う欠陥補正ステップと
    を有する欠陥画素補正方法。
16. 所定サイズに配列された撮像画像データを受けて注目画素と周辺画素のレベルを基に、注目画素が欠陥であるか否かを検出し判定する欠陥検出処理と、
    上記所定サイズに配列された画像データを基に、所定サイズの輝度データを算出する輝度算出処理と、
    上記算出された輝度データを基に、複数の方向についてエッジ検出を行い、エッジ検出結果に基づいて補正を行う方向を決定する方向検出処理と、
    上記方向検出処理で決定された補正方向にある同色画素を用いて、上記欠陥検出ステップで欠陥と判定された注目画素の補正を行う欠陥補正処理と
    を含む欠陥画素補正処理をコンピュータに実行させるプログラム。

Images