JP2005210164A5 - - Google Patents

Description

欠陥画素補正装置及び欠陥画素補正方法

この発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置及び欠陥画素補正方法に関する。

デジタルカメラ等の撮像装置に一般に用いられる、ＣＣＤ素子を画素として用いた多画素を有する固体撮像素子においては、均一な入射光レベルにも関わらず、周辺のＣＣＤ素子とは特異なレベルを出力するいわゆる欠陥画素の発生頻度が高くなり、画質が劣化するという問題がある。

従来このような問題に対して、欠陥画素補正に関する技術が提案されている。例えば、特開２０００−１７６５８６号公報では、所定サイズの周囲画素から所定方向の相関値を求め、方向算出部でその相関が最大になる方向に属する周囲画素を用いて、欠陥画素の補正値を算出する欠陥画素補正装置を開示している。
特開２０００−１７６５８６号公報

ところで、欠陥画素の補正は、一般に当該欠陥画素の周辺に位置する４画素の情報に基づいて行われる。すなわち、欠陥画素に対して、その上下（垂直方向）左右（水平方向）に隣接する４画素の信号の平均値によって、その欠陥画素の位置に係る画像出力データを置換する。しかしながら、置換に用いる画素データは擬似的に作られたものであるため、補正画像が特異な画像になることがある。

本発明は、この点に注目してなされたものであり、高品質な画像を得ることが可能な欠陥画素補正装置及び欠陥画素補正方法を提供することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影し、相対的な位置がずれた第１画像の第１画像データ及び第２画像の第２画像データを生成する撮像手段と、前記第１画像の第１画像データの中の欠陥画素の画素データを、この欠陥画素の画像に対応する前記第２画像の第２画素データで置換する欠陥画素置換手段と、を具備することを特徴とするものである。そして、この請求項１に係る発明の実施例には、実施例１及び３が対応する。

請求項２に係る発明は、請求項１に係る欠陥画素補正装置において、前記欠陥画素補正装置は、更に前記第１画像と前記第２画像間のずれベクトルを検出するずれベクトル検出手段を備え、前記欠陥画素置換手段は前記ベクトル検出手段により検出したずれベクトルに基づいて前記置換する画像データの位置を求めることを特徴とするものである。そして、この請求項２に係る発明の実施例には、実施例１が対応する。

請求項３に係る発明は、請求項１に係る欠陥画素補正装置において、前記欠陥画素補正装置は、更に前記固体撮像素子又は前記固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段を更に備え、前記撮像手段は前記移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、前記所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して前記第１画像の第１画像データ及び第２画像の第２画像データを生成し、前記欠陥画素置換手段は前記移動駆動手段による前記所定量移動による前記第１画像と前記第２画像間のずれベクトルに基づいて前記置換する画像データの位置を求めることを特徴とするものである。そして、この請求項３に係る発明の実施例には、実施例３が対応する。

請求項４に係る発明は、請求項１又は２に係る欠陥画素補正装置において、前記固体撮像素子は、その受光面に、基本色ブロックが２×２画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とするものである。そして、この請求項４に係る発明の実施例には、実施例２が対応する。

請求項５に係る発明は、請求項４に係る欠陥画素補正装置において、前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位でともに偶数の場合は、前記第２画像における前記第１画像の欠陥画素位置の画像に対応する画像の画素データを前記第１画像の欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、前記第２画像における前記第１画像の欠陥画素位置の画像に対応する画像に近接する前記第１画像の欠陥画素と同色の画素データを前記第１画像の欠陥画素データと置換することを特徴とするものである。そして、この請求項５に係る発明の実施例には、実施例２が対応する。

請求項６に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正方法において、異なるタイミングで撮影された相対的な位置がずれた第１画像の第１画像データ及び第２画像の第２画像データを備え、前記第１画像の第１画像データの中の欠陥画素の画素データを、この欠陥画素の画像に対応する前記第２画像の第２画像データで置換することを特徴とするものである。そして、この請求項６に係る発明の実施例には、実施例１及び３が対応する。

請求項１に係る欠陥画素補正装置によれば、第１画像の第１画像データの中の欠陥画素の画素データは、この欠陥画素の画像に対応する第２画像の第２画像データで置換されるので、より実際の画像に近い画像が得られる。請求項２に係る欠陥画素補正装置によれば、第１画像と第２画像間の画像のずれベクトルに基づいて、第２画像における第１画像の欠陥画素位置に相当する画素データを第１画像の欠陥画素データと置き換えることができ、より実際の画像に近い画像が容易に得られる。

また請求項３に係る欠陥画素補正装置によれば、固体撮像素子又はレンズが所定量移動させられるので、この移動量をずれベクトルとして扱うことができ、ずれベクトルを検出手段を用いて検出する必要がなくなる。また請求項４に係る欠陥画素補正装置によれば、カラー画像でも、欠陥画素に対して第２画像で得られた画素データと置換ができるので、より実際の画像に近いカラー画像が得られる。

また請求項５に係る欠陥画素補正装置によれば、ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位で共に偶数の場合は、第２画像における第１画像の欠陥画素位置に相当する画素データを第１画像の欠陥画素データと置換することができ、またいずれか一方のずれ量が画素単位で奇数の場合は、同色ではないためそのまま置換することはできないが、第２画像における第１画像の欠陥画素位置に近接する第１画像の欠陥画素と同色の画素データを第１画像の欠陥画素データと置換することにより、欠陥画素の補正が可能となる。また請求項６に係る欠陥画素補正方法によれば、第１画像の第１画像データの中の欠陥画素の画素データは、この欠陥画素の画像に対応する第２画像の第２画像データで置換されるので、より実際の画像に近い画像が得られる。

次に、発明を実施するための最良の形態について説明する。

まず、本発明に係る欠陥画素補正装置及び欠陥画素補正方法の実施例１について説明する。この実施例は、請求項１，２及び６に係る発明に対応するものであり、固体撮像素子としては、フィルタを用いないモノクロＣＣＤエリアセンサを使用するものとする。

図１は、本発明の実施例１に係わる欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。図１において、10は被写体からの光を結像するための撮影レンズで、その周辺回路を含んでいる。11はＣＣＤエリアセンサで、その周辺回路を含んでいる。12はアナログ回路で構成されるプリプロセス回路、13はＡ／Ｄ変換回路、14は欠陥画素補正部、15は画像信号処理部であり、17は全体の動作を制御するＣＰＵである。

図２は、図１に示した実施例１における欠陥画素補正部14の構成を示すブロック図で、この欠陥画素補正部14は、Ａ／Ｄ変換回路13からの入力画像を格納する入力画像メモリ21と、ＣＣＤエリアセンサ11上の欠陥画素の位置を格納する欠陥位置メモリ22と、入力画像のずれを検出するずれベクトル検出部23と、欠陥位置メモリ22から得た座標データとずれベクトル検出部23より得られたずれベクトルに基づいて欠陥画素を置換する欠陥画素置換部24とで構成されている。

次に、図１及び図２に示した実施例１の動作について説明する。ＣＣＤエリアセンサ11から出力された画像信号は、プリプロセス回路12及びＡ／Ｄ変換回路13を介して欠陥画素補正部14に入力される。ここで、画像信号を出力したＣＣＤエリアセンサ11の画素が正常な画素である場合には、欠陥位置メモリ22から出力されている欠陥画素の位置と一致することはないため、画像信号は、欠陥画素置換部24にて補正を施されることなく、そのまま画像信号処理部15へ出力される。一方、画像信号を出力したＣＣＤエリアセンサ11の画素が欠陥画素である場合には、欠陥位置メモリ22から入力されている欠陥画素の位置と一致するため、画像信号は欠陥画素置換部24にて補正が施される。

図３は、欠陥画素補正部14において実行される画素欠陥補正の態様を示す説明図である。欠陥画素補正部14では、まず同一シーンを異なるタイミングで撮影した複数フレームの画像を入力画像メモリ21に格納する。入力画像メモリ21に格納された複数フレームの画像から任意に選択した第１及び第２のフレームの画像を用い、ずれベクトル検出部23で２フレーム間の画像のずれベクトルを検出する。このずれベクトルに基づいて、欠陥である画素データを実際の画像となるべきデータで置き換える。なお、第１及び第２のフレームとしては、通常最初に撮影されたフレームと次いで撮影されたフレームが選択される。

具体的には、第１のフレームにおける欠陥画素の座標（ａ，ｂ）と、第１のフレームと第２のフレームからずれベクトル検出部23で検出されたずれベクトルのＸ軸及びＹ軸成分である移動量（ｃ，ｄ）に基づき、第２のフレームにおける第１のフレームの欠陥画素による画像に対応する真のデータ座標（ａ＋ｃ，ｂ＋ｄ）を求め、第２のフレームにおける実際の画像となるべきデータの座標（ａ＋ｃ，ｂ＋ｄ）にある画素データを、第１のフレームの座標（ａ，ｂ）における欠陥画素データと置換する。

更に、具体的に図４を用いて説明する。図４は、モノクロＣＣＤエリアセンサ11の画素配列の一部を示したものである。この図示例では、画素34が欠陥画素であるという前提で説明する。この欠陥画素の位置情報は、予め欠陥位置メモリ22に格納されているものとする。同一シーンを異なるタイミングで撮影した複数フレームの画像から選択した第１のフレーム及び第２のフレームの画像について、ずれベクトル検出部23でずれベクトルを画像マッチングにより抽出し、抽出されたずれベクトルに基づいて欠陥補正を行う。図４の図示例の場合、ずれベクトルのＸ軸及びＹ軸成分は（−３，−２）となり、画素34′のデータを、第１のフレームの欠陥画素34のデータと置き換えることにより、第１のフレームは欠陥のない画像となる。

撮影された複数フレームの画像から選択した第１のフレーム及び第２のフレームの２フレーム間で、ずれベクトルが０となる場合、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる。この場合は、最初に選択した第２のフレーム以外のずれベクトルが０とならないフレームを第２のフレームとして用いることにより、欠陥補正を行うことが可能となる。

また、連続する欠陥画素により構成されるクラスター欠陥などの場合も、同様に、第２のフレームにおける第１のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる場合がある。この場合は、最初に選択された第２のフレーム以外のフレームを第２のフレームとして用いることで、第１のフレームの欠陥画素による画像に対応する第２のフレームの画素データで、第１のフレームの欠陥画素データを置換することで、欠陥補正が可能となる。

次に、実施例２について説明する。この実施例は、請求項４及び５に係る発明に対応するもので、受光面にカラーフィルタを貼布したカラーＣＣＤイメージセンサを用い、カラー画像における欠陥画素を補正処理するようにしたものである。カラーフィルタとしては、ここでは、基本色ブロックが２×２画素単位で繰り返し配列して構成されるＲＧＢベイヤー配列のフィルタを用いるものとする。

図５は、カラーＣＣＤエリアセンサのカラーフィルタに対応する画素配列を示したものである。この例では画素Ｒ33が欠陥であり、該欠陥画素Ｒ33が左上に位置する太線で囲まれた２×２画素ブロックが欠陥画素ブロックであるという前提で説明する。図中（ａ）は第１のフレームの画素データを、（ｂ），（ｃ），（ｄ），（ｅ）は第２のフレームにおける第１のフレームの欠陥画素ブロック位置の画像に対応する画像の画素データを示しており、（ｂ），（ｃ），（ｄ），（ｅ）に示した４画素の左上の画素が、第１のフレームの欠陥画素Ｒ33の位置の画像に対応する第２のフレームの画像の画素データである。

第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する画素データのＸ軸及びＹ軸方向の移動量が、画素単位で共に偶数の場合（ｂ）は、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する第１のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ（ハッチングを付したＲ画素のデータ）で、第１のフレームの欠陥画素データの置換ができる。一方、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する画素データのＸ軸又はＹ軸方向のいずれかの移動量が、画素単位で奇数の場合（ｃ），（ｄ），（ｅ）は、奇数であるＸ軸及び／又はＹ軸方向の移動量に１を加えて、Ｘ軸及びＹ軸方向の移動量を（ｆ）に示すように偶数に補正してから、第２のフレームにおける第１のフレームの欠陥画素位置の画像に相当する第１のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ（ハッチングを付したＲ画素のデータ）で、第１のフレームの欠陥画素データの置換ができる。これにより、欠陥画素と近接且つ同色の画素データでの置換補正が可能となる。

次に、実施例３について説明する。この実施例は、請求項１，３及び６に係る発明に対応するものである。図６は、実施例３に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。この撮像装置は、図１に示した実施例１に係る撮像装置において、ＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる機械的な移動駆動手段16を追加したものである。

上記移動駆動手段16によりＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることにより、同一シーンを異なるタイミング、つまり所定量移動の前後で撮影した２つのフレーム間の画像のずれベクトルを制御することができるので、図２に示した実施例１に係る欠陥画素補正部14におけるずれベクトル検出部23を用いて、ずれベクトルを検出する必要がなくなる。したがって、本実施例のようにＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる移動駆動手段16を設ける場合の欠陥画素補正部14は、図７に示すように入力画像メモリ21，欠陥位置メモリ22，欠陥画素置換部24で構成され、図２に示した実施例１における欠陥画素補正部14で必要であったずれベクトル検出部23は、不要となる。

また、第１のフレームの欠陥の位置に基づいてＣＣＤエリアセンサ11又はレンズ10の少なくとも一方を移動させれば、第１のフレームと第２のフレームの２フレーム間で画像のずれが必ず生じるように制御できるので、同一シーンを異なるタイミングで撮影した２つのフレームのみで欠陥画素を補正することができる。なお、ＣＣＤエリアセンサ又はレンズの少なくとも一方の移動量は、移動前の第１のフレームにおける欠陥画素位置に基づいて設定するのが好ましい。

本発明に係る欠陥画素補正装置の実施例１を適用した撮像装置の概略構成を示すブロック図である。 図１に示した実施例１における欠陥画素補正部の構成を示すブロック図である。 図２に示した欠陥画素補正部の動作を説明するための説明図である。 図２に示した欠陥画素補正部の動作を更に詳細に説明するための説明図である。 カラーＣＣＤエリアセンサを用いた実施例２における欠陥画素補正部の動作を説明するための説明図である。 本発明の実施例３に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。 図６に示した実施例３における欠陥画素補正部の構成を示すブロック図である。

符号の説明

10 レンズ
11 ＣＣＤエリアセンサ
12 プリプロセス回路
13 Ａ／Ｄ変換回路
14 欠陥画素補正部
15 画像信号処理部
16 移動駆動手段
17 ＣＰＵ
21 入力画像メモリ
22 欠陥位置メモリ
23 ずれベクトル検出部
24 欠陥画素置換部

Claims (6)

1. 欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、
   前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影し、相対的な位置がずれた第１画像の第１画像データ及び第２画像の第２画像データを生成する撮像手段と、
   前記第１画像の第１画像データの中の欠陥画素の画素データを、この欠陥画素の画像に対応する前記第２画像の第２画素データで置換する欠陥画素置換手段と、
   を具備することを特徴とする欠陥画素補正装置。
2. 前記欠陥画素補正装置は、更に前記第１画像と前記第２画像間のずれベクトルを検出するずれベクトル検出手段を備え、前記欠陥画素置換手段は前記ベクトル検出手段により検出したずれベクトルに基づいて前記置換する画像データの位置を求めることを特徴とする請求項１に係る欠陥画素補正装置。
3. 前記欠陥画素補正装置は、更に前記固体撮像素子又は前記固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段を更に備え、前記撮像手段は前記移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、前記所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して前記第１画像の第１画像データ及び第２画像の第２画像データを生成し、前記欠陥画素置換手段は前記移動駆動手段による前記所定量移動による前記第１画像と前記第２画像間のずれベクトルに基づいて前記置換する画像データの位置を求めることを特徴とする請求項１に係る欠陥画素補正装置。
4. 前記固体撮像素子は、その受光面に、基本色ブロックが２×２画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とする請求項１又は２に係る欠陥画素補正装置。
5. 前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのＸ軸及びＹ軸方向について、ずれ量が画素単位でともに偶数の場合は、前記第２画像における前記第１画像の欠陥画素位置の画像に対応する画像の画素データを前記第１画像の欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、前記第２画像における前記第１画像の欠陥画素位置の画像に対応する画像に近接する前記第１画像の欠陥画素と同色の画素データを前記第１画像の欠陥画素データと置換することを特徴とする請求項４に係る欠陥画素補正装置。
6. 欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正方法において、異なるタイミングで撮影された相対的な位置がずれた第１画像の第１画像データ及び第２画像の第２画像データを備え、前記第１画像の第１画像データの中の欠陥画素の画素データを、この欠陥画素の画像に対応する前記第２画像の第２画像データで置換することを特徴とする欠陥画素補正方法。