JP2010021858A - 画素欠陥補正装置 - Google Patents
画素欠陥補正装置 Download PDFInfo
- Publication number
- JP2010021858A JP2010021858A JP2008181566A JP2008181566A JP2010021858A JP 2010021858 A JP2010021858 A JP 2010021858A JP 2008181566 A JP2008181566 A JP 2008181566A JP 2008181566 A JP2008181566 A JP 2008181566A JP 2010021858 A JP2010021858 A JP 2010021858A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image data
- value
- image
- defect correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】記憶部に格納する画像データの欠陥画素に対応する画素値を特定値に置き換えることで、画像データを小領域の処理単位で処理する際のオーバーヘッドを減少させる。
【解決手段】本発明の画素欠陥補正装置は、記憶部2に格納する前に画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部5とを備え、記憶部2に格納する画像データのうち、欠陥位置記憶部3に記憶した欠陥画素の位置情報に基づいて欠陥位置検出部4が検出した欠陥画素に対応する画素の画素値をデータ変更部5により前記第1の特定値に変更し、画像処理部6の画像処理のため記憶部2から部分領域を分割読み出しした画像データにおいて、欠陥補正部7に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して欠陥補正部7により前記欠陥画素に対応する画像データの補正を行う。
【選択図】図1
【解決手段】本発明の画素欠陥補正装置は、記憶部2に格納する前に画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部5とを備え、記憶部2に格納する画像データのうち、欠陥位置記憶部3に記憶した欠陥画素の位置情報に基づいて欠陥位置検出部4が検出した欠陥画素に対応する画素の画素値をデータ変更部5により前記第1の特定値に変更し、画像処理部6の画像処理のため記憶部2から部分領域を分割読み出しした画像データにおいて、欠陥補正部7に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して欠陥補正部7により前記欠陥画素に対応する画像データの補正を行う。
【選択図】図1
Description
本発明は,CCDやCMOSイメージセンサ等の撮像素子における欠陥画素の出力信号である画像データを補正する画素欠陥補正装置に関するものである。
デジタルカメラ等の撮像装置で撮像部として用いられているCCDやCMOSイメージセンサ等の撮像素子においては、出力信号中に白点または黒点と呼ばれる欠陥画素が観測されることがある。欠陥画素がある場合には、その欠陥画素から正常な画像データを得ることができない。したがって、その欠陥画素の周囲に位置する画素の画素値を用いて、その欠陥画素の画像データを補正する必要がある。
このような欠陥画素の問題を解決する1つの方法として、撮像素子における欠陥画素に隣接する近傍画素群の出力信号を単純に加算平均することによって欠陥画素の出力信号の補正値を算出し、その補正値を用いて欠陥画素の出力信号の信号レベル(画素値)を決定することにより、欠陥画素の出力信号を補正する方法(例えば特許文献1参照;以下、従来技術1という)がある。
このような欠陥画素を検出する際には、撮像素子の欠陥画素の位置情報を欠陥位置記憶部に記憶しておき、撮像素子から画像データを読み出す際に、読み出した画像データ上の欠陥画素に対応する位置を、欠陥位置記憶部の中の欠陥画素の位置情報を走査することにより検出する。
例えば、図7(a)に示すように、撮像素子の中にM個の欠陥画素(欠陥1,欠陥2,・・・,欠陥M)がある場合、図7(a)と同様に表わすことができる撮像素子の出力信号である画像データのうち、欠陥1,欠陥2,・・・,欠陥Mに対応する画像データに対して画素欠陥補正処理を行う必要があるため、図7(b)に示すように、撮像素子の欠陥画素の位置情報である欠陥1,欠陥2,・・・,欠陥Mのそれぞれの水平座標(X座標)および垂直座標(Y座標)を検出して、欠陥位置記憶部に記憶しておく。そして、図7(b)に示すような欠陥画素の位置情報に基づいて画像データを走査することにより、画像データ中の欠陥画素の位置を順次検出して、欠陥画素に隣接する画素の画像データに基づいて、当該欠陥画素に対応する画像データの画素欠陥補正処理を含む画像処理を行う。
例えば、図7(a)に示すように、撮像素子の中にM個の欠陥画素(欠陥1,欠陥2,・・・,欠陥M)がある場合、図7(a)と同様に表わすことができる撮像素子の出力信号である画像データのうち、欠陥1,欠陥2,・・・,欠陥Mに対応する画像データに対して画素欠陥補正処理を行う必要があるため、図7(b)に示すように、撮像素子の欠陥画素の位置情報である欠陥1,欠陥2,・・・,欠陥Mのそれぞれの水平座標(X座標)および垂直座標(Y座標)を検出して、欠陥位置記憶部に記憶しておく。そして、図7(b)に示すような欠陥画素の位置情報に基づいて画像データを走査することにより、画像データ中の欠陥画素の位置を順次検出して、欠陥画素に隣接する画素の画像データに基づいて、当該欠陥画素に対応する画像データの画素欠陥補正処理を含む画像処理を行う。
デジタルカメラ等の撮像装置では、撮像素子によって撮像した画像データの水平サイズに対応するライン幅を有するラインメモリを用いて画像データの画像処理を行う方法を採用することにより、処理効率が向上する。しかし、上記方法を採用した場合、デジタルカメラ等の撮像装置における画像サイズの増大に伴い、ラインメモリの規模も増加して撮像装置のコストアップや大型化を招くため、画像データの水平サイズより短いライン幅を有するラインメモリを使用して複数回に分けて部分領域内の画像データを読み出して、画像処理を行う方法(例えば特許文献2参照;以下、従来技術2という)が提案されている。
特開平7−336605号公報
特開2004−362069号公報
従来技術2を用いて部分領域毎に読み出した画像データの画素欠陥補正処理を含む画像処理を行う場合、当該部分領域内に欠陥位置記憶部に記憶されている欠陥画素の位置情報に対応する画像データが含まれているか否かを欠陥位置検出部により検索しなければならず、画素欠陥補正処理に多くの時間がかかることになる。
例えば、画像処理として、図8(a)に示す歪み補正や図8(b)に示す電子ズームを行う場合、記憶部から読み出す画像データは、全体画像データの部分領域の画像データとなる。このような全体画像データの一部である部分領域の画像データを、当該画像処理に応じてアクセスして、欠陥位置記憶部の記憶内容(欠陥画素の位置情報)に基づき当該部分領域内に欠陥画素が存在するか否かを検出する際に、欠陥位置記憶部の記憶内容を最初から最後まで順次走査することになるため、欠陥画素の検出に時間がかかってしまう。特に、歪み補正のような狭いエリアで複数の異なる部分領域の画像データを読み出す場合には、オーバーヘッドが大きくなってしまう。
例えば、画像処理として、図8(a)に示す歪み補正や図8(b)に示す電子ズームを行う場合、記憶部から読み出す画像データは、全体画像データの部分領域の画像データとなる。このような全体画像データの一部である部分領域の画像データを、当該画像処理に応じてアクセスして、欠陥位置記憶部の記憶内容(欠陥画素の位置情報)に基づき当該部分領域内に欠陥画素が存在するか否かを検出する際に、欠陥位置記憶部の記憶内容を最初から最後まで順次走査することになるため、欠陥画素の検出に時間がかかってしまう。特に、歪み補正のような狭いエリアで複数の異なる部分領域の画像データを読み出す場合には、オーバーヘッドが大きくなってしまう。
本発明は、撮像素子からの画像データを記憶部に記憶するときに欠陥画素に対応する画素値を特定値に置き換えておくことにより、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することを目的とする。
上記目的を達成するため、本発明の請求項1に係る画素欠陥補正装置は、撮像素子と、前記撮像素子の出力信号である画像データを格納する記憶部と、前記撮像素子の欠陥画素の位置情報を記憶する欠陥位置記憶部と、前記撮像素子から読み出した画像データ上の前記欠陥画素に対応する画素を前記欠陥位置記憶部に記憶した前記欠陥画素の位置情報に基づいて検出する欠陥位置検出部と、前記撮像素子の出力信号である画像データを前記記憶部に格納する前に、前記撮像素子の出力信号である画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部と、前記記憶部に格納した画像データを画像処理に応じた部分領域毎に読み出し、前記部分領域の画像データをさらに分割読み出しして画像処理する画像処理部と、前記記憶部から読み出した画像データを前記画像処理部に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部と、前記画像処理部から出力される画像データを記録する記録部と、を備え、前記撮像素子から読み出して前記記憶部に格納する画像データのうち、前記欠陥位置検出部により検出した欠陥画素に対応する画素の画素値を前記データ変更部により前記第1の特定値に変更し、前記画像処理部の画像処理のため前記記憶部から部分領域を分割読み出しした画像データにおいて、前記欠陥補正部に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して前記欠陥補正部により前記欠陥画素に対応する画像データの補正を行うことを特徴とする。
本発明の請求項2に係る画素欠陥補正装置は、前記データ変更部は、前記撮像素子から前記記憶部に画像データを格納する際に、前記欠陥位置検出部により検出した欠陥画素の位置以外に前記第1の特定値と同一の画素値を有する画素がある場合、該当する画素の画素値を前記第1の特定値とは異なる第2の特定値に置き換えることを特徴とする。
本発明の請求項3に係る画素欠陥補正装置は、前記撮像素子におけるダイナミックレンジをビット表現可能な範囲より狭い範囲に制限することにより、前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの範囲外の値とすることを特徴とする。
本発明の請求項4に係る画素欠陥補正装置は、前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの端部の画素値とすることを特徴とする。
本発明の請求項5に係る画素欠陥補正装置は、前記第1の特定値と前記第2の特定値とを少なくとも1(LSB)離れた値とすることを特徴とする。
本発明の請求項1に係る画素欠陥補正装置によれば、前記撮像素子から読み出して前記記憶部に格納する画像データのうち、前記欠陥位置検出部により検出した欠陥画素に対応する画素の画素値を前記データ変更部により前記第1の特定値に変更し、前記画像処理部の画像処理のため前記記憶部から部分領域を分割読み出しした画像データにおいて、前記欠陥補正部に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して前記欠陥補正部により前記欠陥画素に対応する画像データの補正を行うから、前記記憶部から部分領域を分割読み出しした画像データのうちの画素値が前記第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができる。したがって、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することができる。
本発明の請求項2に係る画素欠陥補正装置によれば、前記データ変更部は、前記撮像素子から前記記憶部に画像データを格納する際に、前記欠陥位置検出部により検出した欠陥画素の位置以外に前記第1の特定値と同一の画素値を有する画素がある場合、該当する画素の画素値を前記第1の特定値とは異なる第2の特定値に置き換えるから、欠陥画素の位置以外の前記第1の特定値と同一の画素値を有する画素の画素データには画素欠陥補正処理を行わず、前記記憶部から部分領域を分割読み出しした画像データのうちの画素値が前記第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができる。したがって、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することができる。
本発明の請求項3に係る画素欠陥補正装置によれば、前記撮像素子におけるダイナミックレンジをビット表現可能な範囲より狭い範囲に制限することにより、前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの範囲外の値とするから、前記記憶部から部分領域を分割読み出しした画像データのうちの画素値が前記第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができる。したがって、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することができる。
本発明の請求項4に係る画素欠陥補正装置によれば、前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの端部の画素値とするから、前記記憶部から部分領域を分割読み出しした画像データのうちの画素値が前記第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができる。したがって、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することができる。
本発明の請求項5に係る画素欠陥補正装置によれば、前記第1の特定値と前記第2の特定値とを少なくとも1(LSB)離れた値とするから、当該欠陥画素に対応する画像データの画素を、欠陥画素の位置以外の前記第1の特定値と同一の画素値を有する画素に対し容易に識別できるようになり、欠陥画素の位置以外の前記第1の特定値と同一の画素値を有する画素の画素データには画素欠陥補正処理を行わず、前記記憶部から部分領域を分割読み出しした画像データのうちの画素値が前記第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができる。したがって、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置を提供することができる。
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
[第1実施形態]
図1は本発明の画素欠陥補正装置の第1実施形態における構成を例示するブロック図である。本実施形態の画素欠陥補正装置は、請求項1,請求項2,請求項4および請求項5に対応するものであり、撮像素子(固体撮像素子ともいう)1と、撮像素子1の出力信号である画像データを格納する記憶部(例えば複数本のラインメモリから成るフレームメモリ)2と、撮像素子1の欠陥画素の位置情報を記憶する欠陥位置記憶部3と、撮像素子1から読み出した画像データ上の前記欠陥画素に対応する画素を欠陥位置記憶部3に記憶した前記欠陥画素の位置情報に基づいて検出する欠陥位置検出部4と、撮像素子1の出力信号である画像データを記憶部2に格納する前に、撮像素子1の出力信号である画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部5と、記憶部2に格納した画像データを歪み補正や電子ズーム等の画像処理に応じた部分領域毎に読み出し、前記部分領域の画像データをさらに分割読み出しして画像処理する画像処理部6と、記憶部2から読み出した画像データを画像処理部6に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部7と、画像処理部6から出力される画像データを記録する記録部8とを備えている。本実施形態の画素欠陥補正装置は、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により前記第1の特定値に変更し、画像処理部6の画像処理のため記憶部2から部分領域を分割読み出しした画像データにおいて、欠陥補正部7に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して欠陥補正部7により前記欠陥画素に対応する画像データの補正を行うことを特徴としている。なお、欠陥位置記憶部3は、例えば撮像素子1の出力信号である画像データを画像処理することにより検出した、撮像素子の欠陥画素の位置情報を予め記憶しているものとする。
図1は本発明の画素欠陥補正装置の第1実施形態における構成を例示するブロック図である。本実施形態の画素欠陥補正装置は、請求項1,請求項2,請求項4および請求項5に対応するものであり、撮像素子(固体撮像素子ともいう)1と、撮像素子1の出力信号である画像データを格納する記憶部(例えば複数本のラインメモリから成るフレームメモリ)2と、撮像素子1の欠陥画素の位置情報を記憶する欠陥位置記憶部3と、撮像素子1から読み出した画像データ上の前記欠陥画素に対応する画素を欠陥位置記憶部3に記憶した前記欠陥画素の位置情報に基づいて検出する欠陥位置検出部4と、撮像素子1の出力信号である画像データを記憶部2に格納する前に、撮像素子1の出力信号である画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部5と、記憶部2に格納した画像データを歪み補正や電子ズーム等の画像処理に応じた部分領域毎に読み出し、前記部分領域の画像データをさらに分割読み出しして画像処理する画像処理部6と、記憶部2から読み出した画像データを画像処理部6に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部7と、画像処理部6から出力される画像データを記録する記録部8とを備えている。本実施形態の画素欠陥補正装置は、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により前記第1の特定値に変更し、画像処理部6の画像処理のため記憶部2から部分領域を分割読み出しした画像データにおいて、欠陥補正部7に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して欠陥補正部7により前記欠陥画素に対応する画像データの補正を行うことを特徴としている。なお、欠陥位置記憶部3は、例えば撮像素子1の出力信号である画像データを画像処理することにより検出した、撮像素子の欠陥画素の位置情報を予め記憶しているものとする。
次に、本発明の第1実施形態の作用を図2〜図4(a),(b)に基づいて説明する。
[画素欠陥補正処理および画像処理の全体の流れ]
図2は第1実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。まず、ステップS101では、撮像素子1から画像データの読み出しを開始する。この画像データの読み出しは、画像処理部6の画像処理のため、記憶部2から画像データの部分領域を分割読み出しするものとする。次のステップS102では、欠陥位置検出部4により、撮像素子1から読み出した画像データ上の欠陥画素に対応する画素を欠陥位置記憶部3に記憶されている欠陥画素の位置情報に基づいて検出する。次のステップS103では、欠陥画素に対応する画素を検出したか否かを判定し、欠陥画素に対応する画素を検出したときにはステップS104に進み、欠陥画素に対応する画素を検出しなかったときにはステップS105に進む。ステップS104では、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に置換(変更)して記憶部2に記憶(格納)する。
図2は第1実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。まず、ステップS101では、撮像素子1から画像データの読み出しを開始する。この画像データの読み出しは、画像処理部6の画像処理のため、記憶部2から画像データの部分領域を分割読み出しするものとする。次のステップS102では、欠陥位置検出部4により、撮像素子1から読み出した画像データ上の欠陥画素に対応する画素を欠陥位置記憶部3に記憶されている欠陥画素の位置情報に基づいて検出する。次のステップS103では、欠陥画素に対応する画素を検出したか否かを判定し、欠陥画素に対応する画素を検出したときにはステップS104に進み、欠陥画素に対応する画素を検出しなかったときにはステップS105に進む。ステップS104では、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に置換(変更)して記憶部2に記憶(格納)する。
一方、欠陥画素に対応する画素を検出しなかったときに進むステップS105では、当該画素は欠陥画素に対応しない正常な画素であるため、第1の特定値と当該画素(正常な画素)の画素値とを比較する。次のステップS106では、第1の特定値と当該画素(正常な画素)の画素値とが同一値であるか否かを判定する。このとき、第1の特定値と当該画素(正常な画素)の画素値とが同一値であれば、ステップS107に進んで、当該画素(正常な画素)の画素値を第2の特定値に置換(変更)して記憶部2に記憶(格納)し、第1の特定値と当該画素(正常な画素)の画素値とが同一値でなければ、ステップS107をスキップして直ちにステップS108に進む。
ステップS104,ステップS106のNOおよびステップS107の次のステップS108では、画像データ上の欠陥画素に対応する画素の検出が終了したか否かを判定し、欠陥画素に対応する画素の検出が終了するまではステップS102に戻ってステップS102〜ステップS107の処理を繰り返し実行し、欠陥画素に対応する画素の検出が終了したらステップS109に進んで、欠陥画素に対応する画像データを補正する画素欠陥補正処理を行う。この画素欠陥補正処理は、画像処理部6で行う各種画像処理に応じて、記憶部2から画像データの部分領域を分割読み出して画像処理部6に入力する前に、欠陥画素に対応する、画素値が第1の特定値である画素の画像データを、当該欠陥画素の周囲に位置する画素の画素値を用いて補正するものである。次のステップS110では、画素欠陥補正処理済みの画像データに対し画像処理部5により各種画像処理を施す。次のステップS111では、画像処理後の画像データを記録部8に記録する。
[画素欠陥補正処理]
図3は第1実施形態における図2のステップS109の画素欠陥補正処理および第2実施形態における図5のステップS306の画素欠陥補正処理を示すフローチャートである。図3は、部分領域に対する画素欠陥補正処理を示すものであり、図2のステップS109の画素欠陥補正処理は、図3の処理を画像データ全体に対して複数回適用するものである。なお、画素欠陥の位置情報は、予め欠陥位置記憶部3に記憶されているものとする。
まず、図3のステップS201では、画像処理部6で行う画像処理に応じて記憶部2から画像データの部分領域の分割読み出しを開始する。次のステップS202では、第1の特定値と分割読み出しした画像データの画素の画素値とを比較する。次のステップS203では、第1の特定値と当該画素の画素値とが同一値であるか否かを判定する。このとき、第1の特定値と当該画素の画素値とが同一値であれば、当該画素が欠陥画素であるため、ステップS204に進んで、当該画素の画素欠陥補正処理を実施し、第1の特定値と当該画素の画素値とが同一値でなければ、ステップS204をスキップして直ちにステップS205に進む。ステップS204およびステップS203のNOの次のステップS205では、部分領域内の画素欠陥補正処理が終了したか否かを判定し、部分領域内の画素欠陥補正処理が終了するまではステップS202に戻ってステップS202〜ステップS204の処理を繰り返し、部分領域内の画素欠陥補正処理が全て終了したら、画素欠陥補正処理を終了する。
図3は第1実施形態における図2のステップS109の画素欠陥補正処理および第2実施形態における図5のステップS306の画素欠陥補正処理を示すフローチャートである。図3は、部分領域に対する画素欠陥補正処理を示すものであり、図2のステップS109の画素欠陥補正処理は、図3の処理を画像データ全体に対して複数回適用するものである。なお、画素欠陥の位置情報は、予め欠陥位置記憶部3に記憶されているものとする。
まず、図3のステップS201では、画像処理部6で行う画像処理に応じて記憶部2から画像データの部分領域の分割読み出しを開始する。次のステップS202では、第1の特定値と分割読み出しした画像データの画素の画素値とを比較する。次のステップS203では、第1の特定値と当該画素の画素値とが同一値であるか否かを判定する。このとき、第1の特定値と当該画素の画素値とが同一値であれば、当該画素が欠陥画素であるため、ステップS204に進んで、当該画素の画素欠陥補正処理を実施し、第1の特定値と当該画素の画素値とが同一値でなければ、ステップS204をスキップして直ちにステップS205に進む。ステップS204およびステップS203のNOの次のステップS205では、部分領域内の画素欠陥補正処理が終了したか否かを判定し、部分領域内の画素欠陥補正処理が終了するまではステップS202に戻ってステップS202〜ステップS204の処理を繰り返し、部分領域内の画素欠陥補正処理が全て終了したら、画素欠陥補正処理を終了する。
次に、図4(a),(b)に基づいて、第1実施形態における第1の特定値および第2の特定値について説明する。
第1の特定値は、例えば図4(a)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジの上端の値に設定するものとする。また、第2の特定値は,図4(b)に示すように、第1の特定値から1(LSB)離れた値に設定するものとする。 このように第1の特定値および第2の特定値を設定する理由は、撮像素子1から画像信号のダイナミックレンジが、例えば10(bit)または12(bit)のビット幅を有していれば、当該ビット幅で表現できる全ての値を使ってダイナミックレンジを表現する場合、ダイナミックレンジの上端の値と、上端の値から1(LSB)離れた値との視覚的な差は、視覚的にはほとんど判別できないため、欠陥画素に該当しない第1の特定値と同一の画素値を有する画素の画素値を第1の特定値から第2の特定値に変更しても画像処理に支障しないためである。
第1の特定値は、例えば図4(a)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジの上端の値に設定するものとする。また、第2の特定値は,図4(b)に示すように、第1の特定値から1(LSB)離れた値に設定するものとする。 このように第1の特定値および第2の特定値を設定する理由は、撮像素子1から画像信号のダイナミックレンジが、例えば10(bit)または12(bit)のビット幅を有していれば、当該ビット幅で表現できる全ての値を使ってダイナミックレンジを表現する場合、ダイナミックレンジの上端の値と、上端の値から1(LSB)離れた値との視覚的な差は、視覚的にはほとんど判別できないため、欠陥画素に該当しない第1の特定値と同一の画素値を有する画素の画素値を第1の特定値から第2の特定値に変更しても画像処理に支障しないためである。
これにより、画像処理部6で例えば歪み補正や電子ズームを行うために記憶部2から画像データを読み出すときに、上述した図8に示すような部分読み出しを行う場合であっても、欠陥位置記憶部3の中の欠陥画素の位置情報を検索することなく、第1の特定値を有する画素を識別するだけで、読み出した部分領域の画像データの中に欠陥画素に対応する画素が含まれているか否かを判定して、簡単に部分領域内の画素欠陥補正処理を行うことができる。
以上説明したように、第1実施形態の画素欠陥補正装置によれば、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に変更し、画像処理部6の画像処理のため記憶部2から部分領域を分割読み出しした画像データにおいて、欠陥補正部7に入力した画像データの画素値が第1の特定値である場合、欠陥画素に対応する画像データであると判定して欠陥補正部7により欠陥画素に対応する画像データの補正を行うから、記憶部2から部分領域を分割読み出しした画像データのうちの画素値が第1の特定値である画素の画像データのみに対し、欠陥画素の検出を行うことなく、画素欠陥補正処理を行うことができるので、画像データを小領域の処理単位で処理する際に発生するオーバーヘッドを減少させることができる画素欠陥補正装置となる。また、第1実施形態の画素欠陥補正装置によれば、画像処理部6の画像処理のため記憶部2から画像データの部分領域をさらに小さな領域単位で分割読み出しすることにより、記憶部2として、画像データの水平サイズより短いライン幅を有するラインメモリを複数本有するフレームメモリを用いた場合であっても、記憶部2にアクセスすることなく、上記欠陥補正処理を行うことができる。
なお、第1実施形態における第1の特定値は、ダイナミックレンジの上端の値に限定されるものではなく、ダイナミックレンジの下端の値に設定してもよいことは言うまでもない。また、上記においては、画像処理の例として歪み補正や電子ズームを挙げたが、画像処理はこれらに限定されないことは言うまでもない。
[第2実施形態]
次に、本発明の画素欠陥補正装置の第2施形態を図5および図6に基づいて説明する。本実施形態の画素欠陥補正装置は、請求項1および請求項3に対応するものである。なお、本実施形態の画素欠陥補正装置の構成は、図1に示す第1実施形態の画素欠陥補正装置と同一である。
次に、本発明の画素欠陥補正装置の第2施形態を図5および図6に基づいて説明する。本実施形態の画素欠陥補正装置は、請求項1および請求項3に対応するものである。なお、本実施形態の画素欠陥補正装置の構成は、図1に示す第1実施形態の画素欠陥補正装置と同一である。
[画素欠陥補正処理および画像処理の全体の流れ]
図5は第2実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。まず、ステップS301では、撮像素子1から画像データの読み出しを開始する。この画像データの読み出しは、画像処理部6の画像処理のため、記憶部2から画像データの部分領域を分割読み出しするものとする。次のステップS302では、欠陥位置検出部4により、撮像素子1から読み出した画像データ上の欠陥画素に対応する画素を欠陥位置記憶部3に記憶されている欠陥画素の位置情報に基づいて検出する。次のステップS303では、欠陥画素に対応する画素を検出したか否かを判定し、欠陥画素に対応する画素を検出したときにはステップS304に進み、欠陥画素に対応する画素を検出しなかったときにはステップS304をスキップして直ちにステップS305に進む。ステップS304では、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に置換(変更)して記憶部2に記憶(格納)する。
図5は第2実施形態の画素欠陥補正装置において実行する画素欠陥補正処理および画像処理の全体の流れを示すフローチャートである。まず、ステップS301では、撮像素子1から画像データの読み出しを開始する。この画像データの読み出しは、画像処理部6の画像処理のため、記憶部2から画像データの部分領域を分割読み出しするものとする。次のステップS302では、欠陥位置検出部4により、撮像素子1から読み出した画像データ上の欠陥画素に対応する画素を欠陥位置記憶部3に記憶されている欠陥画素の位置情報に基づいて検出する。次のステップS303では、欠陥画素に対応する画素を検出したか否かを判定し、欠陥画素に対応する画素を検出したときにはステップS304に進み、欠陥画素に対応する画素を検出しなかったときにはステップS304をスキップして直ちにステップS305に進む。ステップS304では、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥位置検出部4により検出した欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に置換(変更)して記憶部2に記憶(格納)する。
ステップS304およびステップS303のNOの次のステップS305では、画像データ上の欠陥画素に対応する画素の検出が終了したか否かを判定し、欠陥画素に対応する画素の検出が終了するまではステップS302に戻ってステップS302〜ステップS304の処理を繰り返し実行し、欠陥画素に対応する画素の検出が終了したらステップS306に進んで、欠陥画素に対応する画像データを補正する画素欠陥補正処理を行う。この画素欠陥補正処理は、第1実施形態の図2のステップS109の画素欠陥補正処理と同様の処理であり、画像処理部6で行う各種画像処理に応じて、記憶部2から画像データの部分領域を分割読み出して画像処理部6に入力する前に、欠陥画素に対応する、画素値が第1の特定値である画素の画像データを、当該欠陥画素の周囲に位置する画素の画素値を用いて補正するものである。次のステップS307では、画素欠陥補正処理済みの画像データに対し画像処理部5により各種画像処理を施す。次のステップS308では、画像処理後の画像データを記録部8に記録する。
次に、図6(a),(b)に基づいて、第2実施形態における第1の特定値について説明する。
第1の特定値は、例えば図6(a)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジを前記画像信号のビット幅で表現できる範囲の上端の値より1少ない範囲としたとき、ビット表現の上端の値に設定するものとする。あるいは、第1の特定値は、例えば図6(b)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジを前記画像信号のビット幅で表現できる範囲の下端の値より1少ない範囲としたとき、ビット表現の下端の値に設定するものとする。
第1の特定値は、例えば図6(a)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジを前記画像信号のビット幅で表現できる範囲の上端の値より1少ない範囲としたとき、ビット表現の上端の値に設定するものとする。あるいは、第1の特定値は、例えば図6(b)に示すように、撮像素子1の出力信号である画像信号のダイナミックレンジを前記画像信号のビット幅で表現できる範囲の下端の値より1少ない範囲としたとき、ビット表現の下端の値に設定するものとする。
以上説明したように、第2実施形態の画素欠陥補正装置によれば、上記第1実施形態の画素欠陥補正装置と同様の作用効果が得られる。また、第2実施形態の画素欠陥補正装置によれば、撮像素子1から読み出して記憶部2に格納する画像データのうち、欠陥画素に対応する画素の画素値をデータ変更部5により第1の特定値に置換(変更)するので、画像データの読み出し位置が異なっても、簡単に欠陥画素に対応する画素に対し画素欠陥補正を実施するができる。
1 撮像素子(固体撮像素子)
2 記憶部
3 欠陥位置記憶部
4 欠陥位置検出部
5 データ変更部
6 画像処理部
7 欠陥補正部
8 記録部
2 記憶部
3 欠陥位置記憶部
4 欠陥位置検出部
5 データ変更部
6 画像処理部
7 欠陥補正部
8 記録部
Claims (5)
- 撮像素子と、
前記撮像素子の出力信号である画像データを格納する記憶部と、
前記撮像素子の欠陥画素の位置情報を記憶する欠陥位置記憶部と、
前記撮像素子から読み出した画像データ上の前記欠陥画素に対応する画素を前記欠陥位置記憶部に記憶した前記欠陥画素の位置情報に基づいて検出する欠陥位置検出部と、
前記撮像素子の出力信号である画像データを前記記憶部に格納する前に、前記撮像素子の出力信号である画像データのうち特定の画素の画素値を第1の特定値に変更するデータ変更部と、
前記記憶部に格納した画像データを画像処理に応じた部分領域毎に読み出し、前記部分領域の画像データをさらに分割読み出しして画像処理する画像処理部と、
前記記憶部から読み出した画像データを前記画像処理部に入力する前に、欠陥画素に対応する画像データの補正を行う欠陥補正部と、
前記画像処理部から出力される画像データを記録する記録部と、
を備え、
前記撮像素子から読み出して前記記憶部に格納する画像データのうち、前記欠陥位置検出部により検出した欠陥画素に対応する画素の画素値を前記データ変更部により前記第1の特定値に変更し、
前記画像処理部の画像処理のため前記記憶部から部分領域を分割読み出しした画像データにおいて、前記欠陥補正部に入力した画像データの画素値が前記第1の特定値である場合、欠陥画素に対応する画像データであると判定して前記欠陥補正部により前記欠陥画素に対応する画像データの補正を行うことを特徴とする画素欠陥補正装置。 - 前記データ変更部は、前記撮像素子から前記記憶部に画像データを格納する際に、前記欠陥位置検出部により検出した欠陥画素の位置以外に前記第1の特定値と同一の画素値を有する画素がある場合、該当する画素の画素値を前記第1の特定値とは異なる第2の特定値に置き換えることを特徴とする請求項1に記載の画素欠陥補正装置。
- 前記撮像素子におけるダイナミックレンジをビット表現可能な範囲より狭い範囲に制限することにより、前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの範囲外の値とすることを特徴とする請求項1に記載の画素欠陥補正装置。
- 前記第1の特定値を前記撮像素子の出力信号のダイナミックレンジの端部の画素値とすることを特徴とする請求項1記載の画素欠陥補正装置。
- 前記第1の特定値と前記第2の特定値とを少なくとも1(LSB)離れた値とすることを特徴とする請求項2に記載の画素欠陥補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181566A JP2010021858A (ja) | 2008-07-11 | 2008-07-11 | 画素欠陥補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181566A JP2010021858A (ja) | 2008-07-11 | 2008-07-11 | 画素欠陥補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010021858A true JP2010021858A (ja) | 2010-01-28 |
Family
ID=41706310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008181566A Withdrawn JP2010021858A (ja) | 2008-07-11 | 2008-07-11 | 画素欠陥補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010021858A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100166A (ja) * | 2010-11-04 | 2012-05-24 | Canon Inc | 信号処理装置 |
JP2013065995A (ja) * | 2011-09-16 | 2013-04-11 | Ricoh Co Ltd | 撮像装置及びこれを用いた物体識別装置 |
JP2014187516A (ja) * | 2013-03-22 | 2014-10-02 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
CN107527603A (zh) * | 2016-06-22 | 2017-12-29 | 罗伯特·博世有限公司 | 用于检验图像数据的有效性的方法 |
WO2020049806A1 (ja) * | 2018-09-03 | 2020-03-12 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
WO2020110676A1 (ja) * | 2018-11-29 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
CN111669523A (zh) * | 2019-03-05 | 2020-09-15 | 顶级公司 | 像素校正 |
-
2008
- 2008-07-11 JP JP2008181566A patent/JP2010021858A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100166A (ja) * | 2010-11-04 | 2012-05-24 | Canon Inc | 信号処理装置 |
JP2013065995A (ja) * | 2011-09-16 | 2013-04-11 | Ricoh Co Ltd | 撮像装置及びこれを用いた物体識別装置 |
JP2014187516A (ja) * | 2013-03-22 | 2014-10-02 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
CN107527603A (zh) * | 2016-06-22 | 2017-12-29 | 罗伯特·博世有限公司 | 用于检验图像数据的有效性的方法 |
WO2020049806A1 (ja) * | 2018-09-03 | 2020-03-12 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
WO2020110676A1 (ja) * | 2018-11-29 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
US11632505B2 (en) | 2018-11-29 | 2023-04-18 | Sony Semiconductor Solutions Corporation | Solid-state image sensor and imaging device |
CN111669523A (zh) * | 2019-03-05 | 2020-09-15 | 顶级公司 | 像素校正 |
CN111669523B (zh) * | 2019-03-05 | 2024-03-08 | Arm有限公司 | 像素校正 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8253828B2 (en) | Image capture device including edge direction determination unit, and image processing method for the same | |
CN101304484B (zh) | 成像装置、缺陷像素校正装置、和装置中的处理方法 | |
JP2010021858A (ja) | 画素欠陥補正装置 | |
JP4616096B2 (ja) | 動画撮像装置および撮像プログラム | |
JP4985403B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP5060535B2 (ja) | 画像処理装置 | |
JP2007201530A (ja) | 画素欠陥補正装置 | |
JP4383827B2 (ja) | 撮像装置、白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP4985124B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP4591046B2 (ja) | 欠陥検出補正回路及び欠陥検出補正方法 | |
US20050030412A1 (en) | Image correction processing method and image capture system using the same | |
JP4606218B2 (ja) | 歪補正装置 | |
JP2010068329A (ja) | 撮像装置 | |
JP2010010760A (ja) | 撮像装置および方法 | |
JP2012070319A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP2006166194A (ja) | 画素欠陥検出回路及び画素欠陥検出方法 | |
JP2010212788A (ja) | 撮像装置、欠陥画素補正方法、および電子情報機器 | |
JP2005223796A (ja) | 画素欠陥補正装置 | |
JP4471352B2 (ja) | 欠陥画素補正装置及び方法及び撮像装置及びプログラム及び記憶媒体 | |
JP2008028475A (ja) | 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法 | |
JP2008148115A (ja) | 方向検出を用いた撮像デバイスの画像欠陥補正システム | |
JP2006148748A (ja) | 画素欠陥補正装置および画素欠陥補正方法 | |
JP2007228269A (ja) | 画像信号処理装置及び方法 | |
US20080075374A1 (en) | Processing circuit and method for automatic detection and compensation of pixel defects | |
JP5968145B2 (ja) | 画像処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111004 |