JP2013093789A - イメージセンサ及び画像補正方法 - Google Patents

イメージセンサ及び画像補正方法 Download PDF

Info

Publication number
JP2013093789A
JP2013093789A JP2011235778A JP2011235778A JP2013093789A JP 2013093789 A JP2013093789 A JP 2013093789A JP 2011235778 A JP2011235778 A JP 2011235778A JP 2011235778 A JP2011235778 A JP 2011235778A JP 2013093789 A JP2013093789 A JP 2013093789A
Authority
JP
Japan
Prior art keywords
pixel
image data
types
wavelengths
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011235778A
Other languages
English (en)
Other versions
JP5874317B2 (ja
Inventor
Yasuo Matsumiya
康夫 松宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011235778A priority Critical patent/JP5874317B2/ja
Publication of JP2013093789A publication Critical patent/JP2013093789A/ja
Application granted granted Critical
Publication of JP5874317B2 publication Critical patent/JP5874317B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】イメージセンサ及び画像補正方法において、不良画素に起因する画像データの欠損を確実に防止することを目的とする。
【解決手段】感度を持つ波長が互いに異なる2種類以上の光センサを有し異なる種類の光センサの画素が積層された構造を有する撮像素子と、被写体からの光の光路をN種類の波長毎にずらして撮像素子の光センサ上の結像位置を1画素以上ずらす光学系と、ずらす画素数と不良画素の位置情報に基づき、任意の光センサの不良画素の画像データと同じ画像データを入力されている他の光センサの画素が検出した画像データで、前記任意の光センサの不良画素に起因する欠損を補完する処理回路を備えるように構成する。
【選択図】図1

Description

本発明は、イメージセンサ及び画像補正方法に関する。
QWIP(Quantum Well Infrared Photodetector)を有する量子型赤外線イメージセンサ等の各種イメージセンサ、及び各種イメージセンサを用いたFPA(Focal Plane Array)等では、更なる高解像度化が望まれている(例えば、非特許文献1)。一方、イメージセンサの製造プロセスの不具合や製造プロセス中の結晶欠陥は、一定の割合で発生するため、イメージセンサの画素数の増加に伴い正常に動作しない不良画素(又は、欠陥画素)が含まれる確率が増加する傾向にある。イメージセンサにおいて、不良画素による画像データの一部の欠損は、致命的な欠陥となることがあるため、高解像度のイメージセンサの歩留まりは低くコスト上昇の要因の1つとなっている。
不良画素に起因する画像データの欠損を防止する手法としては、不良画素の周辺画素からの画像データを基に不良画素の画像データを内挿する手法や、不良画素の画像データを不良画素に隣接する正常な画素の画像データで置き換える手法等が提案されている。しかし、これらの手法では、不良画素に起因する画像データの欠損は依然として残る。
不良画素に起因する画像データの欠損を防ぐ別の手法としては、イメージセンサ内に予備画素を配置し、本来であれば不良画素に入射する光を予備画素に入射させる冗長化手法が提案されている。例えば、電荷結合素子(CCD:Charge Coupled Device)の受光面に光を隣の画素にシフトさせる方法が提案されている(例えば、特許文献1)。しかし、この提案方法では、本来であれば不良画素に入射する光を正確に予備画素に入射させる必要があるため、画素の冗長化のプロセスが複雑になる。又、この提案方法では、イメージセンサ内に複数の不良画素が存在する場合には対応できず、不良画素に起因する画像データの欠損は依然として残る。
特開昭61−134188号公報 特開2009−54806号公報 特開2008−241563号公報
"Infrared Detectors and Focal Plane Arrays VI", Proceedings of SPIE, Vol.4028, July 17, 2000
従来のイメージセンサでは、不良画素に起因する画像データの欠損を確実に防止することは難しい。
そこで、本発明は、不良画素に起因する画像データの欠損を確実に防止することのできるイメージセンサ及び画像補正方法を提供することを目的とする。
本発明の一観点によれば、感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、被写体からの光の光路をN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす光学系と、前記Mの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する処理回路を備えたことを特徴とするイメージセンサが提供される。
本発明の一観点によれば、感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、被写体からの光の光路を光学系によりN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす処理と、前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、処理回路により、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する補正処理を含むことを特徴とする画像補正方法が提供される。
開示のイメージセンサ及び画像補正方法によれば、不良画素に起因する画像データの欠損を確実に防止することが可能となる。
一実施例におけるイメージセンサモジュールの構成の一例を示すブロック図である。 光学系及び撮像素子を説明する図である。 不良画素により欠損した画像データを説明する図である。 補正処理を説明する図である。 補正処理の一例を説明するフローチャートである。 補正処理による欠損した画像データの復元を説明する図である。 光学系の一例を説明する図である。 光学系の他の例を説明する図である。
開示のイメージセンサ及び画像補正方法では、感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子を用いる。被写体からの光の光路は、光学系によりN種類の波長毎にずらして撮像素子のN種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす。処理回路は、記憶部に格納されたMの値と不良画素の位置情報に基づき、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する。
以下に、開示のイメージセンサ及び画像補正方法の各実施例を図面と共に説明する。
図1は、一実施例におけるイメージセンサモジュールの構成の一例を示すブロック図である。図1に示すイメージセンサモジュール1は、光学系11、撮像素子12、読出集積回路(ROIC:Read-Out Integrated Circuit)13、駆動回路14、処理回路15、及び表示装置16を有する。処理回路15は、CPU(Central Processing Unit)151等のプロセッサと、メモリ152等の記憶部を有する。
光学系11は、被写体500の画像を撮像素子12上に結像する。ROIC13は、駆動回路14により駆動されて撮像素子12の光センサを駆動することで、撮像素子12の光センサが検出した画像データを読み出す。処理回路15のCPU151は、駆動回路14を制御して、ROIC13により読み出された画像データをメモリ152に格納する。CPU151は、メモリ152に格納された画像データを読み出して表示装置16上に表示しても良い。
後述するように、CPU151は、不良画素に起因する画像データの欠損を防止するために、ROIC13により読み出された画像データを補正する補正処理を実行する機能を有する。又、CPU151は、撮像素子12の不良画素を検出する検出処理(以下、不良画素検出処理とも言う)を実行する機能を有しても良い。この場合、CPU151は、不良画素検出処理に関連したメッセージ、操作メニュー等を表示装置16上に表示しても良い。更に、CPU151への入力、指示等は、入力部(図示せず)から入力するようにしても良い。例えば、表示装置16がタッチパネルで形成されている場合には、タッチパネルは表示部及び前記入力部として機能する。
イメージセンサ2は、少なくとも撮像素子12及びROIC13で形成される。イメージセンサ2は、光学系11、駆動回路14及び処理回路15のうち少なくとも1つを更に含んでも良い。ROIC13が駆動回路14の機能を含む場合には、駆動回路14は省略可能である。又、イメージセンサモジュール1の表示装置16は、省略可能である。
図2は、光学系及び撮像素子を説明する図である。図2において、撮像素子12は、近接するN(Nは2以上の自然数)種類の波長W〜Wに夫々感度を持つN種類の光センサを同一画素内に積層した構造を有し、N種類の光センサは夫々一般的な1波長に感度を持つ撮像素子と同様の方法で独立に駆動される。図2に示す例では、N=2である。尚、2種類以上の光センサを同一画素内に積層した構造自体は周知である(例えば、特許文献3)。
図2では、説明の便宜上、撮像素子12の構造は簡略化して示しており、電極等の図示は省略されている。この例では、撮像素子12は、基板120の表面(以下、基板表面とも言う)上に、第1の波長Wに感度を持つ光センサ121と第1の波長Wとは異なる第2の波長Wに感度を持つ光センサ122が積層された構造を有する。光センサ122の各画素は、光センサ121の対応する画素に積層されている。
又、図2において、光学系11は、被写体500からの光をN種類の波長W〜Wの色収差等を利用して波長W(j=1,...,N)毎に光路をずらす構造を有する。この例ではN=2であるため、光学系11において一点破線で示す第1の波長Wの光路OP1と二点破線で示す第2の波長Wの光路OP2とがずらされることで、第1の波長Wによる画像と第2の波長Wによる画像とでは基板面と平行な所定方向に撮像素子12上で相対的にM(Mは1以上の自然数)画素以上ずれて結像される。この例では、M=1であり、前記所定方向は図2中Y方向である。しかし、前記所定方向は、図2中Y方向とは直交する紙面に対して垂直なX方向であっても良い。更に、Y方向とX方向の両方向にM画素以上ずらして第1の波長Wによる画像と第2の波長Wによる画像を撮像素子12上で結像させても良い。
次に、撮像素子12の不良画素検出処理について説明する。不良画素検出処理は、イメージセンサ2又はイメージセンサモジュール1の出荷前に例えば試験処理と共に実行、及び/又は、出荷後の任意のタイミングで実行することができる。
撮像素子12の不良画素検出処理の第1の例では、以下のステップS11〜S13を行う。ステップS11〜S13は、出荷前の試験処理等を実行するイメージセンサ2又はイメージセンサモジュール1とは別体のコンピュータ又は試験装置(いずれも図示せず)、或いは、処理回路15のCPU151により実行可能である。
この第1の例では、先ず表面温度が均一に設定できる被写体500としての板状部材(図示せず)を用意する。ステップS11では、イメージセンサ2又はイメージセンサモジュール1により板状部材を複数の温度で撮像し、撮像素子12の光センサ121又は122の各画素の出力をメモリ152に記録する。ステップS12では、メモリ152に記録された各温度に対する各画素の出力を比較し、他の画素に比べて閾値以上の差を有する画素を不良画素(又は、欠陥画素)と定義する。ステップS13では、不良画素と定義された画素の位置情報を、不良画素位置情報としてメモリ152に記録し、処理は終了する。
撮像素子12の不良画素検出処理の第2の例では、以下のステップS21〜S23を行う。ステップS21〜S23は、出荷前の試験処理等を実行するイメージセンサ2又はイメージセンサモジュール1とは別体のコンピュータ又は試験装置(いずれも図示せず)、或いは、処理回路15のCPU151により実行可能である。
この第2の例では、先ず表面に既知のパターンが描画された被写体500としての板状部材(図示せず)を用意する。又、この既知のパターンの板状部材を理想的な撮像素子で撮像した場合にこの理想的な撮像素子の光センサの各画素から出力されるべき理想値が、予めメモリ152に格納されている。ステップS21では、イメージセンサ2又はイメージセンサモジュール1により板状部材を撮像し、撮像素子12の光センサ121又は122の各画素の出力をメモリ152に記録する。ステップS22では、メモリ152に記録された撮像素子12の各画素の出力の値と、予めメモリ152に格納されている各画素の出力の理想値とを比較し、閾値以上の差を有する画素を不良画素(又は、欠陥画素)と定義する。ステップS23では、不良画素と定義された画素の位置情報を、不良画素位置情報としてメモリ152に記録し、処理は終了する。
このようにして、撮像素子12の各画素の感度を求めることで、正常に動作していない不良画素の位置を把握することができる。
次に、撮像素子12の不良画素に対して欠損した画像データを補完(又は、復元)する補正処理について、図3及び図4と共に説明する。図3は、不良画素により欠損した画像データを説明する図であり、図4は、補正処理を説明する図である。図3及び図4において、図2と同一部分には同一符号を付し、その説明は省略する。
図3では、説明の便宜上、被写体500を撮像した場合に撮像素子12の各画素が検出する画像データの値を図3中横方向に延びる棒グラフの長さで示す。Dは、正常な画素で検出されるべきデータを示す。第1の波長Wの光路OP1と第2の波長Wの光路OP2とが図2に示すようにずらされていないと仮定すると、D1はこの場合に光センサ121の各画素が検出する画像データを示し、D2はこの場合に光センサ122の各画素が検出する画像データを示す。この例では、光センサ121,122の画素12Dが不良画素であるため、光路OP1,OP2が一致していると、画像データD1,D2の図3中Fで示す部分が欠損してしまう。
これに対し、本実施例では、第1の波長Wの光路OP1が第2の波長Wの光路OP2に対してM画素だけY方向に(図2の例では1画素だけ下方向に)ずらされている。又、光センサ121,122の画素12Dが不良画素であることが上記の不良画素検出処理で検出されており、メモリ152にはMの値と不良画素12Dの位置情報(即ち、不良画素位置情報)が記録されている。このため、例えば光路OP1が光路OP2に対して上方向に2画素(M=2)だけずらされていれば、図4に示すように、光センサ121と光センサ122とでは、同じ画像データを検出する画素の位置が2画素だけY方向にずれている。従って、光センサ121の不良画素12Dが検出する画像データと、光センサ122の不良画素12Dが検出する画像データとは異なり、光センサ121の不良画素12Dが検出するべき画像データD1cはこの不良画素12Dからずれた位置にある光センサ122の正常な画素で検出した画像データで補完(又は、復元)でき、光センサ122の不良画素12Dが検出するべき画像データD2cはこの不良画素12Dからずれた位置にある光センサ121の正常な画素で検出した画像データで補完(又は、復元)できる。
このように、予め被写体500からの光を波長に応じて撮像素子12上の異なる位置に結像しているため、光センサ121と光センサ122とでは、同じ画像データが検出される画素位置が光路OP1,OP2をY方向にずらした画素数Mだけ離れた位置で検出される。光センサ121,122の画素の出力について、例えば波長W,W間の信号強度補正を行うこともでき、不良画素12Dの画像データを異なる画素位置で検出された対応する画像データで補完する(即ち、入れ替える)ことで、不良画素12Dに起因する画像データの欠損を確実に防止することができる。
不良画素12Dは、各光センサ121,122を形成する際の結晶成長プロセス、ウエハプロセス、及び撮像素子12とROIC13との貼り合わせプロセス等で発生することが多く、その発生原理上、積層された2種類の波長W,Wの光センサ121,122は、同じ画素位置で同時に不良画素12Dが発生する可能性が比較的高い。単純に2つの光センサを積層した冗長方法では、このような不良画素12Dで本来検出されるべき画像データを補完することはできないが、本実施例では2種類の光センサ121,122上に結像する画像の位置がずれているために、このような場合でも不良画素12Dの画像データを補完可能となる。
図5は、補正処理の一例を説明するフローチャートである。図5に示す補正処理は、イメージセンサモジュール1の撮像処理に含まれていても良い。補正処理が開始されると、ステップS31及びステップS42が並列に実行される。ステップS31では、処理回路15のCPU151は、駆動回路14及びROIC13を介して撮像素子12の光センサ121を駆動する。ステップS41では、処理回路15のCPU151は、駆動回路14及びROIC13を介して撮像素子12の光センサ122を駆動する。ステップS32では、CPU151は、撮像素子12の光センサ121の各画素から出力された画像データD1をROIC13及び駆動回路14を介して処理回路15のメモリ152に格納する。ステップS42では、CPU151は、撮像素子12の光センサ122の各画素から出力された画像データD2をROIC13及び駆動回路14を介して処理回路15のメモリ152に格納する。
ステップS43では、CPU151は、メモリ152に格納されているMの値及び不良画素12Dの位置情報(即ち、不良画素位置情報)を読み出し、メモリ152に格納された画像データD1中の不良画素12Dに起因する欠損を画像データD2中の正常な画素で検出された画像データで補完(又は、復元)する。つまり、光センサ121の不良画素12Dに入力されている画像データと同じ画像データを入力されている光センサ122の正常な画素が検出した画像データで、光センサ121の不良画素12Dに起因する欠損を補完する。ステップS43では、画像データD1中の欠損を補完する際に図6(b)と共に後述する波長W,W間の信号強度補正を行う。ステップS33では、CPU151は、画像データD2を用いて補完(又は、復元)された画像データと欠損を有する画像データD1とを合成した画像データ、即ち、欠損が補完された画像データに補正された画像データD1を、メモリ152に格納する。CPU151は、メモリ152から補正された画像データを読み出して出力し、例えば表示装置16上に表示することもできる。尚、図5の処理において、波長Wに対する処理と波長Wに対する処理を入れ替えても良いことは言うまでもない。
波長Wでの画像データD1は、ステップS32で例えばxy座標を用いて画像データA1(x,y)としてメモリ152に格納され、波長Wでの画像データD2は、ステップS42で例えばxy座標を用いて画像データA2(x,y)としてメモリ152に格納される。又、不良画素位置情報は、例えば不良画素位置リストD(i)としてメモリ152に格納されており、ステップS43でメモリ142から読み出される。この場合、ステップS43における不良画素位置での波長W1での信号強度の推定は、例えば不良画素位置リストD(i)中の各不良画素位置について順番に以下ように行う。つまり、不良画素位置リストD(i)中の不良画素位置周辺の画素について、波長Wでの画像データA1(x,y)と波長Wでの画像データA2(x,y)の相関表を作成する。そして、この相関表から不良画素位置の画像データA1(D(i))を内挿することで、不良画素位置リストD(i)中の不良画素位置の波長Wでの推定信号強度リストB1(i)を作成する。従って、この不良画素位置の波長Wでの推定信号強度リストB1(i)を用いることで、波長Wでの画像データA1(x,y)を波長Wでの補完後の画像データC1(x,y)に補正することができる。以下同様にして、不良画素位置リストD(i)中の各不良画素位置の画素について、画像データA1(x,y)中の欠損を補完して補正する。
図6は、補正処理による欠損した画像データの復元を説明する図である。図6中、(a)は被写体500を撮像した場合に撮像素子12の各画素が検出する画像データの値を縦方向に延びる棒グラフの長さで示し、図3を反時計方向に90度回転させたものに相当する。又、光センサ121の各画素が検出した画像データD1と光センサ122の各画素が検出した画像データD2との対応関係を、M=1の場合について矢印で示し、不良画素12Dに起因する画像データD1,D2中の欠損部分をFで示す。図6中、(b)は撮像素子12が検出する波長W,Wでの信号強度の関係を示し、縦軸は波長Wでの信号強度を任意単位(A.U.)で示し、横軸は波長Wでの信号強度を任意単位(A.U.)で示す。この例では、撮像素子12が検出する波長W,Wでの信号強度は線形関係にあるが、信号強度の関係は線形に限定されるものではない。上記の不良画素位置の波長Wでの推定信号強度リストB1(i)は、図6(b)の関係に基づいて作成可能である。図6(b)の関係は、メモリ152に格納しておくことができる。
画像データD1の欠損部分Fに相当する画像データは、画像データD2中の対応する画像データD2−1を用いることで本来検出するべき画像データに補完(又は、復元)できる。この補完の際、画像データD2中の画像データD2−1の波長Wでの信号強度I2は、図6(b)の関係から波長Wでの信号強度I1に相当するので、メモリ152から読み出したこの関係に基づき画像データD2−1に波長W,W間の信号強度補正を施すことで画像データD1−1に補正することができる。この結果、画像データD1中の欠損部分Fは、本来検出するべき画像データD1−1に補完することができる。言うまでもなく、撮像素子12が検出する波長W,Wでの信号強度の関係が1:1であれば、波長W,W間の信号強度補正は不要である。
図7は、光学系の一例を説明する図である。図7中、図2と同一部分には同一符号を付し、その説明は省略する。図7に示す光学系11は、レンズ111、平行平板112、及びレンズ113を有する。
この例では、撮像素子12は、1辺が30μmの正方形の画素内に波長W=7μmに感度ピークを持つ光センサ121と、1辺が30μmの正方形の画素内に波長W=9μmに感度ピークを持つ光センサ122が基板面上で積層され、光センサ121,122の夫々が独立に駆動される構造を有する。光センサ121,122の画素は、夫々基板面上では例えば30μmのピッチ(画素の中心間の距離)でXY方向に配置されている。この例では、光センサ121,122は波長の感度幅が1μm程度のQWIPで形成されているため、双方の波長に対しては略感度を持たない。例えば、光センサ(QWIP)121は、アンドープ(Undoped)Al0.34Ga0.66As(50nm)の上に、n型ドープ(Si濃度:4×17cm−3)のGaAs(5nm),アンドープ(Undoped)Al0.34Ga0.66As(50nm)が62回繰り返し積層された構造を有する。又、光センサ(QWIP)122は、アンドープ(Undoped)Al0.26Ga0.74As(50nm)の上に、n型ドープ(Si濃度:4×17cm−3)のGaAs(5nm),アンドープ(Undoped)Al0.26Ga0.74As(50nm)が62回繰り返し積層された構造を有する。
波長W=7μmと波長W=9μmの光で光路OP1,OP2をずらす機構として、CaFの平行平板112を用いる。CaFの屈折率は波長W=7μmで1.368、波長W=9μmで1.322であるので、例えば厚さ2mmの平行平板112が図7中垂直方向(平行平板112のレンズ111側の表面がレンズ111の光軸に対して垂直な方向)に配置された位置から30度レンズ113側に傾けた位置でレンズ111からの平行光を入射されると、約30μmの色収差を発生させることができ、1辺が30μmの正方形の画素の場合であれば1画素分光路OP1,OP2をずらすことができる。被写体500からの光を平行光に変換するレンズ111と、平行平板112を透過後の平行光を撮像素子12に結像させるレンズ113は、波長W=7μmから波長W=9μmの光に対して色収差が少ないことが望ましく、例えばこれらの波長W,Wで屈折率の変化が殆ど無いGe等で形成することができる。
図7の例では、波長W,W毎に1画素分に結像位置をずらしているが、平行平板112に波長W,Wにより屈折率が大きく異なる材料等を使うことで、結像位置を2画素以上分ずらすことが可能であり、この場合は比較的大きなブロック欠陥の欠損画像データの補完も可能となる。
図8は、光学系の他の例を説明する図である。図8中、図2と同一部分には同一符号を付し、その説明は省略する。図8に示す光学系11は、ミラー115、反射型解析格子116、及びミラー117を有する。撮像素子12の構造は、例えば図7に示す撮像素子12の構造と同じである。
被写体500からの光は、凹面のミラー114により平行光として反射型回折格子116に入射され、反射型回折格子116の格子ピッチで決まる波長W,W毎の反射角の違いで凹面のミラー117から撮像素子12への結像位置のずれを生じさせる。
図8の例では、波長W,W毎に2画素分に結像位置をずらしているが、反射型回折格子116の格子ピッチで決まる波長W,W毎の反射角を適宜選定することで、結像位置を1画素、或いは、3画素以上分ずらすことが可能であり、その場合大きなブロック欠陥の欠損画像データの補完も可能となる。
以上説明したように、開示のイメージセンサによれば、不良画素に起因する画像データの欠損を確実に防止することができる。又、冗長化のプロセスが比較的簡単で、且つ、複数の不良画素にも対応できる冗長化手法を実現できる。
CPU151に上記の不良画素検出処理、及び/又は、上記の補正処理を実行させるプログラムは、メモリ152等のコンピュータ読み取り可能な記憶媒体に格納されていても良い。コンピュータ読み取り可能な記憶媒体は、可搬型の記録媒体、又は、コンピュータに対して脱着可能な記録媒体で形成されていても良い。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、
被写体からの光の光路をN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす光学系と、
前記Mの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、
前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する処理回路
を備えたことを特徴とする、イメージセンサ。
(付記2)
前記光学系は、前記被写体からの光を前記N種類の波長の色収差に応じて、前記N種類の波長毎に光路をずらす平行平板を含むことを特徴とする、付記1記載のイメージセンサ。
(付記3)
前記光学系は、格子ピッチで決まる前記N種類の波長毎の反射角の違いに応じて、前記N種類の波長毎に光路をずらす反射型回折格子を含むことを特徴とする、付記1記載のイメージセンサ。
(付記4)
前記処理回路は、前記任意の1種類の光センサの画素が検出する第1の波長での信号強度と、前記他の1種類の光センサの画素が検出する第2の波長での信号強度との関係に基づいて、前記他の1種類の光センサの画素が検出した画像データに第1及び第2の波長間の信号強度補正を施して、前記任意の1種類の光センサの不良画素に起因する欠損を補完することを特徴とする、付記1乃至3のいずれか1項記載のイメージセンサ。
(付記5)
前記処理回路の制御下で、前記撮像素子の前記N種類の光センサの各画素の検出画像データを読み出す読出集積回路を更に備えたことを特徴とする、付記1乃至4のいずれか1項記載のイメージセンサ。
(付記6)
M=2であり、且つ、前記第1及び第2の光センサは、夫々QWIP(Quantum Well Infrared Photodetector)で形成されていることを特徴とする、付記1乃至5のいずれか1項記載のイメージセンサ。
(付記7)
感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、
被写体からの光の光路を光学系によりN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす処理と、
前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、処理回路により、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する補正処理
を含むことを特徴とする、画像補正方法。
(付記8)
前記ずらす処理は、前記被写体からの光を前記N種類の波長の色収差に応じて、前記N種類の波長毎に光路をずらす平行平板を含む光学系を用いることを特徴とする、付記7記載の画像補正方法。
(付記9)
前記ずらず処理は、格子ピッチで決まる前記N種類の波長毎の反射角の違いに応じて、前記N種類の波長毎に光路をずらす反射型回折格子を含む光学系を用いることを特徴とする、付記7記載の画像補正方法。
(付記10)
前記補正処理は、前記任意の1種類の光センサの画素が検出する第1の波長での信号強度と、前記他の1種類の光センサの画素が検出する第2の波長での信号強度との関係に基づいて、前記処理回路により前記他の1種類の光センサの画素が検出した画像データに第1及び第2の波長間の信号強度補正を施して、前記任意の1種類の光センサの不良画素に起因する欠損を補完することを特徴とする、付記7乃至9のいずれか1項記載の画像補正方法。
(付記11)
前記不良画素検出処理は、
前記撮像素子を用いて表面温度が均一に設定できる板状部材を複数の温度で撮像して前記第1又は第2の光センサの各画素の出力を前記記憶部に記録し、
前記記憶部に記録された各温度に対する各画素の出力を比較し、他の画素に比べて閾値以上の差を有する画素の位置情報を前記不良画素の位置情報として前記記憶部に記録する
ことを特徴とする、付記7乃至10のいずれか1項記載の画像補正方法。
(付記12)
前記不良画素検出処理は、
前記撮像素子により板状部材を撮像して前記撮像素子の第1又は第2の光センサの各画素の出力を記憶部に記録し、
前記記憶部に記録された前記撮像素子の各画素の出力の値と、前記記憶部に予め記録された、既知のパターンが描画された板状部材を理想的な撮像素子で撮像した場合に該理想的な撮像素子の光センサの各画素から出力されるべき理想値とを比較し、閾値以上の差を有する画素の位置情報を前記不良画素の位置情報として前記記憶部記録する
ことを特徴とする、付記7乃至10のいずれか1項記載の画像補正方法。
(付記13)
前記不良画素検出処理は、前記撮像素子の出荷前及び前記出荷後の任意のタイミングのうち少なくとも一方で実行することを特徴とする、付記11又は12記載の画像補正方法。
以上、開示のイメージセンサ及び画像補正方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
1 イメージセンサモジュール
2 イメージセンサ
11 光学系
12 撮像素子
13 ROIC
14 駆動回路
15 処理回路
16 表示装置
111,113 レンズ
112 平行平板
115,117 ミラー
116 反射型回折格子
151 CPU
152 メモリ

Claims (9)

  1. 感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、
    被写体からの光の光路をN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす光学系と、
    前記Mの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、
    前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する処理回路
    を備えたことを特徴とする、イメージセンサ。
  2. 前記光学系は、前記被写体からの光を前記N種類の波長の色収差に応じて、前記N種類の波長毎に光路をずらす平行平板を含むことを特徴とする、請求項1記載のイメージセンサ。
  3. 前記光学系は、格子ピッチで決まる前記N種類の波長毎の反射角の違いに応じて、前記N種類の波長毎に光路をずらす反射型回折格子を含むことを特徴とする、請求項1記載のイメージセンサ。
  4. 前記処理回路は、前記任意の1種類の光センサの画素が検出する第1の波長での信号強度と、前記他の1種類の光センサの画素が検出する第2の波長での信号強度との関係に基づいて、前記他の1種類の光センサの画素が検出した画像データに第1及び第2の波長間の信号強度補正を施して、前記任意の1種類の光センサの不良画素に起因する欠損を補完することを特徴とする、請求項1乃至3のいずれか1項記載のイメージセンサ。
  5. M=2であり、且つ、前記第1及び第2の光センサは、夫々QWIP(Quantum Well Infrared Photodetector)で形成されていることを特徴とする、請求項1乃至4のいずれか1項記載のイメージセンサ。
  6. 感度を持つ波長が互いに異なるN(Nは2以上の自然数)種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、
    被写体からの光の光路を光学系によりN種類の波長毎にずらして前記撮像素子の前記N種類の光センサ上の結像位置をM(Mは1以上の自然数)画素ずらす処理と、
    前記記憶部に格納された前記Mの値と前記不良画素の位置情報に基づき、処理回路により、任意の1種類の光センサの不良画素の画像データと同じ画像データを入力されている他の1種類の光センサの画素が検出した画像データで、前記任意の1種類の光センサの不良画素に起因する欠損を補完する補正処理
    を含むことを特徴とする、画像補正方法。
  7. 前記ずらす処理は、前記被写体からの光を前記N種類の波長の色収差に応じて、前記N種類の波長毎に光路をずらす平行平板を含む光学系を用いることを特徴とする、請求項6記載の画像補正方法。
  8. 前記ずらず処理は、格子ピッチで決まる前記N種類の波長毎の反射角の違いに応じて、前記N種類の波長毎に光路をずらす反射型回折格子を含む光学系を用いることを特徴とする、請求項6記載の画像補正方法。
  9. 前記補正処理は、前記任意の1種類の光センサの画素が検出する第1の波長での信号強度と、前記他の1種類の光センサの画素が検出する第2の波長での信号強度との関係に基づいて、前記処理回路により前記他の1種類の光センサの画素が検出した画像データに第1及び第2の波長間の信号強度補正を施して、前記任意の1種類の光センサの不良画素に起因する欠損を補完することを特徴とする、請求項6乃至8のいずれか1項記載の画像補正方法。
JP2011235778A 2011-10-27 2011-10-27 イメージセンサ及び画像補正方法 Expired - Fee Related JP5874317B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011235778A JP5874317B2 (ja) 2011-10-27 2011-10-27 イメージセンサ及び画像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011235778A JP5874317B2 (ja) 2011-10-27 2011-10-27 イメージセンサ及び画像補正方法

Publications (2)

Publication Number Publication Date
JP2013093789A true JP2013093789A (ja) 2013-05-16
JP5874317B2 JP5874317B2 (ja) 2016-03-02

Family

ID=48616573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011235778A Expired - Fee Related JP5874317B2 (ja) 2011-10-27 2011-10-27 イメージセンサ及び画像補正方法

Country Status (1)

Country Link
JP (1) JP5874317B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096841A1 (ja) * 2016-11-28 2018-05-31 富士フイルム株式会社 撮像装置および撮像方法
CN111614917A (zh) * 2019-02-22 2020-09-01 半导体元件工业有限责任公司 具有风化检测像素的成像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163445A (ja) * 1994-11-30 1996-06-21 Sony Tektronix Corp 静止画像データ生成装置
JP2000196133A (ja) * 1998-12-28 2000-07-14 Fujitsu Ltd 多重量子井戸型赤外光センサ
JP2007027815A (ja) * 2005-07-12 2007-02-01 Olympus Corp 動画撮像装置
JP2007174104A (ja) * 2005-12-20 2007-07-05 Fujitsu Ltd 画像処理回路及び画像処理方法
JP2010081955A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 放射線撮像装置及び画像補正方法
JP2011114626A (ja) * 2009-11-27 2011-06-09 Panasonic Corp 欠陥補正装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163445A (ja) * 1994-11-30 1996-06-21 Sony Tektronix Corp 静止画像データ生成装置
JP2000196133A (ja) * 1998-12-28 2000-07-14 Fujitsu Ltd 多重量子井戸型赤外光センサ
JP2007027815A (ja) * 2005-07-12 2007-02-01 Olympus Corp 動画撮像装置
JP2007174104A (ja) * 2005-12-20 2007-07-05 Fujitsu Ltd 画像処理回路及び画像処理方法
JP2010081955A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 放射線撮像装置及び画像補正方法
JP2011114626A (ja) * 2009-11-27 2011-06-09 Panasonic Corp 欠陥補正装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096841A1 (ja) * 2016-11-28 2018-05-31 富士フイルム株式会社 撮像装置および撮像方法
JPWO2018096841A1 (ja) * 2016-11-28 2019-10-17 富士フイルム株式会社 撮像装置および撮像方法
CN111614917A (zh) * 2019-02-22 2020-09-01 半导体元件工业有限责任公司 具有风化检测像素的成像系统
CN111614917B (zh) * 2019-02-22 2024-05-28 半导体元件工业有限责任公司 具有风化检测像素的成像系统

Also Published As

Publication number Publication date
JP5874317B2 (ja) 2016-03-02

Similar Documents

Publication Publication Date Title
JP6566749B2 (ja) 撮像素子、イメージセンサ、および情報処理装置
US7400389B2 (en) Method and apparatus for testing image sensors
US8854510B2 (en) Image pickup apparatus, focus detection method, image generation method, and storage medium
JP6693712B2 (ja) 撮像装置および情報処理装置
US8587702B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
CN101677359B (zh) 图像传感装置及缺陷像素检测方法
JP6488203B2 (ja) 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
US9531939B2 (en) Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus
CN103404123A (zh) 成像装置和缺陷像素校正方法
US7577349B2 (en) Focus detecting device and camera system using the same device
JP5874317B2 (ja) イメージセンサ及び画像補正方法
JP5317138B2 (ja) 検査装置及び欠陥検査方法
JP2020136429A (ja) 撮像素子および撮像装置
JP2011142558A (ja) イメージセンサおよび撮像システム
TW201826013A (zh) 參照圖像確認方法、光罩檢測方法及光罩檢測裝置
JP2013057769A (ja) 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
WO2019176209A1 (ja) 固体撮像装置
JP6914768B2 (ja) 撮像装置、撮像システム、移動体、および、制御方法
US10481007B2 (en) System for detecting electromagnetic radiation
JP4961615B2 (ja) フォトマスクの検査方法及び装置
JP6822151B2 (ja) 光検知器及び撮像装置
JP2006343143A (ja) 撮像素子の検査装置
JP5477035B2 (ja) 撮像装置
TWI325588B (en) Hologram optical storage system
WO2022210152A1 (ja) 固体撮像装置および固体撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R150 Certificate of patent or registration of utility model

Ref document number: 5874317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees