JP2013093789A

JP2013093789A - イメージセンサ及び画像補正方法

Info

Publication number: JP2013093789A
Application number: JP2011235778A
Authority: JP
Inventors: Yasuo Matsumiya; 康夫松宮
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2011-10-27
Filing date: 2011-10-27
Publication date: 2013-05-16
Anticipated expiration: 2031-10-27
Also published as: JP5874317B2

Abstract

【課題】イメージセンサ及び画像補正方法において、不良画素に起因する画像データの欠損を確実に防止することを目的とする。
【解決手段】感度を持つ波長が互いに異なる２種類以上の光センサを有し異なる種類の光センサの画素が積層された構造を有する撮像素子と、被写体からの光の光路をＮ種類の波長毎にずらして撮像素子の光センサ上の結像位置を１画素以上ずらす光学系と、ずらす画素数と不良画素の位置情報に基づき、任意の光センサの不良画素の画像データと同じ画像データを入力されている他の光センサの画素が検出した画像データで、前記任意の光センサの不良画素に起因する欠損を補完する処理回路を備えるように構成する。
【選択図】図１

Description

本発明は、イメージセンサ及び画像補正方法に関する。

ＱＷＩＰ（Quantum Well Infrared Photodetector）を有する量子型赤外線イメージセンサ等の各種イメージセンサ、及び各種イメージセンサを用いたＦＰＡ（Focal Plane Array）等では、更なる高解像度化が望まれている（例えば、非特許文献１）。一方、イメージセンサの製造プロセスの不具合や製造プロセス中の結晶欠陥は、一定の割合で発生するため、イメージセンサの画素数の増加に伴い正常に動作しない不良画素（又は、欠陥画素）が含まれる確率が増加する傾向にある。イメージセンサにおいて、不良画素による画像データの一部の欠損は、致命的な欠陥となることがあるため、高解像度のイメージセンサの歩留まりは低くコスト上昇の要因の１つとなっている。

不良画素に起因する画像データの欠損を防止する手法としては、不良画素の周辺画素からの画像データを基に不良画素の画像データを内挿する手法や、不良画素の画像データを不良画素に隣接する正常な画素の画像データで置き換える手法等が提案されている。しかし、これらの手法では、不良画素に起因する画像データの欠損は依然として残る。

不良画素に起因する画像データの欠損を防ぐ別の手法としては、イメージセンサ内に予備画素を配置し、本来であれば不良画素に入射する光を予備画素に入射させる冗長化手法が提案されている。例えば、電荷結合素子（ＣＣＤ：Charge Coupled Device）の受光面に光を隣の画素にシフトさせる方法が提案されている（例えば、特許文献１）。しかし、この提案方法では、本来であれば不良画素に入射する光を正確に予備画素に入射させる必要があるため、画素の冗長化のプロセスが複雑になる。又、この提案方法では、イメージセンサ内に複数の不良画素が存在する場合には対応できず、不良画素に起因する画像データの欠損は依然として残る。

特開昭６１−１３４１８８号公報特開２００９−５４８０６号公報特開２００８−２４１５６３号公報

"Infrared Detectors and Focal Plane Arrays VI", Proceedings of SPIE, Vol.4028, July 17, 2000

従来のイメージセンサでは、不良画素に起因する画像データの欠損を確実に防止することは難しい。

そこで、本発明は、不良画素に起因する画像データの欠損を確実に防止することのできるイメージセンサ及び画像補正方法を提供することを目的とする。

本発明の一観点によれば、感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、被写体からの光の光路をＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす光学系と、前記Ｍの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する処理回路を備えたことを特徴とするイメージセンサが提供される。

本発明の一観点によれば、感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、被写体からの光の光路を光学系によりＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす処理と、前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、処理回路により、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する補正処理を含むことを特徴とする画像補正方法が提供される。

開示のイメージセンサ及び画像補正方法によれば、不良画素に起因する画像データの欠損を確実に防止することが可能となる。

一実施例におけるイメージセンサモジュールの構成の一例を示すブロック図である。光学系及び撮像素子を説明する図である。不良画素により欠損した画像データを説明する図である。補正処理を説明する図である。補正処理の一例を説明するフローチャートである。補正処理による欠損した画像データの復元を説明する図である。光学系の一例を説明する図である。光学系の他の例を説明する図である。

開示のイメージセンサ及び画像補正方法では、感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子を用いる。被写体からの光の光路は、光学系によりＮ種類の波長毎にずらして撮像素子のＮ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす。処理回路は、記憶部に格納されたＭの値と不良画素の位置情報に基づき、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する。

以下に、開示のイメージセンサ及び画像補正方法の各実施例を図面と共に説明する。

図１は、一実施例におけるイメージセンサモジュールの構成の一例を示すブロック図である。図１に示すイメージセンサモジュール１は、光学系１１、撮像素子１２、読出集積回路（ＲＯＩＣ：Read-Out Integrated Circuit）１３、駆動回路１４、処理回路１５、及び表示装置１６を有する。処理回路１５は、ＣＰＵ（Central Processing Unit）１５１等のプロセッサと、メモリ１５２等の記憶部を有する。

光学系１１は、被写体５００の画像を撮像素子１２上に結像する。ＲＯＩＣ１３は、駆動回路１４により駆動されて撮像素子１２の光センサを駆動することで、撮像素子１２の光センサが検出した画像データを読み出す。処理回路１５のＣＰＵ１５１は、駆動回路１４を制御して、ＲＯＩＣ１３により読み出された画像データをメモリ１５２に格納する。ＣＰＵ１５１は、メモリ１５２に格納された画像データを読み出して表示装置１６上に表示しても良い。

後述するように、ＣＰＵ１５１は、不良画素に起因する画像データの欠損を防止するために、ＲＯＩＣ１３により読み出された画像データを補正する補正処理を実行する機能を有する。又、ＣＰＵ１５１は、撮像素子１２の不良画素を検出する検出処理（以下、不良画素検出処理とも言う）を実行する機能を有しても良い。この場合、ＣＰＵ１５１は、不良画素検出処理に関連したメッセージ、操作メニュー等を表示装置１６上に表示しても良い。更に、ＣＰＵ１５１への入力、指示等は、入力部（図示せず）から入力するようにしても良い。例えば、表示装置１６がタッチパネルで形成されている場合には、タッチパネルは表示部及び前記入力部として機能する。

イメージセンサ２は、少なくとも撮像素子１２及びＲＯＩＣ１３で形成される。イメージセンサ２は、光学系１１、駆動回路１４及び処理回路１５のうち少なくとも１つを更に含んでも良い。ＲＯＩＣ１３が駆動回路１４の機能を含む場合には、駆動回路１４は省略可能である。又、イメージセンサモジュール１の表示装置１６は、省略可能である。

図２は、光学系及び撮像素子を説明する図である。図２において、撮像素子１２は、近接するＮ（Ｎは２以上の自然数）種類の波長Ｗ_１〜Ｗ_Ｎに夫々感度を持つＮ種類の光センサを同一画素内に積層した構造を有し、Ｎ種類の光センサは夫々一般的な１波長に感度を持つ撮像素子と同様の方法で独立に駆動される。図２に示す例では、Ｎ＝２である。尚、２種類以上の光センサを同一画素内に積層した構造自体は周知である（例えば、特許文献３）。

図２では、説明の便宜上、撮像素子１２の構造は簡略化して示しており、電極等の図示は省略されている。この例では、撮像素子１２は、基板１２０の表面（以下、基板表面とも言う）上に、第１の波長Ｗ_１に感度を持つ光センサ１２１と第１の波長Ｗ_１とは異なる第２の波長Ｗ_２に感度を持つ光センサ１２２が積層された構造を有する。光センサ１２２の各画素は、光センサ１２１の対応する画素に積層されている。

又、図２において、光学系１１は、被写体５００からの光をＮ種類の波長Ｗ_１〜Ｗ_Ｎの色収差等を利用して波長Ｗ_ｊ（ｊ＝１，...，Ｎ）毎に光路をずらす構造を有する。この例ではＮ＝２であるため、光学系１１において一点破線で示す第１の波長Ｗ_１の光路ＯＰ１と二点破線で示す第２の波長Ｗ_２の光路ＯＰ２とがずらされることで、第１の波長Ｗ_１による画像と第２の波長Ｗ_２による画像とでは基板面と平行な所定方向に撮像素子１２上で相対的にＭ（Ｍは１以上の自然数）画素以上ずれて結像される。この例では、Ｍ＝１であり、前記所定方向は図２中Ｙ方向である。しかし、前記所定方向は、図２中Ｙ方向とは直交する紙面に対して垂直なＸ方向であっても良い。更に、Ｙ方向とＸ方向の両方向にＭ画素以上ずらして第１の波長Ｗ_１による画像と第２の波長Ｗ_２による画像を撮像素子１２上で結像させても良い。

次に、撮像素子１２の不良画素検出処理について説明する。不良画素検出処理は、イメージセンサ２又はイメージセンサモジュール１の出荷前に例えば試験処理と共に実行、及び／又は、出荷後の任意のタイミングで実行することができる。

撮像素子１２の不良画素検出処理の第１の例では、以下のステップＳ１１〜Ｓ１３を行う。ステップＳ１１〜Ｓ１３は、出荷前の試験処理等を実行するイメージセンサ２又はイメージセンサモジュール１とは別体のコンピュータ又は試験装置（いずれも図示せず）、或いは、処理回路１５のＣＰＵ１５１により実行可能である。

この第１の例では、先ず表面温度が均一に設定できる被写体５００としての板状部材（図示せず）を用意する。ステップＳ１１では、イメージセンサ２又はイメージセンサモジュール１により板状部材を複数の温度で撮像し、撮像素子１２の光センサ１２１又は１２２の各画素の出力をメモリ１５２に記録する。ステップＳ１２では、メモリ１５２に記録された各温度に対する各画素の出力を比較し、他の画素に比べて閾値以上の差を有する画素を不良画素（又は、欠陥画素）と定義する。ステップＳ１３では、不良画素と定義された画素の位置情報を、不良画素位置情報としてメモリ１５２に記録し、処理は終了する。

撮像素子１２の不良画素検出処理の第２の例では、以下のステップＳ２１〜Ｓ２３を行う。ステップＳ２１〜Ｓ２３は、出荷前の試験処理等を実行するイメージセンサ２又はイメージセンサモジュール１とは別体のコンピュータ又は試験装置（いずれも図示せず）、或いは、処理回路１５のＣＰＵ１５１により実行可能である。

この第２の例では、先ず表面に既知のパターンが描画された被写体５００としての板状部材（図示せず）を用意する。又、この既知のパターンの板状部材を理想的な撮像素子で撮像した場合にこの理想的な撮像素子の光センサの各画素から出力されるべき理想値が、予めメモリ１５２に格納されている。ステップＳ２１では、イメージセンサ２又はイメージセンサモジュール１により板状部材を撮像し、撮像素子１２の光センサ１２１又は１２２の各画素の出力をメモリ１５２に記録する。ステップＳ２２では、メモリ１５２に記録された撮像素子１２の各画素の出力の値と、予めメモリ１５２に格納されている各画素の出力の理想値とを比較し、閾値以上の差を有する画素を不良画素（又は、欠陥画素）と定義する。ステップＳ２３では、不良画素と定義された画素の位置情報を、不良画素位置情報としてメモリ１５２に記録し、処理は終了する。

このようにして、撮像素子１２の各画素の感度を求めることで、正常に動作していない不良画素の位置を把握することができる。

次に、撮像素子１２の不良画素に対して欠損した画像データを補完（又は、復元）する補正処理について、図３及び図４と共に説明する。図３は、不良画素により欠損した画像データを説明する図であり、図４は、補正処理を説明する図である。図３及び図４において、図２と同一部分には同一符号を付し、その説明は省略する。

図３では、説明の便宜上、被写体５００を撮像した場合に撮像素子１２の各画素が検出する画像データの値を図３中横方向に延びる棒グラフの長さで示す。Ｄは、正常な画素で検出されるべきデータを示す。第１の波長Ｗ_１の光路ＯＰ１と第２の波長Ｗ_２の光路ＯＰ２とが図２に示すようにずらされていないと仮定すると、Ｄ１はこの場合に光センサ１２１の各画素が検出する画像データを示し、Ｄ２はこの場合に光センサ１２２の各画素が検出する画像データを示す。この例では、光センサ１２１，１２２の画素１２Ｄが不良画素であるため、光路ＯＰ１，ＯＰ２が一致していると、画像データＤ１，Ｄ２の図３中Ｆで示す部分が欠損してしまう。

これに対し、本実施例では、第１の波長Ｗ_１の光路ＯＰ１が第２の波長Ｗ_２の光路ＯＰ２に対してＭ画素だけＹ方向に（図２の例では１画素だけ下方向に）ずらされている。又、光センサ１２１，１２２の画素１２Ｄが不良画素であることが上記の不良画素検出処理で検出されており、メモリ１５２にはＭの値と不良画素１２Ｄの位置情報（即ち、不良画素位置情報）が記録されている。このため、例えば光路ＯＰ１が光路ＯＰ２に対して上方向に２画素（Ｍ＝２）だけずらされていれば、図４に示すように、光センサ１２１と光センサ１２２とでは、同じ画像データを検出する画素の位置が２画素だけＹ方向にずれている。従って、光センサ１２１の不良画素１２Ｄが検出する画像データと、光センサ１２２の不良画素１２Ｄが検出する画像データとは異なり、光センサ１２１の不良画素１２Ｄが検出するべき画像データＤ１ｃはこの不良画素１２Ｄからずれた位置にある光センサ１２２の正常な画素で検出した画像データで補完（又は、復元）でき、光センサ１２２の不良画素１２Ｄが検出するべき画像データＤ２ｃはこの不良画素１２Ｄからずれた位置にある光センサ１２１の正常な画素で検出した画像データで補完（又は、復元）できる。

このように、予め被写体５００からの光を波長に応じて撮像素子１２上の異なる位置に結像しているため、光センサ１２１と光センサ１２２とでは、同じ画像データが検出される画素位置が光路ＯＰ１，ＯＰ２をＹ方向にずらした画素数Ｍだけ離れた位置で検出される。光センサ１２１，１２２の画素の出力について、例えば波長Ｗ_１，Ｗ_２間の信号強度補正を行うこともでき、不良画素１２Ｄの画像データを異なる画素位置で検出された対応する画像データで補完する（即ち、入れ替える）ことで、不良画素１２Ｄに起因する画像データの欠損を確実に防止することができる。

不良画素１２Ｄは、各光センサ１２１，１２２を形成する際の結晶成長プロセス、ウエハプロセス、及び撮像素子１２とＲＯＩＣ１３との貼り合わせプロセス等で発生することが多く、その発生原理上、積層された２種類の波長Ｗ_１，Ｗ_２の光センサ１２１，１２２は、同じ画素位置で同時に不良画素１２Ｄが発生する可能性が比較的高い。単純に２つの光センサを積層した冗長方法では、このような不良画素１２Ｄで本来検出されるべき画像データを補完することはできないが、本実施例では２種類の光センサ１２１，１２２上に結像する画像の位置がずれているために、このような場合でも不良画素１２Ｄの画像データを補完可能となる。

図５は、補正処理の一例を説明するフローチャートである。図５に示す補正処理は、イメージセンサモジュール１の撮像処理に含まれていても良い。補正処理が開始されると、ステップＳ３１及びステップＳ４２が並列に実行される。ステップＳ３１では、処理回路１５のＣＰＵ１５１は、駆動回路１４及びＲＯＩＣ１３を介して撮像素子１２の光センサ１２１を駆動する。ステップＳ４１では、処理回路１５のＣＰＵ１５１は、駆動回路１４及びＲＯＩＣ１３を介して撮像素子１２の光センサ１２２を駆動する。ステップＳ３２では、ＣＰＵ１５１は、撮像素子１２の光センサ１２１の各画素から出力された画像データＤ１をＲＯＩＣ１３及び駆動回路１４を介して処理回路１５のメモリ１５２に格納する。ステップＳ４２では、ＣＰＵ１５１は、撮像素子１２の光センサ１２２の各画素から出力された画像データＤ２をＲＯＩＣ１３及び駆動回路１４を介して処理回路１５のメモリ１５２に格納する。

ステップＳ４３では、ＣＰＵ１５１は、メモリ１５２に格納されているＭの値及び不良画素１２Ｄの位置情報（即ち、不良画素位置情報）を読み出し、メモリ１５２に格納された画像データＤ１中の不良画素１２Ｄに起因する欠損を画像データＤ２中の正常な画素で検出された画像データで補完（又は、復元）する。つまり、光センサ１２１の不良画素１２Ｄに入力されている画像データと同じ画像データを入力されている光センサ１２２の正常な画素が検出した画像データで、光センサ１２１の不良画素１２Ｄに起因する欠損を補完する。ステップＳ４３では、画像データＤ１中の欠損を補完する際に図６（ｂ）と共に後述する波長Ｗ_１，Ｗ_２間の信号強度補正を行う。ステップＳ３３では、ＣＰＵ１５１は、画像データＤ２を用いて補完（又は、復元）された画像データと欠損を有する画像データＤ１とを合成した画像データ、即ち、欠損が補完された画像データに補正された画像データＤ１を、メモリ１５２に格納する。ＣＰＵ１５１は、メモリ１５２から補正された画像データを読み出して出力し、例えば表示装置１６上に表示することもできる。尚、図５の処理において、波長Ｗ_１に対する処理と波長Ｗ_２に対する処理を入れ替えても良いことは言うまでもない。

波長Ｗ_１での画像データＤ１は、ステップＳ３２で例えばｘｙ座標を用いて画像データＡ１（ｘ，ｙ）としてメモリ１５２に格納され、波長Ｗ_２での画像データＤ２は、ステップＳ４２で例えばｘｙ座標を用いて画像データＡ２（ｘ，ｙ）としてメモリ１５２に格納される。又、不良画素位置情報は、例えば不良画素位置リストＤ（ｉ）としてメモリ１５２に格納されており、ステップＳ４３でメモリ１４２から読み出される。この場合、ステップＳ４３における不良画素位置での波長Ｗ１での信号強度の推定は、例えば不良画素位置リストＤ（ｉ）中の各不良画素位置について順番に以下ように行う。つまり、不良画素位置リストＤ（ｉ）中の不良画素位置周辺の画素について、波長Ｗ_１での画像データＡ１（ｘ，ｙ）と波長Ｗ_２での画像データＡ２（ｘ，ｙ）の相関表を作成する。そして、この相関表から不良画素位置の画像データＡ１（Ｄ（ｉ））を内挿することで、不良画素位置リストＤ（ｉ）中の不良画素位置の波長Ｗ_１での推定信号強度リストＢ１（ｉ）を作成する。従って、この不良画素位置の波長Ｗ_１での推定信号強度リストＢ１（ｉ）を用いることで、波長Ｗ_１での画像データＡ１（ｘ，ｙ）を波長Ｗ_１での補完後の画像データＣ１（ｘ，ｙ）に補正することができる。以下同様にして、不良画素位置リストＤ（ｉ）中の各不良画素位置の画素について、画像データＡ１（ｘ，ｙ）中の欠損を補完して補正する。

図６は、補正処理による欠損した画像データの復元を説明する図である。図６中、（ａ）は被写体５００を撮像した場合に撮像素子１２の各画素が検出する画像データの値を縦方向に延びる棒グラフの長さで示し、図３を反時計方向に９０度回転させたものに相当する。又、光センサ１２１の各画素が検出した画像データＤ１と光センサ１２２の各画素が検出した画像データＤ２との対応関係を、Ｍ＝１の場合について矢印で示し、不良画素１２Ｄに起因する画像データＤ１，Ｄ２中の欠損部分をＦで示す。図６中、（ｂ）は撮像素子１２が検出する波長Ｗ_１，Ｗ_２での信号強度の関係を示し、縦軸は波長Ｗ_１での信号強度を任意単位（Ａ．Ｕ．）で示し、横軸は波長Ｗ_２での信号強度を任意単位（Ａ．Ｕ．）で示す。この例では、撮像素子１２が検出する波長Ｗ_１，Ｗ_２での信号強度は線形関係にあるが、信号強度の関係は線形に限定されるものではない。上記の不良画素位置の波長Ｗ_１での推定信号強度リストＢ１（ｉ）は、図６（ｂ）の関係に基づいて作成可能である。図６（ｂ）の関係は、メモリ１５２に格納しておくことができる。

画像データＤ１の欠損部分Ｆに相当する画像データは、画像データＤ２中の対応する画像データＤ２−１を用いることで本来検出するべき画像データに補完（又は、復元）できる。この補完の際、画像データＤ２中の画像データＤ２−１の波長Ｗ_２での信号強度Ｉ２は、図６（ｂ）の関係から波長Ｗ_１での信号強度Ｉ１に相当するので、メモリ１５２から読み出したこの関係に基づき画像データＤ２−１に波長Ｗ_１，Ｗ_２間の信号強度補正を施すことで画像データＤ１−１に補正することができる。この結果、画像データＤ１中の欠損部分Ｆは、本来検出するべき画像データＤ１−１に補完することができる。言うまでもなく、撮像素子１２が検出する波長Ｗ_１，Ｗ_２での信号強度の関係が１：１であれば、波長Ｗ_１，Ｗ_２間の信号強度補正は不要である。

図７は、光学系の一例を説明する図である。図７中、図２と同一部分には同一符号を付し、その説明は省略する。図７に示す光学系１１は、レンズ１１１、平行平板１１２、及びレンズ１１３を有する。

この例では、撮像素子１２は、１辺が３０μｍの正方形の画素内に波長Ｗ_１＝７μｍに感度ピークを持つ光センサ１２１と、１辺が３０μｍの正方形の画素内に波長Ｗ_２＝９μｍに感度ピークを持つ光センサ１２２が基板面上で積層され、光センサ１２１，１２２の夫々が独立に駆動される構造を有する。光センサ１２１，１２２の画素は、夫々基板面上では例えば３０μｍのピッチ（画素の中心間の距離）でＸＹ方向に配置されている。この例では、光センサ１２１，１２２は波長の感度幅が１μｍ程度のＱＷＩＰで形成されているため、双方の波長に対しては略感度を持たない。例えば、光センサ（ＱＷＩＰ）１２１は、アンドープ（Undoped）Ａｌ_０．３４Ｇａ_０．６６Ａｓ（５０ｎｍ）の上に、ｎ型ドープ（Ｓｉ濃度：４×１７ｃｍ^−３）のＧａＡｓ（５ｎｍ），アンドープ（Undoped）Ａｌ_０．３４Ｇａ_０．６６Ａｓ（５０ｎｍ）が６２回繰り返し積層された構造を有する。又、光センサ（ＱＷＩＰ）１２２は、アンドープ（Undoped）Ａｌ_０．２６Ｇａ_０．７４Ａｓ（５０ｎｍ）の上に、ｎ型ドープ（Ｓｉ濃度：４×１７ｃｍ^−３）のＧａＡｓ（５ｎｍ），アンドープ（Undoped）Ａｌ_０．２６Ｇａ_０．７４Ａｓ（５０ｎｍ）が６２回繰り返し積層された構造を有する。

波長Ｗ_１＝７μｍと波長Ｗ_２＝９μｍの光で光路ＯＰ１，ＯＰ２をずらす機構として、ＣａＦ_２の平行平板１１２を用いる。ＣａＦ_２の屈折率は波長Ｗ_１＝７μｍで１．３６８、波長Ｗ_２＝９μｍで１．３２２であるので、例えば厚さ２ｍｍの平行平板１１２が図７中垂直方向（平行平板１１２のレンズ１１１側の表面がレンズ１１１の光軸に対して垂直な方向）に配置された位置から３０度レンズ１１３側に傾けた位置でレンズ１１１からの平行光を入射されると、約３０μｍの色収差を発生させることができ、１辺が３０μｍの正方形の画素の場合であれば１画素分光路ＯＰ１，ＯＰ２をずらすことができる。被写体５００からの光を平行光に変換するレンズ１１１と、平行平板１１２を透過後の平行光を撮像素子１２に結像させるレンズ１１３は、波長Ｗ_１＝７μｍから波長Ｗ_２＝９μｍの光に対して色収差が少ないことが望ましく、例えばこれらの波長Ｗ_１，Ｗ_２で屈折率の変化が殆ど無いＧｅ等で形成することができる。

図７の例では、波長Ｗ_１，Ｗ_２毎に１画素分に結像位置をずらしているが、平行平板１１２に波長Ｗ_１，Ｗ_２により屈折率が大きく異なる材料等を使うことで、結像位置を２画素以上分ずらすことが可能であり、この場合は比較的大きなブロック欠陥の欠損画像データの補完も可能となる。

図８は、光学系の他の例を説明する図である。図８中、図２と同一部分には同一符号を付し、その説明は省略する。図８に示す光学系１１は、ミラー１１５、反射型解析格子１１６、及びミラー１１７を有する。撮像素子１２の構造は、例えば図７に示す撮像素子１２の構造と同じである。

被写体５００からの光は、凹面のミラー１１４により平行光として反射型回折格子１１６に入射され、反射型回折格子１１６の格子ピッチで決まる波長Ｗ_１，Ｗ_２毎の反射角の違いで凹面のミラー１１７から撮像素子１２への結像位置のずれを生じさせる。

図８の例では、波長Ｗ_１，Ｗ_２毎に２画素分に結像位置をずらしているが、反射型回折格子１１６の格子ピッチで決まる波長Ｗ_１，Ｗ_２毎の反射角を適宜選定することで、結像位置を１画素、或いは、３画素以上分ずらすことが可能であり、その場合大きなブロック欠陥の欠損画像データの補完も可能となる。

以上説明したように、開示のイメージセンサによれば、不良画素に起因する画像データの欠損を確実に防止することができる。又、冗長化のプロセスが比較的簡単で、且つ、複数の不良画素にも対応できる冗長化手法を実現できる。

ＣＰＵ１５１に上記の不良画素検出処理、及び／又は、上記の補正処理を実行させるプログラムは、メモリ１５２等のコンピュータ読み取り可能な記憶媒体に格納されていても良い。コンピュータ読み取り可能な記憶媒体は、可搬型の記録媒体、又は、コンピュータに対して脱着可能な記録媒体で形成されていても良い。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、
被写体からの光の光路をＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす光学系と、
前記Ｍの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、
前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する処理回路
を備えたことを特徴とする、イメージセンサ。
（付記２）
前記光学系は、前記被写体からの光を前記Ｎ種類の波長の色収差に応じて、前記Ｎ種類の波長毎に光路をずらす平行平板を含むことを特徴とする、付記１記載のイメージセンサ。
（付記３）
前記光学系は、格子ピッチで決まる前記Ｎ種類の波長毎の反射角の違いに応じて、前記Ｎ種類の波長毎に光路をずらす反射型回折格子を含むことを特徴とする、付記１記載のイメージセンサ。
（付記４）
前記処理回路は、前記任意の１種類の光センサの画素が検出する第１の波長での信号強度と、前記他の１種類の光センサの画素が検出する第２の波長での信号強度との関係に基づいて、前記他の１種類の光センサの画素が検出した画像データに第１及び第２の波長間の信号強度補正を施して、前記任意の１種類の光センサの不良画素に起因する欠損を補完することを特徴とする、付記１乃至３のいずれか１項記載のイメージセンサ。
（付記５）
前記処理回路の制御下で、前記撮像素子の前記Ｎ種類の光センサの各画素の検出画像データを読み出す読出集積回路を更に備えたことを特徴とする、付記１乃至４のいずれか１項記載のイメージセンサ。
（付記６）
Ｍ＝２であり、且つ、前記第１及び第２の光センサは、夫々ＱＷＩＰ（Quantum Well Infrared Photodetector）で形成されていることを特徴とする、付記１乃至５のいずれか１項記載のイメージセンサ。
（付記７）
感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、
被写体からの光の光路を光学系によりＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす処理と、
前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、処理回路により、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する補正処理
を含むことを特徴とする、画像補正方法。
（付記８）
前記ずらす処理は、前記被写体からの光を前記Ｎ種類の波長の色収差に応じて、前記Ｎ種類の波長毎に光路をずらす平行平板を含む光学系を用いることを特徴とする、付記７記載の画像補正方法。
（付記９）
前記ずらず処理は、格子ピッチで決まる前記Ｎ種類の波長毎の反射角の違いに応じて、前記Ｎ種類の波長毎に光路をずらす反射型回折格子を含む光学系を用いることを特徴とする、付記７記載の画像補正方法。
（付記１０）
前記補正処理は、前記任意の１種類の光センサの画素が検出する第１の波長での信号強度と、前記他の１種類の光センサの画素が検出する第２の波長での信号強度との関係に基づいて、前記処理回路により前記他の１種類の光センサの画素が検出した画像データに第１及び第２の波長間の信号強度補正を施して、前記任意の１種類の光センサの不良画素に起因する欠損を補完することを特徴とする、付記７乃至９のいずれか１項記載の画像補正方法。
（付記１１）
前記不良画素検出処理は、
前記撮像素子を用いて表面温度が均一に設定できる板状部材を複数の温度で撮像して前記第１又は第２の光センサの各画素の出力を前記記憶部に記録し、
前記記憶部に記録された各温度に対する各画素の出力を比較し、他の画素に比べて閾値以上の差を有する画素の位置情報を前記不良画素の位置情報として前記記憶部に記録する
ことを特徴とする、付記７乃至１０のいずれか１項記載の画像補正方法。
（付記１２）
前記不良画素検出処理は、
前記撮像素子により板状部材を撮像して前記撮像素子の第１又は第２の光センサの各画素の出力を記憶部に記録し、
前記記憶部に記録された前記撮像素子の各画素の出力の値と、前記記憶部に予め記録された、既知のパターンが描画された板状部材を理想的な撮像素子で撮像した場合に該理想的な撮像素子の光センサの各画素から出力されるべき理想値とを比較し、閾値以上の差を有する画素の位置情報を前記不良画素の位置情報として前記記憶部記録する
ことを特徴とする、付記７乃至１０のいずれか１項記載の画像補正方法。
（付記１３）
前記不良画素検出処理は、前記撮像素子の出荷前及び前記出荷後の任意のタイミングのうち少なくとも一方で実行することを特徴とする、付記１１又は１２記載の画像補正方法。

以上、開示のイメージセンサ及び画像補正方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

１イメージセンサモジュール
２イメージセンサ
１１光学系
１２撮像素子
１３ＲＯＩＣ
１４駆動回路
１５処理回路
１６表示装置
１１１，１１３レンズ
１１２平行平板
１１５，１１７ミラー
１１６反射型回折格子
１５１ＣＰＵ
１５２メモリ

Claims

感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子と、
被写体からの光の光路をＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす光学系と、
前記Ｍの値と、前記撮像素子の不良画素の位置情報を予め格納した記憶部と、
前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する処理回路
を備えたことを特徴とする、イメージセンサ。
前記光学系は、前記被写体からの光を前記Ｎ種類の波長の色収差に応じて、前記Ｎ種類の波長毎に光路をずらす平行平板を含むことを特徴とする、請求項１記載のイメージセンサ。
前記光学系は、格子ピッチで決まる前記Ｎ種類の波長毎の反射角の違いに応じて、前記Ｎ種類の波長毎に光路をずらす反射型回折格子を含むことを特徴とする、請求項１記載のイメージセンサ。
前記処理回路は、前記任意の１種類の光センサの画素が検出する第１の波長での信号強度と、前記他の１種類の光センサの画素が検出する第２の波長での信号強度との関係に基づいて、前記他の１種類の光センサの画素が検出した画像データに第１及び第２の波長間の信号強度補正を施して、前記任意の１種類の光センサの不良画素に起因する欠損を補完することを特徴とする、請求項１乃至３のいずれか１項記載のイメージセンサ。
Ｍ＝２であり、且つ、前記第１及び第２の光センサは、夫々ＱＷＩＰ（Quantum Well Infrared Photodetector）で形成されていることを特徴とする、請求項１乃至４のいずれか１項記載のイメージセンサ。
感度を持つ波長が互いに異なるＮ（Ｎは２以上の自然数）種類の光センサを有し、異なる種類の光センサの画素が積層された構造を有する撮像素子の不良画素を検出して記憶部に前記不良画素の位置情報を格納する不良画素検出処理と、
被写体からの光の光路を光学系によりＮ種類の波長毎にずらして前記撮像素子の前記Ｎ種類の光センサ上の結像位置をＭ（Ｍは１以上の自然数）画素ずらす処理と、
前記記憶部に格納された前記Ｍの値と前記不良画素の位置情報に基づき、処理回路により、任意の１種類の光センサの不良画素の画像データと同じ画像データを入力されている他の１種類の光センサの画素が検出した画像データで、前記任意の１種類の光センサの不良画素に起因する欠損を補完する補正処理
を含むことを特徴とする、画像補正方法。
前記ずらす処理は、前記被写体からの光を前記Ｎ種類の波長の色収差に応じて、前記Ｎ種類の波長毎に光路をずらす平行平板を含む光学系を用いることを特徴とする、請求項６記載の画像補正方法。
前記ずらず処理は、格子ピッチで決まる前記Ｎ種類の波長毎の反射角の違いに応じて、前記Ｎ種類の波長毎に光路をずらす反射型回折格子を含む光学系を用いることを特徴とする、請求項６記載の画像補正方法。
前記補正処理は、前記任意の１種類の光センサの画素が検出する第１の波長での信号強度と、前記他の１種類の光センサの画素が検出する第２の波長での信号強度との関係に基づいて、前記処理回路により前記他の１種類の光センサの画素が検出した画像データに第１及び第２の波長間の信号強度補正を施して、前記任意の１種類の光センサの不良画素に起因する欠損を補完することを特徴とする、請求項６乃至８のいずれか１項記載の画像補正方法。