JP2014017724A - 撮像装置 - Google Patents

Abstract

【課題】不良を有する画素の特定をより高精度で行う。
【解決手段】本実施形態に係る撮像装置１によれば、初期不良画素についての補正と初期良好画素のＮＵＣ処理を施した後に欠陥画素の特定を行うため、初期不良画素に係る補正とＮＵＣ処理をせずに欠陥画素を特定する場合と比較して欠陥画素の特定をより高精度に行うことができる。また、制御手段４０において、初期不良画素を特定する情報に基づいて、撮像手段１０により取得された撮像データを補正し、補正撮像データを生成した後に欠陥画素を特定することにより、初期不良以外により不良が発生した画素を特定することができるため、初期不良画素以外の欠陥画素により取得された撮像データの補正を行うことができる。
【選択図】図１

Description

本発明は、撮像装置に関する。

静止画像や動画像を撮像する撮像装置は、２次元配列された複数の画素を有し撮像対象からの入射光を光電変換して出力する撮像素子（イメージセンサ）を備える。撮像素子を構成する複数の画素には、画素に入射する光の光量に対する感度が正常ではない欠陥画素や、感度の時間変動が大きい欠陥画素等が含まれる場合がある。これに対して、特許文献１では、撮像装置の電源を投入する際に欠陥画素を検知し、これに基づいて補正を行う構成が示されている。

特開平７−２１２６５８号公報

撮像装置を用いて撮像対象物の不良品検査等を行う場合がある。不良品検査としての用途で撮像装置を使用する場合、撮像素子に含まれる不良を有する画素をより高い精度で特定し、これに対して補正を行う必要がある。

本発明は上記を鑑みてなされたものであり、撮像素子に含まれる不良を有する画素をより高い精度で特定することが可能な撮像装置を提供することを目的とする。

上記目的を達成するため、本発明に係る撮像装置は、２次元配列された複数の画素から構成され、光を受光し光電変換した撮像データを出力する撮像手段と、撮像手段に含まれる複数の画素のうち初期不良画素を特定する情報および初期良好画素のＮＵＣ（Non-Uniformity Correction）情報を記憶する初期情報記憶手段と、初期情報記憶手段に記憶された初期不良画素を特定する情報およびＮＵＣ情報に基づいて撮像データを補正した補正撮像データを作成する補正手段と、補正撮像データに基づいて、初期不良画素とは異なる欠陥画素を特定する欠陥画素特定手段と、を備えることを特徴とする。

上記の撮像装置によれば、補正手段において初期不良画素についての補正と初期良好画素に対するＮＵＣ処理を施した後に欠陥画素特定手段において、欠陥画素の特定を行うため、初期不良画素に係る補正と初期良好画素に対するＮＵＣ処理をせずに欠陥画素の特定を行う場合と比較して、欠陥画素の特定をより高精度に行うことができる。また、欠陥画素特定手段において欠陥画素を特定することにより、初期不良以外で不良が発生した画素を特定することができるため、初期不良画素以外の欠陥画素により取得された撮像データの補正を行うことができる。

ここで、撮像手段は、複数の画素の周辺の温度を測定する温度測定手段と、温度測定手段の測定結果に基づいて温度調整を行う温度調整手段と、を備える態様とすることができる。

上記の撮像装置において、撮像手段が温度測定手段と温度調整手段とを備えることにより、複数の画素の周辺の温度を測定しその結果に基づいて温度を調整した後に撮像することができるため、温度変動による画素の性能変化の影響を受けることなく撮像された撮像データを利用することができ、より高精度に欠陥画素の特定を行うことができる。

また、欠陥画素特定手段により特定された欠陥画素に係る情報を記憶する欠陥情報記憶手段をさらに備え、初期情報記憶手段は、書き込みが禁止されている態様とすることができる。

欠陥情報記憶手段を備えていて、且つ、初期情報記憶手段は書き込みが禁止されていることにより、欠陥画素の特定を行った結果は欠陥情報記憶手段に格納される。したがって、例えば、撮像装置の瞬停等により欠陥情報記憶手段のデータが消失する等があったとしても、初期情報記憶手段に格納された情報は影響を受けることがなく、初期不良画素に対する補正を適切に行うことができる。

また、欠陥画素特定手段は、複数の画素を遮光した時に出力される撮像データを補正した補正撮像データに基づいて、欠陥画素を特定する態様とすることができる。

また、欠陥画素特定手段は、補正撮像データに含まれる全画素の補正出力データの平均値を算出し、当該平均値と、補正撮像データに含まれる各画素の補正出力データとの差分を求め、当該差分が所定の閾値を超える画素を欠陥画素とする態様とすることができる。

上記のように、補正撮像データに含まれる全画素の補正出力データの平均値に対する各画素の補正出力データの差分を求め、当該差分が所定の閾値を超えるか否かにより欠陥画素を特定する方法を用いることにより、感度が異常な画素を抽出することが可能となる。

また、欠陥画素特定手段は、複数の補正撮像データにおける同一の画素における補正出力データの変動幅が所定の閾値を超える画素を欠陥画素とする態様としてもよい。

上記のように、複数の補正撮像データにおける同一画素の補正出力データの変動幅に基づいて欠陥画素を特定する方法を用いることにより、感度の時間変動が大きくばらつきが発生する画素を欠陥画素として抽出することが可能となる。

本発明によれば、撮像素子に含まれる不良を有する画素をより高い精度で特定することが可能な撮像装置が提供される。

本実施形態に係る撮像装置の構成を説明するブロック図である。 本実施形態に係る撮像装置における画素による出力データの傾向と補正の方法について説明する図である。 欠陥画素の特定方法を説明する図である。 欠陥画素の特定を行った場合の効果について説明する図である。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

本実施形態に係る撮像装置の構成を図１に示す。図１に示す撮像装置１は、撮像手段１０と、初期情報記憶手段２０と、欠陥情報記憶手段３０と、制御手段４０と、制御信号用Ｉ／Ｆ部５０と、画像用Ｉ／Ｆ部６０と、を含んで構成される。

撮像手段１０は、撮像対象を撮像して撮像データを出力する撮像素子１１と、温度測定手段１２と、温度調整手段１３と、を備える。

撮像素子１１は、２次元配列の複数の画素からなるイメージセンサからなる。撮像素子１１の各画素では、撮像対象からの入射光を光電変換し、入射光量に応じて出力する出力データを変化させる。そして各画素における出力データを組み合わせることで撮像データが構成され、制御手段４０に対して出力される。撮像素子１１は、制御手段４０からの指示に基づいて撮像を行う。そして、撮像データは、撮像素子１１から制御手段４０へ送られる。

温度測定手段１２は、撮像素子１１周辺の温度を測定する機能を有する。また、温度調整手段１３は、温度測定手段１２による測定結果に基づいて撮像素子１１周辺の温度を調整する機能を有する。撮像素子１１は常温では暗電流が大きいため、撮像素子１１を冷却して使用する場合があり、このような撮像装置１を所謂冷却型の撮像装置１という。この場合、温度調整手段１３として、例えば、ペルチェ素子やファン等が用いられ、熱電対等の温度測定手段１２による温度測定結果に応じて、撮像素子１１の周辺の温度をあらかじめ定められた温度範囲（撮像素子１１の暗電流が減少する温度等）に制御する機構が設けられる。なお、この温度調整手段１３の機能を制御手段４０が担う構成であってもよい。温度測定手段１２による測定結果を後述の制御手段４０等に通知することにより、撮像素子１１周辺の温度が所定の範囲となったことを制御手段４０において確認したことを契機として、制御手段４０が撮像素子１１に対して撮像開始を指示する構成としてもよい。

本実施形態に係る撮像装置１では、出荷前に発生した不良を有する初期不良画素の補正を行うのみならず、出荷後に不良が発生した画素を特定して補正を行う構成を備えている。画素に発生する不良について及びその補正方法については後述する。

初期情報記憶手段２０は、出荷前に発見された初期不良画素に係る補正情報と初期良好画素のＮＵＣ情報を記憶する手段である。この初期不良画素に係る補正情報には、不良が発生した画素を特定する情報と、当該画素における不良を補正するための情報とが含まれる。この初期情報記憶手段２０に格納される補正情報と初期良好画素のＮＵＣ情報は、撮像手段１０を用いて撮像を行う際に制御手段４０からの要求に応じて提供され、制御手段４０における撮像データの補正に利用される。

欠陥情報記憶手段３０は、出荷後に発見された不良画素に係る情報を記憶する手段である。欠陥情報記憶手段３０において保存される情報は、制御手段４０により出荷後に不良が発生した欠陥画素であると判断された画素を特定する情報と、当該画素から出力される出力データの補正をするための情報とが含まれる。欠陥情報記憶手段３０において保存される情報は、制御手段４０により出荷後の欠陥画素に係る調査が行われる度に更新され、制御手段４０からの要求に応じて適宜制御手段４０に対して提供される。

制御手段４０は、撮像手段１０において得られた撮像データに対して所望の補正を加えて出力する機能を備える。具体的には、初期情報記憶手段２０に格納された情報に基づいて撮像データに対して補正を加えることで、補正撮像データを生成する。補正撮像データは、各画素の補正出力データを含んで構成される。さらに、この補正撮像データを利用して出荷後に発生した不良の画素を特定する。すなわち、制御手段４０は、補正手段及び欠陥画素特定手段としての機能を備える。制御手段４０による欠陥画素の特定に係る処理は、制御信号用Ｉ／Ｆ部５０からの開始信号により開始され、不良の箇所の補正が行われた撮像データは、画像用Ｉ／Ｆ部６０へ送られる。

制御信号用Ｉ／Ｆ部５０は、欠陥画素の特定に関する処理の開始信号を送信する機能を有する。欠陥画素の特定の開始に係る指示は、例えば、撮像装置１の使用者が制御信号用Ｉ／Ｆ部５０に対して指示内容を入力することにより行われる。制御信号用Ｉ／Ｆ部５０は、使用者からの指示に基づいて、欠陥画素の特定に関する処理の開始信号を制御手段４０に対して送信する。なお、使用者が欠陥画素の特定に係る指示を行う構成とすることに代えて、使用者が撮像装置１の操作を開始することを契機として制御信号用Ｉ／Ｆ部５０が制御手段４０に対して開始信号を送信する構成としてもよい。また、定期的に欠陥画素の特定に関する処理を行うようにあらかじめプログラムをしていてもよい。

画像用Ｉ／Ｆ部６０は、制御手段４０により補正が行われた撮像データを出力する機能を有する。制御手段４０は、欠陥画素の特定が行われた後に当該画素に係る補正が行われた撮像データを画像用Ｉ／Ｆ部６０へ送る。画像用Ｉ／Ｆ部６０では、制御手段４０から撮像データを取得すると、これを所定の出力先（ＰＣ・モニタ・プリンタ等）へ出力する。

ここで、撮像手段１０に含まれる撮像素子１１における不良について説明する。撮像素子１１は、画素毎に不良が発生する可能性がある。撮像素子１１の不良としては、入射光量と画素からの出力データとの関係や遮光時の画素における出力データ毎のばらつき、出力データにおける光量に対する感度異常、出力データの時間変動の不良等が挙げられる。撮像素子１１の画素に不良な画素が含まれると、撮像素子１１において得られた撮像データにおいて、不良な画素に由来するノイズが含まれ、撮像データの品質に影響が出るという問題がある。これらの不良は、撮像装置の製造後出荷前に発生する場合と、出荷後に発生する場合とがある。

出荷前に発生している不良については、出荷前の検査において確認することが可能である。出荷前の検査において、他の画素と比べて出力データがばらついている画素や、感度異常が発生している画素については、その画素に係る出力データを補正するための補正情報を出荷時の撮像装置に格納しておき、撮像装置の使用に際しては当該補正情報を利用して撮像データを補正する構成が用いられる。

一方、出荷後に画素の不良が発生する場合がある。具体的には、例えば、低温環境等の撮像素子１１に対して負荷がかかる環境で撮像装置１を繰り返し使用する場合や、物理的な衝撃を受けた場合等に発生することが考えられる。出荷後に発生した画素の不良については、当然ながら出荷前に把握することができないため、出荷前に撮像装置に格納された補正情報を利用した補正はできない。したがって、当該撮像装置を実際に使用する場合に撮像素子１１に不良が発生しているかを確認して修正を行う必要がある。

撮像素子１１の良好画素出力のＮＵＣ処理方法の例について、図２を用いて説明する。ここでは、直線近似を用いた方法を示す。この方法は、画素が受光する光の量を変化させて各受光量に対する当該画素の出力データを測定し、その結果を直線近似した上で補正するための処理を決定する方法である。

図２は、撮像素子１１に含まれる画素から出力された出力データの補正について示す図である。図２では、横軸を入射光の光量とし、縦軸を画素からの出力データとした場合の「補正目標直線」「画素出力」「近似直線」「補正後画素出力」の４つが示されている。「補正目標直線」は、撮像素子を構成する画素が受光する光量に応じて出力データが一次関数的に変動する直線を示していて、一番左側の光量０の場合は出力データが０となっている。すなわち、撮像素子を構成する画素が受光する光量が０の場合（遮光時）は出力データがゼロであり、受光する光量の増加に応じて、出力データが一次関数的に増加する理想的な直線である。これに対して「画素出力」として示す曲線は、照射光量を変化させたときに当該光を受光した画素からの出力データを示す曲線の一例である。撮像素子１１のそれぞれの画素に対して同じ光量の光を照射するためには積分球を使用する方法を用いることができる。積分球を用いて、撮像素子のそれぞれの画素に対して照射する光量を変えて光を照射し、それぞれの光量に対する各画素からの出力データをそれぞれ測定する。その結果、例えば図２の画素出力に示すような曲線が得られる。図２の「画素出力」の曲線では、光量が０の場合であっても暗電流に由来する出力が発生し、光量の増加に伴って出力データが増加するものの、図２の区間Ｗ１，Ｗ２，Ｗ３と光量が増えるにつれて傾きが緩やかになる曲線状の変動を示していることがわかる。

各区間Ｗ１，Ｗ２，Ｗ３の画素出力を直線で近似する。これらの「近似直線」が「補正目標直線」に変換されるように、「画素出力」を変換した結果が図２の「補正後画素出力」である。近似直線は１次関数で示されるため、「補正目標直線」に示す直線への補正式の算出が容易である。このようにして得られた区間毎の補正式を用いて、良好画素のデータについて同一光量が照射された際には同一値を出力するように補正を行うことが可能となる。これがＮＵＣ（Non-Uniformity Correction）処理である。また、ＮＵＣ処理を行うための光量の区切りと感度の補正値がＮＵＣ情報である。なお、この区間数は適宜変更することができる。例えば区間数を変更することでより正確な補正を行うことも可能である。

上記の補正式に関しては、出荷前に良好と判定された画素に対して適用し、出荷前に不良と判定された画素は隣接する良好画素の出力を用いて補間される。また、出荷後に不良であることが検出された画素がある場合にも、隣接する良好画素の出力データを利用して欠陥画素の出力データを補間することができる。いずれにしろ、出荷後に不良が発生した欠陥画素であることを特定する必要がある。

次に、本実施形態に係る撮像装置１において、出荷後に不良が発生した欠陥画素を決定する方法について図３のフローチャートを用いて説明する。

まず、準備として、撮像素子１１は遮光状態とする。これは以下の欠陥画素の特定を遮光状態で撮像をすることによって得られた遮光撮像データを用いて行うためである。撮像素子１１を遮光した状態で、制御信号用Ｉ／Ｆ部５０からの開始信号を制御手段４０が受信すると、制御手段４０において初期不良画素の情報の取得が行われる（Ｓ０１）。これは初期情報記憶手段３０に格納された情報を制御手段４０が取得するものであり、撮像素子１１から送信される撮像データに含まれる出荷前の初期不良画素の出力データを補正するための処理である。

次に、撮像手段１０の温度調整手段１３を利用して撮像素子１１付近の温度を調整した後に、温度測定手段１２により撮像素子１１付近の温度を測定する（Ｓ０２）。これにより撮像素子１１付近の温度が所定の範囲で安定しているかを確認する（Ｓ０３）。ここで、温度測定手段１２の測定した温度が安定していない場合は、引き続き温度調整手段１３により撮像素子１１付近の温度調整を継続する。温度が安定しているかを先に確認する理由は、温度変動が暗電流量に大きく影響するからである。

次に、撮像素子１１近隣の温度が安定すると、制御手段４０は、撮像手段１０から撮像素子１１の各画素において撮像を行うことで１フレーム分の撮像データを取得する。そして、初期情報記憶手段２０に格納されていた初期不良情報とＮＵＣ情報とを用いて補正処理を行う。これにより補正撮像データが生成される。続いて、補正撮像データに含まれる全画素の補正出力データから、全画素平均値を算出する（Ｓ０４）。次に、算出された全画素平均値が所定の値以下であるか判定を行う（Ｓ０５）。ここで、全画素平均値が所定の値より大きい場合は、撮像素子１１に対する遮光が十分になされておらず欠陥画素の特定に係る準備がなされていないと判断し、欠陥画素の特定に係る処理を中断する。全画素平均値が所定の値以下である場合には、遮光が十分になされていると判断し、欠陥画素の特定に係る処理を継続する。

欠陥画素を特定するための第１の方法として、制御手段４０において全画素平均値と補正出力データとの差分を画素毎に算出する。その結果、全画素平均値との差分が所定の閾値を超えている補正出力データを有する画素を欠陥画素と判定し、抽出する。（Ｓ０６）。全画素平均値と画素毎の補正出力データとの差分が所定の閾値を超えている場合、当該画素は、同じ遮光状態であるにもかかわらず他の画素とは大きく異なる出力データを示す異常な画素であると判定される。この判定により、隣接画素とショートした画素や画素電極のオープン不良により感度がなくなった画素などの感度異常が発生している画素を抽出することが可能となる。

次に、欠陥画素を特定するための第２の方法として、出力データが時間によってばらつく画素を特定する。まずそのために、遮光状態を継続した状態で、撮像素子１１において複数フレーム撮像し、制御手段４０がこれらの遮光撮像データを取得する。この複数フレームの遮光撮像データの取得は、例えば、所定の秒間隔をおいて行われる。この遮光撮像データの取得は、初期情報記憶手段２０に格納されていた初期情報を用いて補正処理を行いながら実施される。これにより撮像枚数に応じて補正撮像データが生成される。次に、制御手段４０において、複数の補正撮像データを参照して、同一画素における補正出力データの最大値と最小値を抽出し、その差分を計算する（Ｓ０７）。次に、補正出力データの最大値と最小値との差分が所定の閾値を超えている画素を欠陥画素と判定し、抽出する。（Ｓ０８）。遮光状態で複数フレームの遮光撮像データを取得しているにもかかわらず、補正後の補正撮像データにおける補正出力データの最大値と最小値との差分が所定の閾値を超えている場合、当該画素は、出力データが安定していない異常な画素と判定される。

上記の２つの方法により特定された欠陥画素に係る情報は、欠陥情報記憶手段３０に書き込まれ、格納される（Ｓ０９）。以上により、欠陥画素の特定に係る処理は終了となる。

なお、上記の方法で特定された欠陥画素については、撮像対象を撮像した後に、欠陥情報記憶手段に格納された情報に基づいて補正が行われる。したがって、撮像装置１を用いて撮像対象を撮像した際には、この撮像データは撮像素子１１から制御手段４０に送られた後、初期情報記憶手段２０に格納された初期不良画素を特定する情報及び欠陥情報記憶手段３０に格納された欠陥画素を特定する情報に基づいて不良が発生している画素における出力データを隣接する良好画素の出力データを用いて補間した後に、補正後の撮像データが画像用Ｉ／Ｆ部６０から出力される。

ここで図４を用いて上記のように欠陥画素を特定し、この画素における出力データの補正を行った場合の効果について説明する。図４は、ＮＵＣ処理有り無しでの全画素における出力分布をヒストグラムとして示したものである。図４に示すように、「ＮＵＣ処理なし」の場合は、各画素におけるカウント値はカウント値１２００付近を中心としたブロードな分布となったが、「ＮＵＣ処理あり」の場合はほぼすべての画素においてカウント値が５５０近隣となった。このように、ＮＵＣ処理を行うことで、同一条件における各画素の出力データのばらつきをより小さくすることができるので、わずかな出力変化も検出できるため。従来は見落とされていた些細な不良画素も検出可能となる。。この結果、例えば、撮像対象物の色調変化等の微小な変化についても本実施形態に係る撮像装置１において検出することが可能となる。

以上のように、本実施形態に係る撮像装置１によれば、初期不良画素についての補正とＮＵＣ処理を撮像データに対して施した後に、補正後の補正撮像データに基づいて欠陥画素の特定を行うため、初期不良画素に係る補正とＮＵＣ処理をせずに欠陥画素の特定を行う場合と比較して、欠陥画素の特定をより高精度に行うことができる。

また、温度測定手段１２と温度調整手段１３とを備えることにより、複数の画素の周辺の温度を測定し、その結果に基づいて温度を調整しながら欠陥画素の特定を行うことができるため、温度変動による影響を受けることなくより高精度に欠陥画素の特定を行うことができる。

欠陥情報記憶手段を備えると共に初期情報記憶手段への書き込みが禁止される構成を有することにより、欠陥画素の特定を行った結果は欠陥情報記憶手段に格納される。また、欠陥情報記憶手段への書き込み中に撮像装置の瞬停が発生し欠陥情報記憶手段に格納された情報が消失する等があったとしても、初期情報記憶手段に格納された情報は影響を受けることがなく、初期不良画素情報並びにＮＵＣ情報に基づいた補正を適切に行うことができる。

以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されず、種々の変更を行うことができる。

例えば、上記実施形態では、欠陥画素の抽出方法として２つの方法を用いているが、どちらか一方だけを用いた場合であっても、欠陥画素の抽出を行うことができる。

また、上記の撮像装置は、分光手段をさらに設けることでハイパースペクトル画像を撮像するカメラとして使用することもできる。

１…撮像装置、１０…撮像手段、１１…撮像素子、１２…温度測定手段、１３…温度調整手段、２０…初期情報記憶手段、３０…欠陥情報記憶手段、４０…制御手段、５０…制御信号用Ｉ／Ｆ部、６０…画像用Ｉ／Ｆ部。

Claims (6)

1. ２次元配列された複数の画素から構成され、光を受光し光電変換した撮像データを出力する撮像手段と、
   前記撮像手段に含まれる前記複数の画素のうち初期不良画素を特定する情報と初期良好画素のＮＵＣ情報を記憶する初期情報記憶手段と、
   前記初期情報記憶手段に記憶された前記初期不良画素を特定する情報と前記ＮＵＣ情報に基づいて前記撮像データを補正した補正撮像データを作成する補正手段と、
   前記補正撮像データに基づいて、前記初期不良画素とは異なる欠陥画素を特定する欠陥画素特定手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像手段は、
   前記複数の画素の周辺の温度を測定する温度測定手段と、
   前記温度測定手段の測定結果に基づいて温度調整を行う温度調整手段と、
   を備えることを特徴とする請求項１記載の撮像装置。
3. 前記欠陥画素特定手段により特定された前記欠陥画素に係る情報を記憶する欠陥情報記憶手段をさらに備え、
   前記初期情報記憶手段は、書き込みが禁止されていることを特徴とする請求項１又は２記載の撮像装置。
4. 前記欠陥画素特定手段は、前記複数の画素を遮光した時に出力される撮像データを補正した補正撮像データに基づいて、前記欠陥画素を特定することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記欠陥画素特定手段は、
   前記補正撮像データに含まれる全画素の補正出力データの平均値を算出し、
   当該平均値と、前記補正撮像データに含まれる各画素の補正出力データとの差分を求め、当該差分が所定の閾値を超える画素を前記欠陥画素とすることを特徴とする請求項４記載の撮像装置。
6. 前記欠陥画素特定手段は、複数の補正撮像データにおける同一の画素における補正出力データの変動幅が所定の閾値を超える画素を前記欠陥画素とすることを特徴とする請求項４または請求項５記載の撮像装置。
   
   

Images