JP2009033550A - 撮像装置 - Google Patents

Abstract

【課題】 温度センサや新規の機能を追加することなく、温度に応じた撮像素子の欠陥画素補正を行うこと。
【解決手段】 遮光されたオプティカルブラック領域を含み、温度依存性を有する有効領域と、温度依存性を有さない非有効領域とからなる撮像素子と、オプティカルブラック領域における撮像素子の出力と、非有効領域における撮像素子の出力とに基づいて、撮像素子近傍の温度を推定する推定部と、推定部により推定した温度に応じて、撮像素子により生成した画像データに対する欠陥画素補正を行う補正部とを備える。
【選択図】 図１

Description

本発明は、撮像素子を備え、被写体像を撮像して画像データを生成する撮像装置に関する。

従来より、撮像装置に搭載する撮像素子の欠陥画素補正が行われている。画素欠陥は一般に温度依存性を有する。そこで、特許文献１の発明では、撮像素子に温度センサを備えて温度に応じて適宜補正方法を変更している。また、特許文献２の発明では、欠陥画素のレベルを検出して温度を推測し、推測した温度に応じて適宜補正方法を変更している。
特開２００７−６１０３号公報 特開平１１−１１２８７９号公報

しかし、上述した特許文献１の発明では、温度センサを搭載するためのコストの問題や実装位置や実装スペースに関する問題がある。また、上述した特許文献２の発明では、撮像素子の画素毎にレベル検出を行う機能を付加する必要がある。

本発明の撮像装置は、温度センサや新規の機能を追加することなく、温度に応じた撮像素子の欠陥画素補正を行うことを目的とする。

本発明の撮像装置は、遮光されたオプティカルブラック領域を含み、温度依存性を有する有効領域と、温度依存性を有さない非有効領域とからなる撮像素子と、前記オプティカルブラック領域における前記撮像素子の出力と、前記非有効領域における前記撮像素子の出力とに基づいて、前記撮像素子近傍の温度を推定する推定部と、前記推定部により推定した前記温度に応じて、前記撮像素子により生成した画像データに対する欠陥画素補正を行う補正部とを備える。

なお、好ましくは、前記補正部は、第１の欠陥画素補正条件と、前記第１の欠陥画素補正条件よりも前記欠陥画素補正の対象画素が多い第２の欠陥画素補正条件とを予め記憶し、前記推定部により推定した前記温度が所定の閾値未満の場合には前記第１の欠陥画素補正条件にしたがって前記欠陥画素補正を行い、前記温度が前記閾値以上の場合には前記第２の欠陥画素補正条件にしたがって前記欠陥画素補正を行っても良い。

また、好ましくは、前記推定部は、前記オプティカルブラック領域のうち読み出し順の終端近傍に設けられた第１の検出領域における前記撮像素子の出力と、前記非有効領域のうち読み出し順の終端近傍に設けられた第２の検出領域における前記撮像素子の出力との差分に基づいて、前記温度を推定しても良い。

本発明の撮像装置によれば、温度センサや新規の機能を追加することなく、温度に応じた撮像素子の欠陥画素補正を行うことができる。

以下、図面を用いて本発明の実施形態について説明する。

図１は本実施形態の撮像装置の構成を示す図である。図１に示すように、撮像装置１は、撮像素子２や不図示の撮影レンズなどを備える撮像部３、不図示のレリーズボタンなどを含む操作部４、欠陥画素補正テーブルを記憶するテーブル記憶部５、液晶モニタなどを含む表示部６、不図示のメモリカードなどを備え画像データなどを記録する記録部７、各部を制御する制御部８を備える。テーブル記憶部５の詳細は後述する。

撮像部３、テーブル記憶部５、記録部７は制御部８と相互に接続される。また、制御部８は操作部４の状態を検知するとともに、制御部８の出力は表示部６に接続される。さらに、制御部８は画像処理部１０を備える。画像処理部１０は、温度算出部１１および欠陥画素補正部１２を備える。

図２,図３は撮像素子２の構成を説明する図である。撮像素子２は、図２に示すように有効領域とダミー領域とを備える。有効領域には、フォトダイオード２１が縦横に配列されている。図２,図３では、縦に８個、横に５個のフォトダイオード２１が配列された例を示す。また、有効領域には、フォトダイオード２１の縦列と交互に垂直ＣＣＤ２２が備えられる。図２および図３では、５本の垂直ＣＣＤ２２配列された例を示す。さらに有効領域には、水平ＣＣＤ２３が備えられる。フォトダイオード２１で光電変換された信号電荷は、まず垂直ＣＣＤ２２に転送され、さらに水平ＣＣＤ２３に転送される。垂直ＣＣＤ２２からの転送方向は矢印Ａの方向であり、水平ＣＣＤ２３からの転送方向は矢印Ｂの方向である。

図３は、有効領域の拡大図である。有効領域は、前ＯＢ領域Ｅ５，後ＯＢ領域Ｅ６，上ＯＢ領域Ｅ７，下ＯＢ領域Ｅ８を備える。「ＯＢ領域」とは、オプティカルブラック領域のことであり、この領域は遮光膜により遮光される。

ダミー領域の出力は、温度に対し基本的に一定のレベルを示す。これに対して、各ＯＢ領域の出力は、温度依存性を有し、フォトダイオード２１で発生する暗電流成分および垂直ＣＣＤ２２で発生する暗電流成分を含む。そこで、本実施形態では、ダミー領域の出力とＯＢ領域の出力とに基づいて撮像素子２近傍の温度を推定する。

図４は、撮像時の制御部８の動作を示すフローチャートである。

ステップＳ１において、制御部８は、操作部４を介して撮像開始が指示されたかを判定する。そして、制御部８は、撮像開始が指示されたと判定するとステップＳ２に進む。

ステップＳ２において、制御部８は、撮像部３を制御して撮像素子２による撮像を開始する。

ステップＳ３において、制御部８は、前ＯＢ領域内評価値算出エリアの出力値を取得する。図５は、撮像素子２により出力される画像データを示す図である。図５中の前ＯＢ領域は、図３で説明した前ＯＢ領域Ｅ５の出力に基づき、図５中の後ＯＢ領域は、図３で説明した後ＯＢ領域Ｅ６の出力に基づく。上ＯＢ領域および下ＯＢ領域についても同様である。また、図５中のダミー領域は、図２で説明したダミー領域Ｅ２の出力に基づく。

そして、前ＯＢ領域内評価値算出エリアＦ１は、図５に示すように、前ＯＢ領域内に設けられる。前ＯＢ領域内評価値算出エリアＦ１は、前ＯＢ領域において、読み出し順の終端部分に設けられる。

一般的に、読み出し順の先頭部分では暗電流がほとんど発生しないが、読み出し順の終端部分では撮像素子２近傍の温度に依存した暗電流成分を含む。したがって、読み出し順の終端部分に前ＯＢ領域内評価値算出エリアＦ１を設けることにより、後述する温度評価値Ｔの算出精度を向上させることができる。

制御部８は、撮像部３から、この前ＯＢ領域内評価値算出エリアＦ１の出力値を取得してステップＳ４に進む。

ステップＳ４において、制御部８は、ダミー領域内評価値算出エリアの出力値を取得する。ダミー領域内評価値算出エリアＦ２は、図５に示すように、ダミー領域内に設けられる。ダミー領域内評価値算出エリアＦ２は、ステップＳ３で説明した前ＯＢ領域内評価値算出エリアＦ１に対応した位置として、ダミー領域において、読み出し順の終端部分に設けられる。

制御部８は、撮像部３から、このダミー領域内評価値算出エリアＦ２の出力値を取得してステップＳ５に進む。

ステップＳ５において、制御部８は、温度算出部１１により温度評価値Ｔを算出する。温度評価値Ｔは、撮像素子２近傍の温度に関する評価値であり、次式により求められる。また、温度評価値Ｔは、撮像素子２近傍の温度が高くなるほど大きい値になり、撮像素子２近傍の温度が低くなるほど小さい値になる。

式１において、ＳＵＭ＿ＯＢは、ステップＳ３で取得した前ＯＢ領域内評価値算出エリアＦ１の出力値の積算値であり、ＳＵＭ＿Ｄは、ステップＳ４で取得したダミー領域内評価値算出エリアＦ２の出力値の積算値である。また、Ｎ１は、前ＯＢ領域内評価値算出エリアＦ１内の画素数であり、Ｎ２は、ダミー領域内評価値算出エリアＦ２内の画素数である。さらに、Ｇは、ＩＳＯ感度による画像信号増幅率である。

なお、前ＯＢ領域内評価値算出エリアＦ１の出力値の積算値ＳＵＭ＿ＯＢおよびダミー領域内評価値算出エリアＦ２の出力値の積算値ＳＵＭ＿Ｄを算出する際には、自動露出補正（ＡＥ）時に算出される所定エリア内の積算レベル等を利用しても良い。

ステップＳ６において、制御部８は、ステップＳ５で算出した温度評価値Ｔ＞ＴＨであるか否かを判定する。そして、制御部８は、温度評価値Ｔ＞ＴＨであると判定するとステップＳ７に進み、温度評価値Ｔ≦ＴＨであると判定すると後述するステップＳ８に進む。ＴＨは、経験的に、または実測により求められた温度評価値の閾値である。図６に撮像素子２近傍の温度変化と発生する暗電流量との関係を示す。図６に示すように、温度の上昇に伴って発生する暗電流量が増加する。閾値ＴＨは、例えば、４０℃程度の温度に対応した温度評価値の閾値である。

図７は、ダミー領域Ｅ２および前ＯＢ領域Ｅ５における読み出し順と出力との関係を示す図である。前ＯＢ領域Ｅ５に関しては高温時（温度評価値Ｔ＞ＴＨ）と低温時（温度評価値Ｔ≦ＴＨ）とを示す。図７に示すように、前ＯＢ領域Ｅ５の出力には、読み出し順の先頭部分では暗電流がほとんど発生しないが、読み出し順の終端部分では暗電流が発生し出力が大きくなる。一方、ダミー領域Ｅ２の出力は、読み出し順に関係なく一定のレベルを示す。さらに、ダミー領域Ｅ２の出力は温度変化に関係なく一定のレベルを示す。そこで、前ＯＢ領域内評価値算出エリアＦ１を前ＯＢ領域における読み出し順の終端部分に設けることにより、ダミー領域Ｅ２における出力と前ＯＢ領域Ｅ５における出力との差を大きく取り、精度良く温度評価値Ｔを算出することができる。

ステップＳ７において、制御部８は、テーブル記憶部５から欠陥画素補正テーブル（１）を読み出す。テーブル記憶部５は、欠陥画素補正テーブル（１）と後述する欠陥画素補正テーブル（２）とを予め記憶している。欠陥画素補正テーブル（１）とは、温度評価値Ｔ＞ＴＨである場合に使用されるテーブルである。具体的には、温度評価値Ｔ＞ＴＨである場合に欠陥画素補正が必要である画素のアドレスからなるテーブルである。

ステップＳ８において、制御部８は、テーブル記憶部５から欠陥画素補正テーブル（２）を読み出す。欠陥画素補正テーブル（２）とは、温度評価値Ｔ≦ＴＨである場合に使用されるテーブルである。具体的には、温度評価値Ｔ≦ＴＨである場合に欠陥画素補正が必要である画素のアドレスからなるテーブルである。前述したように、画素欠陥は温度依存性を有する。そして、低温では欠陥が発生しづらく、高温で多くの欠陥が発生する。そこで、欠陥画素補正テーブル（１）に記憶される欠陥画素補正の対象画素は、欠陥画素補正テーブル（２）に記憶される欠陥画素補正の対象画素よりも多い。すなわち、温度評価値Ｔ＞ＴＨである高温の場合には、温度評価値Ｔ≦ＴＨである低温の場合よりも多くの画素を欠陥画素補正が必要な画素と判断する。

ステップＳ９において、制御部８は、欠陥画素補正部１２を制御して、ステップＳ７またはステップＳ８で読み出した欠陥画素補正テーブルにしたがって欠陥画素補正を行う。欠陥画素補正の具体的な方法は公知技術と同様であるため説明を省略する。

ステップＳ１０において、制御部８は、画像データを記録部７に記録する。なお、画像データを記録する前に、必要に応じて、ステップＳ９において欠陥画素補正が施された画像データに対して各種画像処理や圧縮処理を行っても良い。

以上説明したように、本実施形態によれば、オプティカルブラック領域における撮像素子の出力と、ダミー領域における撮像素子の出力とに基づいて、撮像素子近傍の温度を推定し、推定した温度に応じて、欠陥画素補正を行う。したがって、温度センサや新規の機能を追加することなく、温度に応じた撮像素子の欠陥画素補正を行うことができる。また、本実施形態によれば、高温を想定して必要以上に厳しい条件を設定することにより不用な欠陥画素補正を行ってしまい、画像劣化が発生してしまうという問題も回避することができる。

また、本実施形態によれば、第１の欠陥画素補正条件と、第１の欠陥画素補正条件よりも欠陥画素補正の対象画素が多い第２の欠陥画素補正条件とを予め記憶し、推定した温度に応じた欠陥画素補正条件にしたがって欠陥画素補正を行う。したがって、温度に応じて、高温の場合には、低温の場合よりも多くの画素を欠陥画素として、欠陥画素補正を行うことができる。

また、本実施形態によれば、オプティカルブラック領域およびダミー領域のうち読み出し順の終端近傍に設けられた領域における出力の差分に基づいて温度を推定する。したがって、十分な差分に基づいて温度を算出することにより算出精度を向上させることができる。

なお、本実施形態では、前ＯＢ領域における撮像素子の出力とダミー領域における撮像素子の出力とに基づいて各処理を行う場合を例に挙げて説明したが、他の領域における撮像素子の出力を用いても良い。例えば、前ＯＢ領域に代えて、後ＯＢ領域、上ＯＢ領域、下ＯＢ領域のうち何れかの領域における撮像素子の出力とダミー領域における撮像素子の出力とに基づいて各処理を行っても良い。いずれにせよ、各処理を行うのに十分なデータ量（画素数）を含む領域を使用するのが好ましい。また、温度変化に応じて出力に差が出る組み合わせであれば、ダミー領域を使用せずに、２つのＯＢ領域（例えば、上ＯＢ領域と下ＯＢ領域）における撮像素子の出力に基づいて各処理を行う構成としても良い。

また、本実施形態では、ステップＳ３およびステップＳ４において、前ＯＢ領域およびダミー領域内評価値算出エリアの出力値を、ステップＳ２で開始した撮像により得られた画像データから取得する例を示したが、本発明はこの例に限定されない。例えば、ステップＳ１で撮像開始が指示される前に取得された構図確認用のスルー画像から各出力値を取得する構成としても良い。特に、高感度撮影を行う際には、スルー画像を利用すると良い。さらに、ステップＳ１で撮像開始が指示された際に、必要に応じて予備撮像動作を行い、この予備撮像により得られた画像データから各出力値を取得する構成としても良い。予備撮像時には、温度評価値Ｔの算出などに最適な条件を設定して撮像および画像データの取得を行えば良い。

また、本実施形態のステップＳ３からステップＳ９で説明した処理は、必ずしも撮影のたびに行わなくても良い。例えば、所定の時間間隔でステップＳ３からステップＳ９の処理を行い、それ以外のタイミングでは、直前に選択した欠陥画素補正テーブルにしたがって、欠陥画素補正を行う構成としても良い。

また、本実施形態では、温度評価値Ｔに応じて、欠陥画素補正テーブル（１）および欠陥画素補正テーブル（２）の何れかを選択的に使用する例を示したが、本発明はこの例に限定されない。例えば、温度評価値Ｔに対応づけて、欠陥画素補正が必要である画素のアドレスを記憶した１つのテーブルを用意しておき、温度評価値Ｔに応じてその一部分を読み出して欠陥画素補正に利用する構成としても良い。

また、本実施形態において、図２および図３を用いて説明した撮像素子２は一例であり、本発明はこの例に限定されない。例えば、フォトダイオードがハニカム配列に配置された撮像素子などにも本発明を同様に適用することができる。何れの場合も、ブランキング期間中に温度依存性を有さない領域が存在すれば、その領域を本実施形態で説明したダミー領域の代わりとすることにより、本実施形態と同様の効果を得ることができる。

本実施形態の撮像装置の構成を示す図である。 撮像素子２の構成を説明する図である。 撮像素子２の構成を説明する別の図である。 撮像時の制御部８の動作を示すフローチャートである。 撮像素子２により出力される画像データを示す図である。 撮像素子２近傍の温度変化と発生する暗電流量との関係を示す図である。 ダミー領域Ｅ２および前ＯＢ領域Ｅ５における読み出し順と出力との関係を示す図である。

符号の説明

１…撮像装置，２…撮像素子，３…撮像部，５…テーブル記憶部，８…制御部，１０…画像処理部，１１…温度算出部，１２…欠陥画素補正部

Claims (3)

1. 遮光されたオプティカルブラック領域を含み、温度依存性を有する有効領域と、温度依存性を有さない非有効領域とからなる撮像素子と、
   前記オプティカルブラック領域における前記撮像素子の出力と、前記非有効領域における前記撮像素子の出力とに基づいて、前記撮像素子近傍の温度を推定する推定部と、
   前記推定部により推定した前記温度に応じて、前記撮像素子により生成した画像データに対する欠陥画素補正を行う補正部と
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正部は、第１の欠陥画素補正条件と、前記第１の欠陥画素補正条件よりも前記欠陥画素補正の対象画素が多い第２の欠陥画素補正条件とを予め記憶し、前記推定部により推定した前記温度が所定の閾値未満の場合には前記第１の欠陥画素補正条件にしたがって前記欠陥画素補正を行い、前記温度が前記閾値以上の場合には前記第２の欠陥画素補正条件にしたがって前記欠陥画素補正を行う
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記推定部は、前記オプティカルブラック領域のうち読み出し順の終端近傍に設けられた第１の検出領域における前記撮像素子の出力と、前記非有効領域のうち読み出し順の終端近傍に設けられた第２の検出領域における前記撮像素子の出力との差分に基づいて、前記温度を推定する
   ことを特徴とする撮像装置。
   

Images