JP2007318503A - 撮像装置 - Google Patents

Abstract

【課題】温度検出器を搭載することなく温度に基づく変動補正が可能な撮像装置の提供。
【解決手段】 入射光を電気信号に変換する感光素子を備えた複数の画素を有する撮像素子４と、撮像素子４から出力される電気信号に対して信号処理を行う信号処理部１３とを備え、信号処理部１３は、遮光状態にある画素より出力された電気信号から温度を導出する温度導出部１５と、温度導出部１５で導出した温度を用いて、温度変化に起因して変動する撮像素子４の出力電気信号の変動補正を行う変動補正部１６と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また近年では、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換える撮像素子（リニアログ変換型センサ）が提案されている。このリニアログ変換型センサによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することができる。

しかし、リニアログ変換型センサの出力には対数変換動作由来の電気信号と線形変換動作由来の電気信号が含まれるため、演算処理が複雑になるという問題があった。そこで、対数変換動作由来の電気信号を線形変換動作由来の状態に変換するか、或いは線形変換動作由来の電気信号を対数変換動作由来の状態に変換する特性変換を行う信号処理部を設けて、電気信号全体を線形変換動作由来又は対数変換動作由来の状態に統一して電気信号の処理を容易化する撮像装置が提案されている。

また、リニアログ変換型センサの入出力特性は、撮像素子又はその近傍の温度変化に起因して変動するという特性を有する。そこで、このような温度変化が撮像素子の入出力特性に影響しないように、撮像素子の入出力特性の変動補正を行う撮像装置が提案されている（特許文献１）。すなわち、特許文献１に記載の撮像装置では、対数変換動作由来の電気信号を線形変換動作由来の電気信号に変換する特性変換を演算によって実現しており、雰囲気温度の変化に応じて演算内容を変化させることによって、電気信号の入出力特性のばらつきを補正している。
特開２００４−３５６８６６号公報

しかしながら、従来のような撮像装置をディジタルカメラ等の製品に搭載する場合、温度による変動補正を行うためには、温度センサ等の温度検出器をイメージセンサ近傍に設けて温度変化を検出する必要がある。また、低コスト化のために安価な温度検出器を用いると、温度検出器固有の測定誤差の影響が大きく、正確な温度を取得できないおそれがあるという問題があった。

本発明はこのような点に鑑みてなされたものであり、温度検出器を搭載することなく撮影時の温度を特定して出力電気信号の変動補正を行うことが可能な撮像装置を提供することを目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、撮像装置において、
入射光を電気信号に変換する感光素子を備えた複数の画素を有する撮像素子と、
前記撮像素子から出力される電気信号に対して信号処理を行う信号処理部とを備え、
前記信号処理部は、
遮光状態にある画素より出力された電気信号から温度を導出する温度導出部と、
前記温度導出部で導出した温度を用いて、温度変化に起因して変動する撮像素子の出力電気信号の変動補正を行う変動補正部と、を備えることを特徴とする。

請求項１に記載の発明によれば、撮像時の撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、遮光状態の複数の画素からの出力電気信号をもとに温度を導出し、その温度を用いて出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器を搭載する必要が無くコストの削減が可能である。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記撮像素子は、前記感光素子が常に遮光状態にある複数の前記画素を有するオプティカルブラック部を備え、
前記温度導出部は、前記オプティカルブラック部の画素より出力された電気信号から温度を導出することを特徴とする。

請求項２に記載の発明によれば、感光素子が常に遮光状態となるオプティカルブラック部を設け、その出力電気信号から温度を導出するので、請求項1に記載の発明と同様の効果を得ることができるとともに、撮像素子の有効画素を遮光することなく撮影時の温度を導出することができる。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記温度導出部は、遮光状態にある画素より出力された電気信号の平均値から温度を導出することを特徴とする。

請求項３に記載の発明によれば、遮光状態にある画素より出力された電気信号の平均値をもとに温度を導出するので、より正確に温度を導出することができるとともに、正確な温度を用いて温度補正を行う事が可能である。

請求項４に記載の発明は、請求項１又は２に記載の撮像装置において、
前記温度導出部は、遮光状態にある画素より出力された電気信号の積分値から温度を導出することを特徴とする。

請求項４に記載の発明によれば、遮光状態にある画素より出力された電気信号の積分値をもとに温度を導出するので、より正確に温度を導出することができるとともに、正確な温度を用いて温度補正を行う事が可能である。

請求項５に記載の発明は、請求項３に記載の撮像装置において、
前記信号処理部は、遮光状態にある複数の画素からの出力電気信号の平均値を算出する平均値算出部を備えていることを特徴とする。

請求項５に記載の発明によれば、平均値算出部が遮光状態にある複数の画素からの出力電気信号の平均値を算出し、算出された出力電気信号の平均値に基づいて温度導出部は温度をより正確に導出することができる。

請求項６に記載の発明は、請求項４に記載の撮像装置において、
前記信号処理部は、遮光状態にある複数の画素からの出力電気信号の積分値を算出する積分値算出部を備えることを特徴とする。

請求項６に記載の発明によれば、積分値算出部が遮光状態にある複数の画素からの出力電気信号の積分値を算出し、算出された出力電気信号の積分値に基づいて温度導出部は温度をより正確に導出することができる。

請求項７に記載の発明は、請求項５に記載の撮像装置において、
前記信号処理部は、前記平均値算出部で算出した平均値を用いて黒基準を設定する黒基準設定部を備えることを特徴とする。

請求項７に記載の発明によれば、黒基準設定部を設け、平均値算出部で算出した平均値を用いて黒基準を設定するため、請求項１又は２と同様の効果を得ることができるとともに、平均値算出部が算出した平均値を黒基準設定部と温度導出部の両方で共有化できるため、各々が平均値算出を行うより回路規模を縮小できる。

請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の撮像装置において、
前記温度導出部は、演算器を備えることを特徴とする。

請求項８に記載の発明によれば、請求項１〜７に記載の発明と同様の効果を得ることができるとともに、演算器を用いて温度を導出するため、メモリを使用するルックアップテーブルを用いるより回路規模を縮小できる。

請求項９に記載の発明は、請求項１〜７のいずれか一項に記載の撮像装置において、
前記温度導出部は、ルックアップテーブルを備えることを特徴とする。

請求項９に記載の発明によれば、請求項１〜７に記載の発明と同様の効果を得ることができるとともに、ルックアップテーブルを用いて温度を導出するため、正確かつ高速に処理することができる。

請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の撮像装置において、
前記温度導出部は、遮光状態にある画素の出力電気信号のばらつきを調整するばらつき調整部を備えることを特徴とする。

請求項１０に記載の発明によれば、請求項１〜９に記載の発明と同様の効果を得ることができるとともに、遮光状態にある画素の出力電気信号が個々のイメージセンサ等によってばらついた場合に、そのばらつきに影響される成分を除去することができる。

請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の撮像装置において、
前記画素は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを、入射光量に基づいて切り替えることを特徴とする。

請求項１１に記載の発明によれば、撮像素子は、線形変換モードと対数変換モードを備え、入射光量に基づいて切り替えて変動補正を行うため、より正確な変動補正を行うことができるとともに、撮影時の撮像素子またはその近傍の温度変化、および、使用する温度検出器に関係なくノイズの少ない画像信号を得ることができる。

請求項１に記載の発明によれば、撮像時の撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合に、遮光状態の複数の画素からの出力電気信号をもとに温度を導出するので、温度検出器を備えることなく出力電気信号の変動補正が可能である。また、撮像装置に温度検出器を搭載する必要がなく、装置の簡略化やコストの削減が可能である。

請求項２に記載の発明によれば、請求項1に記載の発明と同様の効果を得ることができるとともに、温度導出部はオプティカルブラック部の画素より出力される電気信号に基づいて温度を導出することができるので、撮像素子の有効画素を遮光することなく撮影時の温度を導出することができる。

請求項３に記載の発明によれば、請求項１又は2に記載の発明と同様の効果を得ることができるとともに、遮光状態にある画素より出力された電気信号の平均値をもとに温度を導出するので、より正確に温度を導出することができるとともに、正確な温度を用いて温度補正を行う事が可能である。

請求項４に記載の発明によれば、請求項１又は2に記載の発明と同様の効果を得ることができるとともに、遮光状態にある画素より出力された電気信号の積分値をもとに温度を導出するので、より正確に温度を導出することができるとともに、正確な温度を用いて温度補正を行う事が可能である。

請求項５に記載の発明によれば、平均値算出部により算出された出力電気信号の平均値に基づいて温度導出部は温度をより正確に導出することができる。

請求項６に記載の発明によれば、積分値算出部により算出された出力電気信号の積分値に基づいて温度導出部は温度をより正確に導出することができる。

請求項７に記載の発明によれば、黒基準設定部を設け、平均値算出部で算出した平均値を用いて黒基準を設定するため、請求項１又は２と同様の効果を得ることができるとともに、平均値算出部が算出した平均値を黒基準設定部と温度導出部の両方で共有化できるため、各々が平均値算出を行うより回路規模を縮小できる。

請求項８に記載の発明によれば、請求項１〜７に記載の発明と同様の効果を得ることができるとともに、演算器を用いて温度を導出するための回路規模を縮小できる。

請求項９に記載の発明によれば、請求項１〜７に記載の発明と同様の効果を得ることができるとともに、ルックアップテーブルを用いて正確かつ高速に温度を導出することができる。

請求項１０に記載の発明によれば、請求項１〜９に記載の発明と同様の効果を得ることができるとともに、遮光状態にある画素の出力電気信号が個々のイメージセンサ等によってばらついた場合に、そのばらつきに影響される成分を除去することができる。

請求項１１に記載の発明によれば、撮像素子は、線形変換モードと対数変換モードを備え、入射光量に基づいて切り替えて変動補正を行うため、より正確な変動補正を行うことができる。

以下に、本発明に係る撮像装置の一実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。

図１に示すように、撮像装置１は、レンズ系２及び絞り３を介して入射光を受光する撮像素子４を備えている。これらレンズ系２及び絞り３としては、従来より公知のものが用いられている。

撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ系２側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタ（図示せず）が配設されている。また、画素Ｇ₁₁〜Ｇ_mnには、図２に示すように、電源ライン５や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路６が接続されている。この垂直走査回路６は、後述の信号生成部３１（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路７及び補正回路８が接続されている。水平走査回路７は、電気信号をサンプルホールドして補正回路８に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路８は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路８としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜
Ｓ_mの全体に対して補正回路８を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路８を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜
Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネ
ルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系２及び絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノー
ドＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲート
Ｔ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたと
きにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トラ
ンジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子４は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然
対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子４の出力信号は、図４に示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加さ
れており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

ここで、本実施形態の撮像素子４の電気信号の入出力特性は、撮像素子４又はその近傍の温度変化に起因して変化する。具体的には、図５に示すように、撮像素子４又はその近傍の温度がｔ_１〜ｔ_３の順で小さくなるほど、曲線（１）〜（３）の順で線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点における出力信号値（変曲出力信号値Ｈ）は大きくなり、対数領域の傾きは小さくなる。

これは、撮像素子４又はその近傍の温度が低くなるほどトランジスタＴ_１のゲートＴ_1GとソースＴ_1Sとのポテンシャルの差が大きくなり、トランジスタＴ_１がカットオフ状態で動作する被写体輝度の割合、すなわち線形変換する被写体輝度の割合が大きくなるためである。

したがって、撮像素子４又はその近傍の温度を変化させることにより、画像信号のダイナミックレンジや変曲点での所定入射光量、変曲出力信号値Ｈ（図４参照）を制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合は前記温度を低くして線形変換する輝度範囲を広くし、被写体の輝度範囲が広い場合には前記温度を高くして対数変換する輝度範囲を広くして、画素Ｇ₁₁〜Ｇ_mnの光電変換特性を被写体の特性に合わせることができる。また、常に画素Ｇ₁₁〜Ｇ_mnが線形変換動作を行う状態又は常に画素Ｇ₁₁〜Ｇ_mnが対数変換動作を行う状態とすることも可能である。

なお、露光時間が短くなる場合や、信号φ_VPSの電圧値ＶＬ，ＶＨの差が大きくなる場
合にも、線形変換する被写体輝度の割合は大きくなるため、制御電圧や露光時間を変化させることによって画素Ｇ₁₁〜Ｇ_mnの光電変換特性を変更することも可能である。

図５において、撮像素子４又はその近傍の温度ｔ_１〜ｔ_３における撮像素子４の対数出力信号ｙ_１〜ｙ_３は、それぞれ下記式（１）〜（３）によって表される。

上記式（１）〜（３）において、ｃ_１〜ｃ_３は対数出力信号の傾き、ｄ_１〜ｄ_３は対数出力信号の切片であり、それぞれ温度ｔ_１〜ｔ_３に対応する定数である。なお、上記式（１）〜（３）の傾きｃ_１〜ｃ_３又は切片ｄ_１〜ｄ_３の値は、画素Ｇ₁₁〜Ｇ_mnの特性により、画素Ｇ₁₁〜Ｇ_mnごとに異なる場合がある。

以下、線形変換動作の行われる割合が最も小さく、対数変換動作の行われる割合が最も大きいときの温度ｔ_１を基準温度とする。

次に、図１に示すように、撮像素子４にはアンプ９及びＡＤコンバータ（ＡＤＣ）１０を介して信号処理部１３が接続されている。信号処理部１３は、撮像素子４の雰囲気温度によって撮像素子４の入出力特性が変動する場合に、出力信号の変動補正を行うものであり、黒基準設定部１１、平均値算出部１４、温度導出部１５及び変動補正部１６を備えている。黒基準設定部１１、平均値算出部１４、温度導出部１５及び変動補正部１６は、それぞれ撮像素子４が備える複数の画素に対応づけて設けられており、複数の画素ごとに異なる信号処理を行うことも可能となっている。

平均値算出部１４は、遮光状態の複数の画素より出力される電気信号の平均値を算出するものであり、その算出結果を黒基準設定部１１及び温度導出部１５に出力するものである。遮光状態の画素とは、図６に示すように、感光素子が常に遮光状態となるようなオプティカルブラック部４aを備える場合、オプティカルブラック部４aに含まれる画素を示す。オプティカルブラック部４aの撮像素子４における位置や形状に特に制限は無く、適宜変更可能である。また、オプティカルブラック部４aからの信号ではなく、予め撮像素子４を遮光した状態での有効画素部４ｂからの出力信号の平均値を算出することとしても良い。

黒基準設定部１１では、平均値算出部１４により算出された出力電気信号の平均値を用いて黒基準を設定する。黒基準とは、出力電気信号の最低レベルである。このように、本実施形態においては黒基準設定部１１に出力電気信号の平均値が送信されるので、黒基準設定部１１において出力電気信号の平均値を算出する必要はない。

温度導出部１５は、平均値算出部１４により算出された出力電気信号の平均値を用いて、撮像素子４の推定温度を導出するものであり、導出した推定温度を変動補正部１６及び後述する変曲信号導出部２１に出力するようになっている。ここで、遮光状態の画素の出力電気信号の平均値と撮像素子４の温度の関係は、図７に示すように、正比例の関係である。つまり、遮光画素からの出力電気信号の平均値をｘ、温度をｙ、導出係数をａ、ｂとすると、ｙ＝ａｘ＋ｂのように近似される。本実施形態においては、図８に示すように、温度導出部１５には、図７に示す関係式を充たすように、出力電気信号の平均値に基づいて推定温度を演算する演算器１５aが備えられている。このように、温度導出部１５は、出力電気信号の平均値に基づいて推定温度を演算して導出することとしてもよい。また、図９に示すように、出力電気信号の平均値の入力により推定温度を導出するルックアップテーブル１５ｂを備えることとしてもよい。

また、温度導出部１５は撮像装置１が撮像動作を行う前に予め導出係数a、ｂを測定するようになっている。なお、温度導出部１５には、個々の撮像素子４等によって出力される電気信号のばらつきを調整するばらつき調整部（図示省略）を備えることとしてもよい。ばらつき調整部を備えることにより、撮像素子４の特性に応じて出力電気信号を調整することが可能であり、調整後の出力電気信号の平均値に基づいて推定温度を導出することが可能である。

変動補正部１６は、撮像素子４の前記駆動条件、本実施形態においては撮像素子４又はその近傍の温度変化に起因して撮像素子４の入出力特性が変動する場合に、温度導出部１５により導出された温度に基づいて補正係数を導出し、撮像素子４から出力される電気信号の変動補正を行うものである。変動補正部１６は、それぞれ撮像素子４が備える複数の画素に対応づけて設けられており、複数の画素ごとに異なる信号処理を行うことも可能となっている。

この変動補正部１６は、図１に示すように、係数導出部１７と演算処理部１８とを備えている。

係数導出部１７は、撮像素子４の入出力特性の変動を補正するための補正係数を、温度導出部１５で推定した温度に基づいて導出するものである。詳しくは、係数導出部１７は、温度導出部１５で導出された温度に基づき、補正係数として、基準温度及び検出された温度における、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出するようになっている。なお、補正係数としては、変曲出力信号値Ｈを用いることなども可能である。

これらの補正係数は撮像素子４又はその近傍の温度に応じて変化するものであり、例えば、撮像時における撮像素子４又はその近傍の温度が温度ｔ_２（図５参照）であった場合は、係数導出部１７は、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出するようになっている。

ここで、補正係数としての対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３は、温度ｔ_１〜ｔ_３との関係式で表すことができる。したがって、係数導出部１７に演算処理手段（図示省略）を備え、この関係式により温度ｔ_１〜ｔ_３に対応する対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算することが可能となっている。

例えば、下記式（４）は、撮像時の温度ｔと対数出力信号の傾きｃとが、図７に示す関係にある場合の関係式である。図７に示されるように、対数出力信号の傾きｃは、温度ｔが小さくなるほど小さくなっている。

また、下記式（５）は、撮像時の温度ｔと対数出力信号の切片ｄとが、図８に示す関係にある場合の関係式である。図８に示されるように、対数出力信号の切片ｄは、温度ｔが小さくなるほど大きくなっている。

次に、演算処理部１８は、係数導出部１７で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行うものである。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行うようになっている。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、撮像時の温度の平均値が温度ｔ_２であった場合は、係数導出部１７で導出された対数出力信号の傾きｃ_１，ｃ_２及び対数出力信号の係数ｄ_１，ｄ_２を用いて、対数出力信号ｙ_２に下記の変動方程式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めるようになっている。

また、信号処理部１３は、撮像素子４の出力信号を線形変換動作由来の状態に統一する線形化部１９を備えている。線形化部１９は、撮像素子４が出力した電気信号と変曲出力信号値Ｈとの大小を判別して、撮像素子４が出力した電気信号が変曲出力信号値Ｈより大きい場合には、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換して出力するようになっている。また、撮像素子４が出力した電気信号が変曲出力信号値Hより小さい場合には、線形変換動作由来の電気信号と判断し、そのまま出力するようになっている。

このように信号処理部１３では、変動補正部１６で撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１９で対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することが可能となっている。

また、画素Ｇ₁₁〜Ｇ_mnからの出力信号が対数変換動作由来の電気信号である場合にのみ変動補正を行うので、出力信号が線形変換動作由来の電気信号である場合、つまり、対数変換動作に由来の電気信号を他方の変換動作に由来の状態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結果、信号処理が高速化される。

以上の信号処理部１３には、図１に示すように、変曲信号導出部２１、画像処理部２２、評価値算出部２８及び制御装置２９が接続されている。

変曲信号導出部２１は、温度に応じた変曲出力信号値Hを導出して、変動補正部１６の演算処理部１８及び線形化部１９に送信するようになっている。本実施形態においては、推定温度に基づいて変曲出力信号値Hを演算する演算器が備えられている。また、推定温度の入力により変曲出力信号値Hを導出するルックアップテーブルを備えることとしてもよい。

画像処理部２２は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７を備えている。これらＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７は、信号処理部１３に対してこの順に接続されている。

ＡＷＢ処理部２３は画像データに対してホワイトバランス処理を行うものであり、色補間部２４は同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づいて、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。色補正部２５は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素Ｇ₁₁〜Ｇ_mnごとに補正するものである。階調変換部２６は画像データの階調変換を行うものであり、色空間変換部２７はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

評価値算出部２８は、ＡＷＢ処理部２３でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露光制御処理部３０での露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。

制御装置２９は、撮像装置１の各部を制御するものであって、図１に示すように、上述のアンプ９、黒基準設定部１１、信号処理部１３、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７と接続されている。

また、制御装置２９は、露光制御処理部３０を介して絞り３と接続され、信号生成部３１を介して撮像素子４及びＡＤコンバータ１０と接続されている。

露光制御処理部３０は、レンズ系２より集光される光の量を調整する絞り３を駆動制御するようになっている。

信号生成部３１は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置２９からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、信号生成部３１はＡＤ変換用のタイミング信号も生成するようになっている。

続いて、撮像装置１の撮像動作について説明する。

まず、撮像素子４が各画素Ｇ₁₁〜Ｇ_mnへの入射光を光電変換し、線形変換動作又は対数変換動作由来の電気信号をアナログ信号として出力する。具体的には、上述のように各画素Ｇ₁₁〜Ｇ_mnが信号読出ラインＬ_Dに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路２３に送出されると、補正回路２３がノイズを除去して電気信号を出力する。

次に、撮像素子４から出力されたアナログ信号をアンプ９が増幅し、ＡＤコンバータ１０が電気信号に変換する。次に、ＡＤコンバータ１０から電気信号が平均値算出部１４及び黒基準設定部１１に出力される。すると平均値算出部１４は、順次出力電気信号を加算してから撮像素子４の画素数（ｎ×ｍ）で除算し、画素より出力される電気信号の平均値を算出する。算出された出力電気信号の平均値は、黒基準設定部１１及び温度導出部１５に送信される。

黒基準設定部１１は、出力電気信号及びその平均値から出力電気信号の最低レベルを設定し、出力電気信号を信号処理部１３に送信する。

また、温度導出部１５は、出力電気信号の平均値から、図７に示す関係式に基づいて撮像素子４の推定温度を導出する。導出された推定温度は、変動補正部１６及び変曲信号導出部２１に送信される。

変曲信号導出部２１が推定温度を受信すると、推定温度に基づく演算により変曲出力信号値Ｈを導出して変動補正部１６の演算処理部１８及び線形化部１９に送信する。なお、変曲出力信号値Ｈはルックアップテーブルによって導出してもよい。このようにルックアップテーブルを用いる場合は、変曲出力信号値Ｈを正確に導出できると共に、導出処理が高速化される。

また、信号処理部１３の変動補正部１６が推定温度を受信すると、係数導出部１７は撮像素子４の入出力特性の変動を補正するための補正係数を導出する。すなわち、係数導出部１７は、推定温度に基づき、補正係数として、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出する。

例えば、推定温度が温度ｔ_２（図５参照）であった場合は、演算処理部１８は、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出する。これらの補正係数は、上記式（４）又は（５）などを用いた演算により導出することが可能である。

続いて、演算処理部１８は、係数導出部１７で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行う。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行う。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、推定温度が温度ｔ_２（図５参照）であった場合は、上記式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めることができる。

次に、信号処理部１３の線形化部１９は、撮像素子４からの出力電気信号を線形変換動作由来の状態に統一する。すなわち、まず出力電気信号と変曲出力信号値Ｈとの大小を判別して、出力電気信号が変曲出力信号値Ｈより大きい場合、つまり対数変換動作由来の電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル等を用いて入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換する。一方、出力電気信号が変曲出力信号Hより小さい場合、線形変換動作由来の電気信号と判断してそのまま出力する。

このように、信号処理部１３の変動補正部１６が撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１９が対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる。

また、画素Ｇ₁₁〜Ｇ_mnからの出力信号が対数変換動作由来の電気信号である場合にのみ変動補正を行うので、出力信号が線形変換動作由来の電気信号である場合、つまり、対数変換動作に由来の電気信号を他方の変換動作に由来の状態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結果、信号処理が高速化される。

次に、信号処理部１３の線形化部１９から出力される電気信号に基づいて評価値算出部２８が前記ＡＷＢ評価値，ＡＥ評価値を算出する。

次に、算出されたＡＥ評価値に基づいて制御装置２９が露光制御処理部３０を制御し、撮像素子４に対する露光量を調節させる。

また、ＡＷＢ評価値や、黒基準設定部１１で設定された最低レベルなどに基づいて制御装置２９がＡＷＢ処理部２３を制御し、信号処理部１３から出力される画像データに対してホワイトバランス処理を行わせる。

そして、ＡＷＢ処理部２３から出力される画像データに基づいて色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７がそれぞれ画像処理を行った後、画像データを出力する。

以上のように本実施形態の撮像装置１によれば、遮光状態の複数の画素からの出力電気信号をもとに推定温度を導出することができるので、温度検出器を備えることなく出力電気信号の変動補正が可能である。また、撮像装置１に温度検出器を搭載する必要がないので、装置の簡略化やコストの削減が可能である。

また、温度導出部１５はオプティカルブラック部４aの画素より出力される電気信号に基づいて推定温度を導出することができるので、撮像素子４の有効画素を遮光することなく撮影時の温度を導出することができる。また、遮光状態にある画素より出力された電気信号の平均値をもとに温度を導出するので、より正確な推定温度を導出することができる。

さらに、黒基準設定部１１は、平均値算出部１４で算出した出力電気信号の平均値を用いて黒基準を設定することができるため、各々が平均値算出を行うより回路規模を縮小できる。

なお、本実施形態においては、遮光状態の複数の画素からの出力電気信号の平均値を算出する平均値算出部１４を備えることとしたが、遮光状態の複数の画素からの出力電気信号の積分値を算出する積分値算出部を備えることとしてもよい。出力電気信号の積分値と撮像素子４の温度との関係も図７に示すように正比例の関係となるため、本実施形態と同様にして推定温度を導出することが可能である。

第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 第１の実施形態に係る撮像素子の構成を示すブロック図である。 第１の実施形態に係る画素の構成を示す回路図である。 第１の実施形態に係る撮像素子の出力信号を示すグラフである。 第１の実施形態に係る撮像素子又はその近傍の各温度における出力信号を示すグラフである。 第１の実施形態に係る撮像素子の概略構成を示す正面図である。 第１の実施形態に係る出力電気信号と温度の関係を示すグラフである。 第１の実施形態に係る温度導出部の概略構成を示すブロック図である。 第１の実施形態に係る温度導出部の概略構成の変形例を示すブロック図である。

符号の説明

１ 撮像装置
２ レンズ系
４ 撮像素子
４a オプティカルブラック部
４ｂ 有効画素部
１１ 黒基準設定部
１３ 信号処理部
１４ 平均値算出部
１５ 温度導出部
１５a 演算器
１５ｂ ルックアップテーブル
１６ 変動補正部
１７ 係数導出部
１８ 演算処理部
１９ 線形化部
２１ 変曲信号導出部
２１a 演算器
２２ 画像処理部
２９ 制御装置

Claims (11)

1. 入射光を電気信号に変換する感光素子を備えた複数の画素を有する撮像素子と、
   前記撮像素子から出力される電気信号に対して信号処理を行う信号処理部とを備え、
   前記信号処理部は、
   遮光状態にある画素より出力された電気信号から温度を導出する温度導出部と、
   前記温度導出部で導出した温度を用いて、温度変化に起因して変動する撮像素子の出力電気信号の変動補正を行う変動補正部と、を備えることを特徴とする撮像装置。
2. 前記撮像素子は、前記感光素子が常に遮光状態にある複数の前記画素を有するオプティカルブラック部を備え、
   前記温度導出部は、前記オプティカルブラック部の画素より出力された電気信号から温度を導出することを特徴とする請求項１に記載の撮像装置。
3. 前記温度導出部は、遮光状態にある画素より出力された電気信号の平均値から温度を導出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記温度導出部は、遮光状態にある画素より出力された電気信号の積分値から温度を導出することを特徴とする請求項１又は２に記載の撮像装置。
5. 前記信号処理部は、遮光状態にある複数の画素からの出力電気信号の平均値を算出する平均値算出部を備えていることを特徴とする請求項３に記載の撮像装置。
6. 前記信号処理部は、遮光状態にある複数の画素からの出力電気信号の積分値を算出する積分値算出部を備えることを特徴とする請求項４に記載の撮像装置。
7. 前記信号処理部は、前記平均値算出部で算出した平均値を用いて黒基準を設定する黒基準設定部を備えることを特徴とする請求項５に記載の撮像装置。
8. 前記温度導出部は、演算器を備えることを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
9. 前記温度導出部は、ルックアップテーブルを備えることを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
10. 前記温度導出部は、遮光状態にある画素の出力電気信号のばらつきを調整するばらつき調整部を備えることを特徴とする請求項１〜９のいずれか一項に記載の撮像装置。
11. 前記画素は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを、入射光量に基づいて切り替えることを特徴とする請求項１〜１０のいずれか一項に記載の撮像装置。

Images