JP2019205057A - 撮像装置 - Google Patents

Abstract

【課題】画素の温度を精度良く検出することができる撮像装置を提供する。【解決手段】温度に依存する第１特性を持つ第１素子を含む画素回路部を複数有する撮像素子と、前記第１素子の前記第１特性に応じた前記画素回路部からの出力情報を検出する出力情報検出部と、前記出力情報検出部により検出された前記出力情報に基づいて、前記温度に関する状況を検出する温度状況検出部と、を備える撮像装置。【選択図】図１

Description

本発明は、撮像装置に関する。

撮像素子を用いて画像を撮像する撮像装置が知られている。撮像装置は、例えば、カメラと呼ばれることもある。
撮像素子は温度に依存する特性（説明の便宜上、「温度特性」ともいう。）を有する場合があり、撮像素子の温度特性について補正が行われることがある。

例えば、カメラのセット上で撮像素子の温度特性を補正するために、事前に実験で温度と特性との関係式を取得しておき、そして、製品上で温度情報をモニタして、検出された温度と関係式との相関から、当該温度に対応する補正係数を適用する補正手法がある。
このような補正手法において、カメラのセット上で撮像素子の温度を取得する温度取得手法として、主に３つの手法が知られている。これら３つの温度取得手法を、第１の温度取得手法〜第３の温度取得手法と呼んで説明する。

第１の温度取得手法では、基板上の撮像素子の近傍にチップ温度計を配置して、当該チップ温度計により温度を検出して取得する。
第２の温度取得手法では、撮像素子内に温度計回路を実装して、当該温度計回路により温度を検出して取得する。
第３の温度取得手法では、画素の遮光部における画素暗電流の出力を温度検知に使用することで、温度を取得する。ここで、画素暗電流は、画素部で発生する光量依存のない電流であり、温度に依存する特性を有する。なお、画素の遮光部は、黒レベルを取得するために、画素部をメタル等で遮光した領域であり、オプティカルブラック領域（ＯＰＢ領域）と呼ばれることもある。

第１の温度取得手法および第２の温度取得手法では、温度の絶対値を取得することが可能であるが、実際に補正するデータを有する画素部からチップ温度計が離れているため、検出された温度と補正対象との温度差が生じる傾向が高い。

第１の温度取得手法では、基板の熱抵抗により、検出される温度と撮像素子との温度差が生じやすい構成になるため、例えば、急激な温度変化などには追従することができない場合がある。また、第１の温度取得手法では、このように温度測定精度が低下するといった性能の低下以外に、部品点数が増加してコストが増加する場合がある。

第２の温度取得手法では、撮像素子と同じ半導体チップ内に温度計回路を実装する方法であることから、 第１の温度取得手法と比較して、検出される温度と撮像素子との温度差は発生しないが、画素部以外での温度データを取得するため、検出される温度と画素部との温度差が発生する場合がある。また、第２の温度取得手法では、このように温度測定精度が低下するといった性能の低下以外に、チップサイズが増加してコストが増加する場合がある。なお、このような性能の低下あるいはコストの増加の程度は、例えば、第２の温度取得手法の方が、第１の温度取得手法よりも小さい。

第３の温度取得手法では、画素で発生する暗電流に基づいて撮像素子の温度情報を取得することで、画素の温度情報を取得することが可能であるが、遮光部を使用するため、取得される温度情報が少なく、画素のバラつきに依存しやすい場合がある。
ここで、遮光部の領域は、開口画素領域と比べて、画素数が少ない。また、遮光部は、画素の四辺にあることが多く、面内依存を受けやすい場合が多い。
第３の温度取得手法では、このように温度測定精度が低下するといった性能の低下があり得る。

特開２０１２−３０００４号公報

上述のように、撮像装置では、撮像素子により撮像される画像の特性が温度に依存して変化する場合があった。ここで、画像の特性としては、画像の精度に関わる特性であり、例えば、画像の色、明るさ、あるいは、階調などのうちの１以上である。

本発明は、このような事情を考慮してなされたもので、画素の温度を精度良く検出することができる撮像装置を提供することを課題とする。

上記の課題を解決するために、本発明の一態様は、温度に依存する第１特性を持つ第１素子を含む画素回路部を複数有する撮像素子と、前記第１素子の前記第１特性に応じた前記画素回路部からの出力情報を検出する出力情報検出部と、前記出力情報検出部により検出された前記出力情報に基づいて、前記温度に関する状況を検出する温度状況検出部と、を備える撮像装置である。

本発明の一態様は、撮像装置において、前記温度に関する状況を検出するために用いられる前記画素回路部を選択する制御を行う画素選択制御部を備える、構成であってもよい。
本発明の一態様は、撮像装置において、前記画素選択制御部により行われる制御により選択される前記画素回路部における撮像機能をオフにする撮像機能制御部を備える、構成であってもよい。
本発明の一態様は、撮像装置において、複数のサブフレームを含む１フレームに含まれる１以上の前記サブフレームにおいて、前記温度に関する状況を検出するために用いられる前記出力情報の検出を行う、構成であってもよい。
本発明の一態様は、撮像装置において、前記撮像素子により撮像された画像について、前記温度状況検出部により検出された前記温度に関する状況に基づいて温度に関する補正を行う、構成であってもよい。

本発明によれば、撮像装置において、画素の温度を精度良く検出することができる。

本発明の一実施形態に係る撮像装置の概略的な構成を示す図である。 本発明の一実施形態に係る撮像回路部の構成を示す図である。 本発明の一実施形態に係る画素回路部の構成を示す図である。 本発明の一実施形態に係る撮像回路部の温度特性を説明するための図である。 本発明の一実施形態に係る撮像装置により行われる処理のタイミングの一例を示す図である。 本発明の一実施形態に係る撮像装置により行われる処理の手順の一例を示す図である。 背景技術に係る温度と距離情報との関係の一例を示す図である。 背景技術に係るセンサの検出温度と撮像素子の温度との関係の一例を示す図である。 背景技術に係るセンサの検出温度と補正後の距離情報との関係の一例を示す図である。 本発明の一実施形態に係る撮像装置が適用された自動車の概略的な構成を示す図である。 本発明の一実施形態に係る撮像装置が適用された自動車の前側部分を示す図である。

以下、図面を参照し、本発明の実施形態について説明する。

［撮像装置］
図１は、本発明の一実施形態に係る撮像装置１の概略的な構成を示す図である。
撮像装置１は、入力部２１と、出力部２２と、撮像素子２３と、撮像素子制御部２４と、画像処理部２５を備える。
撮像素子２３は、撮像回路部４１を備える。
撮像素子制御部２４は、出力情報検出部６１と、温度状況検出部６２と、対応情報記憶部６３と、画素選択制御部６４と、撮像機能制御部６５と、バイアス部制御部６６を備える。
画像処理部２５は、撮像画像取得部８１と、撮像画像補正部８２を備える。

ここで、図１に示される撮像装置１の構成は、機能に着目した構成例であり、実際の装置の構成は様々なものであってもよい。
また、本実施形態では、撮像装置１が撮像素子制御部２４および画像処理部２５を備える構成を示すが、他の構成例として、撮像装置１が撮像素子制御部２４あるいは画像処理部２５の一方または両方のうちの所定の機能部を備えない構成が用いられてもよい。

例えば、撮像装置１は、複数の筐体を有してもよい。
一例として、撮像装置１は、撮像素子２３と、外部から撮像素子２３への信号を入力する入力部２１と、撮像素子２３から外部への信号を出力する出力部２２を備える筐体を有する構成であってもよく、撮像素子制御部２４を備える筐体を有する構成であってもよく、画像処理部２５を備える筐体を有する構成であってもよい。
また、例えば、撮像装置１と、他の１個以上の装置と、を備える撮像システムが構成されてもよい。
また、例えば、撮像素子制御部２４と画像処理部２５とが一体化されてもよい。

図１に示される撮像装置１の概略を説明する。
入力部２１は、撮像装置１の外部から信号を入力する。入力部２１により入力される信号は、任意の信号であってもよく、例えば、撮像素子２３と撮像素子制御部２４と画像処理部２５のうちの１以上に入力される信号であってもよい。また、入力部２１により入力される信号は、例えば、制御のための信号であってもよい。
出力部２２は、撮像装置１の外部へ信号を出力する。出力部２２により出力される信号は、任意の信号であってもよく、例えば、撮像素子２３と撮像素子制御部２４と画像処理部２５のうちの１以上から出力される信号であってもよい。また、出力部２２により出力される信号は、例えば、制御のための信号であってもよい。

撮像素子２３は、画像を撮像する素子を有する。
撮像回路部４１は、複数の画素に対応した回路を備え、画像を撮像する。
なお、図１の例では、撮像素子２３が撮像回路部４１を含むイメージを示してあるが、例えば、撮像素子２３が撮像回路部４１以外の構成部を備えてもよく、あるいは、撮像素子２３が撮像回路部４１と同等であってもよい。

撮像素子制御部２４は、撮像素子２３に関する制御を行う。
出力情報検出部６１は、撮像回路部４１から出力される情報（出力情報）を検出する。なお、本実施形態では、当該出力情報として、電圧（電圧の情報）が用いられる場合を示すが、他の例として、電流（電流の情報）が用いられてもよい。例えば、当該電圧は出力部Ｄ１の電圧を検出することで取得され、また、当該電流は出力部Ｄ１から出力される電流を検出することで取得される。
温度状況検出部６２は、出力情報検出部６１により検出された出力情報に基づいて、温度の状況を検出する。
対応情報記憶部６３は、出力情報検出部６１により検出される出力情報と温度の状況とを対応付ける情報（説明の便宜上、「対応情報」ともいう。）を記憶する。

本実施形態では、温度状況検出部６２は、対応情報記憶部６３に記憶された対応情報を参照して、当該対応情報および出力情報検出部６１により検出された出力情報に基づいて、温度の状況を検出する。
ここで、温度状況検出部６２は、例えば、出力情報あるいは対応情報の一方または両方について、補間を行ってもよい。

画素選択制御部６４は、撮像回路部４１に含まれる複数の画素のうちの全部または一部を選択する制御を行う。
撮像機能制御部６５は、撮像回路部４１に含まれる撮像機能のオンとオフの制御を行う。ここで、撮像機能は、画像を撮像する機能である。本実施形態では、撮像機能がオンである状態は、画像を撮像する動作が可能である状態を表し、一方、撮像機能がオフである状態は、画像を撮像する動作が不可である状態を表す。
バイアス部制御部６６は、撮像回路部４１に含まれるバイアス部の制御を行う。

画像処理部２５は、撮像素子２３において撮像された画像の処理を行う。
撮像画像取得部８１は、撮像回路部４１により撮像された画像（撮像画像）を取得する。
撮像画像補正部８２は、撮像画像取得部８１により取得された撮像画像について補正を行う。本実施形態では、撮像画像補正部８２は、当該撮像画像について、温度に関する補正を行う。さらに、撮像画像補正部８２は、当該撮像画像について、温度以外の情報に関する補正を行ってもよい。

［撮像回路部］
図２は、本発明の一実施形態に係る撮像回路部４１の構成を示す図である。撮像回路部４１は、例えば、所定の基板に形成され、半導体チップとして構成されてもよい。
なお、回路（全体の回路、あるいは、全体のなかの一部を見たときの回路部分）においては、電圧あるいは電流が信号線などにより伝えられることで、当該電圧あるいは当該電流に応じた情報が伝えられる。そして、当該回路からの出力は、例えば、電圧あるいは電流として検出される。例えば、このような電圧あるいは電流を信号として捉えると、当該信号が信号線などにより伝送されることで、当該信号に応じた情報が伝送されて、当該信号（当該信号に応じた情報）が出力等されると捉えられる。
また、接地される部位は、例えば、０Ｖの接地部に接続されてもよく、あるいは、０Ｖ以外の所定の定電圧の接地部に接続されてもよい。

撮像回路部４１は、画素部１１１と、垂直信号線駆動部１１２と、カラム出力アナログバッファ部１１３と、センサ出力アナログバッファ部１１４と、画素選択部１３１と、水平転送部１３２と、バイアス部１３３を備える。
画素選択部１３１は、２以上の整数値であるｎ個の入力部Ａ１〜Ａｎを備える。ここで、ｎは、任意の数値であってもよい。
水平転送部１３２は、２以上の整数値であるｍ個の入力部Ｂ１〜Ｂｍを備える。ここで、ｍは、任意の数値であってもよい。
バイアス部１３３は、２個の入力部Ｃ１〜Ｃ２を備える。
センサ出力アナログバッファ部１１４は、１個の出力部Ｄ１を備える。

画素部１１１は、（ｎ×ｍ）個の画素回路部Ｚ（ｉｊ）をマトリックス状に備える。ここで、ｉは行（図２の例において、縦方向の並び）を表しており１〜ｎの整数値を表しており、ｊは列（図２の例において、横方向の並び）を表しており１〜ｍの整数値を表している。
例えば、画素回路部Ｚ（１１）は１行１列目の回路部を表しており、画素回路部Ｚ（ｎ１）はｎ行１列目の回路部を表しており、画素回路部Ｚ（１ｍ）は１行ｍ列目の回路部を表しており、画素回路部Ｚ（ｎｍ）はｎ行ｍ列目の回路部を表している。
それぞれの画素回路部Ｚ（ｉｊ）は、１個の画素に相当する回路部である。
なお、ｎ＝１の構成も可能であり、ｍ＝１の構成も可能であるが、本実施形態では、説明の便宜上、ｎおよびｍの両方が２以上である場合を示す。

垂直信号線駆動部１１２は、それぞれの列ごとに、ｎ個の画素回路部Ｚ（ｉｊ）からの出力が接続される信号線（説明の便宜上、「垂直信号線」ともいう。）の出力のオンとオフを切り替える。
１列目については、ｎ個の画素回路部Ｚ（１１）〜Ｚ（ｎ、１）の出力をまとめる垂直信号線に、トランジスタ２１１−１の一端と、スイッチ２１３−１の一端とが接続されている。トランジスタ２１１−１の他端は接地されている。カラム出力アナログバッファ部１１３に続く信号線があり、コンデンサ２１２−１の一端と当該信号線とが接続されている。コンデンサ２１２−１の他端は接地されている。スイッチ２３２−１の他端は、カラム出力アナログバッファ部１１３に続く信号線に対して、当該信号線と接続された状態と、当該信号線に接続されない状態（開放された状態）とで、切り替えられることが可能である。
２列目〜ｍ列目についても、１列目と同様な構成を有している。つまり、ｊ列目について、トランジスタ２１１−ｊ、コンデンサ２１２−ｊ、スイッチ２１３−ｊを備える。
なお、それぞれのトランジスタ２１１−ｊは、例えば、電界効果トランジスタ（ＦＥＴ：Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）であってもよい。

垂直信号線駆動部１１２では、ｊ列目について、スイッチ２１３−ｊとカラム出力アナログバッファ部１１３に続く信号線とが接続された状態において、水平信号線にかかる電圧および電流を当該信号線に伝える。
一方、垂直信号線駆動部１１２では、ｊ列目について、スイッチ２１３−ｊとカラム出力アナログバッファ部１１３に続く信号線とが接続されない状態においては、水平信号線にかかる電圧および電流を当該信号線に伝えない。

カラム出力アナログバッファ部１１３は、それぞれの列ごとに、垂直信号線駆動部１１２から伝えられる出力のオンとオフを切り替える。
１列目については、垂直信号線駆動部１１２からの信号線に、バッファ２３１−１が接続されており、当該バッファ２３１−１とスイッチ２３２−１の一端とが接続されている。センサ出力アナログバッファ部１１４に続く信号線があり、スイッチ２３２−１の他端は、当該信号線と接続された状態と、当該信号線に接続されない状態（開放された状態）とで、切り替えられることが可能である。
２列目〜ｍ列目についても、１列目と同様な構成を有している。つまり、ｊ列目について、バッファ２３１−ｊ、スイッチ２３２−ｊを備える。

カラム出力アナログバッファ部１１３では、ｊ列目について、スイッチ２３２−ｊとセンサ出力アナログバッファ部１１４に続く信号線とが接続された状態において、水平信号線にかかる電圧および電流を当該信号線に伝える。
一方、カラム出力アナログバッファ部１１３では、ｊ列目について、スイッチ２３２−ｊとセンサ出力アナログバッファ部１１４に続く信号線とが接続されない状態においては、水平信号線にかかる電圧および電流を当該信号線に伝えない。

センサ出力アナログバッファ部１１４は、カラム出力アナログバッファ部１１３からの出力を伝える信号線に、バッファ２５１を備える。
センサ出力アナログバッファ部１１４では、バッファ２５１を介して、カラム出力アナログバッファ部１１３からの出力を出力部Ｄ１から出力する。

画素選択部１３１は、それぞれの行ごとに、画素回路部Ｚ（ｉｊ）の制御を行う。
本実施形態では、画素選択部１３１は、それぞれの入力部Ａ１〜Ａｎにより外部から入力された信号に基づいて、それぞれの行ごとに、画素回路部Ｚ（ｉｊ）の制御を行う。それぞれの入力部Ａ１〜Ａｎは、それぞれの行に対応している。
具体的には、画素選択部１３１は、ｉ行目に対応した入力部Ａｉにより入力された信号に基づいて、ｉ行目にあるｍ個の画素回路部Ｚ（ｉ１）〜Ｚ（ｉｍ）の制御を行う。これにより、例えば、それぞれの行ごとに、画素回路部Ｚ（ｉｊ）からの出力を垂直信号線に伝えるか否かが制御され、すなわち、垂直信号線に出力を伝える画素回路部Ｚ（ｉｊ）が選択される。
なお、画素選択部１３１は、例えば、それぞれの入力部Ａ１〜Ａｎごとに、それぞれの入力部Ａ１〜Ａｎにより入力された信号を伝送する信号線にバッファ（図示せず）を備えてもよい。

水平転送部１３２は、それぞれの列ごとに、スイッチ２３２−１〜２３２−ｍの状態を切り替える。
本実施形態では、水平転送部１３２は、それぞれの入力部Ｂ１〜Ｂｍにより外部から入力された信号に基づいて、それぞれの列ごとに、スイッチ２３２−１〜２３２−ｍの状態を切り替える。それぞれの入力部Ｂ１〜Ｂｍは、それぞれの列に対応している。これにより、例えば、それぞれの列ごとに、カラム出力アナログバッファ部１１３からの出力をセンサ出力アナログバッファ部１１４に伝えるか否かが制御され、すなわち、センサ出力アナログバッファ部１１４に出力を伝える画素回路部Ｚ（ｉｊ）が選択される。

ここで、本実施形態では、画素選択部１３１による行ごとの画素選択と、水平転送部１３２による列ごとの画素選択と、の組み合わせにより、画素ごとに所望の画素を選択することができ、すなわち、センサ出力アナログバッファ部１１４に出力を伝える画素回路部Ｚ（ｉｊ）が選択される。

バイアス部１３３は、それぞれの列ごとに、垂直信号線駆動部１１２およびカラム出力アナログバッファ部１１３の制御を行う。
バイアス部１３３は、例えば、それぞれのトランジスタ２１１−１〜２１１−ｍのバイアスを制御する。本実施形態では、バイアス部１３３は、すべてのトランジスタ２１１−１〜２１１−ｍに同じバイアス電圧を印加するように制御する。

また、バイアス部１３３は、例えば、それぞれの列ごとに、スイッチ２１３−１〜２１３−ｍの状態を切り替える。これにより、例えば、それぞれの列ごとに、垂直信号線駆動部１１２からの出力をカラム出力アナログバッファ部１１３に伝えるか否かが制御され、すなわち、カラム出力アナログバッファ部１１３に出力を伝える画素回路部Ｚ（ｉｊ）が選択される。
ここで、本実施形態では、スイッチ２３２−１〜２３２−ｍによりそれぞれの列ごとに画素回路部Ｚ（ｉｊ）を選択することが可能であるため、例えば、垂直信号線駆動部１１２のスイッチ２１３−１〜２１３−ｍは備えられなくてもよく、垂直信号線からの出力が常にカラム出力アナログバッファ部１１３に伝えられる構成であってもよい。

入力部Ｃ１は、垂直信号線駆動部１１２を制御するための信号を外部からバイアス部１３３に入力する。バイアス部１３３は、入力部Ｃ１から入力された信号に基づいて、垂直信号線駆動部１１２の制御を行う。
入力部Ｃ２は、カラム出力アナログバッファ部１１３を制御するための信号を外部からバイアス部１３３に入力する。バイアス部１３３は、入力部Ｃ２から入力された信号に基づいて、カラム出力アナログバッファ部１１３の制御を行う。
なお、図２の例では、バイアス部１３３は、カラム出力アナログバッファ部１１３の制御を行わないが、任意の制御を行ってもよい。

センサ出力アナログバッファ部１１４では、画素選択部１３１による行ごとの画素選択と水平転送部１３２による列ごとの画素選択との組み合わせにより選択された画素回路部Ｚ（ｉｊ）からの出力が、バッファ２５１に加えられる。そして、当該バッファ２５１からの出力情報が、出力部Ｄ１により外部に出力される。

［画素回路部］
図３は、本発明の一実施形態に係る画素回路部Ｚ（１１）の構成を示す図である。
ここで、本実施形態では、すべての画素回路部Ｚ（ｉｊ）の構成および動作は同様であり、１個の画素回路部Ｚ（１１）を例として説明する。

画素回路部Ｚ（１１）は、４個のトランジスタ３１１〜３１４と、１個のフォトダイオード（ＰＤ：Ｐｈｏｔｏｄｉｏｄｅ）３３１と、拡散容量（ＦＤ：Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）の機能を有する１個のコンデンサ３３２と、垂直信号線３５１を備える。ここで、他の例として、垂直信号線３５１は、画素回路部Ｚ（１１）に含まれずに、画素回路部Ｚ（１１）とは別体であると捉えられてもよい。
なお、それぞれのトランジスタ３１１〜３１４は、例えば、電界効果トランジスタ（ＦＥＴ）であってもよい。また、本実施形態では、コンデンサ３３２は、フローティングディフュージョンの寄生容量を示しており、容量素子部品としては存在しない。他の例として、コンデンサ３３２として、容量素子部品が用いられてもよい。

フォトダイオード３３１の一端と、トランジスタ３１１のソースおよびドレインの一端とが接続されている。当該トランジスタ３１１の他端と、トランジスタ３１３のゲートとが接続されている。当該フォトダイオード３３１の他端が接地されている。
トランジスタ３１２のソースおよびドレインの一端と、トランジスタ３１１とトランジスタ３１３とを接続する信号線とが接続されている。
当該トランジスタ３１２の他端と、当該トランジスタ３１３のドレインが、それぞれ、定電圧Ｖｄｄが印加された信号線と接続されている。
コンデンサ３３２として、容量素子部品が用いられる場合、コンデンサ３３２の一端と、当該トランジスタ３１１と当該トランジスタ３１３とを接続する信号線とが接続され、また、当該コンデンサ３３２の他端が接地される。本実施形態では、寄生容量によって、これと等価な回路が構成されている。
当該トランジスタ３１３のソースと、トランジスタ３１４のソースおよびドレインの一端とが接続されている。当該トランジスタ３１４の他端と、垂直信号線３５１とが接続されている。
なお、垂直信号線３５１は、同一の列にあるｎ個の画素回路部Ｚ（ｉｊ）について共通となっている。

フォトダイオード３３１は、光検出器の機能を有しており、外部から入力された光のパワーに応じた大きさを持つ電荷を発生する。
本実施形態では、１個のフォトダイオード３３１は、１個の画素に対応している。そして、（ｎ×ｍ）個の画素に対応した（ｍ×ｎ）個のフォトダイオード３３１で発生した電荷により、（ｎ×ｍ）個の画素を有する１画像フレーム分の撮像画像が得られる。

画素選択部１３１は、トランジスタ３１１のゲートに所定の制御信号（例えば、制御電圧）を供給することで、当該トランジスタ３１１のソースとドレインとの間が導通された状態と導通されない状態（例えば、当該トランジスタ３１１のソースとドレインとの間に電荷が転送される状態と電荷が転送されない状態）とを切り替える。当該トランジスタ３１１のソースとドレインとの間が導通された状態では、フォトダイオード３３１で発生した電荷がトランジスタ３１１を介して転送され得る。フォトダイオード３３１で発生した電荷が転送されると、コンデンサ３３２にかかる電圧が当該電荷に応じた電圧となる。一方、当該トランジスタ３１１のソースとドレインとの間が導通されない状態では、フォトダイオード３３１で発生した電荷が転送されない。
このように、画素選択部１３１は、トランジスタ３１１を制御することで、フォトダイオード３３１で発生した電荷を、コンデンサ３３２にかかる電圧として読み出すか否かを制御する。
本実施形態では、画素選択部１３１からトランジスタ３１１のゲートに供給する制御信号は、同一の行にあるｍ個の画素回路部Ｚ（ｉｊ）について共通となっている。

画素選択部１３１は、トランジスタ３１２のゲートに所定の制御信号（例えば、制御電圧）を供給することで、当該トランジスタ３１２のソースとドレインとの間が導通された状態と導通されない状態（例えば、当該トランジスタ３１２のソースとドレインとの間に電流が流れる状態と電流が流れない状態）とを切り替える。当該トランジスタ３１２のソースとドレインとの間が導通された状態では、コンデンサ３３２にかかる電圧が定電圧Ｖｄｄとなり、このような固定的な電位によりリセットされる。リセットされた状態では、フォトダイオード３３１で発生した電荷は、定電圧Ｖｄｄの方に抜けて、トランジスタ３１３のゲートには影響を与えない。
一方、当該トランジスタ３１２のソースとドレインとの間が導通されない状態では、コンデンサ３３２にかかる電圧が維持される。
このように、画素選択部１３１は、トランジスタ３１２を制御することで、トランジスタ３１３のゲートに印加される電圧をリセットするか否かを制御する。
本実施形態では、画素選択部１３１からトランジスタ３１２のゲートに供給する制御信号は、同一の行にあるｍ個の画素回路部Ｚ（ｉｊ）について共通となっている。

トランジスタ３１３は、ソースフォロアアンプとして機能する。
本実施形態では、トランジスタ３１３において、ドレインに定電圧Ｖｄｄが印加されており、ゲートに印加された電圧に応じた電圧が、当該トランジスタ３１３のソースからトランジスタ３１４に加えられる。当該電圧は、フォトダイオード３３１で発生した電荷に応じた大きさを持つ。
トランジスタ３１３は、増幅用に用いられている。
ここで、本実施形態では、トランジスタ３１３のゲートに印加される電圧に応じて、当該トランジスタ３１３のソースとドレインとの間が導通された状態と導通されない状態（例えば、当該トランジスタ３１３のソースとドレインとの間に電流が流れる状態と電流が流れない状態）とが切り替えられる。

画素選択部１３１は、トランジスタ３１４のゲートに所定の制御信号（例えば、制御電圧）を供給することで、当該トランジスタ３１４のソースとドレインとの間が導通された状態と導通されない状態（例えば、当該トランジスタ３１４のソースとドレインとの間に電流が流れる状態と電流が流れない状態）とを切り替える。当該トランジスタ３１４のソースとドレインとの間が導通されない状態では、トランジスタ３１３にかかる電圧に応じた電圧が垂直信号線３５１に加えられる。一方、当該トランジスタ３１４のソースとドレインとの間に電流が導通されない状態では、トランジスタ３１３にかかる電圧に応じた電圧が垂直信号線３５１に加えられない。
このように、画素選択部１３１は、トランジスタ３１４を制御することで、画素回路部Ｚ（１１）からの出力を垂直信号線に加えるか否かを制御する。当該出力は、例えば、電圧あるいは電流である。
本実施形態では、画素選択部１３１からトランジスタ３１４のゲートに供給する制御信号は、同一の行にあるｍ個の画素回路部Ｚ（ｉｊ）について共通となっている。
なお、本実施形態では、トランジスタ３１１〜３１４のそれぞれについて、ソースとドレインとの間が導通された状態をオンの状態と呼び、ソースとドレインとの間が導通されない状態をオフの状態と呼ぶ。

［撮像素子制御部による撮像素子の制御］
出力情報検出部６１は、センサ出力アナログバッファ部１１４の出力部Ｄ１から出力される出力情報を検出する。
ここで、例えば、撮像機能がオンである状態にある画素回路部Ｚ（ｉｊ）から出力された出力情報は、当該画素回路部Ｚ（ｉｊ）により撮像された画素の情報を含み、主に、画像情報の取得に使用され得るが、温度の補正に使用されてもよい。一方、例えば、撮像機能がオフである状態にある画素回路部Ｚ（ｉｊ）から出力された出力情報は、当該画素回路部Ｚ（ｉｊ）により撮像された画素の情報を含まず、温度の補正に使用され得る。

温度状況検出部６２は、出力情報検出部６１により検出された出力情報、および対応情報記憶部６３により記憶された対応情報に基づいて、温度の状況を検出する。具体的には、対応情報は出力情報と温度の状況とを対応付けており、温度状況検出部６２は、当該対応情報において検出された出力情報に対応付けられた温度の状況を検出する。
ここで、温度状況検出部６２は、撮像機能がオフである状態にある画素回路部Ｚ（ｉｊ）から出力された出力情報に基づいて温度の状況を検出することが好ましい一例であるが、他の例として、撮像機能がオンである状態にある画素回路部Ｚ（ｉｊ）から出力された出力情報に基づいて温度の状況を検出してもよい。

画素選択制御部６４は、画素回路部Ｚ（ｉｊ）のトランジスタ３１４を制御するための制御信号を画素選択部１３１のそれぞれの入力部Ａ１〜Ａｎに入力することで、垂直信号線に電圧を伝える画素回路部Ｚ（ｉｊ）を選択し、かつ、カラム出力アナログバッファ部１１３のスイッチ２３２−１〜２３２−ｍを制御するための制御信号を水平転送部１３２のそれぞれの入力部Ｂ１〜Ｂｍに入力することで、センサ出力アナログバッファ部１１４に電圧を伝える画素回路部Ｚ（ｉｊ）を選択する。これらにより、（ｎ×ｍ）個の画素回路部Ｚ（ｉｊ）について、行ごとの選択、および、列ごとの選択が行われ、結果として、画素ごとの選択が行われる。
それぞれの列の垂直信号線には、当該それぞれの列にあるｎ個の画素回路部Ｚ（ｉｊ）のうちで選択された画素回路部Ｚ（ｉｊ）からの出力が加えられる。
なお、画素選択制御部６４は、いずれの画素回路部Ｚ（ｉｊ）も選択しないときがあってもよい。
また、本実施形態では、画素選択制御部６４は、画素回路部Ｚ（ｉｊ）のトランジスタ３１２を制御するための制御信号についても、画素選択部１３１のそれぞれの入力部Ａ１〜Ａｎに入力する。

また、画素選択制御部６４は、画素回路部Ｚ（ｉｊ）のトランジスタ３１２を制御するための制御信号を画素選択部１３１のそれぞれの入力部Ａ１〜Ａｎに入力することで、温度に関する情報を検出する対象とする画素回路部Ｚ（ｉｊ）について、温度に関する情報を検出している間は、リセットされた状態、つまり、トランジスタ３１２がオン（ソースとドレインとの間が導通された状態）となって、トランジスタ３１３のゲートに定電圧Ｖｄｄに応じた電圧が印加された状態を維持する。本実施形態では、この場合、トランジスタ３１３のソースとドレインとの間が導通された状態（オンの状態）になるとする。

ここで、温度測定が行われずに撮像が行われるモード（説明の便宜上、「撮像モード」という。）と、温度測定が行われるモード（説明の便宜上、「温度測定モード」という。）とを切り替えることが可能な構成が用いられてもよい。この構成では、撮像モードにおいてトランジスタ３１２はオフ（ソースとドレインとの間が導通されない状態）に制御され、温度測定モードにおいてトランジスタ３１２はオンに制御される。この構成では、撮像モードにおいて画素回路部Ｚ（ｉｊ）を用いて画像の撮像が行われ、温度測定モードにおいて画素回路部Ｚ（ｉｊ）を用いて温度に関する情報の測定（本実施形態では、出力情報に基づく温度の状況の検出）が行われる。

撮像機能制御部６５は、画素回路部Ｚ（ｉｊ）のトランジスタ３１１を制御するための制御信号を画素選択部１３１のそれぞれの入力部Ａ１〜Ａｎに入力することで、それぞれの行ごとに、画素回路部Ｚ（ｉｊ）の撮像機能がオンである状態と当該撮像機能がオフである状態とを切り替える。

ここで、撮像機能がオフである状態では、画素回路部Ｚ（ｉｊ）において、フォトダイオード３３１の温度依存成分およびコンデンサ３３２の温度依存成分の影響がトランジスタ３１３のソース電圧に発生しない状態となり、これにより、当該ソース電圧の温度依存成分の特性が強調され、感度の高い温度の情報を取得することが可能となる。つまり、画素ごとの撮像情報を取得するフォトダイオード３３１の影響を切り離した状態で、温度特性を持つソースフォロアアンプ（トランジスタ３１３）の当該温度特性を強調することができ、これにより、温度に関する情報を精度良く取得することができる。

一方、撮像機能がオンである状態では、画素回路部Ｚ（ｉｊ）において、フォトダイオード３３１の温度依存成分およびコンデンサ３３２の温度依存成分の影響がトランジスタ３１３のソース電圧に発生する状態となる。このように、撮像機能がオンである状態では、当該ソース電圧の温度依存成分以外に、フォトダイオード３３１の温度依存成分およびコンデンサ３３２の温度依存成分の影響が発生するが、実用上で有効であれば、当該ソース電圧に応じた出力情報に基づいて、温度の状況の検出が行われてもよい。

一例として、撮像モードでは、撮像機能がオンに制御されて、通常の撮像の動作が行われて、撮像画像が取得される。
一例として、温度測定モードでは、撮像機能がオフに制御される点およびトランジスタ３１２がオンに制御される点以外は、通常の撮像と同様な動作が行われることで、温度に関する情報が測定される。
他の例として、撮像機能がオンに制御される温度測定モードでは、トランジスタ３１２がオンに制御される点以外は、通常の撮像と同様な動作が行われることで、温度に関する情報が測定される。
なお、トランジスタ３１１がオフに制御された状態では、トランジスタ３１３のソース電圧が安定化する。一方、トランジスタ３１１がスイッチ駆動される状態では、消費電流が大きくなる。

バイアス部制御部６６は、バイアス部１３３のそれぞれの入力部Ｃ１、Ｃ２に入力される制御信号を制御することで、垂直信号線駆動部１１２およびカラム出力アナログバッファ部１１３を制御する。

撮像画像取得部８１は、出力情報検出部６１により検出された出力情報に基づいて、撮像回路部４１により撮像された画像（撮像画像）を取得する。
ここで、撮像画像取得部８１は、撮像機能がオンである状態にある画素回路部Ｚ（ｉｊ）からの出力情報に基づいて撮像画像を取得する。

［画素回路部の温度特性］
図４は、本発明の一実施形態に係る撮像回路部４１の温度特性を説明するための図である。
図４には、図３に示される画素回路部Ｚ（１１）を有する図２に示される撮像回路部４１の一部の概略的な構成を示してあり、説明を簡易化するために、当該一部以外は図示を省略してある。
また、図４には、バイアス部１３３に含まれるトランジスタ４１１と、接続部４３１を示してある。当該接続部４３１は、例えば、２個の入力部Ｃ１、Ｃ２のうちの一方である。なお、トランジスタ４１１は、例えば、電界効果トランジスタ（ＦＥＴ）であってもよい。
また、図４には、撮像回路部４１の外部の回路として、電源４５１と、抵抗４５２を示してある。

ここで、電源４５１の電圧をＶｉｎと表し、抵抗４５２の抵抗値をＲと表し、外部から接続部４３１に入力される電流をＩｉｎと表し、トランジスタ４１１のゲート電圧をＶｂと表す。なお、図４の例では、トランジスタ４１１のゲートとドレインとが接続されており、ゲート電圧とドレイン電圧とが同じ電圧になっている。
また、トランジスタ４１１（トランジスタＭ１と示してある。）について、ゲート幅をＷ１と表し、ゲート長をＬ１と表し、閾値電圧をＶｔｈ１と表し、電子移動度をｕ１と表し、ゲート酸化膜容量をＣｏｘ１と表す。
また、トランジスタ２１１−１（トランジスタＭ２と示してある。）について、ゲート幅をＷ２と表し、ゲート長をＬ２と表し、閾値電圧をＶｔｈ２と表し、電子移動度をｕ２と表し、ゲート酸化膜容量をＣｏｘ２と表す。

また、画素回路部Ｚ（１１）のトランジスタ３１３（トランジスタＭｓｆと示してある。）について、ゲート幅をＷｓｆと表し、ゲート長をＬｓｆと表し、閾値電圧をＶｔｈｓｆと表し、電子移動度をｕｓｆと表し、ゲート酸化膜容量をＣｏｘｓｆと表す。
また、画素回路部Ｚ（１１）のトランジスタ３１３について、ソースとドレインとの間を流れる電流をＩｓｆと表し、ソースの電圧をＶｓｆと表し、ゲートの電圧をＶｇｓｆと表す。

ここで、トランジスタ３１３のソースの電圧Ｖｓｆは、ソースフォロアアンプとして使用されるトランジスタ３１３の出力電圧となる。
本例では、電源４５１の電圧Ｖｉｎおよび抵抗４５２の抵抗値は、固定的に設定されていることを想定している。

トランジスタ４１１に関し、式（１）が成り立つ。
トランジスタ２１１−１に関し、式（２）が成り立つ。なお、ここでは、ｕ１＝ｕ２、Ｃｏｘ１＝Ｃｏｘ２、Ｖｔｈ１＝Ｖｔｈ２を想定している。
トランジスタ３１３に関し、式（３）が成り立つ。
なお、式（１）〜式（３）において、「・」は乗算を表し、また、ｓｑｒｔは平方根のルートを表す。

［数１］
Ｉｉｎ＝（Ｖｉｎ−Ｖｂ）／Ｒ
＝（１／２）・ｕ１・Ｃｏｘ１・（Ｗ１／Ｌ１）・（Ｖｂ−Ｖｔｈ１）^２
・・（1）

［数２］
Ｉｓｆ＝（１／２）・ｕ２・Ｃｏｘ２・（Ｗ２／Ｌ２）・（Ｖｂ−Ｖｔｈ２）^２
＝Ｉｉｎ・（Ｗ２／Ｌ２）／（Ｗ１／Ｌ１）
・・（２）

［数３］
Ｖｓｆ＝Ｖｇｓｆ−Ｖｔｈｓｆ
−ｓｑｒｔ［（２・Ｉｓｆ）／｛ｕｓｆ・Ｃｏｘｓｆ・（Ｗｓｆ／Ｌｓｆ）｝］
・・（３）

ここで、本実施形態では、温度に依存して変化し得るパラメータは、Ｉｉｎ、Ｉｓｆ、Ｖｓｆ、Ｖｂ、ｕ１、ｕ２、ｕｓｆ、Ｖｔｈ１、ＶｔＨ２、Ｖｔｈｓｆである。このうち、例えば、Ｖｔｈｓｆの温度依存性が大きい場合がある。
一般に、ソースフォロアアンプの出力は、温度に対して、線形に近い依存性を持つことが知られている。
このため、例えば、ソースフォロアアンプとして使用されるトランジスタ３１３について、ソースとドレインとの間を流れる電流Ｉｓｆ、あるいは、ソースの電圧Ｖｓｆに基づいて、温度の状況を検出することが可能である。本実施形態では、センサ出力アナログバッファ部１１４の出力部Ｄ１からの出力は電流Ｉｓｆあるいは電圧Ｖｓｆを反映し得るため、当該出力に基づいて温度の状況を検出することが可能である。当該出力は、例えば、電流あるいは電圧として検出されてもよい。
ソースフォロアアンプとして使用されるトランジスタ３１３では、ドレインに定電圧Ｖｄｄが印加された状態において、温度に依存する特性が反映された出力がソースから伝えられる。

ここで、本実施形態では、トランジスタ３１３における電流Ｉｓｆあるいは電圧Ｖｓｆの情報だけでは、温度の絶対値を導出することができない場合を示す。本実施形態では、トランジスタ３１３における電流Ｉｓｆあるいは電圧Ｖｓｆの情報は、電流Ｉｓｆあるいは電圧Ｖｓｆと温度との関係の傾きを再現するが、絶対値を再現しない。このため、本実施形態では、例えば、電流Ｉｓｆあるいは電圧Ｖｓｆと温度との関係について１個以上の基準点があらかじめ設定されることで、電流Ｉｓｆあるいは電圧Ｖｓｆの情報と当該基準点の情報に基づいて温度の絶対値が特定され得る。

一例として、対応情報記憶部６３は、対応情報以外に、あらかじめ基準点の情報を記憶していてもよく、また、温度状況検出部６２は、出力情報検出部６１による検出結果、対応情報、および基準点の情報に基づいて、温度の状況として、温度の絶対値を検出してもよい。
他の例として、基準点の情報が用いられずに、温度状況検出部６２は、出力情報検出部６１による検出結果、および対応情報に基づいて、温度の状況として、温度の相対値を検出してもよい。
なお、本例では、基準点の情報を、対応情報以外の情報として捉えたが、他の例として、基準点の情報が対応情報に含まれていると捉えられてもよく、例えば、基準点の情報が一体化された対応情報が用いられてもよい。

ここで、基準点の数としては、例えば、１個であってもよく、あるいは、２個以上であってもよい。
一例として、２個以上の異なる電流Ｉｓｆあるいは電圧Ｖｓｆにおける補正係数を２個以上の基準点の情報として測定して、これら２個以上の基準点の情報に基づいて、電流Ｉｓｆあるいは電圧Ｖｓｆに対する補正係数の関数を求めることが、あらかじめ行われてもよい。この場合、例えば、対応情報に当該関数の情報が含められ、出力情報検出部により検出された出力情報に基づく値（例えば、電流Ｉｓｆあるいは電圧Ｖｓｆに応じた値）を当該関数に代入することで補正係数を求めることが可能である。

なお、本実施形態では、トランジスタ３１３のソースから出力部Ｄ１までの回路における温度依存性は、例えば、トランジスタ３１３における温度依存性と比べて、小さいとみなすことができる。
また、本実施形態では、トランジスタ３１３のソースから出力部Ｄ１までの回路は、例えば、画素回路部Ｚ（ｉｊ）からの出力を所定数倍する機能を有している。当該所定数倍は、例えば、１倍であってもよい。

［温度の状況の検出に使用される画素の選択］
本実施形態では、画素選択制御部６４は、（ｎ×ｍ）個の画素回路部Ｚ（ｉｊ）のうちから、温度の状況の検出に使用される画素回路部Ｚ（ｉｊ）を選択することが可能である。
一例として、画素選択制御部６４は、すべての画素回路部Ｚ（ｉｊ）を温度の状況の検出に使用するように選択することが可能である。この場合、例えば、撮像素子２３の画素部１１１の開口領域のすべての画素について温度に関する情報を取得することが可能であり、すなわち、画素の数と同数の温度に関する情報を取得することが可能である。

このようにすべての画素について温度に関する情報が取得される場合、例えば、すべての画素について撮像画像に関する情報（いわゆる画素情報）が取得される場合と同様に、各行ごとに１個ずつの各列ごとの画素について順番に温度に関する情報を取得する処理を複数の行について順番に行う走査処理が行われてもよい。１枚の画像フレームに含まれるすべての画素について走査（つまり、１周期の走査）が行われるごとに、１枚の画像フレームに含まれる温度に関する情報が取得される。

他の例として、画素選択制御部６４は、（ｎ×ｍ）個未満である一部の画素回路部Ｚ（ｉｊ）を温度の状況の検出に使用するように選択することが可能である。当該一部の画素回路部Ｚ（ｉｊ）の数は、例えば、１個であってもよく、あるいは、２個以上で（ｎ×ｍ）個未満の値であってもよい。
具体例として、画素選択制御部６４は、１画素ごとに画素回路部Ｚ（ｉｊ）を選択してもよく、１行ごとに画素回路部Ｚ（ｉｊ）を選択してもよく、１列ごとに画素回路部Ｚ（ｉｊ）を選択してもよく、あるいは、所定の箇所の２個以上の画素回路部Ｚ（ｉｊ）を選択してもよい。
ここで、所定の箇所の２個以上の画素回路部Ｚ（ｉｊ）における当該所定の箇所としては、任意の箇所であってもよく、例えば、（ｎ×ｍ）のマトリックスのうち、上半分、下半分、左半分、右半分、あるいは、外側の４つの辺、４つの角に対応した4隅、などであってもよい。なお、ここでいう半分としては、厳密に半分にできない場合には、およそ半分であってもよい。
また、２個以上の画素回路部Ｚ（ｉｊ）が選択される場合には、例えば、これら２個以上の画素回路部Ｚ（ｉｊ）について取得される温度に関する情報について、平均化が行われて、平均化の結果に基づいて温度の状況が検出されてもよく、この場合、平均化によって温度に関する情報のバラツキを低減することが可能である。

［処理のタイミング］
図５は、本発明の一実施形態に係る撮像装置１により行われる処理のタイミングの一例を示す図である。
本例では、撮像画像に基づいて、撮像装置１と物体（図示せず）との距離を検出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）の処理が行われる場合を示す。
図５において、横軸は時刻を表している。
図５の例では、撮像素子制御部２４および画像処理部２５は、所定のフレームＦ１、Ｆ２のタイミングにしたがって、処理を行う。
なお、図５の例では、連続した２個のフレームＦ１、Ｆ２を示してあるが、その前後においても、同様なフレーム（図示せず）が続いている。

それぞれのフレームＦ１、Ｆ２の構成は同様であるため、１個のフレームＦ１を例として説明する。
１個のフレームＦ１は、６個のサブフレームＧ０〜Ｇ５を含んでいる。６個のサブフレームＧ０〜Ｇ５は、１個のフレームＦ１の時間幅を６個に等分割した時間幅を有する。
本例では、説明の便宜上、６個のサブフレームＧ０〜Ｇ５を、０番目のサブフレームＧ０〜５番目のサブフレームＧ５と呼んで説明する。

０番目のサブフレームＧ０〜３番目のサブフレームＧ３のそれぞれでは、撮像素子２３の撮像機能をオンにして、撮像画像取得部８１により距離情報画像を取得する。当該距離情報画像は、撮像画像の一例であり、撮像装置１と物体との距離の情報を含む画像である。それぞれの距離情報画像は、（ｎ×ｍ）個の画素を有する画像フレームの画像である。
４番目のサブフレームＧ４の時間帯では、撮像画像補正部８２により、０番目のサブフレームＧ０〜３番目のサブフレームＧ３において取得された４個の画像フレームの画像を平均化する処理と、平均化された画像について温度に関する補正（説明の便宜上、「温度補正」ともいう。）以外の所定の補正を行う処理を実行する。本例では、説明の便宜上、当該補正が行われた画像を補正情報画像と呼ぶ。

ここで、本例では、複数枚の画像フレームの画像を平均化することで、画像の精度を高めているが、他の例として、１枚の画像フレームの画像が用いられてもよい。また、複数枚の画像フレームの画像が平均化される場合、平均化される画像フレームの数は２以上の任意の値であってもよい。
また、温度補正以外の所定の補正としては、任意の補正が用いられてもよく、例えば、ＴＯＦのセンサのオフセット成分の補正が用いられてもよい。画像のオフセット成分の補正としては、例えば、様々な補正が行われてもよく、公知の補正が行われてもよい。
また、温度補正以外の所定の補正は、行われなくてもよい。

５番目のサブフレームＧ５の時間帯では、撮像素子２３の撮像機能をオフにして、出力情報検出部６１により撮像回路部４１からの出力情報を検出する。また、出力情報検出部６１により検出された出力情報に基づいて、温度状況検出部６２により、温度の状況を検出する。そして、撮像画像補正部８２により、温度状況検出部６２により検出された温度の状況に基づいて、補正情報画像について、温度補正を行う。当該温度補正により、画像の精度が高められる。
これにより、それぞれのフレームＦ１、Ｆ２ごとに、温度補正などの補正が行われた１個の画像フレームの画像が得られる。

本例では、それぞれのサブフレームＧ０〜Ｇ５における画像フレームの画像としては、（ｎ×ｍ）のすべての画素の情報を含む画像が用いられている。
例えば、サブフレームＧ５では、撮像回路部４１が有するすべての画素について、画像を撮像せずに、温度に関する情報を検出する動作が駆動されている。これにより、サブフレームＧ５では、撮像画像の代わりに、すべての画素のそれぞれに対応した温度に関する情報を有する画像（温度情報画像）が取得される。つまり、温度情報画像では、それぞれの画素に対応した情報が、温度に関する情報となっている。
なお、他の例として、それぞれのサブフレームＧ０〜Ｇ５における画像フレームの画像として、（ｎ×ｍ）の画素のうちの一部の情報が間引きあるいは平均などされた画像が用いられてもよい。

本例では、複数のフレームＦ１、Ｆ２のそれぞれごとに、つまり、毎フレームごとに、温度補正が行われた画像フレームの画像が得られるため、例えば、急な温度変化などが発生するような場合においても、そのような変化に追従して補正された画像を取得することが可能である。
なお、複数の画素について、行の数ｎおよび列の数ｍとしては、それぞれ任意の値が用いられてもよく、一例として、ｎ＝１２８、ｍ＝１２８が用いられてもよい。

ここで、撮像素子制御部２４では、例えば、（ｎ×ｍ）個の画素について温度に関する情報が得られる場合に、出力情報検出部６１あるいは温度状況検出部６２により、一部の画素について温度に関する情報を間引いて温度補正に使用しない制御を行ってもよく、逆に言えば、一部の特定の画素について得られた温度に関する情報を温度補正に使用する制御を行ってもよい。

一例として、撮像素子制御部２４では、（ｎ×ｍ）個の画素のうちの一部について温度に関する情報を取得して温度に関する補正係数を演算し、また、画像処理部２５では、（ｎ×ｍ）個の画素のうちの他の一部について画像の情報（画素情報）を取得することで、総じて、通常の撮像時の読み出し処理と同様な処理によって、画像の情報の読み出しと温度に関する情報の読み出しとの両方を行うことが可能である。ここで、当該一部と当該他の一部とは、例えば、両者を合わせて（ｎ×ｍ）個の画素のすべてを網羅してもよく、あるいは、両者を合わせて（ｎ×ｍ）個の画素よりも少なくてもよい。

また、撮像装置１では、画像処理部２５における画像の取得処理と、撮像素子制御部２４における温度の状況の検出処理および画像処理部２５における画像の補正処理と、が同時並行に行われてもよい。
一例として、出力部Ｄ１から出力される出力情報が、同時並行に、撮像素子制御部２４および画像処理部２５のそれぞれにより取得されてもよい。
他の例として、撮像装置１は、出力部Ｄ１から出力される出力情報の出力先を撮像素子制御部２４と画像処理部２５とで切り替えるスイッチ（図示せず）と、当該スイッチの切り替えを制御する機能部と、を備えてもよく、所定のタイミングで出力部Ｄ１から出力される出力情報の出力先を撮像素子制御部２４と画像処理部２５とで切り替えるように制御することで、当該出力情報を撮像素子制御部２４と画像処理部２５とに適切に振り分けることが行われてもよい。当該スイッチは、例えば、出力部Ｄ１からの出力情報を伝送する経路を２つの経路（説明の便宜上、「分岐経路」という。）に分岐して、それぞれの分岐経路を撮像素子制御部２４と画像処理部２５とのそれぞれの入力端に接続する構成を有してもよい。

また、撮像装置１では、撮像素子制御部２４における温度の状況の検出処理と、画像処理部２５における画像の補正処理と、が異なる時間帯に行われてもよい。
一例として、所定の長さの期間を前後する２個の時間帯に分割して、前の方の時間帯で温度の状況の検出処理が行われ、後の方の時間帯で温度の状況の検出結果に基づいて画像について温度補正を行う処理が行われてもよい。
具体例として、撮像装置１が低フレームレートの処理に適用される場合には、高速の撮像処理を行い、余った時間（撮像処理が行われない時間）に出力情報を取得する処理（温度に関する情報を取得する処理）を行う、構成が用いられてもよい。

また、温度補正が行われる対象の画像が取得されるタイミングと、当該温度補正で使用される温度係数を求めるために使用される温度に関する情報が取得されるタイミングとしては、例えば、いずれが先であってもよく、あるいは、同時（または、ほぼ同時）であってもよい。通常は、両者のタイミングが近い方が、温度補正の精度が高いと考えられるが、両者のタイミングは任意に設定されてもよい。

［処理の手順の一例］
図６は、本発明の一実施形態に係る撮像装置１により行われる処理の手順の一例を示す図である。
なお、図６の例は、図５の例とは、必ずしもタイミングが同じではない。

（ステップＳ１）
出力情報検出部６１により、撮像回路部４１からの出力情報を検出する。そして、ステップＳ２の処理へ移行する。
このとき、例えば、画素選択制御部６４により、出力情報を検出する対象とする画素回路部Ｚ（ｉｊ）が選択されている。また、このとき、例えば、出力情報を検出する対象とする画素回路部Ｚ（ｉｊ）について、撮像機能制御部６５により、撮像機能がオフに制御されていてもよい。

（ステップＳ２）
温度状況検出部６２により、出力情報検出部６１により検出された出力情報および対応情報記憶部６３に記憶された対応情報に基づいて、撮像回路部４１における温度の状況を検出する。そして、ステップＳ３の処理へ移行する。

（ステップＳ３）
撮像画像取得部８１により、撮像回路部４１により撮像された画像（撮像画像）を取得する。そして、ステップＳ４の処理へ移行する。
ここで、他の例として、撮像画像を取得する処理は、ステップＳ１の処理よりも前に行われてもよく、あるいは、ステップＳ１の処理とステップＳ２の処理との間で行われてもよい。
また、例えば、撮像機能がオンである状態で、出力情報検出部６１により温度補正のための出力情報を検出する処理と、撮像画像取得部８１により撮像画像を取得する処理と、の両方が並行に行われてもよい。

（ステップＳ４）
撮像画像補正部８２により、撮像画像取得部８１により取得された撮像画像について補正を行う。そして、本フローの処理を終了する。
ここで、撮像画像についての補正は、例えば、温度補正を含んでおり、温度補正以外の補正を含んでもよい。
また、温度補正と他の補正との両方が行われる場合、例えば、温度補正と他の補正との処理の順序としては、任意の順序が用いられてもよい。

なお、図６に示される処理の手順は一例であり、他の様々な処理の手順が用いられてもよく、例えば、図５の例に示されるような処理の手順が用いられてもよい。

［背景技術に係る課題および本実施形態に係る効果の具体例］
図７〜図９を参照して、背景技術に係る課題の具体例を示す。本実施形態では、このような課題を解決することができるという効果が得られる。
ここでは、ＴＯＦの処理により撮像画像から距離の情報（距離情報）が取得される場合を例として説明する。

図７は、背景技術に係る温度と距離情報との関係の一例を示す図である。
図７に示されるグラフにおいて、横軸は温度を表しており、縦軸は距離情報を表している。図７の例では、温度としては、背景技術に係る温度のセンサにより検出される撮像素子の温度（説明の便宜上、「検出温度」ともいう。）Ｔｓと、当該撮像素子の実際の温度Ｔｐとが等しいと想定している。
本例では、背景技術に係る温度取得手法として、基板上の撮像素子の近傍に配置されたチップ温度計により温度を検出して取得する第１の温度取得手法が用いられている。この場合、当該チップ温度計が、温度のセンサとして用いられている。

図７に示されるグラフでは、撮像装置と物体との距離が一定である場合について、撮像画像から取得された距離情報の特性１０１１と、一定の距離を示す特性１０１２を示してある。ここで、特性１０１２は実際の距離を表しており、特性１０１１は測定された距離を表している。
特性１０１１は、温度に依存しており、特性１０１２に対して誤差を有している。例えば、温度がＴ１（Ｔ１は温度を表す値）である場合、特性１０１１に対して差分１０３１を加算する補正を行うと、特性１０２１となる。また、例えば、温度がＴ２（Ｔ２は温度を表す値）である場合、特性１０１１に対して差分１０３２を減算する補正を行うと、特性１０２１となる。

図７の例では、Ｔｐ＝Ｔｓである定常状態において、温度補正の補正係数を求めることが行われている。このとき、実際の温度Ｔｐに対して、一意に補正前の距離情報は決まり、各温度について、補正係数を設定することができる。そして、設定された補正係数を適用することで、温度に依存しない距離情報の特性１０１２を生成することができる。

しかしながら、Ｔｐ＝Ｔｓである定常状態が確保されないときには、一意の補正係数が決まらない場合がある。実際の動作では、Ｔｐ＝Ｔｓである定常状態が常に確保されることはなく、例えば、急激な温度の変化、あるいは、局所的な温度の変化などが発生し、Ｔｐ＝Ｔｓが成り立たないことが生じ得る。

図８は、背景技術に係るセンサの検出温度と撮像素子の温度との関係の一例を示す図である。
図８に示されるグラフにおいて、横軸はセンサの検出温度Ｔｓを表しており、縦軸は実際の撮像素子の温度Ｔｐを表している。そして、緩やかな温度変化が発生する場合、つまり、Ｔｐ＝Ｔｓである定常状態が確保されると想定される場合における特性１１１１を示してある。また、急激な温度変化などが発生する場合、つまり、Ｔｐ＝Ｔｓである定常状態が確保されないと想定される場合における特性１１３１を示してある。
図８の例では、検出温度Ｔｓを用いて温度係数を生成した場合には、検出温度Ｔｓと実際の温度Ｔｐとの誤差があることから、温度係数の精度が劣化することがあった。

図９は、背景技術に係るセンサの検出温度と補正後の距離情報との関係の一例を示す図である。
図９に示されるグラフにおいて、横軸はセンサの検出温度Ｔｓを表しており、縦軸は補正後の距離情報を表している。図９に示される補正後の距離情報は、図８の例における補正係数を用いて補正された距離情報である。特性１２１１は、図８の例における特性１１１１に対応しており、また、特性１２３１は、図８の例における特性１１３１に対応している。

このため、緩やかな温度変化が発生する場合、つまり、Ｔｐ＝Ｔｓである定常状態が確保されると想定される場合における特性１２１１は、正確な距離を表す。
一方、急激な温度変化などが発生する場合、つまり、Ｔｐ＝Ｔｓである定常状態が確保されないと想定される場合における特性１２３１では、誤差を有する。このような補正係数の誤差が発生する要因の一つとして、温度のセンサと撮像素子との間の熱抵抗によって生じる温度差の影響が予想される。つまり、センサが配置された基板の温度が緩やかに変化する状態では撮像素子の温度Ｔｐと当該センサによる検出温度Ｔｓとはほぼ一致しているが、急激な温度変化が生じると、撮像素子の温度Ｔｐに対して検出温度Ｔｓに遅延が発生し、これにより、同一の検出温度Ｔｓであっても、補正前の距離情報が一意に決まらないことが発生すると予想される。

ここで、ＴＯＦの処理を行う撮像装置では、例えば、当該撮像装置の出荷前に、当該撮像装置の筐体の温度情報（温度Ｔｓ）と各温度における補正前の距離情報を測定し、温度補正の補正係数を生成する工程がある。
しかしながら、Ｔｐ＝Ｔｓである定常状態が確保されない場合もあり、このような場合には、補正係数に誤差が発生し、誤差を有する補正係数を用いて補正された距離情報にも誤差が発生してしまう。つまり、温度の検出精度が良好ではなく、距離情報の補正精度も良好ではなかった。

このような背景技術における課題に対して、本実施形態に係る撮像装置１では、撮像素子２３に関して温度の状況の検出精度が良好であり、温度補正の精度が良好であり、温度の状況の検出結果に基づいて距離情報の補正を行う場合には距離情報の補正精度が良好である。
なお、本実施形態に係る撮像装置１を実施して実験したところ、温度の状況の検出精度が良好であり、温度補正の精度が良好であり、距離情報の補正精度が良好であることが確認された。

［撮像装置を備えた車両］
本実施形態に係る撮像装置１は、一例として、車両（乗り物）に備えられてもよい。車両としては、例えば、自動車があり、また、自動車以外の車両として、自動二輪車、自転車、超小型モビリティ、パーソナルモビリティなどがあり、また、これらに限られない。
また、撮像装置１は、車両以外のものに適用されてもよい。

図１０は、本発明の一実施形態に係る撮像装置１が適用された自動車６０１の概略的な構成を示す図である。
自動車６０１は、左側の前照灯（左側前照灯部６１０Ｌ）と、右側の前照灯（右側前照灯部６１０Ｒ）と、左側の尾灯（左側尾灯部６１１Ｌ）と、右側の尾灯（右側尾灯部６１１Ｒ）と、左側のサイドミラー（左側サイドミラー６１３Ｌ）と、右側のサイドミラー（右側サイドミラー６１３Ｒ）と、フロントウインドウ６１５と、リアウインドウ６１６を備える。
また、自動車６０１は、前方の車外検出部（前方車外検出部６２１）と、制御装置６３０を備える。

左側前照灯部６１０Ｌは、自動車６０１の前方の左側に配置されている。
右側前照灯部６１０Ｒは、自動車６０１の前方の右側に配置されている。
左側尾灯部６１１Ｌは、自動車６０１の後方の左側に配置されている。
右側尾灯部６１１Ｒは、自動車６０１の後方の右側に配置されている。

ここで、本実施形態では、自動車６０１の構成部のうちの一部を示してあるが、例えば、それに加えて、一般の自動車が通常備える他の構成部など、任意の構成部を備えてもよい。
また、前方車外検出部６２１と、制御装置６３０のうちの一部または全部は、自動車６０１の外観では見えずに、自動車６０１の内部に備えられてもよい。
また、前方車外検出部６２１に、画像処理を行って車両を検出する車両検出部を備えてもよい。

図１１は、本発明の一実施形態に係る撮像装置１が適用された自動車６０１の前側部分を示す図である。
左側前照灯部６１０Ｌは、左側の前照灯ユニット６１２Ｌを備えている。左側の前照灯ユニット６１２Ｌは、自動車６０１の前端部の左側端部に配置されている。
右側前照灯部６１０Ｒは、右側の前照灯ユニット６１２Ｒを備えている。右側の前照灯ユニット６１２Ｒは、自動車６０１の前端部の右側端部に配置されている。

左側の前照灯ユニット６１２Ｌと右側の前照灯ユニット６１２Ｒの上側には、自動車６０１のエンジンルームを開閉するフード６５０の前端部が配置されている。左側の前照灯ユニット６１２Ｌと右側の前照灯ユニット６１２Ｒとは、自動車６０１の車幅方向において対称（図１１において、左右対称）に構成されている。

左側の前照灯ユニット６１２Ｌは、左側の前照灯ユニット６１２Ｌの車幅方向の外側部分を構成する左側前照灯６１４Ｌを含む。
右側の前照灯ユニット６１２Ｒは、右側の前照灯ユニット６１２Ｒの車幅方向の外側部分を構成する右側前照灯６１４Ｒを含む。

左側前照灯６１４Ｌと右側前照灯６１４Ｒは、光源（図示せず）を有しており、当該光源によって、自動車６０１の前方を照射する。
このような光源は、例えば、ハイビーム用の光源として構成されていてもよく、あるいは、ロービーム用およびハイビーム用の光源として構成されていてもよい。つまり、左側前照灯６１４Ｌと右側前照灯６１４Ｒは、主として自動車６０１の前方の路面領域を照射するロービームと、ロービームによって照射される領域よりも上側の領域を照射するハイビームとのいずれかに切り替え可能に構成されてもよい。このような光源として、例えば、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ハロゲンランプ、ディスチャージランプ、レーザーなどが用いられてもよい。
また、光源は、例えば、デイタイムランニングライト（ＤＲＬ：Ｄａｙｔｉｍｅ Ｒｕｎｎｉｎｇ Ｌｉｇｈｔ）の光源であってもよい。

ここで、前方車外検出部６２１は、例えば、本実施形態に係る撮像装置１を備えてもよい。前方車外検出部６２１は、本実施形態に係る撮像装置１を備える場合、撮像装置１により、自動車６０１の前方の車外の画像を撮像し、必要に応じて、撮像画像について温度などに関する補正を行う。
また、前方車外検出部６２１は、例えば、ＴＯＦの処理を行う機能を備えてもよく、この場合、撮像装置１により得られた補正後の撮像画像に基づいて、距離情報を取得する。なお、例えば、撮像画像に対して補正を行った後に距離情報を取得する態様と、撮像画像から距離情報を取得した後に当該距離情報に対して補正を行う態様としては、いずれの態様が用いられてもよい。
また、ＴＯＦの処理を行う機能は、例えば、撮像装置１に備えられてもよく、あるいは、他のところに備えられてもよい。

［実施形態のまとめ］
以上のように、本実施形態に係る撮像装置１では、画素の温度を精度良く検出することができる。
本実施形態に係る撮像装置１では、例えば、第１の温度取得手法あるいは第２の温度取得手法と比べて、実際に撮像に使用される画素領域にある特定の素子（ソースフォロアアンプ）について温度に関する情報を取得するため、撮像素子２３の実温度に近い温度に関する情報を取得することができ、これにより、撮像素子２３の実温度に近い温度係数を特定することが可能である。

本実施形態に係る撮像装置１では、例えば、第３の温度取得手法と比べて、温度特性を持つ特定の素子（ソースフォロアアンプ）について温度に関する情報を取得するため、温度に関する情報の精度を高めることが期待される。
また、本実施形態に係る撮像装置１では、例えば、第３の温度取得手法と比べて、複数の画素について温度に関する情報を取得して、当該情報の平均化などを行うことが可能であるため、画素ごとにおける温度に関する情報のバラツキを低減することが可能であり、つまり、このようなバラツキに対する耐性が強い。

本実施形態に係る撮像装置１では、画像フレームの全域における（ｎ×ｍ）個の画素について温度に関する情報を取得することが可能であり、例えば、画像フレームの全域における温度の状況、あるいは、画像フレームのうちの一部における温度の状況といったように、様々なパターンの補正係数を生成することが可能であり、応用範囲が広い。

ここで、撮像回路部４１の回路構成としては、様々な回路構成が用いられてもよく、例えば、様々なＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサの回路構成が用いられてもよい。
また、本実施形態では、撮像装置１をＴＯＦの処理に適用した場合を示したが、撮像装置１は他の様々な処理に適用されてもよい。

＜構成例＞
一構成例として、撮像装置（本実施形態では、撮像装置１）では、温度に依存する第１特性（温度特性）を持つ第１素子（本実施形態では、ソースフォロアアンプとして使用されるトランジスタ３１３）を含む画素回路部（本実施形態では、画素回路部Ｚ（ｉｊ））を複数有する撮像素子（本実施形態では、撮像素子２３）と、第１素子の第１特性に応じた画素回路部からの出力情報（例えば、電圧の情報、あるいは、電流の情報）を検出する出力情報検出部（本実施形態では、出力情報検出部６１）と、出力情報検出部により検出された出力情報に基づいて、温度に関する状況を検出する温度状況検出部（本実施形態では、温度状況検出部６２）と、を備える。
一構成例として、撮像装置において、温度に関する状況を検出するために用いられる画素回路部を選択する制御を行う画素選択制御部（本実施形態では、画素選択制御部６４）を備える。
一構成例として、撮像装置において、画素選択制御部により行われる制御により選択される画素回路部における撮像機能をオフにする撮像機能制御部（本実施形態では、撮像機能制御部６５）を備える。
一構成例として、撮像装置において、複数のサブフレーム（本実施形態では、サブフレームＧ０〜Ｇ５）を含む１フレーム（本実施形態では、フレームＦ１、Ｆ２）に含まれる１以上の当該サブフレームにおいて、温度に関する状況を検出するために用いられる出力情報の検出を行う。
一構成例として、撮像装置において、撮像素子により撮像された画像について、温度状況検出部により検出された温度に関する状況に基づいて温度に関する補正を行う。

以上に示した実施形態に係る装置（例えば、撮像装置１、制御装置６３０など）の機能の一部または全部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体（記憶媒体）に記録（記憶）して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…撮像装置、２１…入力部、２２…出力部、２３…撮像素子、２４…撮像素子制御部、２５…画像処理部、４１…撮像回路部、６１…出力情報検出部、６２…温度状況検出部、６３…対応情報記憶部、６４…画素選択制御部、６５…撮像機能制御部、６６…バイアス部制御部、８１…撮像画像取得部、８２…撮像画像補正部、１１１…画素部、１１２…垂直信号線駆動部、１１３…カラム出力アナログバッファ部、１１４…センサ出力アナログバッファ部、１３１…画素選択部、１３２…水平転送部、１３３…バイアス部、２１１−１〜２１１−m、３１１〜３１４、４１１…トランジスタ、２１２−１〜２１２−m、３３２…コンデンサ、２１３−１〜２１３−m、２３２−１〜２３２−m…スイッチ、２３１−１〜２３１−m、２５１…バッファ、３３１…フォトダイオード、３５１…垂直信号線、４３１…接続部、４５１…電源、６０１…自動車、６１０Ｌ…左側前照灯部、６１０Ｒ…右側前照灯部、６１１Ｌ…左側尾灯部、６１１Ｒ…右側尾灯部、６１２Ｌ、６１２Ｒ…前照灯ユニット、６１３Ｌ…左側サイドミラー、６１３Ｒ…右側サイドミラー、６１４Ｌ…左側前照灯、６１４Ｒ…右側前照灯、６１５…フロントウインドウ、６１６…リアウインドウ、６２１…前方車外検出部、６３０…制御装置、６５０…フード、１０１１、１０１２、１１１１、１１３１、１２１１、１２３１…特性、１０３１、１０３２…差分、Ａ１〜Ａｎ、Ｂ１〜Ｂｍ、Ｃ１〜Ｃ２…入力部、Ｄ１…出力部、Ｆ１〜Ｆ２…フレーム、Ｇ０〜Ｇ５…サブフレーム、Ｚ（ｉｊ）…画素回路部

Claims (5)

1. 温度に依存する第１特性を持つ第１素子を含む画素回路部を複数有する撮像素子と、
   前記第１素子の前記第１特性に応じた前記画素回路部からの出力情報を検出する出力情報検出部と、
   前記出力情報検出部により検出された前記出力情報に基づいて、前記温度に関する状況を検出する温度状況検出部と、
   を備える撮像装置。
2. 前記温度に関する状況を検出するために用いられる前記画素回路部を選択する制御を行う画素選択制御部を備える、
   請求項１に記載の撮像装置。
3. 前記画素選択制御部により行われる制御により選択される前記画素回路部における撮像機能をオフにする撮像機能制御部を備える、
   請求項２に記載の撮像装置。
4. 複数のサブフレームを含む１フレームに含まれる１以上の前記サブフレームにおいて、前記温度に関する状況を検出するために用いられる前記出力情報の検出を行う、
   請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記撮像素子により撮像された画像について、前記温度状況検出部により検出された前記温度に関する状況に基づいて温度に関する補正を行う、
   請求項１から請求項４のいずれか１項に記載の撮像装置。

Images