JP2023032283A - 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】光子の入射に応じて信号を出力する光電変換部を有し低消費電力の光電変換装置、その制御方法及びプログラムを提供する。【解決手段】光電変換装置（光電変換素子）において、センサチップ１１における画素１０１は、光電変換部を含む。回路チップ２１における信号処理部１０３は、クエンチ素子２０２、波形整形部２１０、光子カウンタ２１１、時間カウンタ２１２、選択回路２１３を含む。光子カウンター２１１は、画素に入射した光子の数を計測する。時間カウンター２１２は、光子カウンター２１１が計測を開始してから第１の閾値に達するまでの時間を計測し、画素値として出力する。閾値変更部は、環境情報と被写体情報の少なくとも一方に基づいて第１の閾値を変更する。【選択図】図４

Description

本発明は、入射した光子に応じて信号を出力する光電変換部を備えた光電変換装置、撮像装置、制御方法、及びコンピュータプログラム等に関するものである。

近年、ＣＭＯＳの光電変換装置を備えた撮像装置が、広く普及している。一方、アバランシェフォトダイオードに入射する光子（フォトン）の数をデジタル的に計数し、その計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。

特許文献１では、光子を数える光子カウンターに加え、時間を計測する時間カウンターを設けた構成が提案されている。時間カウンターは、光子カウンターの計測を開始してから、光子の数が所定の値になるまでの時間を計測し、計測した時間から画素値を算出する。画素毎に光子を計測する時間が異なることから、ダイナミックレンジの高い画像を取得することが可能になる。

米国特許公開２０１５／０１６３４２９明細書

しかし、アバランシェフォトダイオードを用いた光電変換装置は、単位時間あたりに光子が多く入射すると、アバランシェ増倍が発生する回数が増え、消費電力が増大する問題がある。特許文献１では、多くの画素が第１の閾値まで光子を入射させるため、光電変換装置の消費電力が必要以上に高くなる課題がある。
本発明は、上記問題を低減可能な、光子の入射に応じて信号を出力する光電変換部を有し、低消費電力の光電変換装置を提供することを目的とする。

本発明の１つの側面としての光電変換装置は、
入射した光子に応じて信号を出力する光電変換部を備えた画素と、
前記画素に入射した前記光子の数を計測する光子カウンターと、
前記光子カウンターが計測を開始してから第１の閾値に達するまでの時間を計測し、計測した時間を画素値として出力する時間カウンターと、
前記第１の閾値を変更させる第１の閾値変更部と、を有することを特徴とする。

本発明によれば、光子の入射に応じて信号を出力する光電変換部を有し、低消費電力の光電変換装置を実現することが可能になる。

実施形態１に係る光電変換装置の構成を説明するための図である。 実施形態１に係るセンサチップの構成例を説明するための図である。 実施形態１に係る回路チップの構成例を示すブロック図である。 実施形態１に係る画素１０１及び信号処理部１０３の等価回路図である。 実施形態１に係る光電変換装置の動作を示すタイミングチャートである。 実施形態１の第１の閾値変更部における温度と第１の閾値の関係を示すグラフである。 実施形態１に係る撮像装置のブロック図である。 実施形態２に係る撮像装置のブロック図である。 実施形態２に係る、撮像装置８００で撮影した映像の例を説明する図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施形態を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

（実施形態１）
図１は、実施形態１に係る光電変換装置の構成を説明するための図である。
光電変換装置（光電変換素子）１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、画素領域１２を含む。回路チップ２１は、画素領域１２で検出された信号を夫々並列に処理する画素回路領域２２と、画素回路領域２２からの信号の読み出しや画素回路領域２２の動作を制御する周辺回路領域２３を含む。

図２は、実施形態１に係るセンサチップ１１の構成例を示す図である。
センサチップ１１の画素領域１２は、二次元状に配置された複数の画素１０１を含む。即ち、画素領域１２は画素１０１を複数含み、それらの複数の画素は複数行及び複数列に配列されている。各画素１０１は、入射した光子に応じて信号を出力するアバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備える。

図２には、第０行から第５行までの６行と、第０列から第５列までの６列に配された３６個の画素１０１を、行番号及び列番号を示す符号と共に示している。例えば、第１行、第４列に配された画素１０１には、「Ｐ１４」の符号を付している。尚、画素領域１２を構成する画素１０１の行数及び列数は、図２の例に限定されない。

図３は、実施形態１に係る回路チップ２１の構成例を示すブロック図である。
回路チップ２１は、画素回路領域２２と周辺回路領域２３とを含む。画素回路領域２２は、複数行及び複数列から成る、二次元状に配された複数の信号処理部１０３を含む。図３には、第０行から第５行までの６行と、第０列から第５列までの６列に配された３６個の信号処理部１０３を、行番号及び列番号を示す符号と共に示している。例えば、第１行、第４列に配された信号処理部１０３には、「Ｓ１４」の符号を付している。

各信号処理部１０３はセンサチップ１１の対応する行番号及び列番号の画素１０１に電気的に接続されている。尚、画素回路領域２２を構成する信号処理部１０３の行数及び列数は、図３の例に限定されず、センサチップ１１の画素１０１の行数及び列数に対応した数であれば良い。
周辺回路領域２３は、垂直走査回路１１０、水平走査回路１１１、列回路１１２、水平出力回路１１４、制御パルス生成部１１５、水平出力線１１８、温度検出部１１９、第１の閾値変更部１２１を含む。

画素回路領域２２の各行の信号処理部１０３には、第１の方向（図３において横方向）に垂直選択線１１６が配線されている。垂直選択線１１６は、第１の方向に並ぶ信号処理部１０３に夫々接続されている。尚、第１の方向は、行方向或いは水平方向と表記することがある。

尚、図３では、垂直選択線１１６を、行番号を示す符号と共に表している。例えば、第１行の垂直選択線１１６には、「ＶＳＥＬ［１］」の符号を付している。各行の垂直選択線１１６は、垂直走査回路１１０に接続されており、垂直走査回路１１０は、所定の行の信号処理部１０３を選択的に駆動するための垂直選択信号ＶＳＥＬを、垂直選択線１１６を介して信号処理部１０３に供給する。

画素回路領域２２の各列の信号処理部１０３には、第１の方向と直交する第２の方向（図３において縦方向）に、垂直信号線１１３が配線されている。垂直信号線１１３は、第２の方向に並ぶ信号処理部１０３に夫々接続されている。第２の方向は、列方向或いは垂直方向と表記することがある。
尚、図３では、垂直信号線１１３を、列番号を示す符号と共に表している。例えば、第４列の垂直信号線１１３には、「ＰＯＵＴ［４］」の符号を付している。各列の垂直信号線１１３は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。

画素回路領域２２の信号処理部１０３の各行には、第１の閾値変更部１２１から、第１閾値を制御するための制御線１２２が配線されており、制御線１２２は、第１の方向に並ぶ信号処理部１０３に夫々接続されている。尚、図３には、制御線１２２を、行番号を示す符号と共に表している。例えば、第１行の制御線１２２には、「ＶＣＯＮ［１］」の符号を付している。本実施形態においては、第１の閾値を変更させる第１の閾値変更部１２１を有する点に特徴がある。又、第１の閾値変更部１２１は所定の制御信号を用いて前記第１の閾値を変更させられるようにした点にも特徴を有する。

水平走査回路１１１は、列回路１１２から信号を読み出すための水平選択信号を、水平選択線１１７を介して列回路１１２に供給する。水平走査回路１１１から水平選択信号を受信した列回路１１２は、一旦保持している出力信号を水平出力線１１８を介し、水平出力回路１１４に出力する。
尚、図３には、水平選択線１１７を、列番号を示す符号と共に表している。例えば、第４列の水平選択線１１７には、「ＨＳＥＬ［４］」の符号を付している。水平出力線１１８は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。

水平出力回路１１４は、画素信号に応じた信号を光電変換装置の出力信号ＳＯＵＴとして出力する。制御パルス生成部１１５は、垂直走査回路１１０、水平走査回路１１１、列回路１１２の動作やそれらのタイミングを制御する制御パルス信号や信号処理部１０３の動作を制御するための制御パルスＣＴＬを供給する。尚、垂直走査回路１１０、水平走査回路１１１、列回路１１２の動作やそれらのタイミングを制御する制御パルス信号や信号処理部１０３の動作を制御するための制御パルスＣＴＬの少なくとも一部は、光電変換装置１００の外部から供給しても良い。

温度検出部１１９は、環境情報として、光電変換装置１００の温度情報を温度センサで測定し、測定した温度を第１の閾値変更部１２１に出力する。温度検出部１１９の温度センサは例えば、シリコンダイオードの温度特性に基づき温度を測定する。信号入力回路１２０は、光電変換装置１００の外部から第１の閾値変更部１２１に信号を入力し、第１の閾値変更部１２１の動作を制御する。温度検出部１１９は、例えばオプティカルブラックから得られる暗電流レベルを温度情報として用いるものであっても良い。尚、オプティカルブラックは二次元配置された画素の周辺部に配置された遮光された画素である。

第１の閾値変更部１２１は、温度検出部１１９又は信号入力回路１２０から入力された信号により、信号処理部１０３における第１の閾値を変更するための制御信号を、制御線１２２を介して各信号処理部１０３に行単位で供給する。尚、図３においては、制御線１２２を行ごとに共有して接続しているが、信号処理部１０３毎に接続しても良いし、複数の信号処理部１０３からなる所定の領域毎に接続しても良い。

図４は、実施形態１に係る画素１０１及び信号処理部１０３の等価回路図である。
センサチップ１１における画素１０１は、光電変換部であるＡＰＤ２０１を含む。
ＡＰＤ２０１に光子が入射すると、光電変換により電荷対が生成される。ＡＰＤ２０１のアノードには、電圧ＶＬ（第１電圧）が供給され、カソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される。
即ち、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態にすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電位差が降伏電圧より大きいな電位差で動作させるガイガーモードと、アノード及びカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）と呼ぶ。このとき、電圧ＶＬ（第１電圧）は、例えば－３０Ｖ、電圧ＶＨ（第２電圧）は１Ｖ等にする。

回路チップ２１における信号処理部１０３は、クエンチ素子２０２、波形整形部２１０、光子カウンター２１１、時間カウンター２１２、選択回路２１３を含む。
クエンチ素子２０２は、電圧ＶＨを供給する電源とＡＰＤ２０１に接続される。クエンチ素子２０２は、ＡＰＤ２０１で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子は、光子カウンター２１１からの制御信号ｎｏｄｅＣにより、ＯＮ状態とＯＦＦ状態を切り替えることができる。制御信号ｎｏｄｅＣをＬＯＷレベルにするとクエンチ素子２０２がＯＮになり、ＡＰＤ２０１アバランシェ増倍が可能な状態となる。クエンチ素子２０２をＯＦＦにすれば、ＡＰＤのカソードがフローティング状態となるため、ＡＰＤ２０１アバランシェ増倍を止めることができ、消費電力が抑制される。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電位変化を整形して、パルス信号を出力する。波形整形部２１０は、例えば、インバータ回路やバッファ回路が用いられる。
２１１は画素に入射した光子の数を計測する光子カウンターであり、波形整形部２１０から出力された、パルス信号を第１の閾値までカウントする。第１の閾値は制御線１２２を介して入力される制御信号により変更することが可能である。

尚、本実施形態では、第１の閾値を変更するための制御信号は、例えば所定のパルスコードとする。この所定のパルスコード等を制御信号として制御線１２２に供給することによって光子カウンター２１１におけるカウントの上限を変更すれば良い。
尚、第１の閾値を変更するための制御信号は例えばアナログの電圧値であっても良い。その場合には第１の閾値を変更するための制御信号線を別に配線しても良い。
又、光子カウンター２１１は、制御線１２２を介してＨＩＧＨレベルの制御信号ＰＲＥＳが供給されたとき、カウント値をリセットする。

時間カウンター２１２は、光子カウンターが計測を開始してから第１の閾値に達するまでの時間を計測し、計測した時間を画素値として出力するカウンターである。時間カウンター２１２は、制御線１２２から供給されるＨＩＧＨレベルの制御信号ＰＲＥＳによりカウント値がリセットされ、制御信号ＰＲＥＳがＬＯＷレベルになりリセットが解除されるとカウントを開始する。一方、カウントの終了は、光子カウンター２１１からの制御信号ｎｏｄｅＤにより制御する。

尚、光子カウンター２１１から終了タイミングの制御信号ｎｏｄｅＤを入力した場合、時間カウンター２１２にてカウントした値を選択回路２１３へ出力する。一方、時間カウンター２１２の計測した時間が第２の閾値に達しても、終了タイミングの信号を入力されない場合、光子カウンター２１１で計測した光子の数（カウント値）を画素値として選択回路２１３へ出力する。

選択回路２１３は、図３の垂直走査回路１１０から垂直選択線１１６を介して供給される垂直選択信号ＶＳＥＬにより、光子カウンター２１１や時間カウンター２１２と垂直信号線１１３との電気的な接続、非接続を切り替える。選択回路２１３は、例えば、信号を出力するためのバッファ回路などを含む。

尚、本実施形態では第２の閾値は固定としている。しかし、例えば第１の閾値を変更するための前記の所定のパルスコードとは異なるパルスコード又はアナログ電圧値を制御信号として制御線１２２に供給するようにしても良い。それによって時間カウンター２１２におけるカウントの上限（第２の閾値β）を変更できるようにしても良い。例えば高速の被写体を撮影する場合には被写体ブレを抑制するために、時間カウンター２１２におけるカウントの上限（第２の閾値）を下げるように制御してもよい。

図５は、実施形態１に係る、光電変換装置の動作を示すタイミングチャートである。ここでは、複数の画素１０１のうちの画素Ｐ００の動作に着目して説明する。尚、ここでは、説明を簡略化するために、撮影環境や撮像に関するカメラパラメータは不変であって、レンズを透過してセンサに受光される光が常に一定であることを前提とする。又、時間カウンターの第２の閾値βは、第１の閾値に依らず一定であるとする。

図５には、映像信号を構成する複数のフレームのうちの２つのフレームに対応するタイミングチャートが示されている。タイミングｔ５００からタイミングｔ５１０までの期間は、第ｔ番目のフレームＦＲＡＭＥ（ｔ）に対応している。タイミングｔ５１０からタイミングｔ５１３までの期間は、第ｔ＋１番目のフレームＦＲＡＭＥ（ｔ＋１）に対応している。

又、ＦＲＡＭＥ（ｔ）では、フレーム内で光子カウンター２１１が変更前の第１の閾値Ａに到達し、時間カウンターのカウント値Ｂを選択回路２１３に出力する。ＦＲＡＭＥ（ｔ＋１）では、フレーム内で光子カウンター２１１が変更後の第１の閾値Ｃに到達し、時間カウンターのカウント値Ｂ´を選択回路２１３に出力する。ここで、第１の閾値が、Ａ＞Ｃの場合、夫々のフレームにおける時間カウンターの値の関係は（β＞）Ｂ＞Ｂ´となる。尚、ここでは説明を省略するが、ＦＲＡＭＥ（ｔ＋ｎ）において、光子カウンター２１１が第１の閾値に到達しなかった場合は、時間カウンターが第２の閾値βに達した時点における光子カウンターのカウント値を選択回路２１３に出力する。

先ず、タイミングｔ５００では、制御信号ｎｏｄｅＣをＬＯＷレベルにし、クエンチ素子２０２をＯＮ状態にさせることで、ＡＰＤ２０１をガイガーモードに遷移させる。
タイミングｔ５０１では、ＡＰＤ２０１をガイガーモードへの遷移が完了された状態で、制御線１２２を介して制御信号ＰＲＥＳＴをＬＯＷレベルにする。これにより、光子カウンター２１１と時間カウンター２１２のリセットが解除され、光子カウンター２１１と時間カウンター２１２のカウントを開始する。

タイミングｔ５０３では、光子カウンター２１１が第１の閾値Ａに達したことにより、光子カウンター２１１によって制御信号ｎｏｄｅＤがＨｉｇｈに遷移する。これにより、光子カウンター２１１と時間カウンター２１２のカウントを停止させる。又、このとき光子カウンター２１１によって制御信号ｎｏｄｅＣをＨｉｇｈにし、クエンチ素子２０２をＯＦＦ状態にする。これにより、ＡＰＤ２０１のアバランシェ増倍動作をとめて消費電力を抑制する。

タイミングｔ５０４では、垂直選択線１１６を介して垂直選択信号ＶＳＥＬをＨｉｇｈにし、時間カウンター２１２でカウントしたｎ－１ビットの値Ｂを垂直信号線１１３のＰＯＵＴ［０］にｎ－１ビット目の信号として出力する。又、ｎビット目を０にして垂直信号線１１３のＰＯＵＴ［０］にｎビット目の信号として出力する。この、ｎビット目の値は、付加信号として機能しており、光子カウンター２１１が第１の閾値に到達したか非かを表し、０は第１の閾値に到達し、１は第１の閾値に到達していないことを示す。

即ち、光子カウンターで計測した光子の数を画素値とした場合に、所定の付加信号１を付加する。尚、付加信号の形式はこれに限るものではなく、０を第１の閾値に到達しない場合、１を第１の閾値に到達している場合に使用してもよいし、別の信号線を用いて付加信号を出力してもよい。

タイミングｔ５０５では、制御線１２２を介してＰＲＥＳＴをＨｉｇｈにし、光子カウンター２１１と時間カウンター２１２のカウント値をリセットする。又、タイミングｔ５０６では、第１の閾値変更部１２１により、光電変換装置１００の消費電力を抑えるため、第１の閾値をＡからＣに変更する。

タイミングｔ５１０では、制御信号ｎｏｄｅＣをＬＯＷレベルにし、クエンチ素子２０２をＯＮ状態にさせることで、ＡＰＤ２０１をガイガーモードに遷移させる。
タイミングｔ５１１では、ＡＰＤ２０１をガイガーモードへ遷移完了した状態で、制御信号ＰＲＥＳをＬＯＷレベルにして光子カウンター２１１と時間カウンター２１２のカウントを開始する。タイミングｔ５１２で、光子カウンターは第１の閾値Ｃに達する。

この時、前述の通り、光子カウンター２１１によって制御信号ｎｏｄｅＤがＨｉｇｈに遷移する。又、制御信号ｎｏｄｅＣをＨｉｇｈにし、クエンチ素子２０２をＯＦＦ状態にする。このとき、第１の閾値を変更した前後における消費電力は、ＡＰＤ２０１のアバランシェ増倍動作が停止している期間が長い方が抑制される。具体的には、ＦＲＡＭＥ（ｔ）では期間Ｔ１（ｔ５０３からｔ５１０まで）、ＦＲＡＭＥ（ｔ＋１）では期間Ｔ２（Ｔ５１２からＴ５１３まで）の夫々の期間で消費電力が抑制されている。しかし、Ｔ２＞Ｔ１であるため第１の閾値をより低くすることによって消費電力を低くすることができる。

タイミングｔ５１３では、制御信号ＰＲＥＳＴをＨｉｇｈにし、光子カウンター２１１と時間カウンター２１２をリセットする。
尚、ｔ５００、ｔ５０１、ｔ５０４、ｔ５０５、ｔ５０６、ｔ５１０、ｔ５１１、ｔ５１２、ｔ５１３は夫々一定の周期のタイミングであり、ｔ５００～ｔ５１０、ｔ５０１～ｔ５１１、ｔ５０４～ｔ１２、ｔ５０５～ｔ５１３は夫々１垂直期間に相当する。
尚、ＦＲＡＭＥ（ｔ＋ｎ）において、時間カウンターが第２の閾値βに到達する前に光子カウンターが第１の閾値に到達しなかった場合を説明する。時間カウンターをリセットしてから第２の閾値βのタイミングで、時間カウンターによって垂直選択信号ＶＳＥＬをＨｉｇｈにする。

しかし、この時点まで、光子カウンターのカウント値が第１の閾値に達していないため、ｎｏｄｅＣとｎｏｄｅＤはＬＯＷのままである。従って、光子カウンター２１１でカウントしたｎ－１ビットの値Ａ‘を垂直信号線１１３のＰＯＵＴ［０］にｎ－１ビット目の信号として出力する。又、ｎビット目の値を１にして垂直信号線１１３のＰＯＵＴ［０］にｎビット目の信号として出力する。即ち、前述のように、光子カウンターで計測した光子の数を画素値とした場合には、所定の付加信号１を付加する。

以上のようにフレーム毎に、画素Ｐ００から、光子カウンター２１１が第１の閾値に到達すれば、時間カウンターのカウント値が選択回路２１３に出力される。又、光子カウンター２１１が第１の閾値に到達しなければ、光子カウンターのカウント値が選択回路２１３に出力される。又、画素領域１２の各画素の信号はＰ００～Ｐ０５、Ｐ１０～Ｐ１５、・・・Ｐ５０～Ｐ５５の順番で、０行～５行まで行毎に図２の左側から順番に読出されていく。

図６は、実施形態１の第１の閾値変更部における温度と第１の閾値の関係を示すグラフあり、縦軸は温度検出部１１９で測定した温度、横軸は第１の閾値を示す。グラフ６００に示されるように、温度６０１までは第１の閾値は一定であり、温度６０１以降は温度が上昇するにつれて第１の閾値が低下する特性を有する。

このように、実施形態１では、温度検出部１１９により検出した環境情報としての温度に基づき、第１の閾値変更部１２１は、図６のグラフに示すように第１の閾値を変更し、消費電力を抑制する。例えば、図６のように、温度検出部１１９で検出した温度が高くなるに連れて、第１の閾値を徐々に下げる。即ち、第１の閾値変更部１２１は、温度検出部１１９により検出された環境情報としての温度が所定の閾値より高い場合は、温度が所定の閾値以上の場合よりも第１の閾値を低くする。
このように制御することにより、光電変換装置１００の消費電力を抑え、温度が高い環境でも安定して長時間動作させることが可能になる。

図７は、実施形態１に係る撮像装置７００のブロック図である。
撮像装置７００は、光電変換装置１００を含む例えばデジタルカメラ等の撮像装置であり、レンズ７０１、画像処理部７０２、温度検出部７０３、光学制御部７０４、記憶部７０５、通信部としてのＩ／Ｆ部７０６を含む。
レンズ７０１は、フォーカスレンズ、ズームレンズ、及び、絞り等を含み、被写体の光学像を形成し、形成した光学像を光電変換装置１００の撮像面に入射する。

光電変換装置１００では、レンズ７０１によって形成される光学像を撮像する。光電変換装置１００の画素領域１２から読出された信号は、画像処理部７０２において、信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、データ圧縮等の処理がなされ、画像信号が生成される。尚、画像処理部７０２にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき撮像装置７００全体の各部の動作を制御する制御手段として機能する。

更に、本実施形態では、画像処理部７０２において、前記所定の付加信号が付加された画素値と前記付加信号が付加されていない画素値とで異なる画像処理を行う。具体的には、前記ｎビット目の値として所定の付加信号である１が付加された画素値に対してはノイズリダクションを、前記付加信号が付加されていない画素値よりも強くかける。

温度検出部７０３は、環境情報としての温度情報を検出するための、サーミスタや、シリコンダイオード等の半導体温度センサなどを含み、光電変換装置１００の近傍に配置されている。尚、図３の温度検出部１１９は光電変換装置１００内の回路チップ２１上に設けられているが、図７の温度検出部７０３は光電変換装置１００の近傍であって、光電変換装置１００とは別の位置にも設けられている。

温度検出部７０３で検出した環境情報としての温度情報は光電変換装置１００に出力される。光電変換装置１００は温度検出部７０３で検出した温度情報に基づき、例えば図６のグラフのような特性に従って第１の閾値を変更する。光学制御部７０４は、レンズ７０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。

記憶部７０５は、例えば、メモリカード、ハードディスク等の記録媒体を含む。通信部としてのＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部７０６は、画像処理部７０２で生成した画像信号を例えばネットワーク７０７を介して撮像装置７００の外部に送信すると共に、外部からの信号を受信する。Ｉ／Ｆ部７０６は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等を含み、クライアントが、ネットワーク７０７を介して撮像装置７００を制御することが可能である。

このように、実施形態１では、光電変換装置１００の近傍に備えた温度検出部７０３により検出された環境情報としての温度情報に基づき、光電変換装置１００内の第１の閾値を変更する第１の閾値変更ステップを有し、消費電力を抑制する。例えば、図６のように、温度検出部６０４検出した温度が高い時は、第１の閾値を下げることで、光電変換装置１００の消費電力を抑制される。

これにより撮像装置７００は、温度が高い環境下でも撮影を継続することができる。
尚、上記の第１の閾値変更ステップは画像処理部７０２内のコンピュータとしてのＣＰＵが記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行することにより行われる。

（実施形態２）
図８は、実施形態２に係る撮像装置８００のブロック図である。図８において、例えばデジタルカメラ等の撮像装置８００は、被写体検出部８０３を追加した点が図７の構成とは異なり、図７と同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

被写体検出部８０３は、画像処理部８０２で生成した画像に、被写体が存在するかを検出する。即ち、光電変換装置１００の画素領域１２から読出された画像信号に基づき被写体情報として、被写体が存在する被写体領域を検出する。
被写体領域の検出は、例えば、画像の背景の時間的な差分、動き検出、物体検出等の処理により行う。

検出した結果に基づき、光電変換装置１００内の第１の閾値を、画素領域毎に決定する。又、第１の閾値変更部１２１は、被写体領域における第１の閾値を、被写体領域以外の前記第１の閾値よりも高くする。被写体領域以外では、第１の閾値が低くなるため、画像ノイズが上昇するが、撮像装置８００の消費電力を抑制することができる。

尚、被写体検出部８０３で設定する被写体が存在する領域は、ネットワーク７０７経由で、ユーザーが設定しても良い。その場合ユーザー被写体が存在する領域等の注目領域ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を自由に設定可能であり、被写体情報はこのようなユーザーによる注目領域ＲＯＩか否かを含む。
又、光電変換装置１００は実施形態１と同様、温度検出部７０３により検出された温度情報に基づき、第１の閾値を変更する。

図９は、実施形態２に係る、撮像装置８００で撮影した映像の例を説明する図である。
映像９００は、撮像装置８００で撮影した映像であり、９０１は被写体検出部８０３にて被写体として検出された領域である。
光電変換装置１００では領域９０１の画素の第１の閾値を高く設定し、領域９０１以外の領域は第１の閾値を低く設定する。

このように、実施形態２では、環境情報としての温度情報に基づき、温度が高い場合は第１の閾値を下げるように変更すると共に、画像内の被写体情報（例えば被写体領域）を検出し、被写体が検出しない領域第１の閾値を下げる。それによって、監視映像などで重要な被写体が領域の画質を維持しつつ、撮像装置８００の消費電力を抑制することができる。

尚、実施形態２では被写体情報として被写体領域か否かを用いたが、例えばフォーカス調整機構を有する場合に、フォーカスが所定の閾値以上合っている被写体か否かを被写体情報としても良い。即ち、フォーカスが所定の閾値以上合っている被写体に対する第１の閾値を、それ以外の被写体に対する第１の閾値よりも高くしても良い。或いはコントラストが相対的に高い被写体を被写体情報としても良い。

即ち、コントラストが相対的に高い被写体に対する第１の閾値を、コントラストが相対的に低い被写体に対する第１の閾値よりも高くしても良い。即ち、被写体情報は被写体領域か否か、フォーカスが所定の閾値以上合った被写体か否か、コントラストが相対的に高い被写体か否かのいずれか１つを含む。
尚、第１の閾値変更部１２１は、環境情報としての温度情報と被写体情報の両方に基づいて第１の閾値を変更するのではなく、少なくとも一方に応じて第１の閾値を変更しても良い。

更には、環境情報として、光電変換装置を駆動するためのバッテリ等の電源の電圧を計測する電圧計測部を設け、電源としてのバッテリの電圧が所定の閾値よりも低下した場合に、第１の閾値を下げても良い。即ち、前記撮像装置の電源の電圧を環境情報として検出する電圧計測部を備え、電源の電圧が所定の閾値より低い場合は、電源の電圧が所定の閾値以上の場合よりも前記第１の閾値を低くするようにしても良い。又、実施形態では環境情報として温度、電源の電圧の例を挙げたが、これに限定されない。環境情報は、例えば被写体の輝度が所定の閾値より低いか否かや、輝度が低い場合に照明装置が使える状態か否かや、撮像装置の撮影モードや、撮像装置の消費電力量が所定値以上か否かなども含む。

尚、実施形態においては、撮像装置として例えばデジタルカメラに適用した例について説明する。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置や撮像装置等に供給するようにしてもよい。そしてその光電変換装置や撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ 光電変換装置
１１ センサチップ
１２ 画素領域
２１ 回路チップ
１０１ 画素
１０２ 光電変換部
１０３ 信号処理部
１１９ 温度検出部
１２１ 第１の閾値変更部
２０１ ＡＰＤ

Claims (15)

1. 入射した光子に応じて信号を出力する光電変換部を備えた画素と、
   前記画素に入射した前記光子の数を計測する光子カウンターと、
   前記光子カウンターが計測を開始してから第１の閾値に達するまでの時間を計測し、計測した時間を画素値として出力する時間カウンターと、
   前記第１の閾値を変更させる第１の閾値変更部と、を有することを特徴とする光電変換装置。
2. 前記第１の閾値変更部は所定の制御信号を用いて前記第１の閾値を変更させることを特徴とする請求項１に記載の光電変換装置。
3. 前記第１の閾値変更部は環境情報と被写体情報の少なくとも一方に基づき前記所定の制御信号に応じて前記第１の閾値を変更させることを特徴とする請求項２に記載の光電変換装置。
4. 前記光電変換部は、アバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。
5. 前記時間カウンターの計測した時間が第２の閾値に達しても、前記光子の数が前記第１の閾値に達しない場合、前記光子カウンターで計測した前記光子の数を画素値とすることを特徴とする請求項１～４のいずれか１項に記載の光電変換装置。
6. 前記光子カウンターで計測した前記光子の数を画素値とした場合に、所定の付加信号を付加することを特徴とする請求項５に記載の光電変換装置。
7. 前記所定の付加信号が付加された画素値と前記所定の付加信号が付加されていない画素値とで異なる画像処理を行うことを特徴とする請求項６に記載の光電変換装置。
8. 前記所定の付加信号が付加された画素値に対するノイズリダクションを、前記所定の付加信号が付加されていない画素値よりも強くすることを特徴とする請求項７に記載の光電変換装置。
9. 環境情報として温度を検出する温度検出部を備え、
   前記第１の閾値変更部は、前記温度検出部により検出された前記温度が所定の閾値より高い場合は、前記温度が前記所定の閾値以上の場合よりも前記第１の閾値を低くすることを特徴とする請求項３～８のいずれか１項に記載の光電変換装置。
10. 前記画素を複数含み、二次元状に配置された画素領域を有し、
    前記画素領域から読出された画像信号に基づき被写体領域を検出する被写体検出部を備え、
    前記第１の閾値変更部は、前記被写体検出部で検出された前記被写体領域の前記第１の閾値を、前記被写体領域以外の前記第１の閾値よりも高くすることを特徴とする請求項３～９のいずれか１項に記載の光電変換装置。
11. 前記被写体情報は被写体領域か否か、フォーカスが所定の閾値以上合った被写体か否か、コントラストが相対的に高い被写体か否かのいずれか１つを含むことを特徴とする請求項３に記載の光電変換装置。
12. 前記光電変換装置を駆動するための電源の電圧を検出する電圧計測部を備え、
    前記電源の電圧が所定の閾値より低い場合は、前記電源の電圧が所定の閾値以上の場合よりも前記第１の閾値を低くすることを特徴とする請求項１～１１のいずれか１項に記載の光電変換装置。
13. 請求項１～１２のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から読出された画像を処理する画像処理部と、
    前記画像処理部で処理された画像を外部に送信する通信部と、を有することを特徴とする撮像装置。
14. 入射した光子に応じて信号を出力する光電変換部を備えた画素と、
    前記画素に入射した前記光子の数を計測するする光子カウンターと、
    前記光子カウンターが計測を開始してから第１の閾値に達するまでの時間を計測し、計測した時間から画素値を算出する時間カウンターと、を有する光電変換装置に対して、
    前記第１の閾値を変更させる第１の閾値変更ステップを有することを特徴とする光電変換装置の制御方法。
15. 請求項１～１２のいずれか１項に記載の光電変換装置若しくは請求項１３に記載の撮像装置の各部をコンピュータにより制御するためのコンピュータプログラム。
    
    

Images