JP2023032298A - 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】被写体の輝度が高い場合に、階調の低下を抑制する光電変換装置、撮像装置、制御方法及びコンピュータプログラムを提供する。【解決手段】光電変換装置において、画素２０１は、入射した光子に応じて信号を出力する光電変換部２０２を備える。信号処理部は、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３、時間カウンター４０４、判定回路４０５、選択回路４０６、パルス生成回路４０７及びスイッチ素子４０８を含む。光子カウンター４０３は、画素に入射した光子の数を計測する。時間カウンター４０４は、光子カウンター４０３が計測を開始してから計測値が第１の閾値に達するまでの時間を計測する。パルス生成回路は、光子カウンター４０３でカウントするパルスの数を制限することにより、画素の感度を変更する。【選択図】図４

Description

本発明は、入射した光子に応じた信号を出力する光電変換部を備えた光電変換装置、撮像装置、制御方法、及びコンピュータプログラム等に関するものである。

近年、アバランシェフォトダイオードに入射する光子（フォトン）の数をデジタル的に計数し、その計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。

特許文献１では、光子を数える光子カウンターに加え、時間を計測する時間カウンターを設けた構成が提案されている。時間カウンターは、光子カウンターの計測を開始してから、光子の数が所定の値になるまでの時間を計測し、計測した時間から画素値を算出する。画素毎に光子を計測する時間が異なることから、ダイナミックレンジの高い画像を取得することが可能になる。

米国特許公開２０１５／０１６３４２９明細書

しかしながら、特許文献１の構成の場合、被写体の輝度が高い場合には、光子の数が所定の値になるまでの時間が短くなるため、画素値を算出した際の階調が粗くなってしまう。
そこで、本発明は、階調の低下の抑制が可能な光電変換装置等を提供することを目的とする。

本発明の１側面の光電変換装置は、
入射した光子に応じて信号を出力する光電変換部を備えた画素と、
前記画素に入射した前記光子の数を計測する光子カウンターと、
前記光子カウンターが前記計測を開始してから前記光子カウンターの計測値が第１の閾値に達するまでの時間を計測する時間カウンターと、
前記光子カウンターが前記計測を開始してから前記光子カウンターの前記計測値が前記第１の閾値に達するまでの間に、前記画素の感度変更を行うための感度調整手段と、を有する

本発明によれば、階調の低下の抑制が可能な光電変換装置等を実現することができる。

実施形態１に係る光電変換装置の構成を説明するための図である。 実施形態１に係るセンサチップの構成例を説明するための図である。 実施形態１に係る回路チップ２１の構成例を示すブロック図である。 実施形態１に係る画素２０１及び信号処理部３０１の等価回路図である。 実施形態１のパルス生成回路による感度調整の動作を説明する図である。 実施形態１における感度調整の例を説明する図である。 実施形態２における感度調整の例を説明する図である。 実施形態１又は実施形態２の光電変換装置１００を用いた撮像装置５００のブロック図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施形態を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
＜実施形態１＞

図１は、実施形態１に係る光電変換装置の構成を説明するための図である。
光電変換装置１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、画素領域１２を含む。回路チップ２１は、画素領域１２の各画素で検出された信号を夫々並列に処理する画素回路領域２２と、画素回路領域２２からの信号の読み出しや画素回路領域２２の動作を制御する周辺回路領域２３を含む。

図２は、実施形態１に係るセンサチップ１１の構成例を示す図である。
センサチップ１１の画素領域１２は、二次元状に配置された複数の画素２０１を含む。即ち、画素領域１２は画素２０１を複数含み、それらの複数の画素は複数行及び複数列に配列されている。各画素２０１は、入射した光子に応じて信号を出力するアバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部２０２を備える。

図２には、第０行から第２行までの３行と、第０列から第３列までの４列に配された１２個の画素２０１を、行番号及び列番号を示す符号とともに示している。例えば、第２行、第２列に配された画素２０１には、「Ｐ２２」の符号を付している。尚、画素領域１２を構成する画素２０１の行数及び列数は、図２の例に限定されない。

図３は、実施形態１に係る回路チップ２１の構成例を示すブロック図である。
回路チップ２１は、画素回路領域２２と周辺回路領域２３とを含む。
画素回路領域２２は、複数行及び複数列から成る、二次元状に配置された複数の信号処理部３０１を含み、各信号処理部３０１は、センサチップの対応する各画素２０１に夫々電気的に接続されている。

図３には、第０行から第２行までの３行と、第０列から第３列までの４列に配された１２個の信号処理部３０１を、行番号及び列番号を示す符号とともに示している。例えば、第２行、第２列に配された信号処理部３０１には、「Ｓ２２」の符号を付している。尚、画素回路領域２２を構成する複数の信号処理部３０１の行数及び列数は、図３の例に限定されず、センサチップ１１の複数の画素２０１の行数及び列数に対応した数であれば良い。
又、後述するように、各信号処理部３０１には、画素に入射した光子の数を計測する光子カウンター４０３と、時間を計測する時間カウンター４０４が設けられている。

周辺回路領域２３は、垂直走査回路３０２、列回路３０３、水平走査回路３０４、制御パルス生成部３０５、信号復元部３０６、水平出力回路３０７等を含む。
画素回路領域２２の各行の信号処理部３０１には、第１の方向（図３において横方向）に、垂直選択線３１１が配線されている。垂直選択線３１１は、第１の方向に並ぶ複数の信号処理部３０１に夫々共通接続されている。尚、第１の方向は、行方向或いは水平方向と表記することがある。

尚、図３には、垂直選択線３１１を、行番号を示す符号とともに表している。例えば、第１行の垂直選択線３１１には、「ＶＳＥＬ［１］」の符号を付している。各行の垂直選択線３１１は、垂直走査回路３０２に接続されており、垂直走査回路３０２は、所定の行の信号処理部３０１を選択的に駆動するための垂直選択信号ＶＳＥＬを、垂直選択線３１１を介して信号処理部３０１に供給する。尚、本実施形態では、垂直選択線３１１は各行の複数の信号処理部３０１の信号を読出すための読出し用の垂直選択線と各行の複数の信号処理部３０１の信号をリセットするためのリセット用の垂直選択線とに分かれている。

画素回路領域２２の各列の複数の信号処理部３０１には、第１の方向と直交する第２の方向（図３において縦方向）に、垂直信号線３１０が配線されている。垂直信号線３１０は、第２の方向に並ぶ複数の信号処理部３０１に共通接続されている。第２の方向は、列方向或いは垂直方向と表記することがある。
尚、図３には、垂直信号線３１０を、列番号を示す符号とともに表している。例えば、第３列の垂直信号線３１０には、「ＰＯＵＴ［３］」の符号を付している。各列の垂直信号線３１０は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。

水平走査回路３０４は、列回路３０３から信号を読み出すための水平選択信号を、水平選択線３１３を介して列回路３０３に供給する。水平走査回路３０４から水平選択信号を受信した列回路３０３は、一旦保持している出力信号を、信号線３１２を介し、信号復元部３０６を介し、水平出力回路３０７に順次出力する。信号線３１２は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。
尚、図３には、水平選択線３１３を、列番号を示す符号とともに表している。例えば、第３列の水平選択線３１３には、「ＨＳＥＬ［３］」の符号を付している。

制御パルス生成部３０５は、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそれらのタイミングを制御する制御パルス信号等を供給する。尚、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそれらのタイミングを制御するパルス信号等の少なくとも一部は、光電変換装置１００の外部から供給しても良い。

信号復元部３０６は、後述するように、時間カウンター４０４の値から、画素値を算出し、水平出力回路３０７に出力する。水平出力回路３０７は、信号復元部３０６で復元された画素値に応じた信号を光電変換装置１００の出力信号として出力する。
尚、信号復元部３０６は光電変換装置１００の外部に設けても良い。

図４は、実施形態１に係る画素２０１及び信号処理部３０１の等価回路図である。
センサチップ１１における画素２０１は、光電変換部であるＡＰＤ２０２を含む。
ＡＰＤ２０２に光子が入射すると、光電変換により電荷対が生成される。ＡＰＤ２０２のアノードには、電圧ＶＬ（第１電圧）が供給され、カソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）がスイッチ素子４０８を介して供給される。

ＡＰＤ２０２のアノードとカソードには、ＡＰＤ２０２がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような逆バイアス電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

尚、ＡＰＤ２０２は、逆バイアスの電圧が供給される場合において、アノード及びカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードを有する。又、アノード及びカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードを有する。ガイガーモードで動作させるＡＰＤをＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）と呼ぶ。このとき、電圧ＶＬ（第１電圧）は、例えば－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖ等にする。

回路チップ２１における信号処理部３０１は、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３、時間カウンター４０４、判定回路４０５、選択回路４０６、パルス生成回路４０７、スイッチ素子４０８等を含む。パルス生成回路４０７はＡＰＤ２０２のバイアス電位をスイッチ素子４０８によりＯＮとＯＦＦで切り替えるためのパルスを供給する。

クエンチ素子４０１は、電圧ＶＨを供給する電源とＡＰＤ２０２にスイッチ素子４０８を介して接続される。クエンチ素子４０１は、ＡＰＤ２０２で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子４０１は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０２に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。

波形整形部４０２は、光子検出時に得られるＡＰＤ２０２のカソードの電位変化を整形して、パルス信号を出力する。波形整形部４０２は、例えば、インバータ回路やバッファ回路が用いられる。
４０３は、画素に入射した光子の数を計測する光子カウンターであり、波形整形部４０２から出力された、パルス信号を例えば第１の閾値Ｃｘまでカウントする。又、光子カウンター４０３は、垂直選択線３１１を介して所定の制御信号が供給されたとき、カウント値をリセットする。

判定回路４０５は、光子カウンター４０３のカウント値が第１の閾値Ｃｘに達したかどうかを判定する。
時間カウンター４０４は、判定回路４０５が、光子カウンター４０３が計測を開始してからカウント値（計測値）が第１の閾値Ｃｘに達するまでの時間を計測し、計測した時間を画素値として出力する。即ち、判定回路４０５が、光子カウンター４０３のカウント値が第１の閾値Ｃｘに達した、と判定した時点で、時間カウンター４０４は直ちに時間のカウントを停止し、その時点での時間カウント値を画素値として保持する。

従って、第１の閾値Ｃｘに達するまでの時間が短いほど、画素に単位時間当たりに入射する光の量が多い（明るい）ことを意味する。つまり、飽和するまでの時間を計測することで、時間カウンター４０４のカウント値から、各々の画素の明るさ情報を画素値として取得することができる。時間カウンター４０４のカウント値から画素信号を復元する処理の詳細については後述する。

選択回路４０６は、図３の垂直走査回路３０２から垂直選択線３１１を介して供給されるｎ番目の行を読出すための垂直選択信号ＶＳＥＬにより、時間カウンター４０４と垂直信号線３１０との電気的なＯＮ、ＯＦＦを切り替える。ＯＮの場合には、時間カウント値は垂直信号線３１０を介して列回路３０３に送られて、信号復元部３０６、水平出力回路３０７を経て光電変換装置１００の外部に出力される。

垂直選択線３１１から供給される読出し用の選択信号により、選択回路４０６で時間カウント値を読み出した後、光子カウンター４０３、時間カウンター４０４は垂直選択線３１１を介して供給されるリセット信号によりリセットされる。各々のカウンターはリセット直後にカウントを再開する。

パルス生成回路４０７は、アバランシェ増倍によって発生したパルス信号のうち、光子カウンター４０３でカウントするパルスの数を制限することにより、画素の感度を調整することができる。

図５は、実施形態１のパルス生成回路による感度調整の動作を説明する図である。
図５に示した各信号は、図４に示した各信号に対応しており、Ｐｃｔｌはパルス生成回路４０７からスイッチ素子４０８のゲートに供給されるゲート制御信号、Ｖｃａｔｈは波形整形部４０２の入力としての、スイッチ素子４０８のカソード電圧である。又、光子が入射するタイミングを矢印で示している。

時刻ｔ１よりも前の期間、ゲート制御信号ＰｃｔｒｌはＨ（Ｈｉｇｈ）レベルにあるため、ＡＰＤ２０２のカソードはフローティング状態にある。又、ＡＰＤ２０２のリチャージは完了しており、アバランシェ増倍可能な待機状態にある。

この状態において、時刻ｔ１で光子が入射すると、アバランシェ増倍が発生し、カソード電圧ＶｃａｔｈはＨからＬ（Ｌｏｗ）に遷移し、波形整形部４０２を介して光子カウンター４０３のカウント値が１カウント増加する。しかし、ＡＰＤ２０２のカソードはフローティング状態のままであるため、カウント後にリチャージが発生せず、時刻ｔ２まで光子カウンター４０３のカウント数は変化しない。

時刻ｔ２において、パルス生成回路４０７はゲート制御信号ＰｃｔｒｌをＬレベルに変化させる。これにより、ＡＰＤ２０２のカソードがフローティング状態からＶＨへの接続状態に切り替わり、リチャージが発生し、ＡＰＤ２０２はアバランシェ増倍可能な待機状態に戻る。その後、時刻ｔ３で光子が入射すると、アバランシェ増倍が発生し、波形整形部４０２を介して光子カウンター４０３のカウント値が１カウント増加する。

このようにパルス生成回路４０７からのゲート制御信号Ｐｃｔｒｌのパルスの１周期内に光子がいくつ入射したとしても、光子カウンター４０３のカウント値を１に制限している。従って、パルス生成回路４０７からのゲート制御信号Ｐｃｔｒｌのパルス周期により、単位時間当たりの光子カウンター４０３のカウント数、即ち画素の感度を調整することができる。即ち、パルス生成回路４０７により、ゲート制御信号Ｐｃｔｒｌのパルス周期を長くすれば低感度にでき、短くすれば高感度にできる。このように、ＡＰＤ２０２のバイアス電位を切り替えるためのパルスの周期を変更することで感度を変更することが可能である。

図３の信号復元部３０６は、時間カウンター４０４でカウントした時間カウント値を、被写体の明るさ情報を表す画素の出力信号として復元する。光子カウンター４０３におけるカウントを開始してからカウント値が第１の閾値Ｃｘに達するまでの時間をＴとした時、画素信号値Ｃは以下の式１で求めることができる。

Ｃ＝Ｋ／Ｔ・・・・式１
Ｋは自然数であり、Ｃが１ＬＳＢ未満にならないような値に決定することが好ましい。具体的には、Ｋ＝時間カウント値の最大値（上限）とすれば良い。
本実施形態の光電変換装置１００は、パルス生成回路４０７から出力されるゲート制御信号Ｐｃｔｒｌのパルス周期を制御することで、階調の低下の抑制を行う。

先ず、特許文献１に開示されている光電変換装置のように、パルスの周期を時間的に制御していない場合に発生する課題について説明する。
前述の式１からわかるように、Ｔが小さいほど、Ｔが１カウント変化した場合の、Ｃの変化量が大きくなる。

従って、Ｔが小さいほど復元後の画素信号の階調が低下してしまう。Ｔが小さくなるのは、単位時間あたりに画素に入射する光子が多い場合、即ち被写体の輝度が高い場合である。
即ち、被写体の輝度が高い場合には、光子カウンター４０３がカウントを開始してから、カウント値が第１の閾値Ｃｘに達するまでの時間Ｔが短くなるため、復元後の画素信号の階調が低下してしまう。

図６は、実施形態１における感度調整の例を説明する図であり、時間カウンター４０４のカウント数と光子カウンター４０３のカウント数の関係を説明している。
図６（Ａ）は比較のために示した従来の光電変換装置の駆動例を説明する図、図６（Ｂ）は本実施形態の光電変換装置における感度調整の例を説明する図である。各々の図には、被写体の輝度が高い場合のカーブを６０１、被写体の輝度が適正な場合のカーブを６０２、被写体の輝度が低い場合のカーブを６０３で示している。

図６（Ａ）のカーブ６０１で示すように、従来の光電変換装置を用いた場合、被写体の輝度が高い場合、光子カウンター４０３がカウントを開始してから、カウント値が第１の閾値Ｃｘに達するまでの時間が短くなる。従って、復元後の画素信号の階調が低下してしまう。即ち、階調差が粗くなってしまう。

一方、本実施形態の光電変換装置では、第１の時刻Ｔ０より前のパルス周期を長くして感度を落としている。それによって図６（Ｂ）のカーブ６０１‘で示すように、輝度が高い場合に、光子カウンター４０３がカウントを開始してから、カウント値が第１の閾値Ｃｘに達するまでの時間が長くなり、復元後の画素信号の階調の低下を抑制している。又、その結果、被写体の輝度が高い場合の蓄積時間が実効的に延びるため、光源のフリッカーの影響を低減させる効果も得られる。又、高感度の画素のカウントタイミングが後ろにずれるので電力が均一化される効果もある。

又、パルス生成回路４０７は、光子カウンター４０３が計測を開始してから光子カウンターの計測値が第１の閾値Ｃｘに達するまでの間の、第１の時刻Ｔ０より後のパルス周期を短くする。それによって、例えば図６（Ｂ）のカーブ６０２‘やカーブ６０３’のように、時間的に画素の感度を途中で高くしている。尚、図６（Ｂ）におけるカーブ６０１‘、６０２’、６０３‘は、図６（Ａ）のカーブ６０１、６０２、６０３に夫々対応している。

このように、本実施形態の光電変換装置では、時間的に画素の感度を途中で高くするように変更することで、被写体の輝度が低い場合（図６（Ｂ）のカーブ６０３‘）のＳＮ比を向上させる効果が得られる。即ち、図６（Ａ）のカーブ６０３と比較した場合、図６（Ｂ）のカーブ６０３‘の方が、時間カウンター４０４のカウント値が最大値（上限）Ｋに達した場合の光子カウンター４０３のカウント値を大きくできる。このように、パルス生成回路４０７は、光子カウンターが計測を開始してから光子カウンターの計測値が第１の閾値Ｃｘに達するまでの間に、画素の感度変更を少なくとも１回行うための感度調整手段として機能している。

図６（Ｂ）の例では、パルスの周期を、時間カウントの最大値Ｋまでの間に、第１の時刻Ｔ０で一回だけ切り替えているが、時間カウントの最大値Ｋまでの間に、複数回切り替えても良いし、連続的に徐々に周期を変化させても良い。複数回変化させたり、連続的に徐々に変化させたりした方が、時間的な感度の変化を細かく制御できるため好ましい。感度調整を複数回行う場合でも、時間的に画素の感度を徐々に高くする方が好ましい。
＜実施形態２＞

尚、実施形態１では、パルスの周期を第１の時刻Ｔ０以降に、より短い固定の周期に切り替えていたが、パルスの周期を適応的に変更しても良い。
即ち、実施形態２では、例えば第１の時刻Ｔ０における光子カウンター４０３のカウント値に応じて、第１の時刻Ｔ０以降のパルスの周期を制御する。

図７は、実施形態２における感度調整の例を説明する図である。
図７において、第１の時刻Ｔ０＝Ｋ／２において、光子カウンター４０３のカウント値が第１の閾値Ｃｘの半分未満であるか否か判別する。そして、第１の閾値Ｃｘの半分以上の場合（図７のカーブ７０１）にはパルスの周期を変更しない。尚、感度変更のタイミングやそのときの光子カウンター４０３のカウント値の閾値は上記に限定されない。

一方、第１の時刻Ｔ０＝Ｋ／２において、第１の閾値Ｃｘの半分以下の場合（図７のカーブ７０２）には、光子カウンター４０３のカウント値が時刻Ｋにおいて第１の閾値Ｃｘに達するように、パルスの周期を変化させる。即ち、感度調整手段は、第１の時刻における光子カウンターの計測値に応じて、第１の時刻以降の画素の感度を適応的に変更している。

しかも時間カウンターの計測した時間が第２の閾値としての最大値Ｋに達する際に、光子カウンターの計測値が第１の閾値Ｃｘに達するように、第１の時刻以降の画素の感度を変更している。
即ち、光子カウンター４０３のカウント値が第１の閾値Ｃｘに達する時刻を時間カウントの最大値Ｋに近づけるとともに、時間カウントの最大値Ｋに達した際の光子カウンター４０３のカウント値を第１の閾値Ｃｘに近づけることができる。その結果、階調が向上すると共に、ＳＮ比が向上する効果が得られる。

尚、図７の例においても、時間カウンターの計測した時間が第２の閾値としての最大値Ｋに達するまでに、パルスの周期の変更を複数回行っても良い。複数回変更したほうが、階調が更に向上し、ＳＮ比が更に向上するため好ましい。尚、感度変更するタイミングはＫ／（２のＮ乗）とすることが望ましく、その際に、パルスの周期を１／（２のＮ乗）、（但しＮは整数）とすることが望ましい。

又、１回目に感度を変更する前に、例えば全画素又は所定の領域の光子カウンター４０３のカウント値が所定の閾値に達しているか判別しても良い。又、２回目に感度を変更する前には、例えば、１回目で所定のカウント値以上だった画素の光子カウンター４０３のカウント値が所定の閾値に達しているかを判別する、というように判別のために参照する画素の数を徐々に減らすことが望ましい。
尚、複数回変更する場合に、毎回感度を上昇させるのではなく、場合によっては途中で感度を一定又は感度を減少させるように変更しても良い。又、例えばダイナミックレンジを広げるために、感度を徐々に低下させるようにしても良い。

尚、以上の例では、画素の感度調整を行う感度調整手段としてパルス生成回路のパルスの周期を用いたが、別の感度調整手段を使用しても良い。例えば液晶やエレクトロクロミック材料を使用したＮＤフィルタを光の入射側に設け、ＮＤフィルタの透過率を時間的に高めるように変化させても良いし、メカ的に濃い濃度のＮＤフィルタから薄い濃度のＮＤフィルタに切り替えても良い。

或いは、結像光学系に絞りを設け、絞りの開口を徐々に大きくするように時間的に変化させても良い。又、これらの感度調整手段のいずれか１つを用いて感度を途中から上げるように制御しても良いし、これらの感度調整手段を複数組み合わせて感度を途中から上げる感度調整ステップを実行するように制御しても良い。
尚、画素の感度は画素毎に時間的に変化させても良いし、全画素で一律に時間的に変化させても良いし、所定の複数の画素（例えば縦２画素×横２画素）が含まれる画素領域毎に変化させても良い。

例えば、光電変換装置の所定の行の画素にＲＧＲＧの順にカラーフィルタを配置し、次の行の画素にＧＢＧＢの順にカラーフィルタを配列するベイヤー配列のカラーフィルタを配置する場合、画素領域（縦２画素×横２画素）はＲ，Ｇ、Ｂ、Ｇの４画素になる。その場合、感度調整手段により、上記のような複数の画素（縦２画素×横２画素）が含まれる所定の画素領域毎に画素の感度を時間的に変更することで、色バランスの変化を抑制できる。

尚、全画素や画素領域単位で変化させる場合で、かつ、パルスの周期を途中で見直す場合、光子カウンター４０３の時刻Ｋにおける最も大きいカウント値が、第１の閾値Ｃｘに達するように、パルスの周期を変化させるのが好ましい。又、複数の画素の光子カウンター４０３のカウント値の平均値やヒストグラムに基づいてパルス周期を変更しても良い。
最も大きいカウント値を使用した場合には、すべての画素からの画素信号を復元できるため、好ましい。一方、ヒストグラムを用いた場合には、ヒストグラムから外れたキズ画素のカウント値を除外することができ、画像のＳＮ比を向上させることができる効果がある。

判定回路４０５は、時間カウンター４０４のカウント値が所定の第２の閾値に達しても、時間カウンター４０４に接続されている光子カウンター４０３のカウント値が、第１の閾値Ｃｘに達しない場合には、時間カウンター４０４を止める。そして、その時点での光子カウンター４０３の計測値を出力する。このような構成とすることで、被写体の明るさが非常に暗い場合に、フレームレートが遅くなってしまうことがなくなる。所定の第２の閾値は、時間カウントの最大値Ｋに設定するのが好ましい。

図８は、実施形態１又は実施形態２の光電変換装置１００を用いた撮像装置５００のブロック図である。
撮像装置５００は、例えばデジタルカメラであり、光電変換装置１００、レンズ５０１、画像処理部５０２、光学制御部５０３、記憶部５０４、通信部としての例えば無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５を含む。

レンズ５０１はフォーカスレンズ、ズームレンズ、及び、絞り等を含み、被写体の光学像を形成し、形成した光学像を光電変換装置１００の撮像面に入射する。
光電変換装置１００では、レンズ５０１によって形成される光学像を撮像する。光電変換装置１００の画素領域１２から読みだされた信号は、画像処理部５０２において信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、データ圧縮等の処理がなされ、画像信号が生成される。

尚、画像処理部５０２にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき撮像装置５００全体の各部の動作を制御する制御手段として機能する。又、画像処理部５０２は、パルス生成回路４０７により、光子カウンター４０３が計測を開始してから光子カウンター４０３の計測値が第１の閾値Ｃｘに達するまでの間に、画素２０１の感度変更を行うための制御を行わせる。
光学制御部５０３は、レンズ５０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。

記憶部５０４は、例えば、メモリカード、ハードディスク等の記録媒体を含む。通信部としての無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５は、画像処理部５０２で生成した画像信号を例えばネットワーク５０６を介して撮像装置５００の外部に送信すると共に、外部からの信号を受信する。Ｉ／Ｆ部５０５は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等であっても良く、クライアントが、ネットワーク５０６を介して撮像装置５００を制御することが可能である。

尚、以上の実施形態においては前記光子カウンター４０３の第１の閾値（光子数の閾値）Ｃｘは固定としたが、例えば第１の閾値Ｃｘを、環境情報や被写体情報などに基づき変更させる第１の閾値変更手段を設けても良い。環境情報としては、例えば温度やバッテリ電圧を検出する検出部を備え、温度が所定の温度より高い場合やバッテリ電圧が所定の電圧値より低い場合は、第１の閾値Ｃｘを低くするようにしても良い。

又、被写体情報としては、例えば被写体領域か否か、フォーカスが所定の閾値以上合った被写体か否か、被写体のコントラストが相対的に高い被写体か否かのいずれか１つを含み、それらの条件が満たされる場合に第１の閾値Ｃｘを低くしても良い。そのように制御することで、消費電力を最適化できる。

更に、実施形態１や実施形態２のような画素の感度を時間的に変更する動作と、上記のように第１の閾値（光子数の閾値）Ｃｘを環境情報や被写体情報等に応じて変更する動作を組み合わせても良い。それによって、撮像装置５００の階調や消費電力を更に最適化することができる。
前述したように、光子数が第１の閾値Ｃｘに達するまでの時間Ｔが短いほど、階調が粗くなる。光電変換素子に入射するフォトン数を一定とすると、Ｃｘが小さいほどＴが短くなる。従って、第１の閾値Ｃｘが第３の閾置よりも大きい場合には、画素の感度の時間的な変更は行わず、第１の閾値Ｃｘが第３の閾値よりも小さい場合には、画素の感度の時間的な変更を行ってもよい。第１の閾値Ｃｘが小さいほど、画素の感度の時間的な変更の頻度を上げてもよい。
また、注目する被写体領域ほど階調情報を必要とするため、被写体領域以外は画素の感度の時間的な変更を行わず、被写体領域では画素の感度の時間的な変更を行う構成としてもよい。被写体領域か否かで、画素の感度の時間的な変更の頻度を変更してもよい。
尚、実施形態においては、撮像装置として例えばデジタルカメラに適用した例について説明した。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置や撮像装置等に供給するようにしてもよい。そしてその光電変換装置や撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：光電変換装置
１１：センサチップ
１２：画素領域
２１：回路チップ
２２：画素回路領域
２３：周辺回路領域
２０１：画素
２０２：光電変換部
３０１：信号処理部
３０２：垂直走査回路
３０３：列回路
３０４：水平走査回路
３０５：制御パルス生成部
３０６：信号復元部
３０７：水平出力回路
３１０：垂直信号線
３１１：垂直選択線
４０１：クエンチ素子
４０２：波形整形部
４０３：光子カウンター
４０４：時間カウンター
４０５：判定回路
４０６：選択回路
５００：撮像装置
５０１：レンズ
５０２：画像処理部
５０３：光学制御部
５０４：記憶部
５０５：Ｉ／Ｆ部

Claims (15)

1. 入射した光子に応じて信号を出力する光電変換部を備えた画素と、
   前記画素に入射した前記光子の数を計測する光子カウンターと、
   前記光子カウンターが前記計測を開始してから前記光子カウンターの計測値が第１の閾値に達するまでの時間を計測する時間カウンターと、
   前記光子カウンターが前記計測を開始してから前記光子カウンターの前記計測値が前記第１の閾値に達するまでの間に、前記画素の感度変更を行うための感度調整手段と、を有することを特徴とする光電変換装置。
2. 前記光電変換部は、アバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。
3. 前記感度調整手段は、前記光子カウンターが前記計測を開始してから前記光子カウンターの前記計測値が前記第１の閾値に達するまでの間に、前記感度変更を少なくとも１回行うことを特徴とする請求項１又は２に記載の光電変換装置。
4. 前記感度変更は、前記画素の感度を高くする変更を含むことを特徴とする請求項１～３のいずれか１項に記載の光電変換装置。
5. 前記感度調整手段は、前記光電変換部のバイアス電位を切り替えるためのパルスの周期を変更するパルス生成回路を含むことを特徴とする請求項１～４のいずれか１項に記載の光電変換装置。
6. 前記パルス生成回路は、前記光子カウンターが前記計測を開始してから前記光子カウンターの前記計測値が前記第１の閾値に達するまでの間に、前記パルスの周期を短くすることを特徴とする請求項５に記載の光電変換装置。
7. 前記時間カウンターの計測した時間を、前記画素の出力信号として復元する信号復元部を有することを特徴とする請求項１～６のいずれか１項に記載の光電変換装置。
8. 前記時間カウンターの計測した時間が第２の閾値に達しても、前記光子カウンターの前記計測値が前記第１の閾値に達しない場合は、前記光子カウンターの前記計測値を出力することを特徴とする請求項１～７のいずれか１項に記載の光電変換装置。
9. 前記感度調整手段は、第１の時刻における前記光子カウンターの前記計測値に応じて、前記第１の時刻以降の前記画素の感度を変更することを特徴とする請求項１～８のいずれか１項に記載の光電変換装置。
10. 前記感度調整手段は、前記時間カウンターの計測した時間が第２の閾値に達する際に、前記光子カウンターの前記計測値が前記第１の閾値に達するように、前記第１の時刻以降の前記画素の感度を変更することを特徴とする請求項９に記載の光電変換装置。
11. 前記感度調整手段は、前記画素の感度を、複数の前記画素が含まれる所定の画素領域毎に変更することを特徴とする請求項１～１０のいずれか１項に記載の光電変換装置。
12. 更に、前記第１の閾値を変更させる第１の閾値変更手段を有することを特徴とする請求項１～１１のいずれか１項に記載の光電変換装置。
13. 請求項１～１２のいずれか１項に記載の光電変換装置と、
    前記感度調整手段により、前記画素の感度変更を行わせるための制御手段と、
    を有することを特徴とする撮像装置。
14. 入射した光子に応じて信号を出力する光電変換部を備えた画素と、
    前記画素に入射した前記光子の数を計測する光子カウンターと、
    前記光子カウンターが前記計測を開始してから前記光子カウンターの計測値が第１の閾値に達するまでの時間を計測する時間カウンターと、
    前記画素の感度変更を行うための感度調整手段と、を有する光電変換装置を制御する制御方法であって、
    前記光子カウンターが前記計測を開始してから前記光子カウンターの前記計測値が前記第１の閾値に達するまでの間に、前記感度調整手段によって前記画素の前記感度変更を行う感度調整ステップ、を有することを特徴とする制御方法。
15. 請求項１～１２のいずれか１項に記載の光電変換装置又は請求項１３に記載の撮像装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
    
    

Images