JP2022096472A - 光電変換装置及びその駆動方法 - Google Patents

Abstract

【課題】入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現するための技術を提供する。
【解決手段】光電変換装置は、光子の入射に応じてパルス信号を出力する光電変換部と、光電変換部に接続され、パルス信号を計数する信号処理部と、信号処理部を制御する制御部と、を有する。信号処理部は、並列に配された第１の計数処理部及び第２の計数処理部を有する。制御部は、第１の計数処理部及び第２の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されている。第１の計数処理部がアクティブな期間は、第２の計数処理部がアクティブな第１の期間と、第２の計数処理部が非アクティブな第２の期間と、を含む。
【選択図】図２

Description

本発明は、光電変換装置及びその駆動方法に関する。

単一光子レベルの微弱光を検出可能な検出器として、単一光子アバランシェダイオード（ＳＰＡＤ：Single Photon Avalanche Diode）が知られている。ＳＰＡＤは、半導体のｐｎ接合部に誘起された強電界により発生するアバランシェ増倍現象を用いることで、光子により励起された信号電荷を数倍～数百万倍程度に増幅するものである。アバランシェ増倍現象により発生した電流をパルス信号に変換し、そのパルス信号の数をカウントすることで、入射する光子の個数を直接計測することが可能となる。特許文献１には、センサ部から出力されるパルス信号の数をカウントする方法を工夫し、センシングデバイスに付加機能を与える例が開示されている。

特開２０１９－１４０５３７号公報

しかしながら、従来の技術においては光電変換装置の露光制御について十分な考慮はなされておらず、光子が入射するイベントの発生パターンに応じて必ずしも適切な露光制御を行うことができなかった。

本発明の目的は、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現するための技術を提供することにある。

本発明の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、前記信号処理部を制御する制御部と、を有し、前記信号処理部は、並列に配された第１の計数処理部及び第２の計数処理部を有し、前記制御部は、前記第１の計数処理部及び前記第２の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、前記第１の計数処理部がアクティブな期間は、前記第２の計数処理部がアクティブな第１の期間と、前記第２の計数処理部が非アクティブな第２の期間と、を含む光電変換装置が提供される。

また、本発明の他の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、前記信号処理部を制御する制御部と、を有し、前記信号処理部は、並列に配された複数の計数処理部を有し、前記制御部は、前記複数の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、前記複数の計数処理部の各々がアクティブな期間は互いに異なっており、前記複数の計数処理部のうちの少なくとも一部は、アクティブな期間の少なくとも一部が重なっている光電変換装置が提供される。

また、本発明の更に他の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、を有し、前記信号処理部が、並列に配された複数の計数処理部を有する光電変換装置の駆動方法であって、前記複数の計数処理部の各々がアクティブな期間が互いに異なり、前記複数の計数処理部のうちの少なくとも一部において、アクティブな期間の少なくとも一部が重なるように、前記複数の計数処理部の各々におけるアクティブな期間と非アクティブな期間とを設定する光電変換装置の駆動方法が提供される。

本発明によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

本発明の第１実施形態による光電変換装置の概略構成を示すブロック図である。 本発明の第１実施形態による光電変換装置の画素の構成例を示すブロック図である。 本発明の第１実施形態による光電変換装置の光電変換部の基本動作を説明する図である。 本発明の第１実施形態による光電変換装置の計数処理部の構成例を説明する図である。 本発明の第１実施形態による光電変換装置の構成例を示す斜視図である。 本発明の第１実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。 本発明の第２実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。 本発明の第３実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。 本発明の第４実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。 本発明の第４実施形態の変形例による光電変換装置の画素の構成例を示すブロック図である。 本発明の第５実施形態の変形例による光電変換装置の画素の構成例を示すブロック図である。 本発明の第５実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。 本発明の第６実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第７実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による光電変換装置及びその駆動方法について、図１乃至図６を用いて説明する。図１は、本実施形態による光電変換装置の概略構成を示すブロック図である。図２は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図３は、本実施形態による光電変換装置の光電変換部の基本動作を説明する図である。図４は、本実施形態による光電変換装置の計数処理部の構成例を示す図である。図５は、本実施形態による光電変換装置の構成例を示す斜視図である。図６は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。

はじめに、本実施形態による光電変換装置の構造について、図１乃至図５を用いて説明する。

本実施形態による光電変換装置１００は、図１に示すように、画素部１０と、垂直走査回路部４０と、読み出し回路部５０と、水平走査回路部６０と、出力回路部７０と、制御パルス生成部８０と、を有する。

画素部１０には、複数の行及び複数の列をなすようにアレイ状に配された複数の画素１２が設けられている。各々の画素１２は、光子検知素子を含む光電変換部２０と、画素信号処理部３０と、により構成され得る。なお、画素部１０を構成する画素１２の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列のアレイ状に配された複数の画素１２により画素部１０を構成することができる。或いは、１行又は１列に並べた複数の画素１２により画素部１０を構成してもよい。或いは、１つの画素１２により画素部１０を構成してもよい。

画素部１０の画素アレイの各行には、第１の方向（図１において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。制御線１４の延在する第１の方向は、行方向或いは水平方向と表記することがある。制御線１４の各々は、複数種類の制御信号を画素１２に供給するための複数の信号線を含み得る。

また、画素部１０の画素アレイの各列には、第１の方向と交差する第２の方向（図１において縦方向）に延在して、データ線１６が配されている。データ線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。データ線１６の延在する第２の方向は、列方向或いは垂直方向と表記することがある。データ線１６の各々は、画素１２から出力される複数ビットのデジタル信号をビット毎に転送するための複数の信号線を含み得る。

各行の制御線１４は、垂直走査回路部４０に接続されている。垂直走査回路部４０は、制御パルス生成部８０から出力される制御信号を受け、画素１２を駆動するための制御信号を生成し、制御線１４を介して画素１２に供給する制御部である。垂直走査回路部４０には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。垂直走査回路部４０は、画素部１０内の画素１２を行単位で順次走査し、データ線１６を介して各画素１２の画素信号を読み出し回路部５０へと出力する。

各列のデータ線１６は、読み出し回路部５０に接続されている。読み出し回路部５０は、画素部１０の画素アレイの各列に対応して設けられた複数の保持部（図示せず）を備え、データ線１６を介して画素部１０から行単位で出力される各列の画素１２の画素信号を対応する列の保持部にて保持する機能を備える。

水平走査回路部６０は、読み出し回路部５０の各列の保持部から画素信号を読み出すための制御信号を読み出し回路部５０に供給する制御部である。水平走査回路部６０には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。水平走査回路部６０は、読み出し回路部５０の各列の保持部を順次走査し、各々に保持されている画素信号を順次出力回路部７０へと出力する。

出力回路部７０は、外部インターフェース回路を有し、読み出し回路部５０から出力された画素信号を光電変換装置１００の外部へ出力するための回路部である。出力回路部７０が備える外部インターフェース回路は、特に限定されるものではない。外部インターフェース回路には、例えば、ＬＶＤＳ（Low Voltage Differential Signaling）回路、ＳＬＶＳ（Scalable Low Voltage Signaling）回路等のＳｅｒＤｅｓ（SERializer/DESerializer）送信回路を適用可能である。

制御パルス生成部８０は、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０の動作やそのタイミングを制御する制御信号を生成し、各機能ブロックに供給するための制御回路である。なお、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置１００の外部から供給してもよい。

各々の画素１２は、図２に示すように、光電変換部２０と、画素信号処理部３０と、を有する。光電変換部２０は、光子検知素子２２と、クエンチ素子２４と、波形整形部２６と、を有する。画素信号処理部３０は、計数処理部３２Ａ，３２Ｂと、選択回路３８と、を有する。

光子検知素子２２は、アバランシェフォトダイオード（以下、「ＡＰＤ」と表記する）であり得る。光子検知素子２２を構成するＡＰＤのアノードは、電圧ＶＬが供給されるノードに接続されている。光子検知素子２２を構成するＡＰＤのカソードは、クエンチ素子２４の一方の端子に接続されている。クエンチ素子２４の他方の端子は、電圧ＶＬよりも高い電圧ＶＨが供給されるノードに接続されている。電圧ＶＬ及び電圧ＶＨは、ＡＰＤがアバランシェ増倍動作をするに十分な逆バイアス電圧が印加されるように設定されている。一例では、電圧ＶＬとして負の高電圧が与えられ、電圧ＶＨとして電源電圧程度の正電圧が与えられる。例えば、電圧ＶＬは－３０Ｖであり、電圧ＶＨは１Ｖである。

波形整形部２６の入力ノードは、光子検知素子２２とクエンチ素子２４との間の接続ノードに接続されている。波形整形部２６の出力ノードは、計数処理部３２Ａの入力ノード及び計数処理部３２Ｂの入力ノードに接続されている。計数処理部３２Ａの出力ノード及び計数処理部３２Ｂの出力ノードは、選択回路３８の入力ノードに接続されている。選択回路３８の出力ノードは、データ線１６に接続されている。なお、データ線１６は、計数処理部３２Ａからの信号を出力するための信号線と、計数処理部３２Ｂからの信号を出力するための信号線と、を含み得る。

制御線１４は、制御信号ｐＡＣＴ＿Ａが供給される信号線と、制御信号ｐＡＣＴ＿Ｂが供給される信号線と、制御信号ｐＲＥＳが供給される信号線と、制御信号ｐＳＥＬが供給される信号線と、を含む。計数処理部３２Ａの２つの制御ノードはそれぞれ、制御信号ｐＡＣＴ＿Ａが供給される信号線と、制御信号ｐＲＥＳが供給される信号線と、に接続されている。計数処理部３２Ｂの２つの制御ノードはそれぞれ、制御信号ｐＡＣＴ＿Ｂが供給される信号線と、制御信号ｐＲＥＳが供給される信号線と、に接続されている。選択回路３８の制御ノードは、制御信号ｐＳＥＬが供給される信号線に接続されている。

光子検知素子２２は、前述のようにＡＰＤにより構成され得る。アバランシェ増倍動作をするに十分な逆バイアス電圧をＡＰＤに供給した状態とすることで、ＡＰＤへの光入射によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。ＡＰＤに逆バイアス電圧を供給した状態における動作モードには、ガイガーモードとリニアモードとがある。ガイガーモードは、アノードとカソードとの間に印加する電圧をＡＰＤの降伏電圧よりも大きい逆バイアス電圧とする動作モードである。リニアモードは、アノードとカソードとの間に印加する電圧をＡＰＤの降伏電圧近傍又はそれ以下の逆バイアス電圧とする動作モードである。ガイガーモードで動作させるＡＰＤは、ＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれる。

クエンチ素子２４は、光子検知素子２２で生じたアバランシェ電流の変化を電圧信号に変換する機能を備える。また、クエンチ素子２４は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、光子検知素子２２に印加される電圧を低減してアバランシェ増倍を抑制する機能を備える。クエンチ素子２４がアバランシェ増倍を抑制する動作は、クエンチ動作と呼ばれる。クエンチ素子２４は、抵抗素子やＭＯＳトランジスタなどにより構成され得る。

波形整形部２６は、光子の検出時に光子検知素子２２から出力されるアナログ信号（光子検知素子２２のカソードの電位変化）を光子検知パルス信号に変換するパルス生成部であり、例えばインバータ回路により構成され得る。なお、図２には波形整形部２６としてインバータ回路を１つ用いた例を示しているが、波形整形部２６はこれに限定されるものではなく、例えば、複数のインバータ回路を直列接続した回路で構成してもよいし、波形整形効果を備える他の回路で構成してもよい。

計数処理部３２Ａ，３２Ｂの各々は、波形整形部２６から出力されるパルスの計数を行い、計数結果であるカウント値を保持する機能を備える。計数処理部３２Ａは、垂直走査回路部４０から制御線１４を介して供給される制御信号ｐＡＣＴ＿Ａがアクティブである期間に、波形整形部２６から出力されるパルスを計数する。同様に、計数処理部３２Ｂは、垂直走査回路部４０から制御線１４を介して供給される制御信号ｐＡＣＴ＿Ｂがアクティブである期間に、波形整形部２６から出力されるパルスを計数する。制御信号ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂは、言わば露光期間を設定するための制御信号である。また、計数処理部３２Ａ，３２Ｂは、垂直走査回路部４０から制御線１４を介して供給される制御信号ｐＲＥＳがアクティブになることにより、各々が保持するカウント値をリセットする。なお、図２には計数処理部３２Ａ，３２Ｂを共通の制御信号ｐＲＥＳでリセットする例を示したが、計数処理部３２Ａをリセットするための制御信号と計数処理部３２Ｂをリセットするための制御信号とは別の制御信号でもよい。

選択回路３８は、計数処理部３２Ａ，３２Ｂとデータ線１６との間の電気的な接続状態（接続又は非接続）を切り替える機能を備える。選択回路３８は、垂直走査回路部４０から制御線１４を介して供給される制御信号ｐＳＥＬに応じて、計数処理部３２Ａ，３２Ｂとデータ線１６との間の接続状態を切り替える。選択回路３８は、信号を出力するためのバッファ回路を含み得る。

図３は、光電変換部２０の動作を説明する図である。図３（ａ）は光電変換部２０の回路図であり、図３（ｂ）は波形整形部２６の入力ノード（ノードＡ）における信号の波形を示し、図３（ｃ）は波形整形部２６の出力ノード（ノードＢ）における信号の波形を示している。

時刻ｔ０において、光子検知素子２２には（ＶＨ－ＶＬ）に相当する電位差の逆バイアス電圧が印加されている。光子検知素子２２を構成するＡＰＤのアノードとカソードとの間にはアバランシェ増倍を生じるに十分な逆バイアス電圧が印加されているが、光子検知素子２２に光子が入射していない状態ではアバランシェ増倍の種となるキャリアが存在しない。そのため、光子検知素子２２においてアバランシェ増倍は起こらず、光子検知素子２２に電流は流れない。

続く時刻ｔ１において、光子検知素子２２に光子が入射したものとする（図３中、「フォトン入射」）。光子検知素子２２に光子が入射すると、光電変換によって電子－正孔対が生成され、これらキャリアを種としてアバランシェ増倍が生じ、光子検知素子２２にアバランシェ増倍電流が流れる。このアバランシェ増倍電流がクエンチ素子２４を流れることによりクエンチ素子２４による電圧降下が生じ、ノードＡの電圧が降下し始める。ノードＡの電圧降下量が大きくなり、時刻ｔ３においてアバランシェ増倍が停止すると、ノードＡの電圧レベルはそれ以上降下しなくなる。

光子検知素子２２におけるアバランシェ増倍が停止すると、電圧ＶＬが供給されるノードから光子検知素子２２を介してノードＡに電圧降下分を補う電流が流れ、ノードＡの電圧は徐々に増加する。その後、時刻ｔ５においてノードＡは元の電圧レベルに静定する。

波形整形部２６は、ノードＡから入力される信号を所定の判定閾値に応じて二値化し、ノードＢから出力する。具体的には、波形整形部２６は、ノードＡの電圧レベルが判定閾値を超えているときはノードＢからＬｏｗレベルの信号を出力し、ノードＡの電圧レベルが判定閾値以下のときはノードＢからＨｉｇｈレベルの信号を出力する。例えば、図３（ｂ）に示すように、時刻ｔ２から時刻ｔ４の期間においてノードＡの電圧が判定閾値以下であるとする。この場合、図３（ｃ）に示すように、ノードＢにおける信号レベルは、時刻ｔ０から時刻ｔ２の期間及び時刻ｔ４から時刻ｔ５の期間においてＬｏｗレベルとなり、時刻ｔ２から時刻ｔ４の期間においてＨｉｇｈレベルとなる。

こうして、ノードＡから入力されたアナログ信号は波形整形部２６によってデジタル信号へと波形整形される。光子検知素子２２への光子の入射に応じて波形整形部２６から出力されるパルス信号が、光子検知パルス信号である。

図４は、計数処理部３２の構成例を示す概略図である。計数処理部３２Ａと計数処理部３２Ｂとは同じ構造を有するため、図４には１つの計数処理部３２のみを示し、計数処理部３２Ａと計数処理部３２Ｂとを区別するＡ，Ｂの符号の記載を省略している。

計数処理部３２は、図４に示すように、スイッチＳＷ１と、カウンタ３４と、を有する。スイッチＳＷ１の一方のノードは、計数処理部３２の入力ノードでもあり、波形整形部２６の出力ノードに接続されている（図２参照）。スイッチＳＷ１の他方のノードは、カウンタ３４の入力ノードに接続されている。カウンタ３４の出力ノードは、計数処理部３２の出力ノードでもあり、選択回路３８の入力ノードに接続されている。スイッチＳＷ１の制御ノードには、垂直走査回路部４０から制御線１４を介して制御信号ｐＡＣＴが供給される。カウンタ３４の制御ノードには、垂直走査回路部４０から制御線１４を介して制御信号ｐＲＥＳが供給される。

カウンタ３４は、波形整形部２６から出力されるパルス信号を計数し、計数の結果であるカウント値を保持する機能を備える。例えば、カウンタ３４が１０ビットのバイナリカウンタであれば、垂直走査回路部４０から供給される制御信号ｐＲＥＳが非アクティブになってから次にアクティブになるまでの間に、最大１０２３個のパルスをカウントし保持することができる。なお、カウンタ３４は、バイナリカウンタ以外の計数手段でもよく、ビット数は１０ビットに限定されるものではない。

スイッチＳＷ１は、波形整形部２６から出力されるパルス信号をカウンタ３４に入力するか遮断するかを、垂直走査回路部４０から供給される制御信号ｐＡＣＴに応じて切り替える機能を備える。スイッチＳＷ１は、例えばＣＭＯＳスイッチ回路によって実現できるが、デコーダなどの論理回路やその他の選択手段により構成してもよい。

カウンタ３４の前段にスイッチＳＷ１を設けることで、制御信号ｐＡＣＴがアクティブである期間だけ、波形整形部２６から出力されるパルス信号をカウンタ３４に入力し、パルス信号の数をカウントすることができる。すなわち、制御信号ｐＡＣＴがアクティブになる期間を設定することにより、波形整形部２６から出力されるパルス信号をカウンタ３４でカウントする期間を設定することができる。

このような機能を備える計数処理部３２を複数並列に配することで、１つの光電変換部２０から出力される光子検知パルス信号を並行して複数の計数処理部３２でカウントすることが可能となる。複数の計数処理部３２の各々における計数期間は、制御信号ｐＡＣＴによって制御可能である。

なお、本実施形態では波形整形部２６から出力されるパルス信号をカウンタ３４に入力するか遮断するかをスイッチＳＷ１によって切り替える構成としているが、カウント動作を有効にするか無効にするかを選択する機能をカウンタ３４が備えていてもよい。

本実施形態による光電変換装置１００は、１枚の基板に形成してもよいし、複数の基板を積層した積層型の光電変換装置として構成してもよい。後者の場合、例えば図５に示すように、センサ基板１１０と回路基板１２０とを積層して電気的に接続した積層型の光電変換装置として構成可能である。センサ基板１１０には、画素１２の構成要素のうち少なくとも光子検知素子２２を配置することができる。また、回路基板１２０には、画素１２の構成要素のうち画素信号処理部３０を配置することができる。回路基板１２０には、垂直走査回路部４０、読み出し回路部５０、水平走査回路部６０、出力回路部７０、制御パルス生成部８０等を更に配置してもよい。積層型の光電変換装置を構成することにより、素子の集積度を上げ、高機能化を行うことができる。３枚以上の基板を積層して光電変換装置１００を構成するようにしてもよい。

次に、本実施形態による光電変換装置の駆動方法について、図６を用いて説明する。図６のタイミングチャートには、パルス信号ｐＥＰ、制御信号ｐＲＥＳ，ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ、カウント値Ｃｏｕｎｔ＿Ａ，Ｃｏｕｎｔ＿Ｂ、露光期間Ａ，Ｂを示している。パルス信号ｐＥＰは、光子の入射に応じて波形整形部２６のノードＢから出力される光子検知パルス信号である。カウント値Ｃｏｕｎｔ＿Ａは、計数処理部３２Ａのカウンタ３４のカウント値である。カウント値Ｃｏｕｎｔ＿Ｂは、計数処理部３２Ａのカウンタ３４のカウント値である。露光期間Ａは、制御信号ｐＡＣＴ＿Ａがアクティブな期間に対応して計数処理部３２Ａにおいて計数動作が行われる期間である。露光期間Ｂは、制御信号ｐＡＣＴ＿Ｂがアクティブな期間に対応して計数処理部３２Ｂにおいて計数動作が行われる期間である。

図６では一例として、所定の露光期間Ｔの間にある画素１２に１２００個の光子が等間隔で重なることなく入射する場合を想定している。カウンタ３４は、最大１０２３個のパルスをカウントし、そのカウント値を保持できるものとする。

まず、計数処理部３２Ａの動作を説明する。
時刻ｔ０において、制御信号ｐＲＥＳがアクティブ（Ｈｉｇｈレベル）になり、計数処理部３２Ａのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ａが０にリセットされる。

続く時刻ｔ１において、制御信号ｐＡＣＴ＿Ａがアクティブ（Ｈｉｇｈレベル）になり、計数処理部３２Ａのカウンタ３４がパルス信号ｐＥＰのカウントを開始する。制御信号ｐＡＣＴ＿Ａがアクティブになる時刻ｔ１が露光期間Ａの開始タイミングである。

続く時刻ｔ２において、光子の入射を受けてパルス信号ｐＥＰがアクティブ（Ｈｉｇｈレベル）になる。計数処理部３２Ａのカウンタ３４がこのパルス信号ｐＥＰをカウントすることで、カウンタ３４のカウント値Ｃｏｕｎｔ＿Ａが０から１へと遷移する。

以後、パルス信号ｐＥＰがアクティブになるたびにカウント値Ｃｏｕｎｔ＿Ａがインクリメントされる。しかしながら、時刻ｔ６においてカウント値Ｃｏｕｎｔ＿Ａはカウンタ３４の保持できるカウント値の上限である１０２３に到達しているため、時刻ｔ６にパルス信号ｐＥＰが立ち上がってもカウント値Ｃｏｕｎｔ＿Ａがインクリメントされることはない。

続く時刻ｔ７において制御信号ｐＡＣＴ＿Ａが非アクティブ（Ｌｏｗレベル）になり、計数処理部３２Ａはパルス信号ｐＥＰのカウントを終了する。制御信号ｐＡＣＴ＿Ａが非アクティブになる時刻ｔ７が露光期間Ａの終了タイミングである。

時刻ｔ７において計数処理部３２Ａのカウンタ３４が保持しているカウント値Ｃｏｕｎｔ＿Ａは、露光期間Ａ（時間Ｔ）の間に入射した光子の数と等しいことが期待される。しかしながら、露光期間Ａの間にカウント値Ｃｏｕｎｔ＿Ａがカウンタ３４の保持できる最大値の１０２３に到達した場合、１０２３個以上の光子が入射したという情報しか得ることはできない。

次に、計数処理部３２Ｂの動作を説明する。
時刻ｔ０において、制御信号ｐＲＥＳがアクティブになり、計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂが０にリセットされる。

続く時刻ｔ１において、制御信号ｐＡＣＴ＿Ａがアクティブになり露光期間Ａが開始されるが、制御信号ｐＡＣＴ＿Ｂは非アクティブ（Ｌｏｗレベル）である。続く時刻ｔ２においてパルス信号ｐＥＰがアクティブになるが、計数処理部３２Ｂのカウンタ３４においてこのパルス信号ｐＥＰはカウントされず、計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂが０のままである。

続く時刻ｔ３において、制御信号ｐＡＣＴ＿Ｂがアクティブ（Ｈｉｇｈレベル）になり、計数処理部３２Ｂのカウンタ３４がパルス信号ｐＥＰのカウントを開始する。制御信号ｐＡＣＴ＿Ｂがアクティブになる時刻ｔ３が露光期間Ｂの開始タイミングである。

続く時刻ｔ４において、光子の入射を受けてパルス信号ｐＥＰがアクティブになる。計数処理部３２Ｂのカウンタ３４がこのパルス信号ｐＥＰをカウントすることで、カウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂが０から１へと遷移する。

以後、パルス信号ｐＥＰがアクティブになるたびにカウント値Ｃｏｕｎｔ＿Ｂがインクリメントされる。

時刻ｔ３から時間Ｔ／２が経過した時刻ｔ５において制御信号ｐＡＣＴ＿Ｂが非アクティブ（Ｌｏｗレベル）になり、計数処理部３２Ｂはパルス信号ｐＥＰのカウントを終了する。制御信号ｐＡＣＴ＿Ｂが非アクティブになる時刻ｔ５が露光期間Ｂの終了タイミングである。時刻ｔ５において計数処理部３２Ｂのカウンタ３４が保持しているカウント値Ｃｏｕｎｔ＿Ｂは、カウンタ３４の保持できるカウント値の最大値（１０２３）以下、ここでは６００であるものとする。以後は、計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂがインクリメントされることはない。

なお、本実施形態において、計数処理部３２Ｂが連続してアクティブになる期間の長さは、計数処理部３２Ａ，３２Ｂの双方がアクティブになる期間の長さと同じである。

時刻ｔ７において計数処理部３２Ｂのカウンタ３４が保持しているカウント値Ｃｏｕｎｔ＿Ｂは、露光期間Ｂ（時間Ｔ／２）の間に入射した光子の数と等しい。

ここで、露光期間Ａの間に光子が画素１２に入射する頻度が大きく変化しないのであれば、露光期間Ｂ（時間Ｔ／２）の２倍の長さである露光期間Ａ（時間Ｔ）の間に、およそ６００個の２倍の光子が画素１２に入射したと推定することができる。つまり、露光期間の異なる複数の計数処理部３２を設けることで、仮に一部の計数処理部３２においてカウント値の上限を超えてしまった場合にも、他の計数処理部３２のカウント値から入射した光子の数の情報を得ることが可能となる。

本実施形態の構成及び駆動方法を用いることで、複数の画素１２を有する光電変換装置１００において、ダイナミックレンジの広い像を取得することができる。すなわち、画素部１０の各画素１２を上記のように駆動すれば、像の中で時間Ｔが適切な露光時間となる低輝度な領域と、時間Ｔ／２が適切な露光時間となる高輝度な領域の両方について、時間同時性を保ちながら、適切な露光時間で像を取得することができる。

なお、本実施形態の駆動方法において、計数処理部３２Ａがアクティブな期間は、計数処理部３２Ｂがアクティブな期間と、計数処理部３２Ｂが非アクティブな期間と、を含む。計数処理部３２Ａ及び計数処理部３２Ｂの双方がアクティブな期間を設けることには、被写体のオプティカルフローなどの情報の取得が可能になるなどの利点がある。

本実施形態の説明では、時刻ｔ１から時刻ｔ３の期間の長さをＴ／４、時刻ｔ３から時刻ｔ５の期間の長さをＴ／２、時刻ｔ５から時刻ｔ７の期間の長さをＴ／４としたが、それぞれの期間の長さは０より大きく、３つの期間の合計がＴであればよい。各期間をこのように設定することで、複数の露光期間の各々の間に入射した光子の数の情報を、時間同時性を保ちながら取得することができる。

また、計数処理部３２Ａと計数処理部３２Ｂとは、必ずしも同じ構成を備えている必要はない。例えば、計数処理部３２Ｂのカウンタ３４は、計数処理部３２Ａのカウンタ３４よりも保持するカウント値が小さくなるため、カウント値の最大値を小さくしてもよい。これにより、画素信号処理部３０の回路規模を削減することができる。

このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

［第２実施形態］
本発明の第２実施形態による光電変換装置の駆動方法について、図７を用いて説明する。第１実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第１実施形態による光電変換装置の他の駆動方法を説明する。

図７は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図７のタイミングチャートには、図６と同様、パルス信号ｐＥＰ、制御信号ｐＲＥＳ，ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ、カウント値Ｃｏｕｎｔ＿Ａ，Ｃｏｕｎｔ＿Ｂ、露光期間Ａ，Ｂを示している。

本実施形態の駆動方法において、計数処理部３２Ａが連続してアクティブになる期間の長さと、計数処理部３２Ｂが連続してアクティブになる期間の長さと、は同じである。

まず、時刻ｔ０において、制御信号ｐＲＥＳがアクティブになり、計数処理部３２Ａのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ａ及び計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂが０にリセットされる。

続く時刻ｔ１において、制御信号ｐＡＣＴ＿Ａがアクティブになり、計数処理部３２Ａのカウンタ３４がパルス信号ｐＥＰのカウントを開始する。制御信号ｐＡＣＴ＿Ａがアクティブになる時刻ｔ１が露光期間Ａの開始タイミングである。

その後、時刻ｔ１から時間Ｔ／２が経過した時刻ｔ２において、制御信号ｐＡＣＴ＿Ｂがアクティブになり、計数処理部３２Ｂのカウンタ３４がパルス信号ｐＥＰのカウントを開始する。制御信号ｐＡＣＴ＿Ｂがアクティブになる時刻ｔ２が露光期間Ｂの開始タイミングである。

その後、時刻ｔ０から時間Ｔが経過した時刻ｔ３において制御信号ｐＡＣＴ＿Ａが非アクティブになり、計数処理部３２Ａはパルス信号ｐＥＰのカウントを終了する。制御信号ｐＡＣＴ＿Ａが非アクティブになる時刻ｔ３が露光期間Ａの終了タイミングである。以後は、計数処理部３２Ａのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ａがインクリメントされることはない。

続く時刻ｔ４から時刻ｔ５の期間において、画素１２に光子が５００個入射するイベント（イベントＡ）が発生したものとする。すると、時刻ｔ４から時刻ｔ５の期間の間にパルス信号ｐＥＰに５００個のパルスが重畳し、計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂは５００までインクリメントされる。

その後、時刻ｔ２から時間Ｔが経過した時刻ｔ６において制御信号ｐＡＣＴ＿Ｂが非アクティブになり、計数処理部３２Ｂはパルス信号ｐＥＰのカウントを終了する。制御信号ｐＡＣＴ＿Ｂが非アクティブになる時刻ｔ６が露光期間Ｂの終了タイミングである。以後は、計数処理部３２Ｂのカウンタ３４のカウント値Ｃｏｕｎｔ＿Ｂがインクリメントされることはない。

その結果、時刻ｔ６において、計数処理部３２Ａのカウンタ３４が保持しているカウント値Ｃｏｕｎｔ＿Ａは０となり、計数処理部３２Ｂのカウンタ３４が保持しているカウント値Ｃｏｕｎｔ＿Ｂは５００となる。

ここで一例として、イベントＡは、３Ｔ／２の周期で発生するが、露光期間Ａ，Ｂとは同期しておらず、発生する時間がＴ／２よりも短い場合を想定する。露光期間の長さをＴとしたい場合、計数処理部３２ＡだけではイベントＡにおいて発生した光子の数をカウントできない可能性がある。例えば、図７に示す場合のようにイベントＡが時刻ｔ３から時刻ｔ６までの間に発生してしまうと、計数処理部３２ＡだけではイベントＡにおいて発生する光子の数をカウントすることはできない。

この点、本実施形態の駆動方法では、計数処理部３２Ａの露光期間Ａに対して位相をＴ／２ずらして計数処理部３２Ｂの露光期間Ｂを設定している。したがって、イベントＡと露光期間との位相関係にかかわらず、イベントＡにおいて入射した光子の数を取得することができる。この手法を用いると、複数の画素１２を有する光電変換装置１００において、露光期間と同期せずに、露光期間の長さよりも短い時間で点灯し、その後消灯する光源の点灯を安定して撮像することができる。

また、本実施形態の駆動方法によれば、時間解像度の高い連続した撮像を行うこともできる。例えば、時刻ｔ１から時刻ｔ３の間に発生するイベントと、これに重なって時刻ｔ２から時刻ｔ６の間に発生するイベントとの両方を、計数処理部３２Ａ，３２Ｂのカウント値を途中でリセットしたり画素１２の外へ出力したりすることなく検出することができる。この場合、時刻ｔ１から時刻ｔ２までの期間の長さは、必ずしもＴ／２である必要はなく、０より大きくＴより小さい値であればよい。また、時刻ｔ１から時刻ｔ３までの期間（露光期間Ａ）と時刻ｔ２から時刻ｔ６までの期間（露光期間Ｂ）とは、必ずしも等しい長さである必要はなく、異なる長さであってもよい。

このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

［第３実施形態］
本発明の第３実施形態による光電変換装置の駆動方法について、図８を用いて説明する。第１及び第２実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第１実施形態による光電変換装置の他の駆動方法を説明する。

図８は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図８のタイミングチャートには、パルス信号ｐＥＰ、制御信号ｐＲＥＳ，ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ、露光期間Ａ，Ｂを示している。

本実施形態において、所定期間（例えばフレーム期間）の間に計数処理部３２Ａがアクティブになる回数は第１の回数（１回）であり、当該所定期間の間に計数処理部３２Ｂがアクティブになる回数は第１の回数よりも多い第２の回数（８回）である。計数処理部３２Ｂがアクティブな期間と計数処理部３２Ｂが非アクティブな期間とは、周期的に繰り返される。また、所定期間（例えばフレーム期間）の間に計数処理部３２Ａがアクティブになる期間の合計の長さと、当該所定期間の間に計数処理部３２Ｂがアクティブになる期間の合計の長さと、が等しくなっている。

本実施形態では、時刻ｔ１から時刻ｔ４の間に、画素１２に光子が入射するイベント（イベントＢ）が発生する場合を想定する。この場合、イベントＢが発生している間に計数処理部３２Ａ及び計数処理部３２Ｂのうちの一方を常にアクティブにすれば、入射した光子の数を総て記録することができる。しかしながら、画素１２の面積上の制約から計数処理部３２Ａ，３２Ｂの規模が限られたり、データ線１６の帯域が限られたりする場合、計数処理部３２Ａ，３２Ｂに保持するデータ量を削減する必要がある。このような場合には、イベントＢが発生する期間の長さＴに対し、計数処理部３２Ａ，３２Ｂが光子をカウントする期間の長さを短くし、計数処理部３２Ａ，３２Ｂで保持するデータ量を削減することが有効である。

制御信号ｐＡＣＴ＿Ａは、イベントＢが開始する時刻ｔ１から３Ｔ／８の時間が経過した後の時刻ｔ２においてアクティブになり、時刻ｔ２からＴ／４の時間が経過した後の時刻ｔ３において非アクティブになる。すなわち、時刻ｔ２から時刻ｔ３の期間が露光期間Ａとなる。

一方、制御信号ｐＡＣＴ＿Ｂは、時刻ｔ１から時刻ｔ４までの期間においてアクティブな時間が合計でＴ／４となるように、アクティブと非アクティブとを周期的に繰り返す。時刻ｔ１から時刻ｔ４までの期間のうち、制御信号ｐＡＣＴ＿Ｂがアクティブになっている期間が露光期間Ｂとなる。

つまり、制御信号ｐＡＣＴ＿Ａと制御信号ｐＡＣＴ＿Ｂとは、時刻ｔ１から時刻ｔ４までの期間（長さＴ）のうちアクティブになっている期間の長さの合計はいずれもＴ／４であるが、アクティブになるタイミングが異なっている。

このように露光期間Ａ，Ｂを設定することにより、計数処理部３２Ａでは、イベントＢが発生する期間のうち、中心付近の期間における光子の入射を密に検出することができる。また、計数処理部３２Ａでは、光子の入射を密に検出することはできないが、イベントＢの全期間に渡って光子の入射を検出できるタイミングが存在する。したがって、計数処理部３２Ａと計数処理部３２Ｂとにより、光子の入射を検出するタイミングの違いに応じた異なる情報を取得することが可能となる。

したがって、本実施形態の駆動方法を用いることで、複数の画素１２を有する光電変換装置１００において、計数処理部３２Ａ，３２Ｂに保持するデータ量を抑制しつつ、期間の長いイベントの情報を記録することができる。

このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

［第４実施形態］
本発明の第４実施形態による光電変換装置の駆動方法について、図９及び図１０を用いて説明する。第１乃至第３実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第１実施形態による光電変換装置の他の駆動方法を説明する。

図９は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図９のタイミングチャートには、パルス信号ｐＥＰ、制御信号ｐＲＥＳ，ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ、露光期間Ａ，Ｂを示している。

本実施形態では、時刻ｔ１から時刻ｔ２の間に、画素１２に光子が入射するイベント（イベントＣ）が発生する場合を想定する。

制御信号ｐＡＣＴ＿Ａは、イベントＣが開始する時刻ｔ１においてアクティブになり、イベントＣが終了する時刻ｔ２において非アクティブになる。すなわち、時刻ｔ１から時刻ｔ２までの期間が露光期間Ａとなる。

一方、制御信号ｐＡＣＴ＿Ｂは、正弦波をパルス密度変調した信号とし、時刻ｔ１から時刻ｔ２までの期間に計数処理部３２Ｂへと供給される。時刻ｔ１から時刻ｔ２までの期間のうち、制御信号ｐＡＣＴ＿Ｂがアクティブになっている期間が露光期間Ｂとなる。

時刻ｔ２において計数処理部３２Ａのカウンタ３４が保持しているカウント値は、時刻ｔ１から時刻ｔ２までの間に画素１２に入射した光子の数に相当する値となる。一方、時刻ｔ２において計数処理部３２Ｂのカウンタ３４が保持しているカウント値は、時刻ｔ１から時刻ｔ２までの間に画素１２に入射する光子の個数を露光時間でデジタル変調した値となる。入射する光子の数を露光時間で変調することには、入射する光子の数を単純に時間積分した場合に失われてしまう情報を保持できる効果がある。

本実施形態の駆動方法によれば、複数の画素１２を有する光電変換装置１００において、各画素１２の計数処理部３２Ａからは十分な露光時間を確保した像を取得し、各画素１２の計数処理部３２Ｂからは露光時間を変調した像を取得することができる。これら２つの像を後段の信号処理部で合成することにより、ノイズが小さく、動きボケやブレを除去した像を取得することができる。

なお、本実施形態では、制御信号ｐＡＣＴ＿Ｂとして正弦波をパルス密度変調した信号を適用したが、制御信号ｐＡＣＴ＿Ｂはその他のパルス群であってもよい。制御信号ｐＡＣＴ＿Ｂを構成するパルス群を変更することで、変調方法を変更することができる。

また、本実施形態では、各々の画素１２の画素信号処理部３０が２つの計数処理部３２Ａ，３２Ｂを有する場合を説明したが、画素信号処理部３０が有する計数処理部３２の個数は２つに限定されるものではなく、３つ以上でもよい。各々の画素１２は、例えば図１０に示すように、３つの計数処理部３２Ａ，３２Ｂ，３２Ｃを含んで構成され得る。画素信号処理部３０をこのように構成することにより、複数の画素１２を有する光電変換装置１００において、位相の異なる複数の正弦波で露光時間を変調した複数の像を得ることができる。これらの像を後段の信号処理部で合成することにより、被写体のオプティカルフローなどの情報を取得することができる。

このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

［第５実施形態］
本発明の第５実施形態による光電変換装置及びその駆動方法について、図１１及び図１２を用いて説明する。第１乃至第４実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１１は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図１２は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。

本実施形態による光電変換装置は、図１１に示すように、画素１２の画素信号処理部３０が制御信号選択回路３６を更にしている。制御線１４は、制御信号ｐＡＣＴ＿Ｃが供給される信号線と、制御信号ｐＡＣＴ＿Ｄが供給される信号線と、を更に含む。制御信号選択回路３６の４つの入力ノードはそれぞれ、制御信号ｐＡＣＴ＿Ａが供給される信号線と、制御信号ｐＡＣＴ＿Ｂが供給される信号線と、制御信号ｐＡＣＴ＿Ｃが供給される信号線と、制御信号ｐＡＣＴ＿Ｄが供給される信号線と、に接続されている。制御信号選択回路３６の２つの出力ノードはそれぞれ、計数処理部３２Ａの一方の制御ノードと、計数処理部３２Ｂの一方の制御ノードと、に接続されている。その他の点は、第１実施形態による光電変換装置と同様である。

制御信号選択回路３６は、制御信号ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄの中から選択される制御信号を計数処理部３２Ａ及び計数処理部３２Ｂに供給する機能を備える。計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号の組み合わせは、画素部１０を構成する総ての画素１２において同じであってもよいし、異なっていてもよい。また、１つの画素１２の計数処理部３２Ａと計数処理部３２Ｂとには同じ制御信号が入力されないことを条件に、ランダムに選択した制御信号を複数の画素１２の各々に供給するように構成してもよい。

計数処理部３２Ａ及び計数処理部３２Ｂにおけるアクティブな期間及び非アクティブな期間は、制御信号選択回路３６によって各々に選択された制御信号によって規定されることになる。

次に、本実施形態による光電変換装置の駆動方法について、図１２を用いて説明する。図１２のタイミングチャートには、パルス信号ｐＥＰ、制御信号ｐＲＥＳ，ｐＳＥＬ，ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄ、画素１２Ａの露光期間Ａ，Ｂ、画素１２Ｂの露光期間Ｂを示している。画素１２Ａ及び画素１２Ｂは、画素部１０を構成する複数の画素１２のうちの任意の画素である。

ここで、制御信号ｐＲＥＳがアクティブから非アクティブになるタイミングの後、最初に制御信号ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄのいずれかが非アクティブからアクティブになるタイミングを第１の時刻と定義する。また、第１の時刻の後、次に制御信号ｐＲＥＳが非アクティブからアクティブになるタイミング前に、最後に制御信号ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄのいずれかがアクティブから非アクティブになるタイミングを第２の時刻と定義する。そして、第１の時刻と第２の時刻との間の期間をフレームと呼ぶものとする。

図１２の例では、一のフレーム（第１フレーム）の開始タイミングである第１の時刻が時刻ｔ１であり、当該フレームの終了タイミングである第２の時刻が時刻ｔ２である。また、次のフレーム（第２フレーム）の開始タイミングである第１の時刻が時刻ｔ５であり、当該フレームの終了タイミングである第２の時刻が時刻ｔ６である。

ここでは一例として、制御信号ｐＡＣＴ＿Ａは、フレーム期間中に常にアクティブである制御信号であるものとする。また、制御信号ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄは、フレーム期間中にアクティブと非アクティブとを繰り返す制御信号であるものとする。制御信号ｐＡＣＴ＿Ｂは、フレーム期間中に２度、アクティブとなる制御信号である。制御信号ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄは、フレーム期間中に４度、アクティブとなる制御信号である。制御信号ｐＡＣＴ＿Ｃと制御信号ｐＡＣＴ＿Ｄとは、位相が互いに異なっている。

まず、時刻ｔ０において、制御信号ｐＲＥＳがアクティブ（Ｈｉｇｈレベル）になり、各々の画素１２の計数処理部３２Ａのカウンタ３４のカウント値及び計数処理部３２Ｂのカウンタ３４のカウント値が０にリセットされる。

制御信号ｐＲＥＳがアクティブ（Ｌｏｗレベル）になった後の時刻ｔ１において、第１フレームが開始される。画素１２Ａでは、制御信号選択回路３６により、計数処理部３２Ａに供給する制御信号として制御信号ｐＡＣＴ＿Ａが選択され、計数処理部３２Ｂに供給する制御信号として制御信号ｐＡＣＴ＿Ｂが選択される。また、画素１２Ｂでは、制御信号選択回路３６により、計数処理部３２Ａに供給する制御信号として制御信号ｐＡＣＴ＿Ａが選択され、計数処理部３２Ｂに供給する制御信号として制御信号ｐＡＣＴ＿Ｃが選択される。

これにより、画素１２Ａの計数処理部３２Ａでは、制御信号ｐＡＣＴ＿Ａに応じた露光期間Ａの間、入射する光子の数がカウントされる。また、画素１２Ａの計数処理部３２Ｂでは、制御信号ｐＡＣＴ＿Ｂに応じた露光期間Ｂの間、入射する光子の数がカウントされる。同様に、画素１２Ｂの計数処理部３２Ａでは、制御信号ｐＡＣＴ＿Ａに応じた露光期間Ａの間、入射する光子の数がカウントされる。また、画素１２Ｂの計数処理部３２Ｂでは、制御信号ｐＡＣＴ＿Ｃに応じた露光期間Ｂの間、入射する光子の数がカウントされる。各々の画素１２における計数処理は、時刻ｔ２まで行われる。

このように、第１フレームにおいて、画素１２Ａの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、画素１２Ｂの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、は異なっている。

続く時刻ｔ３において、制御信号ｐＳＥＬがアクティブ（Ｈｉｇｈレベル）になり、各々の画素１２の計数処理部３２Ａ，３２Ｂのカウンタ３４が保持するカウント値がデータ線１６を介して読み出し回路部５０へと出力される。

続く時刻ｔ４において、制御信号ｐＲＥＳがアクティブになり、各々の画素１２の計数処理部３２Ａのカウンタ３４のカウント値及び計数処理部３２Ｂのカウンタ３４のカウント値が０にリセットされる。

制御信号ｐＲＥＳがアクティブになった後の時刻ｔ５において、第２フレームが開始される。画素１２Ａでは、制御信号選択回路３６により、計数処理部３２Ａに供給する制御信号として制御信号ｐＡＣＴ＿Ａが選択され、計数処理部３２Ｂに供給する制御信号として制御信号ｐＡＣＴ＿Ｃが選択される。また、画素１２Ｂでは、制御信号選択回路３６により、計数処理部３２Ａに供給する制御信号として制御信号ｐＡＣＴ＿Ａが選択され、計数処理部３２Ｂに供給する制御信号として制御信号ｐＡＣＴ＿Ｄが選択される。

これにより、画素１２Ａの計数処理部３２Ａでは、制御信号ｐＡＣＴ＿Ａに応じた露光期間Ａの間、入射する光子の数がカウントされる。また、画素１２Ａの計数処理部３２Ｂでは、制御信号ｐＡＣＴ＿Ｃに応じた露光期間Ｂの間、入射する光子の数がカウントされる。同様に、画素１２Ｂの計数処理部３２Ａでは、制御信号ｐＡＣＴ＿Ａに応じた露光期間Ａの間、入射する光子の数がカウントされる。また、画素１２Ｂの計数処理部３２Ｂでは、制御信号ｐＡＣＴ＿Ｄに応じた露光期間Ｂの間、入射する光子の数がカウントされる。各々の画素１２における計数処理は、時刻ｔ６まで行われる。

このように、第２フレームにおいて、画素１２Ａの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、画素１２Ｂの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、は異なっている。また、第１フレームにおいて画素１２Ａの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、第２フレームにおいて画素１２Ａの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、は異なっている。同様に、第１フレームにおいて画素１２Ｂの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、第２フレームにおいて画素１２Ｂの計数処理部３２Ａ及び計数処理部３２Ｂに供給される制御信号ｐＡＣＴの組と、は異なっている。

その後、第１フレームと同様にして、各々の画素１２の計数処理部３２Ａ，３２Ｂのカウンタ３４が保持するカウント値を、データ線１６を介して読み出し回路部５０へと出力する。

本実施形態の駆動方法によれば、複数の画素１２を有する光電変換装置１００において、画素１２毎やフレーム毎に露光期間のパターンを変化した像を取得することができる。これらの像を後段の信号処理部で合成することにより、時間解像度、空間解像度が高い画像を再構成することができる。

このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。

［第６実施形態］
本発明の第６実施形態による撮像システムについて、図１３を用いて説明する。図１３は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１乃至第５実施形態で述べた光電変換装置１００は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１３には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１３に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２及び絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１乃至第５実施形態のいずれかで説明した光電変換装置１００であって、レンズ２０２により結像された光学像を画像データに変換する。

撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するデジタル信号から画像データの生成を行う。また、信号処理部２０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置２０１は、信号処理部２０８で処理されるデジタル信号を生成するＡＤ変換部を備えうる。ＡＤ変換部は、撮像装置２０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置２０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部２０８が撮像装置２０１と同一の半導体基板に形成されていてもよい。

撮像システム２００は、更に、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。更に撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。

撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、第１乃至第５実施形態による光電変換装置１００を適用した撮像システムを実現することができる。

［第７実施形態］
本発明の第７実施形態による撮像システム及び移動体について、図１４を用いて説明する。図１４は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１４（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１乃至第５実施形態のいずれかに記載の光電変換装置１００である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図１４（ｂ）に、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示した。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記第１乃至第５実施形態において、画素１２の回路構成は、図２に示されるものに限定されるものではない。例えば、図２ではクエンチ素子２４を光子検知素子２２のカソード端子の側に接続しているが、クエンチ素子２４を光子検知素子２２のアノード端子の側に接続してもよい。この場合、波形整形部２６は、光子検知素子２２のアノード端子とクエンチ素子２４との間に接続され得る。また、光子検知素子２２とクエンチ素子２４との間や光電変換部２０と画素信号処理部３０との間にトランジスタ等のスイッチを設け、これらの間の電気的な接続状態を制御するようにしてもよい。また、電圧ＶＨが供給されるノードとクエンチ素子２４との間及び／又は電圧ＶＬが供給されるノードと光子検知素子２２との間にトランジスタ等のスイッチを設け、これらの間の電気的な接続状態を制御するようにしてもよい。

また、画素信号処理部３０は、必ずしも総ての画素１２に設けられている必要はなく、複数の画素１２が１つの画素信号処理部３０を共有するように構成されていてもよい。この場合、１つの画素信号処理部３０によって当該複数の画素１２の光電変換部２０から出力される信号を順次処理するように構成することができる。

また、上記第１乃至第５実施形態では、計数処理部３２Ａ，３２Ｂを有する画素信号処理部３０を説明したが、画素信号処理部３０が有する計数処理部３２の数は２個に限定されるものではなく、３個以上であってもよい。

また、上記第１乃至第５実施形態では、制御信号の信号レベルと計数処理部３２等の状態との関係を、各制御信号がＨｉｇｈレベルのときをアクティブ状態とする正論理で規定しているが、負論理で規定してもよい。

また、上記第５実施形態では、４種類の制御信号ｐＡＣＴ＿Ａ，ｐＡＣＴ＿Ｂ，ｐＡＣＴ＿Ｃ，ｐＡＣＴ＿Ｄの中から計数処理部３２Ａ，３２Ｂに供給される制御信号を選択する例を示したが、制御信号ｐＡＣＴの数は４種類に限定されるものではない。また、画素部１０を構成する総ての画素１２において制御信号ｐＡＣＴの数が必ずしも同じである必要はない。

また、上記第６及び第７実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図１３及び図１４に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１２…画素
２０…光電変換部
２２…光子検知素子
２４…クエンチ素子
２６…波形整形部
３０…画素信号処理部
３２Ａ，３２Ｂ…計数処理部
３４…カウンタ
３６…制御信号選択回路
３８…選択回路
４０…垂直走査回路部
８０…制御パルス生成部
１００…光電変換装置
２００，３００…撮像システム

Claims (19)

1. 光子の入射に応じてパルス信号を出力する光電変換部と、
   前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、
   前記信号処理部を制御する制御部と、を有し、
   前記信号処理部は、並列に配された第１の計数処理部及び第２の計数処理部を有し、
   前記制御部は、前記第１の計数処理部及び前記第２の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、
   前記第１の計数処理部がアクティブな期間は、前記第２の計数処理部がアクティブな第１の期間と、前記第２の計数処理部が非アクティブな第２の期間と、を含む
   ことを特徴とする光電変換装置。
2. 前記第２の計数処理部が連続してアクティブになる期間の長さは、前記第２の期間の長さと同じである
   ことを特徴とする請求項１記載の光電変換装置。
3. 前記第１の計数処理部が連続してアクティブになる期間の長さと、前記第２の計数処理部が連続してアクティブになる期間の長さと、が同じである
   ことを特徴とする請求項１記載の光電変換装置。
4. 所定期間の間に前記第１の計数処理部がアクティブになる回数は第１の回数であり、
   前記所定期間の間に前記第２の計数処理部がアクティブになる回数は、前記第１の回数よりも多い第２の回数である
   ことを特徴とする請求項１記載の光電変換装置。
5. 前記第１の計数処理部は、前記所定期間の中心を含む期間において１回、アクティブになる
   ことを特徴とする請求項４記載の光電変換装置。
6. 前記所定期間の間に、前記第２の計数処理部がアクティブな期間と前記第２の計数処理部が非アクティブな期間とが周期的に繰り返される
   ことを特徴とする請求項４又は５記載の光電変換装置。
7. 前記所定期間の間に前記第１の計数処理部がアクティブになる期間の合計の長さと、前記所定期間の間に前記第２の計数処理部がアクティブになる期間の合計の長さと、が等しい
   ことを特徴とする請求項４又は５記載の光電変換装置。
8. 前記信号処理部は、前記第１の計数処理部及び前記第２の計数処理部と並列して配された第３の計数処理部を更に有し、
   前記制御部は、前記第３の計数処理部に対し、アクティブな期間と非アクティブな期間とを設定するように更に構成されており、
   前記所定期間の間に前記第３の計数処理部がアクティブになる回数は、前記第１の回数よりも多い第３の回数であり、
   前記第２の計数処理部がアクティブな期間と前記第３の計数処理部がアクティブな期間とは、少なくとも一部が異なっている
   ことを特徴とする請求項４乃至６のいずれか１項に記載の光電変換装置。
9. 前記所定期間は、フレーム期間である
   ことを特徴とする請求項４乃至６のいずれか１項に記載の光電変換装置。
10. 前記光電変換部と前記信号処理部とを各々が有する複数の画素を有する
    ことを特徴とする請求項１記載の光電変換装置。
11. 前記複数の画素の各々は、前記制御部から供給される複数の制御信号の中から前記第１の計数処理部及び前記第２の計数処理部の各々に供給される制御信号を選択する制御信号選択回路を更に有し、
    前記第１の計数処理部及び前記第２の計数処理部のアクティブな期間及び非アクティブな期間は、前記制御信号選択回路によって各々に選択された制御信号によって規定される
    ことを特徴とする請求項１０記載の光電変換装置。
12. 前記複数の画素のうちの第１の画素の前記第１の計数処理部及び前記第２の計数処理部に供給される前記制御信号の組と、前記複数の画素のうちの第２の画素の前記第１の計数処理部及び前記第２の計数処理部に供給される前記制御信号の組と、が異なっている
    ことを特徴とする請求項１１記載の光電変換装置。
13. 前記複数の画素のうちの少なくとも一の画素は、一のフレームにおいて前記第１の計数処理部及び前記第２の計数処理部に供給される前記制御信号の組と、他のフレームにおいて前記第１の計数処理部及び前記第２の計数処理部に供給される前記制御信号の組と、が異なっている
    ことを特徴とする請求項１１記載の光電変換装置。
14. 前記光電変換部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに接続されたクエンチ素子と、前記アバランシェフォトダイオードと前記クエンチ素子との接続ノードに入力ノードが接続された波形整形部と、を有する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
15. 前記光電変換部が設けられた第１基板と、前記信号処理部が設けられた第２基板と、が積層されてなる
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。
16. 光子の入射に応じてパルス信号を出力する光電変換部と、
    前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、
    前記信号処理部を制御する制御部と、を有し、
    前記信号処理部は、並列に配された複数の計数処理部を有し、
    前記制御部は、前記複数の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、
    前記複数の計数処理部の各々がアクティブな期間は互いに異なっており、
    前記複数の計数処理部のうちの少なくとも一部は、アクティブな期間の少なくとも一部が重なっている
    ことを特徴とする光電変換装置。
17. 光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、を有し、前記信号処理部が、並列に配された複数の計数処理部を有する光電変換装置の駆動方法であって、
    前記複数の計数処理部の各々がアクティブな期間が互いに異なり、前記複数の計数処理部のうちの少なくとも一部において、アクティブな期間の少なくとも一部が重なるように、前記複数の計数処理部の各々におけるアクティブな期間と非アクティブな期間とを設定する
    ことを特徴とする光電変換装置の駆動方法。
18. 請求項１乃至１６のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理装置と
    を有することを特徴とする撮像システム。
19. 移動体であって、
    請求項１乃至１６のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images