JP2022106649A - 光電変換装置、光検出システム - Google Patents

Abstract

【課題】 駆動させるモードが複数ある場合の具体的なパルス信号の制御することができる光電変換装置を提供することができる。【解決手段】 光電変換装置は、アノードとカソードとを含むアバランシェフォトダイオードと、前記アノードおよび前記カソードのうちの一方のノードと駆動電圧が印加される電源線とに接続され、前記一方のノードと前記電源線との間の抵抗値を切り替えるスイッチと、前記スイッチの切り替えを制御するためのパルス信号を生成する信号生成部と、を備え、第１のモードと、前記第１のモードよりも低い照度での撮影モードである第２のモードとを切り替え可能であり、１フレーム分の信号を取得する露光期間において、前記第２のモードの前記パルス信号の数は、前記第１のモードの前記パルス信号の数よりも少ない。【選択図】 図１０

Description

本発明は、光電変換を行う光電変換装置、および光検出システムに関する。

複数のアバランシェフォトダイオード（ＡＰＤ）を含む画素が平面的に２次元アレイ上に配置されるように形成された画素アレイを含む光電変換装置が知られている。各画素においては、半導体領域内のＰＮ接合領域において、単一光子に起因した光電荷がアバランシェ増倍を起こす。

特許文献１には、ＡＰＤを有する画素が、ＡＰＤと、ＡＰＤに接続されたクエンチ回路と、ＡＰＤから出力される信号が入力される信号制御回路と、クエンチ回路と信号制御回路に接続されたパルス生成回路と、が開示されている。パルス生成回路は、クエンチ回路のオンオフを制御している。また、ＡＰＤの出力ノードの電位をリセットして、高輝度下でも入力光子に応じたパルス信号を出力することが開示されている。

特開２０２０－１２３８４７号公報

特許文献１には、光電変換装置を駆動させるモードが複数ある場合にクエンチ回路に入力するパルス信号の数や周期をどのようにするかに関しては何ら開示されていない。モードとは種々あり限定されるものではないが、例えば、第１のモードと第１のモードよりも暗い環境下で撮影する第２のモードとにおけるパルス信号をどのようにするかである。特許文献１は、駆動させるモードが複数ある場合のパルス信号の制御に関して検討する余地がある。

一形態に係る光電変換装置は、アノードとカソードとを含むアバランシェフォトダイオードと、前記アノードおよび前記カソードのうちの一方のノードと駆動電圧が印加される電源線とに接続され、前記一方のノードと前記電源線との間の抵抗値を切り替えるスイッチと、前記スイッチの切り替えを制御するためのパルス信号を生成する信号生成部と、を備え、第１のモードと、前記第１のモードよりも低い照度での撮影モードである第２のモードとを切り替え可能であり、１フレーム分の信号を取得する露光期間において、前記第２のモードの前記パルス信号の数は、前記第１のモードの前記パルス信号の数よりも少ない。

本発明によれば、駆動させるモードが複数ある場合の具体的なパルス信号の制御することができる光電変換装置を提供することができる。

光電変換装置の構成を示す図 センサ基板の配置例 回路基板の配置例 光電変換素子の等価回路を含むブロック図 光電変換素子の駆動のタイミングチャート図 画素間のクロストークの影響による出力分布を示す図 比較形態に係る光電変換装置の第１のモードと第２のモードにおける制御パルスのタイミングチャート図 比較形態に係る光電変換装置の第１のモードと第２のモードにおける出力カウント数を示す図 比較形態による画素間のクロストークの影響による出力分布を示す図 実施形態１に係る光電変換装置の第１のモードと第２のモードにおける制御パルスのタイミングチャート図 実施形態１に係る光電変換装置の第１のモードと第２のモードにおける出力カウント数を示す図 実施形態１による画素間のクロストークの影響による出力分布を示す図 実施形態２に係る光電変換装置のブロック図 実施形態３の光検出システムのブロック図 実施形態４に係る自動露出制御における被写体輝度値と制御信号ＣＬＫ数を示す図 実施形態４に係る自動露出制御のフローチャート図 実施形態５の光検出システムのブロック図 実施形態６の光検出システムのブロック図 実施形態７の光検出システムのブロック図 実施形態７の光検出システムのフローチャート 実施形態８の電子機器の具体例を示す図

以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。

図１乃至図４を用いて、各実施形態における光電変換装置に共通する構成を説明する。光電変換装置はアバランシェダイオードを含むＳＰＡＤ画素を有する。アバランシェダイオードで生じる電荷対のうち信号電荷として用いられる電荷の導電型を第１導電型と呼ぶ。第１導電型とは、信号電荷と同じ極性の電荷を多数キャリアとする導電型を指す。また、第１導電型と反対の導電型を第２導電型と呼ぶ。以下では、信号電荷が電子であり、第１導電型がＮ型、第２導電型がＰ型である例を説明するが、信号電荷が正孔であり、第１導電型がＰ型、第２導電型がＮ型であってもよい。

信号電荷が電子の場合は、ＡＰＤのカソードから信号が読み出されるが、信号電荷が正孔の場合は、ＡＰＤのアノードから信号が読み出される。したがって、ＡＰＤのカソードとアノードが逆の関係になる。

本明細書において、「平面視」とは、後述する光電変換素子が配される半導体層の光入射面に対して垂直な方向から視ることを指す。また、断面とは、光電変換素子が配される半導体層の光入射面と垂直な方向における面を指す。なお、微視的に見て半導体層の光入射面が粗面である場合は、巨視的に見たときの半導体層の光入射面を基準として平面視を定義する。

まず、各実施形態に共通する構成を説明する。

図１は、本発明の実施形態に光電変換装置１００の構成を示す図である。以下では、光電変換装置１００が積層型の光電変換装置である場合を例にして説明する。つまり、センサ基板１１と、回路基板２１の２つの基板が積層され、且つ電気的に接続されることにより構成される光電変換装置を例として説明する。しかしながら、光電変換装置はこれに限定されない。例えば、以下で説明する、センサ基板１１に含まれる構成と回路基板に含まれる構成とが共通の半導体層に配された光電変換装置であってもよい。以下では、センサ基板１１に含まれる構成と回路基板に含まれる構成とが共通の半導体層に配された光電変換装置を非積層の光電変換装置ともいう。

センサ基板１１は、後述する光電変換素子１０２を有する第１半導体層と、第１配線構造と、を有する。回路基板２１は、後述する信号処理回路１０３等の回路を有する第２半導体層と、第２配線構造と、を有する。光電変換装置１００は、第２半導体層、第２配線構造、第１配線構造、第１半導体層の順に積層して構成される。

図１では、第１面から光が入射し、第１面とは反対側の面である第２面に回路基板が配される、裏面照射型の光電変換装置を図示している。非積層の光電変換装置の場合は、信号処理回路のトランジスタが配される側の面を第２面という。裏面照射型の光電変換装置の場合は、半導体層の第２面とは反対側の第１面が光入射面となる。また、表面照射型の光電変換装置の場合は、半導体層の第２面が光入射面となる。

以下では、センサ基板１１と回路基板２１とは、ダイシングされたチップで説明するが、チップに限定されない。例えば、各基板はウエハであってもよい。また、各基板はウエハ状態で積層した後にダイシングされていてもよいし、チップ化した後に各チップを積層して接合してもよい。

センサ基板１１には、画素領域１２が配され、回路基板２１には、画素領域１２で検出された信号を処理する回路領域２２が配される。

図２は、センサ基板１１の配置例を示す図である。アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換素子１０２を有する画素１０１が平面視で２次元アレイ状に配列され、画素領域１２を形成する。

画素１０１は、典型的には、画像を形成するための画素であるが、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）に用いる場合には、必ずしも画像を形成しなくてもよい。すなわち、画素１０１は、光が到達した時刻と光量を測定するための画素であってもよい。

図３は、回路基板２１の構成図である。図２の光電変換素子１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路部１１１、信号線１１３、垂直走査回路部１１０を有している。

図２の光電変換素子１０２と、図３の信号処理回路１０３は、画素毎に設けられた接続配線を介して電気的に接続される。

垂直走査回路部１１０は、制御パルス生成部１１５から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

制御パルス生成部１１５は、後述するスイッチの制御信号ＣＬＫを生成する信号生成部２１５を有する。信号生成部２１５は、後述するように、スイッチを制御するパルス信号の周期、パルス数、およびパルス幅の少なくともいずれか１つを露光期間に対応させて生成している。制御パルス生成部１１５は、例えば、分周回路を有することが好ましい。これにより、シンプルに制御することが可能となり、素子数が増大することを低減できる。

画素の光電変換素子１０２から出力された信号は、信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。

水平走査回路部１１１は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

信号線１１３には、選択されている列について、垂直走査回路部１１０により選択された画素の信号処理回路１０３から信号が出力される。

信号線１１３に出力された信号は、出力回路１１４を介して、光電変換装置１００の外部の記録部または信号処理部に出力する。

図２において、画素領域における光電変換素子の配列は１次元状に配されていてもよい。信号処理部の機能は、必ずしも全ての光電変換素子に１つずつ設けられる必要はなく、例えば、複数の光電変換素子によって１つの信号処理部が共有され、順次信号処理が行われてもよい。

図２および図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路部１１０、水平走査回路部１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路部１１０、水平走査回路部１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

なお、信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は図３に限定されない。例えば、信号線１１３はが行方向に延びて配されており、読み出し回路１１２を信号線１１３が延びる先に配してもよい。

図４は、図２及び図３の等価回路を含むブロック図の一例である。

図４において、ＡＰＤ２０１を有する光電変換素子１０２は、センサ基板１１に設けられており、その他の部材は、回路基板２１に設けられている。

ＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノードは、駆動電圧ＶＬ（第１電圧）が供給される電源線と接続されている。また、ＡＰＤ２０１の２つのノードのうちの他方のノードは、アノードに供給される電圧ＶＬよりも高い駆動電圧ＶＨ（第２電圧）が供給される電源線と接続されている。図４では、ＡＰＤ２０１の一方のノードはアノードであり、ＡＰＤの他方のノードはカソードである。ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

尚、逆バイアスの電圧が供給される場合において、アノードおよびカソードの電圧差が降伏電圧より大きいな電圧差で動作させるガイガーモードと、アノードおよびカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。

ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。ＡＰＤ２０１は、リニアモードで動作させてもよいし、ガイガーモードで動作させてもよい。ＳＰＡＤの場合はリニアモードのＡＰＤに比べて電圧差が大きくなり、耐圧の効果が顕著となるため、ＳＰＡＤであることが好ましい。

スイッチ２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノードおよびカソードのうちの一方のノードとに接続される。そして、スイッチ２０２は、ＡＰＤ２０１と駆動電圧ＶＨが供給される電源線との間の抵抗値を切り替えている。ここで、抵抗値を切り替えるとは、抵抗値を１０倍以上変えることが好ましく、抵抗値を１００倍以上変えることがより好ましい。以下では当該抵抗値が低くなることをスイッチ２０２のオンともいい、当該抵抗値が高くなることをスイッチ２０２のオフともいう。スイッチ２０２は、クエンチ素子として機能する。スイッチ２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。また、スイッチ２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を駆動電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

スイッチ２０２は、例えば、ＭＯＳトランジスタにより構成することができ、図４では、スイッチ２０２がＰＭＯＳトランジスタである場合を示している。信号生成部２１５から供給されるスイッチ２０２の制御信号ＣＬＫは、スイッチ２０２を構成するＭＯＳトランジスタのゲート電極に印加されている。本実施形態では、スイッチ２０２のゲート電極への印加電圧を制御することにより、スイッチ２０２のオンとオフとを制御している。

信号処理回路１０３は、波形整形部２１０、カウンタ回路２１１、選択回路２１２を有する。なお、図４では。信号処理回路１０３は、波形整形部２１０、カウンタ回路２１１、および選択回路２１２を有するが、本明細書において、信号処理回路１０３は、波形整形部２１０、カウンタ回路２１１、選択回路２１２の少なくともいずれか１つを有していればよい。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０の入力側のノードをｎｏｄｅＡ、出力側のノードをｎｏｄｅＢとする。波形整形部２１０は、ノードｎｏｄｅＡへの入力電圧が所定の値以上か、それよりも低いかに応じて、ノードｎｏｄｅＢからの出力電圧を変化させている。例えば、図５において、ノードｎｏｄｅＡへの入力電圧が判定閾値以上の高い電圧となるとノードｎｏｄｅＢからの出力電圧がローレベルとなる。そして、ノードｎｏｄｅＡへの入力電圧が判定閾値よりも低い電圧となると、ノードｎｏｄｅＢからの出力電圧がハイレベルとなる。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを一つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。

ＡＰＤ２０１でのアバランシェ増倍に応じてスイッチ２０２を用いたクエンチ動作とリチャージ動作とを行うことが可能であるが、光子の検出タイミングによっては出力信号として判定されない場合がある。例えば、ＡＰＤでアバランシェ増倍が生じてノードｎｏｄｅＡへの入力電圧がローレベルとなり、リチャージ動作が行われているときを想定する。一般的に、波形整形部２１０の判定閾値はＡＰＤでアバランシェ増倍が生じる電圧差よりも高い電圧に設定される。リチャージ動作によりノードｎｏｄｅＡの電圧が判定閾値よりも低い状態で且つＡＰＤでのアバランシェ増倍可能な電圧のときに光子が入射すると、ＡＰＤでアバランシェ増倍が生じてｎｏｄｅＡの電圧が下がる。つまり、判定閾値よりも低い電圧でｎｏｄｅＡの電圧が下がるため、光子を検出しているにも関わらず、ノードｎｏｄｅＢからの出力電圧が変化しない。したがって、アバランシェ増倍が生じているにも関わらず、信号として判定されなくなる。特に、高照度下においては、光子が短い期間で連続して入るため、信号として判定されにくくなる。これにより、高照度であるにも関わらず、実際の光子の入射数と出力された信号とが乖離しやすい。

これに対して、スイッチ２０２に制御信号ＣＬＫを印加してスイッチ２０２のオンとオフとを切り替えることにより、短時間に光子が連続してＡＰＤへと入る場合にも信号として判定することが可能となる。図５では、制御信号ＣＬＫは繰り返し周期のパルス信号である例を説明する。言い換えると、図５では、所定のクロック周波数でスイッチ２０２のオンオフが切り替えられる形態を説明する。しかしながら、光電変換装置の消費電力の増大を抑制する効果は、パルス信号が繰り返し周期の信号でなくても得ることは可能である。

カウンタ回路２１１は、波形整形部２１０から出力されたパルス信号をカウントし、カウント値を保持する。また、駆動線２１３を介して制御パルスｐＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。

選択回路２１２には、図３の垂直走査回路部１１０から、図４の駆動線２１４（図３では不図示）を介して制御パルスｐＳＥＬが供給され、カウンタ回路２１１と信号線１１３との電気的な接続、非接続を切り替える。選択回路２１２には、例えば、信号を出力するためのバッファ回路などを含む。図４に示す出力信号ＯＵＴが画素から出力される信号である。

スイッチ２０２とＡＰＤ２０１との間や、光電変換素子１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換素子１０２に供給される電圧ＶＨまたは電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。

本実施形態では、カウンタ回路２１１を用いる構成を示した。しかし、カウンタ回路２１１の代わりに、時間・デジタル変換回路（Ｔｉｍｅ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ：以下、ＴＤＣ）、メモリを用いて、パルス検出タイミングを取得する光電変換装置１００としてもよい。このとき、波形整形部２１０から出力されたパルス信号の発生タイミングは、ＴＤＣによってデジタル信号に変換される。ＴＤＣには、パルス信号のタイミングの測定に、図１の垂直走査回路部１１０から駆動線を介して、制御パルスｐＲＥＦ（参照信号）が供給される。ＴＤＣは、制御パルスｐＲＥＦを基準として、波形整形部２１０を介して各画素から出力された信号の入力タイミングを相対的な時間としたときの信号をデジタル信号として取得する。

図５は、スイッチの制御信号ＣＬＫ、ノードｎｏｄｅＡの電圧、ノードｎｏｄｅＢの電圧、出力信号の関係を模式的に示した図である。本実施形態では、制御信号ＣＬＫがハイレベルの場合にＡＰＤへと駆動電圧ＶＨが供給されにくい状態となり、制御信号ＣＬＫがローレベルの場合にＡＰＤへと駆動電圧ＶＨが供給される状態となる。制御信号ＣＬＫがハイレベルとは、例えば、１Ｖであり、制御信号ＣＬＫがローレベルとは、例えば、０Ｖである。制御信号ＣＬＫがハイレベルの場合にスイッチはオフとなり、制御信号ＣＬＫがローレベルの場合にスイッチはオンとなる。制御信号ＣＬＫがハイレベルの場合におけるスイッチの抵抗値は、制御信号ＣＬＫがローレベルの場合におけるスイッチの抵抗値よりも高くなる。制御信号ＣＬＫがハイレベルの場合は、ＡＰＤでアバランシェ増倍が生じてもリチャージ動作が行われにくいため、ＡＰＤへと供給される電圧がＡＰＤの降伏電圧以下の電圧となる。したがって、ＡＰＤでのアバランシェ増倍動作が停止する。

図４に示すように、スイッチ２０２を１つのトランジスタで構成し、１つのトランジスタでクエンチ動作とリチャージ動作とを行うことが好ましい。これにより、クエンチ動作とリチャージ動作とをそれぞれ異なる回路素子で行う場合に比べて、回路数を減らすことが可能となる。特に、各画素がカウンタ回路を有し、画素毎にＳＰＡＤの信号を読み出す場合には、カウンタ回路を配置するためスイッチに用いる回路面積を小さくすることが好ましく、１つのトランジスタでスイッチ２０２を構成することによる効果が顕著となる。

時刻ｔ１において、制御信号ＣＬＫはハイレベルからローレベルへと変化して、スイッチがオンとなり、ＡＰＤのリチャージ動作が開始される。これにより、ＡＰＤのカソードの電圧がハイレベルへと遷移する。そして、ＡＰＤのアノードとカソードへと印加される電圧の電圧差がアバランシェ増倍可能な状態となる。カソードの電圧はノードｎｏｄｅＡと同じである。したがって、カソードの電圧がローレベルからハイレベルへと遷移するときに、時刻ｔ２でノードｎｏｄｅＡの電圧は判定閾値以上となる。このとき、ノードｎｏｄｅＢから出力されるパルス信号は反転して、ハイレベルからローレベルとなる。その後、ＡＰＤ２０１には、駆動電圧ＶＨ－駆動電圧ＶＬの電圧差が印加される状態となる。制御信号ＣＬＫがハイレベルとなり、スイッチはオフとなる。

次に、時刻ｔ３において、光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、スイッチ２０２にアバランシェ増倍電流が流れ、カソードの電圧は降下する。つまり、ノードｎｏｄｅＡの電圧は降下する。電圧降下量がさらに大きくなり、ＡＰＤ２０１に印加される電圧差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ノードｎｏｄｅＡの電圧レベルはある一定値以上降下しなくなる。ノードｎｏｄｅＡの電圧が降下する途中でｎｏｄｅＡの電圧が判定閾値よりも低くなると、ノードｎｏｄｅＢの電圧はローレベルからハイレベルとなる。つまり、ノードｎｏｄｅＡにおいて出力波形が判定閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢで信号として出力される。そして、カウンタ回路でカウントされ、カウンタ回路から出力されるカウンタ信号のカウント値が１ＬＳＢ分増加する。

時刻ｔ３と時刻ｔ４の間にＡＰＤに光子が入射しているが、スイッチがオフの状態であり、ＡＰＤ２０１への印加電圧がアバランシェ増倍可能な電圧差となっていないため、ノードｎｏｄｅＡの電圧レベルは判定閾値を超えない。

時刻ｔ４において、制御信号ＣＬＫがハイレベルからローレベルに変わり、スイッチがオンとなる。これに伴い、ノードｎｏｄｅＡには駆動電圧ＶＬから電圧降下分を補う電流が流れ、ノードｎｏｄｅＡの電圧は元の電圧レベルへと遷移する。このとき、時刻ｔ５でノードｎｏｄｅＡの電圧が判定閾値以上となるため、ノードｎｏｄｅＢのパルス信号は反転し、ハイレベルからローレベルになる。

時刻ｔ６において、ノードｎｏｄｅＡは元の電圧レベルに静定し、制御信号ＣＬＫはローレベルからハイレベルになる。したがって、スイッチはオフとなる。以降においても、時刻ｔ１から時刻ｔ６で説明したように制御信号ＣＬＫや光子の入射に応じて各ノードや信号線などの電圧が変化する。

以下では、各実施形態の光電変換装置について説明する。

＜実施形態１＞
まず、図６を用いて、画素間のクロストークに関して説明する。図６（ａ）では、画素領域における５×５の画素の出力分布を示す図であり、図６（ｂ）は、図６（ａ）のＸ線における相対出力値である。画素１０１ａはキズ画素を示している。図６（ａ）（ｂ）に示すように、画素領域内にキズ画素があると、入射光の照度によらず画素１０１ａの周囲に配された画素１０１ｂ、画素１０１ｃの出力レベルが上がる。これは、画素１０１ａにおけるアバランシェ発光に起因して、隣り合う画素でも電荷が発生し、当該電荷により隣り合う画素でアバランシェ増倍が生じているためと考えられる。つまり、画素１０１ａのキズによりアバランシェ発光が生じやすくなり、これにより、クラスター状のキズが発生し、画素１０１ａの周囲の画素の相対出力が高くなっていると考えられる。したがって、得られる画像の画質が低下する。

図７、図８、及び図９を参照しながら比較形態について説明し、その後、図１０、図１１、及び図１２を参照しながら実施形態１について説明する。

上述のように、キズのある画素１０１ａが画素領域内にある場合に、スイッチへの制御信号ＣＬＫのタイミングを常に一定にすると、光電変換装置の撮像モードによっては、得られる画像の画質の低下が目立つ場合がある。

図７（ａ）は、比較形態の高照度撮影時における１ｆｒａｍｅ期間における制御信号や画素１０１ａにおけるアバランシェ発光などのタイミングチャートを示す図である。また、図７（ｂ）は、比較形態の低照度撮影時における１ｆｒａｍｅ期間における制御信号や画素１０１ａにおけるアバランシェ発光などのタイミングチャートを示す図である。比較形態は、高照度撮影時および低照度撮影時のいずれの場合においても、一定の制御信号ＣＬＫがスイッチに供給されている。以下では、高照度での撮影モードを第１のモード、低照度での撮影モードを第２のモードともいう。

１ｆｒａｍｅ期間とは、例えば、パルス信号ＶＤの立ち上がりから次のパルス信号ＶＤの立ち上がりまでの期間を指す。１ｆｒａｍｅ期間とは、例えば、垂直走査回路部１１０により画素領域に配された１行目の画素から最終行目の画素までを走査する期間である。つまり、垂直同期信号であるパルス信号ＶＤが１度ハイレベルとなった後に、次にハイレベルとなるまでの期間が１ｆｒａｍｅ期間となる。ここで、１ｆｒａｍｅ期間において１行目の画素から最終行目の画素まですべての行の画素を走査する必要はない。例えば、すべての行のうちの一部の行を間引いて走査する場合は、ある行から一方向に走査して最後の行を走査し終わるまでの期間を１ｆｒａｍｅ期間とする。例えば、画素領域が１行目の画素からｎ行目の画素を有し、２行目から走査を開始してｎ－１行目まで走査する場合を想定する。この場合は、２行目からｎ－１行目まで走査する期間が１ｆｒａｍｅ期間となる。そして次に２行目からｎ―１行目まで走査する期間は次の１ｆｒａｍｅ期間となる。また、ある行を間引いて走査した後に、間引いた行を走査する場合は、間引いた行を走査し終わるまでが１ｆｒａｍｅ期間としてもよい。

各ｆｒａｍｅ期間の間において、信号処理回路のカウンタ回路のカウント値をリセットすることが好ましい。カウント値のリセットのタイミングは、全画素共通に行ってもよいし、画素行ごとに順次行ってもよい。

本実施形態において、露光期間とは、例えば、１フレーム分の信号を取得する期間である。また、露光期間とは、光電変換素子が搭載されたカメラの場合、ＡＰＤ２０１に光が入射可能な状態で、且つ、ＡＰＤおよび信号処理回路が信号を読み出し可能な状態の期間を指す。ここで、光が入射可能な状態とは、機械的ないし電気的なシャッター等により遮光されていない状態を指す。また、ＡＰＤおよび信号処理回路が信号を読み出し可能な期間とは、意図的にＡＰＤや信号処理回路をオフしていない期間を指す。なお、本明細書において、ＡＰＤでのクエンチ動作の期間はこれに該当せず、クエンチ動作期間は、信号を読み出し可能な期間とする。また、非露光期間とは、画素領域におけるＡＰＤ２０１が遮光され光が入射しない状態の期間を指す。例えば、シャッターが閉じている期間がこれにあたる。なお、露光期間、非露光期間は、シャッターの開閉に限定されず、ＡＰＤ２０１に印加されるバイアスを調整して光子信号取得の可否を変えることで定義してもよい。

制御信号ＣＬＫは、図４や図５で説明したスイッチ２０２のオンオフを制御する信号である。

Ｄａｒｋ ｅｖｅｎｔｓは、図６の画素１０１ａへのアバランシェ発光による光子の発生タイミングを示す図である。Ｄａｒｋ ｅｖｅｎｔｓにおいて、立ち上がりのタイミングが光子の発生タイミングである。なお、実線も破線も光子の発生タイミングであるが、破線は信号としてカウントされない光子の発生タイミングである。これは前述の通り、ノードｎｏｄｅＡの電圧が判定閾値以上となる前にノードｎｏｄｅＡの電圧が下がり、信号として判定されないためである。

Ｄａｒｋ ｃｏｕｎｔｓは画素１０１ａに含まれるカウンタ回路のカウント動作を示している。制御信号ＣＬＫの電圧がローレベルであるときにＡＰＤのリチャージ動作が行われる。したがって、リチャージ動作が行われたあとに、光子がＡＰＤで電荷がアバランシェ増倍されると信号として判定され、カウンタ回路のカウント数が１つ増える。

Ｃｒｏｓｓｔａｌｋ ｅｖｅｎｔｓは画素１０１ａの周辺画素におけるクロストークが生じるタイミングを示す図である。クロストークが生じるタイミングはランダムであるため、図７（ａ）、図７（ｂ）では一例を示している。

第１のモードでも第２のモードでもアバランシェ発光等による電荷の発生のタイミング数には実質的に差はなく、一定の確率で生じる。

図８（ａ）は、図７（ａ）の第１のモードにおける１画素あたりの入射光子数と出力カウント数との関係を示している。また、図８（ｂ）は、図７（ｂ）の第２のモードにおける１画素あたりの入射光子数と出力カウント数との関係を示している。

図８（ａ）に示すように、第１のモードにおいては、信号レベルに対してキズ出力レベルは低くなる。一方で、図８（ｂ）に示すように、第２のモードにおいては、信号レベルに対してキズ出力レベルが高くなる場合がある。

図９（ａ）は第１のモードにおける画素１０１ａ及びその周囲の５×５の画素の出力分布を示す図であり、図９（ｂ）は、図９（ａ）のＸ線における相対出力値である。図９（ｃ）は第２のモードにおける画素１０１ａ及びその周囲の５×５の画素の出力分布を示す図であり、図９（ｄ）は、図９（ｃ）のＸ線における相対出力値である。図９（ｂ）及び図９（ｄ）には各撮影時における信号レベルを示している。第１のモードにおいては、信号レベルの相対出力値が画素１０１ａの相対出力値よりも高くなるため、キズ等の欠陥に基づく画素１０１ａの異常な出力については目立ちにくい。一方で、第２のモードにおいては、信号レベルの相対出力値が画素１０１ａの相対出力値よりも低くなるため、画素１０１ａの異常な出力が目立つことになる。したがって、第２のモードにおいては、クロストークに起因して生じる信号により、画素に入射した光子の信号をリアルタイムで確認しにくくなる。

そこで、本実施形態では、第２のモードにおいて、制御信号ＣＬＫのタイミングを制御することにより、画素１０１ａの影響を減らすことができることを確認した。以下において、比較形態と同様の構成については、同じ符号を付して説明を省略する場合がある。

図９（ａ）は、実施形態１の第１のモードにおける１ｆｒａｍｅ期間における制御信号や画素１０１ａにおけるアバランシェ発光などのタイミングチャートを示す図である。また、図９（ｂ）は、実施形態１の第２のモードにおける１ｆｒａｍｅ期間における制御信号や画素１０１ａにおけるアバランシェ発光などのタイミングチャートを示す図である。

実施形態１は、第２のモードにおいて、１ｆｒａｍｅ期間の制御信号ＣＬＫのパルス信号の数を第１のモードにおける１ｆｒａｍｅ期間の制御信号ＣＬＫのパルス信号の数よりも少なくしている。

本実施形態によれば、第２のモードにおける画素１０１ａの異常な出力を検出しにくくなり、比較形態に比べて、画質の低下を抑制することができる。

第２のモードにおける単位時間あたりの制御信号ＣＬＫの数は、例えば、第１のモードにおける単位時間あたりの制御信号ＣＬＫの数の半分以下であることが好ましい。また、第２のモードにおける単位時間あたりの制御信号ＣＬＫの数は、例えば、第１のモードにおける単位時間あたりの制御信号ＣＬＫの数の１／１００以下であることがより好ましい。

第２のモードにおける制御信号ＣＬＫの数は、例えば、５００よりも少ないことが好ましく、１００よりも少ないことがさらに好ましい。

図１１（ａ）は、図１０（ａ）の第１のモードにおける１画素あたりの入射光子数と出力カウント数との関係を示している。また、図１１（ｂ）は、図１０（ｂ）の第２のモードにおける１画素あたりの入射光子数と出力カウント数との関係を示している。

図１１（ｂ）に示すように、本実施形態の第２のモードにおいては、キズ出力レベルを信号レベルよりも低くすることができる。したがって、画素１０１ａからのクロストークに起因する信号の読み出しを低減することができ、比較形態に比べて画質の低下を抑制することが可能となる。

第２のモードにおけるフレーム期間の露光期間内におけるパルス信号の数は、カウンタ回路の最大カウント値よりも小さくなっている。第２のモードにおいては、第１のモードに比べて出力カウント数が少なくなるが、低照度撮影時は入射光子の数が少ないため、出力カウント数を少なくしても問題なく入射光子の数をカウントすることは可能となる。

第２のモードで撮影した画像は、デジタルゲインをかけて補正してもよい。

図１２（ａ）は第１のモードにおける画素１０１ａ及びその周囲の５×５の画素の出力分布を示す図であり、図１２（ｂ）は、図１２（ａ）のＸ線における相対出力値である。図１２（ｃ）は第２のモードにおける画素１０１ａ及びその周囲の５×５の画素の出力分布を示す図であり、図１２（ｄ）は、図１２（ｃ）のＸ線における相対出力値である。図１２（ｂ）及び図１２（ｄ）には各撮影時における信号レベルを示している。図１２（ｃ）からわかるように、本実施形態によれば、第２のモードにおいては、画素１０１ａの相対出力値を比較形態よりも低くすることができる。したがって、第２のモードにおいては、クロストークに起因して生じる信号により、画素に入射した光子の信号をリアルタイムで確認しにくくなる。

なお、図１０等では２つのモードの例を説明したが、第１のモードおよび第２のモードとは異なる照度撮影である第３のモードを有していてもよい。また、４つ以上のモードを有していてもよい。

第１のモードと第２のモードとは、露光期間が異なっていてもよい。例えば、第１のモードの露光期間が第２のモードの露光期間よりも短くてもよい。なお、第１のモードと第２のモードとの露光期間が同じであっても、本実施形態による効果を得ることができる。

また、図１０では、制御信号ＣＬＫの周期および周波数は、各モードで一定にしているが、複数の制御信号ＣＬＫの周期や周波数が含まれていてもよい。例えば、制御信号ＣＬＫがローレベルになってから次にローレベルになるまでの期間が、１ｆｒａｍｅ期間内で複数混在していてもよい。

上述の通り、本実施形態によれば、第２モードにおいて画素から得られる信号のノイズによる影響を低減することができる。これにより、第２のモードの撮影で得られる画像の画質の低下を比較形態に比べて低減することができる。

＜実施形態２＞
図１３は、実施形態２における画素領域のうちの一部の画素１０１の回路ブロック図である。実施形態２は、画素領域において所定の領域ごとに制御信号ＣＬＫのパルス信号のパターンを変える点が実施形態１とは異なる。この点及び以下で説明する事項以外は、実質的に実施形態１と同様であるため、実施形態１と同様の構成については同一の符号を付して、説明を省略する場合がある。

信号生成部２１５から出力された共通の制御信号Ｇｌｏｂａｌ ｃｌｏｃｋは、所定の領域ごとに配された制御回路２１６ａ、２１６ｂに供給される。制御回路２１６ａ、２１６ｂは、所定の領域内の画素１０１のスイッチ２０２に接続されている。制御回路２１６ａは制御信号ＣＬＫ１を入力することで当該領域内の４つの画素の駆動を制御している。制御回路２１６ｂは制御信号ＣＬＫ２を入力することで当該領域内の４つの画素の駆動を制御している。

制御信号ＣＬＫ１と制御信号ＣＬＫ２とは異なるパターンのパルス信号とすることができる。例えば、１ｆｒａｍｅ期間内におけるパルス数の数を、制御信号ＣＬＫ１よりも制御信号ＣＬＫ２の方が多くなるようにすることができる。また、１ｆｒａｍｅ期間内におけるパルス数の周期を、制御信号ＣＬＫ１よりも制御信号ＣＬＫ２の方が長くなるようにすることができる。

本実施形態によれば、実施形態１と同様に、第２モードにおいて画素から得られる信号のノイズによる影響を低減することができる。また、領域ごとに制御信号ＣＬＫのパターンを変えることができるため、光が入射しやすい領域と入射しにくい領域とで制御信号ＣＬＫのパターンを変えて画質の低下をより抑制することが可能となる。

図１３では、制御回路２１６が４つの画素を制御しているが画素数はこれに限定されない。例えば、１画素に対して１つの制御回路２１６が接続され、画素毎に制御信号ＣＬＫのパターンを変えてもよいし、５以上の画素に接続されていてもよい。

＜実施形態３＞
図１４は、本実施形態に係る光検出システム１２００の構成を示すブロック図である。本実施形態の光検出システム１２００は、光電変換装置１２０４を含む。ここで、光電変換装置１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光検出システム１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１４では、光検出システム１２００としてデジタルスチルカメラの例を示している。

図１４に示す光検出システム１２００は、光電変換装置１２０４、被写体の光学像を光電変換装置１２０４に結像させるレンズ１２０２、レンズ１２０２を通過する光量を可変にするための絞り１２０３、レンズ１２０２の保護のためのバリア１２０１を有する。レンズ１２０２および絞り１２０３は、光電変換装置１２０４に光を集光する光学系である。絞り１２０３と光電変換装置１２０４との間には、シャッター１２２２が配されている。シャッター１２２２の開け閉めにより、光電変換装置の露光期間を制御している。

光検出システム１２００は、光電変換装置１２０４から出力される出力信号の処理を行う信号処理部１２０５を有する。信号処理部１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光検出システム１２００は、光電変換装置１２０４と信号処理部１２０５との間に輝度検出部１２２３を有する。輝度検出部１２２３は被写体の明るさを検出し、制御パルス生成部１１５、タイミング発生部１２０７、及び信号処理部１２０５へと被写体の輝度情報を伝達する。そして、被写体の輝度情報をもとに制御パルス生成部１１５は、スイッチへの制御信号ＣＬＫのタイミングを制御している。光検出システム１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１２０９を有する。更に光検出システム１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１２１１、記録媒体１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１２１０を有する。記録媒体１２１１は、光検出システム１２００に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御Ｉ／Ｆ部１２１０から記録媒体１２１１との通信や外部Ｉ／Ｆ部１２０９からの通信は無線によってなされてもよい。

更に光検出システム１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１２０８、光電変換装置１２０４と信号処理部１２０５に各種タイミング信号を出力するタイミング発生部１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光検出システム１２００は、少なくとも光電変換装置１２０４と、光電変換装置１２０４から出力された出力信号を処理する信号処理部１２０５とを有すればよい。全体制御・演算部１２０８およびタイミング発生部１２０７は、光電変換装置１２０４の制御機能の一部または全部を実施するように構成してもよい。

光電変換装置１２０４は、画像用信号を信号処理部１２０５に出力する。信号処理部１２０５は、光電変換装置１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１２０５は、光電変換装置１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１２０５やタイミング発生部１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１２０５やタイミング発生部１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。

＜実施形態４＞
上述した撮像システムの機能の一例として自動露出制御（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能がある。光検出システム１２００は、輝度検出部１２２３により検出された被写体の輝度情報をもとに、光電変換装置１２０４の露光期間や絞り１２０３の絞り値を制御するだけでなく、制御信号ＣＬＫのタイミング制御を行うことによって露出制御を行う。つまり、被写体の輝度情報をもとに撮影環境が低照度であるか高照度であるかを判断し、高照度である場合は撮影モードをモードＡとして露光期間や絞り値の制御を行い、低照度である場合は撮影モードをモードＢとして制御信号ＣＬＫの数を制御する。モードＢにおける制御信号ＣＬＫの数は、例えば実施形態１に示したように制御される。これにより、撮影シーンに応じて露出制御値が変わった場合においても、前述の実施形態に記載のキズ等の欠陥に基づく異常な出力を検出しにくくすることができ、画質の低下を抑制した自動露出制御が可能となる。

図１５は、本実施形態に係る自動露出制御フローの一例を示したものである。

図１５に示すフローでは、まず初めに被写体の輝度情報を取得する（Ｓ１）。さらに、取得した輝度情報を基に露出制御値の算出を行う（Ｓ２）。算出を行った露出制御値と閾値ＥＶｔ１との比較を行い（Ｓ３）、露出制御値が所定の閾値ＥＶｔ１以上となる場合には撮影環境が高照度であると判断し、撮影モードをモードＡとして自動露出制御を行う。一方で、算出した露出制御値が所定の閾値ＥＶｔ１より小さい場合は、さらに露出制御値と閾値ＥＶｔ２との比較を行う（Ｓ４）。露出制御値が所定の閾値ＥＶｔ２以上の場合は撮影環境が低照度であると判断し、撮影モードを第１の実施形態における第１のモードとして制御信号ＣＬＫの数の制御を行ってから自動露出制御を終える（Ｓ５）。露出制御値が所定の閾値ＥＶｔ２以下の場合は撮影環境がより低照度であると判断し、撮影モードを実施形態１における第２のモードとして制御信号ＣＬＫの数の制御を行ってから自動露出制御を終える（Ｓ６）。このとき、所定の閾値ＥＶｔ１及びＥＶｔ２は撮影環境照度を判定するための指標となる。ＥＶｔ１及びＥＶｔ２は、低照度の場合においても前述の実施形態に記載のキズ等の欠陥に基づく異常な出力を検出しにくくなるような値に設定されることが望ましい。図１６（ａ）は、本実施形態に係る自動露出制御を行った際に光電変換装置１２０４から出力される画像用信号から算出した被写体輝度値を示したものである。また、図１６（ｂ）は、本実施形態に係る自動露出制御を行った際に前述した被写体輝度値と制御信号ＣＬＫの数との比率を示したものである。

図１６（ａ）に示すように、高照度時のように露出制御値が大きくなる場合においては撮影モードをモードＡとして、被写体輝度値が所定の輝度範囲内になるように露光期間や絞り値が制御される。一方で、低照度時のような露出制御値が小さくなる場合においては撮影モードをモードＢとして、露光期間や絞り値の制御は行わないため露出制御値が小さくなるにつれて被写体輝度値は減少していく。しかしながら、図１６（ｂ）に示すように、露出制御値が小さくなる場合において、被写体輝度値と制御信号ＣＬＫの数との比率が所定の制御範囲内になるように制御信号ＣＬＫの数が制御される。制御信号ＣＬＫの制御として、例えば前述の実施形態１に示した制御が行われる。高照度環境下で露出制御値が大きい状態から、低照度環境下で露出制御値が小さい状態に撮影環境が変化したとする。このとき、照度及び露出制御値の変化に伴って、撮影モードの制御をモードＡの制御、モードＢの第１のモードによる制御、モードＢの第２のモードによる制御の順に制御を切り替えることが可能である。ここで、モードＢにおいて、前述した所定の制御範囲は狭いほうが好ましく、露出制御値が変化した場合にキズ等の欠陥に基づく異常な出力の見え方が大きく変化しないことが望ましい。具体的には、前述した所定の制御範囲の上限値が下限値の２倍以下の値となるような制御範囲であることが望ましい。制御範囲はこれに制限されるものではなく、キズ等の欠陥に基づく異常な出力が目立たない程度の制御範囲となっていればよい。また、モードＡにおいては、撮影環境が高照度である場合を想定しているが、高照度下ではそもそもキズ等の欠陥に基づく異常な出力が目立ちにくいため、被写体輝度値と制御信号ＣＬＫの数との比率は必ずしも所定の制御範囲に入らなくてもよい。

このような自動露出制御により、撮影シーンに応じて露出制御値が変わった場合においても、前述の実施形態１あるいは実施形態２に記載の制御方法を用いてキズ等の欠陥に基づく異常な出力を検出しにくくすることができる。これにより、画質の低下を抑制した自動露出制御が可能となる。

＜実施形態５＞
図１７は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサの構成例を示すブロック図である。

図１７に示すように、距離画像センサ４０１は、光学系４０７、光電変換装置４０８、画像処理回路４０４、モニタ４０５、およびメモリ４０６を備えて構成される。そして、距離画像センサ４０１は、光源装置４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。

光学系４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置４０８に導き、光電変換装置４０８の受光面（センサ部）に結像させる。

光電変換装置４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路４０４に供給される。

画像処理回路４０４は、光電変換装置４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。

このように構成されている距離画像センサ４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。

＜実施形態６＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１８は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１８では、術者（医師）１１３１が、内視鏡手術システム１００３を用いて、患者ベッド１１３３上の患者１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００３は、内視鏡１１００と、術具１１１０と、内視鏡下手術のための各種の装置が搭載されたカート１１３４と、から構成される。

内視鏡１１００は、先端から所定の長さの領域が患者１１３２の体腔内に挿入される鏡筒１１０１と、鏡筒１１０１の基端に接続されるカメラヘッド１１０２と、から構成される。図示する例では、硬性の鏡筒１１０１を有するいわゆる硬性鏡として構成される内視鏡１１００を図示しているが、内視鏡１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１００には光源装置１２０３が接続されており、光源装置１２０３によって生成された光が、鏡筒１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１３５に送信される。

ＣＣＵ１１３５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１００及び表示装置１１３６の動作を統括的に制御する。さらに、ＣＣＵ１１３５は、カメラヘッド１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１３６は、ＣＣＵ１１３５からの制御により、ＣＣＵ１１３５によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１００に供給する。

入力装置１１３７は、内視鏡手術システム１００３に対する入力インターフェースである。ユーザーは、入力装置１１３７を介して、内視鏡手術システム１００３に対して各種の情報の入力や指示入力を行うことができる。

処置具制御装置１１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１２の駆動を制御する。

内視鏡１１００に術部を撮影する際の照射光を供給する光源装置１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

＜実施形態７＞
本実施形態の光検出システムおよび移動体について、図１９及び図２０用いて説明する。図１９は、本実施形態による光検出システムおよび移動体の構成例を示す概略図である。図２０は、本実施形態による光検出システムの動作を示すフロー図である。本実施形態では、光検出システムとして、車載カメラの一例を示す。

図１９は、車両システムとこれに搭載される撮像を行う光検出システムの一例を示したものである。光検出システム１３０１は、光電変換装置１３０２、画像前処理部１３１５、集積回路１３０３、光学系１３１４を含む。光学系１３１４は、光電変換装置１３０２に被写体の光学像を結像する。光電変換装置１３０２は、光学系１３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１３１５は、光電変換装置１３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１３１５の機能は、光電変換装置１３０２内に組み込まれていてもよい。光検出システム１３０１には、光学系１３１４、光電変換装置１３０２および画像前処理部１３１５が、少なくとも２組設けられており、各組の画像前処理部１３１５からの出力が集積回路１３０３に入力されるようになっている。

集積回路１３０３は、撮像システム用途向けの集積回路であり、メモリ１３０５を含む画像処理部１３０４、光学測距部１３０６、測距演算部１３０７、物体認知部１３０８、異常検出部１３０９を含む。画像処理部１３０４は、画像前処理部１３１５の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ１３０５は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部１３０６は、被写体の合焦や、測距を行う。測距演算部１３０７は、複数の光電変換装置１３０２により取得された複数の画像データから測距情報の算出を行う。物体認知部１３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１３０９は、光電変換装置１３０２の異常を検出すると、主制御部１３１３に異常を発報する。

集積回路１３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

主制御部１３１３は、光検出システム１３０１、車両センサ１３１０、制御ユニット１３２０等の動作を統括・制御する。主制御部１３１３を持たず、光検出システム１３０１、車両センサ１３１０、制御ユニット１３２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取り得る。

集積回路１３０３は、主制御部１３１３からの制御信号を受け或いは自身の制御部によって、光電変換装置１３０２へ制御信号や設定値を送信する機能を有する。

光検出システム１３０１は、車両センサ１３１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態および自車外環境や他車・障害物の状態を検出することができる。車両センサ１３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光検出システム１３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光検出システム１３０１や車両センサ１３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。

また、光検出システム１３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置１３１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザーに警告を行う。

本実施形態では、車両の周囲、例えば前方または後方を光検出システム１３０１で撮影する。図１９（ｂ）に、車両前方を光検出システム１３０１で撮像する場合の光検出システム１３０１の配置例を示す。

２つの光電変換装置１３０２は、車両１３００の前方に配される。具体的には、車両１３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配されると、車両１３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１３０２は、運転者が運転席から車両１３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置１３１２は、運転者の視野に入りやすい配置が好ましい。

次に、光検出システム１３０１における光電変換装置１３０２の故障検出動作について、図２０を用いて説明する。光電変換装置１３０２の故障検出動作は、図２０に示すステップＳ１４１０～Ｓ１４８０に従って実施される。

ステップＳ１４１０は、光電変換装置１３０２のスタートアップ時の設定を行うステップである。すなわち、光検出システム１３０１の外部（例えば主制御部１３１３）または光検出システム１３０１の内部から、光電変換装置１３０２の動作のための設定を送信し、光電変換装置１３０２の撮像動作および故障検出動作を開始する。

次いで、ステップＳ１４２０において、有効画素から画素信号を取得する。また、ステップＳ１４３０において、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換素子を備える。この光電変換素子には、所定の電圧が書き込まれる。故障検出用画素は、この光電変換素子に書き込まれた電圧に対応する信号を出力する。なお、ステップＳ１４２０とステップＳ１４３０とは逆でもよい。

次いで、ステップＳ１４４０において、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。ステップＳ１４４０における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップＳ１４５０に移行し、撮像動作が正常に行われていると判定し、処理ステップがステップＳ１４６０へと移行する。ステップＳ１４６０では、走査行の画素信号をメモリ１３０５に送信して一次保存する。そののち、ステップＳ１４２０に戻り、故障検出動作を継続する。一方、ステップＳ１４４０における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理ステップはステップＳ１４７０に移行する。ステップＳ１４７０において、撮像動作に異常があると判定し、主制御部１３１３、または警報装置１３１２に警報を発報する。警報装置１３１２は、表示部に異常が検出されたことを表示させる。その後、ステップＳ１４８０において光電変換装置１３０２を停止し、光検出システム１３０１の動作を終了する。

なお、本実施形態では、１行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、１フレーム毎に故障検出動作を行ってもよい。ステップＳ１４７０の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。

また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光検出システム１３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。

＜実施形態８＞
図２１（ａ）は、１つの適用例に係る眼鏡１６００（スマートグラス）を説明する。眼鏡１６００には、光電変換装置１６０２を有する。光電変換装置１６０２は、上記の各実施形態に記載の光電変換装置である。また、レンズ１６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６０２の配置位置は図２１（ａ）に限定されない。

眼鏡１６００は、制御装置１６０３をさらに備える。制御装置１６０３は、光電変換装置１６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６０３は、光電変換装置１６０２と表示装置の動作を制御する。レンズ１６０１には、光電変換装置１６０２に光を集光するための光学系が形成されている。

図２１（ｂ）は、１つの適用例に係る眼鏡１６１０（スマートグラス）を説明する。眼鏡１６１０は、制御装置１６１２を有しており、制御装置１６１２に、光電変換装置１６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６１１には、制御装置１６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６１１には画像が投影される。制御装置１６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザーの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。

赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザーの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。

より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザーの視線が検出される。

本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザーの視線情報に基づいて表示装置の表示画像を制御してよい。

具体的には、表示装置は、視線情報に基づいて、ユーザーが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。

また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。

なお、第一の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。

視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。

＜その他の実施形態＞
以上、各実施形態について説明したが、本発明はこれらの実施形態に制限されるものではなく、様々な変更および変形が可能である。また、各実施形態は相互に適用可能である。

２０１ ＡＰＤ
１０３ 信号処理回路
２０２ スイッチ
２１５ 信号生成部
ＣＬＫ 制御信号

Claims (20)

1. アノードとカソードとを含むアバランシェフォトダイオードと、
   前記アノードおよび前記カソードのうちの一方のノードと駆動電圧が印加される電源線とに接続され、前記一方のノードと前記電源線との間の抵抗値を切り替えるスイッチと、
   前記スイッチの切り替えを制御するためのパルス信号を生成する信号生成部と、を備え、
   第１のモードと、前記第１のモードよりも低い照度での撮影モードである第２のモードとを切り替え可能であり、
   １フレーム分の信号を取得する露光期間において、前記第２のモードの前記パルス信号の数は、前記第１のモードの前記パルス信号の数よりも少ないことを特徴とする光電変換装置。
2. 前記第２のモードの前記パルス信号の数は、前記第１のモードの前記パルス信号の数の半分以下であることを特徴とする請求項１に記載の光電変換装置。
3. 前記１フレーム分の信号を取得する露光期間において、前記第２のモードの前記パルス信号の数は５００よりも少ないことを特徴とする請求項１または２に記載の光電変換装置。
4. カウンタ回路を有し、平面視で前記アバランシェフォトダイオードに重なる位置に前記カウンタ回路が配されることを特徴とする請求項１乃至３のいずれか１項に記載の光電変換装置。
5. 前記１フレーム分の信号を取得する露光期間において、前記パルス信号の数は前記カウンタ回路の最大カウント値よりも少ないことを特徴とする請求項４に記載の光電変換装置。
6. 複数の前記アバランシェフォトダイオードが平面視で２次元アレイ状に配された画素領域を有することを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
7. 前記第２のモードにおいて、前記画素領域内の所定の領域ごとに異なるパターンのパルス信号が供給されることを特徴とする請求項６に記載の光電変換装置。
8. 前記パルス信号は、繰り返し周期の信号であることを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。
9. 前記アバランシェフォトダイオードは、ガイガーモードで駆動することを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。
10. 前記第１のモードよりも低い照度での撮影モードであり、且つ、前記第２のモードよりも高い照度での撮影モードである第３のモードを有し、
    前記第３のモードの前記パルス信号の数は、前記第２のモードの前記パルス信号の数よりも多く、前記第１のモードの前記パルス信号の数よりも少ない、ことを特徴とする請求項１乃至９のいずれか１項に記載の光電変換装置。
11. 前記第１のモードの前記１フレーム分の信号を取得する露光期間は、前記第２のモードの前記１フレーム分の信号を取得する露光期間よりも短いことを特徴とする請求項１乃至１０のいずれか１項に記載の光電変換装置。
12. 前記第１のモードの前記パルス信号および前記第２のモードの前記パルス信号の少なくとも一方は、前記パルス信号の繰り返し周期が複数混在することを特徴とする請求項１乃至１１のいずれか１項に記載の光電変換装置。
13. 前記スイッチはＭＯＳトランジスタであり、
    前記スイッチの一方のノードは、アバランシェフォトダイオードのカソードと接続され、
    前記スイッチの他方のノードは、前記電源線と接続され、
    前記パルス信号は、前記スイッチのゲート電極へと供給されることを特徴とする請求項１乃至１２のいずれか１項に記載の光電変換装置。
14. 請求項１乃至１３のいずれか１項に記載の光電変換装置と、
    被写体の明るさを検出する輝度検出部と、を備えることを特徴とする光検出システム。
15. 前記輝度検出部で検出された輝度に応じて、前記第１のモードと前記第２のモードとを切り替えることを特徴とする請求項１４に記載の光検出システム。
16. 前記輝度検出部で検出された輝度に応じて露出制御値を決定し、
    前記露出制御値と所定のモード切り替え設定値との比較の結果に応じて、前記第１のモードと前記第２のモードとを切り替えることを特徴とする請求項１５に記載の光検出システム。
17. 前記第２のモードにおいて、前記輝度検出部で検出された輝度値と、前記パルス信号の数との比が所定の制御範囲内となるように前記パルス信号の数を制御することを特徴とする請求項１４乃至１６のいずれか一項に記載の光検出システム。
18. 前記所定の制御範囲における下限値と上限値との比が２以下であることを特徴とする請求項１７に記載の光検出システム。
19. 前記光電変換装置が出力する信号を処理する信号処理部を有することを特徴とする請求項１４乃至１８のいずれか一項に記載の光検出システム。
20. 請求項１乃至１７のいずれか１項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく測距情報から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
    前記距離情報に基づいて前記移動体を制御する制御手段をさらに有することを特徴とする移動体。

Images