JP2023183169A - 光検出素子 - Google Patents

Abstract

【課題】良好な検出性能を有する光検出素子を提供する。【解決手段】本開示の一実施形態の光検出素子は、光を受光して光電流を出力可能な受光素子と、前記光電流に基づく第１信号が入力される１つの入力部を有し、第１期間における前記第１信号のパルス数と第２期間における前記第１信号のパルス数との差分に基づく第２信号を出力可能であるカウンタ部と、前記カウンタ部を制御可能な制御部とを備える。前記カウンタ部と前記制御部は、前記受光素子を含む画素毎に設けられる。【選択図】図３

Description

本開示は、光検出素子に関する。

ＳＰＡＤ（Single Photon Avalanche Diode：単一光子アバランシェダイオード）素子とカウンタ回路を含む複数の画素を備え、光検出を行う素子が提案されている（特許文献１）。

特開２０１９－１６１５５１号公報

光検出素子では、検出性能の改善が求められている。

良好な検出性能を有する光検出素子を提供することが望まれる。

本開示の一実施形態の光検出素子は、光を受光して光電流を出力可能な受光素子と、光電流に基づく第１信号が入力される１つの入力部を有し、第１期間における第１信号のパルス数と第２期間における第１信号のパルス数との差分に基づく第２信号を出力可能であるカウンタ部と、カウンタ部を制御可能な制御部とを備える。カウンタ部と制御部は、受光素子を含む画素毎に設けられる。

本開示の実施の形態に係る光検出素子の概略構成の一例を示す図である。 本開示の実施の形態に係る光検出素子の構成例を示す図である。 本開示の実施の形態に係る光検出素子の構成例を示すブロック図である。 本開示の実施の形態に係る光検出素子の動作例を示すタイミングチャートである。 本開示の実施の形態に係る光検出素子の動作例を示すフローチャートである。 本開示の実施の形態に係る光検出素子の断面構成の一例を示す模式図である。 本開示の変形例１に係る光検出素子の構成例を示す図である。 本開示の変形例２に係る光検出素子の構成例を示す図である。 本開示の変形例２に係る光検出素子の別の構成例を示す図である。 本開示の変形例３に係る光検出素子の動作例を示すタイミングチャートである。 本開示の変形例４に係る光検出素子の構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
３．使用例
４．応用例

＜１．実施の形態＞
図１は、本開示の実施の形態に係る光検出素子の概略構成の一例を示す図である。光検出素子１は、入射する光を検出可能な素子である。光検出素子１は、受光素子を有する複数の画素Ｐを有し、入射した光を光電変換して信号を生成するように構成される。光検出素子１は、イベントを検出可能なセンサであり、例えば、イベント駆動型のセンサ（ＥＶＳ（Event Vision Sensor）、ＥＤＳ（Event Driven Sensor）、ＤＶＳ（Dynamic Vision Sensor）等と呼ばれる）として適用され得る。

図１に示す例では、光検出素子１は、複数の画素Ｐが行列状に２次元配置された領域（画素部１００）を有している。各画素Ｐの受光素子（受光部）は、例えばＳＰＡＤ素子である。光検出素子１は、光学レンズを含む光学系（不図示）を介して、計測対象からの入射光（像光）を取り込む。受光素子は、光を受光して光電変換により電荷を生じ、光電流を生成し得る。

光検出素子１は、信号処理を行うように構成された処理部１１０を備える。処理部１１０は、信号処理回路であり、信号処理（情報処理）を行う。処理部１１０は、各画素の信号に対して各種の信号処理を行い、信号処理後の画素の信号を出力する。処理部１１０は、後述するが、計測対象の動きに関する信号、階調値に関する信号を生成して出力し得る。

処理部１１０は、制御部でもあり、光検出素子１の各部を制御可能に構成される。処理部１１０は、例えば、各種のタイミング信号を生成するタイミングジェネレータ、シフトレジスタ、アドレスデコーダ等を含む複数の回路によって構成される。処理部１１０は、画素Ｐを駆動するための信号を各画素Ｐに供給し、各画素Ｐの動作を制御し得る。

図２は、実施の形態に係る光検出素子の構成例を示す図である。図２に示すように、光検出素子１は、第１基板１０１、第２基板１０２、及び第３基板１０３を備える。第１基板１０１、第２基板１０２、及び第３基板１０３は、互いに重なり合って積層される。

光検出素子１は、第１基板１０１と、第２基板１０２と、第３基板１０３とがＺ軸方向に積層された構造（積層構造）を有している。なお、図２に示すように、計測対象である被写体からの光の入射方向をＺ軸方向、Ｚ軸方向に直交する紙面左右方向をＸ軸方向、Ｚ軸及びＸ軸に直交する方向をＹ軸方向とする。以降の図において、図２の矢印の方向を基準として方向を表記する場合もある。

第１基板１０１には、画素部１００が設けられる。画素部１００では、複数の画素Ｐが、第１方向である水平方向（行方向）、及び第１方向と直交する第２方向である垂直方向（列方向）に配置される。画素部１００の画素Ｐは、フィルタ１５を有する。フィルタ１５は、入射する光のうちの特定の波長域の光を選択的に透過させるように構成される。フィルタ１５は、ＲＧＢのカラーフィルタ、赤外光を透過するフィルタ等である。画素Ｐは、可視光を受光して光電流を出力可能な受光素子を有する画素、非可視光を受光して光電流を出力可能な受光素子を有する画素等である。

画素部１００の複数の画素Ｐには、一例として、赤色の波長域の光を透過するフィルタ１５を有する画素（Ｒ画素）と、緑色の波長域の光を透過するフィルタ１５を有する画素（Ｇ画素）と、青色の波長域の光を透過するフィルタ１５を有する画素（Ｂ画素）とが含まれる。Ｒ画素、Ｇ画素、及びＢ画素は、例えば、いわゆるベイヤー配列に従って配置されている。Ｒ画素、Ｇ画素、及びＢ画素は、それぞれ、Ｒ成分の信号、Ｇ成分の信号、及びＢ成分の信号を生成するように構成される。Ｒ画素、Ｇ画素、及びＢ画素の各々で光電変換された電荷に基づき、ＲＧＢの画素信号を得ることができる。

なお、画素Ｐに設けられるフィルタは、原色系（ＲＧＢ）のカラーフィルタに限定されず、例えばＣｙ（シアン）、Ｍｇ（マゼンダ）、Ｙｅ（イエロー）等の補色系のカラーフィルタであってもよい。また、光検出素子１の一部又は全部の画素Ｐにフィルタ１５を設けないようにしてもよい。

第２基板１０２及び第３基板１０３には、処理部１１０が設けられる。処理部１１０は、図２に示すように、画素回路部１２０及び信号処理部１３０を有し、第２基板１０２と第３基板１０３とに分けて配置される。図２に示す例では、画素回路部１２０は、第２基板１０２に配置される。信号処理部１３０は、ロジック回路及びメモリ等により構成され、第３基板１０３に配置される。

図３は、実施の形態に係る光検出素子の構成例を示すブロック図である。光検出素子１は、受光素子１０を有する画素Ｐと、画素回路部１２０及び信号処理部１３０を含む処理部１１０とを有する。図３に示す例では、画素回路部１２０は、生成部２０と、供給部２５と、カウンタ部３０と、制御部３５と、判定部４０とを有し、画素Ｐ毎に設けられる。

受光素子１０は、光を受光して信号を生成するように構成される。受光素子１０は、ＳＰＡＤ素子であり、入射する光子を電荷に変換し、入射した光子に応じた電気信号である信号Ｓ１を出力し得る。なお、受光素子１０は、光を光電変換可能に構成された光電変換素子（光電変換部）ともいえる。

受光素子１０は、例えば、所定の電圧を供給可能な電源線、電極等と電気的に接続される。図３に示す例では、受光素子１０の一方の電極であるカソードは、供給部２５を介して、電源電圧が供給される電源線に電気的に接続される。受光素子１０の他方の電極であるアノードは、接地線側に電気的に接続される。

受光素子１０のカソード及びアノード間には、供給部２５を介して供給される電圧によって、受光素子１０のブレークダウン電圧（降伏電圧）よりも大きい電位差となる電圧が印加され得る。即ち、受光素子１０の両端の電位差は、ブレークダウン電圧よりも大きい電位差に設定され得る。受光素子１０は、ブレークダウン電圧よりも大きい逆バイアス電圧が与えられると、ガイガーモードで動作可能な状態となる。ガイガーモード時の受光素子１０では、光子の入射に応じてアバランシェ増倍現象を生じ、パルス状の電流を生じ得る。画素Ｐでは、光子の入射に起因して受光素子１０を流れる光電流に応じた信号Ｓ１が、生成部２０へ出力される。

生成部２０は、受光素子１０により生成された信号Ｓ１に基づく信号Ｓ２を生成するように構成される。図３に示す例では、生成部２０は、インバータにより構成される。生成部２０は、直列に接続されたＰＭＯＳトランジスタ及びＮＭＯＳトランジスタを用いて構成される。生成部２０の入力部は、受光素子１０のカソード及び供給部２５と電気的に接続され、生成部２０の出力部は、カウンタ部３０の入力部３１と電気的に接続される。

生成部２０には、受光素子１０からの信号Ｓ１が入力される。信号Ｓ１の信号レベル、即ち信号Ｓ１の電圧（電位）は、受光素子１０を流れる電流に応じて変化する。生成部２０は、例えば、信号Ｓ１の電圧が閾値よりも高い場合、ローレベルの信号Ｓ２を出力する。また、生成部２０は、信号Ｓ１の電圧が閾値よりも小さい場合は、ハイレベルの信号Ｓ２を出力する。生成部２０は、信号Ｓ１の電圧に基づくパルス信号となる信号Ｓ２を、カウンタ部３０へ出力し得る。

図３に示す例では、生成部２０であるインバータは、受光素子１０における光子の受光に起因して、信号Ｓ１の電圧がインバータの閾値電圧より小さくなると、信号Ｓ２の電圧をローレベルからハイレベルに遷移させる。なお、生成部２０は、バッファ回路、ＡＮＤ回路等により構成されてもよい。

供給部２５は、受光素子１０に電圧及び電流を供給可能に構成される。供給部２５は、電源電圧が与えられる電源線と電気的に接続され、受光素子１０に電圧及び電流を供給し得る。図３に示す例では、供給部２５は、ＰＭＯＳトランジスタにより構成される。なお、供給部２５は、抵抗素子を用いて構成されてもよい。

供給部２５は、アバランシェ増倍が生じて受光素子１０の電極間の電位差がブレークダウン電圧よりも小さい場合、受光素子１０に対して電流を供給し得る。供給部２５は、受光素子１０のリチャージを行い、受光素子１０を再びガイガーモードでの動作が可能な状態にさせる。供給部２５は、リチャージ部であり、受光素子１０に電荷をリチャージし、受光素子１０の電圧をリチャージするともいえる。

カウンタ部３０は、入力される信号に応じてカウント（計数）を行うように構成される。カウンタ部３０は、１つの入力部３１（入力端子）を有し、入力部３１に入力される信号のパルスのカウントを行う。図３に示す例では、カウンタ部３０の入力部３１には、パルス信号である信号Ｓ２が入力される。カウンタ部３０は、信号Ｓ２のパルスをカウントし、２つの期間における信号Ｓ２のパルス数の差分に基づく信号を出力可能に構成される。カウンタ部３０は、画素Ｐ毎に設けられ、例えばアップダウンカウンタにより構成される。

制御部３５は、カウンタ部３０を制御可能に構成される。制御部３５は、タイミングジェネレータを有し、画素Ｐ毎に設けられる。制御部３５は、タイミング制御部であり、例えば、外部から入力されるクロック信号、同期信号等に基づいて、タイミング信号を生成し、カウンタ部３０の動作を制御する。

制御部３５は、カウントの開始を指示（要求）する信号（スタート信号）をカウンタ部３０に出力し、カウンタ部３０がカウントを開始するタイミングを制御する。また、制御部３５は、カウントの終了を指示する信号（ストップ信号）をカウンタ部３０に出力し、カウンタ部３０がカウントを終了するタイミングを制御する。制御部３５は、供給部２５の制御も行い得る。なお、制御部３５とは別の制御回路によって、供給部２５の制御を行うようにしてもよい。

図３に示す例では、制御部３５には、カウンタ部３０から、カウンタ部３０のカウント値が基準値に達したことを示す信号（検出信号）としてオーバーフロー信号が入力される。オーバーフロー信号は、カウント値のオーバーフローを示す信号であり、受光素子１０の受光量のオーバーフローを示す信号ともいえる。制御部３５は、オーバーフロー信号に基づいて生成したストップ信号をカウンタ部３０に供給し、カウンタ部３０を制御する。

一例として、スタート信号が制御部３５からカウンタ部３０に入力されると、カウンタ部３０は、第１期間Ｔａにおけるカウントを開始する。カウンタ部３０は、第１期間Ｔａにおける信号Ｓ２のパルス数をアップカウントする。カウンタ部３０のカウント値が基準値に達すると、カウンタ部３０は、カウント値が基準値に達したことを示すオーバーフロー信号を制御部３５に出力し、第２期間Ｔｂにおけるカウントを開始する。カウンタ部３０は、その基準値を初期値として用い、第２期間Ｔｂにおける信号Ｓ２のパルス数をダウンカウントする。検出信号であるオーバーフロー信号は、第１期間Ｔａの終了を示す信号であり、第２期間Ｔｂの開始を示す信号である。

制御部３５は、カウンタ部３０から入力されるオーバーフロー信号に応じてストップ信号を生成し、カウンタ部３０に出力する。制御部３５は、第１期間Ｔａ及び第２期間Ｔｂの各々の長さが同一となるように、第２期間Ｔｂの終了を示すストップ信号をカウンタ部３０へ出力する。ストップ信号が制御部３５からカウンタ部３０に入力されると、カウンタ部３０は、第２期間Ｔｂにおけるカウントを終了する。

カウンタ部３０は、第１期間Ｔａ及び第２期間Ｔｂにおける信号Ｓ２のパルス数の差分に基づく信号（差分信号Ｓ３）を生成して出力する。カウンタ部３０は、差分信号Ｓ３として、第１期間Ｔａにおける信号Ｓ２のパルス数と、第２期間Ｔｂにおける信号Ｓ２のパルス数との差に応じたカウント値を示す信号を出力し得る。例えば、差分信号Ｓ３の信号値、即ちカウント値は、アップカウントされたカウント値からダウンカウントされたカウント値を減じた値となる。

判定部４０は、差分信号Ｓ３に基づいてパルス数の差分の大きさを判定可能に構成される。判定部４０は、例えば、差分信号Ｓ３の信号値が所定の閾値より大きいか否かを判定するように構成される。図３に示す例では、判定部４０は、第１閾値判定部４１と第２閾値判定部４２を有する。

第１閾値判定部４１は、差分信号Ｓ３の値と第１閾値とを比較可能に構成される。第２閾値判定部４２は、差分信号Ｓ３の値と第２閾値とを比較可能に構成される。例えば、第１閾値判定部４１は、差分信号Ｓ３の信号値、即ち第１期間Ｔａのカウント値から第２期間Ｔｂのカウント値を減じた値が、第１閾値より小さいか否かを判定するように構成される。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値より大きいか否かを判定するように構成される。

第１閾値判定部４１は、差分信号Ｓ３の信号値が第１閾値を下回る場合、計測対象である被写体の動きにより正のイベントが発生したと判定する。第１閾値判定部４１は、差分信号Ｓ３の信号値が第１閾値を下回らない場合は、正のイベントは発生していないと判定する。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値を上回る場合、計測対象の動きにより負のイベントが発生したと判定する。第２閾値判定部４２は、差分信号Ｓ３の信号値が第２閾値を上回らない場合は、負のイベントは発生していないと判定する。

このように、判定部４０は、差分信号Ｓ３に基づき、イベントの発生の有無を検出し得る。判定部４０は、差分信号Ｓ３の信号値が第１閾値より小さい場合、又は第２閾値より大きい場合、イベントが生じたと判定する。即ち、判定部４０は、計測対象物の動きに伴う受光量の変化に起因して、カウント値の変化量が上限又は下限の閾値を越えた場合、イベントが「有」と判断する。

判定部４０は、第１閾値判定部４１及び第２閾値判定部４２による判定結果に基づき、計測対象物の動きに関する信号（動き信号）を生成して出力する。判定部４０は、例えば、動き信号Ｓ１１として、差分信号Ｓ３の信号値（カウント値）及びイベントの発生の有無を示す信号を、信号処理部１３０に出力する。動き信号Ｓ１１は、正のイベント及び負のイベントの発生の有無を示す信号を含み得る。

信号処理部１３０は、各画素Ｐの差分信号Ｓ３及び動き信号Ｓ１１を取得し、信号処理を実行可能に構成される。信号処理部１３０は、信号処理回路であり、差分信号Ｓ３及び動き信号Ｓ１１を用いて、各種の信号処理を行い得る。図３に示す例では、信号処理部１３０は、ビット反転部６０、加算部７０、及びメモリ部７５を有する。

ビット反転部６０は、入力される信号のビット値を反転可能に構成される。図３に示す例では、ビット反転部６０には、カウンタ部３０から差分信号Ｓ３が入力される。ビット反転部６０は、差分信号Ｓ３のビット値を反転し、第１期間Ｔａ及び第２期間Ｔｂにおける信号Ｓ２のパルス数の和に基づく信号（階調信号）を生成する。

階調信号Ｓ１２は、例えば、第１期間Ｔａのカウント値に第２期間Ｔｂのカウント値を加えた信号値を有し、階調を示す信号となる。ビット反転部６０は、差分信号Ｓ３を用いて画素における階調値を示す階調信号Ｓ１２を復元するともいえる。ビット反転部６０は、各画素Ｐの差分信号Ｓ３に対して反転処理を行い、各画素Ｐの階調信号Ｓ１２を生成する。

加算部７０及びメモリ部７５には、ビット反転部６０から各画素Ｐの階調信号Ｓ１２が入力される。また、加算部７０及びメモリ部７５には、判定部４０から各画素Ｐの動き信号Ｓ１１が入力される。メモリ部７５は、各画素の信号を保持可能に構成される。メモリ部７５は、フレームメモリであり、画素毎の階調信号Ｓ１２及び動き信号Ｓ１１をフレーム単位で記憶（記録）し得る。

加算部７０は、画素の信号の加算処理を実行可能に構成される。加算部７０は、例えば、各画素Ｐの動き信号Ｓ１１を用いて、動く対象物の移動方向を推定する。加算部７０は、推定結果に基づき、メモリ部７５に保持された階調信号Ｓ１２を参照して各画素Ｐの階調信号Ｓ１２の位置合わせを行い、複数の階調信号Ｓ１２を加算平均する処理を行う。

加算部７０は、平均化部であり、上述のように複数の階調信号Ｓ１２を平均化し、平均化された階調信号Ｓ１２を生成する。複数の階調信号Ｓ１２を積算する処理が行われることで、階調信号Ｓ１２のＳ／Ｎ比を改善することができる。こうして、信号処理部１３０は、動き信号Ｓ１１、階調信号Ｓ１２、及び平均化された階調信号Ｓ１２を取得し、光検出素子１の外部へ出力し得る。

図４は、実施の形態に係る光検出素子の動作例を示すタイミングチャートである。図４では、同一の時間軸上に、同期信号、カウンタ部３０によるカウント値、オーバーフロー信号、スタート／ストップ信号、動き信号Ｓ１１を模式的に図示している。同期信号は、例えば、撮像のフレームレートに基づいて生成され、メインフレーム内のサブフレームの時間間隔を示す。制御部３５は、同期信号に同期して、スタート信号を生成し、カウンタ部３０に出力する。

図４では、カウンタ部３０が８ビットのアップダウンカウンタ回路である場合の例を示している。時刻ｔ１～時刻ｔ２の期間、時刻ｔ６～時刻ｔ７の期間、時刻ｔ１１～時刻ｔ１２の期間は、それぞれ、上述した第１期間Ｔａ（図４では第１期間Ｔａ１～第１期間Ｔａｎ）であり、カウンタ部３０による信号Ｓ２のパルス数のアップカウントが行われる期間となる。

時刻ｔ２～時刻ｔ３の期間、時刻ｔ７～時刻ｔ８の期間、時刻ｔ１２～時刻ｔ１３の期間は、それぞれ、上述した第２期間Ｔｂ（図４では第２期間Ｔｂ１～第２期間Ｔｂｎ）であり、カウンタ部３０による信号Ｓ２のパルス数のダウンカウントが行われる期間となる。図４では、第１期間Ｔａ１と第２期間Ｔｂ１は、同一の時間間隔となる。また、第１期間Ｔａ２と第２期間Ｔｂ２は同一の時間間隔となり、第１期間Ｔａｎと第２期間Ｔｂｎは同一の時間間隔となる。

第１サブフレームの時刻ｔ１において、カウンタ部３０は、制御部３５から入力されるスタート信号に応じて、信号Ｓ２のパルスのアップカウントを開始する。時刻ｔ２においてカウント値が基準値である「２５５」に達すると、カウンタ部３０から制御部３５にオーバーフロー信号が出力される。また、ダウンカウントの初期値として「２５５」が設定される。オーバーフロー信号は、第１期間Ｔａ１の終了および第２期間Ｔｂ１の開始のタイミングを示す信号となる。

時刻ｔ２において、カウンタ部３０は、信号Ｓ２のパルスのダウンカウントを開始する。制御部３５は、スタート信号及びオーバーフロー信号によって第１期間Ｔａ１の長さを把握し、第２期間Ｔｂ１の長さが第１期間Ｔａ１の長さと等しくなるように、ストップ信号を生成してカウンタ部３０に供給する。

時刻ｔ３において、カウンタ部３０は、制御部３５から入力されるストップ信号に応じて、信号Ｓ２のパルスのダウンカウントを終了する。カウンタ部３０は、第１期間Ｔａ１におけるアップカウントによるカウント値と、第２期間Ｔｂ１におけるダウンカウントによるカウント値との差分値であるカウント値「－１００」を示す差分信号Ｓ３を出力する。

時刻ｔ４～時刻ｔ５の期間において、判定部４０は、差分信号Ｓ３の値である「－１００」と閾値である「±４０」とを比較する。第１閾値判定部４１は、差分信号Ｓ３の信号値である「－１００」が第１閾値「－４０」よりも低いと判定し、計測対象の動きに起因する正のイベントが発生したことを検出する。なお、差分信号Ｓ３の信号値「－１００」は第２閾値「＋４０」を超えないため、第２閾値判定部４２は、負のイベントは発生していないと判定する。

時刻ｔ５～時刻ｔ６の期間では、判定部４０は、第１閾値判定部４１及び第２閾値判定部４２による判定結果に応じて、差分信号Ｓ３の信号値と正のイベントの発生とを示す動き信号Ｓ１１を生成する。信号処理部１３０のビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０は、第１サブフレームで生成された画素Ｐ毎の動き信号Ｓ１１を外部に出力する。また、信号処理部１３０は、第１サブフレームで生成された画素Ｐ毎の階調信号Ｓ１２を外部に出力し得る。信号処理部１３０は、第１サブフレームの各画素Ｐの階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５に保持させる。

第２サブフレームの時刻ｔ６では、カウンタ部３０のカウント値がリセットされ、スタート信号に応じて、カウンタ部３０による信号Ｓ２のパルスのアップカウントが開始される。時刻ｔ７においてカウント値が基準値「２５５」に達すると、カウンタ部３０から制御部３５にオーバーフロー信号が出力される。ダウンカウントの初期値として「２５５」が設定される。

時刻ｔ７において、カウンタ部３０は、信号Ｓ２のパルスのダウンカウントを開始する。制御部３５は、オーバーフロー信号を用いて第１期間Ｔａ２の長さを把握し、第２期間Ｔｂ２の長さが第１期間Ｔａ２の長さと同一になるように、ストップ信号を生成してカウンタ部３０に供給する。

時刻ｔ８において、カウンタ部３０は、ストップ信号に応じて、信号Ｓ２のパルスのダウンカウントを終了する。カウンタ部３０は、第１期間Ｔａ２におけるカウント値と、第２期間Ｔｂ２におけるカウント値との差分値「＋２０」を示す差分信号Ｓ３を出力する。

時刻ｔ８～時刻ｔ９の期間において、判定部４０は、差分信号Ｓ３の値「＋２０」と閾値である「±４０」とを比較する。第１閾値判定部４１及び第２閾値判定部４２は、差分信号Ｓ３の値が閾値以内であると判断し、正のイベントと負のイベントが共に発生していないと判定する。

時刻ｔ９～時刻ｔ１０の期間では、判定部４０は、差分信号Ｓ３の信号値とイベントが発生していないことを示す動き信号Ｓ１１を生成する。ビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０は、第２サブフレームで生成された画素Ｐ毎の動き信号Ｓ１１を外部に出力する。信号処理部１３０は、第２サブフレームで生成された画素Ｐ毎の階調信号Ｓ１２も外部へ出力し得る。また、信号処理部１３０は、第２サブフレームの各画素Ｐの階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５に保持させる。

図４に示す第Ｎサブフレームの時刻ｔ１１では、カウンタ部３０のカウント値のリセット後、スタート信号に応じて、カウンタ部３０による信号Ｓ２のパルスのアップカウントが開始される。時刻ｔ１２においてカウント値が基準値「２５５」に達すると、カウンタ部３０から制御部３５にオーバーフロー信号が出力される。ダウンカウントの初期値として「２５５」が設定される。

時刻ｔ１２において、カウンタ部３０は、信号Ｓ２のパルスのダウンカウントを開始する。制御部３５は、オーバーフロー信号を用いて第１期間Ｔａｎの長さを把握し、第２期間Ｔｂｎの長さと第１期間Ｔａｎの長さとが同じになるように、ストップ信号をカウンタ部３０に供給する。

時刻ｔ１３において、カウンタ部３０は、ストップ信号に応じて、信号Ｓ２のパルスのダウンカウントを終了する。カウンタ部３０は、第１期間Ｔａｎにおけるカウント値と、第２期間Ｔｂｎにおけるカウント値との差分値「＋１００」を示す差分信号Ｓ３を出力する。

時刻ｔ１４～時刻ｔ１５の期間において、判定部４０は、差分信号Ｓ３の値「＋１００」と閾値である「±４０」とを比較する。差分信号Ｓ３の信号値「＋１００」が第１閾値「－４０」を下回らないため、第１閾値判定部４１は、正のイベントは発生していないと判定する。第２閾値判定部４２は、差分信号Ｓ３の信号値「＋１００」が第２閾値「＋４０」よりも高いと判定し、計測対象の動きに起因する負のイベントが発生したことを検出する。

時刻ｔ１５～時刻ｔ１６の期間では、判定部４０は、第１閾値判定部４１及び第２閾値判定部４２による判定結果に応じて、差分信号Ｓ３の信号値と負のイベントの発生とを示す動き信号Ｓ１１を生成する。ビット反転部６０は、差分信号Ｓ３のビット値の反転処理を行い、階調信号Ｓ１２を生成する。信号処理部１３０は、第Ｎサブフレームで生成された画素Ｐ毎の動き信号Ｓ１１を外部に出力する。信号処理部１３０は、第Ｎサブフレームで生成された画素Ｐ毎の階調信号Ｓ１２も外部へ出力し得る。また、信号処理部１３０は、第Ｎサブフレームの各画素Ｐの階調信号Ｓ１２及び動き信号Ｓ１１を、メモリ部７５に保持させる。

時刻ｔ１６～時刻ｔ１７の期間では、信号処理部１３０の加算部７０は、メモリ部７５に保持された各サブフレームの動き信号Ｓ１１を用いて、動く対象物の移動方向を算出する。加算部７０は、対象物の移動に合わせて、複数のサブフレームにおける各画素Ｐの階調信号Ｓ１２の位置合わせを行い、各サブフレームの階調信号Ｓ１２を加算平均する。信号処理部１３０は、加算部７０により平均化された階調信号Ｓ１２を外部へ出力し得る。

このように、本実施の形態に係る光検出素子１は、差分信号Ｓ３を取得可能なカウンタ部３０と制御部３５を有する。カウンタ部３０と制御部３５は、画素Ｐ毎に設けられる。このため、各画素Ｐの差分信号Ｓ３を検出して、各画素Ｐの動き信号Ｓ１１及び階調信号Ｓ１２を算出することができる。同一の画素Ｐの動き信号と階調信号とを同時に得ることができる。高い検出性能を有する光検出素子を実現することが可能となる。

また、本実施の形態では、受光素子１０として、ＳＰＡＤ素子が用いられる。このため、低照度や低コントラストの計測時に検出精度が低下することを抑制することができる。精度よく計測対象物の動き検出と、階調値出力とを行うことが可能となる。また、階調信号の平均化処理によってＳ／Ｎ比を向上させ、ノイズの少ない階調信号を得ることができる。

図５は、実施の形態に係る光検出素子の動作例を示すフローチャートである。この図５のフローチャートを参照して、光検出素子１の動作例について説明する。

図５に示すステップＳ１００において、制御部３５からのスタート信号に応じてカウンタ部３０のカウント値がリセットされ、カウンタ部３０は、光子の受光に応じて生成される信号Ｓ２のパルスのアップカウントを開始する。カウント値が基準値（例えばフルコード値「２５５」）になると、カウンタ部３０は、オーバーフロー信号を制御部３５へ出力する。ステップＳ１１０において、カウンタ部３０は、信号Ｓ２のパルスのダウンカウントを開始する。

ステップＳ１２０において、カウンタ部３０は、制御部３５からのストップ信号に応じてダウンカウントを停止する。カウンタ部３０は、カウント結果を示す差分信号Ｓ３を判定部４０と信号処理部１３０とに出力する。

ステップＳ１３０において、判定部４０は、差分信号Ｓ３の信号値と閾値との比較によって、イベントの発生の有無を判定する。ステップＳ１４０では、判定部４０は、判定結果に応じて、差分信号Ｓ３の信号値とイベントの発生の有無とを示す動き信号Ｓ１１を、信号処理部１３０へ出力する。また、判定部４０は、動き信号Ｓ１１を光検出素子１の外部へ出力する。

ステップＳ１５０において、ビット反転部６０は、差分信号Ｓ３に対してビット反転処理を行って階調信号Ｓ１２を生成する。ステップＳ１６０では、信号処理部１３０は、階調信号Ｓ１２の平均化処理を実行するか否かを把握する。平均化処理を行わない場合（ステップＳ１６０の「Ｎｏ」）の場合、処理はステップＳ１７０へ進む。ステップＳ１７０では、信号処理部１３０は、ビット反転部６０により生成される各画素Ｐの階調信号Ｓ１２を、光検出素子１の外部へ出力する。

平均化処理を行う場合（ステップＳ１６０の「Ｙｅｓ」）の場合は、処理はステップＳ１８０へ進む。なお、平均化処理の有無は、光検出素子１により自動的に設定されてもよく、ユーザにより指定されてもよい。

ステップＳ１８０において、加算部７０は、動き信号Ｓ１１により求められる対象物の移動方向に応じて、メモリ部７５に保持されるフレーム毎の各画素Ｐの階調信号Ｓ１２をシフトして加算平均する。ステップＳ１９０では、信号処理部１３０は、加算部７０によって平均化された階調信号Ｓ１２を外部へ出力し得る。ステップＳ１９０の後、光検出素子１は、図５のフローチャートに示す処理を終了する。

図６は、実施の形態に係る光検出素子の断面構成の一例を示す模式図である。光検出素子１は、第１基板１０１と、第２基板１０２と、第３基板１０３とがＺ軸方向に積層された構成を有している。第１基板１０１、第２基板１０２、及び第３基板１０３は、それぞれ、半導体基板（例えばシリコン基板）によって構成される。

第１基板１０１、第２基板１０２、及び第３基板１０３は、図６に示すように、それぞれトランジスタが設けられる第１面１１Ｓ１，１２Ｓ１，１３Ｓ１と、第２面１１Ｓ２，１２Ｓ２，１３Ｓ２とを有する。第１面１１Ｓ１，１２Ｓ１，１３Ｓ１は、それぞれ、トランジスタ等の素子が形成される素子形成面である。第１面１１Ｓ１，１２Ｓ１，１３Ｓ１の各々には、ゲート電極、ゲート酸化膜等が設けられる。

第１基板１０１には、受光素子１０をそれぞれ有する複数の画素Ｐが設けられる。画素Ｐは、図６に模式的に示すように、アバランシェ増倍が可能な増倍部１７（増倍領域）を有する。第１基板１０１の第２面１１Ｓ２側には、光を集光するレンズ部１６、フィルタ１５等が画素Ｐ毎に設けられる。

第１基板１０１の第１面１１Ｓ１には、図６に示すように、配線層１１１が設けられる。また、第２基板１０２の第１面１２Ｓ１には配線層１２１が設けられ、第２基板１０２の第２面１２Ｓ２には配線層１２２が設けられる。第３基板１０３の第１面１３Ｓ１には、配線層１３１が設けられる。配線層１１１，１２１，１２２，１３１は、例えば、導体膜および絶縁膜を含み、複数の配線およびビア等を有する。配線層１１１，１２１，１２２，１３１の各々は、例えば２層以上の配線を含む。

配線層１１１，１２１，１２２，１３１は、例えば、複数の配線が層間絶縁層（層間絶縁膜）を間に積層された構成を有している。配線層は、アルミニウム（Ａｌ）、銅（Ｃｕ）、タングステン（Ｗ）、ポリシリコン（Ｐｏｌｙ－Ｓｉ）等を用いて形成される。層間絶縁層は、一例として、酸化シリコン（ＳｉＯ）、窒化シリコン（ＳｉＮ）、及び酸窒化シリコン（ＳｉＯＮ）等のうちの１種よりなる単層膜、又はこれらのうちの２種以上よりなる積層膜により形成される。

なお、第１基板１０１と配線層１１１とを併せて、第１基板１０１（又は第１の回路層）ということもできる。また、第２基板１０２と配線層１２１，１２２とを併せて、第２基板１０２（又は第２の回路層）ということもできる。第３基板１０３と配線層１３１とを併せて、第３基板１０３（又は第３の回路層）ということもできる。

図６に示す例では、第１基板１０１と第２基板１０２とは、電極間の接合により、トランジスタ等の素子がそれぞれ形成される第１面１１Ｓ１と第１面１２Ｓ１が互いに対向するように積層される。即ち、第１基板１０１と第２基板１０２とは、各々の表面同士が互いに対向するように接合される。第２基板１０２と第３基板１０３とは、電極間の接合により、第２面１２Ｓ２とトランジスタ等の素子が形成される第１面１３Ｓ１とが互いに対向するように積層される。即ち、第２基板１０２及び第３基板１０３は、第２基板１０２の裏面と第３基板１０３の表面が互いに対向するように接合される。

一例として、銅（Ｃｕ）からなる金属電極間の接合、即ちＣｕ－Ｃｕ接合によって、第１基板１０１と第２基板１０２とが貼り合わされる。また、第２基板１０２と第３基板１０３も、例えば、Ｃｕ－Ｃｕ接合によって貼り合わされる。なお、接合に用いる電極は、銅（Ｃｕ）以外の金属材料、例えばニッケル（Ｎｉ）、コバルト（Ｃｏ）、スズ（Ｓｎ）等により構成されてもよいし、他の材料により構成されてもよい。

第２基板１０２及び配線層１２１，１２２は、複数の貫通電極８０を有する。貫通電極８０は、第２基板１０２を貫通する電極である。貫通電極８０は、Ｚ軸方向に延び、第２基板１０２の配線層１２２内に達するように形成される。貫通電極８０は、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）、コバルト（Ｃｏ）、モリブデン（Ｍｏ）、ルテニウム（Ｒｕ）等によって構成される。貫通電極８０によって、第２基板１０２の第１面１２Ｓ１側に設けられた回路と、第３基板１０３の第１面１３Ｓ１側に設けられた回路とが電気的に接続される。

第１基板１０１では、パッド（ＰＡＤ）が設けられる。パッドは、例えばアルミニウム（Ａｌ）を用いて形成される電極である。なお、パッドは、他の金属材料を用いて構成されてもよい。光検出素子１には、複数のパッドが配置される。パッドは、例えば、外部から入力される電源電圧を、第１基板１０１～第３基板１０３の各回路に供給し得る。

［作用・効果］
本実施の形態に係る光検出素子（光検出素子１）は、光を光電変換する受光素子（受光素子１０）と、受光素子で生成された電荷に基づく第１信号（信号Ｓ２）が入力される１つの入力部（入力部３１）を有し、第１期間における第１信号のパルス数と第２期間における第１信号のパルス数との差分に基づく第２信号（差分信号Ｓ３）を出力可能であるカウンタ部（カウンタ０）と、カウンタ部を制御可能な制御部（制御部３５）とを備える。カウンタ部と制御部は、受光素子を含む画素毎に設けられる。

本実施の形態に係る光検出素子１は、差分信号Ｓ３を取得可能なカウンタ部３０を有する。カウンタ部３０と制御部３５は、画素Ｐ毎に設けられる。このため、各画素Ｐの差分信号を検出して、各画素Ｐの動き信号及び階調信号を得ることができる。高い検出性能を有する光検出素子を実現することが可能となる。

次に、本開示の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

（１－１．変形例１）
上述した実施の形態では、フィルタ１５の配置例について説明したが、フィルタ１５の配置はこれに限らない。また、図７に示す例のように、各画素Ｐにはフィルタ１５を設けなくてもよい。光検出素子１を、ＲＧＢのカラーフィルタ等のフィルタ１５を有しない構成としてもよい。なお、上述したように、画素Ｐは、可視光を受光して光電流を出力可能な受光素子１０を有する画素に限定されず、非可視光（例えば赤外光）を受光して光電流を出力可能な受光素子１０を有する画素であってもよい。

（１－２．変形例２）
上述した実施の形態および変形例では、光検出素子１の構成例について説明したが、光検出素子１を２つの基板が積層された構成としてもよい。図８は、変形例２に係る光検出素子の構成例を示す図である。光検出素子１は、第１基板１０１及び第２基板１０２がＺ軸方向に積層された構成（２層構成）を有する。この場合、例えば、画素回路部１２０及び信号処理部１３０を、第２基板１０２に設けるようにしてもよい。なお、第１基板１０１の各画素Ｐには、図９に示すように、ＲＧＢカラーフィルタ等のフィルタ１５を配置しなくてもよい。

（１－３．変形例３）
上述した実施の形態では、同期信号に同期してカウントを開始する例について説明した。しかし、光検出素子１は、同期信号とは非同期のスタート信号によってカウントを開始するようにしてもよい。光検出素子１は、同期信号に同期してカウント動作のタイミング制御を行う場合と比較して、高速動作を行うことが可能となる。

図１０は、変形例３に係る光検出素子の動作例を示すタイミングチャートである。図１０に示す例では、光検出素子１の制御部３５は、同期信号とは非同期にスタート信号をカウンタ部３０に供給し得る。これにより、図４の同期動作の場合と比較して、カウント動作の終了タイミングから次のカウント動作の開始タイミングまでの時間（図１０に示す時刻ｔ３～ｔ５の期間等）を短縮することができる。このため、動き信号及び階調信号の検出を高速に行うことが可能となる。

（１－４．変形例４）
図１１は、変形例４に係る光検出素子の構成例を示す図である。カウンタ部３０は、入力部３１に入力される信号Ｓ２をカウント可能な第１カウンタ３２ａ及び第２カウンタ３２ｂを有していてもよい。例えば、第１カウンタ３２ａは、第１期間Ｔａにおける信号Ｓ２のパルス数をカウント可能に構成される。また、第２カウンタ３２ｂは、第２期間Ｔｂにおける信号Ｓ２のパルス数をカウント可能に構成される。カウンタ部３０は、第１カウンタ３２ａのカウント値と第２カウンタ３２ｂのカウント値との差分に基づく差分信号Ｓ３を生成して出力し得る。本変形例の場合も、上記した実施の形態と同様の効果を得ることができる。

＜３．使用例＞
上述した光検出素子１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜４．応用例＞
（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１３は、撮像部１２０３１の設置位置の例を示す図である。

図１３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、例えば、光検出素子１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、高精細な撮影画像を得ることができ、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。

（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１４では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ： Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１５は、図１４に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００のカメラヘッド１１１０２に設けられた撮像部１１４０２に好適に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、撮像部１１４０２を高感度化することができ、高精細な内視鏡１１１００を提供することができる。

以上、実施の形態、変形例および適用例ならびに応用例を挙げて本開示を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上述した変形例は、上記実施の形態の変形例として説明したが、各変形例の構成を適宜組み合わせることができる。

本開示の一実施形態の光検出素子は、光を受光して光電流を出力可能な受光素子と、光電流に基づく第１信号が入力される１つの入力部を有し、第１期間における第１信号のパルス数と第２期間における第１信号のパルス数との差分に基づく第２信号を出力可能であるカウンタ部と、カウンタ部を制御可能な制御部とを備える。カウンタ部と制御部は、受光素子を含む画素毎に設けられる。これにより、各画素の動き信号及び階調信号を得ることができる。高い検出性能を有する光検出素子を実現することが可能となる。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本開示は以下のような構成をとることも可能である。
（１）
光を受光して光電流を出力可能な受光素子と、
前記光電流に基づく第１信号が入力される１つの入力部を有し、第１期間における前記第１信号のパルス数と第２期間における前記第１信号のパルス数との差分に基づく第２信号を出力可能であるカウンタ部と、
前記カウンタ部を制御可能な制御部と
を備え、
前記カウンタ部と前記制御部は、前記受光素子を含む画素毎に設けられる
光検出素子。
（２）
前記受光素子は、単一光子アバランシェダイオードである
前記（１）に記載の光検出素子。
（３）
前記カウンタ部は、前記第１期間における前記第１信号のパルス数が基準値に達したことを示す検出信号を出力可能である
前記（１）または（２）に記載の光検出素子。
（４）
前記検出信号は、前記第１期間の終了を示す信号である
前記（３）に記載の光検出素子。
（５）
前記カウンタ部は、アップダウンカウンタを有する
前記（３）または（４）に記載の光検出素子。
（６）
前記制御部は、前記検出信号に基づいて前記カウンタ部を制御可能である
前記（３）から（５）のいずれか１つに記載の光検出素子。
（７）
前記制御部は、前記検出信号に基づき、前記第２期間の終了を示す信号を前記カウンタ部へ出力可能である
前記（３）から（６）のいずれか１つに記載の光検出素子。
（８）
前記制御部は、前記第１期間及び前記第２期間の各々の長さが同一となるように、前記第２期間の終了を示す信号を前記カウンタ部へ出力可能である
前記（３）から（７）のいずれか１つに記載の光検出素子。
（９）
前記制御部は、タイミングジェネレータを有する
前記（３）から（８）のいずれか１つに記載の光検出素子。
（１０）
前記カウンタ部から出力される前記第２信号に基づいて、前記第１期間及び前記第２期間における前記第１信号のパルス数の和に基づく第３信号を生成可能な信号処理部を有する
前記（１）から（９）のいずれか１つに記載の光検出素子。
（１１）
前記信号処理部は、前記第２信号のビット値を反転可能なビット反転部を有する
前記（１０）に記載の光検出素子。
（１２）
前記信号処理部は、前記第３信号を保持可能なメモリ部を有する
前記（１０）または（１１）に記載の光検出素子。
（１３）
前記信号処理部は、第１期間における前記第１信号のパルス数と第２期間における前記第１信号のパルス数との差分に応じて複数の前記第３信号を平均化し、平均化した前記第３信号を出力可能である
前記（１０）から（１３）のいずれか１つに記載の光検出素子。
（１４）
前記受光素子をそれぞれ含む複数の画素を有し、
前記複数の画素は、可視光を受光して光電流を出力可能な前記受光素子を有する画素、及び、非可視光を受光して光電流を出力可能な前記受光素子を有する画素の少なくとも一方を含む
前記（１）から（１３）のいずれか１つに記載の光検出素子。
（１５）
前記カウンタ部は、前記入力部に入力される前記第１信号をカウント可能な第１カウンタ及び第２カウンタを有し、
前記第１カウンタは、前記第１期間における前記第１信号のパルス数をカウント可能であり、
前記第２カウンタは、前記第２期間における前記第１信号のパルス数をカウント可能である
前記（１）から（１４）のいずれか１つに記載の光検出素子。
（１６）
前記光電流に基づく前記第１信号を生成可能な生成部を有する
前記（１）から（１５）のいずれか１つに記載の光検出素子。
（１７）
前記生成部は、前記入力部と接続され、前記第１信号を前記入力部へ出力可能である
前記（１６）に記載の光検出素子。
（１８）
前記生成部は、インバータを有する
前記（１６）または（１７）に記載の光検出素子。
（１９）
複数の前記受光素子を有する第１基板と、
前記カウンタ部及び前記制御部を有し、前記第１基板に積層される第２基板と
を有する
前記（１）から（１８）のいずれか１つに記載の光検出素子。

１…光検出素子、１０…受光素子、２０…生成部、２５…供給部、３０…カウンタ部、３５…制御部、４０…判定部、６０…ビット反転部、７０…加算部、７５…メモリ部、１００…画素部、１１０…処理部、１２０…画素回路部、１３０…信号処理部。

Claims (19)

1. 光を受光して光電流を出力可能な受光素子と、
   前記光電流に基づく第１信号が入力される１つの入力部を有し、第１期間における前記第１信号のパルス数と第２期間における前記第１信号のパルス数との差分に基づく第２信号を出力可能であるカウンタ部と、
   前記カウンタ部を制御可能な制御部と
   を備え、
   前記カウンタ部と前記制御部は、前記受光素子を含む画素毎に設けられる
   光検出素子。
2. 前記受光素子は、単一光子アバランシェダイオードである
   請求項１に記載の光検出素子。
3. 前記カウンタ部は、前記第１期間における前記第１信号のパルス数が基準値に達したことを示す検出信号を出力可能である
   請求項１に記載の光検出素子。
4. 前記検出信号は、前記第１期間の終了を示す信号である
   請求項３に記載の光検出素子。
5. 前記カウンタ部は、アップダウンカウンタを有する
   請求項３に記載の光検出素子。
6. 前記制御部は、前記検出信号に基づいて前記カウンタ部を制御可能である
   請求項３に記載の光検出素子。
7. 前記制御部は、前記検出信号に基づき、前記第２期間の終了を示す信号を前記カウンタ部へ出力可能である
   請求項３に記載の光検出素子。
8. 前記制御部は、前記第１期間及び前記第２期間の各々の長さが同一となるように、前記第２期間の終了を示す信号を前記カウンタ部へ出力可能である
   請求項７に記載の光検出素子。
9. 前記制御部は、タイミングジェネレータを有する
   請求項６に記載の光検出素子。
10. 前記カウンタ部から出力される前記第２信号に基づいて、前記第１期間及び前記第２期間における前記第１信号のパルス数の和に基づく第３信号を生成可能な信号処理部を有する
    請求項１に記載の光検出素子。
11. 前記信号処理部は、前記第２信号のビット値を反転可能なビット反転部を有する
    請求項１０に記載の光検出素子。
12. 前記信号処理部は、前記第３信号を保持可能なメモリ部を有する
    請求項１０に記載の光検出素子。
13. 前記信号処理部は、第１期間における前記第１信号のパルス数と第２期間における前記第１信号のパルス数との差分に応じて複数の前記第３信号を平均化し、平均化した前記第３信号を出力可能である
    請求項１０に記載の光検出素子。
14. 前記受光素子をそれぞれ含む複数の画素を有し、
    前記複数の画素は、可視光を受光して光電流を出力可能な前記受光素子を有する画素、及び、非可視光を受光して光電流を出力可能な前記受光素子を有する画素の少なくとも一方を含む
    請求項１に記載の光検出素子。
15. 前記カウンタ部は、前記入力部に入力される前記第１信号をカウント可能な第１カウンタ及び第２カウンタを有し、
    前記第１カウンタは、前記第１期間における前記第１信号のパルス数をカウント可能であり、
    前記第２カウンタは、前記第２期間における前記第１信号のパルス数をカウント可能である
    請求項１に記載の光検出素子。
16. 前記光電流に基づく前記第１信号を生成可能な生成部を有する
    請求項１に記載の光検出素子。
17. 前記生成部は、前記入力部と接続され、前記第１信号を前記入力部へ出力可能である
    請求項１６に記載の光検出素子。
18. 前記生成部は、インバータを有する
    請求項１６に記載の光検出素子。
19. 複数の前記受光素子を有する第１基板と、
    前記カウンタ部及び前記制御部を有し、前記第１基板に積層される第２基板と
    を有する
    請求項１に記載の光検出素子。
    

Images