JP2021110697A - 観測装置、観測方法、測距システム - Google Patents

Abstract

【課題】測距精度を向上させる。【解決手段】第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、第２の画素に対して光を発光する発光部と、第１の反応回数と第２の反応回数との差分に応じて発光部を制御する発光制御部とを備える。本技術は、例えば所定の物体までの距離を計測する測距装置に適用でき、測距装置に含まれる画素の特性を観測する観測装置に適用できる。【選択図】図１

Description

本技術は観測装置、観測方法、測距システムに関し、例えば、測距に関わる画素の特性を観測し、より精度良く測距できるようにした観測装置、観測方法、測距システムに関する。

近年、ToF（Time-of-Flight）法により距離計測を行う測距センサが注目されている。このような測距センサには、例えば、画素にSPAD（Single Photon Avalanche Diode）を用いたものがある。SPADでは、降伏電圧よりも大きい電圧を印加した状態で、高電界のPN接合領域へ１個の光子が入ると、アバランシェ増幅が発生する。その際の瞬間的に電流が流れたタイミングを検出することで、高精度に距離を計測することができる。

例えば、特許文献１には、SPADを用いた測距センサにおいて、測距光の一部を分離して受光し、基準の光量と受光した光量とを比較し、その差分を光源制御部にフィードバックすることで、光源を制御することが記載されている。

特開２０１９−２７７８３号公報

測距用の画素と基準の光量を取得する画素の環境の違い、使用状況の違いなどから、測距用の画素の特性と基準の光量を取得する画素の特性とに差異が生じてしまう可能性があった。測距用の画素の特性と基準の光量を取得する画素の特性に差異が生じると、測距精度が低下する可能性があった。

本技術は、このような状況に鑑みてなされたものであり、測距用の画素の特性と基準の光量を取得する画素の特性に差異が生じないようにし、測距精度を向上できるようにするものである。

本技術の一側面の観測装置は、第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、前記第２の画素に対して光を発光する発光部と、前記第１の反応回数と前記第２の反応回数との差分に応じて前記発光部を制御する発光制御部とを備える。

本技術の一側面の観測方法は、観測装置が、第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測し、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測し、前記第２の画素に対して光を発光する発光部を、前記第１の反応回数と前記第２の反応回数との差分に応じて前記発光部を制御する。

本技術の一側面の測距システムは、照射光を発光する第１の発光部と、前記第１の発光部からの光が物体に反射された反射光を受光する第１の画素とを備え、前記物体までの距離を計測する測距装置と、前記第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、前記第２の画素に対して光を発光する第２の発光部と、前記第１の反応回数と前記第２の反応回数との差分に応じて前記第２の発光部を制御する発光制御部とを備え、前記第１の画素の特性を観測する観測装置とを備える。

本技術の一側面の観測装置、観測方法においては、第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数が計測され、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数が計測され、前記第２の画素に対して光を発光する発光部が、前記第１の反応回数と前記第２の反応回数との差分に応じて制御される。

本技術の一側面の測距システムにおいては、照射光を発光する第１の発光部と、前記第１の発光部からの光が物体に反射された反射光を受光する第１の画素とが備えられている前記物体までの距離を計測する測距装置が含まれる。また前記第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、前記第２の画素に対して光を発光する第２の発光部と、前記第１の反応回数と前記第２の反応回数との差分に応じて前記第２の発光部を制御する発光制御部とが備えられた、前記第１の画素の特性を観測する観測装置が含まれる。

なお、測距装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術を適用した測距装置の一実施の形態の構成を示す図である。 受光装置の構成例を示す図である。 観測装置の構成例を示す図である。 観測装置の他の構成例を示す図である。 測距画素と観測画素の配置例について説明するための図である。 画素の回路図である。 画素の動作について説明するための図である。 測距画素の断面構成例を示す図である。 観測画素の断面構成例を示す図である。 特性制御の第１の処理について説明するためのフローチャートである。 測距処理について説明するためのフローチャートである。 特性取得処理について説明するためのフローチャートである。 最適光量制御処理について説明するためのフローチャートである。 ヒストグラムの生成について説明するための図である。 特性制御の第２の処理について説明するためのフローチャートである。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜測距システムの構成例＞
図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。

測距システム１１は、例えば、ToF法を用いて距離画像の撮影を行うシステムである。ここで、距離画像とは、測距システム１１から被写体（物体）までの奥行き方向の距離を画素単位で検出し、各画素の信号が、検出した距離に基づく距離の画素信号からなる画像のことである。

測距システム１１は、発光装置２１、撮像装置２２、および観測装置２３を備える。

発光装置２１は、発光制御部３１及び発光部３２を備える。

発光制御部３１は、撮像装置２２の制御部４２の制御の下に、発光部３２が光を照射するパターンを制御する。具体的には、発光制御部３１は、制御部４２から供給される照射信号に含まれる照射コードに従って、発光部３２が光を照射するパターンを制御する。例えば、照射コードは、１（High）と０（Low）の２値からなり、発光制御部３１は、照射コードの値が１のとき発光部３２を点灯させ、照射コードの値が０のとき発光部３２を消灯させる。

発光部３２は、発光制御部３１の制御の下に、所定の波長域の光を発する。発光部３２は、例えば、赤外線レーザダイオードからなる。なお、発光部３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。

撮像装置２２は、発光装置２１から照射された光（照射光）が被写体１２及び被写体１３等により反射された反射光を受光する装置である。撮像装置２２は、撮像部４１、制御部４２、表示部４３、及び、記憶部４４を備える。

撮像部４１は、レンズ５１、及び、受光装置５２を備える。

レンズ５１は、入射光を受光装置５２の受光面に結像させる。なお、レンズ５１の構成は任意であり、例えば、複数のレンズ群によりレンズ５１を構成することも可能である。

受光装置５２は、例えば、各画素にSPAD（Single Photon Avalanche Diode）を用いたセンサからなる。受光装置５２は、制御部４２の制御の下に、被写体１２及び被写体１３等からの反射光を受光し、その結果得られた画素信号を距離情報に変換して制御部４２に出力する。受光装置５２は、行方向及び列方向の行列状に画素が２次元配置された画素アレイの各画素の画素値（距離画素信号）として、発光装置２１が照射光を照射してから受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が格納された距離画像を、制御部４２に供給する。発光部３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。

なお、測距システム１１は、発光部３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、撮像部４１が、外乱光やマルチパス等の影響を除去した距離画像を生成し、制御部４２に供給する。

制御部４２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部４２は、発光制御部３１、及び、受光装置５２の制御を行う。具体的には、制御部４２は、発光制御部３１に照射信号を供給するとともに、発光タイミング信号を受光装置５２に供給する。発光部３２は、照射信号に応じて照射光を発光する。発光タイミング信号は、発光制御部３１に供給される照射信号でもよい。また、制御部４２は、撮像部４１から取得した距離画像を表示部４３に供給し、表示部４３に表示させる。さらに、制御部４２は、撮像部４１から取得した距離画像を記憶部４４に記憶させる。また、制御部４２は、撮像部４１から取得した距離画像を外部に出力する。

表示部４３は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。

記憶部４４は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。

測距に関する処理は、これらの各部において行われる。さらに測距の精度を向上させるために、測距システム１１は、観測装置２３を備える。観測装置２３は、受光装置５２に含まれる画素の特性を観測する。観測装置２３は、受光装置５２からの信号の供給を受ける。また観測装置２３は、観測結果を制御部４２に供給する。制御部４２は、観測装置２３からの観測結果を用いて、例えば、受光装置５２の各画素に供給するバイアス電圧の電圧値を制御する。

＜受光装置の構成例＞
図２は、受光装置５２の構成例を示すブロック図である。

受光装置５２は、画素駆動部７１、画素アレイ７２、MUX（マルチプレクサ）７３、時間計測部７４、信号処理部７５、および、入出力部７６を備える。

画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置された構成となっている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。

画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。なお、ここでは、画素駆動線８２は、画素行ごとに配線されているとして説明を続けるが、画素駆動線８２は、画素列ごとに配線されていてもよいし、画素行と画素列にそれぞれ配線されていてもよい。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７６を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。

アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素８１の詳細構成については後述する。

なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。画素駆動線８２の一端は、画素駆動部７１の各画素行に対応した出力端に接続されている。

MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えにしたがい、アクティブ画素からの出力を選択する。そして、MUX７３は、選択したアクティブ画素から入力される画素信号を時間計測部７４へ出力する。MUX７３からの画素信号は、観測装置２３にも供給される。

時間計測部７４は、MUX７３から供給されるアクティブ画素の画素信号と、発光部３２の発光タイミングを示す発光タイミング信号とに基づいて、発光部３２が光を発光してからアクティブ画素が光を受光するまでの時間に対応するカウント値を生成する。時間計測部７４は、TDC（Time to Digital Converter）とも呼ばれる。発光タイミング信号は、入出力部７６を介して外部（撮像装置２２の制御部４２）から供給される。

信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される発光部３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間（カウント値）のヒストグラムを画素ごとに作成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、発光部３２から照射された光が被写体１２または被写体１３で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。

入出力部７６は、信号処理部７５から供給される距離画像の信号（距離画像信号）を、外部（制御部４２）に出力する。また、入出力部７６は、制御部４２から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７４に供給する。

＜観測装置の構成例＞
図３は、観測装置２３の構成例を示している。

観測装置２３は、観測画素１０１、センサ特性観測部１０２、観測フォトンカウンタ１０３、受光フォトンカウンタ１０４、フォトン数比較部１０５、発光制御部１０６、および観測画素用発光部１０７を備える。

観測画素１０１は、受光装置５２の画素アレイ７２に配置されている画素８１と同等の構成を有する画素である。例えば、画素アレイ７２に配置されている画素８１（以下、適宜、測距画素８１と記述する）がSPADを用いたセンサである場合、観測画素１０１もSPADを用いたセンサとされている。ここでは、測距画素８１と観測画素１０１は、共に、SPADを用いたセンサである場合を例に挙げて説明を続ける。

観測画素１０１は、外部からの光を受光しない構成とされている。後述する観測画素用発光部１０７からの光は受光するが、観測画素用発光部１０７以外からの光は受光しないように構成されている。

センサ特性観測部１０２は、観測画素１０１の特性を観測する。観測画素１０１の特性は、測距画素８１の特性であるとして扱われる。よって、観測画素１０１の特性と測距画素８１の特性に差異が生じると、測距画素８１の制御に誤差が発生する可能性があるため、観測画素１０１の特性は、精度良く観測されることが望まれる。本実施の形態においては、以下に説明するように、観測画素１０１の特性と測距画素８１の特性に差異が生じることがないように処理が行われる。

センサの特性とは、例えば、入射された１光子が検出される確率を表すＰＤＥ（Photon Detect Efficiency）、暗電流によるアバランシェ増幅発生頻度を表すＤＣＲ（Dark Count Rate）、降伏電圧Ｖｂｄ（Breakdown Voltage）、SPADの反応遅延時間などである。センサ特性観測部１０２は、これらの特性のいずれか１つの特性を観測しても良いし、複数の特性を観測しても良い。また、ここでは例示していない特性を観測するように構成することも可能である。

上記したように、観測画素１０１は、遮光された状態とされているため、光が受光されることによる光電変換により電子が発生することはない。しかしながら、暗電流などの影響により、フォトンが発生する可能性がある。そのような暗電流によるアバランシェ増幅発生頻度（ＤＣＲ）やＰＤＥといった、画素の特性を観測するために、観測画素１０１は設けられている。

このように、観測画素１０１で得られる画素の特性は、測距画素８１の特性でもあるとして処理する。例えば、観測画素１０１で観測された暗電流による影響は、測距画素８１でも同様にあるとし、測距画素８１にかけるバイアス電圧を制御したり、発光部３２の発光強度を制御したりする。

しかしながら、測距画素８１は、発光部３２（図１）による発光された光の反射光を受光したり、背景光を受光したりするため、観測画素１０１とは異なる状況におかれている。そのため、測距画素８１の特性の変化と、観測画素１０１の特性の変化が同一であるとは限らない。測距画素８１は、受光することにより特性が変化、換言すれば、劣化する可能性があるが、観測画素１０１は、受光しないため、少なくとも測距画素８１と同等の劣化は起きないと想定される。

なお、ここでは、劣化といった言葉を用いるが、特性の変化を表し、必ずしも前の状態から悪くなることを意味する記載ではない。また、劣化したとしても、その後の状態により、元の状態（変化前の特性）に戻ることもあり、一時的な劣化も含まれる。

観測画素１０１により、特性の変化を観測しても、観測されている特性の変化（劣化）が、測距画素８１との特性の変化とずれた場合、観測画素１０１により観測された特性を用いた制御の精度が落ちてしまう可能性がある。本実施の形態では、測距画素８１の劣化に合わせて、観測画素１０１を劣化させる仕組みを有する。換言すれば、測距画素８１の特性の変化にあった変化を、観測画素１０１側でも起きるようにし、観測画素１０１で観測される画素の特性の変化と測距画素８１の特性の変化が一致する状態が保たれるようにする。

観測画素１０１で観測される画素の特性の変化と測距画素８１の特性の変化が一致する状態が保たれるようにするために、観測画素１０１のフォトンの反応数と、測距画素８１のフォトンの反応数を比較し、特性が一致しているか否か、一致していない場合には、一致するように制御するための処理が実行される。

図３に示した観測装置２３は、観測画素１０１のフォトンの反応数をカウントする観測フォトンカウンタ１０３と、測距画素８１のフォトンの反応数をカウントする受光フォトンカウンタ１０４を備える。

観測フォトンカウンタ１０３は、観測画素１０１で反応したフォトンの数（反応回数）をカウントする。同様に、受光フォトンカウンタ１０４は、測距画素８１で反応したフォトンの数（反応回数）をカウントする。観測フォトンカウンタ１０３でカウントされたフォトン数（観測フォトン数と記述する）と、受光フォトンカウンタ１０４でカウントされたフォトン数（受光フォトン数と記述する）は、フォトン数比較部１０５に供給される。

フォトン数比較部１０５は、観測フォトン数と受光フォトン数を比較し、その比較結果により、観測画素用発光部１０７の発光を制御するためのパラメータを生成し、発光制御部１０６に供給する。発光制御部１０６は、供給されたパラメータに基づき、観測画素用発光部１０７の発光を制御する。

詳細は後述するが、フォトン数が一致する、換言すれば、特性が一致するように、観測画素１０１に光が照射され、測距画素８１の劣化と同程度の劣化が起きるようにするための処理が実行される。

観測画素用発光部１０７は、観測画素１０１に対して発光する発光源である。また観測画素用発光部１０７による発光は、測距画素８１では受光されないように構成されている。観測画素用発光部１０７は、図３に示すように、観測装置２３内に含まれる構成としても良いし。図４に示すように、観測装置２３外に設けられている構成としても良い。

図４に示した観測装置２３’は、観測装置２３’の外側に、観測画素用発光部１０７’を備える。観測画素用発光部１０７や観測画素用発光部１０７’は、観測画素１０１にだけ光を照射するように構成され、測距画素８１などに影響を及ぼさない位置に備えられていれば良い。

例えば、図５のＡに示すように、測距画素８１と観測画素１０１が隣接して設けられているようにした場合は、図３に示した観測装置２３のように、観測装置２３内に観測画素用発光部１０７を設ける構成を適用しても良い。この場合、観測装置２３内に観測画素用発光部１０７を設けることで、隣接する測距画素８１に影響を与えることなく、観測画素１０１に対して光を発光することができる。

また例えば、図５のＢに示すように、測距画素８１と観測画素１０１が離れた位置に設けられているようにした場合は、図４に示した観測装置２３’のように、観測装置２３’外に観測画素用発光部１０７’を設ける構成を適用しても良い。この場合、観測装置２３’外に設けられた観測画素用発光部１０７’からの光が、測距画素８１には照射されない位置に観測画素用発光部１０７’を配置すれば、測距画素８１に影響を及ぼすことなく、観測画素１０１に対して光を発光することができる。

また、図５のＢに示したように、測距画素８１と観測画素１０１を、離れた位置に配置したような場合であっても、図３に示した観測装置２３を適用し、観測画素用発光部１０７を内部に設ける構成としても良い。

測距画素８１は、発光部３２（図１）で発光された光を受光する構成とされているが、観測画素１０１は、遮光され、発光部３２からの光や背景光を受光しない構成とされている。観測画素１０１は、画素の特性を観測するために、外部の環境に影響されないように、遮光されている。

観測画素用発光部１０７を、観測装置２３内に設けるか、観測装置２３外に設けるかは、測距画素８１と観測画素１０１との配置に応じて設計されるようにしても良い。

図５のＡに示したように、測距画素８１と観測画素１０１を近接した位置に配置する場合、測距画素８１内の所定数の画素８１を、観測画素１０１として設けても良い。換言すれば、画素アレイ７２（図２）の一部の画素８１が、観測画素１０１として用いられる構成としても良い。この場合、１つの画素が、観測画素１０１として機能する時間と、測距画素８１として機能する時間とがあるようにしても良い。

観測画素１０１は、１画素でも良い。また観測画素１０１は、Ｍ×Ｎ（Ｍ≧、Ｎ≧１）の画素アレイで構成されていても良い。

観測画素１０１を、Ｍ×Ｎ個の画素（SPAD）からなる画素アレイとして構成した場合、観測装置２３は、観測画素１０１の画素アレイの基板と、観測画素１０１以外の機能、例えば、観測フォトンカウンタ１０３や受光フォトンカウンタ１０４などの機能（ロジック回路）を搭載した基板が、積層された構成としても良い。

＜画素回路の構成例＞
図６は、画素アレイ７２に行列状に複数配置された画素８１の回路構成例を示している。測距画素８１と観測画素１０１は、同一の構成であるため、ここでは、画素８１として、測距画素８１の構成例と観測画素１０１の構成例を合わせて説明する。

図３の画素８１は、SPAD１３１、トランジスタ１３２、スイッチ１３３、及び、インバータ１３４を備える。また、画素８１は、ラッチ回路１３５とインバータ１３６も備える。トランジスタ１３２は、P型のMOSトランジスタで構成される。

SPAD１３１のカソードは、トランジスタ１３２のドレインに接続されるとともに、インバータ１３４の入力端子、及び、スイッチ１３３の一端に接続されている。SPAD１３１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。

SPAD１３１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１３１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。

トランジスタ１３２は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１３２のソースは電源電圧VEに接続され、ドレインがSPAD１３１のカソード、インバータ１３４の入力端子、及び、スイッチ１３３の一端に接続されている。これにより、SPAD１３１のカソードにも、電源電圧VEが供給される。SPAD１３１と直列に接続されたトランジスタ１３２の代わりに、プルアップ抵抗を用いることもできる。

SPAD１３１には、十分な効率で光（フォトン）を検出するため、SPAD１３１の降伏電圧VBDよりも大きな電圧（以下、過剰バイアス（ExcessBias）と称する。）が印加される。例えば、SPAD１３１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１３２のソースに供給される電源電圧VEは、３Vとされる。

なお、SPAD１３１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１３１に印加する印加電圧（過剰バイアス）が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。

スイッチ１３３は、両端の一端がSPAD１３１のカソード、インバータ１３４の入力端子、および、トランジスタ１３２のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１３７に接続されている。スイッチ１３３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１３５の出力であるゲーティング制御信号VGを、インバータ１３６で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。

ラッチ回路１３５は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１３６に供給する。インバータ１３６は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１３３に供給する。

トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。

ラッチ回路１３５は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１３５は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1）のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0）のゲーティング制御信号VGを出力する。

これにより、画素８１がアクティブ画素とされる場合には、インバータ１３６によって反転されたLo（0）のゲーティング反転信号VG_Iがスイッチ１３３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1）のゲーティング反転信号VG_Iがスイッチ１３３に供給される。したがって、スイッチ１３３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。

インバータ１３４は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１３４は、SPAD１３１への光子の入射を検出信号PFoutとして出力する出力部である。

図６に示した画素８１の構成は、測距画素８１と観測画素１０１で同一であるとして説明したが、観測画素１０１は、図６に示した構成ではなく、観測画素１０１に必要な構成だけ有している構成とすることももちろん可能である。

例えば、観測画素１０１を１個だけ備えているような場合や、複数の観測画素１０１を備えているが、常にアクティブ画素に設定しておくような場合、ラッチ回路１３５やラッチ回路１３５に付随するスイッチ１３３とインバータ１３６にそれぞれ該当する機能を省略した構成とすることもできる。観測画素１０１の構成は、適宜、変更可能である。

次に、図７を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。図７は、光子の入射に応じたSPAD１３１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。

まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１３３はオフに設定される。SPAD１３１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、−２０V）が供給されることから、SPAD１３１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１３１がガイガーモードに設定される。この状態では、SPAD１３１のカソード電圧VSは、例えば図７の時刻t0のように、電源電圧VEと同じである。

ガイガーモードに設定されたSPAD１３１に光子が入射すると、アバランシェ増倍が発生し、SPAD１３１に電流が流れる。

図７の時刻t1において、アバランシェ増倍が発生し、SPAD１３１に電流が流れたとすると、時刻t1以降、SPAD１３１に電流が流れることにより、トランジスタ１３２にも電流が流れ、トランジスタ１３２の抵抗成分により電圧降下が発生する。

時刻t2において、SPAD１３１のカソード電圧VSが0Vよりも低くなると、SPAD１３１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１３２に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。

アバランシェ増幅が停止するとトランジスタ１３２の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。

インバータ１３４は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１３１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１３１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。

なお、画素８１が非アクティブ画素とされる場合には、Hi（1）のゲーティング反転信号VG_Iがスイッチ１３３に供給され、スイッチ１３３がオンされる。スイッチ１３３がオンされると、SPAD１３１のカソード電圧VSが０Vとなる。その結果、SPAD１３１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１３１に光子が入ってきても反応しない状態となる。

測距画素８１は、上記したように、光子が入射すると、アバランシェ増倍が発生する。測距画素８１は、このようなアバランシェ増倍を繰り返すことにより、上記した、ＰＤＥ、ＤＣＲ、Ｖｄｂ、反応遅延時間といった特性が変化する可能性がある。換言すれば、測距画素８１は、光子が入射したことにより、その光子（フォトン）に反応した回数により、特性が変化する可能性がある。

そのような特性の変化を観測し、特性の変化に応じた制御ができるように、観測画素１０１は、特性を観測している。観測画素１０１は、測距画素８１と異なり、受光面側が遮光された状態で構成されているため、測距画素８１と同程度に光子が入射され、その光子に反応した回数により特性が変化する構成ではないため、観測画素１０１の特性の変化と測距画素８１の特性の変化に差異が発生する可能性がある。観測画素１０１の受光面側を遮光状態に構成するのは、観測画素１０１において、不確定な背景光による影響で、期待していないSPAD反応が起こることを防ぐとともに、観測画素１０１におけるSPAD反応を、観測画素用発光部１０７による発光で適切に制御することができるようにするためである。

このような差異を修正するために、観測装置２３は、観測画素用発光部１０７を備え、観測画素用発光部１０７により観測画素１０１に対して光を照射することで、観測画素１０１においても、測距画素８１のフォトンに反応した回数に応じて変化した特性に合うように特性を変化させる処理が実行される。

＜画素の断面例＞
図８と図９に、測距画素８１と観測画素１０１の断面図を示す。図８は、測距画素８１の断面図であり、図９は、観測画素１０１の断面図である。図９を参照して説明する観測画素１０１は、図３を参照して説明したように、観測装置２３内に観測画素用発光部１０７を備える場合の構成である。

図８に示した測距画素８１は、第１の基板２０１と第２の基板２０２とが貼り合わされて構成されている。第１の基板２０１は、シリコン等で構成される半導体基板２１１と、配線層２１２とを有する。以下、配線層２１２を、後述する第２の基板２０２側の配線層３１２との区別を容易にするため、センサ側配線層２１２と称する。第２の基板２０２側の配線層３１２は、ロジック側配線層３１２と称する。半導体基板２１１に対して、センサ側配線層２１２が形成された面が表面であり、図中、上側となるセンサ側配線層２１２が形成されていない裏面が、反射光が入射される受光面である。

半導体基板２１１の画素領域は、Ｎウェル２２１、Ｐ型拡散層２２２、Ｎ型拡散層２２３、ホール蓄積層２２４、および、高濃度Ｐ型拡散層２２５を含む。そして、Ｐ型拡散層２２２とＮ型拡散層２２３とが接続する領域に形成される空乏層によって、アバランシェ増倍領域２５７が形成される。

Ｎウェル２２１は、半導体基板２１１の不純物濃度がｎ型に制御されることにより形成され、測距画素８１における光電変換により発生する電子をアバランシェ増倍領域２５７へ転送する電界を形成する。Ｎウェル２２１の中央部において、Ｐ型拡散層２２２に接するように、Ｎウェル２２１よりも高濃度のＮ型領域２５８が形成されており、Ｎウェル２２１において発生したキャリア（電子）が周囲から中央に向かってドリフトし易くなるようなポテンシャルの勾配が形成されている。なお、Ｎウェル２２１に替えて、半導体基板２１１の不純物濃度をｐ型に制御したＰウェルを形成してもよい。

Ｐ型拡散層２２２は、平面方向において、画素領域のほぼ全面に亘るように形成される濃いＰ型の拡散層（Ｐ＋）である。Ｎ型拡散層２２３は、半導体基板２１１の表面近傍であってＰ型拡散層２２２と同様に、画素領域のほぼ全面に亘るように形成される濃いＮ型の拡散層（Ｎ＋）である。Ｎ型拡散層２２３は、アバランシェ増倍領域２５７を形成するための負電圧を供給するためのカソード電極としてのコンタクト電極２８１と接続するコンタクト層であり、その一部が半導体基板２１１の表面のコンタクト電極２８１まで形成されるような凸形状となっている。

ホール蓄積層２２４は、Ｎウェル２２１の側面および底面を囲うように形成されるＰ型の拡散層（Ｐ）であり、ホールを蓄積する。また、ホール蓄積層２２４は、SPAD１３１のアノード電極としてのコンタクト電極２８２と電気的に接続される高濃度Ｐ型拡散層２２５と接続されている。

高濃度Ｐ型拡散層２２５は、半導体基板２１１の表面近傍においてＮウェル２２１の外周を囲うように形成される濃いＰ型の拡散層（Ｐ＋＋）であり、ホール蓄積層２２４をSPAD１３１のコンタクト電極２８２と電気的に接続するためのコンタクト層を構成する。

半導体基板２１１の隣接画素との境界である画素境界部には、画素間を分離する画素分離部２５９が形成されている。画素分離部２５９は、例えば、絶縁層のみで構成されてもよいし、タングステンなどの金属層の外側（Ｎウェル２２１側）を、SiO2などの絶縁層で覆う２重構造でもよい。

センサ側配線層２１２には、コンタクト電極２８１および２８２、メタル配線２８３および２８４、コンタクト電極２８５および２８６、並びに、メタル配線２８７および２８８が形成されている。

コンタクト電極２８１は、Ｎ型拡散層２２３とメタル配線２８３とを接続し、コンタクト電極２８２は、高濃度Ｐ型拡散層２２５とメタル配線２８４とを接続する。

メタル配線２８３は、平面領域において、少なくともアバランシェ増倍領域２５７を覆うように、アバランシェ増倍領域２５７よりも広く形成される。また、メタル配線２８３は、半導体基板２１１の画素領域を透過した光を、半導体基板２１１側に反射させる構造であっても構わない。

メタル配線２８４は、平面領域において、メタル配線２８３の外周を囲うように、高濃度Ｐ型拡散層２２５と重なるように形成される。

コンタクト電極２８５は、メタル配線２８３とメタル配線２８７とを接続し、コンタクト電極２８６は、メタル配線２８４とメタル配線２８８とを接続する。

一方、第２の基板２０２は、シリコン等で構成される半導体基板３１１と、配線層３１２（ロジック側配線層３１２）とを有する。

図中、上側となる半導体基板３１１のおもて面側には、複数のMOSトランジスタTr（Tr1,Tr2など）が形成されるとともに、ロジック側配線層３１２が形成されている。

ロジック側配線層３１２は、メタル配線３３１および３３２、メタル配線３３３および３３４、並びに、コンタクト電極３３５および３３６を有する。

メタル配線３３１は、センサ側配線層２１２のメタル配線２８７と、Cu-Cu等の金属接合により、電気的および物理的に接続されている。メタル配線３３２は、センサ側配線層２１２のメタル配線２８８と、Cu-Cu等の金属接合により、電気的および物理的に接続されている。

コンタクト電極３３５は、メタル配線３３１とメタル配線３３３とを接続し、コンタクト電極３３６は、メタル配線３３２とメタル配線３３４とを接続する。

ロジック側配線層３１２は、メタル配線３３３および３３４との層と、半導体基板３１１との間に、複数層のメタル配線３４１をさらに有する。

第２の基板２０２には、半導体基板３１１に形成された複数のMOSトランジスタTrと、複数層のメタル配線３４１とにより、画素駆動部７１、MUX７３、時間計測部７４、信号処理部７５などに対応するロジック回路が形成されている。

例えば、第２の基板２０２に形成されたロジック回路を介して、Ｎ型拡散層２２３に印加される電源電圧VEが、メタル配線３３３、コンタクト電極３３５、メタル配線３３１および２８７、コンタクト電極２８５、メタル配線２８３、並びに、コンタクト電極２８１を介して、Ｎ型拡散層２２３に供給されている。また、電源電圧VAが、メタル配線３３４、コンタクト電極３３６、メタル配線３３２および２８８、コンタクト電極２８６、メタル配線２８４、並びに、コンタクト電極２８２を介して、高濃度Ｐ型拡散層２２５に供給されている。なお、Ｎウェル２２１に代えて、半導体基板２１１の不純物濃度をｐ型に制御したＰウェルを形成した場合、Ｎ型拡散層２２３に印加される電圧は電源電圧VAになり、高濃度Ｐ型拡散層２２５に印加される電圧は電源電圧VEになる。

測距用の測距画素８１の断面構造は、以上のように構成されており、受光素子としてのSPAD１３１は、半導体基板２１１のＮウェル２２１、Ｐ型拡散層２２２、Ｎ型拡散層２２３、ホール蓄積層２２４、および、高濃度Ｐ型拡散層２２５を含み、ホール蓄積層２２４が、アノード電極としてのコンタクト電極２８２と接続され、Ｎ型拡散層２２３が、カソード電極としてのコンタクト電極２８１と接続されている。

測距画素８１の平面方向の全領域の、第１の基板２０１の半導体基板２１１と、第２の基板２０２の半導体基板３１１との間には、遮光部材としてのメタル配線２８３、２８４、２８７、２８８、３３１乃至３３４、または、３４１の少なくとも１層が配置されている。これにより、第２の基板２０２の半導体基板３１１のMOSトランジスタTrのホットキャリアによる発光があった場合でも、その光は、光電変換領域である半導体基板２１１のＮウェル２２１およびＮ型領域２５８には到達しないように構成されている。

測距画素８１において、受光素子としてのSPAD１３１は、Ｎウェル２２１およびホール蓄積層２２４の平面からなる受光面を有し、ホットキャリア発光を行う発光源であるMOSトランジスタTrが、SPAD１３１の受光面とは反対側に設けられている。そして、受光素子としてのSPAD１３１と、発光源であるMOSトランジスタTrとの間に遮光部材としてのメタル配線２８３やメタル配線３４１を有し、ホットキャリアによる発光が、光電変換領域である半導体基板２１１のＮウェル２２１やＮ型領域２５８には到達しないように構成されている。

図９は、観測画素１０１の断面図を示している。

図９において、図８と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

図９に示される観測用の観測画素１０１の断面構造において、図８に示した測距用の測距画素８１と異なる点は、受光素子としてのSPAD１３１と、ホットキャリア発光を行う発光源であるMOSトランジスタTrとの間に、ホットキャリア発光による光（光子）を伝搬させる導光部３６１が設けられている点である。

即ち、観測画素１０１の第１の基板２０１の半導体基板２１１と、第２の基板２０２の半導体基板３１１との間の、平面方向の全領域のうちの一部の領域に、光を遮光するメタル配線２８３、２８４、２８７、２８８、３３１乃至３３４、および、３４１のいずれも形成されていない領域が設けられ、メタル配線の積層方向に、光を伝搬させる導光部３６１が形成されている。

これにより、平面方向の位置に関し、導光部３６１と、少なくとも一部が重なる位置に形成されたMOSトランジスタTr１においてホットキャリア発光が起きると、観測画素１０１のSPAD１３１は、導光部３６１を通過してくるホットキャリア発光による光を受光し、検出信号（画素信号）を出力することができる。なお、導光部３６１は、上述したように全てのメタル配線２８３、３４１等が完全に開口されていなくても、光が通過する程度に開口していればよい。

また、観測画素１０１の受光面側であるホール蓄積層２２４の上面には、ホール蓄積層２２４の受光面を覆うように遮光部材（遮光層）３６２が形成されている。遮光部材３６２は、受光面側から入射される外乱光等を遮断する。なお、上述したように、ヒストグラムの生成処理により、外乱光等の影響は除去することができるので、遮光部材３６２は、必須ではなく、省略することができる。

導光部３６１を伝搬して観測画素１０１の光電変換領域に到達する光を発するMOSトランジスタTr１は、発光源として測距用の測距画素８１にはない回路素子として設けたMOSトランジスタでもよいし、測距用の測距画素８１でも形成されているMOSトランジスタでもよい。

観測画素１０１に対して光を発光する観測画素用発光部１０７は、この導光部３６１とMOSトランジスタＴr１から構成されているようにすることができる。また発光制御部１０６は、MOSトランジスタＴr1のホットキャリア発光を制御する制御部として機能する。

MOSトランジスタTr１を、発光源として特別に観測用の観測画素１０１に設けた場合には、第２の基板２０２に形成される画素領域内の回路は、観測用の測距画素８１と測距用の測距画素８１とで異なる。この場合、発光源として特別に設けたMOSトランジスタTr１は、例えば、発光源を制御する回路に相当する。

観測用の観測画素１０１は、SPAD１３１への印加電圧の適正確認に用いることができる。この場合、観測画素１０１において、発光源として特別に設けたMOSトランジスタTr１を発光させ、クエンチ動作時のSPAD１３１のカソード電圧VS、すなわち、図７の時刻t2におけるカソード電圧VSを確認し、アノード電圧VAを調整するために用いることができる。

一方、発光源としてのMOSトランジスタTr１が、測距用の測距画素８１でも形成されているMOSトランジスタである場合には、第２の基板２０２に形成される画素領域内の回路は、観測用の測距画素８１と測距用の測距画素８１とで同一とすることができる。

なお、観測用の観測画素１０１の発光源は、MOSトランジスタに限らず、ダイオードや抵抗素子など、その他の回路素子でもよい。

また、受光装置５２は、上述したように、第１の基板２０１と第２の基板２０２とを貼り合わせた積層構造で構成することとしたが、１枚の基板（半導体基板）で構成してもよいし、３枚以上の積層構造で構成してもよい。さらに、第１の基板２０１のセンサ側配線層２１２が形成されたおもて面と反対の裏面側を受光面とする裏面型の受光センサ構造としたが、表面型の受光センサ構造としてもよい。

図９に示した観測画素１０１は、図３を参照して説明したように、観測装置２３内に観測画素用発光部１０７を備える場合の構成である。図４を参照して説明した観測装置２３外に観測画素用発光部１０７’を備える構成とした場合、観測画素１０１を、図８を参照して説明した測距画素８１と同様の構成とすることもできる。

＜特性制御に関わる第１の処理＞
測距システム１１で行われる特性制御に関わる第１の処理について、図１０乃至１３のフローチャートを参照して説明する。

ステップＳ１１において、測距処理が行われる。この測距処理は、被写体までの距離を測定する処理であり、従来のSPAD１３１(図６)を用いて行われている測距処理を適用することができる。ここでは図１１を参照して、測距処理について簡便に説明を加えるとともに、特性制御に関わる処理についても説明する。

ステップＳ３１において、測距用の発光が行われる。発光制御部３１は、発光部３２が、所定のパターンで発光するように制御する。

ステップＳ３２において、受光装置５２は、測距画素８１での受光を、受光タイミングで計測する。また、ステップＳ３３において、ヒストグラムの受光タイミングに応じたＢｉｎに反応回数が加算される。

受光装置５２は、図２に示したような構成し、複数の測距画素８１が２次元的に配置されている画素アレイ７２を備える。画素駆動部７１は、外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の測距画素８１の少なくとも一部をアクティブ画素とし、残りの測距画素８１を非アクティブ画素とする制御を行う。

アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。画素アレイ７２内のアクティブ画素で生成された画素信号は、時間計測部７４へ入力される。時間計測部７３は、画素アレイ７２のアクティブ画素から供給される画素信号と、発光部３２の発光タイミングを示す発光タイミング信号とに基づいて、発光部３２が光を発光してからアクティブ画素が光を受光するまでの時間に対応するカウント値を生成する。発光タイミング信号は、入出力部７６を介して外部から時間計測部７４へ供給される。

信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される発光部３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間をカウントしたカウント値のヒストグラムを画素ごとに作成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、発光部３２から照射された光が被写体１２または被写体１３(図１)で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体までの距離を算出する。

図１４を参照して、時間計測部７４の時間計測と、信号処理部７５のヒストグラムの生成について説明する。時間計測部７４には、TDCクロック信号を生成するTDCクロック生成部(不図示)が含まれている。また、時間計測部７４には、時間をカウントするTDC（Time to Digital Converter）も含まれている。

TDCクロック信号は、TDCが、発光部３２が照射光を照射してから測距画素８１が受光するまでの時間をカウントするためのクロック信号である。TDCは、MUX７３からの出力に基づいて、時間をカウントし、その結果得られたカウント値を、信号処理部７５に供給する。以下では、TDC１１２がカウントする値をTDCコードと呼ぶ。

TDCは、TDCクロック信号に基づいて、TDCコードを０から順にカウントアップする。そして、MUX７３から入力される検出信号PFoutが、SPAD１３１に入射光が入射されたタイミングを示した時点でカウントアップを停止し、最終状態のTDCコードを、信号処理部７５に出力する。

このように、時間計測部７４は、図１４に示されるように、発光部３２の発光開始を０として、TDCクロック信号に基づいてTDCコードをカウントアップし、アクティブ画素に入射光が入射され、Hiの検出信号PFoutが、MUX７３から時間計測部７４に入力された時点で、カウントを停止する。

信号処理部７５は、最終状態のTDCコードを取得し、TDCコードに対応するヒストグラムのビン（Bin）の頻度値を１だけ追加する。発光部３２の発光と、その反射光の受光とが所定回数（例えば、数千乃至数万回）繰り返された結果、信号処理部７５おいて、図１４の下段に示されるような、TDCコードの頻度分布を示すヒストグラムが完成する。

図１４の例では、頻度値が最大となるBin#で示されるビンのTDCコードが、信号処理部７５から後段の処理部、例えば、距離を算出する距離演算部(不図示)に供給される。

距離演算部(不図示)では、生成されたヒストグラムにおいて、例えば、頻度値が最大（ピーク）となるTDCコードを検出する。距離演算部は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を求める演算を行うことで、物体までの距離を算出する。

このような処理がステップＳ３１乃至Ｓ３３において実行されることで、測距が行われる。なお、図１１に示したフローチャートでは図示していないが、ステップＳ３３の処理の後、測距処理として、上記した距離演算部による演算が行われ、所定の物体までの距離が算出される。

図１１のフローチャートを参照した説明に戻り、ステップＳ３４において、発光部３２が所定の回数だけ発光したか否かが判定される。発光部３２の発光回数が所定の回数になった時点で、後段の処理（ここでは、図１０のステップＳ１２以降の処理）に移行し、特性の観測が行われる。

ステップＳ３４において、発光部３２が所定の回数だけ発光したと判定されるまで、ステップＳ３１に処理が戻され、測距に関する処理が行われる。一方で、ステップＳ３４において、発光部３２が所定の回数だけ発光したと判定とされた場合、ステップＳ１２（図１０）に処理は進められる。

ステップＳ１２において、平均反応回数が算出される。平均反応回数とは、画素アレイ７２に配置されている複数（例えば、Ｍ×Ｎ（Ｍ≧１、Ｎ≧１）個）の測距画素８１のそれぞれの反応回数の平均値である。反応回数は、図３に示した観測装置２３の受光フォトンカウンタ１０４が、MUX７３からの出力を用いて、各測距画素８１における反応回数をカウントし、平均値を算出する。

受光フォトンカウンタ１０４には、受光装置５２を構成するMUX７３からの信号が供給される。MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えにしたがい、アクティブ画素からの出力を選択する。よってMUX７３からは、選択されたアクティブ画素から入力された画素信号が出力され、その画素信号が、観測装置２３の受光フォトンカウンタ１０４に供給される。

アクティブ画素からの出力信号は、上記したように、アクティブ画素に入射光が入射されたときに出されたHiの検出信号PFoutである。すなわち、受光したときに出される信号を受光フォトンカウンタ１０４は受信するため、受光フォトンカウンタ１０４は、測距画素８１で入射光に対して反応した回数をカウントできる。受光フォトンカウンタ１０４は、測距画素８１の反応回数の平均値を算出する。

画素アレイ７２に配置されている全て（Ｍ×Ｎ個）の測距画素８１から反応回数を取得し、全ての測距画素８１の反応回数の平均値が算出されるようにしても良い。または、画素アレイ７２に配置されている測距画素８１のうちの所定数の測距画素８１から反応回数を取得し、所定数の測距画素８１の反応回数の平均値を、全ての測距画素８１の反応回数の平均値として用いるようにしても良い。

また、ここでは、反応回数の平均値を算出するとして説明を続けるが、反応回数の最大値や最小値が抽出されるようにしても良い。例えば、画素アレイ７２に配置されている全て（Ｍ×Ｎ個）の測距画素８１の反応回数のうちから最大値が抽出され、その最大値が後段の処理に用いられるようにしても良い。反応回数の最大値を用いる場合、測距画素８１のうち、特性が最も変化している（劣化している）と想定される測距画素８１に合わせた制御が行われる。

また例えば、画素アレイ７２に配置されている全ての測距画素８１の反応回数のうちから最小値が抽出され、その最小値が後段の処理に用いられるようにしても良い。反応回数の最小値を用いる場合、測距画素８１のうち、特性が最も変化していない（劣化していない）と想定される測距画素８１に合わせた制御が行われる。

また例えば、画素アレイ７２に配置されている全ての測距画素８１の反応回数のうちから最大値と最小値が抽出され、その最大値と最小値の中央値が後段の処理に用いられるようにしても良い。また、測距画素８１の反応回数をそのまま用いるのではなく、例えば、時間的なフィルタを通した後に得られる値に変換した後に得られる値が用いられるようにしても良い。

ステップＳ１２において、測距画素８１の平均反応回数が算出されると、ステップＳ１３に処理が進められる。ステップＳ１３において、特性取得処理が実行される。特性取得処理は、観測装置２３で行われる。ステップＳ１３において実行される特性取得処理について、図１２のフローチャートを参照して説明する。

ステップＳ５１において、観測用の発光が行われる。観測用の発光とは、観測装置２３の発光制御部１０６が、観測画素用発光部１０７を制御し、観測画素１０１だけに光を照射する処理である。

観測画素用発光部１０７により発光が行われると、ステップＳ５２において、観測画素１０１は、観測画素用発光部１０７により照射された光を受光する。

ステップＳ５３において、観測画素１０１で受光された回数（光子が入力されることで反応した反応回数）が計測される。観測フォトンカウンタ１０３は、観測画素１０１での受光回数（反応回数）を計測している。観測画素１０１の基本的な構成は、測距画素８１と同様であり、例えば、図６に示した回路構成を有している。よって、観測画素１０１も、受光したときにHiの検出信号PFoutを、観測フォトンカウンタ１０３に出力する構成とすることができる。そして、観測フォトンカウンタ１０３は、観測画素１０１が入力された光子により反応した回数（光子を受光した回数）を計測する。

ステップＳ５４において、所定の時間が経過したか否か、または所定の回数だけ発光したか否かが判定される。観測画素用発光部１０７により発光が開始された時点から、計時が開始され、その計時している時間が、所定の時間となったか否かが判定される。または、観測画素用発光部１０７により発光が開始された時点から、発光回数（点灯または消灯した回数）のカウントが開始され、そのカウントしている回数が、所定の回数となったか否かが判定される。

ステップＳ５４における判定を、所定の時間が経過したか否かで行うか、または所定の発光回数だけ発光したか否かで行うかは、どちらでも良い。ここでは、所定の回数だけ発光したか否かが判定されるとして説明を続ける。

ステップＳ５４において、所定の回数だけ発光されたと判定されるまで、ステップＳ５１に処理が戻され、それ以降の処理が繰り返される。ステップＳ５１乃至Ｓ５４の処理が繰り返されることで、観測画素１０１に対して、測距画素８１に与えられた影響が擬似的に再現される。

観測画素１０１は、遮光された状態で設けられており、外光の影響を受けない状態で設けられている。一方で、測距画素８１は、外光を受信する状態で設けられており、外光からの影響を受ける状態で設けられている。また測距画素８１は、外光による影響で特性が変化する可能性がある。測距画素８１における特性の変化を観測するためには、観測画素１０１においても、測距画素８１が外光により受ける影響を考慮する必要がある。そこで、上記したように、観測画素用発光部１０７による光を観測画素１０１に照射することで、観測画素１０１に対して、測距画素８１に与えられた影響を擬似的に再現するための処理が実行される。

観測画素１０１に対して、観測画素用発光部１０７により発光された光が、所定の回数だけ照射されるが、この所定の回数は、後述するステップＳ１４における最適光量制御処理で設定された回数である。すなわち、所定の回数は、前回の特性制御の第１の処理が実行されたときに設定された回数である。

ステップＳ５４において、観測画素用発光部１０７が所定の回数だけ発光したと判定された場合、ステップＳ１４（図１０）に処理は進められる。なお、図１２に図示はしていないが、観測装置２３のセンサ特性観測部１０２も、観測画素１０１での受光回数をカウントし、画素の特性を計測している。また、その計測された特性に基づき、測距画素８１に印加するバイアス電圧が設定される。

ステップＳ１４において、最適光量制御処理が実行される。ステップＳ１４において実行される最適光量制御処理について、図１３のフローチャートを参照して説明する。

ステップＳ７１において、観測画素１０１の受光回数が、測距画素８１の反応回数よりも小さいか否かが判定される。フォトン数比較部１０５（図３）には、観測フォトンカウンタ１０３から、観測画素１０１の受光回数が供給され、受光フォトンカウンタ１０４から、測距画素８１の反応回数が供給される。フォトン数比較部１０５は、供給された観測画素１０１の受光回数と測距画素８１の反応回数を比較し、観測画素１０１の受光回数が、測距画素８１の反応回数よりも小さいか否かを判定する。

ステップＳ７１において、フォトン数比較部１０５により、観測画素１０１の受光回数（反応回数）が、測距画素８１の反応回数よりも小さいと判定された場合、ステップＳ７２に処理が進められる。

なお、観測画素１０１の受光回数と測距画素８１の反応回数が同数である場合、ステップＳ７２に処理が進められるようにしても良いし、後述するステップＳ７４に処理が進められるようにしても良い。

ステップＳ７２において、観測画素１０１への光子供給量を増加させる制御パラメータが算出される。観測画素１０１の受光回数が、測距画素８１の反応回数よりも小さいと判定されるのは、観測画素１０１の特性が、測距画素８１の特性よりも良い場合と考えられる。測距画素８１の特性の変化を、仮に劣化と表現した場合、観測画素１０１の受光回数が、測距画素８１の反応回数よりも小さいと判定されるのは、観測画素１０１は、測距画素８１よりも劣化していない場合であると考えられる。

そこで、測距画素８１の劣化に、観測画素１０１の劣化を合わせるために、観測画素１０１への光子供給量を増加するための制御パラメータが設定される。すなわち観測画素１０１に光をより多く照射することで、観測画素１０１を劣化させ、測距画素８１の劣化と同程度まで劣化させるためのパラメータが設定される。

この制御パラメータの設定は、フォトン数比較部１０５が設定してもよいし、発光制御部１０６が設定しても良い。フォトン数比較部１０５が設定する場合、フォトン数比較部１０５が制御パラメータを算出し、その算出した制御パラメータが、発光制御部１０６に供給される。発光制御部１０６が設定する場合、フォトン数比較部１０５から、ステップＳ７１における判定結果が、発光制御部１０６に供給され、発光制御部１０６は、供給された判定結果に基づいて制御パラメータを算出する。

光子供給量を増加させる制御パラメータとしては、観測画素用発光部１０７（図３）の発光頻度や発光強度を制御するパラメータである。図４に示した観測装置２３のように、観測画素用発光部１０７’が観測装置２３外に設けられている場合には、その観測画素用発光部１０７’の発光頻度や発光強度を制御するパラメータが設定される。

観測画素用発光部１０７の発光頻度を高める、換言すれば、発光パターンの周期を高めることで、観測画素１０１への光子供給量を増加させることができる。同じく、観測画素用発光部１０７の発光強度を高めることで、観測画素１０１への光子供給量を増加させることができる。観測画素１０１への光子供給量を増加させるために、発光頻度を高くしても良いし、発光強度を高くしても良い。

観測画素用発光部１０７（１０７’）の発光頻度や発光強度を、どのくらいにするかは、観測画素１０１の反応回数と測距画素８１の反応回数の差分値に応じて設定されるようにしても良い。差分値が大きい場合には、大きく変化させるための制御パラメータが設定され、差分値が小さい場合には、小さく変化させるための制御パラメータが設定される用にすることができる。

ステップＳ７２において、制御パラメータが設定されると、ステップＳ７３に処理が進められる。ステップＳ７３において、設定された制御パラメータで観測画素用発光部１０が制御される。この制御が実行されるのは、この制御パラメータが設定された後の時点で、図１２に示した特性取得処理が実行されるときである。

また図１２に示した特性取得処理のステップＳ５４において、所定の回数だけ発光したか否かが判定されるが、この所定の回数が、ステップＳ７２において設定された制御パラメータに基づく回数とされる。または、図１２に示した特性取得処理のステップＳ５１において、観測用の発光が行われるが、この観測用の発光のときの発光強度が、ステップＳ７２において設定された制御パラメータに基づく強度とされる。

ステップＳ５４において、所定の時間が経過したか否かを判定するようにした場合、ステップＳ７２において設定される制御パラメータは、発光時間となる。また設定される発光時間は、発光回数が設定されたあと、その発光回数と発光パターン（周期）から算出される時間であっても良い。

一方、ステップＳ７１において、フォトン数比較部１０５により、観測画素１０１の受光回数は、測距画素８１の反応回数よりも大きいと判定された場合、ステップＳ７４に処理が進められる。

ステップＳ７４において、観測画素１０１への光子供給量を減少させる制御パラメータが算出される。観測画素１０１の受光回数は、測距画素８１の反応回数よりも大きいと判定されるのは、観測画素１０１は、測距画素８１よりも劣化している場合であると考えられる。そこで、測距画素８１の劣化に、観測画素１０１の劣化を合わせるために、観測画素１０１がさらに劣化しないように、観測画素１０１への光子供給量を減少させるための制御パラメータが設定される。

光子供給量を減少させる制御パラメータも、光子供給量を増加させる制御パラメータと同じく、観測画素用発光部１０７（図３）の発光頻度や発光強度を制御するパラメータである。観測画素用発光部１０７の発光頻度を低くする、換言すれば、発光パターンの周期を低くすることで、観測画素１０１への光子供給量を減少させることができる。同じく、観測画素用発光部１０７の発光強度を低くすることで、観測画素１０１への光子供給量を減少させることができる。観測画素１０１への光子供給量を減少させるために、発光頻度を低くしても良いし、発光強度を低くしても良い。

なお、制御パラメータとして、観測画素用発光部１０７を発光させないというパラメータが設定される場合もあるようにしても良い。例えば、観測画素１０１の受光回数と測距画素８１の反応回数の差分値が、所定の値以上である場合、観測画素用発光部１０７を発光させないというパラメータが設定されるようにしても良い。

ステップＳ７２において、制御パラメータが設定されると、ステップＳ７３に処理が進められる。ステップＳ７３における処理については既に説明した場合と同様であるため、ここではその説明を省略する。

ステップＳ７３の処理が終了されると、図１０に示した特性制御の第１の処理も終了される。このようにして、観測画素１０１の特性を、測距画素８１の特性と合わせるための処理が行われる。

このように、観測画素１０１の特性と測距画素８１の特性が合わされた状態で、例えば、SPAD１３１にかけるバイアス電圧が制御されるため、適切な制御を行うことが可能となる。

＜特性制御に関わる第２の処理＞
測距システム１１で行われる特性制御に関わる第２の処理について、図１５のフローチャートを参照して説明する。

上記した特性制御に関わる第１の処理は、発光装置２１や撮像部４１などの処理で測距処理が行われた後、観測装置２３において特性取得処理が実行される場合を例に挙げて説明した。測距処理と特性取得処理は、並列して行われるようにしても良い。すなわち、図１５に示したフローチャートのように、ステップＳ１０１において測距処理が実行される一方でステップＳ１０２において、特性取得処理も実行されるようにしても良い。

ステップＳ１０１における測距処理は、図１１に示したフローチャートの処理を参照した説明と同様に行うことができるため、ここではその説明を省略する。また、ステップＳ１０２における特性取得処理は、図１２に示したフローチャートの処理を参照した説明と同様に行うことができるため、ここではその説明を省略する。

測距処理と特性取得処理は、並列して行われる。なお、並列して行われると記載したが、測距処理が行われているときに、常に特性取得処理も実行されている必要はなく、例えば、特性取得処理は、所定の周期毎に行われるようにしてもよい。測距処理と特性取得処理は、独立して、個々のタイミングで行われるようにしても良い。

ステップＳ１０１において、測距処理が行われ、所定の発光回数だけ発光されたと判定されると、ステップＳ１０３に処理が進められる。ステップＳ１０３の処理は、ステップＳ１２（図１０）の処理と同様の処理であり、測距画素８１の反応回数の平均が算出される処理である。ステップＳ１０３において、測距画素８１の反応回数の平均が算出されると、処理は、ステップＳ１０４に進められる。

ステップＳ１０４において、最適光量制御処理が実行される。この最適光量制御処理は、図１３に示したフローチャートの処理を参照した説明と同様に行うことができるため、ここではその説明を省略する。

このように、観測装置２３で行われる観測処理（特性取得処理）は、測距処理に関わらず実行されているようにし、所定のタイミングで、最適光量制御処理が実行されるようにしても良い。所定のタイミングとは、例えば、ステップＳ１０３において測距画素８１の平均反応回数が算出されたときや、予め設定されている周期毎などとすることができる。

本技術によれば、測距画素の特性の変化に合わせて、特性を観測している観測画素１０１の特性も変化させることができるため、測距画素の特性の変化に応じた適切な制御を行うことができる。

＜内視鏡手術システムへの応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１６は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１７は、図１６に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１９は、撮像部１２０３１の設置位置の例を示す図である。

図１９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、
第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、
前記第２の画素に対して光を発光する発光部と、
前記第１の反応回数と前記第２の反応回数との差分に応じて前記発光部を制御する発光制御部と
を備える観測装置。
（２）
前記第１の画素と前記第２の画素は、SPAD（Single Photon Avalanche Diode）を受光素子とする
前記（１）に記載の観測装置。
（３）
前記発光部は、前記第２の画素内に配置されている
前記（１）または（２）に記載の観測装置。
（４）
前記発光部は、前記第２の画素外に配置されている
前記（１）または（２）に記載の観測装置。
（５）
前記第２の画素の受光面側は、遮光されている
前記（１）乃至（４）のいずれかに記載の観測装置。
（６）
前記発光制御部は、前記第２の反応回数が、前記第１の反応回数より小さい場合、前記第２の画素への光子供給を増加させるための制御パラメータを設定して前記発光部を制御し、前記第２の反応回数が、前記第１の反応回数より大きい場合、前記第２の画素への光子供給を減少させるための制御パラメータを設定して前記発光部を制御する
前記（１）乃至（５）のいずれかに記載の観測装置。
（７）
前記制御パラメータは、前記発光部の発光強度または発光頻度を制御するパラメータである
前記（６）に記載の観測装置。
（８）
前記第１の画素がＭ×Ｎ（Ｍ≧、Ｎ≧１）で配列されている
前記（１）乃至（７）のいずれかに記載の観測装置。
（９）
前記第１の計測部は、Ｍ×Ｎ個の前記第１の画素の反応回数の平均値を前記第１の反応回数とする
前記（８）に記載の観測装置。
（１０）
前記第１の計測部は、Ｍ×Ｎ個の前記第１の画素の反応回数のうちの最大値または最小値を前記第１の反応回数とする
前記（８）に記載の観測装置。
（１１）
前記第２の画素は、受光面とは反対側に前記発光部を備え、
前記受光素子と前記発光部との間に、光子を伝搬させる導光部を備える
前記（１）乃至（１０）のいずれかに記載の観測装置。
（１２）
前記第２の画素は、前記第１の画素の特性を観測するための画素であり、
観測される前記特性は、ＰＤＥ（Photon Detect Efficiency）、ＤＣＲ（Dark Count Rate）、降伏電圧Ｖｂｄ（Breakdown Voltage）、前記第１の画素の反応遅延時間のいずれか１つ以上である
前記（１）乃至（１１）のいずれかに記載の観測装置。
（１３）
観測装置が、
第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測し、
第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測し、
前記第２の画素に対して光を発光する発光部を、前記第１の反応回数と前記第２の反応回数との差分に応じて制御する
観測方法。
（１４）
照射光を発光する第１の発光部と、
前記第１の発光部からの光が物体に反射された反射光を受光する第１の画素と
を備え、前記物体までの距離を計測する測距装置と、
前記第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、
第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、
前記第２の画素に対して光を発光する第２の発光部と、
前記第１の反応回数と前記第２の反応回数との差分に応じて前記第２の発光部を制御する発光制御部と
を備え、前記第１の画素の特性を観測する観測装置と
を備える測距システム。

１１ 測距システム， １２ 被写体， １３ 被写体， ２１ 発光装置， ２２ 撮像装置， ２３ 観測装置， ３１ 発光制御部， ３２ 発光部， ４１ 撮像部， ４２ 制御部， ４３ 表示部， ４４ 記憶部， ５１ レンズ， ５２ 受光装置， ７１ 画素駆動部， ７２ 画素アレイ， ７３ 時間計測部， ７４ 時間計測部， ７５ 信号処理部， ７６ 入出力部， ８１ 画素， ８２ 画素駆動線， １０１ 観測画素， １０２ センサ特性観測部， １０３ 観測フォトンカウンタ， １０４ 受光フォトンカウンタ， １０５ フォトン数比較部， １０６ 発光制御部， １０７ 観測画素用発光部， １２１ 発光部， １３２ トランジスタ， １３３ スイッチ， １３４ インバータ， １３５ ラッチ回路， １３６ インバータ， １３７ グランド接続線， ２０１ 第１の基板， ２０２ 第２の基板， ２１１ 半導体基板， ２１２ 配線層， ２２１ Ｎウェル， ２２２ Ｐ型拡散層， ２２３ Ｎ型拡散層， ２２４ ホール蓄積層， ２２５ 高濃度Ｐ型拡散層， ２５７ アバランシェ増倍領域， ２５８ Ｎ型領域， ２５９ 画素分離部， ２８１ コンタクト電極， ２８２ コンタクト電極， ２８３ メタル配線， ２８４ メタル配線， ２８５ コンタクト電極， ２８６ コンタクト電極， ２８７ メタル配線， ２８８ メタル配線， ３１１ 半導体基板， ３１２ 配線層， ３３１ メタル配線， ３３２ メタル配線， ３３３ メタル配線， ３３４ メタル配線， ３３５ コンタクト電極， ３３６ コンタクト電極， ３４１ メタル配線， ３６１ 導光部， ３６２ 遮光部材

Claims (14)

1. 第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、
   第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、
   前記第２の画素に対して光を発光する発光部と、
   前記第１の反応回数と前記第２の反応回数との差分に応じて前記発光部を制御する発光制御部と
   を備える観測装置。
2. 前記第１の画素と前記第２の画素は、SPAD（Single Photon Avalanche Diode）を受光素子とする
   請求項１に記載の観測装置。
3. 前記発光部は、前記第２の画素内に配置されている
   請求項１に記載の観測装置。
4. 前記発光部は、前記第２の画素外に配置されている
   請求項１に記載の観測装置。
5. 前記第２の画素の受光面側は、遮光されている
   請求項１に記載の観測装置。
6. 前記発光制御部は、前記第２の反応回数が、前記第１の反応回数より小さい場合、前記第２の画素への光子供給を増加させるための制御パラメータを設定して前記発光部を制御し、前記第２の反応回数が、前記第１の反応回数より大きい場合、前記第２の画素への光子供給を減少させるための制御パラメータを設定して前記発光部を制御する
   請求項１に記載の観測装置。
7. 前記制御パラメータは、前記発光部の発光強度または発光頻度を制御するパラメータである
   請求項６に記載の観測装置。
8. 前記第１の画素がＭ×Ｎ（Ｍ≧、Ｎ≧１）で配列されている
   請求項１に記載の観測装置。
9. 前記第１の計測部は、Ｍ×Ｎ個の前記第１の画素の反応回数の平均値を前記第１の反応回数とする
   請求項８に記載の観測装置。
10. 前記第１の計測部は、Ｍ×Ｎ個の前記第１の画素の反応回数のうちの最大値または最小値を前記第１の反応回数とする
    請求項８に記載の観測装置。
11. 前記第２の画素は、受光面とは反対側に前記発光部を備え、
    前記受光素子と前記発光部との間に、光子を伝搬させる導光部を備える
    請求項１に記載の観測装置。
12. 前記第２の画素は、前記第１の画素の特性を観測するための画素であり、
    観測される前記特性は、ＰＤＥ（Photon Detect Efficiency）、ＤＣＲ（Dark Count Rate）、降伏電圧Ｖｂｄ（Breakdown Voltage）、前記第１の画素の反応遅延時間のいずれか１つ以上である
    請求項１に記載の観測装置。
13. 観測装置が、
    第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測し、
    第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測し、
    前記第２の画素に対して光を発光する発光部を、前記第１の反応回数と前記第２の反応回数との差分に応じて制御する
    観測方法。
14. 照射光を発光する第１の発光部と、
    前記第１の発光部からの光が物体に反射された反射光を受光する第１の画素と
    を備え、前記物体までの距離を計測する測距装置と、
    前記第１の画素への光子の入射に応じて受光素子が反応した第１の反応回数を計測する第１の計測部と、
    第２の画素への光子の入射に応じて受光素子が反応した第２の反応回数を計測する第２の計測部と、
    前記第２の画素に対して光を発光する第２の発光部と、
    前記第１の反応回数と前記第２の反応回数との差分に応じて前記第２の発光部を制御する発光制御部と
    を備え、前記第１の画素の特性を観測する観測装置と
    を備える測距システム。

Images