JP2008096387A

JP2008096387A - 時間相関検出型イメージセンサおよび画像解析装置

Info

Publication number: JP2008096387A
Application number: JP2006281451A
Authority: JP
Inventors: Yasushi Ito; 康史伊藤; Munehiro Uratani; 宗宏浦谷; Shigeru Ando; 繁安藤
Original assignee: Sharp Corp; University of Tokyo NUC
Current assignee: Sharp Corp; University of Tokyo NUC
Priority date: 2006-10-16
Filing date: 2006-10-16
Publication date: 2008-04-24
Anticipated expiration: 2026-10-16
Also published as: JP5441204B2

Abstract

【課題】複数の計測を同時に行なうことができ、カラー画像を取得することができる時間相関検出型イメージサンサおよびそれを用いた画像解析装置を提供する。
【解決手段】複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ，ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号のどれと対応するかによって３個のグループに分けられる。複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流を分流して変調する。複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する。
【選択図】図１５

Description

本発明は、時間相関検出型イメージセンサおよび画像解析装置に関し、特に入射光強度と外部電気信号との時間相関検出を行なう時間相関検出型イメージセンサおよびそのような時間相関検出型イメージセンサを備えた画像解析装置に関する。

画像センシングや画像解析の応用は、コンピュータビジョン、自動視覚検査、科学計測、リモートセシング等、多岐にわたっている。しかし、その入力手段としては、ほとんど放送用のイメージセンサの流用以外の方法がなく、その限定された機能に由来して、画像処理の応用展開上、多くの制約を受けているのが現状である。

特に問題が大きいのが、フレームレート1/30秒という時間分解能の悪さであり、ＭＯＳ型イメージセンサの高速スキャンや、イメージディテクタのような時間信号出力型デバイスを用いても、感度や本来の空間分解能が犠牲になるため、本質的な解決にならない。

この問題を解決するために、センサ段階で参照信号との時間的な相関を計算し、後続する画像解析にはある幅を持った時間での相関情報のみに圧縮して出力する方法が考案されている（たとえば、特許文献１および特許文献２を参照）。

これにより、時間方向の高精度な相関の検出が可能であり、様々な計測を行なうことができる。
特許第３６４３２１０号公報特開２００６−５８９８号公報

しかしながら、特許文献１および特許文献２では、相関に用いることのできる参照信号は一種類だけであり、一度に一種類のみの計測しかできなかった。また計測に使用する光も一種類（波長を区別しない）であるため、カラー画像を取得することができなかった。

それゆえに、本発明の第１の目的は、複数の計測を同時に行なうことができる時間相関検出型イメージセンサおよび画像解析装置を提供することである。
また、本発明の第２の目的は、カラー画像を取得することができる時間相関検出型イメージサンサおよびそれを用いた画像解析装置を提供することである。

上記課題を解決するために、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して、各受光素子に含まれる複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流を分流して変調する。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して、各受光素子に含まれる複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流を分流して変調し、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調し、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流を分流して変調し、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である。

また、本発明の時間相関検出型イメージセンサは、各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、複数の受光素子には、互いに独立したＮ個の変調信号が入力され、複数の受光素子は、Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調し、複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である。

好ましくは、複数の受光素子は、所定面上において格子状に配置される。
好ましくは、複数の受光素子は、所定面上において蜂の巣状に配置され、複数の受光素子の各々の形状は、正六角形である。

好ましくは、特定の色にのみ反応する受光素子は、光電変換素子の前段に、特定の色の光のみを通過するフィルタを備える。

好ましくは、複数の受光素子のすべては、青色にのみ反応する。
好ましくは、複数の受光素子は、Ｍ個の色のどれと対応するかによってＭ個のグループに分けられ、複数の受光素子の各々は、それに対応する色にのみ反応する、ただし、Ｍは２以上の自然数である。

好ましくは、Ｍ個の色は、光の三原色である赤、青および緑の３色である。
好ましくは、Ｍ個の色は、光の三原色の補色であるシアン、マゼンタおよびイエローの３色である。

好ましくは、色に基づいて分けられる各グループに属する受光素子は、所定面上において周期的に配置される。

好ましくは、複数の受光素子は、所定面上に格子状に配置され、色に基づいて分けられる各グループに属する受光素子は、所定面上において縦方向および横方向のうちの一方に周期的に配置され、所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置される。

好ましくは、Ｎは３である。
好ましくは、変調信号に基づいて分けられる各グループに属する受光素子は、所定面上において周期的に配置される。

好ましくは、複数の受光素子は、所定面上に格子状に配置され、変調信号に基づいて分けられる各グループに属する受光素子は、所定面上において縦方向および横方向のうちの一方に周期的に配置され、所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置される。

好ましくは、複数の受光素子は、Ｎ個の色のどれと対応するかによってＮ個のグループに分けられ、複数の受光素子の各々は、それに対応する色にのみ反応し、変調信号に基づくグループ分けで生成されるグループと、色に基づくグループ分けで生成されるグループとでは、各グループに含まれる受光素子が同一である。

好ましくは、複数の受光素子は、所定面上に格子状に配置され、色に基づいて分けられる各グループに属する受光素子は、所定面上の縦方向および横方向のうちの一方に周期的に配置され、所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置され、色に基づいて分けられる各グループに属する受光素子は、一方に周期的に配置され、他方には同一のグループの受光素子が配置される。

好ましくは、Ｎは３であり、複数の受光素子は、所定面上に格子状に配置され、複数の受光素子は、ベイヤ型配列で周期的に配置される。

好ましくは、複数の受光素子は、Ｍ個の色のどれと対応するかによってＭ個のグループに分けられ、複数の受光素子の各々は、それに対応する色にのみ反応し、変調信号に基づいて分けられる各グループは、色に基づいて分けられるＭ個の各グループ内の少なくとも１つの受光素子を含み、色に基づいて分けられる各グループは、変調信号に基づいて分けられるＮ個の各グループ内の少なくとも１つの受光素子を含む、ただし、Ｍは２以上の自然数である。

好ましくは、複数の受光素子は、所定面上に格子状に配置され、色に基づいて分けられる各グループに属する受光素子は、縦方向および横方向のうちの一方に周期的に配置され、所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置され、変調信号に基づいて分けられる各グループに属する受光素子は、他方に周期的に配置され、一方には同一のグループの受光素子が配置される。

好ましくは、複数の受光素子は、所定面上において蜂の巣状に配置され、複数の受光素子の各々の形状は、正六角形であり、Ｎは３であり、複数の受光素子は、３個の色のどれと対応するかによって３個のグループに分けられ、複数の受光素子の各々は、それに対応する色にのみ反応し、各受光素子の３組の対辺の中央を結ぶ方向を、第１方向、第２方向および第３方向としたときに、色に基づいて分けられる各グループに属する受光素子は、第１方向、第２方向および第３方向に周期的に配置され、かつ各受光素子が属する色のグループは、各受光素子に隣接する６個の受光素子が属する色のグループと相違し、変調信号に基づいて分けられる各グループに属する受光素子は、第１方向、第２方向および第３方向のうちのいずれかの一方向に周期的に配置され、第１方向、第２方向および第３方向のうちの残りの一方向には、同一のグループの受光素子が配置される。

また、本発明は、計測対象物体に１個または互いに独立なＮ個の変調光を照射し、その計測対象物体からの反射光を受光する上述のいずれかの時間相関検出型イメージセンサであって、複数のコンデンサの積分値の和が計測対象物体の平均照度を表わし、複数のコンデンサの積分値の差が計測対象物体の一次微分値となるように１個または互いに独立なＮ個の変調信号を入力する。

また、本発明の画像解析装置は、時間変調をかけた光を物体に照射する１個またはＮ個の光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する上述のいずれかの時間相関検出型イメージセンサと、遅延手段により遅延された１個またはＮ個の信号を時間相関検出型イメージセンサに、１個または互いに独立なＮ個の変調信号として入力することにより得られた複数のコンデンサの各電荷の和と差を算出して、物体の形状を特定する。

また、本発明の画像解析装置は、時間変調をかけた光を物体に照射する１個またはＮ個の光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する上述のいずれかの時間相関検出型イメージセンサとを備え、遅延手段により遅延された１個またはＮ個の信号を時間相関検出型イメージセンサに１個または互いに独立なＮ個の変調信号として入力することにより得られた複数のコンデンサの電荷の差を物体の一次微分画像として走査回路で読み出す。

また、本発明の画像解析装置は、時間変調をかけた光を物体に照射する青色光源と蛍光体とを組み合わせた１個またはＮ個の白色光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する上述の時間相関検出型イメージセンサとを備え、遅延手段により遅延された１個またはＮ個の信号を時間相関検出型イメージセンサに１個または互いに独立なＮ個の変調信号として入力することにより得られた複数のコンデンサの各電荷の和または差を走査回路で読出す。

本発明によれば、互いに独立な複数の変調信号により複数の測定を同時に行なうことが可能となる。従来でも、複数のセンサおよび光学系を用い複数の測定を同時に行なうことは可能であったが、これに比べて各測定間の位置精度を向上することができ、また、センサおよび光学系を共用することによるコストの削減効果がある。

また、本発明によれば、特定の色に反応する受光素子を設けることにより、複数の測定を同時に行ない、またカラー画像の取得が単一のセンサで可能となる。これは、複数のセンサおよび複数の光学系が必要であった従来技術に比べて、各測定および各色間の位置精度の向上、センサおよび光学系が一つで済むことによるコストの削減効果がある。

また、本発明によれば、変調信号と色とを対応させることにより、各測定間の干渉をより小さくし、精度の高い測定が可能となる。変調信号と色とを組み合わせることにより、測定の多重度をより高め、また各測定で色情報の取得が可能となる。

また、本発明によれば、人間の目の特性に対応した３色（赤、緑、青）または（シアン、マゼンダ、イエロー）に応じたカラー画像の取得が可能となる。

また、本発明によれば、センサ上に均一に受光素子を配置することができる。たとえば、受光素子の配置単位を縦横に整列するので、配置を簡単に行なうことができ、空間的に同じ間隔でデータを取得することができる。また、３個の変調信号または３色に対応する受光素子を、センサ面上で最密かつ全て同一のパターンで配置するので、各変調信号または各色の間の精度を向上し、かつその差を小さくすることができる。

また、本発明によれば、入射光の中で高速に変化することができる成分（例えば青色ＬＥＤと蛍光体とを組み合わせた白色ＬＥＤの光の中の、青色成分）に反応する受光素子を備えるので、白色全てに反応する受光素子に比べて精度を向上させることができる。

また、本発明によれば、時間相関検出型イメージセンサを複数の変調信号の画像または特定の色についての画像解析装置に用いることができる。

また、本発明によれば、イメージセンサの出力信号を用いて簡単に複数の変調信号についての物体の形状または特定の色についての物体の形状を特定することができる。

また、本発明によれば、受光素子の複数のコンデンサの電荷の差を順次読み出しリセットするようにしたので、飽和しにくいイメージセンサとすることができる。

以下、本発明に係る実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は、本発明の実施形態の時間相関検出型イメージセンサの基本構造を表わす図である。

この構造の要点は、（ａ）入射フォトンを光電流（被乗数）に変換する光検出器（フォトダイオード）ＰＤを備え、（ｂ）全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、（ｃ）光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１を備え、（ｄ）上記の積電流を時間積分して相関値として蓄積するコンデンサＣを備え、（ｅ）相関値を走査して通常のビデオ信号として出力する、すなわち変調信号よりも遅い周期により複数の受光素子を走査して、各受光素子に含まれる複数のコンデンサまたは複数のコンデンサの電荷の差を読み出してリセットする走査部（ＣＣＤあるいはＭＯＳスイッチ回路）２を備える、ことにある。ここで、リセットとは、複数のコンデンサの電荷または電荷の差をオペアンプに転送した後、オペアンプからの充電によってリセットすることをいう。

画素（ｉ，ｊ）の光検出器の出力をｆi,j（ｔ）、外部電気信号をｇ（ｔ）、走査周期に一致する積分時間をＴとすると、時間相関検出型イメージセンサの（ｉ，ｊ）画素の出力は、

と表わされるものとなる。

図２は、周波数帯域から見た時間相関検出型センサの構造（動作）を示す図である。変調光のような変化する光ではｆi,j（ｔ）にはいくらでも高い時間周波数帯域を想定できる。通常のイメージセンサでは、この帯域は走査周期（フレームレート）で強い制限を受けるが、上記のセンサ構造では、この上限は光検出器の限界帯域まで取払われる。外部電気信号Ｓは全画素共通のため、この帯域も走査周期の制約は受けず、上限帯域は信号分配配線の限界帯域程度と見積もられる。これに対して、出力信号はそれらの相関値であり走査周期分の積分値であるため、その帯域は常に走査周期の帯域に収っている。

（光伝搬時間による距離画像の生成）
これまで画像センシングにおける相関計測は、主として空間相関−パターンマッチング−に関して議論されるに留まり、時間軸に対する相関は、ほとんど議論されていない。ここでは、非常に高速な時間相関が得られる場合に、画像センシングにどのような応用展開が開けてくるかを、二三の具体例を用いて示す。空間解像度や出力信号の形態としては、積極的に通常の放送用のイメージセンサとコンパティブルなものを想定する。回路の複雑さを１０トランジスタ／画素程度に抑えれば、ハイビジョン程度の空間解像度までターゲットとなり得る。

まず最初に、光伝搬時間による距離画像の生成について説明する。
図３は、本発明の実施形態のイメージセンサを用いた光伝播時間による距離画像の生成を示す図である。

図３を参照して、この応用は、光検出器、外部電気信号入力とも、数ＧＨｚ以上の帯域が実現できたときに可能となる。数ＧＨｚの時間分解能では、光の伝搬長分解能は３次元計測に求められる数ｃｍ以下となることに注目すべきである。

光源はレーザダイオードやＬＥＤなどのように、広帯域な（高い周波数成分を含む）時間変調がかけられるものを想定する。ここではＬＥＤ３を用いている。このＬＥＤ３は一定レベルで発光させるのではなく、発光の輝度をＭ系列のパターンに変調を施して発光させる。この変調光をＭ（ｔ）とする。すなわち、

を満たすものである。

ＬＥＤ３の変調信号は遅延素子６を介して遅延時間τだけ遅延されて、外部電気信号としてセンサ５に入力される。また、センサ５の各受光素子により捉えられた入射光は外部電気信号により変調されて、入射光と外部電気信号との積に相当する電荷が相関値として蓄積される。各素子を順次走査することにより蓄積された各素子の電荷を読み出し、これにより相関が求まることとなる。

ここで、ＬＥＤ３から対象４までの距離と、対象４からセンサ５までの距離との和をｌi（i＝１，２・・・ｎ）、光速をｃとする。ただし、対象４は静止しているものと仮定する。センサ５上の光強度分布は一般に以下のように書かれる。

ただし、光の減衰等は簡略化のため無視してある。また、対象４をセンサ５上に結像させる結像光学系の図示は省略している。ここで、ｆi（ｘ，ｙ）は距離ｌiのところにある画像、ｎ（ｘ，ｙ，ｔ）は照明光や太陽光などの観測雑音である。この強度分布Ｇ（ｘ，ｙ，ｔ）と変調信号Ｍ（ｔ）の時間相関関数は、

であり、外部信号として与えるＭ（ｔ）の時間遅れがτ＝ｌi／ｃの時だけ、ｆi（ｘ，ｙ）の出力が得られるということである。すなわち、適当にτを選択することによって、外来光によらず所望の距離の物体４表面のみを明るく検出することができる。したがって、例えばτを段階的に変化させることにより、物体４の立体像が得られる。

（画像の１次微分の算出）
入射光の強度に変調成分を与える方法として、センサを微小振動させる方法もある。以下で述べる応用には、光検出器と外部電気信号の時間周波数帯域とも１００ｋＨｚ以下で十分である。また、微分を画素間差分を用いずに生成することには、イメージセンサ最大の雑音源である画素感度差による誤差を排除できる利点がある。

センサが静止しているときにセンサ上に到来するであろう光強度分布をｆ0（ｘ，ｙ）で表わす。センサには微小半径εで回転角速度ωの回転的シフト運動、すなわちセンサの受光面内で半径εの円を軌跡とする平行運動を与える。センサの運動速度に比べれば、（例えあったとしても）対象の運動は無視できるものと仮定する。このとき、時刻ｔにおいてセンサが捉える光強度分布は、

となり、テーラー展開をして１次近似すると、

である。ここで、式（６）にεｃｏｓωｔを乗じて時間平均をとると、

となる。ここで、＜ｃｏｓωｔ＞＝０、＜ｓｉｎωｔｃｏｓωｔ＞＝０、＜ｃｏｓ2ωｔ＞＝１／２を用いた。式（７）の左辺はセンサ上に相関値として生成され、εも既知であるから、センサ出力として画像のｘ微分ｆ0x（ｘ，ｙ）が読み出されることになる。同様にして、ｆ0y（ｘ，ｙ）も式（６）にεｓｉｎωｔを掛けて時間平均をとることにより求まる。

これは、回転的シフト量のｘ方向成分を外部電気信号とすることにより、画像のｘ微分ｆ0x（ｘ，ｙ）が読み出されることを意味する。同様に、回転的シフト量のｙ方向成分を外部電気信号とすることにより、画像のｙ微分ｆ0y（ｘ，ｙ）が読み出される。また、定数を外部信号として読み出せば、回転的シフトによる移動平均画像が得られる。

１次微分が精度良く求まることは、単に演算処理量の減少にとどまらず、勾配ベクトルを用いたさまざまな画像処理（エッジ検出、オプティカルフロー検出、両眼ステレオ等）の精度の大幅な向上につながる。なお、センサ自体を振動させる代りに、例えば光学系の一部を振動させるなどして、固定したセンサ上で結像を移動（振動）させるようにしてもよい。

（時間相関検出型イメージセンサのセンシングセル（受光素子）の構造）
次に、時間相関検出型イメージセンサのセンシングセル（受光素子）の具体的な構成を例示する。

乗算を実現する代表的な回路構成として、可変コンダクタンス差動増幅器が知られている。図４は、差動トランジスタを用いて光電流を２つのコンデンサに分流させる例を示す回路を表わす図である。

図４ではバイポーラトランジスタＱ1，Ｑ2を用いているが、差動のトランジスタ対として、サブスレッショルド領域にバイアスされたＭＯＳＦＥＴ対を用いてもよい。

この回路の差動入力電圧

に対する相互コンダクタンスｇm は、トランジスタＱ1，Ｑ2のエミッタバイアス電流を与える光電流ＩPD（ｔ）に比例する。したがって、この比例係数をρとすると、両コレクタ電流は、

となり、コンデンサＣ1，Ｃ2に蓄積される電荷には、

のように、ＩPD（ｔ）とＶ（ｔ）の相関に比例した成分と、ＩPDの積分値に比例する成分との和が生成される。ＭＯＳＦＥＴＱ3，Ｑ4による電荷転送の後で、画素ごとにこれらの和と差をとることにより、

のごとく、それらが分離される。前者の和の成分は、通常のイメージセンサの出力（平均照度）に等しい。したがって、例えば上述した画像の１次微分の算出を行なう場合には、式（８）の差動入力電圧Ｖ（ｔ）をセンサの外部電気信号（変調信号）として用い、２つのコンデンサＣ1，Ｃ2の電荷をＦＥＴＱ3およびＱ4をオンさせて電圧を介して検出し、その差分を相関として求めればよい。なお、式（９）〜式（１３）の添字はコンデンサＣ1，Ｃ2の添字に対応している。

しかし、この回路構成の欠点は、応用によっては大変大きな値をもつＩPDの積分値の成分が、蓄積コンデンサ（コンデンサＣ1，Ｃ2）やＣＣＤ転送線を飽和させやすいため精度上の困難さが予想される点にある。平均照度の成分をあきらめて差成分のみを生成するには、カレントミラー回路の付加により分岐された電流を逆相合成して１つのコンデンサに電荷を蓄積する方法がある。また、図５のように、２つのコンデンサＣ3，Ｃ4の蓄積電荷の差成分のみを取り出すようなＦＥＴスイッチ回路（Ｑ5，Ｑ6）を内蔵させる方法なども考えられる。通常は図５のＶXFRを低電位に維持して２つのコンデンサＣ3，Ｃ4を充電するとともに、走査時にＶXFRを高電位に切替えることにより、ＦＥＴＱ3を介して２つのコンデンサＣ3，Ｃ4の蓄積電荷の差成分に応じた電圧を検出することができる。

図４および図５の回路では、検出器に生じた光電流を、電圧入力に比例した按分比率で２つのコンデンサに分配し、電荷として蓄えていると見なせる。そして、光検出器自体にこのような発生電流の按分機構を埋め込めれば、回路的手段により電荷を振り分ける場合に比べて乗算の周波数帯域が大幅に拡大することが予想される（例えば数ＧＨｚ以上）。

図６は、半導体中に発生した光キャリアを２つのコンデンサに割り振る構成を模式的に表わす図である。

図６を参照して、半導体中に発生した光キャリアのドリフト方向を外部電界で制御し、２つのｐｎ接合に流れ落ちるキャリア数を変調するようにし、コンデンサＣ5，Ｃ6に電流を振り分けている。コンデンサＣ5，Ｃ6の電荷はＭＯＳＦＥＴＱ7，Ｑ8のオン動作により読み出される。図６に示す光検出器では、ＶMPY+とＶMPY-の差分が上述の光伝搬時間による距離画像の生成における外部電気信号（変調信号）に対応する。

次に、図７に示すＦＥＴブリッジを用いたスイッチング方式半２値相関回路について説明する。この回路構成には、外部電気信号が２値的信号に制限される欠点はあるが、容易に高精度の動作が得られるという利点とともに、従来のＣＣＤイメージセンサと半導体製造プロセス上の共通点が多いという利点がある。

この回路の動作は、図８に模式的に示される。まず、画素に光が入射すると、その光は各画素ごとにフォトダイオードＰＤにより電流に変換される。通常のＣＣＤカメラでは、この電流により直接コンデンサで電荷を蓄積し、コンデンサの両端電圧をスキャンする。ここで提案する方法では、通常の電荷蓄積前にＦＥＴを４個（Ｑ11〜Ｑ14）用いてスイッチングを行ない、走査時にはＦＥＴＱ12およびＱ13をオンさせた状態でＦＥＴＱ15を介してコンデンサＣ7の電圧を検出する。これは、例えばＭ系列信号で駆動することに対応している。すなわち、電流スイッチングを繰返し行なうことにより、中央のコンデンサＣ7の電荷が蓄積され（放出され）、このコンデンサＣ7の両端電圧を計測することにより、相関が計算されたことになる。

（受光素子の配列および変調信号）
図９は、第１の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図９を参照して、複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

図４、５、７および８に示すような場合には、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流分流して変調する。また、図６に示すような場合には、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する。

複数の受光素子は、所定面上に周期的に配置される。より具体的には、複数の受光素子は、格子状に配置される。

変調信号に基づく各グループの受光素子は、所定面上において横方向に３つおきに周期的に配置され、所定面において縦方向には、同一のグループの受光素子が配置される。具体的には、変調信号ＭＰＹＡに対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、変調信号ＭＰＹＢに対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、変調信号ＭＰＹＣに対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

（複数の変調信号が与えられる場合の距離画像の生成、画像の１次微分の算出）
このような３個の変調信号が受光素子に与えられるときの、距離画像の生成、および画像の１次微分の算出は次のようになる。すなわち、３個の光源は、互いに独立な３個の時間変調をかけた光を出力する。この３個の光源から出力された３個の時間変調信号が遅延装置で遅延時間τだけ遅延されて、外部電気信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣとして図９の時間相関検出型イメージセンサに入力される。また、図９の時間相関検出型イメージセンサには、３個の時間変調をかけた信号が物体で反射された反射光（３個の光の成分が混合されている）が入力される。３個の変調信号ＭＰＹＡ、ＭＰＹＢ，ＭＰＹＣとして、周波数の異なる正弦波（たとえば、１ＭＨｚ、３ＭＨｚ、５ＭＨｚ）を用いる。変調信号ＭＰＹＡが入力される受光素子からは、物体の反射光のうち１ＭＨｚの成分が取得される。変調信号ＭＰＹＢが入力される受光素子からは、物体の反射光のうち３ＭＨｚの成分が取得される。変調信号ＭＰＹＣが入力される受光素子からは、物体の反射光のうち５ＭＨｚの成分が取得される。このように３個の変調信号を用いることによって、同時に３種類の測定が可能となる。

以上のように、本実施の形態によれば、同時に複数の変調信号を用いた測定を行なうことができる。

［第１の実施形態の変形例］
本発明の実施の形態では、各変調信号に対応するグループの受光素子を所定面上において横方向に３つおきに周期的に配置し、かつ縦方向に同一のグループの受光素子を配置したが、これに限定するものではない。たとえば、各変調信号に対応するグループの受光素子を所定面上において縦方向に３つおきに周期的に配置し、かつ横方向に同一のグループの受光素子を配置してもよい。また、各変調信号に対応するグループの受光素子を所定面上において非周期的に配置してもよい。

さて、以下の実施形態は、主として受光素子の種類および受光素子の配置を第１の実施形態から変化させたものでありが、以下の実施形態でも第１の実施形態で説明した原理を用いることができる。

［第２の実施形態］
図１０は、第２の実施形態に係る各受光素子の機能ブロック図である。

図１０を参照して、第２の実施形態の受光素子は、広範囲の色の光に反応するフォトダイオードＰＤの前段に、特定の色の光のみを通過するカラーフィルタを備える。特定の色として、たとえば、青色とする。

図１１は、第２の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１１を参照して、複数の受光素子には、変調信号ＭＰＹＡが入力される。また、各受光素子は、青色のみを通過するフィルタを備え、青色にのみ反応する。

以上のように、本実施の形態によれば、特定の色についての測定が可能となる。
［第２の実施形態の変形例］
本発明の実施形態では、複数の受光素子のうちの各受光素子のすべてが、青色の光のみを通過するカラーフィルタを備えたが、これに限定するものではない。複数の受光素子のうちの一部の受光素子がカラーフィルタを備えるものであってもよく、また、カラーフィルタの色は、カラーフィルタを備えた受光素子間で同一でなくてもよい。

しかしながら、複数の受光素子のすべてが青色の光のみを通過し、青色にのみ反応するような場合には、白色発光ダイオードと組合わせて用いることにより次のような特徴を有する画像解析装置を実現できる。

照明等に使用される白色発光ダイオードには、青色発光ダイオードと蛍光体とを組み合わせて構成される。このような白色発光ダイオードから出射される光のうち、青色の反応速度が最も速く、他の色の反応速度が遅い。ここで、反応速度が速いとは、高い周波数成分まで高速に応答して信号が減衰しないことを意味する。また、別の表現では、反応速度が速いとは、遮断周波数が高いことを意味する。そして、このような白色発光ダイオードを光源として用いて計測を行なう場合、青色以外の光は誤差要因となり、計測の精度を低下させる。したがって、複数の受光素子のすべてが青色の光のみを通過するカラーフィルタを備えることによって、受光素子は青色の光のみに反応するようにすることにより、画像解析装置の精度を向上させることができる。

［第３の実施形態］
図１２は、第３の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１２を参照して、複数の受光素子には、１個の変調信号ＭＰＹＡが入力される。
複数の受光素子は、所定面上に周期的に配置される。より具体的には、複数の受光素子は、格子状に配置される。

複数の受光素子は、３色（赤、緑、青）のどれに対応するかによって３個のグループに分けられる。各受光素子は、それに対応する色のみを通過するカラーフィルタを備え、それに対応する色にのみ反応する。

色に基づく各グループの受光素子は、所定面上において横方向に３つおきに配置されて、所定面上において縦方向には、同一のグループの受光素子が配置される。具体的には、赤（Ｒ）に対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、緑（Ｇ）に対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、青（Ｂ）に対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

以上のように、本実施の形態では、光の三原色である赤、緑、青を用いることによって、人間の視覚特性に適合するカラー画像を構成することができる。

［第３の実施形態の変形例］
本発明の実施の形態では、赤、緑、青色に基づいて分けられる各グループの受光素子は、所定面上において横方向に３つおきに周期的に配置し、かつ縦方向に同一のグループの受光素子を配置したが、これに限定するものではない。各グループの受光素子を所定面上において縦方向に３つおきに周期的に配置し、かつ横方向に同一のグループの受光素子を配置してもよい。

［第４の実施形態］
図１３は、第４の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１３を参照して、複数の受光素子には、１個の変調信号ＭＰＹＡが入力される。
複数の受光素子は、所定面上に周期的に配置される。より具体的には、複数の受光素子は、格子状に配置される。

複数の受光素子は、３色（シアン、マゼンダ、イエロー）のどれに対応するかによって３個のグループに分けられる。各受光素子は、それに対応する色のみを通過するカラーフィルタを備え、それに対応する色にのみ反応する。

色に基づく各グループの受光素子は、所定面上において横方向に３つおきに配置されて、所定面上において縦方向には、同一のグループの受光素子が配置される。具体的には、シアン（Ｃ）に対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、マゼンダ（Ｍ）に対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、イエロー（Ｙ）に対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

以上のように、本実施の形態では、光の三原色の補色を用いることにより、光の三原色を用いたときに比べて、透過する光が多く、より感度の高いセンサを実現できる。

［第４の実施形態の変形例］
本発明の実施の形態では、シアン、マゼンダ、イエローに基づいて分けられる各グループの受光素子は、所定面上において横方向に３つおきに周期的に配置し、かつ縦方向に同一のグループの受光素子を配置したが、これに限定するものではない。たとえば、各グループの受光素子を所定面上において縦方向に３つおきに周期的に配置し、かつ横方向に同一のグループの受光素子を配置してもよい。

［第５の実施形態］
図１４は、第５の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１４を参照して、複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

変調信号に基づく各グループの受光素子は、所定面上において横方向に３つおきに周期的に配置され、所定面上において縦方向には、同一のグループの受光素子が配置される。具体的には、変調信号ＭＰＹＡに対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、変調信号ＭＰＹＢに対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、変調信号ＭＰＹＣに対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

また、各受光素子は、青色のみを通過するフィルタを備え、青色にのみ反応する。各受光素子が青色のみに反応するので、第２の実施形態で説明したように、白色発光ダイオードと組合わせて用いることにより精度のよい画像解析装置を実現できる。

以上のように、本実施の形態によれば、複数の変調信号を用い、また特定の色を用いた測定が可能となる。

［第５の実施形態の変形例］
本発明の実施の形態では、各変調信号に対応するグループの受光素子は、所定面上において横方向に３つおきに周期的に配置され、かつ所定面において縦方向には同一のグループの受光素子が配置されたが、これに限定するものではない。たとえば、各グループの受光素子を所定面上において縦方向に３つおきに周期的に配置し、かつ横方向に同一のグループの受光素子を配置してもよい。また、本発明の実施形態では、複数の受光素子のうちの各受光素子のすべてが、青色の光のみを通過するカラーフィルタを備えたが、これに限定するものではない。複数の受光素子のうちの一部の受光素子がカラーフィルタを備えるものであってもよく、また、カラーフィルタの色は、カラーフィルタを備えた受光素子間で同一でなくてもよい。

［第６の実施形態］
図１５は、第６の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１５を参照して、複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

また、複数の受光素子は、３色（赤、緑、青）のどれに対応するかによって３個のグループに分けられる。各受光素子は、それに対応する色のみを通過するカラーフィルタを備え、それに対応する色にのみ反応する。

変調信号に基づくグループ分けで生成されるグループと、色に基づくグループ分けで生成されるグループとでは、各グループに含まれる受光素子が同一である。すなわち、変調信号に基づいて分けられる同一グループ内のすべての受光素子の間で反応する色が同一であり、変調信号に基づいて分けられる別グループの受光素子の間で反応する色は相違する。また、色に基づいて分けられる同一グループのすべての受光素子に入力される変調信号が同一であり、色に基づいて分けられる別グループの受光素子に入力される変調信号は相違する。具体的には、赤（Ｒ）に分類される受光素子は、変調信号ＭＰＹＡが入力され、緑（Ｇ）に分類される受光素子は、変調信号ＭＰＹＢが入力され、青（Ｂ）に分類される受光素子は、変調信号ＭＰＹＣが入力される。

一方、色に基づく各グループの受光素子は、所定面上において横方向に３つおきに配置され、所定面上において縦方向には、同一のグループの受光素子が配置される。具体的には、赤（Ｒ）に対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、緑（Ｇ）に対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、青（Ｂ）に対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

以上のように、本実施の形態によれば、変調信号ＭＰＹＡに赤（Ｒ）を、変調信号ＭＰＹＢに緑（Ｇ）を、変調信号ＭＰＹＣに青（Ｂ）をそれぞれ対応させるので、変調信号と色とをそれぞれ別にして測定を行なうことにより、より変調信号間での分離性能が高い、高精度な測定が可能となる。

［第６の実施形態の変形例］
本発明の実施の形態では、各変調信号および各色に対応するグループの受光素子は、所定面上において横方向に３つおきに周期的に配置され、かつ所定面上において縦方向には同一のグループの受光素子が配置されたが、これに限定するものではない。たとえば、各グループの受光素子を所定面上において縦方向に３つおきに周期的に配置し、かつ所定面上において横方向には同一のグループの受光素子が配置されるものとしてもよい。

また、複数の受光素子は、３色（赤、緑、青）のどれに対応するかによって３個のグループに分けられるものとしたが、これに限定するものではなく、たとえば、シアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のどれに対応するかによって３個のグループに分けられるものとしてもよい。

［第７の実施形態］
図１６は、第７の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１６を参照して、複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

変調信号に基づくグループ分けで生成されるグループと、色に基づくグループ分けで生成されるグループとでは、各グループに含まれる受光素子が同一である。すなわち、変調信号に基づいて分けられる同一グループ内のすべての受光素子の間で反応する色が同一であり、変調信号に基づいて分けられる別グループの受光素子の間で反応する色は相違する。また、色に基づいて分けられる同一グループのすべての受光素子に入力される変調信号が同一であり、色に基づいて分けられる別グループの受光素子に入力される変調信号は相違する。具体的には、赤（Ｒ）に分類される受光素子は、変調信号ＭＰＹＣが入力され、緑（Ｇ）に分類される受光素子は、変調信号ＭＰＹＡが入力され、青（Ｂ）に分類される受光素子は、変調信号ＭＰＹＢが入力される。

色に基づく各グループの受光素子は、所定面上においてベイヤー配列で周期的に配置される。ベイヤー配列とは、人間の視覚特性に適合した色の配列パターンである。すなわち、緑（Ｇ）に反応する受光素子は市松模様上に配置され、残りを青（Ｇ）に反応する受光素子と赤（Ｒ）に反応する受光素子とが交互に水平に並んで配置される。

一方、変調信号に基づく各グループの受光素子は、所定面上においてベイヤー配列で周期的に配置される。すなわち、変調信号ＭＰＹＡが入力される受光素子は市松模様上に配置され、残りを変調信号ＭＰＹＢが入力される受光素子と変調信号ＭＰＹＣが入力される受光素子とが交互に水平に並んで配置される。

以上のように、本実施の形態によれば、第６の実施形態と同様に、変調信号ＭＰＹＡに赤（Ｒ）を、変調信号ＭＰＹＢに緑（Ｇ）を、変調信号ＭＰＹＣに青（Ｂ）をそれぞれ対応させるので、変調信号と色とをそれぞれ別にして測定を行なうことにより、より変調信号間での分離性能が高い、高精度な測定が可能となる。

［第７の実施形態の変形例］
本発明の実施形態では、複数の受光素子は、３色（赤、緑、青）のどれに対応するかによって３個のグループに分けられるものとしたが、これに限定するものではなく、たとえば、シアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のどれに対応するかによって３個のグループに分けられるものとしてもよい。

［第８の実施形態］
図１７は、第８の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１７を参照して、複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

変調信号に基づいて分けられる各グループは、色に基づいて分けられる３個の各グループ内の少なくとも１つの受光素子を含む。また、色に基づいて分けられる各グループは、変調信号に基づいて分けられる３個の各グループ内の少なくとも１つの受光素子を含む。すなわち、変調信号ＭＰＹＡが入力される受光素子のグループは、赤（Ｒ）に反応する受光素子、緑（Ｇ）に反応する受光素子、および青（Ｂ）に反応する受光素子を含む。また、変調信号ＭＰＹＢが入力される受光素子のグループは、赤（Ｒ）に反応する受光素子、緑（Ｇ）に反応する受光素子、および青（Ｂ）に反応する受光素子を含む。また、変調信号ＭＰＹＣが入力される受光素子のグループは、赤（Ｒ）に反応する受光素子、緑（Ｇ）に反応する受光素子、および青（Ｂ）に反応する受光素子を含む。一方、赤（Ｒ）に反応する受光素子のグループは、変調信号ＭＰＹＡが入力される受光素子、変調信号ＭＰＹＢが入力される受光素子、および変調信号ＭＰＹＣが入力される受光素子を含む。また、緑（Ｇ）に反応する受光素子のグループは、変調信号ＭＰＹＡが入力される受光素子、変調信号ＭＰＹＢが入力される受光素子、および変調信号ＭＰＹＣが入力される受光素子を含む。また、青（Ｂ）に反応する受光素子のグループは、変調信号ＭＰＹＡが入力される受光素子、変調信号ＭＰＹＢが入力される受光素子、および変調信号ＭＰＹＣが入力される受光素子を含む。

変調信号に基づく各グループの受光素子は、所定面上において横方向に３つおきに周期的に配置され、所定面上において縦方向に同一のグループの受光素子が配置される。具体的には、変調信号ＭＰＹＡに対応するグループの受光素子は、所定面上の第１列目、第４列目・・・に配置され、変調信号ＭＰＹＢに対応するグループの受光素子は、所定面上の第２列目、第５列目・・・に配置され、変調信号ＭＰＹＣに対応するグループの受光素子は、所定面上の第３列目、第６列目・・・に配置される。

一方、色に基づく各グループの受光素子は、所定面上において縦方向に３つおきに配置され、所定面上において横方向に同一のグループの受光素子が配置される。具体的には、赤（Ｒ）に対応するグループの受光素子は、所定面上の第１行目、第４行目・・・に配置され、緑（Ｇ）に対応するグループの受光素子は、所定面上の第２行目、第５行目・・・に配置され、青（Ｂ）に対応するグループの受光素子は、所定面上の第３行目、第６行目・・・に配置される。

以上のように、本実施の形態によれば、各変調信号に対して、すべての色を対応させるので、変調信号と色との組み合わせにより、（変調信号の種類）×（色の種類）だけの数の測定を同時に行なうことができる。

［第８の実施形態の変形例］
本発明の実施形態では、複数の受光素子は、３色（赤、緑、青）のどれに対応するかによって３個のグループに分けられるものとしたが、これに限定するものではなく、たとえば、シアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のどれに対応するかによって３個のグループに分けられるものとしてもよい。また、本発明の実施形態では、入力される変調信号の個数と反応する色の個数を同一としたが、これに限定するものではなく、たとえば、変調信号の個数が４個で、反応する色が３個であってもよい。

［第９の実施形態］
図１８は、第９の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

図１８を参照して、各受光素子の形状は、正六角形である。また、複数の受光素子は、蜂の巣状に配置される。

複数の受光素子には、互いに独立した３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣが入力される。複数の受光素子は、３個の変調信号ＭＰＹＡ、ＭＰＹＢ、ＭＰＹＣのどれに対応するかによって３個のグループに分けられる。

図４、５、７および８に示すような場合には、複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて光電変換素子により発生した電流分流して変調する。また、図６に示すような場合には、複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する。
複数の受光素子は、所定面上に周期的に配置される。より具体的には、複数の受光素子は、格子状に配置される。

各受光素子の３組の対辺の中央を結ぶ方向を、第１方向、第２方向および第３方向とする。すなわち、水平方向をＸ軸としたときに、Ｘ軸の方向を第１方向とし、Ｘ軸を反時計回りに角度６０度だけ回転した方向を第２方向、Ｘ軸を反時計回りに角度１２０度だけ回転した方向を第３方向とする。

色に基づいて分けられる各グループに属する受光素子は、第１方向、第２方向および第３方向に周期的に配置され、かつ各受光素子が属する色のグループは、各受光素子に隣接する６個の受光素子が属する色のグループと相違する。

また、変調信号に基づいて分けられる各グループに属する受光素子は、第１方向、第２方向および第３方向のうちのいずれかの方向（図１８の場合、第１方向）に周期的に配置され、第１方向、第２方向および第３方向のうちの残りの一方向（図１８の場合、第２方向）には、同一のグループの受光素子が配置される。

以上のように、本実施の形態によれば、各色に対応する受光素子が、できるだけ密に、しかも各色同一のパターンで配置される。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施形態の時間相関検出型イメージセンサの基本構造を表わす図である。周波数帯域から見た時間相関検出型センサの構造（動作）を示す図である。本発明の実施形態のイメージセンサを用いた光伝播時間による距離画像の生成を示す図である。差動トランジスタを用いて光電流を２つのコンデンサに分流させる例を示す回路を表わす図である。図４に示す回路にＦＥＴスイッチを付加して差分だけを取出す例を示す回路を表わす図である。半導体中に発生した光キャリアを２つのコンデンサに割り振る構成を模式的に表わす図である。ＦＥＴブリッジを用いたスイッチング方式半２値相関回路を示す図である。図７に示す回路の動作を説明する図である。第１の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第２の実施形態に係る各受光素子の機能ブロック図である。第２の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第３の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第４の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第５の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第６の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第７の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第８の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。第９の実施形態に係る時間相関検出型イメージサンサに含まれる受光素子の配列パターンおよび変調信号の与え方の例を表わす図である。

符号の説明

１電流モード乗算器、２走査部、３ＬＥＤ、４対象、５センサ、６遅延素子、Ｃ，Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７コンデンサ、Ｓ電気信号、ＰＤフォトダイオード、ＣＦカラーフィルタ、Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８，Ｑ１１，Ｑ１２，Ｑ１３，Ｑ１４，Ｑ１５トランジスタ。

Claims

各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して、各受光素子に含まれる前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて前記光電変換素子により発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて前記光電変換素子により発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して、各受光素子に含まれる前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて前記光電変換素子により発生した電流を分流して変調し、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調し、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる複数のトランジスタは、その受光素子に対応する変調信号に応じて前記光電変換素子により発生した電流を分流して変調し、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
各々が、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備え、
前記複数の受光素子には、互いに独立したＮ個の変調信号が入力され、
前記複数の受光素子は、前記Ｎ個の変調信号のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々において、その受光素子に含まれる光電変換素子は、その受光素子に対応する変調信号として印加される外部電界に応じて、発生した電流を分流して変調し、
前記複数の受光素子の一部または全部はそれぞれ、特定の色にのみ反応する、ただし、Ｎは２以上の自然数である、時間相関検出型イメージセンサ。
前記複数の受光素子は、所定面上において格子状に配置される、請求項１〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、所定面上において蜂の巣状に配置され、前記複数の受光素子の各々の形状は、正六角形である、請求項１〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記特定の色にのみ反応する受光素子は、前記光電変換素子の前段に、前記特定の色の光のみを通過するフィルタを備える、請求項５〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子のすべては、青色にのみ反応する、請求項５〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、Ｍ個の色のどれと対応するかによってＭ個のグループに分けられ、
前記複数の受光素子の各々は、それに対応する色にのみ反応する、ただし、Ｍは２以上の自然数である、請求項５〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記Ｍ個の色は、光の三原色である赤、青および緑の３色である、請求項１７に記載の時間相関検出型イメージセンサ。
前記Ｍ個の色は、光の三原色の補色であるシアン、マゼンタおよびイエローの３色である、請求項１７に記載の時間相関検出型イメージセンサ。
前記色に基づいて分けられる各グループに属する前記受光素子は、所定面上において周期的に配置される、請求項１７に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、前記所定面上に格子状に配置され、
色に基づいて分けられる各グループに属する前記受光素子は、前記所定面上において縦方向および横方向のうちの一方に周期的に配置され、前記所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置される、請求項２０に記載の時間相関検出型イメージセンサ。
前記Ｎは３である、請求項１〜４、９〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記変調信号に基づいて分けられる各グループに属する前記受光素子は、所定面上において周期的に配置される、請求項１〜４、９〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、前記所定面上に格子状に配置され、
前記変調信号に基づいて分けられる各グループに属する前記受光素子は、前記所定面上において縦方向および横方向のうちの一方に周期的に配置され、前記所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置される、請求項２３に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、Ｎ個の色のどれと対応するかによってＮ個のグループに分けられ、
前記複数の受光素子の各々は、それに対応する色にのみ反応し、
前記変調信号に基づくグループ分けで生成されるグループと、前記色に基づくグループ分けで生成されるグループとでは、各グループに含まれる受光素子が同一である、請求項９〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、所定面上に格子状に配置され、
前記色に基づいて分けられる各グループに属する受光素子は、前記所定面上の縦方向および横方向のうちの一方に周期的に配置され、前記所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置され、
前記色に基づいて分けられる各グループに属する受光素子は、前記一方に周期的に配置され、前記他方には同一のグループの受光素子が配置される、請求項２５に記載の時間相関検出型イメージセンサ。
前記Ｎは３であり、
前記複数の受光素子は、所定面上に格子状に配置され、
前記複数の受光素子は、ベイヤ型配列で周期的に配置される、請求項２５に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、Ｍ個の色のどれと対応するかによってＭ個のグループに分けられ、
前記複数の受光素子の各々は、それに対応する色にのみ反応し、
前記変調信号に基づいて分けられる各グループは、前記色に基づいて分けられるＭ個の各グループ内の少なくとも１つの受光素子を含み、
前記色に基づいて分けられる各グループは、前記変調信号に基づいて分けられるＮ個の各グループ内の少なくとも１つの受光素子を含む、ただし、Ｍは２以上の自然数である、請求項９〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、所定面上に格子状に配置され、
前記色に基づいて分けられる各グループに属する受光素子は、前記縦方向および横方向のうちの一方に周期的に配置され、前記所定面上において縦方向および横方向のうちの他方には同一のグループの受光素子が配置され、
前記変調信号に基づいて分けられる各グループに属する受光素子は、前記他方に周期的に配置され、前記一方には同一のグループの受光素子が配置される、請求項２８に記載の時間相関検出型イメージセンサ。
前記複数の受光素子は、所定面上において蜂の巣状に配置され、前記複数の受光素子の各々の形状は、正六角形であり、
前記Ｎは３であり、
前記複数の受光素子は、３個の色のどれと対応するかによって３個のグループに分けられ、
前記複数の受光素子の各々は、それに対応する色にのみ反応し、
各受光素子の３組の対辺の中央を結ぶ方向を、第１方向、第２方向および第３方向としたときに、
前記色に基づいて分けられる各グループに属する受光素子は、前記第１方向、前記第２方向および前記第３方向に周期的に配置され、かつ各受光素子が属する色のグループは、前記各受光素子に隣接する６個の受光素子が属する色のグループと相違し、
前記変調信号に基づいて分けられる各グループに属する受光素子は、前記第１方向、前記第２方向および前記第３方向のうちのいずれかの一方向に周期的に配置され、前記第１方向、前記第２方向および前記第３方向のうちの残りの一方向には、同一のグループの受光素子が配置される、請求項９〜１２のいずれか１項に記載の時間相関検出型イメージセンサ。
計測対象物体に１個または互いに独立なＮ個の変調光を照射し、その計測対象物体からの反射光を受光する請求項１〜２、５〜６、９〜１０のいずれか１項に記載の時間相関検出型イメージセンサであって、
前記複数のコンデンサの積分値の和が前記計測対象物体の平均照度を表わし、前記複数のコンデンサの積分値の差が前記計測対象物体の一次微分値となるように前記１個または互いに独立なＮ個の変調信号を入力する、時間相関検出型イメージセンサ。
時間変調をかけた光を物体に照射する１個またはＮ個の光源と、
前記光源の時間変調信号を遅延する遅延手段と、
前記物体からの反射光を受光する請求項１〜２、５〜６、９〜１０、３１のいずれか１項に記載の時間相関検出型イメージセンサと、
前記遅延手段により遅延された１個またはＮ個の信号を前記時間相関検出型イメージセンサに、１個または互いに独立なＮ個の変調信号として入力することにより得られた前記複数のコンデンサの各電荷の和と差を算出して、前記物体の形状を特定する、画像解析装置。
時間変調をかけた光を物体に照射する１個またはＮ個の光源と、
前記光源の時間変調信号を遅延する遅延手段と、
前記物体からの反射光を受光する請求項３〜４、７〜８、１１〜１２のいずれか１項に記載の時間相関検出型イメージセンサとを備え、
前記遅延手段により遅延された１個またはＮ個の信号を前記時間相関検出型イメージセンサに１個または互いに独立なＮ個の変調信号として入力することにより得られた前記複数のコンデンサの電荷の差を前記物体の一次微分画像として前記走査回路で読み出す、画像解析装置。
時間変調をかけた光を物体に照射する青色光源と蛍光体とを組み合わせた１個またはＮ個の白色光源と、
前記光源の時間変調信号を遅延する遅延手段と、
前記物体からの反射光を受光する請求項１６記載の時間相関検出型イメージセンサとを備え、
前記遅延手段により遅延された１個またはＮ個の信号を前記時間相関検出型イメージセンサに１個または互いに独立なＮ個の変調信号として入力することにより得られた前記複数のコンデンサの各電荷の和または差を前記走査回路で読出す、画像解析装置。