JP2013239934A - 時間相関演算システムおよび時間相関カメラ - Google Patents

Abstract

【課題】時間相関演算システムによる相関画像生成に、従来のイメージセンサと略同じ大きさおよび略同じ画素数のイメージセンサから出力される撮像信号を用いることができるようにする。
【解決手段】本発明による時間相関演算システムは、イメージセンサから、複数の撮像信号を所定タイミング毎に読み出すとともに、複数の画素の各画素に対応する複数の参照信号を、所定タイミングに同期して取得する読み出し手段と、複数の撮像信号のうちの、各画素によって生成される各撮像信号と、各画素に対応する前記複数の参照信号のそれぞれとを、乗算して複数の積を算出する乗算手段と、所定枚数のフレームについて、各画素毎に、各撮像信号および複数の積をそれぞれ合計することによって、強度画像と複数の相関画像とを表す画像データを生成する相関画像生成手段とを備える。
【選択図】図１

Description

本発明は、時間相関演算システムおよび時間相関カメラに関する。

ディジタルカメラにおいては、光学系によって結像された被写体の光学像の単位フレーム時間の平均をイメージセンサが光電変換してディジタル信号としてフレーム出力することにより、ディジタル画像が得られる。こうした従来のイメージセンサのセンシングへの応用に際しては、光学像の変化に追従できる程度に高いフレームレートでの複数回のフレーム出力動作により得られる複数の画像の画像解析を行う必要がある。さらに、それら複数の画像の各画像の撮影時刻とその撮影時刻に応じた撮影条件との関係を精密に特定することが、高精度なセンシングを行う上で必要となる。

しかし、各画像が時刻情報を含まない形で時間的にとびとびの画像データとして得られる複数の画像から、光学像の精密な時間変化を再現したり、それら複数の画像それぞれの撮影時刻およびその撮影時刻に応じた撮影条件を、フレーム出力後に事後的に精密に推定するのは容易ではない。こうした推定を行うには、多くの画像データに基づく大きな演算量を必要とするが、それでも精度の低下を避けることができない。

そのような大きな演算量を排するため、イメージセンサの各画素において、撮影条件や時刻情報を有する参照信号と光学像との間の時間相関積分演算を行っておくことで、その時間相関積分演算によって時間相関画像データを得ることができる時間相関検出型イメージセンサが開示されている（例えば、特許文献１参照）。その時間相関検出型イメージセンサにおいては、得られた時間相関画像データから、画像解析に必要となる光学像の変化の情報を捉え、撮影時刻およびその撮影時刻に応じた撮影条件が特定された比較的少数の画像を抽出し、高精度なセンシングを行うことが可能である。

特開平１０−２８１８６８号公報

特許文献１に記載の時間相関検出型イメージセンサは、各画素に時間相関積分演算回路を設けているため、従来のイメージセンサよりも画素サイズが倍程度に大きくなってしまう。そのため、従来と同じ大きさのディジタルカメラに搭載するために画素数を大幅に少なくするか、あるいは大幅なコスト増のもとでチップサイズや光学系の撮像面積を大きくするなどというようにディジタルカメラ自体を大型化しなければならないという課題がある。

（１） 請求項１に記載の時間相関演算システムは、被写体の光学像を結像させる光学系を透過した被写体からの光束を受光して光電変換することにより、時系列で順次作成される複数のフレームの各フレームを構成する複数の撮像信号を生成する複数の画素が、２次元平面状に配列されたイメージセンサから、複数の撮像信号を所定タイミング毎に読み出すとともに、複数の画素の各画素に対応する複数の参照信号を、所定タイミングに同期して取得する読み出し手段と、読み出し手段によって読み出された複数の撮像信号のうちの、各画素によって生成される各撮像信号と、読み出し手段によって取得された、各画素に対応する複数の参照信号のそれぞれとを、乗算して複数の積を算出する乗算手段と、複数のフレームのうちの所定枚数のフレームについて、各画素毎に、各撮像信号および複数の積をそれぞれ合計することによって、強度画像と複数の相関画像とを表す画像データを生成する相関画像生成手段とを備えることを特徴とする。
（２） 請求項７に記載の時間相関カメラは、請求項１〜６のいずれか１項に記載の時間相関演算システムと、光学系と、イメージセンサとを備えることを特徴とする。

本発明によれば、サイズが小さくかつ画素数が多いイメージセンサから出力される撮像信号を時間相関演算システムによる相関画像生成に用いることができる。

第１の実施の形態における制御装置を含むディジタル時間相関カメラの構成を例示する図である。 フレームの概念を説明するための図である。 ディジタル時間相関カメラの制御装置によって行われる相関画像生成処理を表すフローチャートである。 第２の実施の形態における制御装置を含むディジタル時間相関カメラの構成を例示する図である。 外部装置が照明装置である場合の本実施の形態における制御装置を含むディジタル時間相関カメラの適用例を示す図である。 ディジタル時間相関カメラの制御装置によって行われる相関画像生成処理を表すフローチャートである。 第３の実施の形態における制御装置を含むディジタル時間相関カメラの構成を例示する図である。 短時間露光制御装置によるイメージセンサに対する電子シャッター制御を例示した図である。 第３の実施の形態の変形例における制御装置を含むディジタル時間相関カメラの構成を例示する図である。

−−−第１の実施の形態−−−
図１、２および３を参照して、本発明の第１の実施の形態における時間相関演算システムに対応する制御装置を含むディジタル時間相関カメラを説明する。

図１は、第１の実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００の構成を例示する図である。ディジタル時間相関カメラ１００は、光学系１１０と、イメージセンサ１１５と、撮像信号データバッファ１２０と、制御装置１２５と、参照信号メモリ１５０と、相関画像データバッファ１５５とを含む。図２は、後述するフレームの概念を説明するための図である。

光学系１１０は、撮影レンズ等を含み、ディジタル時間相関カメラ１００の外部の被写体からの光束を透過し、その光束により形成される被写体の光学像を結像させる。

イメージセンサ１１５は、例えば汎用のイメージセンサであり、行方向すなわちｘ方向および列方向すなわちｙ方向の２種類の方向からなる２次元平面状に配列された複数の画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）を含む。それら複数の画素は、光学系１１０によって透過された被写体からの光束を受光して光電変換することにより、図２に示すような、時系列で順次作成される複数のフレームのうちの時刻ｔ（ｔ＝ｔ１，ｔ２，．．．，ｔｎ）における各フレームＦｋ（ｋ＝１，２，．．．，ｎ）を構成する複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を、生成する。それら複数の画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）を構成する各画素Ｐ（ｘ，ｙ）（ｘ＝１，２，．．．，ｉ；ｙ＝１，２，．．．，ｊ）が、各フレームＦｋ毎に各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成する。図２では、説明の便宜上、フレームＦ１，Ｆ２，．．．，Ｆｋ，．．．，Ｆｎのそれぞれに含まれる撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）に、イメージセンサ１１５に配列された各画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）を対応づけて表している。フレームＦ１，Ｆ２，．．．，Ｆｋ，．．．，Ｆｎの各フレームをイメージセンサ１１５に見立てて、ｘ方向およびｙ方向の２種類の方向からなる２次元平面状に配列された各画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）を示すとともに、後述するベイヤ配列の最小単位ＢＵを構成する緑（ｇ）、青（ｂ）および赤（ｒ）の３種類の４画素を示している。

撮像信号データバッファ１２０には、後述する制御装置１２５の撮像信号転送装置１３０によって読み出された複数の撮像信号が、各フレームＦｋ毎に格納される。

参照信号メモリ１５０には、各撮像信号Ｇ（ｘ，ｙ，ｔ）の時間相関による相関信号を生成するための参照信号Ｍ（ｔ）が格納される。イメージセンサ１１５に配列された複数の画素の種類毎に少なくとも２つの参照信号が格納される。画素の種類は、例えば画素が有する色フィルタの色の種類に対応する。例えば、イメージセンサ１１５上で複数の画素がベイヤ配列に従って配列されている場合、ベイヤ配列の最小単位ＢＵを構成する緑（ｇ）、青（ｂ）および赤（ｒ）の３種類の画素の各画素について、例えば、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数としてそれぞれ表わされる２つの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）が、参照信号メモリ１５０に格納される。すなわち、緑（ｇ）、青（ｂ）および赤（ｒ）の３種類の画素の各画素に対して２つずつの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）ゆえ、合計で６種類の参照信号Ｍｇ１（ｔ）、Ｍｇ２（ｔ）、Ｍｂ１（ｔ）、Ｍｂ２（ｔ）、Ｍｒ１（ｔ）およびＭｒ２（ｔ）が参照信号メモリ１５０に格納される。６種類の参照信号の繰り返し周期は、撮像信号転送装置１３０がイメージセンサ１１５から各フレームを構成する複数の撮像信号を読み出す際の後述するフレーム間隔ＩＮＴの整数ｎ倍に一致する周期であり、所定枚数ｎ枚分のフレームで構成される後述する相関フレームＣＦの相関フレーム間隔に一致する周期である。以下では、こうした例に基づいて本実施の形態を説明するが、画素の種類は４種類以上であってもよいし、各画素には３つ以上の参照信号が対応づけられることとしてもよい。

相関画像データバッファ１５５には、後述する制御装置１２５の相関画像生成装置１４５によって生成された強度画像Ｉｍｉならびに２つの相関画像Ｉｍｃ１およびＩｍｃ２が格納される。

制御装置１２５は、例えばＣＰＵ、ＦＰＧＡ、またはＡＳＩＣで実現され、撮像信号転送装置１３０と、読み出し装置１３５と、乗算装置１４０と、相関画像生成装置１４５とを物理的または論理的に含む。制御装置１２５の撮像信号転送装置１３０は、上述したイメージセンサ１１５に配列された複数の画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）によって時刻ｔに生成された複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）をイメージセンサ１１５から読み出し、読み出した複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を撮像信号データバッファ１２０に転送して格納する。このとき読み出された複数の撮像信号は、時刻ｔに作成される１枚のフレームＦｋを構成する。撮像信号転送装置１３０は、各フレームＦｋを構成する複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を、所定のフレーム間隔ＩＮＴでイメージセンサ１１５から読み出す。所定のフレーム間隔ＩＮＴはフレームレートＦＲＴの逆数として得られ、例えばフレームレートＦＲＴが３２フレーム／秒であれば所定のフレーム間隔は１／３２［ｓ］、フレームレートＦＲＴが１２８フレーム／秒であれば所定のフレーム間隔は１／１２８［ｓ］である。時刻ｔ＝ｔ１におけるフレームＦ１作成から所定のフレーム間隔ＩＮＴ経過後の時刻ｔ＝ｔ２＝ｔ１＋ＩＮＴにフレームＦ２が作成される。

制御装置１２５の読み出し装置１３５は、撮像信号データバッファ１２０に格納された複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を所定タイミングＴ毎に読み出すとともに、読み出した複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を構成する各撮像信号Ｇ（ｘ，ｙ，ｔ）に対応して、各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した各画素Ｐ（ｘ，ｙ）の種類（緑（ｇ）、青（ｂ）および赤（ｒ））に応じた２つずつの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、複数の撮像信号読み出し時と同じ所定タイミングＴで読み出す。読み出し装置１３５は、読み出した複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を制御装置１２５の相関画像生成装置１４５へ引き渡すとともに、その読み出した複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）と、各撮像信号に対応する２つずつの参照信号Ｍ１（ｔ）およびＭ２（ｔ）とを、乗算装置１４０へ引き渡す。

制御装置１２５の乗算装置１４０は、読み出し装置１３５から取得した各撮像信号Ｇ（ｘ，ｙ，ｔ）と、その各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した各画素Ｐ（ｘ，ｙ）に対応する２つずつの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）のそれぞれとを乗算し、２つの積を算出する。参照信号Ｍｃ１（ｔ）は、緑（ｇ）、青（ｂ）または赤（ｒ）にそれぞれ対応する参照信号Ｍｇ１（ｔ）、Ｍｂ１（ｔ）またはＭｒ１（ｔ）である。参照信号Ｍｃ２（ｔ）は、緑（ｇ）、青（ｂ）または赤（ｒ）にそれぞれ対応する参照信号Ｍｇ２（ｔ）、Ｍｂ２（ｔ）またはＭｒ２（ｔ）である。乗算装置１４０は、各画素Ｐ（ｘ，ｙ）について算出した２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）を、制御装置１２５の相関画像生成装置１４５へ引き渡す。

制御装置１２５の相関画像生成装置１４５は、時刻ｔ＝ｔ１からｔｎまでの間の所定枚数ｎ枚のフレームについて、各画素Ｐ（ｘ，ｙ）毎に、読み出し装置１３５から取得した各画素Ｐ（ｘ，ｙ）によって生成される撮像信号Ｇ（ｘ，ｙ，ｔ）を合計するとともに、乗算装置１４０から取得した２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）をそれぞれ合計する。撮像信号Ｇ（ｘ，ｙ，ｔ）を合計して得られる強度画像Ｉｍｉの各画素値Ｇ（ｘ，ｙ）は、式（１）のように表される。２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）をそれぞれ合計して得られる２つの相関画像Ｉｍｃ１およびＩｍｃ２の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）は式（２）および（３）のように表される。なお、図２に示すように、時刻ｔにフレームＦｋが作成され、撮像信号Ｇ（ｘ，ｙ，ｔ）＝Ｇ（ｘ，ｙ，ｋ）ならびに２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）＝Ｇ（ｘ，ｙ，ｋ）・Ｍｃ１（ｋ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）＝Ｇ（ｘ，ｙ，ｋ）・Ｍｃ２（ｋ）が得られるものとする。したがって、時刻ｔ＝ｔ１にフレームＦ１が作成されるとともに、２つの積Ｇ（ｘ，ｙ，１）・Ｍｃ１（１）およびＧ（ｘ，ｙ，１）・Ｍｃ２（１）が得られ、時刻ｔ＝ｔ２にフレームＦ２が作成されるとともに、２つの積Ｇ（ｘ，ｙ，２）・Ｍｃ１（２）およびＧ（ｘ，ｙ，２）・Ｍｃ２（２）が得られ、時刻ｔ＝ｔｎにフレームＦｎが作成されるとともに、２つの積Ｇ（ｘ，ｙ，ｎ）・Ｍｃ１（ｎ）およびＧ（ｘ，ｙ，ｎ）・Ｍｃ２（ｎ）が得られるものとする。

こうして得られた強度画像の各画素値Ｇ（ｘ，ｙ）ならびに２つの相関画像の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）は、所定枚数ｎ枚のフレームで規定される相関フレームＣＦの強度画像および２つの相関画像の各画素Ｐ（ｘ，ｙ）における画素値を表す。所定枚数ｎがフレームレートＦＲＴ（例えば１６，３２，６４，１２８等）に等しいとすれば、単位時間毎に相関フレームＣＦが規定される。

本実施の形態においては、制御装置１２５の相関画像生成装置１４５は、式（１）〜（３）によって、所定枚数ｎ枚のフレームで規定される相関フレームＣＦの強度画像および２つの相関画像の各画素Ｐ（ｘ，ｙ）における画素値を得る際、次のようにして合計値を順次算出していく。相関画像生成装置１４５は、１枚目のフレームにおいて取得した各画素Ｐ（ｘ，ｙ）の撮像信号Ｇ（ｘ，ｙ，１）、ならびに２つの積Ｇ（ｘ，ｙ，１）・Ｍｃ１（１）およびＧ（ｘ，ｙ，１）・Ｍｃ２（１）を、それぞれ強度画像の各画素値Ｇ（ｘ，ｙ）の暫定値、相関画像の各画素値Ｃ１（ｘ，ｙ）の暫定値、および相関画像の各画素値Ｃ２（ｘ，ｙ）の暫定値として、相関画像データバッファ１５５に格納する。相関画像生成装置１４５は、次の２枚目のフレームにおける各画素Ｐ（ｘ，ｙ）の撮像信号Ｇ（ｘ，ｙ，２）を取得すると、相関画像データバッファ１５５に格納した強度画像の各画素値Ｇ（ｘ，ｙ）の暫定値を読み出して、撮像信号Ｇ（ｘ，ｙ，２）と強度画像の各画素値Ｇ（ｘ，ｙ）の暫定値との合計値を、新たに、強度画像の各画素値Ｇ（ｘ，ｙ）の暫定値として、相関画像データバッファ１５５に格納する。同様に、相関画像生成装置１４５は、２枚目のフレームにおける各画素Ｐ（ｘ，ｙ）の積Ｇ（ｘ，ｙ，２）・Ｍｃ１（２）を取得すると、相関画像データバッファ１５５に格納した相関画像の各画素値Ｃ１（ｘ，ｙ）の暫定値を読み出して、積Ｇ（ｘ，ｙ，２）・Ｍｃ１（２）と相関画像の各画素値Ｃ１（ｘ，ｙ）の暫定値との合計値を、新たに、相関画像の各画素値Ｃ１（ｘ，ｙ）の暫定値として、相関画像データバッファ１５５に格納する。相関画像生成装置１４５は、２枚目のフレームにおける各画素Ｐ（ｘ，ｙ）の積Ｇ（ｘ，ｙ，２）・Ｍｃ２（２）を取得すると、相関画像データバッファ１５５に格納した相関画像の各画素値Ｃ２（ｘ，ｙ）の暫定値を読み出して、積Ｇ（ｘ，ｙ，２）・Ｍｃ２（２）と相関画像の各画素値Ｃ２（ｘ，ｙ）の暫定値との合計値を、新たに、相関画像の各画素値Ｃ２（ｘ，ｙ）の暫定値として、相関画像データバッファ１５５に格納する。

相関画像生成装置１４５は、３枚目以降のフレームにおいても同様のΣ演算を繰り返して、ｎ枚目のフレームにおける各画素Ｐ（ｘ，ｙ）の撮像信号Ｇ（ｘ，ｙ，ｎ）、ならびに２つの積Ｇ（ｘ，ｙ，ｎ）・Ｍｃ１（ｎ）およびＧ（ｘ，ｙ，ｎ）・Ｍｃ２（ｎ）を取得すると、それらと、１枚目から（ｎ−１）枚目までのフレームにおける強度画像の各画素値Ｇ（ｘ，ｙ）の暫定値、相関画像の各画素値Ｃ１（ｘ，ｙ）の暫定値、および相関画像の各画素値Ｃ２（ｘ，ｙ）の暫定値とをそれぞれ足し合わせて得られる合計値として、相関フレームＣＦの強度画像の各画素値Ｇ（ｘ，ｙ）ならびに２つの相関画像の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）を最終的に得ることができる。相関画像生成装置１４５は、最終的に得た相関フレームＣＦの強度画像の各画素値Ｇ（ｘ，ｙ）ならびに２つの相関画像の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）で表わされる画像データを、相関画像データバッファ１５５に格納するとともに、制御装置１２５の外部やディジタル時間相関カメラ１００の外部へも出力することができる。

図３は、本実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５によって行われる相関画像生成処理を表すフローチャートである。相関画像生成処理が開始されると、ステップＳ３１０において、制御装置１２５の撮像信号転送装置１３０は、各フレームＦｋを構成する複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を、所定のフレーム間隔ＩＮＴでイメージセンサ１１５から読み出し、撮像信号データバッファ１２０へ転送して格納する。

ステップＳ３２０において、制御装置１２５の読み出し装置１３５は、撮像信号データバッファ１２０に格納された複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を所定タイミングＴ毎に読み出すとともに、同じ所定タイミングＴで参照信号メモリ１５０から２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、複数の撮像信号と同期して読み出す。

ステップＳ３３０において、制御装置１２５の乗算装置１４０は、各フレームＦｋの各画素毎に、各撮像信号Ｇ（ｘ，ｙ，ｔ）と２つの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）のそれぞれとを乗算し、２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）を算出する。２つの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）は、撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した画素Ｐ（ｘ，ｙ，ｔ）が有する色フィルタの種類に応じて定まる。

ステップＳ３４０において、制御装置１２５の相関画像生成装置１４５は、各フレームＦｋの各画素Ｐ（ｘ，ｙ，ｔ）毎に算出された２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）を、１つの相関フレームＣＦに対応する時刻ｔ＝ｔ１からｔｎまでの間の所定枚数ｎ枚のフレームについて、それぞれ合計する。こうして合計することにより、式（１）に表す強度画像Ｉｍｉの各画素値Ｇ（ｘ，ｙ）と、式（２）および（３）に表す２つの相関画像Ｉｍｃ１およびＩｍｃ２の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）とを取得し、これらの各画素値に基づく強度画像Ｉｍｉならびに２つの相関画像Ｉｍｃ１およびＩｍｃ２の画像データを生成する。相関画像生成装置１４５は、強度画像Ｉｍｉの各画素値Ｇ（ｘ，ｙ）と、２つの相関画像Ｉｍｃ１およびＩｍｃ２の各画素値Ｃ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）とで表わされる画像データを、相関画像データバッファ１５５に格納するとともに、制御装置１２５の外部やディジタル時間相関カメラ１００の外部へ出力する。

ステップＳ３５０において、次の相関フレームＣＦに対応する所定枚数ｎ枚のフレームについて、強度画像Ｉｍｉならびに２つの相関画像Ｉｍｃ１およびＩｍｃ２の画像データを生成するか否かを判定する。肯定判定であれば、本処理はステップＳ３１０に戻る。否定判定であれば、本処理を終了する。

以上にて説明した第１の実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５は、読み出し装置１３５と、相関画像生成装置１４５とを含む。

光学系１１０は、被写体からの光束を透過し、光束により形成される光学像を結像させる。イメージセンサ１１５には、複数の画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）が、２次元平面状に配列される。複数の画素Ｐ（１，１），．．．，Ｐ（ｘ，ｙ），．．．，Ｐ（ｉ，ｊ）は、光束を受光して光電変換することにより、時系列で順次作成される複数のフレームの各フレームＦｋを構成する複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を生成する。

制御装置１２５に含まれる読み出し装置１３５は、イメージセンサ１１５から、複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）を所定タイミングＴ毎に読み出すとともに、複数の画素の各画素Ｐ（ｘ，ｙ）に対応づけられる２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、所定タイミングＴに同期して参照信号メモリ１５０から読み出す。

制御装置１２５の相関画像生成装置１４５は、読み出し装置１３５によって読み出された複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）のうちの、各画素Ｐ（ｘ，ｙ）によって生成される各撮像信号Ｇ（ｘ，ｙ，ｔ）と、読み出し装置１３５によって読み出された、各画素Ｐ（ｘ，ｙ）に対応する２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）のそれぞれとに基づいて、２つの相関画像Ｉｍｃ１およびＩｍｃ２とを表す画像データを生成する。

したがって、第１の実施の形態においては、サイズが小さく画素数が多い汎用のイメージセンサ１１５から出力される撮像信号を、ディジタル時間相関カメラ１００の制御装置１２５による相関画像生成に用いることができるという効果が得られる。また、汎用のイメージセンサ１１５におけるＬＳＩの微細化および高速化に起因する高速度イメージングや、高速度ＡＤ変換等のメリットを享受可能という効果も得られる。

制御装置１２５の乗算装置１４０は、読み出し装置１３５によって読み出された複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）のうちの、各画素Ｐ（ｘ，ｙ）によって生成される各撮像信号Ｇ（ｘ，ｙ，ｔ）と、読み出し装置１３５によって読み出された、各画素Ｐ（ｘ，ｙ）に対応する２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）のそれぞれとを、乗算して２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）を算出する。なお、それら２つの積は、各撮像信号Ｇ（ｘ，ｙ，ｔ）と２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）の和との積Ｇ（ｘ，ｙ，ｔ）・｛Ｍｃ１（ｔ）＋Ｍ２（ｔ）｝、ならびに各撮像信号Ｇ（ｘ，ｙ，ｔ）と２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）の差との積Ｇ（ｘ，ｙ，ｔ）・｛Ｍｃ１（ｔ）−Ｍ２（ｔ）｝であってもよい。

制御装置１２５の相関画像生成装置１４５は、複数のフレームのうちの所定枚数ｎ枚のフレームについて、各画素Ｐ（ｘ，ｙ）毎に、２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）とをそれぞれ合計することによって、２つの相関画像Ｉｍｃ１およびＩｍｃ２を表す画像データを生成することとしてもよい。さらに、制御装置１２５の相関画像生成装置１４５は、複数のフレームのうちの所定枚数ｎ枚のフレームについて、各画素Ｐ（ｘ，ｙ）毎に、２つの積Ｇ（ｘ，ｙ，ｔ）・Ｍｃ１（ｔ）およびＧ（ｘ，ｙ，ｔ）・Ｍｃ２（ｔ）をそれぞれ合計するとともに各撮像信号Ｇ（ｘ，ｙ，ｔ）を合計することによって、２つの相関画像Ｉｍｃ１およびＩｍｃ２とともに強度画像Ｉｍｉを表す画像データを生成することとしてもよい。

なお、本実施の形態における制御装置１２５の読み出し装置１３５は、図３に示すステップＳ３２０において、参照信号メモリ１５０から２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）と同期して読み出すこととした。しかし、読み出し装置１３５は、不図示の外部入力装置から入力される２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、複数の撮像信号Ｇ（１，１，ｔ），．．．，Ｇ（ｘ，ｙ，ｔ），．．．，Ｇ（ｉ，ｊ，ｔ）と同期して取得することとしてもよい。

本実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００の参照信号メモリ１５０には、イメージセンサ１１５に配列された複数の画素の種類毎に少なくとも２つの参照信号が格納されることとし、画素の種類は、画素が有する色フィルタの色の種類に対応することとした。画素の種類は、画素Ｐ（ｘ，ｙ）におけるｘ，ｙの値の偶奇に対応することとしてもよい。例えば、（ｘ，ｙ）の値の４通りの組合せ（偶数，偶数）、（偶数，奇数）、（奇数，偶数）、および（奇数，奇数）の各組合せ毎に少なくとも２つの参照信号（撮像フレーム周期の整数ｎ倍の周期で変動する正弦波および余弦波）、すなわち合計４組８種類の参照信号が参照信号メモリ１５０に格納されることとしてもよい。

この場合、制御装置１２５の読み出し装置１３５は、撮像信号データバッファ１２０に格納された各撮像信号Ｇ（ｘ，ｙ，ｔ）を所定タイミングＴ毎に読み出すとともに、各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した各画素Ｐ（ｘ，ｙ）の種類（上述した（ｘ，ｙ）の値の４通りの組合せ）に応じた２つずつの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を、複数の撮像信号読み出し時と同じ所定タイミングＴで読み出す。乗算装置１４０による各撮像信号Ｇ（ｘ，ｙ，ｔ）と参照信号との乗算や、時刻ｔ＝ｔ１からｔｎまでの間に乗算により得られた積を合計することで、相関画像生成装置１４５により強度画像Ｉｍｉならびに２つの相関画像Ｉｍｃ１およびＩｍｃ２が得られる処理は、上述した第１の実施の形態と同様である。

−−−第２の実施の形態−−−
第１の実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００は、例えば時刻とともに位置や照明光等が変化する被写体を撮影する場合、すなわち被写体像が時刻情報を含んでいる場合に有用であるが、被写体が時刻に応じて変化しない場合には、撮像信号が時間相関性を有しないため、有用性が得られにくくなる。被写体もディジタル時間相関カメラ１００もともに静止しているような場合は、例えば照明光を時刻に応じて変化させることで、上記有用性の低減を抑えることができる。その照明光を時刻に応じて変化させるために、参照信号メモリ１５０に格納された外部装置供給用参照信号（被写体に対する能動駆動信号）をディジタル時間相関カメラ外部の照明装置に供給する能動駆動用参照信号供給装置を、図１に示した第１の実施の形態における制御装置１２５に対して追加的に設けることとしてもよい。その一例として、図４、５および６を参照して、本発明の第２の実施の形態における制御装置を含むディジタル時間相関カメラを説明する。

図４は、第２の実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００の構成を例示する図である。本実施の形態においては、ディジタル時間相関カメラ１００は、図１に示す第１の実施の形態と同様に、光学系１１０と、イメージセンサ１１５と、撮像信号データバッファ１２０と、制御装置１２５と、参照信号メモリ１５０と、相関画像データバッファ１５５とを含む。これらの説明は、第１の実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００と同様なので、省略する。なお、外部装置供給用参照信号は、参照信号メモリ１５０に格納されている。本実施の形態における制御装置１２５は、内部に能動駆動用参照信号供給装置１６５をさらに含む。

能動駆動用参照信号供給装置１６５は、参照信号メモリ１５０に格納された外部装置供給用参照信号を、ディジタル時間相関カメラ１００の外部装置、例えば照明装置や振動装置等へ供給する。上述したように、被写体およびディジタル時間相関カメラ１００がともに静止していて、かつ被写体を照明する照明光が１種類のみであってその照明光の時間変動が無い場合、イメージセンサ１１５の各画素によって生成される撮像信号に基づく相関画像は得られない。しかし、外部装置へ外部装置供給用参照信号が供給されることにより、その外部装置供給用参照信号に基づいて、照明光が変調されたり、被写体またはディジタル時間相関カメラ１００が振動すると、被写体からの光束が外部装置供給用参照信号で変調されることとなる。すなわち、被写体を能動駆動させることができる。このとき、イメージセンサ１１５の各画素によって生成される撮像信号に基づいて相関画像を生成することが可能となる。

図５は、外部装置が照明装置である場合の本実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００の適用例を示す。

図５（ａ）は、平板７１０の表面における窪み７２０を検出する検出装置（窪み検出センサ）に、本実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００を適用した例を示す。複数の照明装置７００が円７３０に沿ってリング状に配置され、これらの複数の照明装置７００が例えば反時計回り７４０にしたがって一定の間隔で順々に平板７１０を照明し、被写体である窪み７２０からの反射光束に基づく相関画像が、ディジタル時間相関カメラ１００の制御装置１２５によって生成される。この例において、ディジタル時間相関カメラ１００の参照信号メモリ１５０には、円７３０に沿ってリング状に配置された複数の照明装置７００の装置数に応じた複数種類の外部装置供給用参照信号を予め格納しておく。このようにして生成された相関画像に基づいて、ディジタル時間相関カメラ１００の外部に、その相関画像を解析する外部解析装置を設けることで、人間が照明光を照射してその反射光を様々な方向から観察することによって窪みを検出することができるのと同様にして、その外部解析装置によって窪み７２０を検出することができる。

図５（ｂ）は、浮上する物体７６０の３次元形状を計測する計測装置に、本実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００を適用した例を示す。３つの照明装置７００が正三角形７５０に沿って配置され、これらの３つの照明装置７００が被写体である浮上する物体７６０を照明し、物体７６０からの反射光束に基づく相関画像が、ディジタル時間相関カメラ１００において生成される。この例において、３つの照明装置７００による照明がそれぞれ２π／３ずつずれた位相の正弦波状に強度変調されるように、ディジタル時間相関カメラ１００の参照信号メモリ１５０には、２π／３ずつずれた位相の正弦波状に変動する３種類の外部装置供給用参照信号を予め格納しておく。このようにして生成された相関画像に基づいて、ディジタル時間相関カメラ１００の外部に、その相関画像を解析する外部解析装置を設けることで、その外部解析装置によって、浮上する物体７６０の動きを三次元計測することができる。

図６は、本実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５によって行われる相関画像生成処理を表すフローチャートである。相関画像生成処理が開始されると、ステップＳ６１０において、制御装置１２５の能動駆動用参照信号供給装置１６５は、照明装置７００がｓ個設置されている場合、例えば２π／ｓずつ位相がずれたｓ種類の外部装置供給用参照信号Ｒ１（ｔ），．．．，Ｒｅ（ｔ），．．．，Ｒｓ（ｔ）を、参照信号メモリ１５０から読み出す。ｓ種類の外部装置供給用参照信号Ｒ１（ｔ），．．．，Ｒｅ（ｔ），．．．，Ｒｓ（ｔ）の繰り返し周期は、後段のステップＳ３１０において、撮像信号転送装置１３０がイメージセンサ１１５から各フレームＦｋを構成する複数の撮像信号Ｇ（ｘ，ｙ，ｔ）を読み出す際のフレーム間隔ＩＮＴの整数ｎ倍に一致する周期であり、所定枚数ｎ枚分のフレームで構成される相関フレームＣＦの相関フレーム間隔に一致する周期である。

能動駆動用参照信号供給装置１６５は、参照信号メモリ１５０から読み出したｓ種類の外部装置供給用参照信号Ｒ１（ｔ），．．．，Ｒｅ（ｔ），．．．，Ｒｓ（ｔ）を、ｓ個の照明装置７００のそれぞれに供給する。ｓ個の照明装置７００は供給されたｓ種類の外部装置供給用参照信号Ｒ１（ｔ），．．．，Ｒｅ（ｔ），．．．，Ｒｓ（ｔ）に応じて被写体を照明する照明光を変調する。その後、第１の実施の形態において図３を用いて説明したステップＳ３１０〜ステップＳ３５０における処理が行われる。

以上にて説明した第２の実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５は、第１の実施の形態における各装置に加えて能動駆動用参照信号供給装置１６５をさらに有する。能動駆動用参照信号供給装置１６５は、参照信号メモリ１５０に格納されたｓ種類の外部装置供給用参照信号Ｒｅ（ｔ）に基づき被写体からの光束を変調させるように照明光を変調する照明装置７００へ、ｓ種類の外部装置供給用参照信号Ｒｅ（ｔ）を供給する。ｓ種類の外部装置供給用参照信号の各々は、複数のフレームＦｋのフレーム間隔ＩＮＴに応じた周期で変動する。これにより、第１の実施の形態における作用効果に加え、被写体が静止している場合や、ディジタル時間相関カメラ１００が１つしか設置されていない場合であっても、イメージセンサ１１５の各画素によって生成される撮像信号に基づく相関画像を得ることができるという作用効果が得られる。

上述した第２の実施の形態において、能動駆動用参照信号供給装置１６５は、ｓ個の外部装置に対して、ｓ種類の外部装置供給用参照信号Ｒ１（ｔ），．．．，Ｒｅ（ｔ），．．．，Ｒｓ（ｔ）を供給することとした。しかし、能動駆動用参照信号供給装置１６５は、ディジタル時間相関カメラ１００の適用例によっては、ｓ個の外部装置に対して、１種類の外部装置供給用参照信号を供給することとしてもよいし、ｓ種類よりも非常に多種類の外部装置供給用参照信号を供給することとしてもよい。

上述した第２の実施の形態において、能動駆動用参照信号供給装置１６５は制御装置１２５の内部に含まれることとした。しかし、能動駆動用参照信号供給装置１６５は、制御装置１２５の外部に設けられることとしてもよいし、ディジタル時間相関カメラ１００のカメラボディの外部に配置されることとしてもよい。

−−−第３の実施の形態−−−
図７および８を参照して、本発明の第３の実施の形態における制御装置を含むディジタル時間相関カメラを説明する。

図７は、第３の実施の形態における制御装置１２５を含むディジタル時間相関カメラ１００の構成を例示する図である。本実施の形態においては、ディジタル時間相関カメラ１００は、図４に示す第２の実施の形態と同様に、光学系１１０と、イメージセンサ１１５と、撮像信号データバッファ１２０と、制御装置１２５と、相関画像データバッファ１５５とを含む。これらの説明は、第２の実施の形態におけるディジタル時間相関カメラ１００と同様なので、省略する。本実施の形態における制御装置１２５は、内部に短時間露光制御装置１６０をさらに含む。

短時間露光制御装置１６０は、イメージセンサ１１５に配列された各画素Ｐ（ｘ，ｙ）の露光時間を制御するため、イメージセンサ１１５に対していわゆる電子シャッター制御を行う。電子シャッター制御は、グローバルシャッターによる制御であってもよいし、ローリングシャッターによる制御であってもよい。

図８は、短時間露光制御装置１６０によるイメージセンサ１１５に対する電子シャッター制御を例示した図である。図８に示すように、イメージセンサ１１５に配列された露光対象の複数の画素Ｐ（ｘ，ｙ）は、短時間露光制御装置１６０による電子シャッター制御５１０に応じて、フレーム間隔ＩＮＴのうちの所定の露光時間Δｔの間だけ露光される。すなわち、所定の露光時間Δｔはフレーム間隔ＩＮＴよりも常に短い。また、被写体からの光束により形成される被写体の光学像５２０がフレーム間隔ＩＮＴに対応するフレームレートＦＲＴよりも高周波で光変動する場合において、所定の露光時間Δｔがその光変動周期よりも短ければ、その光変動を検出することができる。すなわち、短時間露光制御装置１６０によって行われる電子シャッター制御５１０に基づいて、フレーム間隔ＩＮＴ毎に、露光対象の複数の画素Ｐ（ｘ，ｙ）が被写体からの光束を所定の露光時間Δｔの間だけ受光する。その結果として、高周波で光変動する撮像信号５３０が、フレーム間隔ＩＮＴ毎にサンプリング抽出されることにより、フレームレートＦＲＴよりも低周波の信号５４０として検出される。

こうして高周波で光変動する撮像信号５３０がフレームレートＦＲＴよりも低周波の信号５４０として検出されることにより、制御装置１２５の読み出し装置１３５は、その低周波の信号５４０をイメージセンサ１１５から読み出す所定タイミングＴに同期して、２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を参照信号メモリ１５０から読み出すことになる。低周波の信号５４０をイメージセンサ１１５から読み出す所定タイミングＴに同期して２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）が読み出されるように、短時間露光制御装置１６０は読み出し装置１３５を制御する。

上述したように、被写体の光学像５２０がフレーム間隔ＩＮＴに対応するフレームレートＦＲＴよりも高周波で光変動する場合において、所定の露光時間Δｔがその光変動周期よりも短ければ、その光変動を検出することができる。所定の露光時間Δｔよりも長い周期で、かつフレームレートＦＲＴよりも高周波でその光変動が生じるようにするには、その光変動に対応して被写体からの光束が変調されるように、照明装置７００が被写体を照明する照明光を変調する必要がある。そうした照明装置７００による照明光の変調がなされるための外部装置供給用参照信号が、参照信号メモリ１５０から読み出されて照明装置７００へ供給されるように、短時間露光制御装置１６０は能動駆動用参照信号供給装置１６５を制御する。

以上にて説明した第３の実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５は、第２の実施の形態における各装置に加えて短時間露光制御装置１６０をさらに有する。被写体の光学像５２０が複数のフレームＦ１，．．．，ＦｎのフレームレートＦＲＴよりも高周波で光変動するとき、短時間露光制御装置１６０は、複数の画素Ｐ（ｘ，ｙ）が被写体からの光束を被写体の光学像５２０の光変動周期よりも短い所定の露光時間Δｔだけ受光するように、電子シャッター制御を行う。したがって、第３の実施の形態においては、第１および第２の実施の形態で得られる効果に加えて、電子シャッター制御５１０により、フレーム間隔ＩＮＴよりも小さな時間での光変動を検出することができるため、フレーム間隔ＩＮＴによる時間分解能の制約が生じないという効果が得られる。

なお、第３の実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５は、図４に示す第２の実施の形態における各装置に加えて短時間露光制御装置１６０をさらに有することとしたが、図１に示す第１の実施の形態における各装置に加えて短時間露光制御装置１６０をさらに有することとしてもよい。その場合、上述した短時間露光制御装置１６０による能動駆動用参照信号供給装置１６５の制御は行われない。

上述したように、第３の実施の形態におけるディジタル時間相関カメラ１００の制御装置１２５の読み出し装置１３５は、短時間露光制御装置１６０からの制御を受けて、２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を参照信号メモリ１５０から読み出すこととしたが、参照信号メモリ１５０に格納されている参照信号がアナログ信号の場合、読み出し装置１３５は、２つのアナログ信号をそれぞれディジタル化することによって、２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を取得することとしてもよい。図９は、第３の実施の形態の変形例における制御装置を含むディジタル時間相関カメラの構成を例示する図である。

制御装置１２５の読み出し装置１３５は、参照信号生成装置１７０を含む。参照信号生成装置１７０は、参照信号メモリ１５０から、例えば、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数としてそれぞれ表わされる２つのアナログ信号を読み出す。短時間露光制御装置１６０が参照信号生成装置１７０を制御することにより、参照信号生成装置１７０は、上記２つのアナログ信号のそれぞれについて、所定の露光時間Δｔの間の例えば平均値を算出する。すなわち、参照信号生成装置１７０は、上記２つのアナログ信号のそれぞれをディジタル化することにより、２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）を生成する。こうして生成された２つの参照信号Ｍ１（ｔ）およびＭ２（ｔ）が読み出し装置１３５によって取得される。こうして取得された参照信号と各撮像信号Ｇ（ｘ，ｙ，ｔ）との乗算装置１４０による乗算や、時刻ｔ＝ｔ１からｔｎまでの間に乗算により得られた積を合計することで、相関画像生成装置１４５により強度画像Ｉｍｉならびに２つの相関画像Ｉｍｃ１およびＩｍｃ２が得られる処理は、上述した各実施の形態と同様である。

上述したように、各実施の形態または各変形例におけるディジタル時間相関カメラ１００の制御装置１２５の乗算装置１４０は、読み出し装置１３５から取得した各撮像信号Ｇ（ｘ，ｙ，ｔ）と、その各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した各画素Ｐ（ｘ，ｙ）に対応する２つずつの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）のそれぞれとを乗算し、２つの積を算出する。しかし、各撮像信号Ｇ（ｘ，ｙ，ｔ）と、各撮像信号Ｇ（ｘ，ｙ，ｔ）を生成した各画素Ｐ（ｘ，ｙ）の周辺の画素の撮像信号との和や差や平均値等の演算値を取得し、その取得した演算値と、上述した２つずつの参照信号Ｍｃ１（ｔ）およびＭｃ２（ｔ）のそれぞれとを乗算することによって、２つの積を算出することとしてもよい。

上述した各実施の形態および各変形例は、それぞれ組み合わせてもよい。また、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における機器構成に何ら限定されない。

１００ ディジタル時間相関カメラ、１１０ 光学系、１１５ イメージセンサ、
１２０ 撮像信号データバッファ、１２５ 制御装置、１３０ 撮像信号転送装置、
１３５ 読み出し装置、１４０ 乗算装置、１４５ 相関画像生成装置、
１５０ 参照信号メモリ、１５５ 相関画像データバッファ、
１６０ 短時間露光制御装置、１６５ 能動駆動用参照信号供給装置、
１７０ 参照信号生成装置、
５１０ 電子シャッター制御、５２０ 被写体の光学像、５３０ 撮像信号、
５４０ 低周波の信号、
７００ 照明装置、７１０ 平板、７２０ 窪み、７３０ 円、７４０ 反時計回り、
７５０ 正三角形、７６０ 物体

Claims (5)

1. 被写体の光学像を結像させる光学系を透過した前記被写体からの光束を受光して光電変換することにより、時系列で順次作成される複数のフレームの各フレームを構成する複数の撮像信号を生成する複数の画素が、２次元平面状に配列されたイメージセンサから、前記複数の撮像信号を所定タイミング毎に読み出すとともに、前記複数の画素の各画素に対応する複数の参照信号を、前記所定タイミングに同期して取得する読み出し手段と、
   前記読み出し手段によって読み出された前記複数の撮像信号のうちの、前記各画素によって生成される各撮像信号と、前記読み出し手段によって取得された、前記各画素に対応する前記複数の参照信号のそれぞれとを、乗算して複数の積を算出する乗算手段と、
   前記複数のフレームのうちの所定枚数のフレームについて、前記各画素毎に、前記各撮像信号および前記複数の積をそれぞれ合計することによって、強度画像と複数の相関画像とを表す画像データを生成する相関画像生成手段とを備えることを特徴とする時間相関演算システム。
2. 請求項１に記載の時間相関演算システムにおいて、
   参照信号メモリに格納された複数の外部装置供給用参照信号に基づき前記光束を変調させる外部装置へ、前記複数の外部装置供給用参照信号を供給する参照信号供給手段をさらに備え、
   前記複数の外部装置供給用参照信号の各々は、前記複数のフレームのフレーム間隔に応じた周期で変動することを特徴とする時間相関演算システム。
3. 請求項１または２に記載の時間相関演算システムにおいて、
   前記光学像が前記複数のフレームのフレームレートよりも高周波で光変動するとき、前記複数の画素が前記光束を前記光学像の光変動周期よりも短い所定の露光時間受光するように、電子シャッター制御を行う短時間露光制御手段をさらに備えることを特徴とする時間相関演算システム。
4. 請求項３に記載の時間相関演算システムにおいて、
   複数のアナログ信号を前記所定の露光時間に基づきディジタル化することにより前記複数の参照信号を生成する参照信号生成手段をさらに備えることを特徴とする時間相関演算システム。
5. 請求項１〜４のいずれか１項に記載の時間相関演算システムと、
   前記光学系と、
   前記イメージセンサとを備えることを特徴とする時間相関カメラ。