JP2007166581A - 高速撮影用固体撮像装置 - Google Patents

Abstract

【課題】現象の発生に合わせて撮影を開始することにより、確実に現象を記録することができ、しかも省電力性能に優れた固体撮像装置を提供する。
【解決手段】撮像用光電変換素子を有する複数の画素部がマトリクス状に配置された撮像素子エリア２を備え、各撮像用光電変換素子から得られる画素情報を取り込むことにより画像データを生成する。さらに、撮像素子エリア又はその周囲の所定箇所に配置された入射光量の変化を検出する変化検出素子３と、変化検出素子から出力される検出信号に基づくトリガ信号に応じて、撮像用光電変換素子から得られる画素情報の取り込みの開始または停止を制御する制御部とを備える。
【選択図】図１Ａ

Description

本発明は、画素に対応する複数の光電変換素子がマトリクス状に配置された固体撮像装置に関し、特に、高速度カメラ用に適した機能を備えた固体撮像装置に関する。

例えば車両の衝突試験や製品の落下試験等において、試験結果の詳細な解析のために高速度カメラが用いられている。特に近年では、内燃機関の燃焼状態の解析や化学反応の解析のように、物理化学分野における現象の解析にも高速度カメラが用いられている。また、ディジタル画像処理システムの発展に伴い、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＭＯＳイメージセンサのような固体撮像素子を用いたディジタル高速度カメラが主流となってきている。

固体撮像素子を用いたディジタル高速度カメラは、以前のフィルムカメラのように撮影後にフィルムを現像処理する必要がなく、撮影直後に画像を確認することができる。また、パーソナルコンピュータなどを用いたディジタル画像解析装置へ画像を取り込む作業も容易である。

また、ディジタル高速度カメラは、撮影後すぐに画像を確認できるので、撮影ミスがあった場合はその場で撮影のやり直しを行なうことができ、対策がとり易い。データの再利用や加工などの処理を考えた場合も、ディジタル高速度カメラで得られた画像データをパーソナルコンピュータ上で加工したり修正したりすることが容易である。

しかしながら、ディジタル高速度カメラは下記のような短所を有する。すなわち、記録メディアへの書き込み速度の制限などの理由から、ディジタル高速度カメラで連続撮影できるコマ数には限りがある。連続して動画を撮り続けるためには、撮影フレームレート及び撮影画像サイズの少なくともいずれかを下げて、記録メディアへの書き込みが間に合うようにする必要がある。逆に、高解像度かつ高速の撮影を行なう場合は撮影コマ数が有限となり、撮影間隔が短時間であることから撮影時間も非常に短時間となってしまう。例えばフレームレートが毎秒１０万フレームで撮影可能コマ数が１００コマであった場合、撮影時間は１ミリ秒となる。

多くの場合は高速度カメラの撮影対象の現象が短時間に発生して終わるので短い撮影間隔でカバーできるが、その短い撮影期間中に撮影対象の現象が含まれるようにタイミングを合わせることが必要である。このタイミング合わせは困難な場合が多く、現状では、数ミリ秒の撮影期間中に撮影対象の現象が含まれるように、現象のトリガと撮影開始のトリガとをタイミングが合うまで微小範囲で調整する作業を繰り返すことがなされている。

例えば特許文献１には、画像の変化を監視して撮影を行う方法が考案されている。この方法では、画面全体の画素を数区画に分割して、それらの画素の出力信号から求められる平均的な明暗の変化に基づいて、撮影を終了するタイミングを決めている。すなわち、いわゆるＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）メモリを用いて、古いデータから順に新しいデータで上書きするように撮影を続けておき、撮影したい現象が発生して画像の変化が生じたことが検出された後、所定数のフレームの撮影を完了してから撮影を終了する。
特開平５−１３７０７４号公報

しかし、特許文献１に開示された方法は、画面全体の平均的な明暗変化でトリガを決めるので検出の遅れが生じやすい。また、この方法では、撮影対象の現象が発生する前から撮影を繰り返しておく必要があるので、デバイスの消費電力を低減することが困難である。

本発明は上記のような従来の課題を解決し、現象の発生に合わせて撮影を開始することにより、より確実に現象を記録することができ、しかも省電力性能に優れた高速撮影用固体撮像装置を提供することを目的とする。

本発明の高速撮影用固体撮像装置は、撮像用光電変換素子を有する複数の画素部がマトリクス状に配置された撮像素子エリアを備え、前記各撮像用光電変換素子から得られる画素情報を取り込むことにより画像データを生成する。上記課題を解決するために、前記撮像素子エリア又はその周囲の所定箇所に配置された入射光量の変化を検出する変化検出素子と、前記変化検出素子から出力される検出信号に基づくトリガ信号に応じて、前記撮像用光電変換素子から得られる画素情報の取り込みの開始または停止を制御する制御部とを備える。

本発明の高速撮影用固体撮像装置によれば、変化検出素子から出力される検出信号をトリガとして撮影（画素情報の取り込み）が開始されるので、現象の発生に合わせて撮影を開始し、確実に現象を記録することが可能である。

また、撮影したい現象が発生する前から撮影を開始しておく必要はないので、省電力性能にも優れている。

上記本発明の高速撮影用固体撮像装置の構成において、前記複数の撮像用光電変換素子のそれぞれに複数の記憶素子が接続され、前記撮像用光電変換素子から得られる画素情報を前記トリガ信号に応じて前記記憶素子に順次記憶し、所定数の画素情報が記憶された後に各記憶素子の記憶情報を出力するように構成することができる。

また、複数の前記変化検出素子が前記撮像素子エリアの周縁内部に配置された構成とすることができる。あるいは、複数の前記変化検出素子が前記撮像素子エリアの中心部から各辺に向かって延びる十字状に配置された構成とすることができる。あるいは、複数の前記変化検出素子が前記撮像素子エリアの中心部に集合させて配置された構成とすることができる。あるいは、複数の前記変化検出素子が前記撮像素子エリアの全域にわたって分散配置された構成とすることができる。あるいは、複数の前記変化検出素子が前記撮像素子エリアの周縁に沿って外側に配置された構成とすることができる。変化検出素子の配置は、上記のほかにも種々の変形が可能である。

また、前記変化検出素子は変化検出用光電変換素子と信号処理部とを含み、前記信号処理部は、前記変化検出用光電変換素子からの信号レベルを閾値と比較し、その比較結果を検出信号として出力する構成とすることができる。

あるいは、前記変化検出素子は、変化検出用光電変換素子と、前記変化検出用光電変換素子からの信号を記憶する記憶部と、信号処理部とを含み、前記信号処理部は、前記記憶部から読み出した前回の信号レベルと前記変化検出用光電変換素子から新たに得られた信号とレベルとを比較し、その比較結果を検出信号として出力する構成とすることができる。

あるいは、前記変化検出素子は、変化検出用光電変換素子と、前記変化検出用光電変換素子からの信号を記憶する記憶部と、信号処理部とを含み、前記信号処理部は、前記記憶部から読み出した前回の信号レベルと前記変化検出用光電変換素子から新たに得られた信号とレベルとの差を求め、その差を閾値と比較し、その比較結果を検出信号として出力する構成とすることができる。

上記の３通りの変化検出素子の構成のうち第１の構成によれば、記憶素子が不要で信号処理部の構成も簡素になる。第２及び第３の構成によれば、記憶素子が必要であるが、多様な画像変化に対応することができる。

また、前記変化検出素子の検出動作間隔が、前記撮像用光電変換素子から得られた画素情報の取り込み動作の時間間隔と同等かそれより短い間隔であることが好ましい。あるいは、前記変化検出素子の検出動作間隔が、前記撮像用光電変換素子から得られた画素情報の記憶に要する時間と同等かそれより短い間隔であることが好ましい。これらの構成によれば、十分撮影可能な速度の現象変化を画像変化の検出能力の不足によって撮り損ねることが無くなる。

また、上記本発明の高速撮影用固体撮像装置の構成において、前記変化検出素子を複数個備え、前記各変化検出素子の検出結果の論理的組み合わせに応じて前記トリガ信号を発生させることが好ましい。それにより、撮影対象の変化に確実に同期して撮影することが可能となり、現象を確実に捉えることが容易となる。

その場合に、長方形状に形成された前記撮像素子エリアの周囲４辺の各々に前記変化検出素子が少なくとも一つずつ配置された構成とすることができる。

また、各辺ごとをグループとして前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、一辺のみ、もしくは隣接する二辺のグループのみで変化を検出した場合に、前記トリガ信号を発生させる構成とすることができる。

また、隣接する複数個をグループとして前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、１つの前記グループのみ、もしくは隣接する２つの前記グループのみで変化を検出した場合に、前記トリガ信号を発生させる構成とすることができる。

また、前記撮像素子エリアの中に前記変化検出素子が配置され、前記変化検出素子を複数個のグループに分けて、各グループごとに前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、前記各グループの検出結果の論理的組み合わせに応じて前記トリガ信号を発生させる構成とすることができる。

その場合に、前記複数個のグループは、前記変化検出素子の配置された領域ごとに構成することができる。あるいは、前記複数個のグループは、前記変化検出素子の配置された領域がほぼ均等になるように構成することができる。

以上のような変化検出素子の配置により、なんらかの物体が撮像画面内に侵入もしくは撮像画面内から出て行くような現象に対して、その物体の移動の瞬間に確実に同期して自動的に撮像を開始または停止することができる。

また、上記本発明の高速撮影用固体撮像装置の構成において、前記撮像素子エリアと前記変化検出素子とは分離して配置され、前記撮像素子エリアに入射する光を分光して、その一部を前記変化検出素子に入射させる光学系を備えた構成とすることができる。この構成によれば、変化検出素子が配置された画素に関して、画素情報の欠落を回避するための補間処理等の必要性が無くなる。

その場合に、前記撮像素子エリアに入射する光量が前記変化検出素子に入射する光量より多くなるように構成することが好ましい。それにより、変化検出素子からのトリガ信号による自動撮像機能と高画質撮影とを確実に両立させることができる。

以下、本発明の実施の形態における高速撮影用固体撮像装置について、図面を参照して詳細に説明する。

（実施の形態１）
図１Ａは、本発明の実施の形態１における高速度カメラ用の固体撮像装置１の概略構成を示す平面図である。固体撮像装置１には、画素に対応する複数の撮像用光電変換素子が矩形の撮像素子エリア２にマトリクス状に配置されている。撮像素子エリア２の所定位置には、撮像対象（画像）が変化したことを検出するための４個の変化検出素子３が配置されている。なお、変化検出素子３は、撮像素子エリア２の周囲の所定位置に配置されていてもよい。例えば、変化検出素子３は撮像素子エリア２と同一半導体基板上に形成され、撮像素子エリア２の周囲を囲うように配置される。また撮像素子エリアの中に一定の間隔で周期的に変化検出素子３が配置されていてもよい。その場合は、該当位置の画素を変化検出素子３により置き換えて配置することができる。他の任意の位置に変化検出素子３を配置することも可能である。

変化検出素子３の出力は、画像情報の取り込み（撮影）の開始を指令するトリガ信号として使用される。つまり、変化検出素子３が検出する撮影対象の変化をトリガとして撮影を開始させれば、撮影対象の変化開始に合わせて撮影を開始させることができる。撮像素子１は、このトリガ信号を受けて撮影を開始した後、あらかじめ指定された枚数の画像を撮影して撮影を終了する。

図１Ｂは、図１Ａの固体撮像装置の概略処理手順を示すフローチャートである。変化検出素子３により画像変化の有無の検出を行い（ステップＳ１０１）、画像変化があれば（ステップＳ１０２、Ｙｅｓ）、その出力であるトリガ信号にしたがって画像情報の取り込み、つまり撮像が開始される（ステップＳ１０３）。そして、あらかじめ指定された枚数の画像が撮影されれば、データ出力を行って（ステップＳ１０４）、撮影を終了する。

変化検出素子３は、例えば、配置された場所（画素）における直前の画素情報（信号レベル）を記憶しておき、新たな画素情報（信号レベル）との差分が任意の閾値レベル以上であった場合にトリガ信号を出力する。この閾値レベルは撮影対象に合わせて変えてもよい。また、複数の変化検出素子を設ける場合に、変化検出素子ごとに閾値レベルを変えて設定してもよい。

４個の変化検出素子３のすべてが変化を検出した場合などは、カメラのぶれなどにより画像全体が動いた可能性があるため、トリガ信号を発生させないようにすることが望ましい。それにより、対象物の変化のみに反応させることが可能となる。

また、高速度撮影を実現するために、撮像素子エリア２に設けられた複数の撮像用光電変換素子のそれぞれに複数の記憶素子（画素内メモリ）が接続された構成とすることが望ましい。光電変換素子から得られる画素情報を、トリガ信号にしたがって記憶素子に順次転送して記憶し、所定数の画素情報が記憶された後に各記憶素子の記憶情報を順に出力する構成とする。

図２は、そのような画素内メモリを備えた画素部１０と信号転送部１１の構成を示すブロック図である。それぞれの画素部１０は、１個の撮像用光電変換素子（ＰＤ）１２と、それに接続された複数（図示の例では８個）の画素内メモリ（Ｍｅｍ．１〜８）１３と、それぞれの画素内メモリ１３から読み出した情報（信号）を増幅するアンプ部（Ａｍｐ．）１４を含む。アンプ部１４の出力信号は信号転送部１１に与えられ、信号転送部１１に含まれる雑音低減回路（Ｎ．Ｃ．）１５で雑音成分を除去された後に水平シフトレジスタ（Ｈ−ＳＲ）１６へ送られる。

図３は、変化検出素子の配置に関するいくつかの例を示す平面図である。図３（ａ）に示す例では、複数の変化検出素子３が撮像素子エリア２の周縁内部に配置されている。図３（ｂ）に示す例では、複数の変化検出素子３が撮像素子エリア２の中心部から各辺に向かって延びる十字状に配置されている。図３（ｃ）に示す例では、複数の変化検出素子３が撮像素子エリア２の中心部に集合させて配置されている。図３（ｄ）に示す例では、複数の変化検出素子３が撮像素子エリア２の全域にわたってランダムに分散配置されている。図３（ｅ）に示す例では、複数の変化検出素子３が撮像素子エリア２の周縁に沿って外側に配置されている。図３（ｆ）に示す例では、複数の変化検出素子３が撮像素子エリア２の周縁内部に連続的に配置されている。図３（ｇ）に示す例では、複数の変化検出素子３が撮像素子エリア２の全域にわたって一定間隔で分散配置されている。

このように、複数の変化検出素子３の配置については種々の形態が考えられるが、高速度カメラの用途に応じて、つまり撮影対象の変化がどのように起きるかに応じて適切な配置を選択すればよい。撮影対象の変化が起こると予測される画面上の位置に変化検出素子３を配置することにより、撮影対象の変化をより確実に検出することができる。例えば画面を横切って移動する物体を高速度撮影したい場合は、図３（ａ）、（ｅ）又は（ｆ）に示すように、撮像素子エリア２の周縁部に変化検出素子３を配置すればよい。そうすることにより、撮影対象の物体が画面の外から画面内に入ってきた時点で変化検出素子３がトリガ信号を出力し、撮影を開始することができる。また、画面の中央部付近で変化が起こるような現象を高速度撮影したい場合は、図３（ｂ）又は（ｃ）に示すように、撮像素子エリア２の中心部に変化検出素子３が配置すればよい。

図４は、変化検出素子３の具体的な構成例を示す回路図である。また、図５は、図４の各部の信号レベルの変化を示すタイミングチャートである。この例では、変化検出素子３は、変化検出用光電変換素子１７と、光電変換素子１７からの信号を記憶する複数の記憶素子１８からなる記憶部と、信号処理部１９とを有する。信号処理部１９は、記憶素子２０、比較回路２１、ＯＲ回路２２、およびそれらの要素への信号の供給を切り替えるためのスイッチング素子２７から構成されている。

光電変換素子１７からの信号は、交互に有効レベルになる書込制御信号ＷＬ０及びＷＬ１によって、図４における上側の記憶素子１８と下側の記憶素子１８に交互に記憶（更新）される。信号処理部１９は、各記憶素子１８から読み出した前回の信号レベル（例えば上側の記憶素子１８の記憶情報）と光電変換素子１７から新たに得られた信号レベル（例えば下側の記憶素子１８の記憶情報）との差を求め、その差を閾値ＶＲＥＦと比較し、その比較結果を検出信号として出力する。つまり、前回の信号レベルと新たな信号レベルとの差が閾値より大きければ撮影対象（画像）に変化が生じたとみなされ、撮影開始を指令する検出信号が出力される。

図４の回路の動作について、図５のタイミングチャートを参照して説明する。まずデータの取り込み前にＴＲＡＮとＲＳＴがオンし、記憶素子１８がリセットされる。その後ＴＲＡＮがオンすることで光電変換素子１７に蓄えられた電荷が記憶素子１８に移る。次に比較シーケンスでは、ＤＲＳＴ、ＤＦＲがオンすることで信号処理部１９がリセットされる。その後ＤＩＦがオンすると、記憶素子１８からの信号が信号処理部１９の記憶素子２０の電極に交互に加えられる。これにより信号処理部１９の上側の記憶素子２０には記憶素子１８の上側の信号から下側の信号を引いたものが記憶され、信号処理部１９の下側の記憶素子２０には記憶素子１８の下側の信号から上側の信号を引いたものが記憶される。この後ＣＭＰをオンして比較回路２１で基準値と比較する。これにより古い信号と新しい信号の差分が作り出され、これらをＯＲ回路２２を介して出力する。

このような変化検出素子３は、機能を限定して、黒から白又は白から黒への一方向の色の変化のみを検出するようにしてもよい。例えば、白っぽい物体が暗い背景の中を飛来するのを撮影する場合は、そのような簡略化した変化検出素子３が適している。更に簡略化して、色又は輝度の変化を検出する代わりに、現在の輝度が閾値を越えておればトリガ信号を出力するように変化検出素子３を構成することも可能である。これは、インバータ回路の閾値レベルを利用すれば簡単に実現することができる。

このように、変化検出素子３（信号処理部１９）の構成は、撮影対象の変化の具体的な内容に応じて適切に設計することが好ましい。また、撮影対象の輝度の変化をトリガとして検出する場合に、輝度変化が比較的大きい撮影対象の場合は、判定のための閾値レベルを高く設定し、逆に輝度変化が比較的小さい撮影対象の場合は閾値レベルを低くするというように、閾値レベルが調整可能であることが望ましい。

また、変化検出素子３が画像の変化を検出する時間間隔である検出動作間隔は、撮像用光電変換素子１２から得られる画素情報の取り込み動作の時間間隔と同等かそれより短いことが好ましく、短いほど、画像の変化の始まりにおける撮影の取りこぼし（欠落）が少なくなる。しかしながら、用途によっては検出動作間隔を長く設定して消費電力を抑えることも可能である。

図６Ａ〜６Ｄは、変化検出素子の処理部のいくつかの構成例を示すブロック図である。図６Ａに示す構成が、図４及び図５に示した本実施の形態の構成である。この例では、変化検出用光電変換素子１７からの信号電圧が記憶部２４（記憶素子１８）に記憶され、前回の信号電圧と新たな信号電圧との差が差分演算部２５で求められ、その差が比較部２６で基準電圧（閾値）と比較される。比較部２６の出力がトリガ信号となる。

図６Ｂに示す構成では、変化検出用光電変換素子１７からの信号が記憶部２４に記憶され、記憶部２４から読み出された前回の信号電圧と変化検出用光電変換素子１７からの新たな信号電圧とが比較部２６で比較される。その比較結果がトリガ信号として出力される。

図６Ｃに示す構成では、変化検出用光電変換素子１７からの信号電圧が比較部２６で基準電圧（閾値）と比較され、その比較出力がトリガ信号となるように回路が簡素化されている。

図６Ｄに示す構成では更に回路が簡素化され、図６Ｃの比較部の代わりにインバータ回路２７が用いられ、その閾値レベルが基準電圧の代わりに利用されている。つまり、変化検出用光電変換素子１７からの信号電圧がインバータ回路２７の閾値レベルより高くなれば、その出力が反転する。

図７は、図２のブロック図に示した画素部１０の具体的な構成例を示す回路図である。また、図８は図７の構成の画素部の動作例を示すタイミングチャートである。なお、図７には便宜上、１個の画素部と１個の変化検出素子３のみを示す。

この例では、ＭＯＳキャパシタで構成した８個（８フレーム分）の画素内メモリ１３が撮像用光電変換素子１２に接続されている。撮像用光電変換素子１２からの信号電圧が８個の画素内メモリ１３に順次蓄えられるようにして８フレーム分の時系列の画素情報が記憶される。画素内メモリ１３への書き込み（画素情報の取り込み）は、制御部２８から供給される信号ＴＲＡＮ０、ＴＲＡＮ１、ＷＬ０、ＷＬ１、ＲＳＴ、ＶＤＤＣＥＬ、ＳＨＮＣ等により制御される。制御部２８は、変化検出素子３から供給される検出信号に基づきトリガ信号を発生して、画素内メモリ１３への書き込みの開始あるいは停止を制御する。

画素内メモリ１３は、トランジスタのゲート容量を利用したＭＯＳキャパシタに限らず、拡散領域を利用したキャパシタや強誘電体材料などを用いた不揮発性メモリ等で構成してもよい。画素内メモリ１３を構成するキャパシタは、図７に示すようにトランジスタスイッチを介して撮像用光電変換素子１２に接続してもよいし、撮像用光電変換素子１２からの信号を増幅する増幅器の出力にトランジスタスイッチを介して接続してもよい。

それぞれの画素内メモリ１３への書き込みは、全画素について同時に行なうことが望ましい。トリガ信号にしたがって画素情報の取り込みが開始されると、画素内メモリ１３に画素情報が順次記憶され、８フレーム分の画素内メモリ１３の記憶が完了すれば撮影を停止し、画素内メモリ１３に記憶された情報が信号転送部１１を介して出力される。全ての情報の出力が完了した時点で元の撮影待機状態となり、再びトリガ信号が入るまで待機する。この動作を繰り返すことにより繰り返し高速度撮影が可能になる。

図７の画素部の動作を、図８のタイミングチャートを参照して説明する。変化検出素子３からの検出信号を受けて、制御部２８がトリガ信号を発生し、画像の取り込みを開始すると、ＲＳＴと全てのＴＲＡＮがオンし画素内メモリ１３をリセットする。次にＷＬ０〜ＷＬｎが順番にオンして行くことで、撮像用光電変換素子１２で蓄積された電荷が順に画素内メモリ１３に保存される。次に読み出し動作では、ＲＳＴがオンしてアンプ部１４をリセットした後ＴＲＡＮ０がオンし、画素内メモリ１３に記録されていた信号がアンプ部１４で増幅されてノイズキャンセラ１５、シフトレジスタ１６へと転送されて行く。これをＴＲＡＮ１〜ＴＲＡＮｎについても順次行なうことで、全ての情報を取り出すことが出来る。

以上のように、本実施の形態における自動トリガを用いた撮像装置を用いれば、現象によって変化の起こりそうなポイントにトリガをセットしておくことで、現象の発生に同期してトリガ素子が反応し、撮影を開始する。例えば高速で移動する物体の衝突状態等を撮影する場合や、化学反応など現象の起こる瞬間の予測困難な現象の瞬間を撮影することは非常に困難であるが、本実施の形態の撮像装置によれば、現象の発生に合わせて撮影を開始し、確実に現象を記録することが可能である。

また、撮影可能コマ数に制約があったとしても、確実に現象の瞬間を捉えることができるため、撮影可能コマ数の制約は緩和される。

（実施の形態２）
本発明の実施の形態２における高速度カメラ用の固体撮像装置について、図９〜１１を参照して説明する。本実施の形態の固体撮像装置は、基本的な構成は実施の形態１と同様であるが、改良点として、変化検出素子からの情報を解析し、特定の組み合わせで検出信号が得られたときに、撮影の開始または停止を制御する構成を有する。この改良の理由は下記のとおりである。

実施の形態１のように、変化検出素子を設けて画像の変化を検出し、その検出信号をトリガとして自動的に撮像を開始または停止させる方法のみでは、カメラ装置のぶれや、撮影対象の周辺照明変化等により誤動作する可能性がある。そのような事象でも変化検出素子は画像の変化として検出するため、本来撮影したい現象とは異なるタイミングで撮影を開始してしまうからである。そのため、画像全体での変化と対象物のみの変化を区別し、対象物のみが変化したときに撮影開始または停止の信号を発生させる機能を有することが望ましい。本実施の形態の固体撮像装置は、そのような機能を有するものである。

図９は、変化検出素子３を画素部の周辺に配置した場合の例を示す。撮像素子エリア２の周縁に沿って外側に配置されている複数の変化検出素子３の検出結果を、それぞれａ１〜ａ５、ｂ１〜ｂ７、ｃ１〜ｃ５、ｄ１〜ｄ７で表す。この例では辺ごとに変化検出素子３をＡ〜Ｄにグループ分けする。すなわち、変化検出素子ａ１〜ａ５をグループＡ、変化検出素子ｂ１〜ｂ７をグループＢ、変化検出素子ｃ１〜ｃ５をグループＣ、変化検出素子ｄ１〜ｄ７をグループＤとする。各グループ毎の検出結果の論理的組み合わせを各々Ａ〜Ｄで表すものとする。

全ての変化検出素子３を統合した検出結果は、各変化検出素子３の論理的組み合わせにより表される。まず、それぞれのグループ内でひとつでも画像の変化を検出した場合にそのグループとして変化を検出したとみなす。すなわち、各グループ毎の変化検出素子３の検出結果Ａ〜Ｄは、下記のとおりに表される。

Ａ＝ａ１＋ａ２＋ａ３＋ａ４＋ａ５
Ｂ＝ｂ１＋ｂ２＋ｂ３＋ｂ４＋ｂ５＋ｂ６＋ｂ７
Ｃ＝ｃ１＋ｃ２＋ｃ３＋ｃ４＋ｃ５
Ｄ＝ｄ１＋ｄ２＋ｄ３＋ｄ４＋ｄ５＋ｄ６＋ｄ７
さらに、これらのグループのうちどれか一つのみが変化を検出した場合に、対象物に変化が生じたとみなしトリガ信号を発生させる。すなわち、全ての変化検出素子３を統合した検出結果であるＴＲＩＧは、下記（数１）のとおりに表される。

この場合、対象物が左斜め上の角から侵入して来た場合などは、グループＡとグループＢで変化を検出することになるため、このような場合を想定して、これらグループのうちどれか一つのみ、または隣接した２つのグループのみで変化を検出した場合にトリガ信号を発生させるように設定することもできる。この場合、ＴＲＩＧは、下記（数２）のとおりに表される。

図１０は、変化検出素子を図９の場合と同様に配置し、グループ分けを異ならせた例を示す。変化検出素子３は、グループＡ〜Ｈに分けられている。この例では図９より変化検出素子３を細かくグループ分けすることにより、より検出精度を高めることが出来る。

図１１は、変化検出素子３を撮像素子エリア２の内部に配置した場合の例を示す。グループＡとして変化検出素子ａ１〜ａ１２、グループＢとして変化検出素子ｂ１〜ｂ１２、グループＣとして変化検出素子ｃ１〜ｃ１２、グループＤとして変化検出素子ｄ１〜ｄ１２が配置されている。この場合も、変化検出素子３を領域ごとにグループ分けすることで、画像全体の変化や大領域での変化を無視し、対象物の変化のみに反応するように設定することが可能となる。

（実施の形態３）
本発明の実施の形態３における高速度カメラ用の固体撮像装置について、図１２〜１３を参照して説明する。本実施の形態では、撮像素子エリア（固体撮像素子）と変化検出素子とが分離して配置され、撮像素子エリアに入射する光を分光して、その一部を変化検出素子に入射させる光学系が設けられる。

図１２は、固体撮像素子２９に入射する光を、プリズム３０を用いて分光を行っている。レンズ３１を通過した光はプリズム３０を直進して撮像素子エリアを有する固体撮像素子２９に入射する光と、プリズム３０で曲げられて変化検出素子３に入射する光とに分かれる。

このように、画素に入射する光を固体撮像素子２９に入射する光と変化検出素子３に入射する光とに分けることにより、変化検出素子３が配置されるべき画素についても撮像画像の画素情報を得ることができるので、撮像画像の画質劣化を回避することができる。つまり、撮像素子エリアに配置された全画素の撮像用光電変換素子を用いて画像を撮影することができるので高画質の画像が得られる。この際、プリズム３０の反射率を調整することにより、固体撮像素子２９に入射する光量が変化検出素子３に入射する光量より多くなるように調整することも可能である。こうして、本発明の特長であるトリガ信号による自動撮像機能と高画質撮影とを両立させることが可能である。

図１３は、図１２の構成においてプリズム３０の代わりにハーフミラー３２を用いた変形例の構成を示す図である。この構成でも、図１２の構成と同様の効果を得ることができる。また、ハーフミラー３２の反射率を調整することにより、固体撮像素子２９に入射する光量が変化検出素子３に入射する光量より多くなるように調整することも可能である。

なお、本実施の形態のように入射光を固体撮像素子２９に入射する光と変化検出素子３に入射する光とに分光することを行わないで、変化検出素子３のみに光が入射する構成とすることも可能である。その場合は、変化検出素子３が存在する画素情報が画像から欠落しないように、その周辺の画素情報の平均をとって当該画素の情報とする等の補間処理を実行することが好ましい。

本発明は、上述の実施の形態及び変形例に限らず、種々の形態で実施することができる。例えば、上記の実施の形態では固体撮像素子としてＭＯＳトランジスタによる画像選択を行なう方式の回路例を示したが、本発明はＣＣＤ方式の固体撮像素子にも適用することができる。また、いくつかの図を例示して本発明の実施の形態を説明したが、撮像用光電変換素子、変化検出用光電変換素子、記憶素子等の数や配置については図示した例に限らず適宜変更可能である。

本発明の固体撮像装置は、超高速度での画像撮影において対象物の変化に合わせて撮影を開始することが可能であり、ディジタル高速度カメラに有用である。

本発明の実施の形態１における高速度カメラ用固体撮像装置の概略構成を示す平面図 同固体撮像装置の概略処理手順を示すフロー図 同固体撮像装置における画素部の構成を示すブロック図 同固体撮像装置における変化検出素子の配置例を示す平面図 同固体撮像装置における変化検出素子の具体的な構成例を示す回路図 図４の各部の信号レベルの変化を示すタイミングチャート 変化検出素子の処理部の構成例を示すブロック図 変化検出素子の処理部の他の構成例を示すブロック図 変化検出素子の処理部のさらに他の構成例を示すブロック図 変化検出素子の処理部のさらに他の構成例を示すブロック図 図２に示した画素部の具体的な構成例を示す回路図 同画素部の動作例を示すタイミングチャート 本発明の実施の形態２における高速度カメラ用固体撮像装置における変化検出素子の配置例を示す平面図 同固体撮像装置における変化検出素子の他の配置例を示す平面図 同固体撮像装置における変化検出素子のさらに他の配置例を示す平面図 本発明の実施の形態３における高速度カメラ用固体撮像装置の概略構成を示す図 同固体撮像装置の他の例の概略構成を示す図

符号の説明

１ 固体撮像装置
２ 撮像素子エリア
３ 変化検出素子
１０ 画素部
１１ 信号転送部
１２ 撮像用光電変換素子
１３ 画素内メモリ（記憶素子）
１４ アンプ部
１５ 雑音低減回路
１６ 水平シフトレジスタ
１７ 変化検出用光電変換素子
１８ 記憶素子
１９ 信号処理部
２０ 記憶素子
２１ 比較回路
２２ ＯＲ回路
２３ スイッチング素子
２４ 記憶部
２５ 差分演算部
２６ 比較部
２７ インバータ回路
２８ 制御部
２９ 固体撮像素子
３０ プリズム
３１ レンズ
３２ ハーフミラー

Claims (21)

1. 撮像用光電変換素子を有する複数の画素部がマトリクス状に配置された撮像素子エリアを備え、前記各撮像用光電変換素子から得られる画素情報を取り込むことにより画像データを生成する高速撮影用固体撮像装置において、
   前記撮像素子エリア又はその周囲の所定箇所に配置された入射光量の変化を検出する変化検出素子と、
   前記変化検出素子から出力される検出信号に基づくトリガ信号に応じて、前記撮像用光電変換素子から得られる画素情報の取り込みの開始または停止を制御する制御部とを備えたことを特徴とする高速撮影用固体撮像装置。
2. 前記複数の撮像用光電変換素子のそれぞれに複数の記憶素子が接続され、前記撮像用光電変換素子から得られる画素情報を前記トリガ信号に応じて前記記憶素子に順次記憶し、所定数の画素情報が記憶された後に各記憶素子の記憶情報を出力するように構成された請求項１記載の高速撮影用固体撮像装置。
3. 複数の前記変化検出素子が前記撮像素子エリアの周縁内部に配置された請求項１記載の高速撮影用固体撮像装置。
4. 複数の前記変化検出素子が前記撮像素子エリアの中心部から各辺に向かって延びる十字状に配置された請求項１記載の高速撮影用固体撮像装置。
5. 複数の前記変化検出素子が前記撮像素子エリアの中心部に集合させて配置された請求項１記載の高速撮影用固体撮像装置。
6. 複数の前記変化検出素子が前記撮像素子エリアの全域にわたって分散配置された請求項１記載の高速撮影用固体撮像装置。
7. 複数の前記変化検出素子が前記撮像素子エリアの周縁に沿って外側に配置された請求項１記載の高速撮影用固体撮像装置。
8. 前記変化検出素子は変化検出用光電変換素子と信号処理部とを含み、前記信号処理部は、前記変化検出用光電変換素子からの信号レベルを閾値と比較し、その比較結果を検出信号として出力する請求項１記載の高速撮影用固体撮像装置。
9. 前記変化検出素子は、変化検出用光電変換素子と、前記変化検出用光電変換素子からの信号を記憶する記憶部と、信号処理部とを含み、前記信号処理部は、前記記憶部から読み出した前回の信号レベルと前記変化検出用光電変換素子から新たに得られた信号とレベルとを比較し、その比較結果を検出信号として出力する請求項１記載の高速撮影用固体撮像装置。
10. 前記変化検出素子は、変化検出用光電変換素子と、前記変化検出用光電変換素子からの信号を記憶する記憶部と、信号処理部とを含み、前記信号処理部は、前記記憶部から読み出した前回の信号レベルと前記変化検出用光電変換素子から新たに得られた信号とレベルとの差を求め、その差を閾値と比較し、その比較結果を検出信号として出力する請求項１記載の高速撮影用固体撮像装置。
11. 前記変化検出素子の検出動作間隔が、前記撮像用光電変換素子から得られた画素情報の取り込み動作の時間間隔と同等かそれより短い間隔である請求項１記載の高速撮影用固体撮像装置。
12. 前記変化検出素子の検出動作間隔が、前記撮像用光電変換素子から得られた画素情報の記憶に要する時間と同等かそれより短い間隔である請求項２記載の高速撮影用固体撮像装置。
13. 前記変化検出素子を複数個備え、前記各変化検出素子の検出結果の論理的組み合わせに応じて前記トリガ信号を発生させる請求項１記載の高速撮影用固体撮像装置。
14. 長方形状に形成された前記撮像素子エリアの周囲４辺の各々に前記変化検出素子が少なくとも一つずつ配置された請求項１３記載の高速撮影用固体撮像装置。
15. 各辺ごとをグループとして前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、一辺のみ、もしくは隣接する二辺のグループのみで変化を検出した場合に、前記トリガ信号を発生させる請求項１４記載の高速撮影用固体撮像装置。
16. 隣接する複数個をグループとして前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、１つの前記グループのみ、もしくは隣接する２つの前記グループのみで変化を検出した場合に、前記トリガ信号を発生させる請求項１４記載の高速撮影用固体撮像装置。
17. 前記撮像素子エリアの中に前記変化検出素子が配置され、前記変化検出素子を複数個のグループに分けて、各グループごとに前記変化検出素子の検出結果を論理的に組み合わせ、各グループ内でひとつでも前記変化検出素子が変化を検出した場合に当該グループからは変化を検出した結果を出力し、前記各グループの検出結果の論理的組み合わせに応じて前記トリガ信号を発生させる請求項１３記載の高速撮影用固体撮像装置。
18. 前記複数個のグループは、前記変化検出素子の配置された領域ごとに構成された請求項１７記載の高速撮影用固体撮像装置。
19. 前記複数個のグループは、前記変化検出素子の配置された領域がほぼ均等になるように構成された請求項１７記載の高速撮影用固体撮像装置。
20. 前記撮像素子エリアと前記変化検出素子とは分離して配置され、
    前記撮像素子エリアに入射する光を分光して、その一部を前記変化検出素子に入射させる光学系を備えた請求項１記載の高速撮影用固体撮像装置。
21. 前記撮像素子エリアに入射する光量が前記変化検出素子に入射する光量より多くなるように前記光学系が調整された請求項２０記載の高速撮影用固体撮像装置。

Images