JP2018198388A - 固体撮像素子、撮像装置及び撮像方法 - Google Patents

Abstract

【課題】高い時間分解能で符号化露光等を行い得る固体撮像素子、撮像装置及び撮像方法を提供する。【解決手段】光子の受光頻度に応じた頻度でパルスを発するセンサ部と、パルスの数をカウントするカウンタとをそれぞれ備える複数の画素と、画素においてパルスがカウントされる状態と、画素においてパルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで設定する設定部とを備えている。【選択図】図２

Description

本発明は、固体撮像素子、撮像装置及び撮像方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置の高機能化が進展している。例えば、特許文献１には、露光期間中にシャッタを開放し続けるのではなく、所定の時間パターンに従ってシャッタを開閉することによって画像を取得し、当該時間パターンを用いた演算処理によって、ぶれの修復を行う技術が開示されている。このような技術は、符号化露光と称される。符号化露光に用いられる時間パターンは、符号化露光パターンと称される。一方、特許文献２には、アナログ−デジタル変換器に画素信号を出力する撮像素子を空間的にランダムに選択することによって、消費電力の低減を図る撮像装置が開示されている。

特表２００９−５２２８２５号公報 特開２０１６−３９３９３号公報

しかしながら、従来の技術では、必ずしも十分に高い時間分解能で符号化露光等を行い得なかった。
本発明の目的は、高い時間分解能で符号化露光等を行い得る固体撮像素子、撮像装置及び撮像方法を提供することにある。

実施形態の一観点によれば、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとをそれぞれ備える複数の画素と、前記画素において前記パルスがカウントされる状態と、前記画素において前記パルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで設定する設定部とを備えることを特徴とする固体撮像素子が提供される。

本発明によれば、高い時間分解能で符号化露光等を行い得る固体撮像素子、撮像装置及び撮像方法を提供することができる。

第１実施形態による撮像装置を示すブロック図である。 第１実施形態による固体撮像素子を示す図である。 第１実施形態による固体撮像素子に備えられた単位画素を示す図である。 第１実施形態による固体撮像素子に備えられたカウンタを示す図である。 第１実施形態による固体撮像素子のレイアウトを示す図である。 第１実施形態による固体撮像素子の動作を示すタイミングチャートである。 第１実施形態の変形例による固体撮像素子に備えられた単位画素を示す図である。 第１実施形態の変形例による固体撮像素子の動作を示すタイミングチャートである。 第２実施形態による撮像装置を示すブロック図である。 第２実施形態による固体撮像素子を示す図である。 符号化露光パターンの例を示す図である。 第３実施形態による固体撮像素子に備えられた単位画素を示す図である。 第４実施形態による固体撮像素子に備えられた単位画素を示す図である。 第５実施形態による固体撮像素子の動作を示すタイミングチャートである。

本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。

［第１実施形態］
第１実施形態による固体撮像素子、撮像装置及び撮像方法について図１乃至図６を用いて説明する。図１は、本実施形態による撮像装置を示すブロック図である。図１に示すように、本実施形態による撮像装置１２０は、固体撮像素子１００と、信号処理部１０１と、制御部１０４と、メモリ部１０５と、表示部１０６と、記録部１０７と、操作部１０８と、ぶれ検出部１１０と、レンズ駆動部１０３とを備えている。また、撮像装置１２０には、撮影レンズ（撮像光学系、レンズユニット）１０２が備えられる。撮影レンズ１０２は、撮像装置１２０のボディ（本体）から着脱可能であってもよいし着脱不能であってもよい。

固体撮像素子１００は、撮影レンズ１０２によって形成される被写体の光学像を光電変換することによって撮像信号を生成し、生成した撮像信号を出力する。固体撮像素子１００に備えられた単位画素２０１（図２参照）には、アバランシェフォトダイオードが備えられており、単一光子の検出が可能となっている。また、固体撮像素子１００は、符号化露光によって画像を取得する。撮影レンズ１０２は、被写体の光学像を固体撮像素子１００の撮像面に結像させる。レンズ駆動部１０３は、撮影レンズ１０２を駆動するものであり、ズーム制御、フォーカス制御、絞り制御等を行う。撮影レンズ１０２は、被写体の光学像を形成し、形成した光学像を固体撮像素子１００の撮像面に入射させる。信号処理部１０１は、固体撮像素子１００から出力される撮像信号に対して補正処理等の所定の信号処理（画像処理）等を行う。制御部（全体制御・演算部、制御手段）１０４は、撮像装置１２０全体の制御を司るとともに、所定の演算処理等を行う。制御部１０４は、撮像装置１２０の各機能ブロックを駆動するための制御信号や、固体撮像素子１００を制御するための制御データ等を出力する。制御部１０４は、信号処理部１０１によって信号処理等が施された撮像信号に対して、現像や圧縮等の所定の信号処理（画像処理）等を行う。制御部１０４には、ぶれ修復部１０９が備えられている。ぶれ修復部１０９は、固体撮像素子１００において符号化露光によって取得された画像に対してぶれ修復処理（ぶれ補正処理）を行う。ぶれ修復処理の詳細については後述することとする。メモリ部１０５は、画像データを一時的に記憶する。表示部１０６は、制御部１０４によって信号処理等が施された撮像信号や、撮像装置１２０の各種設定情報等を表示する。記録部（記録制御部）１０７には、図示しない記録媒体が備えられる。かかる記録媒体は、記録部１０７から着脱可能であってもよいし着脱不能であってもよい。記録部１０７は、制御部１０４によって信号処理等が施された撮像信号等を記録媒体に記録する。かかる記録媒体としては、例えばフラッシュメモリ等の半導体メモリ等が挙げられる。操作部１０８は、撮影モードや蓄積期間等の設定を行うためのものであり、ユーザ等によって操作される。操作部１０８は、例えば、ボタン、ダイヤル等によって構成されている。なお、表示装置がタッチパネルである場合には、当該タッチパネルも操作部１０８に含まれる。ぶれ検出部１１０は、ジャイロセンサや加速度センサ等によって構成される。ぶれ検出部１１０は、露光期間中の撮像装置１２０の動き情報を検出する。ぶれ検出部１１０によって検出された動き情報は、ぶれ修復部１０９において撮影画像のぶれ修復処理を行う際に用いられる。

図２は、本実施形態による固体撮像素子を示す図である。図２に示すように、固体撮像素子１００は、画素アレイ２００と、垂直選択回路２０２と、水平選択回路２０３と、タイミングジェネレータ２０４と、デジタル出力部２０５と、露光パターン供給部２０６とを備えている。

画素アレイ（画素アレイ領域）２００には、複数の単位画素（画素）２０１が行列状に配されている。ここでは、説明を簡単にするために、４×４の単位画素２０１の配列が示されているが、実際には、更に多くの単位画素２０１が配されている。垂直選択回路２０２は、画素アレイ２００に配された複数の単位画素２０１をスイッチ２０７によって行単位で選択する。水平選択回路２０３は、画素アレイ２００に配された単位画素２０１をスイッチ２０８によって列単位で選択する。垂直選択回路２０２と水平選択回路２０３との組み合わせによって選択される単位画素２０１からの信号が、デジタル出力部２０５に出力される。デジタル出力部２０５は、固体撮像素子１００の外部に撮像信号、即ち、画像信号（画像）を出力する。

露光パターン供給部（設定部、符号化露光パターン供給部）２０６は、符号化露光を行うための露光パターン信号（符号化露光パターン信号）ＰＥＮ（図３参照）を画素アレイ２００に備えられた各々の単位画素２０１に供給する。露光パターン供給部２０６は、単位画素２０１においてパルスがカウントされる状態と、単位画素２０１においてパルスがカウントされない状態とを、露光期間中に、符号化露光パターンに応じたタイミングで設定する設定部として機能し得る。

タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ、タイミング発生回路）２０４は、垂直選択回路２０２、水平選択回路２０３、露光パターン供給部２０６のそれぞれに対して制御信号を供給する。また、タイミングジェネレータ２０４は、各々の単位画素２０１に対しても、不図示の配線によって制御信号ＭＴＸ（図３参照）を送信する。

図３は、本実施形態による固体撮像素子に備えられた単位画素を示す図である。図３に示すように、単位画素２０１は、センサ部（受光部）３００と、計数部３０１とを備えている。センサ部３００は、フォトダイオード３０２と、クエンチ抵抗３０３と、反転バッファ３０４とを含んでいる。フォトダイオード３０２は、アバランシェフォトダイオードである。フォトダイオード３０２のアノードは接地電位に接続されており、フォトダイオード３０２のカソードはクエンチ抵抗３０３の一端に接続されている。クエンチ抵抗３０３の他端にはバイアス電圧Ｖｂｉａｓが印加される。フォトダイオード３０２には、クエンチ抵抗３０３を介してフォトダイオード３０２の降伏電圧以上のバイアス電圧が印加される。このため、フォトダイオード３０２はガイガーモードで動作する。即ち、フォトダイオード３０２に光子（フォトン）が入射するとアバランシェ増倍現象を引き起こす。これにより、アバランシェ電流が生じ、クエンチ抵抗３０３において電圧降下が生ずる。クエンチ抵抗３０３は、フォトダイオード３０２のアバランシェ増倍現象を停止させるための抵抗素子である。クエンチ抵抗３０３は、トランジスタの抵抗成分を利用して構成し得る。フォトダイオード３０２においてアバランシェ増倍現象によってアバランシェ電流が生じると、クエンチ抵抗３０３において電圧降下が生じ、フォトダイオード３０２に印加されるバイアス電圧が降下する。バイアス電圧が降伏電圧まで降下するとアバランシェ増倍現象が停止する。その結果、アバランシェ電流が流れなくなり、フォトダイオード３０２には、再びバイアス電圧Ｖｂｉａｓが印加される。反転バッファ３０４は、クエンチ抵抗３０３で発生した電圧変化をパルス信号ＰＬＳとして取り出すために設けられる。これにより、フォトダイオード３０２に光子が入射すると、反転バッファ３０４からパルス信号ＰＬＳが出力される。このように、センサ部３００からは、光子の受光頻度に応じた頻度でパルスが発せられる。

計数部３０１は、カウンタ（カウンタ回路）３０５と、スイッチ３０６と、読み出しメモリ３０７とを備えている。カウンタ３０５には、センサ部３００に光子が入射することによって生ずるパルス信号ＰＬＳが入力され、カウンタ３０５はパルス信号ＰＬＳのパルス数をカウントする。カウンタ３０５によるパルスのカウント値は、画素信号となる。カウンタ３０５は、パルスをカウントする状態とパルスをカウントしない状態とを切り替えるためのイネーブル制御端子ＥＮを備えている。かかるイネーブル制御端子ＥＮには、符号化露光を行うための露光パターン信号ＰＥＮが露光パターン供給部２０６から供給される。露光パターン信号ＰＥＮは、カウンタ３０５のイネーブル信号として機能する。また、カウンタ３０５には、タイミングジェネレータ２０４からリセット信号ＲＥＳ（図４参照）が供給される。カウンタ３０５の詳細な構成については、図４を用いて後述することとする。

読み出しメモリ３０７は、カウンタ３０５によって計数された画素信号であるカウント値を一時的に保持する。スイッチ３０６は、カウンタ３０５によってカウントされたカウント値を読み出しメモリ３０７に送信するか否かを切り替えるためのものである。スイッチ３０６は、タイミングジェネレータ２０４から供給される制御信号ＭＴＸによって制御される。垂直選択回路２０２と水平選択回路２０３とによって選択される単位画素２０１の読み出しメモリ３０７に保持されているカウント値が、デジタル出力部２０５に送信される。

図４は、本実施形態による固体撮像素子に備えられたカウンタを示す図である。ここでは、説明を簡略化するため、カウンタ３０５に２つのＤ型フリップフロップ回路（Ｄ−ＦＦ）４０１，４０２が備えられている場合、即ち、カウンタが２ビットカウンタである場合を例に説明するが、これに限定されるものではない。十分なダイナミックレンジを確保すべく、十分なビット数のカウンタ３０５を用いることが好ましい。カウンタ３０５が２ビットカウンタである場合、カウンタ３０５は、センサ部３００から出力されるパルス信号ＰＬＳの立ち上がりエッジに同期して０→１→２とカウントを行う。Ｄ−ＦＦ４０１、４０２のクロック端子には、センサ部３００から出力されるパルス信号ＰＬＳがそれぞれ入力される。Ｄ−ＦＦ４０１、４０２のリセット端子Ｒｅｓｅｔには、タイミングジェネレータ２０４から供給されるリセット信号ＲＥＳが入力される。リセット信号ＲＥＳがＨレベルの際、Ｄ−ＦＦ４０１、４０２のＱ端子はＬレベルにリセットされる。Ｄ−ＦＦ４０１、４０２のＱ端子からは、各ビット（ＣＯＵＮＴ［０］、ＣＯＵＮＴ［１］）のカウント値が出力される。セレクタ４０３、４０４は、露光パターン信号ＰＥＮによって制御される。露光パターン信号ＰＥＮがＬレベルの際には、Ｄ−ＦＦ４０１、４０２のそれぞれのＱ端子の出力がＤ端子に入力される。即ち、露光パターン信号ＰＥＮがＬレベルの際、Ｄ−ＦＦ４０１、４０２には、現在の値が保持される。従って、露光パターン信号ＰＥＮがＬレベルの際には、パルス信号ＰＬＳが入力されたとしても、カウント値は増加しない。このような状態は、ディセーブル状態と称される。露光パターン信号ＰＥＮがＨレベルの際には、パルス信号ＰＬＳが入力されると、カウント値が増加する。従って、露光パターン信号ＰＥＮは、カウンタ３０５のイネーブル信号として機能する。Ｄ−ＦＦ４０１とＤ−ＦＦ４０２との間には、カウント値の桁上りを計算するためのＸＯＲゲート４０５が備えられている。

図５は、本実施形態による固体撮像素子のレイアウトの例を示す図である。図５に示すように、固体撮像素子１００は、複数のセンサ部３００が行列状に配されたセンサ部基板５０１と、複数の計数部３０１が行列状に配された計数部基板５０２とを積層させた構成となっている。センサ部基板５０１に備えられた電極（図示せず）と計数部基板５０２に備えられた電極（図示せず）とが、互いに電気的に接続されている。こうして、センサ部基板５０１に備えられたセンサ部３００から出力されるパルス信号ＰＬＳが、計数部基板５０２に備えられた計数部３０１に入力されるようになっている。計数部基板５０２には、垂直選択回路２０２、水平選択回路２０３、タイミングジェネレータ２０４、デジタル出力部２０５、及び、露光パターン供給部２０６が備えられている。センサ部３００と計数部３０１とが別個の基板に備えられているため、センサ部３００の面積を広く確保することができる。なお、固体撮像素子１００の構成は、上記のような構成に限定されるものではなく、同一の基板にセンサ部３００と計数部３０１とを備えるようにしてもよい。

図６は、本実施形態による固体撮像素子の動作の例を示すタイミングチャートである。ここでは、動画像の撮影を行う場合を例に説明するが、これに限定されるものではない。
タイミングｔ６０１において、撮影開始の指示が操作部１０８を介してユーザ等によって行われると、制御部１０４は、固体撮像素子１００に対して、パルス状の撮影開始信号ＳＴＡＲＴを出力する。撮影開始信号ＳＴＡＲＴが制御部１０４から供給されると、タイミングジェネレータ２０４は、センサ部３００にバイアス電圧Ｖｂｉａｓを供給する。センサ部３００にバイアス電圧Ｖｂｉａｓが供給されると、フォトダイオード３０２の降伏電圧以上のバイアス電圧がフォトダイオード３０２に印加され、フォトダイオード３０２はガイガーモードで動作するようになる。これにより、センサ部３００は、フォトダイオード３０２に入射する光子に応じてパルス信号ＰＬＳを出力するようになる。タイミングｔ６０１において、リセット信号ＲＥＳはＨレベルとなる。また、タイミングｔ６０１において、カウンタ３０５はリセット状態となっている。

タイミングｔ６０２において、制御部１０４は、固体撮像素子１００への同期信号（フレーム同期信号）ＶＤの供給を開始する。同期信号ＶＤの供給は、動画像の撮影の終了の指示がユーザ等によって操作部１０８等を介して行われるまで継続される。タイミングｔ６０２においては、第１番目の同期信号ＶＤが固体撮像素子１００に供給される。同期信号ＶＤの間隔は、動画像のフレームレートに応じたフレーム間隔とされる。動画像の撮影開始の指示を受信すると、タイミングジェネレータ２０４は、リセット信号ＲＥＳをＬレベルにし、カウンタ３０５のリセットを解除する。これにより、カウンタ３０５においては、入力されるパルス信号ＰＬＳに応じてカウント値が増加するようになる。こうして、動画像の第１番目のフレームの撮像が開始される。

タイミングｔ６０２〜ｔ６０５が動画像の１フレームの露光期間に対応している。タイミングｔ６０３〜ｔ６０４は、露光パターン信号ＰＥＮがＬレベルになっている期間の例を示している。露光パターン信号ＰＥＮは、任意のタイミングで任意の期間だけＬレベルとなる。露光パターン信号ＰＥＮがＬレベルになると、カウンタ３０５はディセーブル状態となる。カウンタ３０５は、ディセーブル状態の際には、パルス信号ＰＬＳが入力された場合であっても、カウント値を増加させない。従って、露光パターン信号ＰＥＮがＬレベルになっている際には、カウンタ３０５は、露光していない場合と同様に動作する。このように、本実施形態では、シャッタ等の開閉を要することなく、符号化露光を行うことが可能である。なお、時間軸上で広い範囲の周波数成分を符号化することによって、後述するぶれ修復を好適に行い得るようにするため、露光期間中に供給される露光パターン信号ＰＥＮは、周期性の少ない不規則なパターンであることが好ましい。

タイミングｔ６０５は、１フレームの露光期間の終了のタイミングである。タイミングｔ６０５において、タイミングジェネレータ２０４は、露光パターン信号ＰＥＮをＬレベルとする。露光パターン信号ＰＥＮがＬレベルになると、カウンタ３０５はディセーブル状態となり、カウンタ３０５のカウント値が増加しないようになる。

タイミングｔ６０６において、タイミングジェネレータ２０４は、パルス状の制御信号ＭＴＸを、各々の単位画素２０１の計数部３０１に備えられたスイッチ３０６に供給する。具体的には、タイミングジェネレータ２０４は、ＨレベルのＭＴＸを各々のスイッチ３０６に供給する。これにより、スイッチ３０６が一斉にオン状態となる。各々のスイッチ３０６がオン状態になると、各々の単位画素２０１のカウンタ３０５のカウント値が読み出しメモリ３０７にそれぞれ出力され、各々の読み出しメモリ３０７においてカウント値が保持される。この後、制御信号ＭＴＸがＬレベルに戻ると、スイッチ３０６はオフ状態となる。

タイミングｔ６０７において、タイミングジェネレータ２０４は、パルス状のリセット信号ＲＥＳを出力する。これにより、カウンタ３０５がリセットされる。
タイミングｔ６０８において、制御部１０４から固体撮像素子１００に対して同期信号ＶＤが供給される。これにより、第２番目のフレームの撮像が開始される。

タイミングｔ６０７において、タイミングジェネレータ２０４は、垂直選択回路２０２へのＶＣＬＫ信号の供給を開始する。垂直選択回路２０２は、パルス状のＶＣＬＫ信号が入力される毎に、画素アレイ２００に配された複数の単位画素２０１を１行ずつ順番に選択していく。タイミングジェネレータ２０４は、パルス状のＨＣＬＫ信号を水平選択回路２０３に供給する。水平選択回路２０３は、パルス状のＨＣＬＫ信号が入力される毎に、各列のスイッチ２０８を順番に選択していく。これにより、垂直選択回路２０２によって選択された行に位置している複数の単位画素２０１の各々の読み出しメモリ３０７に保持されているカウント値が、デジタル出力部２０５に順次出力される。デジタル出力部２０５は、こうして読み出されるカウント値、即ち、画像信号を、固体撮像素子１００の外部に順次出力する。
このような動作が同様にして最終行まで繰り返され、全ての単位画素２０１からの画像信号の出力が完了する。このような画像信号の出力は、タイミングｔ６０８以降における第２番目のフレームの撮像と並行して行われる。

符号化露光を行うことによって固体撮像素子１００によって取得された画像データは、信号処理部１０１において各種の補正処理が行われた後、メモリ部１０５に一時的に保持される。この後、ぶれ修復部１０９において、ぶれ修復処理が行われる。ぶれ修復処理は、以下のようにして行われる。符号化露光によって取得された画像データをＩ（ｘ，ｙ）、ぶれが修復された画像をＲ（ｘ，ｙ）、ぶれ速度をａ、露光時間をＴ、符号化露光に用いた露光パターンをＳ（ｔ）とする。ここで、ｘは、水平方向における単位画素２０１のアドレスを示しており、ｙは、垂直方向における単位画素２０１のアドレスを示している。ｔは、露光期間中におけるタイミングを示している。Ｓ（ｔ）は、タイミングｔにおける露光状態を表し、０又は１の値をとる。Ｓ（ｔ）＝１は、タイミングｔにおいて露光状態であること、即ち、カウンタ３０５がイネーブル状態であることを示す。Ｓ（ｔ）＝０は、タイミングｔにおいて非露光状態であること、即ち、カウンタ３０５がディセーブル状態であることを示す。符号化露光によって取得される画像データＩ（ｘ，ｙ）は、以下のような式（１）によって表される。

なお、ここでは、ｙ方向へのぶれのみが露光期間中に発生した場合を例として示している。露光期間中のぶれ速度ａは、ぶれ検出部１１０によって取得し得る。そして、上記のような式（１）に基づいて、ぶれの修復された画像Ｒ（ｘ，ｙ）を得ることができる。こうしてぶれの修復された画像は、表示部１０６を用いて表示することができる、また、ぶれの修復された画像を、記録部１０７を介して半導体メモリ等の記録媒体に記録してもよい。なお、ぶれの修復された画像を得る際には、例えば特許文献１に記載された技術を適宜用いることができる。

このように、本実施形態によれば、単位画素２０１においてパルスがカウントされる状態と、単位画素２０１においてパルスがカウントされない状態とを、露光期間中に、符号化露光パターンに応じたタイミングで制御し得る。このため、本実施形態によれば、高い時間分解能で符号化露光を行い得る固体撮像素子、撮像装置及び撮像方法を提供することができる。

（変形例）
本実施形態による変形例による固体撮像素子、撮像装置及び撮像方法を図７及び図８を用いて説明する。図７は、本変形例による固体撮像素子に備えられた単位画素を示す図である。図１乃至図６に示す第１実施形態による固体撮像素子、撮像装置及び撮像方法と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。なお、本変形例による固体撮像素子１００における単位画素２０１以外の構成要素については、第１実施形態による固体撮像素子と同様であるため、説明を省略する。

本変形例による固体撮像素子１００は、パルス信号ＰＬＳと露光パターン信号ＰＥＮとの同期をとるものである。図３を用いて上述した第１実施形態による固体撮像素子１００では、カウンタ３０５に供給されるパルス信号ＰＬＳと、露光パターン供給部２０６から供給される露光パターン信号ＰＥＮとの間に同期がとれているわけではない。このため、両者のタイミングによっては、カウンタ３０５の内部においてグリッチノイズが発生し、カウンタ３０５の動作が不安定になる可能性がある。そこで、本変形例では、パルス信号ＰＬＳと露光パターン信号ＰＥＮとの同期をとるようにしている。

図７に示すように、各々の単位画素２０１の計数部３０１には、Ｄ型フリップフロップ回路（同期手段、Ｄ−ＦＦ）７０１が備えられている。Ｄ−ＦＦ７０１は、露光パターン信号ＰＥＮをパルス信号ＰＬＳと同期させるための同期手段として機能し得る。Ｄ−ＦＦ７０１からは、パルス信号ＰＬＳに同期された信号ＰＥＮ′が出力される。Ｄ−ＦＦ７０１から出力される信号ＰＥＮ′は、カウンタ３０５に備えられたイネーブル制御端子ＥＮに入力される。本変形例では、センサ部３００から出力されるパルス信号ＰＬＳがバッファ７０２を介してカウンタ３０５に入力されるようになっている。バッファ７０２は、信号を遅延させるために設けられている。センサ部３００から出力されるパルス信号ＰＬＳは、バッファ７０２によって遅延され、遅延された信号ＰＬＳ′がカウンタ３０５に入力される。これにより、信号ＰＥＮ′の立ち上がりのタイミングに対して所定時間が経過した後に信号ＰＬＳ′が立ち上がるようになっている。

図８は、本変形例による固体撮像素子の動作を示すタイミングチャートである。図８は、露光パターン信号ＰＥＮの切り替えが行われる前後の状態を示している。図８に示すタイミングｔ８０１は、例えば、図６を用いて上述したタイミングｔ６０４に対応している。なお、図８においては、パルス信号ＰＬＳ、露光パターン信号ＰＥＮ、信号ＰＥＮ′、信号ＰＬＳ′、及び、カウント値以外については、図示を省略している。

タイミングｔ８０１において、露光パターン信号ＰＥＮがＨレベルとなる。露光パターン信号ＰＥＮのタイミングは、パルス信号ＰＬＳのタイミングとは同期していない。タイミングｔ８０２において、パルス信号ＰＬＳがＨレベルになると、Ｄ−ＦＦ７０１は、当該タイミングｔ８０２におけるＤ端子の入力信号、即ち、露光パターン信号ＰＥＮを取り込む。そして、Ｄ−ＦＦ７０１における出力遅延時間が経過した後のタイミングｔ８０３において、Ｄ−ＦＦ７０１のＱ端子の出力、即ち、信号ＰＥＮ′がＨレベルに変化する。そして、タイミングｔ８０４では、パルス信号ＰＬＳを遅延させた信号ＰＬＳ′信号がＨレベルになる。信号ＰＬＳ′がカウンタ３０５に入力される際には、信号ＰＥＮ′が既にＨレベルになっているため、カウンタ３０５におけるカウント値が増加する。

このように、本変形例によれば、露光パターン信号ＰＥＮをパルス信号ＰＬＳと同期させるための同期手段が備えられているため、カウンタ３０５においてグリッチノイズが発生するのを防止することができる。このため、本変形例によれば、より良好に符号化露光を行い得る固体撮像素子、撮像装置及び撮像方法を提供することができる。

［第２実施形態］
第２実施形態による固体撮像素子、撮像装置及び撮像方法について図９乃至図１１を用いて説明する。図１乃至図８に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による固体撮像素子９００は、単位画素２０１毎に異なった符号化露光パターンを用いて符号化露光を行うものである。

図９は、本実施形態による撮像装置を示すブロック図である。固体撮像素子９００は、撮影レンズ１０２によって形成される被写体の光学像を光電変換することによって撮像信号を生成し、生成した撮像信号、即ち、画像データを出力する。固体撮像素子９００は、単位画素２０１毎に異なった符号化露光パターンを用いて符号化露光を行うことにより、画像データを生成する。固体撮像素子９００によって生成される画像データからは、複数フレーム分の画像データを復元することが可能であるため、圧縮画像データと称される。制御部１０４には、復元部９０１が備えられている。復元部９０１は、固体撮像素子９００によって取得された圧縮画像データに基づいて、複数フレーム分の画像データを復元する。なお、復元処理の詳細については、後述することとする。

図１０は、本実施形態による固体撮像素子を示す図である。図１０に示すように、本実施形態による固体撮像素子９００は、露光パターン供給部（設定部、水平符号化露光パターン供給部）１００１と露光パターン供給部（設定部、垂直符号化露光パターン供給部）１００２とを備えている。露光パターン供給部１００１は、垂直方向に延在する配線Ｈ１、Ｈ２等を介して、列毎に異なる露光パターン信号（符号化露光パターン信号）を画素アレイ２００に供給する。露光パターン供給部１００２は、水平方向に延在する配線Ｖ１、Ｖ２等を介して、行毎に異なる露光パターン信号を供給する。各々の単位画素２０１には、ＮＡＮＤゲート１００３が備えられている。ＮＡＮＤゲート１００３の一方の入力端子には、露光パターン供給部１００１から露光パターン信号が入力される。ＮＡＮＤゲート１００３の他方の入力端子には、露光パターン供給部１００２から露光パターン信号が入力される。そして、ＮＡＮＤゲート１００３は、これらの入力信号の否定論理積をとった信号を露光パターン信号ＰＥＮとして各々の単位画素２０１のカウンタ３０５に供給する。このように、本実施形態では、符号化露光パターンが、画素毎に異なっている。なお、ここでは、各々の単位画素２０１にＮＡＮＤゲート１００３を設ける場合を例に説明したが、これに限定されるものではなく、ＮＡＮＤゲート１００３に代えてＮＯＲゲート等の別の論理ゲートを設けるようにしてもよい。このような構成にすることによって、単位画素２０１毎に異なる符号化露光パターン信号を供給することができる。

図１１は、符号化露光パターンの例を示すタイミングチャートである。図１１は、露光パターン供給部１００１と露光パターン供給部１００２とから露光期間中に供給される符号化露光パターン信号の例を示している。図１１に示す期間は、図６におけるタイミングｔ６０２〜ｔ６０５に対応する露光期間に相当している。また、図１１においては、符号化露光パターン信号に関連する信号以外の信号については図６と同様であるため、省略している。

信号ＰＥＮ＿Ｈ１、ＰＥＮ＿Ｈ２は、露光パターン供給部１００１から配線Ｈ１、Ｈ２にそれぞれ供給される露光パターン信号を示している。信号ＰＥＮ＿Ｖ１、ＰＥＮ＿Ｖ２は、露光パターン供給部１００２から配線Ｖ１、Ｖ２にそれぞれ供給される露光パターン信号を示している。信号ＰＥＮ＿Ａは、信号ＰＥＮ＿Ｈ１と信号ＰＥＮ＿Ｖ１との否定論理積をとることにより得られる露光パターン信号であり、単位画素２０１Ａに供給される。信号ＰＥＮ＿Ｂは、信号ＰＥＮ＿Ｈ２と信号ＰＥＮ＿Ｖ１との否定論理積をとることにより得られる露光パターン信号であり、単位画素２０１Ｂに供給される。信号ＰＥＮ＿Ｃは、信号ＰＥＮ＿Ｈ１と信号ＰＥＮ＿Ｖ２との否定論理積をとることにより得られる信号であり、単位画素２０１Ｃに供給される。信号ＰＥＮ＿Ｄは、信号ＰＥＮ＿Ｈ２と信号ＰＥＮ＿Ｖ２との否定論理積をとることにより得られる信号であり、単位画素２０１Ｄに供給される。このように、本実施形態では、露光パターン供給部１００１から供給される信号と露光パターン供給部１００２から供給される信号との否定論理積をとることにより得られる信号が、各々の単位画素２０１に供給される。

復元部９０１は、符号化露光パターンを用いて取得した圧縮画像データに対して、以下のようにして復元処理を行う。固体撮像素子９００から出力される圧縮画像データをＩ（ｘ，ｙ）、撮影に用いられた符号化露光パターンをＳ（ｘ，ｙ，ｔ）、復元画像をＥ（ｘ，ｙ，ｔ）とすると、以下のような式（２）が成立する。ここで、ｘは水平方向における単位画素２０１のアドレスであり、ｙは垂直方向における単位画素２０１のアドレスであり、ｔは符号化露光パターンの切り替えが行われた際の単位タイミングであり、いずれも整数の値をとる。符号化露光パターンＳ（ｘ，ｙ，ｔ）は、０又は１の値をとる。Ｓ（ｘ，ｙ，ｔ）＝１は、タイミングｔにおいてアドレス（ｘ，ｙ）の単位画素２０１が露光状態であること、即ち、当該単位画素２０１に備えられたカウンタ３０５がイネーブル状態であることを示している。一方、Ｓ（ｘ，ｙ，ｔ）＝０は、タイミングｔにおいてアドレス（ｘ，ｙ）の単位画素２０１が非露光状態であること、即ち、当該単位画素２０１に備えられたカウンタ３０５がディセーブル状態であることを示している。

従って、圧縮画像データから、複数フレーム分の復元画像を得ることができる。なお、復元画像を得る際には、特許文献２に記載されたような技術を適宜用いることができる。
このように、露光パターン供給部１００１から供給される信号と露光パターン供給部１００２から供給される信号とを用いて生成される、画素毎に異なる露光パターン信号を、各々の単位画素２０１に供給するようにしてもよい。

［第３実施形態］
第３実施形態による固体撮像素子、撮像装置及び撮像方法について図１２を用いて説明する。図１乃至図１１に示す第１又は第２実施形態による固体撮像装置等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による固体撮像素子は、センサ部３００から出力されるパルス信号ＰＬＳをカウンタ３０５に入力するか否かを制御するためのスイッチ１２０１が、センサ部３００とカウンタ３０５との間に配されているものである。

図１２は、本実施形態による固体撮像素子に備えられた単位画素を示す図である。なお、単位画素２０１以外の構成については、第１実施形態と同様としてもよいし、第２実施形態と同様としてもよい。図１２に示すように、各々の計数部３０１にはスイッチ１２０１が備えられている。センサ部３００から出力されるパルス信号ＰＬＳは、スイッチ１２０１を介してカウンタ３０５の入力端子に入力される。スイッチ１２０１は、センサ部３００から出力されるパルス信号ＰＬＳをカウンタ３０５に供給するか否かを切り替えるためのものである。スイッチ１２０１には、露光パターン信号ＰＥＮが供給される。単位画素２０１以外の構成が第１実施形態と同様である場合には、露光パターン供給部２０６からスイッチ１２０１に露光パターン信号ＰＥＮが供給される。単位画素２０１以外の構成が第２実施形態と同様である場合には、以下のようになる。即ち、露光パターン供給部１００１から出力される露光パターン信号と露光パターン供給部１００２から出力される露光パターン信号とを用いて生成される露光パターン信号ＰＥＮが、スイッチ１２０１に供給される。露光パターン信号ＰＥＮがＨレベルの際には、スイッチ１２０１はオン状態となり、センサ部３００から出力されるパルス信号ＰＬＳがカウンタ３０５に供給される。一方、露光パターン信号ＰＥＮがＬレベルの際には、スイッチ１２０１はオフ状態となり、カウンタ３０５から出力されるパルス信号ＰＬＳがカウンタ３０５に供給されない。このため、本実施形態においても、第１実施形態や第２実施形態と同様に符号化露光を行うことができる。

なお、ここでは、各々の単位画素２０１にスイッチ１２０１を備える場合を例に説明したが、これに限定されるものではない。スイッチ１２０１に代えてＡＮＤゲート等の論理回路を設け、当該論理回路に露光パターン信号ＰＥＮが供給されるようにしてもよい。ＡＮＤゲート等の論理回路を用いた場合にも、センサ部３００から出力されるパルス信号ＰＬＳをカウンタ３０５に供給するか否かを露光パターン信号ＰＥＮによって制御することが可能である。

また、ここでは、計数部３０１に備えられたスイッチ１２０１に露光パターン信号ＰＥＮを供給する場合を例に説明したが、これに限定されるものではない。例えば、センサ部３００に備えられた反転バッファ３０４に代えて、スリーステートバッファを備え、当該スリーステートバッファの制御入力端子に露光パターン信号ＰＥＮを供給するようにしてもよい。このようにした場合にも、パルス信号ＰＬＳをカウンタ３０５に供給するか否かを、露光パターン信号ＰＥＮによって制御し得る。
このように、パルス信号ＰＬＳをカウンタ３０５に供給するか否かを、スイッチ１２０１等を用いて制御するようにしてもよい。

［第４実施形態］
第４実施形態による固体撮像素子、撮像装置及び撮像方法について図１３を用いて説明する。図１乃至図１２に示す第１乃至第３実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による固体撮像素子は、フォトダイオード３０２に印加されるバイアス電圧が露光パターン信号によって制御されるものである。

図１３は、本実施形態による固体撮像素子に備えられた単位画素を示す図である。なお、単位画素２０１以外の構成については、第１実施形態と同様であってもよいし、第２実施形態と同様であってもよい。図１３に示すように、本実施形態による固体撮像素子には、スイッチ１３０１が備えられている。スイッチ１３０１は、フォトダイオード３０２に供給するバイアス電圧を切り替えるためのものである。スイッチ１３０１は、露光パターン信号ＰＥＮによって制御される。スイッチ１３０１は、単位画素２０１においてパルスがカウントされる状態と、単位画素２０１においてパルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで設定する設定部として機能し得る。スイッチ１３０１は、アバランシェフォトダイオードであるフォトダイオード３０２に印加される電圧を、フォトダイオード３０２の降伏電圧以上の電圧又は前記降伏電圧未満の電圧に切り替える設定部として機能し得る。スイッチ１３０１は、複数の単位画素２０１の各々に供給するバイアス電圧を一括して制御する。なお、ここでは、複数の単位画素２０１の各々に供給されるバイアス電圧がスイッチ１３０１によって一括して制御される場合を例に説明したが、これに限定されるものではない。複数のセンサ部３００の各々にスイッチ１３０１を設けるようにしてもよい。複数のセンサ部３００の各々にスイッチ１３０１を設けるようにすれば、単位画素２０１毎に異なる露光パターン信号ＰＥＮを供給することができる。

露光パターン信号ＰＥＮがＨレベルの際には、アバランシェフォトダイオードであるフォトダイオード３０２には、降伏電圧以上のバイアス電圧Ｖｂｉａｓ１が印加される。このため、フォトダイオード３０２は、ガイガーモードで動作する。このため、露光パターン信号ＰＥＮがＨレベルの際には、光子の入射に応じて生ずるパルス信号ＰＬＳがセンサ部３００から出力される。

一方、露光パターン信号ＰＥＮがＬレベルの際、フォトダイオード３０２には、降伏電圧未満のバイアス電圧Ｖｂｉａｓ２が印加される。このため、フォトダイオード３０２は、ガイガーモードで動作しない。このため、露光パターン信号ＰＥＮがＬレベルの際には、光子が入射してもセンサ部３００からパルス信号ＰＬＳは出力されない。
このように、フォトダイオード３０２に印加するバイアス電圧を露光パターン信号によって制御するようにしてもよい。本実施形態においても、第１乃至第３実施形態と同様に、符号化露光を行うことができる。

［第５実施形態］
第５実施形態による固体撮像素子、撮像装置及び撮像方法について図１４を用いて説明する。図１乃至図１３に示す第１乃至第４実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略又は簡潔にする。
本実施形態による固体撮像素子は、露光パターンを用いて露出の調整を行うものである。

図１４は、本実施形態による固体撮像素子の動作を示すタイミングチャートである。図１４に示す露光期間は、図６におけるタイミングｔ６０２〜６０５に対応する露光期間に相当している。図１４には、センサ部３００から出力されるパルス信号ＰＬＳと、露光パターン供給部２０６から供給される露光パターン信号ＰＥＮと、カウンタ３０５のカウント値とが示されている。本実施形態では、符号化露光を行うために露光パターン信号ＰＥＮを用いるわけではなく、露光量調整（露出調整）を行うために露光パターン信号ＰＥＮを用いる。なお、図１４においては、パルス信号ＰＬＳ、露光パターン信号ＰＥＮ、及び、カウント値以外の信号については、図６と同様であるため、省略している。

図１４（ａ）は、減光を行わない場合を示している。図１４（ａ）に示すように、露光パターン信号ＰＥＮは常にＨレベルとなっており、光子の入射によって発生するパルス信号ＰＬＳによってカウンタ３０５のカウント値が増加する。

図１４（ｂ）は、１段分の減光を行う場合を示している。図１４（ｂ）に示すように、Ｔ２／Ｔ１＝１／２となるように露光パターン信号ＰＥＮが設定されている。即ち、図１４（ｂ）に示す場合においては、露光パターン信号ＰＥＮがＨレベルとなる時間と、露光パターン信号ＰＥＮがＬレベルとなる時間とが、１：１に設定されている。上述したように、露光パターン信号ＰＥＮがＨレベルの際にのみ、光子の入射によって発生するパルス信号ＰＬＳがカウンタ３０５によってカウントされる。従って、図１４（ｂ）に示す場合においては、図１４（ａ）に示す場合と比較して、１段分の減光効果が得られる。

図１４（ｃ）は、２段分の減光を行う場合を示している。図１４（ｃ）に示すように、Ｔ３／Ｔ１＝１／４となるように露光パターン信号ＰＥＮが設定されている。即ち、図１４（ｃ）に示す場合においては、露光パターン信号ＰＥＮがＨレベルとなる時間と、露光パターン信号ＰＥＮがＬレベルになる時間とが、１：４に設定されている。従って、図１４（ｃ）に示す場合においては、図１４（ａ）に示す場合と比較して、２段分の減光効果が得られる。
このように、露光パターンは、露光量調整のためのパターンであってもよい。

［変形実施形態］
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。
本発明は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０…撮像装置
２００…画素アレイ
２０１…単位画素
２０２…垂直選択回路
２０３…水平選択回路
２０４…タイミングジェネレータ
２０５…デジタル出力部
２０６…露光パターン供給部
２０７、２０８、３０６…スイッチ
３００…センサ部
３０１…計数部
３０２…フォトダイオード
３０３…クエンチ抵抗
３０４…反転バッファ
３０５…カウンタ
３０７…読み出しメモリ
４０１、４０２、７０１…Ｄ型フリップフロップ回路
４０３、４０４…セレクタ
５０１…センサ部基板
５０２…計数部基板
７０２…バッファ
１００１、１００２…露光パターン供給部
１００３…ＮＡＮＤゲート
１２０１、１３０１…スイッチ

Claims (11)

1. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとをそれぞれ備える複数の画素と、
   前記画素において前記パルスがカウントされる状態と、前記画素において前記パルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで設定する設定部と
   を備えることを特徴とする固体撮像素子。
2. 前記任意のパターンは、符号化露光のためのパターンであることを特徴とする請求項１に記載の固体撮像素子。
3. 前記任意のパターンは、前記画素毎に異なることを特徴とする請求項１又は２に記載の固体撮像素子。
4. 前記任意のパターンは、露光量調整のためのパターンであることを特徴とする請求項１に記載の固体撮像素子。
5. 前記センサ部は、アバランシェフォトダイオードを備えることを特徴とする請求項１から４のいずれか１項に記載の固体撮像素子。
6. 前記カウンタは、前記パルスをカウントする状態と前記パルスをカウントしない状態とを切り替えるためのイネーブル制御端子を備え、
   前記設定部は、前記任意のパターンの信号を前記イネーブル制御端子に供給することを特徴とする請求項１から５のいずれか１項に記載の固体撮像素子。
7. 前記画素は、前記センサ部と前記カウンタとの間に配されたスイッチを更に備え、
   前記スイッチは、前記任意のパターンの信号によって制御されることを特徴とする請求項１から５のいずれか１項に記載の固体撮像素子。
8. 前記画素は、前記任意のパターンの信号を前記パルスと同期させるための同期手段を更に備え、
   前記同期手段によって同期させた信号によって前記画素が制御されることを特徴とする請求項１から７のいずれか１項に記載の固体撮像素子。
9. 前記設定部は、前記アバランシェフォトダイオードに印加される電圧を、前記アバランシェフォトダイオードの降伏電圧以上の電圧又は前記降伏電圧未満の電圧に切り替えるスイッチであることを特徴とする請求項５に記載の固体撮像素子。
10. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとをそれぞれ備える複数の画素と、前記画素において前記パルスがカウントされる状態と、前記画素において前記パルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで設定する設定部とを備える固体撮像素子と、
    前記固体撮像素子によって取得される画像に対して所定の処理を行う制御部と
    を有することを特徴とする撮像装置。
11. 光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタとをそれぞれ備える複数の画素を制御するステップであって、前記画素において前記パルスがカウントされる状態と、前記画素において前記パルスがカウントされない状態とを、露光期間中に、任意のパターンに応じたタイミングで制御するステップと、
    前記複数の画素によって取得された信号を読み出すステップと
    を有することを特徴とする撮像方法。

Images