JP2020150377A - 情報処理装置、撮像素子、撮像装置、及び情報処理方法 - Google Patents

Abstract

【課題】 画素内のカウンタのビット数を増やすことなく、ダイナミックレンジを拡大すること。【解決手段】 複数の画素を有し、前記複数の画素がそれぞれ、光子の入射に応じてパルス信号を出力するセンサ手段と、前記パルス信号の数をカウントするカウント手段と、を有する撮像素子から、前記複数の画素のカウント値を順次入力し、入力したカウント値を補正する補正手段を有し、前記カウント手段は、カウント値が最大値に達した場合に、カウント値を０に戻してカウントを継続し、前記補正手段は、前記入力したカウント値が、カウント値を０に戻してカウントを継続して得られたカウント値である場合に、当該カウント値を補正する。【選択図】 図６

Description

本発明は、情報処理装置、撮像素子、撮像装置、及び情報処理方法に関する。

従来、スイッチングノイズや浮遊容量などに起因するＳ／Ｎ比の劣化を無くすことができる撮像素子の技術として、画素内でデジタル信号に変換する技術があった。

例えば、特許文献１では入射したフォトン（光子）に応じて発生するパルスを計数手段によりカウントするしくみを画素内に備えた撮像素子が開示されている。

また、特許文献２では、時分割フォトンカウンティングを用いた場合の露光設定の最適化を実現できる撮像素子およびカメラシステムが開示されている。

特開平７−６７０４３号公報 特開２０１１−７１９５８号公報

しかしながら、上述の特許文献に開示された従来技術では、フォトンを計数するカウンタが画素内にあるため、高いダイナミックレンジを得るためにビット数を増やすと画素が大きくなり、小型化、高精細化が困難になってしまうだけでなく、配線量の増加や電力の増加などコストアップの要因となる。

本発明は上記問題点を鑑みてなされたものであり、画素内のカウンタのビット数を増やすことなく、ダイナミックレンジを拡大することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、複数の画素を有し、前記複数の画素がそれぞれ、光子の入射に応じてパルス信号を出力するセンサ手段と、前記パルス信号の数をカウントするカウント手段と、を有する撮像素子から、前記複数の画素のカウント値を順次入力し、入力したカウント値を補正する補正手段を有し、前記カウント手段は、カウント値が最大値に達した場合に、カウント値を０に戻してカウントを継続し、前記補正手段は、前記入力したカウント値が、カウント値を０に戻してカウントを継続して得られたカウント値である場合に、当該カウント値を補正する。

本発明によれば、画素内のカウンタのビット数を増やすことなく、ダイナミックレンジを拡大することができる。

第１及び第２の実施形態における撮像装置の概略構成を示すブロック図。 第１及び第２の実施形態におけるフォトンカウント型撮像素子に関する説明図。 第１の実施形態における各画素のカウンタのビット数の一例を示す図。 入射光量とカウント値との関係を示す図。 第１の実施形態における任意の行のカウント値及び補正後の画素値の一例を示す図。 第１の実施形態における撮像信号処理回路に含まれる補正回路の構成例を示す図。 第１の実施形態におけるカウント値と検出結果との関係を説明するための図。 第１の実施形態における各部の信号を示すタイミングチャート。 変形例２における画素配列例を示す図。 第２の実施形態における処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態による撮像素子および信号処理装置について説明する。

図１は、第１の実施形態における撮像装置の概略構成を示すブロック図である。図１において、レンズ部２０１は、ズームレンズを含む複数枚のレンズにより構成され、レンズ駆動部２０２の制御により、Ｗｉｄｅ端からＴｅｌｅ端まで、焦点距離を変化させることができる。

メカニカルシャッタ（以下、「メカシャッタ」と記す。）２０３と、その後段の絞り２０４（光量調節部材）は、撮像素子２０６へ入射する光の照射時間を機械的に制御する露光量調整機構である。メカシャッタ２０３及び絞り２０４は、シャッタ・絞り駆動部２０５によって駆動制御される。

ズームレンズを含むレンズ部２０１を通った被写体像は、メカニカルシャッタ２０３及び絞り２０４により適切な露光量に調整され、撮像素子２０６に結像される。撮像素子２０６内の複数の画素に結像した被写体像は、撮像素子２０６内で２次元のデジタルデータに変換され、撮像信号処理回路２０７に送られる。なお、撮像素子２０６の詳細については後述する。

撮像信号処理回路２０７は、本実施形態におけるカウント数の補正処理を行うと共に、補正した信号に対して、各種の画像処理を行う。画像処理は例えば、ノイズを軽減するローパスフィルタ処理やシェーディング補正処理、ＷＢ調整処理などを含む。更に、キズ補正処理やダークシェーディング補正処理、黒引き処理等の各種の補正、圧縮等を行って画像データを生成する。

全体制御演算部２１０は、撮像装置全体の制御と各種演算を行う。タイミング発生部（以下、「ＴＧ」と記す。）２０８は、全体制御演算部２１０からの制御信号に基づき、撮像素子２０６を駆動させるための駆動パルスを発生させる。第１メモリ部２０９は、画像データを一時的に記憶する。

記録媒体制御インターフェース（Ｉ／Ｆ）部２１１は、半導体メモリ等の着脱可能な記憶媒体である記録媒体２１３に対して画像データの記録及び読み出しを行う。表示部２１２は、画像データ等の表示を行う。外部インターフェース（Ｉ／Ｆ）部２１４は、外部コンピュータ等と通信を行う為のインターフェースである。

第２メモリ部２１５は、全体制御演算部２１０での演算結果や撮影条件等の各種パラメータを記憶する。操作部２１６によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部２１０に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。

図２は、本実施形態における撮像素子２０６における各画素の概略構成を示す回路図であり、光子の入射に応じてパルス信号を出力するセンサ部と、出力されたパルス信号の数をカウントするカウンタを有する。本実施形態の撮像素子２０６は、アバランシェフォトダイオード（ＡＰＤ）をガイガーモードで動作させた際に発生するアバランシェ現象を利用して、入射したフォトン（光子）の数そのものを計測してデジタル信号として出力するものとする。このようなガイガーモードで動作させるアバランシェフォトダイオードは、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）と呼ばれている。

ＡＰＤをガイガーモードで動作させる時、例えばＡＰＤに１つのフォトンが入射するとアバランシェ現象によって観測可能なレベルの電流が発生する。この電流をパルス信号に変換し、そのパルス信号の数をカウントすることで、入射するフォトンの個数を直接計測することが可能となる。そのため、ＲＴＳノイズが発生せず、Ｓ／Ｎ比の向上が期待されている。

ここで、本実施形態におけるＳＰＡＤを用いたフォトンカウンティング型の撮像素子２０６の動作概要について、図２を用いて説明する。図２（ａ）は、ＳＰＡＤをガイガーモードで動作させる撮像素子２０６の単位画素（以下、「画素」と呼ぶ。）の等価回路を示している。画素は、アバランシェフォトダイオード（ＡＰＤ）１０１、クエンチ抵抗１０２、コンパレータ１０３、抵抗Ｒ₁，Ｒ₂等により構成される。

ＡＰＤ１０１のアノード端はＧＮＤに接続されており、カソード端はクエンチ抵抗１０２に接続されている。そして、クエンチ抵抗１０２を介して、電圧ＶＤＤから逆バイアス電圧が印加される。このとき電圧ＶＤＤとＧＮＤの電圧差はＡＰＤ１０１をガイガーモードにする為に降伏電圧以上となるように設定する。

図２（ｂ）はフォトン入射待機状態からアバランシェ現象が発生し、また元のフォトン入射待機状態に戻るまでのＡＰＤ１０１のカソード端の電圧Ｖ_APDの推移を示している。時刻ｔ０からｔ１の期間はフォトン入射待機状態であり、時刻ｔ１でＡＰＤ１０１にフォトンが入射するとアバランシェ現象が発生する。アバランシェ現象が発生す ると電流が流れて電圧Ｖ_APDが低下してアバランシェ現象が止まり（時刻ｔ３）、また元のフォトン入射待機状態に戻る（時刻ｔ５）。

図２（ａ）に示すようにコンパレータ１０３の一方の入力端子にはＡＰＤ１０１のカソード端の電圧Ｖ_APDが、もう一方の入力端子には基準電圧Ｖ_refを抵抗Ｒ₁と抵抗Ｒ_２とで分圧した参照電圧Ｖ_thが入力されている。参照電圧Ｖ_thは、上記で説明したフォトンが入射した際の電圧Ｖ_APDの変化が検出できるように、Ｖ₀とＶ_minの間の電位に設定する。

コンパレータ１０３は、電圧Ｖ_APDがＶ_thより小さくなり、再び電圧Ｖ_APDがＶ_thより大きくなるまでの期間（電圧Ｖ_APDがＶ_thレベルを往復した期間）にパルス信号を１つ出力する。

図２（ｃ）は、図２（ｂ）に示すようにＡＰＤ１０１のカソード端の電圧Ｖ_APDが推移した場合のコンパレータ１０３の出力Ｖ_outを示している。時刻ｔ２に電圧Ｖ_APDがＶ_thより小さくなり、時刻ｔ４に再びＶ_APDがＶ_thより大きくなるため、ｔ２〜ｔ４の期間にパルス信号が一つ出力される。

このコンパレータ１０３にカウンタ１０４を接続しておけば、入射したフォトンの数をカウントすることができる。従って、フォトン入射待機状態からアバランシェ現象の発生、アバランシェ現象の停止、また元のフォトン入射待機状態へ戻るサイクルを繰り返すことで、ＡＰＤ１０１に入射したフォトンの数を計測することが可能となる。予め決められた時間、カウンタ１０４により計数されたカウント値を出力することで、画素信号を直接デジタル値で読み出すことができる。

このように、各画素からデジタル値として取得することが可能であるため、スイッチングノイズや浮遊容量などに起因するＳ／Ｎ比の劣化無く、転送することが可能となる。

図３は、本実施形態における各画素のカウンタ１０４のビット数の一例を示す。本実施形態では、カウンタ１０４は複数のビット数のバイナリカウンタであって、ビット数はその構成により変更することができる。線よりも左側が遮光されているオプティカルブラック（ＯＰ）領域３００、右側が露光される露光領域３０１である。画素３０４はＯＰ領域３００の画素で、カウンタ１０４のビット数は１１ビット分、すなわち、２¹¹の値までカウントすることができる。画素３０３はＯＰ領域３００に隣接した露光領域３０１の画素で、カウンタ１０４のビット数は１３ビットで、２¹³の値までカウントすることができる。そして、画素３０２はＯＰ領域に隣接していない露光領域３０１の画素で、カウンタ１０４のビット数は１２ビットで、２¹²の値までカウントすることができる。

第１の実施形態では、後述するように、ＯＰ領域３００に隣接していない画素３０２の１２ビットの画素値を、撮像信号処理回路２０７に含まれる補正回路において１３ビットの画素値に補正することを想定している。なお、露光領域３０１の画素のうち、ＯＰ領域３００に隣接した画素３０３が１３ビットである理由は、補正回路が、先に読み出された隣接する画素値を用いて補正をする構成を有しているためである。画素３０３の前に読み出されるＯＰ領域３００の画素３０４を用いて、画素３０３が最大値ＣＭＡＸを超えているかどうかを判断できないため、補正せずに１３ビットの画素値が得られるように、１３ビットとしている。

図４は、撮像素子への入射光量と、撮像素子の出力（カウント値）との関係を示したグラフである。ここでは比較のために、従来例のグラフを図４（ａ）に、本実施形態のグラフを図４（ｂ）に示している。

図４（ａ）に示すように、従来は、入射光量が増加し、カウント値が最大値ＣＭＡＸに達すると、それ以上光が入射してもカウント値は変化しなくなる。

これに対し、本実施形態では、図４（ｂ）に示すように、カウント値が最大値ＣＭＡＸに達した場合に、カウンタが停止せずに０に戻り、カウントし続けることを特徴としている。このように最大値ＣＭＡＸ後に０に戻してカウントが継続されたカウント値は、撮像信号処理回路２０７に含まれる補正回路により後述する手法で補正されて、画素値となる。

次に、図５（ａ）を参照して、図３に示すビット数で、図４（ｂ）に示すようにカウントを行う場合に、撮像素子２０６の露光領域３０１の画素３０２及び３０３から得られる画素信号について説明する。

図５（ａ）において、縦軸は撮像素子２０６の任意の行における出力値、すなわちカウンタ１０４から出力されるカウント値を示し、横軸は水平方向の画素位置を示している。

Ｐ１〜Ｐ２，Ｐ３〜Ｐ４は、カウント値が最大値ＣＭＡＸを超えてしまった画素の範囲を示している。画素位置Ｐ１及びＰ３の直前の画素において最大値ＣＭＡＸであった信号が、画素の範囲Ｐ１〜Ｐ２，Ｐ３〜Ｐ４ではゼロ近傍で変化している。このような画素の範囲Ｐ１〜Ｐ２，Ｐ３〜Ｐ４のカウント値に対し、補正回路により補正する。

図６は、第１の実施形態における撮像信号処理回路２０７に含まれる補正回路の回路図である。撮像素子２０６から読み出されたカウント値は、端子５０１から、１サイクルに１画素分ずつ順次入力される。なお、撮像素子２０６と補正回路との間は、データ圧縮を含むプロトコルで接続されているが、補正回路の内部では、１サイクルに１画素分のカウント値がすべて１３ビット（ビット０〜１２）で転送される。従って、画素３０２の１２ビットのカウント値のビット１２、及び、画素３０４の１１ビットのカウント値のビット１１及びビット１２には、０が挿入されている。

端子５０１から入力されたカウント値は、遅延素子５０４に取り込まれ、１サイクル遅延される。そして、遅延素子５０４により１サイクル遅延されて出力されるのと同じタイミングで、次の画素のカウント値が入力される。以降、順次カウント値が入力され、遅延素子５０４により１サイクル遅延されて出力される。また、端子５０１から入力されたカウント値の内、付加されたビット１２（最上位ビット）の値が、スイッチ５１６の一方の端子ｂに出力される。

また、画素３０３のカウント値が入力される間、１となる信号ＥＸＴ＿ＰＩＸが補正回路内で生成されて、端子５０２から入力される。信号ＥＸＴ＿ＰＩＸが０の場合、スイッチ５１６は端子ａを選択し、信号ＥＸＴ＿ＰＩＸが１の場合、スイッチ５１６は端子ｂを選択する。従って、信号ＥＸＴ＿ＰＩＸが１の場合、端子ｂに入力された画素３０３のビット１２の値が選択され、それ以外の場合に、端子ａに入力される論理積回路５１５の出力が選択されて、後段の遅延素子５１７に送られることになる。

検出回路５０５は、カウント値が、その最大値ＣＭＡＸを超えてカウントし直された値であるかどうかを検出するための回路である。また、補正回路５１３は、カウント値が、最大値ＣＭＡＸを超えてカウントし直された値である場合に、そのカウント値に付加されたビット１２（最上位ビット）に１を設定することにより補正し、それ以外の場合に０を設定する回路である。以下、検出回路５０５及び補正回路５１３について、詳細に説明する。

検出回路５０５において、減算器５０７は、現サイクルのカウント値（以下、「現カウント値」と呼ぶ。）から、遅延素子５０４により１サイクル遅延されたカウント値（以下、「遅延カウント値」と呼ぶ。）を減算し、絶対値化部５０６は、得られた差を正の値にする。そして、第１の比較部５０８は、絶対値化部５０６の出力が閾値TH_3を超えているかどうかを比較により判定する。

また、第２の比較部５１０は、遅延カウント値が閾値TH_1を超えているかどうかを比較により判定し、第３の比較部５１１は、遅延カウント値が閾値TH_2を下回っているかどうかを比較により判定する。

論理積回路５０９は、第１の比較部５０８と第２の比較部５１０の比較結果が共に真である場合に真を出力する。また、論理積回路５１２は、第１の比較部５０８と第２の比較部５１１の比較結果が共に真である場合に真を出力する。

次に、補正回路５１３の動作について説明する。論理和回路５１４は、遅延素子５１７の出力と論理積回路５０９との論理和を取って、論理積回路５１５に出力する。論理積回路５１５は、論理積回路５０９の出力と、論理積回路５１２の反転入力との論理積を出力する。

スイッチ５１６は、上述したように、信号ＥＸＴ＿ＰＩＸが０の場合、端子ａを選択し、信号ＥＸＴ＿ＰＩＸが１の場合、端子ｂを選択して、遅延素子５１７に出力する。遅延素子５１７は、入力した信号を１サイクル遅延させて出力する。

遅延素子５１７から出力された値は、出力５０３のビット１２として、遅延カウント値のビット０からビット１１と束ねられて出力される。

上記構成を有する補正回路では、論理積回路５０９の出力が真となるサイクルでは、論理積回路５１２の出力は必ず偽となり、その反転入力である真の信号が論理積回路５１５の一方の端子に入力される。従って、論理積回路５１５により、遅延素子５１７の出力と論理積回路５０９との論理和である真が後段に伝わるため、スイッチ５１６の端子ａが選択されている場合、次のサイクルでの遅延素子５１７の出力は真となる。

また、論理積回路５１２の出力が真となる場合は、論理積回路５０９の出力は必ず偽となる。この場合、論理積回路５１５には、論理積回路５１２の反転入力である偽が入力されるため、論理和回路５１４の出力に関わらず、その出力は必ず偽となり、次のサイクルでの遅延素子５１７の出力は偽となる。

また、画素３０３のカウント値が入力されるタイミングで、スイッチ５１６のコントロール端子に、端子５０２から入力される信号ＥＸＴ＿ＰＩＸが１となると、入力５０１の画素３０３のカウント値のビット１２の値へ切り替わる。このため、次のサイクルでの遅延素子５１７の出力は、入力５０１のビット１２の値となる。

更に、第１の比較部５０８の比較結果が偽、即ち、信号間の差が小さい場合、論理積回路５０９と論理積回路５１２の出力は偽となり、論理積回路５１５には、論理積回路５１２の反転入力である偽が入力される。そのため、論理和回路５１４により、遅延素子５１７の出力が、論理積回路５１５の出力となり、１サイクル前の遅延素子５１７の出力が保持されることとなる。

このように、補正回路に入力される１３ビットのカウント値に対し、条件に応じてビット１２に１、または０を設定することにより、１２ビットの画素から１３ビットの信号を得ることが可能となる。

ここで、図７を用いて、第１〜第３の比較部５０８，５１０，５１１それぞれの閾値TH_3、TH_1、TH_2と、検出回路５０５における検出結果について説明する。図７において、横軸が入射光量、縦軸が撮像素子２０６の出力（カウント値）を示している。

図７に示すように、遅延カウント値がＣ１、現カウント値がＣ２であって、第１の比較部５０８の閾値TH_3が図に示す範囲を有する場合、絶対値化部５０６の出力は、閾値TH_3を超えているため、第１の比較部５０８の出力は真となる。このように、連続して入力するカウント値間の差が予め決められた閾値TH_3を超える場合、最大値ＣＭＡＸを超えた事を示す条件１を満たすものとする。

ここで、上記の様に判断する理由について簡単に説明する。撮像素子２０６がカラーの場合、同色の画素が離散的に存在するため、折り返しによる偽色が発生する事を防ぐ目的で光学的なローパスフィルタが撮像素子表面に張り付けられている。更に、光学的に隣接画素との間にクロストークが発生するなどのさまざまな要因により、隣接画素は一定の相関を持っているため、隣接画素の差が一定以上となる事はほぼ無い。

従って、光学的なローパスフィルタなどの特性を考慮して閾値TH_3を設定し、設定された閾値TH_3を超えた場合、最大値ＣＭＡＸを超えたと考えることができる。そのため、条件１として、隣接画素との差が閾値TH_3を超えることとしている。

また、遅延カウント値Ｃ１は、閾値TH_1を超えているため（条件２）、第２の比較部５１０の出力が真、論理積回路５０９の出力も真となり、更に、論理和回路５１４の出力も真となる。また、遅延カウント値Ｃ１は、閾値TH_2を超えているため第３の比較部５１１の出力は偽となり、論理積回路５１２の結果も偽となる。これにより、論理積回路５１５の出力は真となり、遅延素子５１７により１サイクル遅延されて、現カウント値のビット１２に１が設定される。ビット１２に１が設定されると、現カウント値Ｃ２はカウント値Ｃ３に変換されることになる。

ここで、閾値TH_1及び閾値TH_2は、最大値ＣＭＡＸから所定量大きいか、または、小さい値を検出できるような値に設定される。なお、閾値TH_2に関しては、最大値ＣＭＡＸを超えると、カウント値を０に戻してカウントを継続するため、ビット１２が０である値を実際の比較に用いる閾値TH_2としている。

一方、遅延カウント値がＣ２、現カウント値がＣ１であった場合、絶対値化部５０６の出力は、閾値TH_3を超えているため、第１の比較部５０８の出力は真となる。また、カウント値Ｃ２は、閾値TH_2を下回っているため（条件３）、第３の比較部５１１の出力が真、論理積回路５１２の出力も真となり、その反転入力である偽が論理積回路５１５に出力される。これにより、論理和回路５１４の出力に関わらず、論理積回路５１５の出力は偽となり、遅延素子５１７により１サイクル遅延されて、現カウント値のビット１２に０が設定される。ビット１２に０が設定されると、現カウント値Ｃ１は変換されること無く、そのままの値で補正回路から出力される。

このように、ビット１２の値が補正回路５１３によって１または０に設定されると、次の検出回路５０５による信号値の大幅な変更の検出、または端子５０２からの信号ＥＸＴ＿ＰＩＸとして１が入力することが無い限り、設定された値を保持する。

上記のように図６の回路図で実現しているアルゴリズムを整理すると、
条件１：隣接画素との差の絶対値がTH_3より大きい。
条件２：遅延カウント値がTH_1より大きい。
条件３：遅延カウント値がTH_2より小さい。
条件４：画素３０３のカウント値が入力された。
として、
処理条件１：条件１及び条件２が満たされた場合には、ビット１２を１に設定
処理条件２：条件１及び条件３が満たされた場合には、ビット１２を０に設定
処理条件３：条件４が満たされた場合には、画素３０３のビット１２の値を設定
処理条件４：いずれも満たされない場合には、設定されているビット１２の値を保持
という動作となる。

図５（ｂ）は、上述した処理を行う補正回路を用いて、図５（ａ）に示す信号のカウント値の最大値ＣＭＡＸを超えた部分の信号を補正した状態の信号である。画素の範囲Ｐ１〜Ｐ２、Ｐ３〜Ｐ４が最大値ＣＭＡＸよりも上に持ち上がっていることが分かる。

次に、図８のタイミングチャートを参照して、図６に示す補正回路における各部の信号について具体的に説明する。

図８において、ＣＹＣＬＥは、サイクル数を示している。ＩＮＵＰＵＴは、入力端子５０１から入力される信号、ＥＸＴ＿ＰＩＸは入力端子５０２から入力される信号、ＦＦ＿ＯＵＴは遅延素子５０４の出力、ＤＩＦＦＡＢＳは絶対値化部５０６の出力である。また、ＳＥＴは論理積回路５０９の出力、ＣＬＥＡＲは論理積回路５１２の出力、ＥＸＴＢＩＴは遅延素子５１７の出力、ＯＵＴＰＵＴは出力端子５０３の出力、ＣＬＫは遅延素子５０４，５１７及び上位回路ブロックと共有しているクロック信号である。

なお、初期値として、補正回路５１３の出力として０が出力されるように、遅延素子５１７には０を設定しておく。

１サイクル目は、オプティカルブラック領域の画素３０４の１１ビットの信号で、有効な情報としてはビット１０までで、ビット１１およびビット１２には必ず０が入っている。これより先にＩＮＰＵＴに入力された信号が無い場合、ＤＩＦＦＡＢＳは偽となり、ＳＥＴ及びＣＬＥＡＲの値はともに偽となる。また、初期値として遅延素子５１７に０が設定されているため、この値が保持され、その結果、２サイクル目のＯＵＴＰＵＴは６５となる。

２サイクル目に画素３０３のカウント値である、ビット１２が１である値４１００がＩＮＰＵＴに入力すると、ＥＸＴ＿ＰＩＸが１なので条件４を満たし、次の３サイクル目のＥＸＴＢＩＴは１が出力される。これに従い、３サイクル目のＯＵＴＰＵＴの値は４１００となる。

３サイクル目でＩＮＰＵＴに入力されるのは１１０という小さい値だが、ＥＸＴ＿ＰＩＸは０なので、入力されたカウント値のビット１２ではなく、ＳＥＴ及びＣＬＥＡＲの値の値によりＥＸＴＢＩＴが変化する。隣接画素のＦＦ＿ＯＵＴの値４１００との差であるＤＩＦＦＡＢＳの値は４０３５で、閾値TH_3より大きく、ＦＦ＿ＯＵＴの値４１００が閾値TH_1及びTH_2より大きいため、ＳＥＴは１、ＣＬＥＡＲは０になる。これにより、次のサイクルのＥＸＴＢＩＴは１となる。その結果、４サイクル目のＯＵＴＰＵＴの値は、ビット１２が１の値である４２０６として出力される。

次の４サイクル目のＩＮＰＵＴは１２０という小さい値が入ってきているが、ＤＩＦＦＡＢＳが閾値TH_3を超えていないため、ＳＥＴ及びＣＬＥＡＲは共に０になる。これにより、次の５サイクル目のＥＸＴＢＩＴは４サイクル目の値を保持して１のままとなり、ＯＵＴＰＵＴの値は４２１６となる。

５サイクル目で、ＩＮＰＵＴに４０００という非常に大きな値が入力されると、ＤＩＦＦＡＢＳも３８８０と大きくなり、閾値TH_3を超える。一方、ＦＦ＿ＯＵＴは４サイクル目で入力した１２０で閾値TH_1及びTH_2より小さいため、ＳＥＴは０、ＣＬＥＡＲは１となる。これにより、論理和回路５１４の出力に関わらず、論理積回路５１５の出力が偽となって、次のサイクルのＥＸＴＢＩＴが０となる。その結果、６サイクル目のＯＵＴＰＵＴの値は、ビット１２が０の値である４０００となる。

以降、入力したＩＮＰＵＴ及びＥＸＴ＿ＰＩＸの値に応じた処理を繰り返す。

このように、遅延素子５０４のＦＦ＿ＯＵＴは、３〜６サイクル目にかけて４１００、１１０、１２０、４０００と急激な変化をしている。しかしながら、ＥＸＢＩＴを合成した補正結果のＯＵＴＰＵＴで見ると、４１００、４２０６、４２１６、４０００という、急激ではない振幅の変化に留まっている。

以上、一例として、１２ビット画素から１３ビットの信号を得る方法を説明したが、本発明はカウンタ１０４のビット数により制限されるものでは無く、１２ビットや１３ビット以外のビット数であっても構わない。

上記の通り第１の実施形態によれば、画素内のカウンタのビット数を超えた信号を得ることができる。

また、第１の実施形態では、１サイクル前に入力された信号との比較により、カウント値が最大値ＣＭＡＸを超えているかどうかを判断したが、本発明はこれに限られるものでは無い。例えば、上下に隣接する画素から得られるカウント値と比較したり、１フレーム前の対応する画素から得られるカウント値と比較するようにしても良く、その場合、画素３０３のような補正不要の画素を配置しない構成とすることも可能である。

また、カラーフィルタに覆われたカラー撮像素子の場合は、同色画素の相関が高いことから、参照画素として近傍の同色の画素を用いて検出してもよい。または、輝度に対して色相や彩度の空間周波数が低い事から、周囲の色（色の異なる画素との間の輝度比）と着目画素の色の違いを検出することで、カウント値が最大値ＣＭＡＸを超えてカウントし直された値であるかどうかを検出しても良い。

また、上述した例では、条件２および条件３として遅延カウント値を閾値と比較して判断しているが、現カウント値を閾値と比較してもよい。

更に、第１の実施形態の図３の遮光領域に隣接した画素３０３はビット数が多いが、フィルタの透過率を低く構成するか、ＡＰＤ１０１の光電変換の感度を低く構成して、最大値ＣＭＡＸに達成しにくくして、補正回路で係数を掛けて補正してもよい。

また、第１の実施形態における各画素のカウンタ１０４のトランジスタ部分は、全画素共通設計で配線層によりビット数の多い画素と少ない画素を構成してもよい。

また、上述した第１の実施形態では、撮像素子２０６として、ＳＰＡＤを用いたフォトカウンティングタイプの撮像素子について説明したが、これに限られるものでは無く、フォトカウンティングタイプの撮像素子であれば、本発明を適用可能である。例えば、ＣＭＯＳを用いたフォトカウンティングタイプの撮像素子に用いてもよい。

＜変形例１＞
上述した例では、１２ビットのカウント値から１３ビットのカウント値を得る場合について説明したが、１１ビットのカウント値から１３ビットのカウント値を得ることもできる。

図５（ｃ）は、カウンタ１０４から得られる１１ビットのカウント値、図５（ｄ）は、図５（ｃ）に示す１１ビットのカウント値から１３ビットの画素値を得る場合の映像信号とカウント値の最大値ＣＭＡＸとの関係を示す図である。図５（ｃ）に示す例では、画素位置Ｐ１１で最大値ＣＭＡＸを超えた後に、画素位置Ｐ１２，Ｐ１４で再び最大値ＣＭＡＸを超えている。画素の範囲Ｐ１１〜Ｐ１２で最大値ＣＭＡＸを超えて補正した部分が図５（ｄ）の画素の範囲Ｐ１１〜Ｐ１２で示すような波形となり、更に最大値ＣＭＡＸを超えた部分が、画素の範囲Ｐ１２〜Ｐ１３，Ｐ１４〜Ｐ１５となる。このように１１ビット画素から１３ビット信号を得る場合は、最大値ＣＭＡＸを２回超えることがあるが、第１の実施形態と同様の考え方で補正することが可能である。

＜変形例２＞
図９は画素配置の例を示している。図９（ａ）はカラーフィルタに覆われた撮像素子であり、緑色画素（第１の色の画素）に１３ビット、赤色と青色画素（第１の色以外の画素）に１２ビットが割り当てられている。青色は緑色に対して光量が少ない傾向にあるためビット数を少なくしている。仮に最大数ＣＭＡＸを超えても、第１の実施形態で上述した補正回路により補正可能である。

図９（ｂ）は、それぞれの色に対して１３ビット画素と１２ビット画素を配置している。同じ色の画素を参照して補正する場合に一定の間隔で１３ビット画素が入る構成である。

図９（ｃ）は、１つのマイクロレンズに対して２つの画素を配置した例を示している。このような画素とすることで瞳分離された像を得ることが可能となる。同じマイクロレンズを共有した画素として異なるビットを持った画素とすることができる。

＜第２の実施形態＞
次に、図１０を参照して、本発明の第２の実施形態における撮像信号処理について説明する。第２の実施形態では、コンピュータプログラムにより、カウント値が、カウント値の最大値ＣＭＡＸを超えてカウントし直された値であるかどうかの検出と、ビットの補正とを行う。なお、第２の実施形態においても、１２ビットのカウント値を１３ビットに補正する場合について説明する。なお、以下の説明において、閾値TH_1、TH_2、TH_3は、図７に示すものと同じとする。

Ｓ１０１で処理を開始すると、Ｓ１０２で着目画素のビット１２に有効な値が入っているかどうかを調べる。第１の実施形態では、端子５０２からＥＸＴ＿ＰＩＸ信号が入力されるが、第２の実施形態では、配列中の位置などで決まっている。ビット１２に有効な値（１）が入っていればＳ１０３へ、そうでなければＳ１０４に進む。Ｓ１０３の処理は、上述した処理条件３に対応する。

Ｓ１０３では、着目画素のビット１２の値（１）を変数ＥＸＢＩＴとして記憶する。変数ＥＸＢＩＴは第１の実施形態の遅延素子５１７の出力に相当する変数で、最終出力に添付されるものである。

一方、Ｓ１０２でビット１２に有効な値が入っていない場合はＳ１０４に進み、隣接画素との差の絶対値を算出する。

そして、Ｓ１０５で差の絶対値が閾値TH_3よりも大きいかどうかを判別する。差の絶対値が閾値TH_3より大きい場合は条件１を満たしているのでＳ１０６へ進み、次の条件を満たしているかどうかを調べる。差の絶対値が閾値TH_3より小さい場合はＳ１１０に進む。この処理は、上述した処理条件４に対応する。

Ｓ１０６では、隣接画素が閾値TH_1よりも大きいかどうかを調べる。隣接画素がTH_1よりも大きい場合は条件２を満たしたことになるのでＳ１０７へ進み、ＥＸＢＩＴに１を代入する。この処理は、上述した処理条件１に対応する。

隣接画素が閾値TH_1よりも小さい場合は引き続きＳ１０８で次の条件を調べる。Ｓ１０８では隣接画素が閾値TH_2よりも小さいかどうかを調べる。隣接画素が閾値TH_2よりも小さい場合は条件３を満たすのでＳ１０９へ進み、ＥＸＢＩＴに０を代入する。この処理は、上述した処理条件２に対応する。隣接画素が閾値TH_2よりも小さくない場合は、そのままＳ１１０へ進む。この処理は、上述した処理条件４に対応する。

上記の処理により、Ｓ１０３、Ｓ１０５、Ｓ１０７、Ｓ１０８、Ｓ１０９のいずれかの後に、Ｓ１１０へ進む。Ｓ１１０では、変数ＥＸＢＩＴの値を着目画素のビット１２に代入する。

そして、Ｓ１１１において、全ての画素について処理を終えたかどうかを判断し、終えていなければ着目画素の位置を移動しながら、各行毎に、前画素に対して図１０のフローチャートを実施する。なお、図１０のフローチャートで参照している隣接画素は補正前の画素なので、処理済みの画素は別のメモリなどに格納される事を想定している。

上記の通り第２の実施形態によれば、コンピュータプログラムによる処理により、第１の実施形態と同様の効果を得ることができる。

なお、上記処理は、撮像信号処理回路２０７で行っても良いし、全体制御演算部２１０により行ってもよい。また、撮像装置から、カウント値を補正せずに出力し、外部の情報処理装置がこのカウント値を入力して行ってもよい。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：アバランシェフォトダイオード、１０３：コンパレータ、１０４：カウンタ、２０６：差有象素子、２０７：撮像信号処理回路、２１０：全体制御演算部、２１４：外部インターフェース部、５０５：検出回路、５１３：補正部

Claims (20)

1. 複数の画素を有し、前記複数の画素がそれぞれ、光子の入射に応じてパルス信号を出力するセンサ手段と、前記パルス信号の数をカウントするカウント手段と、を有する撮像素子から、前記複数の画素のカウント値を順次入力し、入力したカウント値を補正する補正手段を有し、
   前記カウント手段は、カウント値が最大値に達した場合に、カウント値を０に戻してカウントを継続し、
   前記補正手段は、前記入力したカウント値が、カウント値を０に戻してカウントを継続して得られたカウント値である場合に、当該カウント値を補正することを特徴とする情報処理装置。
2. 前記補正手段は、前記複数の画素から順次入力したカウント値を補正するか否かを、隣接する画素のカウント値に基づいて判断することを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、前記複数の画素から順次入力する第１のカウント値と、前記第１のカウント値を出力した画素に隣接する画素から出力された第２のカウント値が、予め決められた第１の条件を満たしてから、予め決められた第２の条件を満たすまでの間、前記第１のカウント値に前記最大値を加えることを特徴とする請求項１に記載の情報処理装置。
4. 前記カウント手段は、複数のビット数のバイナリカウンタであって、
   前記補正手段は、前記第１のカウント値と、前記第２のカウント値が、前記第１の条件を満たしてから、前記第２の条件を満たすまでの間、前記第１のカウント値に最上位ビットとして１を付加することを特徴とする請求項３に記載の情報処理装置。
5. 前記補正手段は、前記第１の条件を満たしてから前記第２の条件を満たすまでの間を除いて、前記第１のカウント値に最上位ビットとして０を付加することを特徴とする請求項３または４に記載の情報処理装置。
6. 前記カウント手段は、複数のビット数のバイナリカウンタであって、
   前記複数の画素は、第１のビット数のカウント値を出力する前記カウント手段を有する画素と、前記第１のビット数よりも多い第２のビット数のカウント値を出力する前記カウント手段を有する画素とを含み、
   前記第２のビット数のカウント値が入力された場合、前記補正手段は、当該カウント値を補正しないことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１の条件は、前記第１のカウント値と前記第２のカウント値との差が予め決められた第１の閾値より大きく、且つ、前記第２のカウント値が予め決められた第２の閾値より大きいことを特徴とする請求項３乃至６のいずれか１項に記載の情報処理装置。
8. 前記第２の条件は、前記第１のカウント値と前記第２のカウント値との差が前記第１の閾値より大きく、且つ、前記第２のカウント値が、前記第２の閾値より小さい予め決められた第３の閾値より小さいことを特徴とする請求項３乃至７のいずれか１項に記載の情報処理装置。
9. 前記複数の画素は、複数の色のカラーフィルタによってそれぞれ覆われ、前記隣接する画素は、近傍の同色の画素であることを特徴とする請求項２に記載の情報処理装置。
10. 前記複数の画素は、複数の色のカラーフィルタによってそれぞれ覆われ、
    前記補正手段は、隣接する異なる色の画素との輝度比に基づいて、前記入力したカウント値が、カウント値を０に戻してカウントを継続して得られたカウント値であるかどうかを判断することを特徴とする請求項１に記載の情報処理装置。
11. 前記センサ手段は、アバランシェフォトダイオードを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 複数の画素を有し、前記複数の画素がそれぞれ、
    光子の入射に応じてパルス信号を出力するセンサ手段と、
    前記パルス信号の数をカウントするカウント手段と、を有し、
    前記カウント手段は、カウント値が最大値に達した場合に、カウント値を０に戻してカウントを継続することを特徴とする撮像素子。
13. 前記カウント手段は、複数のビット数のバイナリカウンタであって、
    前記複数の画素は、複数の色のカラーフィルタによってそれぞれ覆われ、前記複数の色の内、第１の色のカラーフィルタに対応する画素の前記カウント手段は、前記第１の色以外のカラーフィルタに対応する画素の前記カウント手段よりも、ビット数の多いカウント値を出力することを特徴とする請求項１２に記載の撮像素子。
14. 前記カウント手段は、複数のビット数のバイナリカウンタであって、
    前記複数の画素は、複数の色のカラーフィルタによってそれぞれ覆われ、前記複数の色それぞれについて、予め決められた数の画素ごとに、他の画素よりもビット数の多いカウント値を出力する前記カウント手段を有することを特徴とする請求項１２に記載の撮像素子。
15. 複数のマイクロレンズを更に有し、
    前記複数のマイクロレンズそれぞれに対し、２つの前記画素を配置したことを特徴とする請求項１２に記載の撮像素子。
16. 前記センサ手段は、アバランシェフォトダイオードを含むことを特徴とする請求項１２乃至１５のいずれか１項に記載の撮像素子。
17. 請求項１２乃至１６のいずれか１項に記載の撮像素子と、
    請求項１乃至１１のいずれか１項に記載の情報処理装置と
    を有することを特徴とする撮像装置。
18. 複数の画素を有し、前記複数の画素がそれぞれ、光子の入射に応じてパルス信号を出力するセンサ手段と、前記パルス信号の数をカウントするカウント手段と、を有する撮像素子から、入力手段が、前記複数の画素のカウント値を順次入力する入力工程と、
    補正手段が、前記入力したカウント値を補正する補正工程と、を有し、
    前記カウント手段は、カウント値が最大値に達した場合に、カウント値を０に戻してカウントを継続し、
    前記補正工程では、前記入力したカウント値が、カウント値を０に戻してカウントを継続して得られたカウント値である場合に、当該カウント値を補正することを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
20. 請求項２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images