JP2018056711A - 撮像素子、撮像装置、及び撮像素子の信号処理方法 - Google Patents

Abstract

【課題】撮像素子内部のデジタル信号のビット幅を低減した撮像素子を提供する。
【解決手段】アナログ信号を出力する画素が複数配置された画素部と、ＡＤ変換部と、ビットシフト部とを有し、ＡＤ変換部は、第１のアナログ信号を第１の分解能でＡＤ変換処理して第１のデジタル信号を出力するとともに、第２のアナログ信号の信号レベルが基準信号より小さい場合には第２のアナログ信号を第１の分解能でＡＤ変換処理して第２のデジタル信号を出力し、第２のアナログ信号の信号レベルが基準信号より大きい場合には第２のアナログ信号を第１の分解能より低い第２の分解能でＡＤ変換処理して第２のデジタル信号を出力し、ビットシフト部は、第１のデジタル信号を第２の分解能に合わせてビットシフトすることでデジタルゲイン処理を行う。
【選択図】図３

Description

本発明は、撮像素子、撮像装置、及び撮像素子の信号処理方法に関する。

光電変換部を有する複数の画素が行列状に配置された撮像素子において、画素が出力する画素信号を、撮像素子の内部のアナログ−デジタル変換（以下、ＡＤ変換）器によってデジタル信号に変換して出力する撮像素子がある。例えば、特許文献１には、単位時間当たりの電位の変化量が互いに異なる複数のランプ信号を用いたＡＤ変換部を有する撮像素子が開示されている。

特許文献１に記載の撮像素子は、画素信号の振幅がＳＮ比（信号／ノイズ比）を考慮して設定された基準信号より大きいか小さいかを判定し、その判定結果に応じて画素信号を比較するランプ信号を選択して比較処理を行う。具体的には、画素信号の振幅が基準信号より大きい大振幅信号のＡＤ変換処理では、ＡＤ変換部の選択回路が、単位時間当たりの電位の変化量が大きいランプ信号を選択する。また、画素信号の振幅が基準信号より小さい小振幅信号のＡＤ変換処理では、ＡＤ変換部の選択回路が、単位時間当たりの電位の変化量が小さいランプ信号を選択する。このようにすることで、大振幅信号の場合であっても、ランプ信号との大小関係が反転するまでの時間が短縮される。したがって、特許文献１に記載の撮像素子は、小振幅信号に対してはＡＤ変換処理を高分解能で行い、ノイズを多く含む大振幅信号に対しては、ＡＤ変換処理を低分解能にする代わりに短時間で処理することができる。

特開２０１３−９０８７号公報

前述した特許文献１に記載の撮像素子は、ＡＤ変換処理時間を短縮しながら、高分解能の画素信号のデジタル信号を取得することができる。しかしながら、特許文献１に記載の撮像素子は、撮像素子の内部で扱うデジタル信号のビット幅の低減、ひいては撮像素子の外部に出力する伝送データ量の低減について改善の余地があった。本発明の目的は、撮像素子内部のデジタル信号のビット幅を低減した撮像素子を提供することである。

本発明に係る撮像素子は、第１のアナログ信号及び第２のアナログ信号を出力する画素が複数配置された画素部と、前記第１のアナログ信号を第１の分解能でアナログ−デジタル変換処理して第１のデジタル信号を出力するとともに、前記第２のアナログ信号の信号レベルが所定のレベルより小さい場合には前記第２のアナログ信号を前記第１の分解能でアナログ−デジタル変換処理して第２のデジタル信号を出力し、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きい場合には前記第２のアナログ信号を前記第１の分解能より低い第２の分解能でアナログ−デジタル変換処理して前記第２のデジタル信号を出力するアナログ−デジタル変換部と、前記第１のデジタル信号を、前記第２の分解能に合わせてビットシフトすることでデジタルゲイン処理を行うビットシフト部とを有する。

本発明によれば、第２の分解能に合わせてデジタルゲイン処理した第１のデジタル信号を得ることが可能となり、撮像素子内部のデジタル信号のビット幅を低減した撮像素子を提供することができる。

第１の実施形態における撮像素子の構成例を示す図である。 第１の実施形態におけるＡＤ変換部の駆動タイミングを示す図である。 第１の実施形態における列メモリ及びデジタルフロントエンド部の構成例を示す図である。 第１の実施形態におけるデジタルフロントエンド部でのデジタルデータの構造及びビットシフト動作を説明する図である。 第１の実施形態におけるデジタルデータ伸張部の構成例を示す図である。 第１の実施形態におけるデジタルデータ伸張部でのデジタルデータの構造及びビットシフト動作を説明する図である。 第１の実施形態における撮像装置の構成例を示す図である。 第２の実施形態における列メモリ及びデジタルフロントエンド部の構成例を示す図である。 第２の実施形態における信号補正方法を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における撮像素子１００の構成例を示す模式図である。本実施形態における撮像素子１００は、受光した被写体像を光電変換し、得られたアナログ信号Ｖａをデジタル信号に変換して出力する。撮像素子１００は、画素部１１０、垂直走査部１２０、アナログ−デジタル変換部（ＡＤ変換部）１３０、列メモリ１４０、水平走査部１５０、デジタルフロントエンド部（ＤＦＥ）１６０、及びタイミング生成部（ＴＧ）１７０を有する。

画素部１１０は、画素１１１、行制御線（水平制御線）１１２、及び列信号線（垂直信号線）１１３を有し、受光量に応じた画素のアナログ信号をＡＤ変換部１３０に行毎に順次伝達する。画素１１１は、画素部１１０に行列状に複数配置されている。各画素１１１は、不図示の光学系から受光した光を信号電荷に変換して蓄積する光電変換部を有する。

行制御線１１２は、行毎の複数の画素１１１に接続された信号線であり、垂直走査部１２０から出力される複数の駆動信号を画素１１１に伝達する。列信号線１１３は、列毎の複数の画素１１１と接続して、垂直走査部１２０によって選択された行の画素１１１からのアナログ信号ＶａをＡＤ変換部に１３０に伝達する。垂直走査部１２０は、行制御線１１２を介して行毎の複数の画素１１１に、信号電荷転送パルス、リセットパルス、行選択パルス等の駆動信号を出力する。

ＡＤ変換部１３０は、画素１１１のアナログ信号Ｖａをアナログ−デジタル変換処理し、生成したデジタル信号を列メモリ１４０に出力する。ＡＤ変換部１３０は、ランプ信号生成部１３１、選択部１３２、比較部１３３、及びカウンタ１３４を有する。選択部１３２、比較部１３３、及びカウンタ１３４は、画素部１１０における画素１１１の列に対応して列毎に配置されている。

ランプ信号生成部１３１は、画素１１１のアナログ信号Ｖａとの比較信号として、時間に対して一定の変化率で電位が変化するランプ信号を複数パターン生成する。また、ランプ信号生成部１３１は、画素１１１の信号電荷転送後のアナログ信号Ｖａのレベルを判定するための所定のレベルの基準信号を生成する。本実施形態では、ランプ信号生成部１３１は、ランプ信号ＶＲ、ＶＬ、ＶＨを生成するとともに、基準信号ＶＲＥＦを生成する。

選択部１３２は、ＡＤ変換処理における画素１１１のアナログ信号Ｖａとの比較処理時には、ランプ信号生成部１３１が生成する複数パターンのランプ信号のうち１つのランプ信号を選択して比較部１３３に出力する。詳細は後述するが、選択部１３２は、比較部１３３からの選択信号ＳＥＬ及びＴＧ１７０からのタイミング信号に応じてランプ信号を選択する。また、選択部１３２は、画素１１１の信号電荷転送後のアナログ信号Ｖａのレベル判定時には、ランプ信号生成部１３１が生成する基準信号ＶＲＥＦを選択して比較部１３３に出力する。

比較部１３３は、画素１１１のアナログ信号Ｖａと、選択部１３２が選択したランプ信号とを比較して、比較結果をカウンタ１３４に出力する。また、比較部１３３は、画素１１１のアナログ信号Ｖａと選択部１３２が選択した基準信号とを比較して、比較結果を選択信号ＳＥＬとして出力する。カウンタ１３４は、ランプ信号の立ち上がりから、比較結果の信号が反転するまでのカウンタクロックを計数し、その計数結果をＡＤ変換出力として列メモリ１４０に出力する。

列メモリ１４０は、カウンタ１３４のＡＤ変換出力を保持する。各列の列メモリ１４０に保持されたデータは、水平走査部１５０による走査に従って、デジタル信号処理を担うＤＦＥ１６０へ順次出力される。水平走査部１５０は、各列の列メモリ１４０に、列選択パルス信号を順次出力し、列メモリ１４０のデータをＤＦＥ１６０へ順次出力する。ＤＦＥ１６０は、デジタル信号処理機能を有しており、列メモリ１４０から受け取ったデジタルデータを出力データ形式に変換して撮像素子の外部に出力する。ＴＧ１７０は、撮像素子１００の各回路ブロックの動作タイミングを制御する。

図２は、本実施形態における撮像素子１００の駆動タイミングを示す図であり、特に図１のＡＤ変換部１３０の駆動タイミングを示している。以下、図１と図２を参照し、本実施形態における撮像素子１００でのＡＤ変換動作を説明する。図２において、期間Ｔａｄは、画素１１１から読み出されたアナログ信号ＶａのＡＤ変換期間であり、期間Ｔｄａｔａは、各列の列メモリ１４０に保持されたＡＤ変換データをＤＦＥ１６０へ順次出力する水平転送期間である。

不図示の信号電荷転送パルスが、期間Ｔｄの終了後から期間Ｔｊの開始前までの間に駆動されると、画素１１１から出力されるアナログ信号Ｖａは、例えば図２のような変化を示す。そして、アナログ信号Ｖａは、列信号線１１３を介して比較部１３３の一方の入力端子へと導かれる。比較部１３３の他方の入力端子には、アナログ信号Ｖａの比較信号であるランプ信号ＶＲＡＭＰが入力される。以下の説明では、画素１１１の信号電荷転送前のリセットノイズ出力に基づくアナログ信号Ｖａを「Ｎ信号レベル」と呼び、画素１１１の信号電荷転送後の出力に基づくアナログ信号Ｖａを「Ｓ信号レベル」と呼ぶこととする。

期間Ｔａｄの中で、期間Ｔｄは、Ｎ信号レベルに対する１０ビットのＡＤ変換期間であり、そのための比較信号がランプ信号ＶＲである。また、期間Ｔｊは、Ｓ信号レベルの信号レベル判定期間であり、そのための比較信号が所定のレベルを有する基準信号ＶＲＥＦである。また、期間Ｔｕは、Ｓ信号レベルに対する１２ビットのＡＤ変換期間であり、そのための比較信号がランプ信号ＶＨ（あるいはランプ信号ＶＬ）である。

ランプ信号生成部１３１は、ＴＧ１７０により制御されて、ランプ信号ＶＲ、ランプ信号ＶＬ、基準信号ＶＲＥＦ、及びランプ信号ＶＨを生成する。ランプ信号ＶＨは時間に対する電位の変化率（傾き）が大きい上位ビット用のランプ信号であり、ランプ信号ＶＬは時間に対する電位の変化率（傾き）が小さい下位ビット用のランプ信号である。本実施形態において、ランプ信号ＶＨは、ランプ信号ＶＬの４倍の傾きである。また、基準信号ＶＲＥＦは、Ｓ信号レベルを判定するための比較信号である。ランプ信号ＶＲは、Ｎ信号レベルと比較するランプ信号であり、ランプ信号ＶＬと同じ傾きである。これら４種のランプ信号は、ＴＧ１７０による制御によって選択部１３２が選択し、比較部１３３へ入力される。

比較部１３３は、Ｎ信号レベルのＡＤ変換期間Ｔｄで、Ｎ信号レベルとランプ信号ＶＲとを比較する。期間Ｔｒは、ランプ信号ＶＲが変化を開始してからＮ信号レベルとの大小関係が逆転するまでの期間である。列メモリ１４０は、カウンタ１３４が期間Ｔｒにカウントしたカウンタクロックの計数値を、Ｎ信号レベルのＡＤ変換データ（１０ビット）として保持する。以下の説明では、Ｎ信号レベルをＡＤ変換して得られたデジタルデータを「Ｎ信号データ」と呼ぶこととする。

次に、比較部１３３は、信号レベル判定期間Ｔｊで、Ｓ信号レベルと基準信号ＶＲＥＦの信号レベルを比較する。図２に示した例では、信号レベル判定期間Ｔｊに、比較部１３３は、Ｓ信号レベルが基準信号ＶＲＥＦより大きいという比較結果を表すハイレベルの選択信号ＳＥＬを選択部１３２に出力する。その結果、選択部１３２は、Ｓ信号レベルのＡＤ変換期間Ｔｕに、傾きが大きいランプ信号ＶＨを選択し、比較部１３３へ出力する。また、列メモリ１４０は、信号レベル判定期間Ｔｊにおいて比較部１３３が出力する選択信号ＳＥＬのハイレベルを１として（あるいはローレベルを０として）、信号レベル判定値（１ビット）として保持する。

さらに、比較部１３３は、Ｓ信号レベルとランプ信号ＶＨとを比較し、両者の大小関係が逆転するまでの期間Ｔｓにカウンタ１３４はカウント動作を行う。列メモリ１４０は、カウンタ１３４が期間Ｔｓにカウントしたカウンタクロックの計数値を、Ｓ信号レベルのＡＤ変換データ（１２ビット）として保持する。ここで、信号レベル判定期間Ｔｊに比較部１３３の出力が逆転しなければ、Ｓ信号レベルが基準信号ＶＲＥＦより小さいという比較結果を表すローレベルの選択信号ＳＥＬが出力され、選択部１３２は、ランプ信号として傾きが小さいランプ信号ＶＬを選択する。その場合、比較部１３３は、Ｓ信号レベルとランプ信号ＶＬとを比較する。以下の説明では、Ｓ信号レベルをＡＤ変換して得られたデジタルデータを「Ｓ信号データ」と呼ぶこととする。

すなわち、選択部１３２は、画素１１１のＳ信号レベルに応じて、ランプ信号の傾きを設定する。比較部１３３は、選択部１３２により選択されたランプ信号とＳ信号レベルとを比較する。カウンタ１３４は、ランプ信号の変化の開始から、比較部１３３がＳ信号レベルとランプ信号との大小関係が逆転したことを示す信号を出力するまでカウントする。

以上が、本実施形態における撮像素子１００でのＡＤ変換動作であるが、このようにして得られたＡＤ変換データの扱いについて説明する。本実施形態においては、前述したように、ランプ信号ＶＨはランプ信号ＶＬの４倍の傾きであり、ランプ信号ＶＲの傾きはランプ信号ＶＬの傾きと同じである。したがって、ランプ信号ＶＨとの比較によって得られるＳ信号データは、ＡＤ変換の分解能をランプ信号ＶＬと同じにするために、デジタルゲイン処理を施して４倍にする必要がある。例えば、ランプ信号ＶＨとの比較によって得られた１２ビットのＳ信号データを４倍するには、ビット幅を２ビット拡張して１４ビットとし、各ビットを上位側の方向に２ビットシフト（Ｌｏｇ₂４＝２であるため）する方法がある。

しかしながら、本実施形態においては、ランプ信号ＶＨとの比較によって得られるＳ信号データをデジタルゲイン処理で４倍しない。これは、撮像素子の内部でＳ信号データのビット幅を１２ビットから１４ビットに増やすと、後段の回路規模の増大によって限られた撮像素子面積を圧迫することになるからである。さらには、撮像素子から外部に出力するデジタル信号の１画素あたりのビット数が増加することによって、出力信号の伝送データ量が増えるからである。

そこで本実施形態では、Ｓ信号レベルのＡＤ変換時にランプ信号ＶＨが選択された場合、同じ画素のＮ信号データをＳ信号データのＡＤ変換の分解能と同じにするために、デジタルゲイン処理を施して１／４倍（各ビットを下位側の方向に２ビットシフト）する。次に、Ｓ信号データから１／４倍されたＮ信号データを減算処理することによって（Ｓ−Ｎ）信号データを得る。そして、撮像素子１００は、１２ビットの（Ｓ−Ｎ）信号データに、１ビットの信号レベル判定値を付加した１３ビットの信号を撮像素子１００の外部に出力する。

図３は、第１の実施形態における列メモリ１４０及びＤＦＥ１６０の構成例を示すブロック図である。また、図４は、列メモリ１４０からＤＦＥ１６０におけるデジタルデータの構造とビットシフト動作を示す概念図である。図４において、Ｄｊ、Ｄｎ１、Ｄｎ２、Ｄｓ、Ｄｏｕｔは、それぞれ図３に示した回路図上の記号に対応するデジタルデータの構造を表しており、図４における縦方向はビット幅（ビット数）に対応する。また、図４（ａ）は、信号レベル判定値Ｄｊが１（ハイレベル）で、Ｓ信号レベルのＡＤ変換処理に傾きが大きいランプ信号ＶＨが用いられた場合を示した図である。図４（ｂ）は、信号レベル判定値Ｄｊが０（ローレベル）で、Ｓ信号レベルのＡＤ変換処理に傾きが小さいランプ信号ＶＬが用いられた場合を示した図である。

以下、図３及び図４を参照し、列メモリ１４０に保持された１画素分のデジタル信号を撮像素子１００の外部に出力するためのＤＦＥ１６０の動作について説明する。図３に示すように、各列の列メモリ１４０は、信号レベル判定値保持部１４１、Ｎ信号保持部１４２、及びＳ信号保持部１４３を有する。前述したＡＤ変換動作によって、図２に示した期間Ｔｄａｔａに、信号レベル判定値保持部１４１にはＳ信号レベルと基準信号ＶＲＥＦとの比較結果である信号レベル判定値Ｄｊが保持されている。また、Ｎ信号保持部１４２にはＮ信号データＤｎ１が保持されており、Ｓ信号保持部１４３にはＳ信号データＤｓが保持されている。

ＤＦＥ１６０は、ビットシフト部１６１、セレクタ１６２、及び減算部１６３を有する。ビットシフト部１６１は、列メモリ１４０のＮ信号保持部１４２からＮ信号データＤｎ１の入力を受けて、Ｎ信号データＤｎ１を下位側の方向へ２ビットシフトさせる。すなわち、ビットシフト部１６１は、Ｎ信号データＤｎ１をビットシフトすることでデジタルゲイン処理を施して１／４倍にし、セレクタ１６２へ出力する。

セレクタ１６２は、ビットシフト部１６１の出力データか、又は列メモリ１４０のＮ信号保持部１４２からのＮ信号データＤｎ１か、のいずれかを選択して、減算部１６３へ８ビットのデータＤｎ２を出力する。このとき、セレクタ１６２は信号レベル判定値保持部１４１に保持された信号レベル判定値Ｄｊに応じてデータを選択する。すなわち、セレクタ１６２は、信号レベル判定値Ｄｊが１（ハイレベル）であれば、Ｎ信号データＤｎ１を下位側に２ビットシフトしたビットシフト部１６１の出力信号を選択して出力する。また、セレクタ１６２は、信号レベル判定値Ｄｊが０（ローレベル）であれば、Ｎ信号保持部１４２からのＮ信号データＤｎ１を選択して、Ｎ信号データＤｎ１の下位側８ビットを出力する。

減算部１６３は、セレクタ１６２が出力した８ビットのデータＤｎ２と、列メモリ１４０のＳ信号保持部１４３からの１２ビットのＳ信号データＤｓとを減算処理する。減算部１６３は、１２ビットのＳ信号データＤｓから８ビットのデータＤｎ２を減ずる。すなわち、減算部１６３における減算処理によって、画素１１１の信号電荷に基づくデジタル信号からリセットノイズに基づくデジタル信号が除かれたデータである１２ビットの（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）が得られる。

ここで、減算部１６３に入力されるＳ信号データＤｓは、前述したＡＤ変換動作において、上位ビット用のランプ信号ＶＨが用いられたデータと、下位ビット用のランプ信号ＶＬが用いられたデータとのいずれも入力され得る。そのため、本実施形態においては、セレクタ１６２が、Ｎ信号データＤｎ１を下位側に２ビットシフトしたデータ又はＮ信号データＤｎ１そのもののいずれかを信号レベル判定値Ｄｊに応じて選択し減算部１６３に出力している。すなわち、Ｓ信号データとＮ信号データとの減算を正しく処理するために、Ｎ信号データＤｎ１を、Ｓ信号データＤｓのＡＤ変換処理の分解能に合わせるように補正している。

そして、図３に示すように、ＤＦＥ１６０の出力信号Ｄｏｕｔは、減算部１６３から出力された１２ビットの出力データ（Ｄｓ−Ｄｎ２）の上位ビット側に、信号レベル判定値Ｄｊを付加することで１３ビットのデータとなる。以上が、列メモリ１４０に保持された１画素分のデジタル信号を撮像素子１００の外部に出力するためのＤＦＥ１６０の動作である。ＤＦＥ１６０は、さらに水平走査部１５０と垂直走査部１２０によって順次走査された画素の１３ビットの出力信号Ｄｏｕｔを、撮像素子１００から順次出力して１フレーム分の画像データ出力を行う。

以上説明したように、本実施形態における撮像素子１００は、Ｓ信号レベルのＡＤ変換時に傾きが大きいランプ信号ＶＨが選択された場合、対応するＮ信号データＤｎ１にデジタルゲイン処理を施して１／４倍した信号Ｄｎ２を得る。次に、Ｓ信号データＤｓからデータＤｎ２を減算処理することによって（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）を得る。そして、撮像素子１００から外部の素子へ出力する信号Ｄｏｕｔは、１２ビットの（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）に、１ビットの信号レベル判定値Ｄｊを付加して１３ビットの信号となる。

したがって、本実施形態における撮像素子１００は、内部で扱う信号ビット幅が最大１３ビットとなるので、回路規模の増大を抑制でき、さらには１画素あたりの出力信号の伝送データ量を低減できる。その結果、撮像素子１００が、シリアル通信接続によって外部の素子へ出力信号Ｄｏｕｔを伝送する場合、伝送データ量の低減によって伝送時間を短縮することができる。また、撮像素子１００が、パラレル通信接続によって外部の素子へ出力信号Ｄｏｕｔを伝送する場合、出力信号線の本数を削減することができる。

また、本実施形態では、Ｓ信号データＤｓのビット幅を２ビット増やすことをしない代わりに、（Ｓ−Ｎ）信号データの１２ビットに信号レベル判定値Ｄｊの１ビットを付加している。したがって、前述した効果を得るためには、ランプ信号ＶＨと比較するＡＤ変換の分解能は、ランプ信号ＶＬと比較するＡＤ変換の分解能の略４分の１倍以下（例えば４分の１倍、８分の１倍など）であれば良い。さらに言うと、ランプ信号ＶＨの傾きは、ランプ信号ＶＬの傾きの４倍以上（例えば４倍、８倍など）であれば良い。例えば、ランプ信号ＶＨと比較するＡＤ変換の分解能をランプ信号ＶＬと比較するＡＤ変換の分解能の略２^N分の１倍（Ｎは２以上の整数）とすると、ランプ信号ＶＨが選択された場合、Ｎ信号データＤｎ１を下位側にＮビットシフトしデータＤｎ２を得ればよい。

次に、図５と図６を参照し、本実施形態における撮像素子１００の出力データＤｏｕｔを、撮像素子１００の外部で伸張処理する方法の一例を説明する。図５は、第１の実施形態における撮像素子１００の外部に備えられるデジタルデータ伸張部５００の構成例を示すブロック図である。デジタルデータ伸張部５００は、撮像素子１００と共に後述する撮像装置の中に備えられるが、撮像装置全体の構成は後述する。

また、図６は、デジタルデータ伸張部５００におけるデジタルデータの構造とビットシフト動作を示す概念図である。図６において、Ｄｉｎ、Ｄｅｘは、それぞれ図５に示した回路図上の記号に対応するデジタルデータの構造を表しており、図６における縦方向はデータの長さ（ビット数）に対応する。また、図６（ａ）は、信号レベル判定値Ｄｊが１（ハイレベル）で、Ｓ信号レベルのＡＤ変換処理に傾きが大きいランプ信号ＶＨが用いられた場合を示した図である。図６（ｂ）は、信号レベル判定値Ｄｊが０（ローレベル）で、Ｓ信号レベルのＡＤ変換処理に傾きが小さいランプ信号ＶＬが用いられた場合を示した図である。

図５に示すように、デジタルデータ伸張部５００は、ビットシフト部５０１、ダミーデータ付加部５０２、及びセレクタ５０３を有する。図５において、１３ビットのデータＤｉｎは、１画素分の画素値情報を含む撮像素子１００の出力信号Ｄｏｕｔを受信した信号であり、データ構成は出力信号Ｄｏｕｔと同じである。すなわち、最上位の１ビットは、信号レベル判定値Ｄｊのデータであり、下位側のその他の１２ビットは（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）である。デジタルデータ伸張部５００では、入力された１３ビットのデータＤｉｎは、最上位の１ビットがセレクタ５０３に入力され、その他の１２ビットがビットシフト部５０１及びダミーデータ付加部５０２に入力される。

ビットシフト部５０１は、１２ビットの（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）を、上位ビットの方向へ２ビットシフトさせる。但し、ビットシフト部５０１は、図６（ａ）に示すようにビット幅を１４ビットに拡張した上で上位側に２ビットシフトさせ、最下位の２ビットにダミーデータＤｍｄａとして“００”を付加する。すなわち、ビットシフト部５０１は、（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）をデジタルゲイン処理で４倍させて、セレクタ５０３に１４ビットのデータを出力する。

ダミーデータ付加部５０２は、１２ビットの（Ｓ−Ｎ）信号データ（Ｄｓ−Ｄｎ２）のビット幅を上位ビット側に２ビット拡張する。そして、ダミーデータ付加部５０２は、図６（ｂ）に示すように、拡張した最上位の２ビットにダミーデータＤｍｄｂとして“００”を付加する処理を行い、セレクタ５０３に１４ビットのデータを出力する。

セレクタ５０３は、信号レベル判定値Ｄｊに相当する１ビットのデータに応じて、２つの入力信号のうち１つを選択して、１４ビットのデータＤｅｘとして出力する。セレクタ５０３は、信号レベル判定値Ｄｊが１（ハイレベル）であれば、ビットシフト部５０１の出力信号を選択して出力し、信号レベル判定値Ｄｊが０（ローレベル）であれば、ダミーデータ付加部５０２の出力信号を選択して出力する。以上が、撮像素子１００の出力データＤｏｕｔを、撮像素子１００の外部で伸張する方法の一例についての説明である。

最後に、図７を参照して、前述した撮像素子１００及びデジタルデータ伸張部５００を有する撮像装置７００の構成について説明する。図７は、第１の実施形態における撮像装置全体の構成例を示すブロック図である。光学系７１０は、フォーカスレンズ、ズームレンズ、及び絞りなどを有する。撮像素子１００は、光学系７１０で結像された被写体像を光電変換し、得られたアナログ信号をデジタル信号に変換して出力する。

画像処理部７２０は、撮像素子１００からのデジタルデータ出力を受けて、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像処理部７２０は、図５に示したデジタルデータ伸張部５００を有する。記憶部７３０は、画像処理部７２０の演算処理用メモリであり、連続撮影等においてはバッファーメモリとしても使用される。全体制御・演算部７４０は、撮像装置７００全体を統括的に制御し、周知のＣＰＵなどを内蔵する。また、全体制御・演算部７４０は、画像処理部７２０で処理された後の画像信号を記録部７７０や表示部７６０に出力する。

操作部７５０は、釦、スイッチ、電子ダイヤル等の操作部材からの入力を電気的に受け付けるものである。表示部７６０は、全体制御・演算部７４０から受けた画像信号を表示する。記録部７７０は、メモリカードやハードディスクなどの記録媒体であり、画像信号等を記録する。光学系駆動部７８０は、光学系７１０のフォーカスレンズ位置や絞りを制御する。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。以下では、第２の実施形態において、前述した第１の実施形態と異なる点についてのみ説明する。図８は、第２の実施形態における列メモリ１４０及びＤＦＥ１６０の構成例を示すブロック図である。図８において、図３に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。図８に示すように、第２の実施形態におけるＤＦＥ１６０は、ビットシフト部１６１、セレクタ１６２、及び減算部１６３に加え、信号補正部１６４及びセレクタ１６５を有する。

信号補正部１６４は、複数のランプ信号の時間に依存した電位変化の開始タイミングの差に起因する、デジタル信号に含まれるオフセットを補正する機能を有する。また、信号補正部１６４は、複数のランプ信号間の単位時間当たりの電位の変化量の比がばらつくことによって生じるデジタル信号の誤差を補正する機能を有する。

第１の実施形態において説明したように、撮像素子１００は、撮像素子１００の外部でデジタルデータ伸張部５００が信号レベル判定値Ｄｊに応じてデジタルゲイン処理を施してデータを４倍する。これにより、１フレームのすべての画素値がほぼ同じＡＤ変換の比率となる画像データが得られる。しかしながら、ランプ信号ＶＨの時間に対する電位の変化率は、必ずしもランプ信号ＶＬの４倍とはならないことがあり、実際には誤差を含み得る。また、ランプ信号における電位変化の開始タイミングは、ランプ信号ＶＨの場合とランプ信号ＶＬの場合とで必ずしも一致せず、やはり誤差を含み得る。ランプ信号ＶＬを基準にした理想的なランプ信号ＶＨ（ＶＨＡ）と実際のランプ信号ＶＨ（ＶＨＢ）との誤差は、画素１１１の光電変換部への入射光量変化に対するデジタル信号出力の線形性を悪化させる原因であるため、補正処理することが好ましい。

図９を参照して、信号補正部１６４の補正処理について説明する。図９は、Ｓ信号レベルのＡＤ変換期間Ｔｕにおける、ランプ信号ＶＬから導かれる理想的なランプ信号ＶＨ（ＶＨＡ）と、実際のランプ信号ＶＨ（ＶＨＢ）の電位変化の様子を示している。理想的なランプ信号ＶＨＡの傾きはランプ信号ＶＬの４倍の傾きであり、また理想的なランプ信号ＶＨＡの電位変化の開始タイミングはランプ信号ＶＬと各列で一致する。一方、実際のランプ信号ＶＨＢは、ランプ信号ＶＬの電位変化の開始時刻から期間Ｔｄｅｌａｙの時間分遅延して電位変化を開始するものとする。また、実際のランプ信号ＶＨＢでは、理想的なランプ信号ＶＨＡの傾き（ランプ信号ＶＬの４倍）よりも傾きが小さいものとする。

ここで、比較部１３３の一方の入力端子にアナログ信号Ｖａ０又はアナログ信号Ｖａ１を与えて、他方の入力端子に実際のランプ信号ＶＨＢ又はランプ信号ＶＬを比較信号として与えて、各々ＡＤ変換した場合を考える。図９において、アナログ信号Ｖａ０と実際のランプ信号ＶＨＢとの比較によって得られたＡＤ変換データがＤａであり、アナログ信号Ｖａ０とランプ信号ＶＬとの比較によって得られたＡＤ変換データがＤｂである。さらに図９において、アナログ信号Ｖａ１と実際のランプ信号ＶＨＢとの比較によって得られたＡＤ変換データがＤｃであり、アナログ信号Ｖａ１とランプ信号ＶＬとの比較によって得られたＡＤ変換データがＤｄである。

また、期間Ｔｄｅｌａｙに相当するカウンタクロックの計数値をαとし、理想的なランプ信号ＶＨＡの傾きに対する実際のランプ信号ＶＨＢの傾きの比をβ（＝実際のランプＶＨＢの傾き／理想的ランプＶＨＡの傾き）とする。このとき、各ＡＤ変換データには、以下の式（１）、（２）に表される関係がある。
Ｄｂ＝（Ｄａ−α）×４×β …（１）
Ｄｄ＝（Ｄｃ−α）×４×β …（２）
これら式（１）、（２）から、以下の式（３）、（４）が導き出される。
β＝（Ｄｄ−Ｄｂ）／（４×（Ｄｃ−Ｄａ）） …（３）
α＝Ｄｃ−（Ｄｄ／（４×β）） …（４）

信号補正部１６４が、ランプ信号ＶＨを用いてＡＤ変換されたＳ信号データＤｓ１に、α及びβを用いて、以下の式（５）の演算を施すことで、補正後のＳ信号データが得られる。
補正後のＳ信号データ＝（Ｄｓ１−α）×β …（５）
以上が本実施形態における信号補正部１６４の補正処理についての説明である。なお、α及びβの値は、予め算出しておき、撮像素子１００の内部又は外部の記憶部に記憶させておくようにしてもよい。

セレクタ１６５は、信号補正部１６４の出力データか、又は列メモリ１４０のＳ信号保持部１４３からのＳ信号データＤｓ１か、のいずれかを選択して、選択したデータを減算部１６３へ１２ビットのデータＤｓ２として出力する。このとき、セレクタ１６５は、信号レベル判定値保持部１４１に保持された信号レベル判定値Ｄｊに応じてデータを選択する。すなわち、セレクタ１６５は、信号レベル判定値Ｄｊが１（ハイレベル）であれば、Ｓ信号データＤｓ１を補正した信号補正部１６４の出力信号を選択して出力する。また、セレクタ１６５は、信号レベル判定値Ｄｊが０（ローレベル）であれば、Ｓ信号保持部１４３からのＳ信号データＤｓ１を選択して出力する。

したがって、セレクタ１６５が出力するデータＤｓ２は、以下の式（６）、（７）のようになる。
Ｄｊ＝１の場合：Ｄｓ２＝（Ｄｓ１−α）×β …（６）
Ｄｊ＝０の場合：Ｄｓ２＝Ｄｓ１ …（７）

以上説明したように、本実施形態における撮像素子１００は、ランプ信号ＶＨを用いてＡＤ変換されたＳ信号データＤｓ１を信号補正部１６４が補正処理する。これにより、複数のランプ信号の電位変化の開始タイミングの差に起因する、デジタル信号のオフセット誤差を補正することができる。また、複数のランプ信号間の、単位時間当たりの電位の変化量の比がばらつくことによって生じるデジタル信号の誤差を補正することができる。

なお、本発明は、前述した実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、撮像素子１００は、画素１１１のアナログ信号Ｖａを増幅した後に、ＡＤ変換部１３０に出力することが可能な増幅部を備えていてもよい。また、撮像素子１００の出力信号Ｄｏｕｔの構成は、必ずしも最上位ビットに信号レベル判定値Ｄｊを付加する必要はなく、例えば下位ビット側でもよい。また、第２の実施形態において説明した複数のランプ信号のずれに伴う誤差の補正処理は、Ｓ信号データを基準としてＮ信号データを補正するように構成しても良く、あるいはＳ信号データとＮ信号データの双方を補正処理するようにしても良い。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像素子 １１０：画素部 １１１：画素 １３０：ＡＤ変換部 １３１：ランプ信号生成部 １３２：選択部 １３３：比較部 １３４：カウンタ １４０：列メモリ １４１：信号レベル判定値保持部 １４２：Ｎ信号保持部 １４３：Ｓ信号保持部 １６０：デジタルフロントエンド（ＤＦＥ） １６１：ビットシフト部 １６２：セレクタ １６３：減算部 ５００：デジタルデータ伸張部 ５０１：ビットシフト部 ５０２：ダミーデータ付加部 ５０３：セレクタ ７００：撮像装置

Claims (12)

1. 第１のアナログ信号及び第２のアナログ信号を出力する画素が複数配置された画素部と、
   前記第１のアナログ信号を第１の分解能でアナログ−デジタル変換処理して第１のデジタル信号を出力するとともに、前記第２のアナログ信号の信号レベルが所定のレベルより小さい場合には前記第２のアナログ信号を前記第１の分解能でアナログ−デジタル変換処理して第２のデジタル信号を出力し、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きい場合には前記第２のアナログ信号を前記第１の分解能より低い第２の分解能でアナログ−デジタル変換処理して前記第２のデジタル信号を出力するアナログ−デジタル変換部と、
   前記第１のデジタル信号を、前記第２の分解能に合わせてビットシフトすることでデジタルゲイン処理を行うビットシフト部とを有することを特徴とする撮像素子。
2. 前記第２のアナログ信号の信号レベルが前記所定のレベルより小さい場合には前記アナログ−デジタル変換部でアナログ−デジタル変換処理して得られた前記第１のデジタル信号を選択して出力し、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きい場合には前記ビットシフト部でデジタルゲイン処理された第１のデジタル信号を選択して出力するセレクタを有することを特徴とする請求項１記載の撮像素子。
3. 前記第２のアナログ信号の信号レベルが前記所定のレベルより小さい場合には前記第２のデジタル信号から前記アナログ−デジタル変換部でアナログ−デジタル変換処理して得られた前記第１のデジタル信号を減算した第３のデジタル信号を出力し、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きい場合には前記第２のデジタル信号から前記ビットシフト部でデジタルゲイン処理された前記第１のデジタル信号を減算した第３のデジタル信号を出力する減算部を有することを特徴とする請求項１又は２記載の撮像素子。
4. 前記第３のデジタル信号に、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きいか小さいかを示す１ビットの判定値を付加した第４のデジタル信号を外部に出力することを特徴とする請求項３記載の撮像素子。
5. 前記第２の分解能は、前記第１の分解能の略２^N分の１倍（Ｎは２以上の整数）倍の分解能であり、
   前記ビットシフト部は、前記第１のデジタル信号を下位ビット側にＮビットシフトすることを特徴とする請求項１〜４の何れか１項に記載の撮像素子。
6. 前記第２の分解能は、前記第１の分解能の略４分の１倍以下の分解能であることを特徴とする請求項１〜４の何れか１項に記載の撮像素子。
7. 前記アナログ−デジタル変換部でアナログ−デジタル変換処理して得られた前記第１のデジタル信号及び前記第２のデジタル信号の少なくとも一方に対して、前記アナログ−デジタル変換処理の誤差を補正する信号補正部を有することを特徴とする請求項１〜６の何れか１項に記載の撮像素子。
8. 前記第１のアナログ信号は、前記画素のリセットノイズ出力に基づく信号であり、
   前記第２のアナログ信号は、前記画素の信号電荷転送後の出力に基づく信号であることを特徴とする請求項１〜７の何れか１項に記載の撮像素子。
9. 請求項４記載の撮像素子と、
   前記第４のデジタル信号を受けて、付加されている前記判定値に応じて、前記第４のデジタル信号に含まれる前記第３のデジタル信号をデジタルゲイン処理するデータ伸張部とを有する撮像装置。
10. 前記データ伸張部は、前記判定値が前記第２のアナログ信号の信号レベルが前記所定のレベルより大きいことを示す場合、前記第４のデジタル信号に含まれる前記第３のデジタル信号をデジタルゲイン処理することを特徴とする請求項９記載の撮像装置。
11. 前記データ伸張部は、前記判定値に応じて、前記第４のデジタル信号に含まれる前記第３のデジタル信号の上位ビット側又は下位ビット側にダミーデータを付加することを特徴とする請求項９記載の撮像装置。
12. 第１のアナログ信号及び第２のアナログ信号を出力する画素が複数配置された画素部を有する撮像素子の信号処理方法であって、
    前記第１のアナログ信号を第１の分解能でアナログ−デジタル変換処理して第１のデジタル信号を出力する工程と、
    前記第２のアナログ信号の信号レベルが所定のレベルより小さい場合には前記第２のアナログ信号を前記第１の分解能でアナログ−デジタル変換処理して第２のデジタル信号を出力し、前記第２のアナログ信号の信号レベルが前記所定のレベルより大きい場合には前記第２のアナログ信号を前記第１の分解能より低い第２の分解能でアナログ−デジタル変換処理して前記第２のデジタル信号を出力する工程と、
    前記第１のデジタル信号を、前記第２の分解能に合わせてビットシフトすることでデジタルゲイン処理を行う工程とを有することを特徴とする信号処理方法。

Images