JP2008005386A

JP2008005386A - 固体撮像装置および固体撮像装置の信号処理方法

Info

Publication number: JP2008005386A
Application number: JP2006175013A
Authority: JP
Inventors: Akihiko Kato; 昭彦加藤; Noriyuki Fukushima; 範之福島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-06-26
Filing date: 2006-06-26
Publication date: 2008-01-10
Anticipated expiration: 2026-06-26
Also published as: JP4321555B2; US20070297025A1; US7982925B2

Abstract

【課題】イメージセンサの最下位ビット付近をゆるやかに変動する連続した輝度階調を持つアナログ信号をアナログ−デジタル変換した後の階段状の離散的な階調の信号を滑らかに変動する印象を与える階調に処理することを可能とする。
【解決手段】イメージセンサのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器（ＡＤ変換器１１）から出力されたセンサ信号にデジタルゲイン処理を行う乗算器１２を有する固体撮像装置であって、ランダム状に分布する信号を生成する信号生成器１３と、前記乗算器１２から出力された階段状の離散的な階調の信号に前記信号生成器１３から出力されたランダム状に分布する信号を加算する加算器１４とを備えたことを特徴とする。
【選択図】図１

Description

本発明は、固体撮像装置および固体撮像装置の信号処理方法に関する。

従来のイメージセンサには、アナログ−デジタル変換（以下ＡＤ変換という）を行ったセンサ信号に対し、与えられた設定値とセンサ信号とを乗算処理するデジタルゲイン処理機能を有するものがある。このデジタルゲイン処理は、入力されるセンサ信号にデジタル的に乗算処理を行い、その結果を出力するもので、センサの光入力感度のゲインを上げたことと等価な動作を行う。一方、ＡＤ変換前のアナログ信号を操作するアナログゲイン処理もあるが、デジタルゲイン処理はアナログ的なノイズ制約を受けないために乗算設定値の上限を高くできるという利点や、デジタルゲイン回路はアナログゲイン回路に比べて回路面積が小さくなるという利点を有する。

しかしながら、デジタルゲイン処理はセンサ信号をデジタル的に有効ビット内で誤差なく乗算処理を行うため、特に最下位ビット（以下ＬＳＢという）付近をゆるやかに変動する連続した輝度階調を持つ信号の乗算結果は、設定値が乗算されて階段状の離散的な階調となる。この結果、センサ信号を画像表示した際の見た目に本来のゆるやかに変動する階調部分が階段状に見えるといった不自然な印象を与える問題がある。

この一例を以下に説明する。図６にデジタルゲイン重畳前のセンサ出力の階調を示す。また図７に４倍デジタルゲイン重畳後のセンサ出力の階調を示す。このように、デジタルゲイン処理を行うことで、ＬＳＢ付近を緩やかに変動する連続した階調が階段状に目立つようになる。本例ではセンサデータが数ＬＳＢであって低い値であるが、数千ＬＳＢのような高い値であっても、ＬＳＢ付近を緩やかに変動する場合、このような階段状になる現象が発生する。

Ａ／Ｄコンバータから出力される階段状の信号を滑らかにする手法として、音響機器、音響計測器等に用いられるＡ／Ｄコンバータではディザ信号（例えばホワイトノイズ）を付加する手法が開示されている（例えば、非特許文献１。）。

ＬｅｏｎＭｅｌｋｏｎｉａｎ、"ディザ信号付加によるＡ／Ｄコンバータの性能改善"、［ｏｎｌｉｎｅ］、１９９２年２月、ナショナルセミコンダクター株式会社［平成１８年３月７日検索］、インターネット＜ＵＲＬ：www.national.com/JPN/an/An-804.pdf-

解決しようとする問題点は、最下位ビット付近をゆるやかに変動する連続した輝度階調を持つ信号をデジタルゲイン処理すると、ＬＳＢ付近を緩やかに変動する連続した階調が階段状に目立つようになる点である。

本発明は、最下位ビット付近をゆるやかに変動する連続した輝度階調を持つアナログ信号をアナログ−デジタル変換した後の階段状の離散的な階調の信号を滑らかに変動する印象を与える階調に処理することを課題とする。

請求項１に係る固体撮像装置は、イメージセンサのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器から出力されたセンサ信号にデジタルゲイン処理を行う乗算器を有する固体撮像装置であって、ランダム状に分布する信号を生成する信号生成器と、前記乗算器から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を加算する加算器とを備えたことを特徴とする。

請求項１に係る固体撮像装置では、乗算器から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を加算する加算器とを備えたことから、加算器から出力される信号は滑らかに変動する印象を与える階調になる。

請求項４に係る固体撮像装置は、イメージセンサのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器から出力されたセンサ信号にデジタルゲイン処理を行うビットシフト回路と、ランダム状に分布する信号を生成する信号生成器と、前記ビットシフト回路から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を挿入するビット挿入回路とを備えたことを特徴とする。

請求項４に係る固体撮像装置では、ビットシフト回路から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を挿入するビット挿入回路とを備えたことから、ビット挿入回路から出力される信号は滑らかに変動する印象を与える階調になる。

固体撮像装置の信号処理方法は、イメージセンサのアナログ信号をデジタル信号に変換して出力されたセンサ信号にデジタルゲイン処理を行う固体撮像装置の信号処理方法において、前記デジタルゲイン処理によって生じた階段状の離散的な階調の信号に前記センサ信号を種としたランダム状に分布する信号を加算することを特徴する。

請求項５に係る固体撮像装置の信号処理方法では、デジタルゲイン処理によって生じた階段状の離散的な階調に応じた信号にセンサ信号を種としたランダム状に分布する信号を加算することから、加算後に出力される信号は滑らかに変動する印象を与える階調になる。

請求項１に係る固体撮像装置によれば、乗算器から出力された階段状の離散的な階調の信号にランダム状に分布する信号を加算するため、加算器から出力される信号は滑らかに変動する印象を与える階調になるので、本来のゆるやかに変動する階調部分が自然な状態に見えるようになるという利点がある。

請求項４に係る固体撮像装置によれば、ビットシフト回路から出力された階段状の離散的な階調の信号にランダム状に分布する信号を挿入するため、ビット挿入回路から出力される信号は滑らかに変動する印象を与える階調になるので、本来のゆるやかに変動する階調部分が自然な状態に見えるようになるという利点がある。また、デジタルゲイン処理の仕様を限定することから、乗算器の替わりにビットシフト回路を用い、加算器の替わりにビット挿入回路を用いたので、大幅に回路規模を削減できるという利点がある。

請求項５に係る固体撮像装置の信号処理方法によれば、デジタルゲイン処理によって生じた階段状の離散的な階調に応じた信号にセンサ信号を種としたランダム状に分布する信号を加算するため、加算後に出力される信号は滑らかに変動する印象を与える階調になるので、本来のゆるやかに変動する階調部分が自然な状態に見えるようになるという利点がある。

本発明の固体撮像装置およびその駆動方法に係る一実施の形態（第１実施例）を、図１のブロック図によって説明する。図１は、固体撮像装置（例えばイメージセンサ）のデジタルゲイン処理機能部分を示す。

図１に示すように、固体撮像装置１は、イメージセンサの所定の駆動を経て読み出されたアナログセンサ信号をｎビットのデジタル信号に変換するアナログ−デジタル変換（以下、ＡＤ変換と記す）器１１を備えている。したがって、イメージセンサ信号入力によりＡＤ変換器１１に入力されたアナログセンサ信号はデジタル信号に変換されセンサ信号として出力される。

さらに上記ＡＤ変換器１１から出力されたセンサ信号と設定値入力とをデジタル的に乗算演算を行う乗算器１２を備えている。また上記センサ信号を種とするランダム状に分布する信号を生成する信号生成器１３を備え、上記乗算器１２の演算結果と上記信号生成器１３から出力されたランダム状に分布する信号とをデジタル的に加算演算を行う加算器１４を備えている。すなわち、加算器１４によって、上記乗算器１２から出力された階段状の離散的な階調のセンサ信号に上記信号生成器１３から出力されたランダム状に分布する信号が加算される。

上記信号生成器１３はデジタル的に擬似ランダムビット列を生成するブロックである。この実装にはさまざまな構成がある。ここでは図２に一実装例として、リニアフィードバックシフトレジスタ(以下、ＬＦＳＲと記す)を用いたものを示す。

図２に示すように、ＬＦＳＲは１ビットの入力とシフトレジスタ群（ＤＬＹ１５、１６および１７）のある任意の２点の排他的論理和１８、１９を取ったものを出力するものである。このＬＦＳＲは、入力に対し出力を回路で定義される多項式に基づき、擬似ランダム的に攪拌する回路として一般的に使用されているものである。入力が連続する固定値を取る時、ＬＦＳＲの出力はある有限の擬似ランダムビット列の繰り返しを出力するため、画像に使用するものでは固定パターンのノイズとなり、好ましくない場合がある。このため本例では、入力にＡＤ変換後のセンサ信号の最下位ビットを入力することで、この問題を解決している。

ＡＤ変換後のセンサ信号の最下位ビットは、通常回路ノイズの影響を受けてランダム状に分布する。このため、それを受けて生成されるＬＦＳＲの出力もランダム性を持ち、かつセンサ信号の最下位ビットとは直接相関の見出しにくいものとなっている。したがって、ランダム状に分布する信号を生成することができる。

次に、上記ＬＦＳＲで得られた１ビットの擬似ランダム列をある並列する重み付けを持ったビット数まで拡大する実装例を、図３によって説明する。

図３に示すように、信号生成器１３に備えられた各ＬＦＳＲ２０、２１、２２は前記図２で説明したＬＦＳＲである。このＬＦＳＲ２０、２１、２２は、ＡＤ変換後のセンサ信号データの最下位ビット（ＬＳＢ）を基に、一定量を持ったデジタル擬似ノイズ信号を生成する処理を行うものである。

信号生成器１３で得られたランダム状に分布する信号は、前記図１に示した加算器１４により上記乗算器１２からの出力されたセンサ信号と加算処理される。その際、加算されるランダム状に分布する信号量がセンサ信号量よりも大きい場合、Ｓ／Ｎを必要以上に悪化させる結果となる。そこで、デジタルゲイン処理により最下位ビット（ＬＳＢ）付近の階調が階段状になるのが緩和されるような上記加算器１４の出力となるように、ランダム状に分布する信号は階段状に広がったビット数以下にすることが望ましい。

例えば、４倍のデジタルゲイン処理を行う場合、付加するビット数は２ビット以下となるため、上位ビットにはゼロを付加しておく。これを選択器２３で行う。ランダム状に分布する信号量として、２ビットの整数や２ビット分の正と負の分布を持つ数が実装できる。また、センサ信号が飽和時など、ＡＤ変換後やデジタルゲイン処理後のセンサ信号が一定のフルコードを連続して出力する場合などは、本実施例の出力回路もフルコードが望ましいことがあるため、その入力の検出をして一定値を出す機能を付加することが望ましい。

信号生成器１３で得られたランダム状に分布する信号を加算器１４により上記乗算器１２からの出力されたセンサ信号と加算処理した本実施例の結果の一例を、図４によって説明する。ここで、入力は先に説明した図６にデジタルゲイン重畳前のセンサ出力の階調に４倍のデジタルゲイン処理を行ったものである。

図４に示すように、前記図７の従来例で見られていた撮像行方向もしくは撮像列方向（撮像行／列）の階段状の階調が、なだらかな印象を受けるものに処理される。

上記本発明に係る実施の形態では、ＡＤ変換器１１でＡＤ変換した後のセンサ信号にデジタルゲイン処理を行ったデータに対し、信号生成器１３によりデジタル的に生成したランダム状に分布する信号を加算する。このようなデジタルゲイン処理を行うことにより、階段状になる離散的な階調出力を滑らかに変動する印象を与える階調に処理して出力される。上記ランダム状に分布する信号は、一般的に擬似ランダムデータが周期的になるという問題点を、ＡＤ変換後のセンサデータを用いることで回避している。加算するランダム状に分布する信号量は、デジタルゲイン処理の設定値によって適応的に変化させることで、不必要なＳ／Ｎの悪化を防ぐことができる。

次に、本発明の固体撮像装置およびその駆動方法に係る一実施の形態（第２実施例）を、図５のブロック図によって説明する。図５は、固体撮像装置（例えばイメージセンサ）のデジタルゲイン処理機能部分を示す。

図５に示すように、固体撮像装置２は、イメージセンサの所定の駆動を経て読み出されたアナログセンサ信号をｎビットのデジタル信号に変換するアナログ−デジタル変換（以下、ＡＤ変換と記す）器１１を備えている。したがって、イメージセンサ信号入力によりＡＤ変換器１１に入力されたアナログセンサ信号はデジタル信号に変換されセンサ信号として出力される。

さらに上記ＡＤ変換器１１から出力されたセンサ信号を最上位ビット（ＭＳＢ）方向へのビットシフトを行い、空いた最下位ビット（ＬＳＢ）側に設定値入力として０を挿入するビットシフト回路３１を備えている。また上記センサ信号を種とするランダム状に分布する信号を生成する信号生成器１３を備え、上記ビットシフト回路３１の出力である０が挿入されたビットに、上記信号生成器１３から出力されたランダム状に分布する信号を挿入する、すなわちビットごとの論理和を取るだけですむという行為を行うビット挿入回路３２が備えられている。したがって、上記ビット挿入回路３２では、上記のデジタルゲイン機能適用時、最下位ビット側に０が挿入されているだけのため、信号を加算する場合に演算処理を行う必要がない。

上記信号生成器１３は、一例として、前記図２によって説明したリニアフィードバックシフトレジスタ(以下、ＬＦＳＲと記す)を用いることができ、前記図３によって説明した構成のものを用いることができる。

上記第２実施例は、デジタルゲイン機能の仕様が２倍、４倍と２のｎ乗でよい場合に有効であり、さらに、第１実施例のようにデジタル回路として回路規模、面積が大きい乗算器や加算器を用いないので、回路規模を小さくできるという利点がある。回路規模はセンサ信号の処理ビット数にもよるが、第１実施例の回路構成と比較して１０分の１以下にすることも可能である。

上記第１、第２実施例では、ＡＤ変換器、乗算器、加算器、信号生成器、ビットシフト回路、ビット挿入回路等の実装が可能なＣＭＯＳイメージセンサを意図しているが、例えばＣＣＤ（Charge Coupled Device）やアナログ出力のＣＭＯＳセンサの出力を受ける別チップに実装することも可能である。

本発明の固体撮像装置およびその駆動方法に係る一実施の形態（第１実施例）を示したブロック図である。信号生成器のデジタル的に擬似ランダムビット列を生成するブロックを示したブロック図である。信号生成器のブロック図である。第１実施例のデジタルゲイン処理後におけるセンサ出力の階調を示すグラフである。本発明の固体撮像装置に係る一実施の形態（第２実施例）を示したブロック図である。デジタルゲイン処理前のセンサ出力の階調を示すグラフである。デジタルゲイン処理後のセンサ出力の階調を示すグラフである。

符号の説明

１…固体撮像装置、１１…アナログ−デジタル変換器、１２…乗算器、１３…信号生成器、１４…加算器

Claims

イメージセンサのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器から出力されたセンサ信号にデジタルゲイン処理を行う乗算器を有する固体撮像装置であって、
ランダム状に分布する信号を生成する信号生成器と、
前記乗算器から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を加算する加算器と
を備えたことを特徴とする固体撮像装置。
前記信号生成器はリニアフィードバックシフトレジスタからなる
ことを特徴とする請求項１記載の固体撮像装置。
前記信号生成器において、前記ランダム状に分布する信号を生成する種に前記センサ信号を用いる
ことを特徴とする請求項１記載の固体撮像装置。
イメージセンサのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器から出力されたセンサ信号にデジタルゲイン処理を行うビットシフト回路と、
ランダム状に分布する信号を生成する信号生成器と、
前記ビットシフト回路から出力された階段状の離散的な階調の信号に前記信号生成器から出力されたランダム状に分布する信号を挿入するビット挿入回路と
を備えたことを特徴とする固体撮像装置。
イメージセンサのアナログ信号をデジタル信号に変換して出力されたセンサ信号にデジタルゲイン処理を行う固体撮像装置の信号処理方法において、
前記デジタルゲイン処理によって生じた階段状の離散的な階調の信号に前記センサ信号を種としたランダム状に分布する信号を加算する
ことを特徴する固体撮像装置の信号処理方法。