JP2015204583A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2015204583A JP2015204583A JP2014084141A JP2014084141A JP2015204583A JP 2015204583 A JP2015204583 A JP 2015204583A JP 2014084141 A JP2014084141 A JP 2014084141A JP 2014084141 A JP2014084141 A JP 2014084141A JP 2015204583 A JP2015204583 A JP 2015204583A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- digital
- output
- converter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】ビットシフトによるデジタルゲイン時に下位ビットの欠落による段差の発生を、ランダムノイズを付与して防止する。【解決手段】2次元に配置された複数の画素と、共通の列の画素に接続された垂直出力線と、前記垂直出力線毎に接続された列回路とを有する固体撮像素子と、前記列回路からのアナログ信号をデジタル信号に変換するAD変換器と、前記AD変換器でからのデジタル画像信号を増幅するデジタルゲイン部とを備えた撮像装置であって、前記列回路は、その出力を撮像信号として出力する第1の列回路群と、その出力を撮像信号として出力しない第2の列回路群とで構成され、前記撮像装置は、前記第1の列回路群からの出力信号を前記AD変換器でデジタル信号に変換し、前記デジタルゲイン部で増幅したデジタル画像信号に対して、前記第2の列回路群からの出力信号を前記AD変換器でデジタル信号に変換したデジタル補正信号の下位数ビットを加算する。【選択図】図6
Description
本発明は、静止画像や動画像を撮像、記録、再生する撮像装置及び撮像装置の画像信号処理方法に関する。
従来、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は既に市販され広く使用されている。この固体撮像素子による撮像の際に、フォトダイオードからの撮像信号を増幅させる方法としては、撮像素子内部及び外部のアンプを用いてアナログ信号にゲインをかけるアナログゲイン方法と、アナログ−デジタル変換(AD変換)をしてデジタル化した処理をした信号を、デジタル的な乗算処理を行うことで、信号レベル増幅を行うデジタルゲイン方法があり、用途に応じて使い分けられている。
このうち、デジタルゲイン方法を行う場合においては、デジタル信号に対してゲインをかけるために、増幅後の信号値は頻度に間隔があいた飛び飛びの値となり、階調が損なわれてしまうという課題が存在する。特に2のべき乗のゲインをかける方法としてデジタル信号のビットをシフトさせてゲイン処理をする方法が広く用いられている。この場合は、ビットシフトさせた後の下位ビットには入力すべき情報がないため、多くは‘0’を入れることになるが、当然、先に述べた階調の低下が発生することになる。
従来、このようなデジタルゲイン時の階調低下の問題を解決するための手法として、種々の提案がなされている。特許文献1では、画素信号に含まれるランダムノイズ成分を含むランダム信号を用い、リニアフィードバックシフトレジスタで処理を施し、画素信号にフィードバックする方法で階調補正を行う方式が提案されている。
しかしながら、前述のような階調補正手段の構成においては、リニアフィードバックシフトレジスタ等で構成される信号発生器のような、疑似的に乱数を発生させるための大規模な専用回路を、固体撮像装置に余計に搭載させる必要があり、撮像装置の規模を増大化させてしまうという問題がある。
本発明は、このような問題点を鑑みてなされたものであり、ビットシフトによるデジタルゲイン時に下位ビットが欠落し階調が損なわれるという課題に対し、特別な回路を用意することなく、ランダムノイズを付与することが可能な撮像装置を提供することを目的とする。
本発明に係る撮像装置の構成は、露光した光信号を電気信号へと変換する2次元に配置された複数の画素と、前記複数の画素のうち共通の列の画素に接続された垂直出力線と、前記垂直出力線毎に接続された複数の列回路とを有する固体撮像素子と、前記列回路から出力されるアナログ画像信号をデジタル信号に変換するAD変換器と、前記AD変換器でデジタル信号に変換されたデジタル画像信号を増幅するデジタルゲイン部とを備えた撮像装置であって、前記列回路は、その出力を撮像信号として出力する第1の列回路群と、その出力を撮像信号として出力しない第2の列回路群とで構成され、前記撮像装置は、前記第1の列回路群からの出力信号を前記AD変換器でデジタル信号に変換し、前記デジタルゲイン部で増幅したデジタル画像信号に対して、前記第2の列回路群からの出力信号を前記AD変換器でデジタル信号に変換したデジタル補正信号の下位数ビットを加算する加算器を有することを特徴とする。
本発明によれば、ビットシフトによるデジタルゲイン時に下位ビットが欠落し階調が損なわれるという課題に対し、特別な回路を用意することなく、ランダムノイズを付与することが可能な撮像装置を提供することができる。
以下、図面を用いて本発明の好ましい実施の形態を説明する。
(第1の実施形態)
まず、本発明にかかる撮像装置の第1の実施形態について説明する。本発明にかかる撮像装置の第1の実施形態は、撮像素子からの信号に対し外部の信号処置回路でデジタルゲインをかける構成を特徴とするものである。
まず、本発明にかかる撮像装置の第1の実施形態について説明する。本発明にかかる撮像装置の第1の実施形態は、撮像素子からの信号に対し外部の信号処置回路でデジタルゲインをかける構成を特徴とするものである。
図1は、本発明の第1の実施形態における撮像装置100のブロック図である。図1において、101は撮影レンズ、102は撮像素子である。撮影レンズ101を通過した光は撮影レンズ101の焦点位置近傍に結像する。撮像素子102はCMOSイメージセンサやCCDイメージセンサに代表される固体撮像素子である。
103はアナログ信号処理回路(AFE)、104はデジタル信号処理回路(DFE)である。アナログ信号処理回路103は、撮像素子102から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、A/D変換処理等を行う。デジタル信号処理回路104は、アナログ信号処理回路103から出力される画像信号に対して信号増幅、基準レベル調整などの各種画像処理等のデジタル画像処理を行う。本発明の特徴である階調補正も、デジタル信号処理回路104にて行われる。
105はメモリ回路、106は記録回路である。メモリ回路105および記録回路106はデジタル信号処理回路104から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。
107は制御回路、108は操作回路、109は表示回路である。制御回路107は撮像素子102やデジタル信号処理回路104等の撮像装置全体を統括的に駆動・制御する。操作回路108は撮像装置100に備え付けられた操作部材からの信号を受け付け、制御回路107に対してユーザーの命令を反映する。表示回路109は撮影後の画像やライブビュー画像、各種設定画面等を表示する。
次に、単位画素200の構成を図2を用いて説明する。図2は、本発明の第1の実施形態における撮像素子102の単位画素200を示す回路図である。
単位画素200は、1つのフォトダイオード201を有する。このフォトダイオード201にはひとつの転送スイッチ202が接続される。また転送スイッチ202にはフローティングディフュージョン203が接続される構成となっている。
フローティングディフュージョン203にはリセットスイッチ204とソースフォロアアンプ205が接続され、ソースフォロアアンプ205にはセレクトスイッチ206が接続されている。
ここでリセットスイッチ204およびソースフォロアアンプ205のドレインが基準電位VDD208を共有している。
フォトダイオード201は、撮像素子102に入射した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。
転送スイッチ202は、フォトダイオード201で発生した電荷をフローティングディフュージョン203に転送する。転送スイッチ202は、転送パルス信号PTXによって制御される。
フローティングディフュージョン203は、フォトダイオード201から転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。
リセットスイッチ204は、フローティングディフュージョン203の電位を基準電位VDD208にリセットする。リセットスイッチ204は、リセットパルス信号PRESによって制御される。
ソースフォロアアンプ205は、MOSトランジスタと基準電位VDD208からなるソースフォロア回路であり、フローティングディフュージョン203に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。
セレクトスイッチ206は、ソースフォロアアンプ205で増幅された画素信号を垂直出力線207に出力する。垂直出力線207は列を共有する複数の単位画素200で共有される。セレクトスイッチ206は、セレクトパルス信号PSELによって制御される。
次に、本発明の第1の実施形態における撮像素子102の読み出し回路について図3を用いて説明する。撮像素子102は複数の単位画素200が行列状に配置されている。なお、図3においては単位画素200を4行4列の計16個として図示するが、実際は数百万、数千万の単位画素200で構成される。また、単位画素200はベイヤー配列に従って並べられ、それぞれ一般に赤(R)、緑(G)、青(B)のカラーフィルタが設けられる。
301は垂直走査回路であり、各行ごとに接続される信号線302を介して行を選択・駆動する。単位画素200のフローティングディフュージョン203で変換された信号は垂直出力線207を通り列回路303に入力される。列回路303で処理された信号は水平走査回路304により水平出力線305、306を通り出力アンプ307に転送される。
続いて列回路303の回路構成を説明する。308はクランプ容量C0、309はフィードバック容量Cf、310はオペアンプ、311は基準電圧Vrefを供給する基準電源、312はフィードバック容量Cfの両端をショートさせるためのスイッチである。スイッチ312はC0リセット信号PC0Rで制御される。313、314は信号電圧を保持するための容量であり、313を容量CTS、314を容量CTNとする。315、316は容量への書き込みを制御するスイッチである。スイッチ315はPTS信号で制御され、スイッチ316はPTN信号で制御される。
317、318は水平走査回路304からの信号を受け、それぞれ水平出力線305、306を介して、出力アンプ307に信号を出力するためのスイッチである。スイッチ317は水平シフトレジスタ304のPHS信号で制御され、スイッチ318はPHN信号で制御される。スイッチ319は複数列の列回路303中のクランプ容量C0308をショートするためのスイッチである。スイッチ319はPHADD信号で制御される。
次に本発明の第1の実施形態における静止画駆動時、動画駆動時のそれぞれにおける、読み出しタイミング及びその制御について、図4、図5を用いて説明する。図4は本発明の第1の実施形態における静止画駆動時における画素信号読み出し方法を示すタイミングチャートである。この駆動タイミングは水平方向の画素信号の加算平均処理を行わないで読み出す形態である。
始めに、PRESがHiの状態で、フローティングディフュージョン203をリセットする。時刻T=t1でPTXをHiとし、フォトダイオード201をリセットする。T=t2でPTXをLoとし、フォトダイオード201の電荷蓄積を開始する。
蓄積開始後T=t3でPSELをHiとし、ソースフォロアアンプ205を動作状態とする。T=t4でPRESをLoとすることでフローティングディフュージョン203のリセットを解除する。このときのフローティングディフュージョン203の電位を垂直出力線207にリセット信号レベル(ノイズ成分)として読み出し、列回路303に入力する。列回路303において、T=t5でPC0RをLoとしオペアンプ310の基準電圧Vref出力バッファを解除し、T=t7、t8でPTNをHi、Loとしスイッチ316を動作させることで容量CTN314にリセット信号レベルを書き込む。
次に、T=t9でPTXをHiとしフォトダイオード201に蓄積された光電荷をフローティングディフュージョン203に転送開始する。さらにT=t10でPTXをLoとして電荷転送を終了する。
このような一連のプロセスで転送された電荷量に応じたフローティングディフュージョン203の電位変動が垂直出力線207に光信号レベル(光成分+ノイズ成分)として読み出され、列回路303に入力される。列回路303において、T=t11、t12でPTSをHi、Loとしスイッチ315を動作させることで容量CTS313に光信号レベルを書き込む。
なお、CTS313、CTN314に信号を書き込む際、クランプ容量C0308とフィードバック容量Cf309の比に応じた反転ゲインがかかり出力される。その後、T=t14でPRESをHiとし、フローティングディフュージョン203をリセット状態にする。
次に、CTS313、CTN314に保持された信号を水平走査回路304により読み出す。T=t15〜t16の間に、列回路303ごとに順次PHS、PHNをHi、Loとしスイッチ317、318を動作させることでCTS313、CTN314に保持された信号は水平出力線305、306を通り、出力アンプ307で差動信号レベル(光成分)として出力される。
図5は本発明の第1の実施形態における動画駆動時における画素信号読み出し方法を示すタイミングチャートである。この駆動タイミングは水平方向の画素信号の加算平均処理を行って読み出す形態である。
本発明の第1の実施形態における動画駆動時における画素信号読み出し方法は、図5で示す通り、図4を用いて説明した、本発明の第1の実施形態における静止画駆動時における画素信号読み出し方法に対して、複数列のクランプ容量C0308をショートするためのスイッチ319を制御するPHADD信号の駆動が異なる。よって、信号PHADDの制御に関連する箇所以外に関しては詳細な説明は割愛する。
列回路303において、T=t5でPC0RをLoとしオペアンプ310の基準電圧Vref出力バッファを解除した後、T=t6でPHADDをHiとし、列回路303aのクランプ容量C0308と列回路303bのクランプ容量C0308をショートする。この後T=t7、t8でPTNをHi、Loとしスイッチ316を動作させることで容量CTN314にリセット信号レベルを書き込むが、各列回路303の容量CTN314に書き込まれるリセット信号レベルは、クランプ容量C0308がショートしているため、加算平均処理されたリセット信号レベルとなる。
同様に、T=t9〜t12の間に行われる容量CTS313への光信号レベルの書き込みにおいても、クランプ容量C0308がショートしているため、加算平均処理された光信号レベルが容量CTS313へ書き込まれる。
光信号レベルの容量CTS313への書き込みが完了した後、T=t13でPHADDをLoとし、列回路303aのクランプ容量C0308と列回路303bのクランプ容量C0308の接続を解除する。
この後、容量CTS313、CTN314に保持された信号は水平出力線305、306を通り、出力アンプ307で差動信号レベル(光成分)として出力される。なお、本発明の第1の実施形態における動画駆動においては、加算平均処理された列回路303aと列回路303bのどちらの列回路からも、画像信号が出力されるものとする。
次に本発明の第1の実施形態における階調補正回路の構成と制御について、図6を用いて説明する。図6は本発明の第1の実施形態における階調補正回路の説明図である。
図6において、601はAD変換器、602は信号保持部、603は乗算器、604は下位ビット選択部、605は加算器である。AD変換器601はアナログ信号処理回路103内部にあり、信号保持部602、乗算器603、下位ビット選択部604、加算器605は、デジタル信号処理回路104内部にあるものとする。
撮像素子102から出力されたアナログ信号である画像信号は、アナログ信号処理回路103内部のAD変換器601でAD変換され、複数ビットのデジタル画像信号に変換する。
先ず、先に読みだされる列回路303bからの画像信号がAD変換器601でAD変換され、デジタル信号処理回路104内部の信号保持部602に入力され、保持される。
続いて、後に読みだされる列回路303aからの画像信号がAD変換器601でAD変換され、デジタル信号処理回路104内部に入力される。このデジタル画像信号に対しては、デジタル信号処理回路104内部の乗算器603でデジタルゲイン処理が実施される。
この乗算器603で実施されるデジタルゲイン処理の1つとして、2のべき乗のゲインをかける方法である、デジタル信号のビットをシフトさせてゲイン処理をする方法を実施する。具体的には、各ビットの画像信号を下位ビットから上位ビットにシフトさせることにより、画像信号が2のべき乗数に増幅される。この場合は、ビットシフトさせた後の下位ビットには入力すべき情報がないため、多くは‘0’などの固定値を入力することが多い。この際、乗算器603から出力されるデジタルゲイン処理後の画像信号値は、頻度に間隔があいた飛び飛びの値となり、この段階では階調が損なわれた画像信号となってしまっている。
信号保持部602で保持されていた列回路303bからのデジタル画像信号は、下位ビット選択部604において、列回路303aからのデジタル画像信号に対して乗算器603で実施されるデジタルゲインの、2のべき乗数に応じたビット数だけ下位ビットを残した値に変換される。具体的には、例えば乗算器603で実施されるデジタルゲインが2倍と設定されていた場合は、乗算部603では2の1乗のゲインが乗算されるので、下位ビット選択部604からは、列回路303bからのデジタル画像信号の下位1ビットが出力される。また例えば、乗算器603で実施されるデジタルゲインが8倍と設定されていた場合は、乗算部603では2の3乗のゲインが乗算されるので、下位ビット選択部604からは、列回路303bからのデジタル画像信号の下位3ビットが出力される。
なおこの下位ビット選択部604からの出力信号は、もともと撮像素子102から出力されるアナログ画像信号にはランダムノイズが含まれていることから、そのアナログ画像信号をAD変換して生成されたデジタル画像信号の下位ビットは、ランダムな値であると考えることができる。
乗算器603から出力された、列回路303aから出力された画像信号にデジタルゲイン処理を施されたデジタル画像信号と、下位ビット選択部604から出力された、列回路303bから出力された画像信号の下位ビットだけ残されたデジタル画像信号とは、加算器605で加算される。この加算器605から出力される画像信号は、デジタルゲイン後の階調が損なわれたデジタル画像信号の下位ビットに、ランダムな値が付加された形になるため、この加算器605から出力される画像信号が、結果として階調補正を実現された画像信号とすることができ、滑らかな階調の画像イメージを得ることが可能となる。
(第2の実施形態)
次に、本発明にかかる撮像装置の第2の実施形態について説明する。本発明にかかる撮像装置の第2の実施形態は、撮像素子内部でデジタルゲインをかける構成を特徴とするものである。図7は、本発明の第2の実施形態における撮像装置100のブロック図である。
次に、本発明にかかる撮像装置の第2の実施形態について説明する。本発明にかかる撮像装置の第2の実施形態は、撮像素子内部でデジタルゲインをかける構成を特徴とするものである。図7は、本発明の第2の実施形態における撮像装置100のブロック図である。
図7を用いて説明する本発明の第2の実施形態における撮像装置100のブロック図は、図1を用いて説明した、本発明の第1の実施形態における撮像装置100のブロック図に対し、アナログ信号処理回路103を除いた構成となっている。これは、本発明の第2の実施形態における撮像素子102が、撮像素子内部でAD変換を行うカラムAD部を有する撮像素子であり、本発明の第1の実施形態におけるアナログ信号処理回路103の機能である相関二重サンプリング処理、アナログ信号増幅、基準レベル調整、A/D変換処理等は全て、撮像素子102内部で行うような構成であるためである。その他の構成については、先に図1を用いて説明した、本発明の第1の実施形態における撮像装置100の構成と同一であるため、詳細な説明は割愛する。
次に、本発明の第2の実施形態における撮像素子102の読み出し回路について図8を用いて説明する。なお本発明の第2の実施形態における撮像素子102の読み出し回路は、列回路中のオペアンプ310周辺の構成までは、図1を用いて説明した、本発明の第1の実施形態における撮像素子102の読み出し回路の構成と同一であるため、詳細な説明は割愛する。
列回路800は、クランプ容量C0308、フィードバック容量Cf309、オペアンプ310、基準電源311、スイッチ312及び319の他に、比較器801、カウンタ802、及びセンサ内信号処理回路804内部のメモリ803から構成される。比較器801の一方の入力には、オペアンプ310の出力端子が接続されており、他方の入力には、スロープ波形の参照信号VRAMPが接続されている。比較器801は垂直出力線207の電位Vlineに応じたレベルとなるオペアンプ310の出力端子を時刻とともに変化する参照信号VRAMPと比較し、その大小関係が反転するまでの時刻を検出する。カウンタ802は、前記大小関係が反転するまでの時間をクロック信号CLKに基づいて計測し、その計測時間をもってデジタル信号とする。メモリ803は、カウンタ802の計測したデジタル信号を保持する。
センサ内信号処理回路804は、メモリ803に保持された各列のデジタル画像信号に対し、相関二重サンプリング処理、信号増幅、基準レベル調整等を行う。本発明の特徴である階調補正も、センサ内信号処理回路804にて行われるが、詳細な説明は後に図11を用いて説明する。
水平走査回路805はPHA信号及びPHB信号を制御し、スイッチ807a、スイッチ807bを開閉することで列回路を水平方向に順次走査し、列毎に共通して接続された水平信号線806と出力端子808を通してメモリ803に保持されたデジタル信号を出力する。
次に本発明の第2の実施形態における静止画駆動時、動画駆動時のそれぞれにおける、読み出しタイミング及びその制御について、図9、図10を用いて説明する。図9は本発明の第2の実施形態における静止画駆動時における画素信号読み出し方法を示すタイミングチャートである。この駆動タイミングは水平方向の画素信号の加算平均処理を行わないで読み出す形態である。
始めに、PRESがHiの状態で、フローティングディフュージョン203をリセットする。時刻T=t1でPTXをHiとし、フォトダイオード201をリセットする。T=t2でPTXをLoとし、フォトダイオード201の電荷蓄積を開始する。
蓄積開始後T=t3でPSELをHiとし、ソースフォロアアンプ205を動作状態とする。T=t4でPRESをLoとすることでフローティングディフュージョン203のリセットを解除する。このときのフローティングディフュージョン203の電位を垂直出力線207にリセット信号レベル(ノイズ成分)として読み出し、列回路800に入力する。列回路800において、T=t5でPC0RをLoとしオペアンプ310の基準電圧Vref出力バッファを解除する。
続けて、T=t7〜t9において、リセット信号レベルのAD変換を行う。T=t7で参照信号VRAMPの出力遷移を開始し、同時にカウンタ802でのカウントを開始する。
T=t8に比較器801においてリセット信号の出力電位Vlineと参照信号VRAMPの大小関係が逆転したことが確認された時点で、カウンタ802のカウントを停止し、その時のカウント値が、リセット信号レベルのデジタル信号値として、メモリ803に保持される。その後参照信号VRAMPが所定の下限値に達するまで遷移してT=t9でリセット信号のAD変換が終了する。
次に、T=t10でPTXをHiとしフォトダイオード201に蓄積された光電荷をフローティングディフュージョン203に転送開始する。さらにT=t11でPTXをLoとして電荷転送を終了する。
このような一連のプロセスで転送された電荷量に応じたフローティングディフュージョン203の電位変動が垂直出力線207に光信号レベル(光成分+ノイズ成分)として読み出され、列回路800に入力される。
続けて、T=t12〜t14において、光信号レベルのAD変換を行う。T=t12で参照信号VRAMPの出力遷移を開始し、同時にカウンタ802でのカウントを開始する。
T=t13で比較器801において光信号の出力電位Vlineと参照信号VRAMPの大小関係が逆転したことが確認された時点で、カウンタ802のカウントを停止し、その時のカウント値が、光信号レベルのデジタル信号値として、メモリ803に保持される。その後参照信号VRAMPが所定の下限値に達するまで遷移してT=t14で光信号のAD変換が終了する。
その後、T=t16でPRESをHiとし、フローティングディフュージョン203をリセット状態にする。
この後、センサ内信号処理回路804において、メモリ803に保持されたリセット信号及び光信号のデジタル信号値の差分をとることで相関二重サンプリング処理を行い、加えて、信号増幅、基準レベル調整などが施された後、再度メモリ803に保持される。
次に、メモリ803に保持された信号を、水平走査回路805により読み出す。T=t17〜t22の間に、順次PHA、PHBをHi、Loとしスイッチ807a、807bを動作させることで、列回路800ごとのメモリ803に保持された信号は、水平出力線806を通り、出力アンプ808から出力される。
図10は本発明の第2の実施形態における動画駆動時における画素信号読み出し方法を示すタイミングチャートである。この駆動タイミングは水平方向の画素信号の加算平均処理を行って読み出す形態である。
本発明の第2の実施形態における動画駆動時における画素信号読み出し方法は、図10で示す通り、図9を用いて説明した、本発明の第2の実施形態における静止画駆動時における画素信号読み出し方法に対して、複数列のクランプ容量C0308をショートするためのスイッチ319を制御するPHADD信号を駆動している点及び、列回路800b中のメモリ803に保持された信号を読み出すPHB信号を常時Loとしている点が異なるである。
このうち、PHADD信号の制御に関連する箇所に関しては、図5を用いて説明した本発明の第1の実施形態における動画駆動時の制御と同一であるため、詳細な説明は割愛する。
メモリ803に保持されたリセット信号及び光信号は、センサ内信号処理回路804において、それらのデジタル信号値の差分をとることで相関二重サンプリング処理を行い、加えて、信号増幅、基準レベル調整などが施される。この後、同じくセンサ内信号処理回路804において、後述の階調補正を行った後、再度メモリ803に保持される。その後、メモリ803に保持された信号を、水平走査回路805により読み出す。T=t17〜t22の間に、PHAをHi、Loとしスイッチ807aを動作させることで、列回路800aのメモリ803に保持された信号は水平出力線806を通り、出力アンプ808から出力される。この時、PHBはLoのままとし、スイッチ807bは動作させないことで、列回路800bのメモリ803に保持された信号は出力しない。
次に本発明の第2の実施形態における階調補正回路の構成と制御について、図11を用いて説明する。図11は本発明の第2の実施形態における階調補正回路の説明図である。
図11において、1101はAD変換器、1103は乗算器、1104は下位ビット選択部、1105は加算器である。AD変換器1101は撮像素子102の列回路800内部にあり、乗算器1103、下位ビット選択部1104、加算器1105は、同じく撮像素子102のセンサ内信号処理回路804内部にあるものとする。
垂直出力線207を介して出力されたアナログ信号である画像信号は、列回路800内部のAD変換器1101でAD変換され、複数ビットのデジタル画像信号に変換される。
垂直出力線207aを介して列回路800aに入力される画像信号Aは、AD変換器A1101aでAD変換される。 垂直出力線207bを介して列回路800bに入力される画像信号Bは、AD変換器B1101bでAD変換される。
続けてこれらのデジタル画像信号に対しては、センサ内信号処理回路804内部の乗算器1103で、デジタルゲイン処理が実施される。この際、画像信号Aのデジタル画像信号に対しては、乗算器1103aで所望のゲイン倍率をかけるデジタルゲイン処理を行うが、画像信号Bのデジタル画像信号に対しては、乗算器1103bではデジタルゲイン処理を行わず、1倍のまま出力する。
この際、乗算器1103aでは、ビットをシフトさせてゲイン処理をする方法を実施するため、ゲイン処理後の画像信号Aの信号値は、頻度に間隔があいた飛び飛びの値となり、この段階では階調が損なわれた画像信号となってしまっている。
乗算器1103bから出力されるデジタル画像信号は、下位ビット選択部1104において、列回路800aのデジタル画像信号Aに対して乗算器1103aで実施されるデジタルゲインの2のべき乗数に応じたビット数だけ下位ビットを残した値に変換される。具体的には、例えば乗算器1103aで実施されるデジタルゲインが2倍と設定されていた場合は、乗算器1103aでは2の1乗のゲインが乗算されるので、下位ビット選択部1104からは、乗算器1103bから出力されるデジタル画像信号の下位1ビットが出力される。また例えば、乗算器1103aで実施されるデジタルゲインが8倍と設定されていた場合は、乗算部1103aでは2の3乗のゲインが乗算されるので、下位ビット選択部1104からは、乗算器1103bから出力されるデジタル画像信号の下位3ビットが出力される。
なおこの下位ビット選択部1104からの出力信号は、もともと列回路800bに入力されるアナログ画像信号にはランダムノイズが含まれていることから、そのアナログ画像信号をAD変換して生成されたデジタル画像信号の下位ビットは、ランダムな値であると考えることができる。
乗算器1103aから出力された、列回路800aで生成された画像信号Aにデジタルゲイン処理を施されたデジタル画像信号と、下位ビット選択部1104から出力された、列回路800bから出力された画像信号Bの下位ビットだけ残されたデジタル信号とは、加算器1105で加算される。この加算器1105から出力される画像信号は、デジタルゲイン後の階調が損なわれたデジタル画像信号の下位ビットに、ランダムな値が付加された形になるため、この加算器1105から出力される画像信号が、結果として階調補正を実現された画像信号とすることができ、滑らかな階調の画像イメージを得ることが可能となる。
以上図1〜図11を用いて説明したように、本発明の第1及び第2の実施形態に係る撮像装置においては、水平加算平均処理を行う動画駆動時において、画像信号として出力する列回路とは別の列回路から出力されたデジタル信号の下位ビットを、ランダム信号として、デジタルゲイン処理後の画像信号に付与することで、特別な回路を用意することなく、階調を損ねないデジタルゲイン処理が可能な撮像装置を提供することができる。
(第3の実施形態)
次に、本発明にかかる撮像装置の第3の実施形態について説明する。本発明にかかる撮像装置の第3の実施形態は、本発明にかかる撮像装置の第2の実施形態の構成と同一の構成で、水平加算平均処理を行わない静止画駆動時においても、水平加算平均処理を行う動画駆動時と同様の階調補正を実現することを特徴とするものである。
次に、本発明にかかる撮像装置の第3の実施形態について説明する。本発明にかかる撮像装置の第3の実施形態は、本発明にかかる撮像装置の第2の実施形態の構成と同一の構成で、水平加算平均処理を行わない静止画駆動時においても、水平加算平均処理を行う動画駆動時と同様の階調補正を実現することを特徴とするものである。
なお、本発明の第3の実施形態における撮像装置の構成は、図7、図8を用いて説明した本発明の第2の実施形態の構成と同様のため、説明を省略する。
本発明の第3の実施形態における静止画駆動時における、読み出しタイミング及びその制御について、図12を用いて説明する。
図12は本発明の第3の実施形態における静止画駆動時における画素信号読み出し方法を示すタイミングチャートである。この駆動タイミングは水平方向の画素信号の加算平均処理を行わないで読み出す形態である。
なおT=t16までの駆動制御については、図9を用いて説明した本発明の第2の実施形態における静止画駆動時における画素信号読み出し方法と同一であるため、説明は割愛する。
T=t17〜t21において、階調補正に使用する補正用信号レベルのAD変換を行う。T=t17で比較器801のオペアンプ310の出力端子と接続されている側の入力を切り離し、代わりに補正用信号レベルとして使用する不図示の基準電源を比較器801の入力端子に接続する。続けてT=t18で、参照信号VRAMPの出力遷移を開始し、同時にカウンタ802でのカウントを開始する。
T=t19に比較器801において補正用信号レベルと参照信号VRAMPの大小関係が逆転したことが確認された時点で、カウンタ802のカウントを停止し、その時のカウント値が、補正用信号レベルのデジタル信号値として、メモリ803に保持される。その後参照信号VRAMPが所定の下限値に達するまで遷移してT=t20でリセット信号のAD変換が終了する。この際、補正用信号レベルはそのレベルはほとんど変動しないと考えられるため、設定する参照信号VRAMPの遷移の下限値は、リセット信号レベル及び光信号レベルのAD変換時に設定する遷移の下限値よりも大きい設定値と設定することで、補正用信号レベルのAD変換の所要時間を短縮させる。
この後、センサ内信号処理回路804において、メモリ803に保持されたリセット信号及び光信号のデジタル信号値の差分をとることで相関二重サンプリング処理を行い、加えて、信号増幅、基準レベル調整、及び後述の階調補正などが施された後、再度メモリ803に保持される。
次に、メモリ803に保持された信号を、水平走査回路805により読み出す。T=t21〜t26の間に、順次PHA、PHBをHi、Loとしスイッチ807a、807bを動作させることで、列回路800ごとのメモリ803に保持された信号は、水平出力線806を通り、出力アンプ808から出力される。
次に本発明の第3の実施形態における階調補正回路の構成と制御について、図13を用いて説明する。図13は本発明の第3の実施形態における階調補正回路の説明図である。
図13において、1301はAD変換器、1302は乗算器、1303は信号保持部、1304は下位ビット選択部、1305は加算器である。AD変換器1301は撮像素子102の列回路800内部にあり、乗算器1302、信号保持部1303、下位ビット選択部1304、加算器1305は、センサ内信号処理回路804内部にあるものとする。
垂直出力線207を介して出力されたアナログ信号である画像信号は、列回路800内部のAD変換器1101でAD変換され、複数ビットのデジタル画像信号に変換される。
先ず、図12のタイミングチャートを用いた説明の通り、リセット信号及び光信号がAD変換器1301でAD変換され、センサ内信号処理回路804内部に入力される。その後リセット信号及び光信号をCDS処理によりデジタル画像信号とした後、乗算器1302でデジタルゲイン処理が実施され、続けて信号保持部1303に入力され、保持される。
この乗算器1302で実施されるデジタルゲイン処理の1つとして、2のべき乗のゲインをかける方法である、デジタル信号のビットをシフトさせてゲイン処理をする方法を実施する。具体的には、各ビットの画像信号を下位ビットから上位ビットにシフトさせることにより、画像信号が2のべき乗数に増幅される。この場合は、ビットシフトさせた後の下位ビットには入力すべき情報がないため、多くは‘0’などの固定値を入力することが多い。この際、乗算器1302から出力されるデジタルゲイン処理後の画像信号値は、頻度に間隔があいた飛び飛びの値となり、この段階では階調が損なわれた画像信号となってしまっている。
続けて補正用信号がAD変換器1301でAD変換され、デジタル信号としてセンサ内信号処理回路804内部に入力され、下位ビット選択部604において、デジタル画像信号に対して乗算器1302で実施されるデジタルゲインの、2のべき乗数に応じたビット数だけ下位ビットを残した値に変換される。
なおこの下位ビット選択部604からの出力信号は、補正用信号レベルとして使用する基準電源にはランダムノイズが含まれていることから、そのアナログ画像信号をAD変換して生成されたデジタル画像信号の下位ビットは、ランダムな値であると考えることができる。
信号保持部1303に保持されているデジタル画像信号と、下位ビット選択部1304から出力された、補正用信号の下位ビットだけ残されたデジタル信号とは、加算器1305で加算される。この加算器1305から出力される画像信号は、デジタルゲイン後の階調が損なわれたデジタル画像信号の下位ビットに、ランダムな値が付加された形になるため、この加算器1305から出力される画像信号が、結果として階調補正を実現された画像信号とすることができ、滑らかな階調の画像イメージを得ることが可能となる。
以上図12及び図13を用いて説明したように、本発明の第3の実施形態に係る撮像装置においては、垂直加算を行わない静止画駆動時においても、特別な回路を追加することなく、階調補正を実現可能としている。
(第4の実施形態)
次に、本発明にかかる撮像装置の第3の実施形態について説明する。本発明にかかる撮像装置の第4の実施形態は、本発明にかかる撮像装置の第2の実施形態の構成と同一の構成で、水平加算平均処理を行わない静止画駆動時においても、階調補正を行わない場合と比べて多くの時間を費やすことなく、水平加算平均処理を行う動画駆動時と同様の階調補正を実現することを特徴とするものである。
次に、本発明にかかる撮像装置の第3の実施形態について説明する。本発明にかかる撮像装置の第4の実施形態は、本発明にかかる撮像装置の第2の実施形態の構成と同一の構成で、水平加算平均処理を行わない静止画駆動時においても、階調補正を行わない場合と比べて多くの時間を費やすことなく、水平加算平均処理を行う動画駆動時と同様の階調補正を実現することを特徴とするものである。
なお、本発明の第4の実施形態における撮像装置の構成は、図7、図8を用いて説明した本発明の第2の実施形態の構成と同様であり、かつ、静止画駆動時における、読み出しタイミング及びその制御も図9を用いて説明した本発明の第2の実施形態の読み出しタイミングと同様であるため、説明を省略する。
本発明の第4の実施形態における階調補正回路の構成と制御について、図14を用いて説明する。図14は本発明の第3の実施形態における階調補正回路の説明図である。
図13において、1401はAD変換器、1402はリセット信号(N信号)保持部、1403は光信号(S信号)保持部、1404は差分器、1405は乗算器、1406は下位ビット選択部、1407は加算器である。AD変換器1401は撮像素子102の列回路800内部にあり、N信号保持部1402、S信号保持部1403、差分器1404、乗算器1405、下位ビット選択部1406、加算器1407は、センサ内信号処理回路804内部にあるものとする。
垂直出力線207を介して出力されたアナログ信号である画像信号は、列回路800内部のAD変換器1401でAD変換され、複数ビットのデジタル画像信号に変換される。
先ず、図9のタイミングチャートを用いた説明の通り、リセット信号がAD変換器1401でAD変換され、センサ内信号処理回路804内部に入力され、N信号保持部1402で保持される。続けて、光信号がAD変換器1401でAD変換され、センサ内信号処理回路804内部に入力され、S信号保持部1403で保持される。
その後、N信号保持部1402に保持されたリセット信号とS信号保持部1403に保持された光信号を、差分器1404で差分処理(CDS処理)される。
その後、差分器1404で差分処理されたデジタル画像信号に対し、乗算器1405でデジタルゲイン処理が実施される。
この乗算器1405で実施されるデジタルゲイン処理の1つとして、2のべき乗のゲインをかける方法である、デジタル信号のビットをシフトさせてゲイン処理をする方法を実施する。具体的には、各ビットの画像信号を下位ビットから上位ビットにシフトさせることにより、画像信号が2のべき乗数に増幅される。この場合は、ビットシフトさせた後の下位ビットには入力すべき情報がないため、多くは‘0’などの固定値を入力することが多い。この際、乗算器1405から出力されるデジタルゲイン処理後の画像信号値は、頻度に間隔があいた飛び飛びの値となり、この段階では階調が損なわれた画像信号となってしまっている。
続けてN信号保持部1402で保持されているデジタル信号を下位ビット選択部1406に入力し、デジタル画像信号に対して乗算器1405で実施されるデジタルゲインの、2のべき乗数に応じたビット数だけ下位ビットを残した値に変換する。
なおこの下位ビット選択部1406からの出力信号は、リセット信号レベルにはランダムノイズが含まれていることから、そのリセット信号をAD変換して生成されたデジタル画像信号の下位ビットは、ランダムな値であると考えることができる。
乗算器1405でデジタルゲイン処理されたデジタル画像信号と、下位ビット選択部1406から出力された、補正用信号の下位ビットだけ残されたデジタル信号とは、加算器1407で加算される。この加算器1407から出力される画像信号は、デジタルゲイン後の階調が損なわれたデジタル画像信号の下位ビットに、ランダムな値が付加された形になるため、この加算器1407から出力される画像信号が、結果として階調補正を実現された画像信号とすることができ、滑らかな階調の画像イメージを得ることが可能となる。
以上図14を用いて説明したように、本発明の第4の実施形態に係る撮像装置においては、垂直加算を行わない静止画駆動時においても、特別な回路を追加することなく、また、補正を行わない場合と比べて多くの時間を費やすことなく、階調補正を実現可能としている。
なお、図14を用いて説明した本発明の第4の実施形態の説明においては、階調補正時にランダムノイズ成分として付与する補正用デジタル信号として、リセット信号(N信号)の下位ビットを使用するような構成として説明したが、本発明はこれに限定されず、光信号(S信号)の下位ビットを使用するような構成であるとしても構わない。
以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明の実施形態においては、水平画素加算を実施するモードを動画駆動モードとして説明をしてきたが、本発明はこれに限定されず、例えば動画モードの代わりに、撮像装置によって得られた画像信号を、表示装置にリアルタイムに表示するライブビュー駆動に置き換えても構わない。
また、本発明の実施形態においては、動画駆動モード時は水平方向に画素加算平均処理を行う構成として説明してきたが、本発明はこれに限定されず、水平方向に列を間引いて読み出すような構成としても構わない。この場合、間引き対象となる列の列回路からの出力の下位ビットを用いて階調補正を行う構成となる。
また、本発明の実施形態においては、階調補正に使用するランダムノイズ成分を有するアナログ信号として、各単位画素200から垂直出力線207を介して出力されるアナログ画像信号を該当の列回路に入力して使用する構成としたが、本発明はこれに限定されず、基準電源電位やGND電位などを該当の列回路に入力するような構成としても良いし、該当の列回路の入力をどこにもつなげずOPENな状態とした構成としても構わない。
101:撮影レンズ、102:撮像素子、103:アナログ信号処理回路(AFE)、
104:デジタル信号処理回路(DFE)、105:メモリ回路、106:記録回路、
107:制御回路、108:走査回路、109:表示回路、200:単位画素、
201:フォトダイオード、202:転送スイッチ、
203:フローティングディフュージョン、204:リセットスイッチ、
205:ソースフォロアアンプ、206:セレクトスイッチ、207:垂直出力線、
208:基準電位VDD、301:垂直走査回路、302:垂直出力線、
303:列回路、304、805:水平走査回路、
305、306、806:水平出力線、307、808:出力アンプ、
308:クランプ容量(C0)、309:フィードバック容量(Cf)、
310:オペアンプ、311:基準電源、312:C0リセットスイッチ、
313、314:信号電圧保持容量、
315、316:信号電圧保持容量書き込みスイッチ、
317、318、807:水平転送スイッチ、319:水平加算平均スイッチ、
801:比較器、802:カウンタ、803:メモリ、
804:センサ内信号処理回路、601、1101:AD変換器、
602:信号保持部、603、1103:乗算器、
604、1104:下位ビット選択部、605、1105:加算器
104:デジタル信号処理回路(DFE)、105:メモリ回路、106:記録回路、
107:制御回路、108:走査回路、109:表示回路、200:単位画素、
201:フォトダイオード、202:転送スイッチ、
203:フローティングディフュージョン、204:リセットスイッチ、
205:ソースフォロアアンプ、206:セレクトスイッチ、207:垂直出力線、
208:基準電位VDD、301:垂直走査回路、302:垂直出力線、
303:列回路、304、805:水平走査回路、
305、306、806:水平出力線、307、808:出力アンプ、
308:クランプ容量(C0)、309:フィードバック容量(Cf)、
310:オペアンプ、311:基準電源、312:C0リセットスイッチ、
313、314:信号電圧保持容量、
315、316:信号電圧保持容量書き込みスイッチ、
317、318、807:水平転送スイッチ、319:水平加算平均スイッチ、
801:比較器、802:カウンタ、803:メモリ、
804:センサ内信号処理回路、601、1101:AD変換器、
602:信号保持部、603、1103:乗算器、
604、1104:下位ビット選択部、605、1105:加算器
Claims (6)
- 露光した光信号を電気信号へと変換する2次元に配置された複数の画素と、
前記複数の画素のうち共通の列の画素に接続された垂直出力線と、
前記垂直出力線毎に接続された複数の列回路とを有する固体撮像素子と、
前記列回路から出力されるアナログ画像信号をデジタル信号に変換するAD変換器と、
前記AD変換器でデジタル信号に変換されたデジタル画像信号を増幅するデジタルゲイン部と、
を備えた撮像装置であって、
前記列回路は、その出力を撮像信号として出力する第1の列回路群と、その出力を撮像信号として出力しない第2の列回路群とで構成され、
前記撮像装置は、前記第1の列回路群からの出力信号を前記AD変換器でデジタル信号に変換し、前記デジタルゲイン部で増幅したデジタル画像信号に対して、前記第2の列回路群からの出力信号を前記AD変換器でデジタル信号に変換したデジタル補正信号の下位数ビットを加算する加算器を有することを特徴とする撮像装置。 - 前記デジタルゲイン機能によるデジタルゲインは、デジタル信号のビットをシフトさせてゲイン処理を行うことを特徴とする請求項1に記載の撮像装置。
- 前記加算器は、加算する前記デジタル補正信号の下位ビット数を、前記デジタルゲイン部で行ったビットシフト数と同数とすることを特徴とする請求項2に記載の撮像装置。
- 前記撮像装置は、前記2次元に配置された複数画素からの画像信号を水平方向に加算もしくは間引きを行う水平加算機能もしくは水平間引き機能を有し、前記加算器による加算は、前記水平加算機能もしくは水平間引き機能を実行した際に行うことを特徴とする請求項1に記載の撮像装置。
- 露光した光信号を電気信号へと変換する2次元に配置された複数の画素と、
前記複数の画素のうち共通の列の画素に接続された垂直出力線と、
前記垂直出力線毎に接続された複数の列回路とを有する固体撮像素子と、
前記列回路から出力されるアナログ画像信号をデジタル信号に変換するAD変換器と、
前記AD変換器でデジタル信号に変換されたデジタル画像信号を増幅するデジタルゲイン部と、
を備えた撮像装置であって、
前記撮像装置は、前記AD変換器に撮像信号として使用する信号を入力した際に出力されるデジタル信号を前記デジタルゲイン部で増幅したデジタル画像信号に対して、前記AD変換器に撮像信号として使用しない信号を入力した際に出力されるデジタル補正信号の下位数ビットを加算する加算器を有することを特徴とする撮像装置。 - 前記撮像装置は、CDS処理のために、前記画素がリセットされた状態で前記垂直出力線に第1の信号を出力し、前記画素が露光した光量に準ずる信号を出力する状態で前記垂直出力線に第2の信号を出力し、前記AD変換器に撮像信号として使用する信号を入力した際に出力されるデジタル信号を前記デジタルゲイン部で増幅したデジタル画像信号に対して、前記AD変換器に前記第1の信号もしくは前記第2の信号を入力した際に出力されるデジタル補正信号の下位数ビットを加算する加算器を有することを特徴とする請求項5に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014084141A JP2015204583A (ja) | 2014-04-16 | 2014-04-16 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014084141A JP2015204583A (ja) | 2014-04-16 | 2014-04-16 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015204583A true JP2015204583A (ja) | 2015-11-16 |
Family
ID=54597789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014084141A Pending JP2015204583A (ja) | 2014-04-16 | 2014-04-16 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015204583A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113906733A (zh) * | 2019-08-01 | 2022-01-07 | 松下知识产权经营株式会社 | 摄像装置和摄像装置的驱动方法 |
-
2014
- 2014-04-16 JP JP2014084141A patent/JP2015204583A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113906733A (zh) * | 2019-08-01 | 2022-01-07 | 松下知识产权经营株式会社 | 摄像装置和摄像装置的驱动方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10038868B2 (en) | Solid-state image sensing device and electronic device | |
JP4771535B2 (ja) | 撮像装置及び制御方法 | |
JP5988744B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP6164867B2 (ja) | 固体撮像装置、その制御方法、および制御プログラム | |
JP2008259179A (ja) | 固体撮像装置及び固体撮像装置の駆動方法 | |
JP6272085B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6525539B2 (ja) | 撮像素子及び撮像装置 | |
WO2011083541A1 (ja) | 固体撮像装置および撮像装置 | |
JP2012227590A (ja) | 固体撮像素子および撮像装置 | |
US10425605B2 (en) | Image sensor and image capturing apparatus | |
JP6750852B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5906596B2 (ja) | 撮像装置 | |
JP2007143067A (ja) | 撮像装置及び撮像システム | |
WO2021014999A1 (ja) | 固体撮像装置およびその駆動方法、並びに電子機器 | |
JP2015204583A (ja) | 撮像装置 | |
JP2014107739A (ja) | 撮像装置及びその制御方法 | |
JP6213596B2 (ja) | 撮像装置 | |
JP2020182057A (ja) | 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体 | |
WO2024070285A1 (ja) | 撮像装置及び撮像素子の制御方法、及び電子機器 | |
JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 | |
JP2009225341A (ja) | 固体撮像装置及びその駆動方法 | |
JP6389693B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2018019268A (ja) | 撮像装置、撮像システムおよび撮像装置の駆動方法 | |
JP6399793B2 (ja) | 撮像装置及び撮像装置の駆動方法 |