JP2010063156A - Solid-state imaging device - Google Patents
Solid-state imaging device Download PDFInfo
- Publication number
- JP2010063156A JP2010063156A JP2009276812A JP2009276812A JP2010063156A JP 2010063156 A JP2010063156 A JP 2010063156A JP 2009276812 A JP2009276812 A JP 2009276812A JP 2009276812 A JP2009276812 A JP 2009276812A JP 2010063156 A JP2010063156 A JP 2010063156A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- unit
- signal
- solid
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ビデオカメラ等に用いられる固体撮像装置に関する。 The present invention relates to a solid-state imaging device used for a video camera or the like.
ビデオカメラ等で用いられている固体撮像装置の画素信号に重畳されるノイズは、時間的及び空間的にランダムに発生するランダムノイズと、出力画面の同じ場所に縦縞、横縞などの固定パタンとして発生する固定パタンノイズとに大別できる。ランダムノイズは、画面全体にすりガラスを通したときのようなムラ状のノイズとして現れ、光ショットノイズや熱雑音などを発生原因とし、環境温度などで容易に変化する。一方、固定パタンノイズは、固体撮像装置の画素を構成する回路や、読み出し回路などの電気特性上のアンバランスに起因して生じるものが多い。特に、画素列ごとに異なる固定パタンノイズが発生すると、出力画面には縦縞となって現れ、目につきやすい。 Noise superimposed on pixel signals of solid-state imaging devices used in video cameras, etc., is generated as random noise generated randomly in time and space, and as fixed patterns such as vertical stripes and horizontal stripes at the same location on the output screen. It can be roughly divided into fixed pattern noise. Random noise appears as uneven noise when passing through ground glass over the entire screen, causes light shot noise, thermal noise, and the like, and easily changes depending on the environmental temperature. On the other hand, the fixed pattern noise is often caused by an imbalance in electrical characteristics such as a circuit constituting a pixel of a solid-state imaging device and a readout circuit. In particular, when different fixed pattern noise occurs for each pixel column, it appears as vertical stripes on the output screen and is easily noticeable.
このような画素列ごとに異なる固定パタンノイズ成分を除去するために、以下のような技術が知られている。まず、光電変換可能な画素が接続されていないダミーラインからの信号(以下、ノイズ測定信号という)を出力させ、そのノイズ測定信号から固定パタンノイズ成分を検出して保持させておく。次に、撮像時の画素信号(以下、有効画素信号)が出力されたときに、この有効画素信号から、検出した固定パタンノイズ成分を減算してノイズ成分をキャンセルする。 In order to remove such fixed pattern noise components that differ for each pixel column, the following techniques are known. First, a signal (hereinafter referred to as a noise measurement signal) from a dummy line to which no pixel capable of photoelectric conversion is connected is output, and a fixed pattern noise component is detected and held from the noise measurement signal. Next, when a pixel signal at the time of imaging (hereinafter referred to as an effective pixel signal) is output, the detected fixed pattern noise component is subtracted from the effective pixel signal to cancel the noise component.
さらに、暗電流の影響を受けることなく読み出し用トランジスタの行方向のばらつきを反映した固定パタンノイズ成分を検出する技術が知られている(例えば、特許文献1参照)。特許文献1は、フォトダイオードが省略され増幅用トランジスタとリセット用トランジスタとで構成された非有効画素をダミーラインとして用い、固定パタンノイズ成分を精度よくキャンセルする。
Further, a technique for detecting a fixed pattern noise component that reflects the variation in the row direction of the reading transistor without being affected by dark current is known (see, for example, Patent Document 1).
特許文献1に記載された技術では、ノイズ測定信号を出力するダミーラインの行数をMの2乗行以上とし、画素列ごとにノイズ測定信号を平均化することによって、ノイズ測定信号に重畳されるランダムノイズ成分を全ノイズ成分の1/M倍以下に抑制する。また、ランダムノイズ成分が全ノイズ成分の1/4以下であればランダムノイズは表示画面上で認識できないとしている。また、複数フレームのノイズ測定信号を平均化することによって、より少ない行数のダミーラインでも同様な効果が得られるとしている。
また、複数の駆動モードを備える固体撮像装置が知られている。
In the technique described in
A solid-state imaging device having a plurality of drive modes is known.
ところで、特許文献1においては駆動モードを切り換えた際に如何なるタイミングでノイズ測定信号を取得するのかが明らかにされていない。
Incidentally, in
また、近年の固体撮像装置における低ノイズ化への要求から、さらに多くのノイズ測定信号を平均化することが求められており、上述のMが4、すなわち16行分のダミーラインからのノイズ測定信号では十分ではないことがある。 Further, due to the recent demand for noise reduction in solid-state imaging devices, it is required to average more noise measurement signals, and the above-mentioned M is 4, that is, noise measurement from 16 dummy lines. The signal may not be enough.
本発明の目的は、駆動モードを切り換えた場合でも、ノイズ測定信号を取得する好適な動作を行う固体撮像装置を提供することである。 An object of the present invention is to provide a solid-state imaging device that performs a suitable operation for acquiring a noise measurement signal even when the drive mode is switched.
本発明の固体撮像装置は、入射光を電荷に変換する光電変換部を含む有効画素が行列配置された有効画素部と、光電変換部を含まない非有効画素が少なくとも1行配置された非有効画素部と、前記非有効画素部の画素を行毎に選択する非有効画素行選択部と、を有し、前記有効画素部に基づく第1の信号及び前記非有効画素部に基づく第2の信号を出力する固体撮像装置であって、さらに、該固体撮像装置の駆動モードを切り換えるための第3の信号を外部から受ける入力部を有し、前記非有効画素行選択部は、前記駆動モード切り換え端子が前記第3の信号を受けた直後から前記第1の信号が出力されるまでの期間に、前記非有効画素部の画素を選択して前記第2の信号を出力させ続けることを特徴とする。 The solid-state imaging device according to the present invention has an effective pixel unit in which effective pixels including a photoelectric conversion unit that converts incident light into electric charges are arranged in a matrix, and an ineffective in which at least one row of ineffective pixels not including the photoelectric conversion unit is arranged. A non-effective pixel row selection unit that selects a pixel of the non-effective pixel unit for each row, and a first signal based on the effective pixel unit and a second signal based on the non-effective pixel unit A solid-state imaging device that outputs a signal, and further includes an input unit that receives a third signal for switching a driving mode of the solid-state imaging device from the outside, and the ineffective pixel row selection unit includes the driving mode In a period from immediately after the switching terminal receives the third signal to when the first signal is output, the pixels in the ineffective pixel portion are selected and the second signal is continuously output. And
本発明によれば、駆動モードを切り換えた場合でも、例えばノイズ測定信号等の第2の信号を取得する好適な動作を行う固体撮像装置を提供することができる。 According to the present invention, it is possible to provide a solid-state imaging device that performs a suitable operation of acquiring a second signal such as a noise measurement signal even when the drive mode is switched.
以下に図面を用いながら本発明の好適な実施形態について説明を行う。
(第1の実施形態)
本発明の第1の実施形態にかかる固体撮像装置の駆動方法に関し、図1に固体撮像装置の構成例を示し、図2に撮像システムの構成例を示す。そして図3に本実施形態にかかる固体撮像装置の駆動方法によるタイミングチャートを示す。
Preferred embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 shows a configuration example of a solid-state imaging device, and FIG. 2 shows a configuration example of an imaging system regarding a method for driving a solid-state imaging device according to the first embodiment of the present invention. FIG. 3 shows a timing chart according to the driving method of the solid-state imaging device according to the present embodiment.
図1に示す固体撮像装置1は、画素部2と、垂直駆動部4と、ラインメモリ部31と、水平走査部32と、増幅器33と、垂直駆動部4とラインメモリ31と水平走査部32とを制御するタイミング生成部5と、通信部6とを備える。画素部2は、2次元に配列された複数の画素で構成される。タイミング生成部は固体撮像装置を2以上の駆動モードで駆動させる駆動モード選択部であり、垂直同期信号や水平同期信号などを生成する。ラインメモリ部31は、垂直駆動部4からの制御信号に基づいて選択された1行の複数の画素各々から読み出した画素信号を記憶する。水平走査部32は、ラインメモリ部31に記憶された画素信号を順次転送する。増幅器33は、読み出された画素信号を増幅する。画素部2は、入射光を電荷に変換するフォトダイオードを有する有効画素211で構成される有効画素部21と、フォトダイオードが省略された非有効画素221で構成される非有効画素部22とで構成される。非有効画素部22は複数の行で構成されていても、1行で構成されていても構わない。図1では、垂直駆動部4は、電子シャッタ走査部41、読み出し行走査部42及び非有効画素行選択部43とで構成されているが、電子シャッタ走査と読み出し行走査が共通の走査部で構成されていても構わない。また、非有効画素行選択部43は読み出し行走査と共通の走査部で構成されていても構わない。
The solid-
また、固体撮像装置1は外部から第3の信号である駆動モードを切り換えるための信号を受ける不図示の端子(入力部)を備えている。第3の信号を受けると、例えばタイミング生成部5は、垂直駆動部4や水平走査部32などを駆動するタイミングを変えたり、増幅器のゲインを変えたりする。
In addition, the solid-
固体撮像装置1の動作について説明する。有効画素211の各々に光が入射されると、有効画素211のフォトダイオードは光電変換によって生成された電荷を蓄積する。まず読み出し動作に先立って、電子シャッタ動作を行う。電子シャッタ走査部41により選択された1行の、画素211のフォトダイオードに蓄積された電荷がリセット電位にリセットされた後、再度電荷の蓄積を開始する。次に、光量に応じた蓄積時間の経過後、読み出し行走査部42により再度選択された行の画素211に蓄積された電荷が読み出されラインメモリ部31に格納される。次に水平走査部32はタイミング生成部5からの水平転送パルスに基づいて、ラインメモリ部31に読み出された画素信号を順次、選択して、増幅器33へ出力する。増幅器33は、入力された画素信号を増幅して出力する。
The operation of the solid-
電子シャッタ走査部41のリセット行選択と、読み出し行走査部42の読み出し行選択とを、同じタイミングで順次行うことで画素部2の各行の蓄積時間は一定に制御される。そして、電子シャッタ走査及び読み出し走査と、水平走査を繰返し、1画面分の画素信号の読み出しが完了する。
By sequentially performing reset row selection of the electronic
有効画素部21における垂直方向の画素加算は、以下のように行う。読み出し行走査部42が選択した行を読み出してラインメモリ部31に格納後、さらに読み出し行走査部42が加算対象行を選択し、ラインメモリ部31に加算対象行の画素信号を読み出し、ラインメモリ部31で信号加算を行う。加算された画素信号は、水平走査部32によって順次選択され、増幅器33によって信号増幅された後出力される。
The pixel addition in the vertical direction in the
一方、非有効画素行選択部43は、読み出し行走査部42が有効画素部21の行を選択していない期間に、電子シャッタ走査と同じタイミングで非有効画素221の行を選択し、非有効画素信号をラインメモリ部31に格納する。ラインメモリ部31に読み出された非有効画素信号は、水平走査部32によって順次選択され、増幅器33によって信号増幅された後、ノイズ測定信号として出力される。
On the other hand, the non-valid pixel
次に、図2に示す撮像システムの構成例について説明する。7はAD(アナログデジタル)変換器であり、固体撮像装置1から出力されたアナログ信号である第1の信号である画像信号を、公知のアナログ信号処理を施すことによりデジタル信号に変換する。8は信号処理部であり、AD変換器7でデジタル信号に変換された画像信号の、固定パタンノイズ成分を減算し、キャンセルする。82は固定パタンノイズ成分検出部であり、ラインメモリ821と平均化手段822とを有し、入力された複数行の第2の信号であるノイズ測定信号を平均化し、ランダムノイズ成分を抑制した固定パタンノイズ成分をラインメモリ821に格納する。81は演算器であり、有効画素部21の画像信号から、ラインメモリ821に格納された固定パタンノイズ成分の減算を行う。また、9はCPUであり、10はスイッチユニットである。スイッチユニット10は、撮像条件を設定するために操作されるスイッチや、撮像準備動作及び撮像動作を開始させるために操作されるスイッチを含む。11はEVF(エレクトロニックビューファインダ)等の映像表示部であり、信号処理部8にて生成された表示用画像データを用いて表示を行う。12は画像記録部であり、信号処理部8にて生成された記録用画像データをカメラ本体の内部メモリ、あるいは、カメラ本体に着脱可能な記録媒体に記録する。
Next, a configuration example of the imaging system illustrated in FIG. 2 will be described. Reference numeral 7 denotes an AD (analog-digital) converter, which converts an image signal that is a first signal that is an analog signal output from the solid-
次に図3に示すタイミングチャートを用いて、本実施形態の固体撮像装置の駆動方法について説明する。図3(a)は固体撮像装置1の駆動モードを示す。ここで駆動モードとは、固体撮像装置1の駆動方法のことを表し、この駆動モードは、画素加算の有無、画素加算有りの場合の加算する画素数などにより異なる。また図3(b)はタイミング生成部5に入力される同期信号を示し、図3(c)は図3(a)に示す駆動モードにおいて、図3(b)に示す同期信号に対応した、固体撮像装置1の垂直駆動部4の動作を示す。図3(d)は図3(c)に示す垂直駆動部4の動作に対応して、画素部2が垂直方向に行毎に走査される様子を示す。読み出し行に対応する走査は、水平ブランキング期間と水平転送期間とで成る。水平ブランキング期間は、読み出し行走査部42あるいは非有効画素行選択部43によって選択された行の画素から画素信号をラインメモリ31に読み出す期間を示す。水平転送期間は、水平走査部32によってラインメモリ31から読み出す期間を示す。駆動モードが垂直3画素加算モードの場合、1行目をラインメモリ31に読み出す水平ブランキング期間と、2行目をラインメモリ31に読み出す水平ブランキング期間と、3行目をラインメモリ31に読み出す水平ブランキング期間と、水平転送期間とを繰返す。その水平転送期間では、ラインメモリ31上で加算された3画素の信号を順次読み出す。また電子シャッタ行に対応する走査は、電子シャッタ走査部41によって順次選択された行の、フォトダイオードがリセットされるタイミングを示す。図3(e)は固体撮像装置1からの信号出力を示しており、図3(d)に示す読み出し行走査及び水平走査に対応して出力される信号を示している。有効画素行走査が終了後、次のフレームの垂直同期信号VDがタイミング生成部5に入力されるまでの期間は、非有効画素行が選択され続け、非有効画素信号すなわちノイズ測定信号が出力される。ここで、垂直同期信号VDがタイミング生成部5に入力されてから次の垂直同期信号VDが入力されるまでの期間を1フレーム期間と呼ぶ。したがって、駆動モードを変更した直後のフレーム期間では非有効画素行の画素からの信号のみが出力されるとも言える。また、駆動モードを変更した直後のフレーム期間におけるノイズ測定信号は、変更された駆動モードでの水平同期信号HDに従って出力される。つまり、駆動モードを変更した直後のフレーム期間に出力されるノイズ測定信号の行数は、変更された駆動モードにおける1フレーム期間中に読み出(出力)される有効画素行の数に等しい。
Next, a driving method of the solid-state imaging device according to the present embodiment will be described using the timing chart shown in FIG. FIG. 3A shows a driving mode of the solid-
ここで、時刻T0においてスイッチ操作などによって固体撮像装置の駆動モードの変更が必要となると、CPU9は直ちに固体撮像装置1と通信を行い、固体撮像装置1の駆動モードの変更を行う。例えば、3画素加算読み出し駆動モード(画素加算モード)から全画素読み出し駆動モード(全画素読み出しモード)へ変更する。全画素読み出し駆動モードでは、画素加算を行わない。時刻T1において垂直同期信号VDがタイミング生成部5に入力されると、固体撮像装置1は変更された駆動モード(ここでは全画素読み出し駆動モード)で動作を開始する。このとき、固体撮像装置1は、垂直駆動部4の非有効画素行選択部43によって非有効画素行を選択し、非有効画素信号すなわちノイズ測定信号の出力を開始する。そして時刻T3において、次の垂直同期信号VDがタイミング生成部5に入力されるまで、非有効画素行選択部43は非有効画素行の選択を繰返し、1フレームの行数以上のノイズ測定信号を出力する。また時刻T2において、電子シャッタ走査部41は、1フレーム目の電子シャッタ走査を開始する。次に時刻T3において、垂直同期信号VDがタイミング生成部5に入力されると、固体撮像装置1は、垂直駆動部4の読み出し行走査部42によって、有効画素行の走査を開始し、1フレーム目の撮像信号の出力を開始する。時刻T2から時刻T3までが、1フレーム目の有効画素における蓄積時間となる。そして有効画素行の走査が完了した時刻T5から、固体撮像装置1は、垂直駆動部4の非有効画素行選択部43によって非有効画素行を選択し、非有効画素信号すなわちノイズ測定信号の出力を開始する。そして時刻T6において、次の垂直同期信号VDがタイミング生成部5に入力されるまで、非有効画素行選択部43は非有効画素行の選択を複数回繰返し、ノイズ測定信号を出力する。また時刻T4において、電子シャッタ走査部41は、2フレーム目の電子シャッタ走査を開始する。以降、T3〜T6までの固体撮像装置の駆動を繰り返すことによって、動画としての撮像信号を得る。
Here, when it is necessary to change the driving mode of the solid-state imaging device by a switch operation or the like at time T0, the CPU 9 immediately communicates with the solid-
なお、図3(d)では、非有効画素行は1行を繰り返し読み出す駆動方法を記載したが、非有効画素部22が複数行で構成されている場合は、非有効画素部22の読み出す行の走査を繰り返し行うようにしてもよい。
In FIG. 3D, the driving method in which one non-effective pixel row is repeatedly read is described. However, when the
また、ノイズ測定信号を取得するダミーライン(非有効画素部の行)の数は、読み出し行(有効画素部の行)の総数に対して1/10以下程度であればランダムノイズ成分を十分に低減することができる。100行程度や100行以下のダミーライン(非有効画素部の行)を設けて、非有効画素部22の走査を繰り返し行うような動作を行っても良い。ダミーラインの数は100以下が好ましい。これにより、ダミーラインを設けることによる固体撮像装置の面積の増大を抑制しつつ、ダミーライン間の特性差によるばらつきも平均化することができる。さらに、ダミーラインを配置する領域は、図1で示した領域に限定されず、読み出し行の上部に設けられてもよい。以上は、後述する他の実施形態においても同様である。
In addition, if the number of dummy lines (rows of ineffective pixel portions) for acquiring noise measurement signals is about 1/10 or less of the total number of readout rows (rows of effective pixel portions), random noise components can be sufficiently obtained. Can be reduced. An operation may be performed in which dummy lines (rows of ineffective pixel portions) of about 100 rows or less are provided and scanning of the
本実施形態において、駆動モードの変更とは加算を行うか否かの違いであるが、図3中のHD、VDの間隔で示される各期間で行われる動作が切り換えることも駆動モードの変更である。例えば図3においては時刻T0の以前では水平同期信号HDの間隔には3行分の水平ブランキング期間と1行分の水平転送期間が設けられている。これに対して、駆動モードが切り換わった時刻T1以降では、水平同期信号HDの間隔は狭まり、水平ブランキング期間及び水平転送期間はそれぞれ1行分ずつしか設けられていない。HDの期間に行う動作が変わることに伴って、VDの期間に行われる動作も変更される。また、有効画素部の全ての画素から信号を読み出す全画素読み出しモード以外にも、信号を読み出す画素を低い密度で選択する間引き読み出しモードや一部の領域のみから信号を読み出す切り出し読み出しモード等に切り換えることによっても駆動モードは変更される。 In the present embodiment, the change in the drive mode is the difference in whether or not addition is performed, but the operation performed in each period indicated by the HD and VD intervals in FIG. 3 can also be switched by changing the drive mode. is there. For example, in FIG. 3, before the time T0, a horizontal blanking period for three rows and a horizontal transfer period for one row are provided in the interval of the horizontal synchronization signal HD. On the other hand, after the time T1 when the drive mode is switched, the interval of the horizontal synchronization signal HD is narrowed, and the horizontal blanking period and the horizontal transfer period are provided for only one row each. As the operation performed during the HD period is changed, the operation performed during the VD period is also changed. In addition to the all-pixel readout mode for reading out signals from all the pixels in the effective pixel portion, the mode is switched to a thinning-out readout mode for selecting signals to be read out at a low density, a cutout readout mode for reading out signals from only a part of the area, This also changes the drive mode.
この他、画素部の列に対応して設けられたゲイン可変の増幅器(列増幅部)を有する固体撮像装置における増幅器のゲインの変更など、各列の特性に変更をもたらすことも駆動モードの変更に含まれる。 In addition, it is possible to change the characteristics of each column, such as changing the gain of the amplifier in a solid-state imaging device having a variable gain amplifier (column amplification unit) provided corresponding to the column of the pixel unit. include.
固体撮像装置1から出力されるノイズ測定信号は、信号処理部8の固定パタンノイズ成分検出部82に入力される。平均化手段822にて、画素列ごとに、入力された非有効画素行分、平均化が行われ、ラインダムノイズ成分が抑制された固定パタンノイズ成分が検出される。その固定パタンノイズは、ラインメモリ821に格納される。演算器81は、有効画素部21の画像信号から、ラインメモリ821に格納された固定パタンノイズを減算し、固定パタンノイズを除去する。
The noise measurement signal output from the solid-
先述の通り特許文献1には、固定パタンノイズ成分の検出を複数のフレームで行ってもよいことが記載されている。この動作を駆動モードの切り換えを行った場合に適用したタイミングチャートを図8に示し、本発明の本実施形態と異なる点を説明する。
As described above,
駆動モード切り換わり後の1フレーム目の画像信号出力開始タイミングである時刻T106より前にノイズ測定信号を得るため、時刻T101からT102まで非有効画素行の走査を複数フレームにわたって行う。そして時刻T103から有効画素行の読み出し走査を開始するが、時刻T103以前に電子シャッタ走査が行われていないため、時刻T103から出力される画像信号は画素の蓄積時間の制御が行われていない。そのため、得られる画像は行によって明るさが異なったり、他のフレームの画像と比較して明るさが異なってしまう。このため、時刻T103から出力される画像信号は利用することができない。 In order to obtain a noise measurement signal before time T106, which is the image signal output start timing of the first frame after the drive mode is switched, scanning of ineffective pixel rows is performed over a plurality of frames from time T101 to T102. Then, the effective pixel row readout scan is started from time T103, but since the electronic shutter scan has not been performed before time T103, the pixel accumulation time of the image signal output from time T103 is not controlled. For this reason, the brightness of the obtained image differs depending on the row, and the brightness differs compared to the image of other frames. For this reason, the image signal output from time T103 cannot be used.
さらに、先述したように16行分のノイズ測定信号ではランダムノイズ成分が十分ではないことがある。そのような場合に図8に示した動作を行うと、ノイズ測定信号を取得し終えてから電子シャッタ走査を行う。そのため、低ノイズ化の要求が高い固体撮像装置においては駆動モードを切り換えてから、利用することのできる最初の画像信号が出力されるまでのタイムラグが顕著になる。 Furthermore, as described above, random noise components may not be sufficient in the noise measurement signals for 16 rows. When the operation shown in FIG. 8 is performed in such a case, electronic shutter scanning is performed after the acquisition of the noise measurement signal. For this reason, in a solid-state imaging device that requires high noise reduction, the time lag from when the drive mode is switched to when the first usable image signal is output becomes significant.
本発明の第1の実施形態によれば、固体撮像装置1の駆動モード変更後の1フレーム目の画像信号出力前に、非有効画素部22の行数に依存することなく、ランダムノイズを十分平均化可能な行数のノイズ測定信号を出力することが可能である。このノイズ測定信号を信号処理部8の固定パタンノイズ成分検出部82にて平均化することによって、十分にランダムノイズ成分が抑制された固定パタンノイズ成分が検出できる。そして、信号処理部8にて、1フレーム目の画像信号から、固定パタンノイズ成分を良好にキャンセルすることが可能となる。非有効画素部22の行数を少なくし、ここからノイズ測定信号を繰り返し読み出す構成であれば、固体撮像装置の面積の増大を低減することができ、コストアップ要因とはならない。また、1フレーム目の電子シャッタ走査期間中にノイズ測定信号を出力しているため、図8に示す時刻T100〜T103のようなノイズ測定信号を出力するための読み出しフレームは不要であり、1フレーム目の画像信号出力までにタイムラグが発生することもない。
According to the first embodiment of the present invention, random noise is sufficiently obtained without depending on the number of rows of the
さらに、図3の時刻T2から、駆動モード変更後の、非有効画素行の出力を開始すれば、1フレーム目の画像信号出力までの時間をより短くすることも可能である。 Furthermore, if the output of the ineffective pixel row after the change of the drive mode is started from the time T2 in FIG. 3, the time until the output of the image signal of the first frame can be shortened.
(第2の実施形態)
次に本発明を適用できる第2の実施形態について、第1の実施形態と異なる点を中心に説明を行う。
(Second Embodiment)
Next, a second embodiment to which the present invention can be applied will be described with a focus on differences from the first embodiment.
本実施形態の固体撮像装置1は、画素信号を出力する画素を指定し、有効画素部21の画素を一様に間引いた画像を出力する機能と、有効画素部21の一部を切り出した画像を出力する機能とを有する一部画素読み出しモード(画面切り出し駆動モード)を有する。一部画素読み出しモードでは、垂直行間引き、水平画素間引き及び画面切り出しが可能であり、画素加算を行わない。
The solid-
図4に示すタイミングチャートを用いて、本実施形態にかかる固体撮像装置の駆動方法を説明する。時刻T10においてスイッチ操作などによって固体撮像装置の駆動モードの変更が必要となると、CPU9は固体撮像装置1と通信を行い、固体撮像装置1の駆動モードの変更を行う。例えば、画素加算モード(3画素加算読み出し駆動モード)から一部画素読み出しモード(画面切り出し駆動モード)へ変更する。時刻T11において垂直同期信号VDがタイミング生成部5に入力されると、固体撮像装置1は画面切り出し駆動モードで動作を開始する。このとき、固体撮像装置1は、垂直駆動部4の非有効画素行選択部43によって非有効画素行を複数回選択し、非有効画素信号をラインメモリ部31に読み出す。次に、水平走査部32は読み出し開始を指定された列に接続される非有効画素の画素信号から順次選択し、非有効画素信号すなわちノイズ測定信号を出力する。そして時刻T13において、次の垂直同期信号VDがタイミング生成部5に入力されるまで、この動作を繰返し、1フレームの行数以上のノイズ測定信号を出力する。また時刻T12において、電子シャッタ走査部41は、画面の切り出し位置に応じた、1フレーム目の電子シャッタ走査を開始する。そして時刻T13以降は、画面の切り出し位置に応じた読み出し走査と、電子シャッタ走査を繰返し、動画としての撮像信号を得る。
A method for driving the solid-state imaging device according to the present embodiment will be described with reference to a timing chart shown in FIG. When the drive mode of the solid-state imaging device needs to be changed by a switch operation or the like at time T10, the CPU 9 communicates with the solid-
ここで、垂直同期信号VDがタイミング生成部5に入力されてから次の垂直同期信号VDが入力されるまでの期間を1フレーム期間と呼ぶ。したがって、駆動モードを変更した直後のフレーム期間では非有効画素行の画素からの信号のみが出力されるとも言える。また、駆動モードを変更した直後のフレーム期間におけるノイズ測定信号は、変更された駆動モードでの水平同期信号HDに従って出力される。つまり、駆動モードを変更した直後のフレーム期間に出力されるノイズ測定信号の行数は、変更された駆動モードにおける1フレーム期間中に読み出(出力)される有効画素行の数に等しい。
Here, a period from when the vertical synchronization signal VD is input to the
本発明の第2の実施形態によれば、固体撮像装置1の駆動モード変更後の1フレーム目の画像信号出力前に、画面の切り出し位置、あるいは画素の間引きに応じたノイズ測定信号が、ランダムノイズを十分平均化可能な行数出力することが可能である。したがって、駆動モード変更後の1フレーム目の画像信号から、固定パタンノイズ成分を良好にキャンセルすることが可能となる。また、図3の駆動モードの変更及び図4の駆動モードの変更の両方を行うことができる。
According to the second embodiment of the present invention, before outputting the image signal of the first frame after changing the drive mode of the solid-
(第3の実施形態)
次に本発明を適用できる第3の実施形態について、第1の実施形態と異なる点を中心に説明を行う。
(Third embodiment)
Next, a third embodiment to which the present invention can be applied will be described focusing on differences from the first embodiment.
図5に本実施形態にかかる固体撮像装置の駆動方法によるタイミングチャートを示す。図5(f)は固体撮像装置1に供給する電源電圧の波形を示す。時刻T20において、電源電圧が安定すると、CPU9は固体撮像装置1と通信を行い、固体撮像装置1の初期設定を行う。そして固体撮像装置1の初期設定が完了した、時刻T21において垂直同期信号VDがタイミング生成部5に入力されると、固体撮像装置1は初期設定された駆動モードで動作を開始する。このとき、固体撮像装置1は、垂直駆動部4の非有効画素行選択部43によって非有効画素行を選択し、非有効画素信号すなわちノイズ測定信号の出力を開始する。そして時刻T23の垂直同期信号VDがタイミング生成部5に入力されるまで、非有効画素行選択部43は非有効画素行の選択を複数回繰返し、1フレームの行数以上のノイズ測定信号を出力する。また時刻T22において、電子シャッタ走査部41は、1フレーム目の電子シャッタ走査を開始する。そして時刻T23以降は、読み出し走査と、電子シャッタ走査を繰返し、動画としての撮像信号を得る。
FIG. 5 shows a timing chart according to the driving method of the solid-state imaging device according to the present embodiment. FIG. 5F shows the waveform of the power supply voltage supplied to the solid-
ここで、垂直同期信号VDがタイミング生成部5に入力されてから次の垂直同期信号VDが入力されるまでの期間を1フレーム期間と呼ぶ。したがって、駆動モードを変更した直後のフレーム期間では非有効画素行の画素からの信号のみが出力されるとも言える。また、駆動モードを変更した直後のフレーム期間におけるノイズ測定信号は、変更された駆動モードでの水平同期信号HDに従って出力される。つまり、駆動モードを変更した直後のフレーム期間に出力されるノイズ測定信号の行数は、変更された駆動モードにおける1フレーム期間中に読み出(出力)される有効画素行の数に等しい。
Here, a period from when the vertical synchronization signal VD is input to the
本発明の第3の実施形態によれば、固体撮像装置1の電源投入直後の1フレーム目の画像信号出力前に、ノイズ測定信号が、ランダムノイズを十分平均化可能な行数出力することが可能である。したがって、電源投入直後後の1フレーム目の画像信号から、固定パタンノイズ成分を良好にキャンセルすることが可能となる。
According to the third embodiment of the present invention, the noise measurement signal outputs the number of rows that can sufficiently average the random noise before outputting the image signal of the first frame immediately after the power-on of the solid-
(第4の実施形態)
次に本発明を適用できる第4の実施形態について、第1の実施形態と異なる点を中心に説明を行う。
(Fourth embodiment)
Next, a fourth embodiment to which the present invention can be applied will be described focusing on differences from the first embodiment.
図6に本実施形態にかかる固体撮像装置の構成例を示す。本実施形態にかかる固体撮像装置1の垂直駆動部4は、有効画素行走査部44を有する。有効画素行走査部44は、電子シャッタ走査と、読み出し行走査を同時に行い、それぞれの走査を独立に制御することはできない。
FIG. 6 shows a configuration example of the solid-state imaging device according to the present embodiment. The
図7に本実施形態にかかる固体撮像装置の駆動方法によるタイミングチャートを示す。まず3画素加算読み出し駆動モードのフレームの時刻T30において、電子シャッタ走査を開始する。次に垂直同期信号VDがタイミング生成部5に入力された時刻T31において駆動モード切換を行う。図7では時刻T31以降、全画素読み出し駆動モードに切り換える。つまり時刻T31において、垂直駆動部4の走査タイミングが切り換わり、時刻T30から開始した電子シャッタ走査のタイミングは全有効画素行を走査し終える前に切り換わる。
FIG. 7 shows a timing chart according to the driving method of the solid-state imaging device according to the present embodiment. First, electronic shutter scanning is started at time T30 of the frame in the three-pixel addition reading drive mode. Next, the drive mode is switched at time T31 when the vertical synchronization signal VD is input to the
時刻T31において、有効画素行の走査を行った場合、図7に示したとおり、各行で蓄積時間が一定にならないため、画像としては利用できない。 When the effective pixel row is scanned at time T31, as shown in FIG. 7, the accumulation time does not become constant in each row, so that it cannot be used as an image.
そこで時刻T31からも、引き続き、非有効画素行の選択を複数回続け、非有効画素信号すなわちノイズ測定信号の出力を行う。 Therefore, the ineffective pixel row is continuously selected a plurality of times from time T31, and the ineffective pixel signal, that is, the noise measurement signal is output.
また時刻T32からは駆動モード切換後の1フレーム目の電子シャッタ走査を開始する。そして時刻T33において垂直同期信号VDがタイミング生成部5に入力されると、有効画素行の読み出し走査を開始し、1フレーム目の画像信号を得る。
Also, from time T32, electronic shutter scanning for the first frame after switching the drive mode is started. When the vertical synchronization signal VD is input to the
ここで、垂直同期信号VDがタイミング生成部5に入力されてから次の垂直同期信号VDが入力されるまでの期間を1フレーム期間と呼ぶ。したがって、駆動モードを変更した直後のフレーム期間では非有効画素行の画素からの信号のみが出力されるとも言える。また、駆動モードを変更した直後のフレーム期間におけるノイズ測定信号は、変更された駆動モードでの水平同期信号HDに従って出力される。つまり、駆動モードを変更した直後のフレーム期間に出力されるノイズ測定信号の行数は、変更された駆動モードにおける1フレーム期間中に読み出(出力)される有効画素行の数に等しい。
Here, a period from when the vertical synchronization signal VD is input to the
本発明の第4の実施形態によれば、利用することができない画像信号を出力する代わりに、ノイズ測定信号を1フレームの行数分出力することで、次のフレームの画像信号から固定パタンノイズ成分を良好にキャンセルすることが可能となる。また、電子シャッタ走査専用の垂直駆動部が無いため、固体撮像装置のチップサイズを小さくすることができ、よりコストを低くすることができる。 According to the fourth embodiment of the present invention, instead of outputting an unusable image signal, a noise measurement signal is output for the number of rows of one frame, so that a fixed pattern noise is derived from the image signal of the next frame. It becomes possible to cancel the components satisfactorily. Further, since there is no vertical drive unit dedicated for electronic shutter scanning, the chip size of the solid-state imaging device can be reduced, and the cost can be further reduced.
第1〜第4の実施形態に係る固体撮像装置の駆動方法によれば、固体撮像装置の駆動モード変更直後、あるいは撮像開始直後、最初の読み出しフレームに対応する電子シャッタ駆動中に、ダミーラインのノイズ測定信号を複数回出力する。これにより、ランダムノイズを十分平均化可能な行数のノイズ測定信号を1フレーム目の読み出し前に得ることができ、ランダムノイズ成分を十分抑制し、1フレーム目から精度よく固定パタンノイズ除去することが可能となる。またダミーラインの行数を増やす必要がないので、固体撮像装置の面積は増大せず、コストアップの要因となることはない。また電子シャッタ駆動中にノイズ測定信号出力を行っているため、有効画素信号出力までにタイムラグが発生することもない。 According to the driving method of the solid-state imaging device according to the first to fourth embodiments, the dummy line is detected immediately after the driving mode of the solid-state imaging device is changed or immediately after the start of imaging, while the electronic shutter is driven corresponding to the first readout frame. Output noise measurement signal multiple times. This makes it possible to obtain noise measurement signals with the number of rows that can sufficiently average random noise before reading out the first frame, sufficiently suppressing random noise components, and accurately removing fixed pattern noise from the first frame. Is possible. In addition, since it is not necessary to increase the number of dummy lines, the area of the solid-state imaging device does not increase and the cost is not increased. Further, since the noise measurement signal is output while the electronic shutter is being driven, no time lag occurs until the effective pixel signal is output.
第1〜第4の実施形態の固体撮像装置は、2次元に行列配置された光電変換部を含む有効画素211を有する有効画素部21と、少なくとも1行配置された光電変換部を含まない非有効画素221を有する非有効画素部22とを有する。光電変換部は、例えばフォトダイオードである。図3等において、非有効画素行選択部43は、駆動モードを変更した直後に、同一行の前記非有効画素221の信号を複数回選択して出力する。
The solid-state imaging devices according to the first to fourth embodiments do not include the
図3等において、電子シャッタ操作部41は、前記非有効画素行選択部43が同一行の非有効画素の信号を複数回選択している期間に、前記有効画素211の光電変換部をリセットする。
In FIG. 3 and the like, the electronic
図3等において、読み出し行走査部42は、前記電子シャッタ操作部41のリセット後に、行単位で前記有効画素211の信号を選択して出力する。
In FIG. 3 and the like, the readout row scanning unit 42 selects and outputs the signal of the
図3において、前記駆動モードは、画素加算モード(3画素加算読み出し駆動モード)及び全画素読み出しモード(全画素読み出し駆動モード)を有する。 In FIG. 3, the drive modes include a pixel addition mode (3-pixel addition read drive mode) and an all-pixel read mode (all-pixel read drive mode).
ラインメモリ部31は、前記画素加算モードでは前記読み出し行走査部42により選択された複数の有効画素211の信号を加算して格納する。また、ラインメモリ部31は、前記全画素読み出しモードでは前記読み出し行走査部42により選択された複数の有効画素211の信号をそれぞれ加算せずに格納する。前記非有効画素行選択部43は、前記画素加算モードから前記全画素読み出しモードに変更した直後に、同一行の前記非有効画素221の信号を複数回選択して出力する。
In the pixel addition mode, the
図4において、前記駆動モードは、一部画素読み出しモード(画面切り出し駆動モード)及び画素加算モード(3画素加算読み出し駆動モード)を有する。 In FIG. 4, the drive modes include a partial pixel readout mode (screen cutout drive mode) and a pixel addition mode (3-pixel addition readout drive mode).
前記読み出し行走査部42は、前記一部画素読み出しモードでは一部の行の有効画素211の信号を選択し、前記画素加算モードではすべての行の有効画素211の信号を選択する。ラインメモリ部31は、前記画素加算モードでは前記読み出し行走査部42により選択された複数の有効画素211の信号を加算して格納する。また、ラインメモリ部31は、前記一部画素読み出しモードでは前記読み出し行走査部42により選択された複数の有効画素211の信号をそれぞれ加算せずに格納する。前記非有効画素行選択部43は、前記画素加算モードから前記一部画素読み出しモードに変更した直後に、同一行の前記非有効画素221の信号を複数回選択して出力する。
The readout row scanning unit 42 selects signals of
図5において、前記非有効画素行選択部43は、電源投入後、最初の有効フレーム(1フレーム目)の前フレームの期間中に、同一行の前記非有効画素221の信号を複数回選択して出力する。
In FIG. 5, after the power is turned on, the ineffective pixel
非有効画素の信号を複数回選択することにより、非有効画素の行数を少なくすることができ、面積を小さくすることができる。また、1フレーム目が出力されるまでのタイムラグを防止することができる。 By selecting the ineffective pixel signal a plurality of times, the number of rows of ineffective pixels can be reduced, and the area can be reduced. In addition, a time lag until the first frame is output can be prevented.
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
1 固体撮像装置
2 画素部
4 垂直駆動部
5 タイミング生成部
6 通信部
7 ADコンバータ
8 信号処理部
9 CPU
21 有効画素部
22 非有効画素部
31 ラインメモリ部
32 水平走査部
33 増幅器
41 電子シャッタ走査部
42 読み出し行走査部
43 非有効画素行選択部
82 固定パタンノイズ成分検出部
DESCRIPTION OF
DESCRIPTION OF
Claims (1)
光電変換部を含まない非有効画素が少なくとも1行配置された非有効画素部と、
前記非有効画素部の画素を行毎に選択する非有効画素行選択部と、
を有し、前記有効画素部に基づく第1の信号及び前記非有効画素部に基づく第2の信号を出力する固体撮像装置であって、
さらに、該固体撮像装置の駆動モードを切り換えるための第3の信号を外部から受ける入力部を有し、
前記非有効画素行選択部は、前記駆動モード切り換え端子が前記第3の信号を受けた直後から前記第1の信号が出力されるまでの期間に、前記非有効画素部の画素を選択して前記第2の信号を出力させ続けることを特徴とする固体撮像装置。 An effective pixel portion in which effective pixels including a photoelectric conversion portion that converts incident light into charges are arranged in a matrix;
An ineffective pixel portion in which at least one row of ineffective pixels not including the photoelectric conversion portion is disposed;
An ineffective pixel row selection unit that selects pixels of the ineffective pixel unit for each row;
A solid-state imaging device that outputs a first signal based on the effective pixel portion and a second signal based on the non-effective pixel portion,
Furthermore, it has an input unit for receiving a third signal for switching the drive mode of the solid-state imaging device from the outside,
The ineffective pixel row selection unit selects a pixel in the ineffective pixel unit during a period from immediately after the drive mode switching terminal receives the third signal to when the first signal is output. A solid-state imaging device characterized by continuing to output the second signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276812A JP5153757B2 (en) | 2009-12-04 | 2009-12-04 | Solid-state imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276812A JP5153757B2 (en) | 2009-12-04 | 2009-12-04 | Solid-state imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007341282A Division JP4424753B2 (en) | 2007-12-28 | 2007-12-28 | Solid-state imaging device and driving method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010063156A true JP2010063156A (en) | 2010-03-18 |
JP5153757B2 JP5153757B2 (en) | 2013-02-27 |
Family
ID=42189364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009276812A Expired - Fee Related JP5153757B2 (en) | 2009-12-04 | 2009-12-04 | Solid-state imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5153757B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015213258A (en) * | 2014-05-02 | 2015-11-26 | キヤノン株式会社 | Driving method of imaging apparatus, imaging apparatus, and imaging system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196335A (en) * | 1997-12-25 | 1999-07-21 | Olympus Optical Co Ltd | Image pickup device |
JP2000350097A (en) * | 1999-03-31 | 2000-12-15 | Toshiba Corp | Solid-state image pickup device |
JP2003126072A (en) * | 2001-10-23 | 2003-05-07 | Canon Inc | X-ray imaging apparatus and imaging method of x-ray imaging apparatus |
JP2005176061A (en) * | 2003-12-12 | 2005-06-30 | Sony Corp | Solid-state image pickup device, image input device and noise elimination method for solid-state image pickup device |
JP2006025146A (en) * | 2004-07-07 | 2006-01-26 | Sony Corp | Solid-state image pickup element device and signal processing method |
JP2006148475A (en) * | 2004-11-18 | 2006-06-08 | Sharp Corp | Image sensor, its drive method and scanning driver |
-
2009
- 2009-12-04 JP JP2009276812A patent/JP5153757B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196335A (en) * | 1997-12-25 | 1999-07-21 | Olympus Optical Co Ltd | Image pickup device |
JP2000350097A (en) * | 1999-03-31 | 2000-12-15 | Toshiba Corp | Solid-state image pickup device |
JP2003126072A (en) * | 2001-10-23 | 2003-05-07 | Canon Inc | X-ray imaging apparatus and imaging method of x-ray imaging apparatus |
JP2005176061A (en) * | 2003-12-12 | 2005-06-30 | Sony Corp | Solid-state image pickup device, image input device and noise elimination method for solid-state image pickup device |
JP2006025146A (en) * | 2004-07-07 | 2006-01-26 | Sony Corp | Solid-state image pickup element device and signal processing method |
JP2006148475A (en) * | 2004-11-18 | 2006-06-08 | Sharp Corp | Image sensor, its drive method and scanning driver |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015213258A (en) * | 2014-05-02 | 2015-11-26 | キヤノン株式会社 | Driving method of imaging apparatus, imaging apparatus, and imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP5153757B2 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4424753B2 (en) | Solid-state imaging device and driving method thereof | |
JP5845140B2 (en) | Imaging device and imaging apparatus | |
JP6099904B2 (en) | Imaging device | |
US7633536B2 (en) | Image capturing apparatus | |
US10313588B2 (en) | Image capturing system and control method of image capturing system | |
JP2008219594A (en) | Imaging apparatus and driving method thereof | |
KR20110014089A (en) | Solid-state image sensing device, analog-digtal conversion method of solid-state image sensing device, and electronic apparatus | |
JP5013811B2 (en) | Imaging apparatus and correction method | |
US9648222B2 (en) | Image capturing apparatus that controls supply of amperage when reading out pixel signals and method for controlling the same | |
JP6362511B2 (en) | Imaging apparatus and control method thereof | |
JP2016058877A (en) | Imaging apparatus and control method thereof | |
WO2020080013A1 (en) | Imaging device, method of controlling imaging device, and electronic apparatus | |
JP2019153822A (en) | Solid state imaging device, and control method of solid state imaging device | |
JP5153757B2 (en) | Solid-state imaging device | |
JP2014107739A (en) | Imaging device and control method therefor | |
JP2011182321A (en) | Solid-state imaging apparatus, driving method and imaging apparatus | |
JP2012134756A (en) | Imaging apparatus | |
JP2008042573A (en) | Imaging apparatus, its control method, imaging system, and program | |
JP2015139054A (en) | Solid state imaging apparatus, imaging system and copy machine | |
JP2015126367A (en) | Image processing apparatus, control method thereof, and control program, and imaging apparatus | |
JP6381351B2 (en) | Imaging apparatus and control method thereof | |
JP2008300931A (en) | Imaging device | |
JP4974503B2 (en) | Imaging device | |
JP2017055330A (en) | Solid-state imaging device and camera system | |
JP5664010B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |