JP2010183558A - 固体撮像素子および駆動制御方法 - Google Patents

固体撮像素子および駆動制御方法 Download PDF

Info

Publication number
JP2010183558A
JP2010183558A JP2009101636A JP2009101636A JP2010183558A JP 2010183558 A JP2010183558 A JP 2010183558A JP 2009101636 A JP2009101636 A JP 2009101636A JP 2009101636 A JP2009101636 A JP 2009101636A JP 2010183558 A JP2010183558 A JP 2010183558A
Authority
JP
Japan
Prior art keywords
row
pixel
pixels
frame
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009101636A
Other languages
English (en)
Other versions
JP4868021B2 (ja
Inventor
Tetsuji Nakaseko
哲司 中世古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009101636A priority Critical patent/JP4868021B2/ja
Priority to US12/655,667 priority patent/US8184172B2/en
Priority to CN201010002078A priority patent/CN101771801A/zh
Publication of JP2010183558A publication Critical patent/JP2010183558A/ja
Application granted granted Critical
Publication of JP4868021B2 publication Critical patent/JP4868021B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】間引き読み出しによる高速撮像を行う場合に、画素の感度の低下を防止することができるようにする。
【解決手段】CMOSイメージセンサは、1/2間引きの1つである(1,3)間引きを行う場合、第pフレームでは、第1行目、第2行目、第5行目、第6行目、第9行目、第10行目、・・・の順に、シャッタ動作とその次の行の読み出し動作を行う。次の第p+1フレームでは、CMOSイメージセンサは、第3行目、第4行目、第7行目、第8行目、第11行目、第12行目、・・・の順に、シャッタ動作とその次の行の読み出し動作を行う。これにより、2フレームにわたる露光時間が確保され、全画素読み出しと同一の露光時間を確保することができ、画素の感度の低下を防止することができる。本発明は、例えば、固体撮像素子に適用できる。
【選択図】図7

Description

本発明は、固体撮像素子および駆動制御方法に関し、特に、間引き読み出しによる高速撮像を行う場合に、画素の感度の低下を防止することができるようにする固体撮像素子および駆動制御方法に関する。
CMOS(Complementary Metal Oxide Semiconductor)イメージセンサは、多画素化が急速に進んでいる。CMOSイメージセンサの画素数が多画素化すると、1画面(1画像)を得るためにかかる時間も長くなるため、高速な撮像が困難になる。
解像度を変えずに(解像度を低下させずに)高速な撮像を実現しようとする場合、例えば、加算処理などの信号処理で対応する方法がある。しかしながら、信号処理を高フレームレートに対応させる必要があり、そのような信号処理回路は高価であり、またメモリなども増加することで、コストが上昇する。
そこで、低コストに高速な撮像を実現する方法として、CMOSイメージセンサが有する各画素への任意アクセス性を生かした、間引き読み出しが広く用いられている(例えば、特許文献1参照)。
間引き読み出しは、行列状(マトリックス状)に配置された複数の画素に対し、所定の間隔の画素を読み飛ばして(間引いて)、読み出した画素のみで1画面を構成する撮像方法である。読み出す画素数が少なくなるので、解像度は低下するがフレームレートは向上する。
特開2008−167003号公報
しかしながら、読み出す画素を間引くことにより解像度を低下させてフレームレートを向上させる高速撮像では、各画素の露光時間が短縮されるため、今度は、画素の感度(受光量)が低下するという問題が発生する。
本発明は、このような状況に鑑みてなされたものであり、間引き読み出しによる高速撮像を行う場合に、画素の感度の低下を防止することができるようにするものである。
本発明の一側面の固体撮像素子は、光電変換素子を含む画素が行列状に複数配置される画素アレイ部と、前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御することにより、前記画素の露光時間を制御する制御手段とを備え、前記制御手段は、間引き率1/Q(Qは正の整数)の間引き読出しを行う場合、前記画素アレイ部の各行の前記画素について、Qフレーム時間にわたる露光時間を確保する。
前記制御手段は、第p−1フレーム(p>1)の次の第pフレームでは、前記第p−1フレームでシャッタ動作と読み出し動作を行った行以外の行に対して、シャッタ動作と読み出し動作を行うようにさせることができる。
前記制御手段は、Qフレーム時間で、前記画素アレイ部の全ての行に対して、シャッタ動作と読み出し動作を行うようにさせることができる。
前記読み出し動作により読み出された前記画素の画素データは、予め決められた出力行から出力され、その出力行に対して垂直方向に最も近接する2つの読み出し行の前記画素データの加重加算値を計算して出力する信号処理手段をさらに設けることができる。
カラムAD方式とさせることができる。
本発明の一側面の固体撮像素子の駆動制御方法は、光電変換素子を含む画素が行列状に複数配置される画素アレイ部と、前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御することにより、前記画素の露光時間を制御する制御手段とを備える固体撮像素子の、前記制御手段が、間引き率1/Qの間引き読出しを行う場合、前記画素アレイ部の各行の前記画素について、Qフレーム時間にわたる露光時間を確保するように、前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御する。
本発明の一側面においては、間引き率1/Qの間引き読出しを行う場合、画素アレイ部の各行の画素について、Qフレーム時間にわたる露光時間を確保するように、画素アレイ部の各画素のシャッタ動作と読み出し動作が行ごとに選択制御される。
固体撮像素子は、独立したデバイスであっても良いし、撮像装置を構成している内部デバイスであっても良い。
本発明の一側面によれば、間引き読み出しによる高速撮像を行う場合に、画素の感度の低下を防止することができる。
本発明を適用したCMOSイメージセンサの一実施の形態の構成例を示す図である。 CMOSイメージセンサにおけるR、G、およびBのカラーフィルタの配列例を示す図である。 (1,3)間引きを説明する図である。 (3,1)間引きを説明する図である。 全画素読み出しと露光時間の関係について説明する図である。 従来の1/2間引きのシャッタ動作および読み出し動作のタイミングチャートを示す図である。 図1のCMOSイメージセンサによる(1,3)間引きのシャッタ動作および読み出し動作のタイミングチャートを示す図である。 図6を露光時間のみを示す形に書き換えた図である。 従来の(1,7)間引き時の露光時間を示した図である。 図1のCMOSイメージセンサによる(1,7)間引き時の露光時間を示した図である。 図1のCMOSイメージセンサによる(3,5)間引き時の露光時間を示した図である。 本発明を適用可能なその他のCMOSイメージセンサの構成例を示す図である。 本発明を適用可能なさらにその他のCMOSイメージセンサの構成例を示す図である。 垂直方向のずれへの対応処理を説明する図である。 (1,15)間引きを説明する図である。 補正処理後の画素データの出力行を示す図である。 出力行がGB行である場合の補正処理を示す図である。 出力行がGR行である場合の補正処理を示す図である。
[CMOSイメージセンサのブロック図]
図1は、本発明を適用したCMOSイメージセンサ(固体撮像素子)の一実施の形態の構成例を示している。
図1のCMOSイメージセンサ11は、タイミング制御回路12、行走査回路13、画素アレイ部14,カラム処理部15、列走査回路16、および水平出力線17から構成される。
タイミング制御回路12は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を行走査回路13および列走査回路16に供給する。例えば、タイミング制御回路12は、画素のシャッタ動作や読み出し動作を制御するタイミング信号を行走査回路13および列走査回路16に供給する。
行(垂直)走査回路13は、画素アレイ部14の垂直方向に並ぶ画素に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
画素アレイ部14は、画素21がn行×m列の行列状に配置されたものである画素211,1乃至21m,n,n本の水平信号線221乃至22n、およびm本の垂直信号線231乃至23mを有している。
画素211,1乃至21m,nのそれぞれは、図示を省略するが、光電変換素子(例えば、フォトダイオード)、転送トランジスタ、リセットトランジスタ、および増幅トランジスタを有する。転送トランジスタは、光電変換素子で得られた電荷をFD(フローティングディフュージョン)部に転送する。リセットトランジスタは、FD部の電位をリセットする。増幅トランジスタは、FD部の電位に応じた画素信号を出力する。これらの各トランジスタの動作は、水平信号線221乃至22nを介して行走査回路13から供給される信号により制御される。なお、画素21は、上述の3トランジスタによる構成のほかに、画素選択を行うための選択トランジスタが設けられている4トランジスタによる構成などを採用することもできる。
画素211,1乃至21m,nは、水平信号線221乃至22nを介して、行走査回路13からそれぞれ供給される信号に従って、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線231乃至23mにそれぞれ出力する。
水平信号線221乃至22nは、画素211,1乃至21m,nの水平方向の画素21と、行走査回路13とをそれぞれ接続する。即ち、水平信号線221には、画素211,1乃至21m,1が接続され、水平信号線222には、画素211,2乃至21m,2が接続され、以下同様に、水平信号線22nには、画素211,n乃至21m,nが接続されている。
垂直信号線231乃至23mは、画素211,1乃至21m,nの垂直方向の画素21と、カラム処理部15とをそれぞれ接続する。即ち、垂直信号線231には、画素211,1乃至211,nが接続され、垂直信号線232には、画素212,1乃至212,nが接続され、以下同様に、垂直信号線23mには、画素21m,1乃至21m,nが接続されている。
従って、画素211,1乃至211,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線231に出力する。画素212,1乃至212,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線232に出力する。以下同様に、画素21m,1乃至21m,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線23mに出力する。
カラム処理部15には、m個のADC(Analog-Digital Converter)241乃至24mが並列に配置されている。ADC241乃至24mには、垂直信号線231乃至23mがそれぞれ接続されている。
ADC241乃至24mは、画素211,1乃至21m,nから垂直信号線231乃至23mを介して供給される画素信号を、CDS(Correlated Double Sampling;相関2重サンプリング)処理およびA/D変換処理する。
即ち、ADC241には垂直信号線231が接続されており、ADC241は、画素211,1乃至211,nから垂直信号線231を介して供給される画素信号をCDS処理およびA/D変換処理する。ADC242には垂直信号線232が接続されており、ADC242は、画素212,1乃至212,nから垂直信号線232を介して供給される画素信号をCDS処理およびA/D変換処理する。以下同様に、ADC24mは、画素21m,1乃至21m,nから垂直信号線23mを介して供給される画素信号をCDS処理およびA/D変換処理する。
ADC241乃至24mそれぞれは、A/D変換後の画素データを一時的に記憶し、列走査回路16の制御に従って、水平出力線17に出力する。
列(水平)走査回路16は、ADC241乃至24mに記憶されている画素データを、順次、所定のタイミングで水平出力線17に出力させる。
水平出力線17は、後段の画像処理を行うDSP (Digital Signal Processor)などと接続され、ADC241乃至24mから出力される画素データを、後段に出力する。
以上のように構成されるCMOSイメージセンサ11は、列ごとにADCを配置させたカラムAD方式と呼ばれるCMOSイメージセンサである。
図1のCMOSイメージセンサ11の画素211,1乃至211,nのそれぞれには、R(赤)、G(緑)、またはB(青)のいずれかのカラーフィルタが配置され、各画素21は、R、G、またはBのいずれかの色の光を受光する。
[画素の配列構成]
図2は、CMOSイメージセンサ11におけるR、G、およびBのカラーフィルタの配列例を示している。
図2に示されるR,G,Bの配列は、ベイヤー配列と呼ばれる配列である。ベイヤー配列は、1個のR、2個のG、および1個のBを1組とする色配列が行方向と列方向に繰り返し配置される配列である。
例えば、図2において点線で示される、画素211,1、画素212,1、画素211,2、および画素212,2が1組となっており、そのうちの画素211,1がRを受光する画素である。そして、画素211,1の行方向に隣りの画素212,1と列方向に隣りの画素211,2がGを受光する画素であり、画素212,2がBを受光する画素となっている。そして、この画素211,1、画素212,1、画素211,2、および画素212,2の組と同じ色配列が、行方向および列方向に繰り返し配列されている。
なお、本実施の形態では、CMOSイメージセンサ11の色配列としてベイヤー配列が採用されているものとするが、これに限定されるわけではない。
以上のような構成を有するCMOSイメージセンサ11においては、画素アレイ部14の全ての画素211,1乃至21m,nを順に読み出す全画素読み出しによる撮像が可能である。また、所定間隔で画素21を読み飛ばす読み出し方法である間引き読み出しによる撮像が可能である。
全画素読み出しは、画素アレイ部14の全ての画素211,1乃至21m,nについて、画素内の光電変換素子に蓄積された電荷を、例えば、ラスタスキャン順などの所定の順序で順次読み出す方法である。全画素読み出しは、画素アレイ部14の全ての画素211,1乃至21m,nを利用して、高解像度な撮像を可能とする。
一方、間引き読み出しでは、画素アレイ部14の画素211,1乃至21m,nのなかの所定の画素については読み飛ばすため、1枚の画像を生成する時間が全画素読み出しよりも短時間となる。従って、解像度は低下するものの、高速な撮像を行いたい場合、および、低消費電力で撮像を行いたい場合に有効である。
間引き読み出しには、間引き率によって、1/2間引きや1/4間引きなどがある。ここで、間引き率は、読み出す(読み飛ばす)画素数の比率ではなく、垂直方向の読み出す行数の比率を表す。例えば、1/2間引きは、垂直方向の読み出す行数を全体の1/2に間引いた間引き読み出しである。1/4間引きは、垂直方向の読み出す行数を全体の1/4に間引いた間引き読み出しである。
[間引き読み出しの例]
図3を参照して、1/2間引きの1つである(1,3)間引きを説明する。
(1,3)間引きにおける最初の読み出し画素(起点)は、例えば、画素211,1である。画素211,1が読み出された次には、画素211,1から1画素だけ行方向に進んだ(図中右隣の)画素212,1が読み出される。画素212,1が読み出された次には、画素212,1から3画素だけ行方向に進んだ画素215,1が読み出される。画素215,1が読み出された次には、画素215,1から1画素だけ行方向に進んだ画素216,1が読み出される。以下同様に、1行目の最後の画素21m,1まで、1画素、3画素の移動量で移動した先の画素21が読み出される。
1行目の画素21の読み出しが終了すると、行方向に1行進んだ2行目の画素211,2乃至21m,2に対して、1行目と同様に、行方向に1画素、3画素の移動量で移動した先の画素21が順次読み出される。
2行目の画素21の読み出しが終了すると、行方向に3行進んだ5行目の画素211,5乃至21m,5に対して、1行目と同様に、行方向に1画素、3画素の移動量で移動した先の画素21が順次読み出される。即ち、行方向についても、読み出し画素が、1画素、3画素の移動量で選択される。
即ち、(1,3)間引きの(1,3)とは、次に読み出し動作を行う画素または行への移動量(画素数)が1,3,1,3,・・・・と繰り返されることを表す。
(1,3)間引きでは、全画素読み出しと比較して、読み出される画素数が、垂直方向で1/2、水平方向で1/2となるので、(1,3)間引きの解像度は、全画素読み出しの1/4となる。ただし、カラムAD変換方式では、フレームレートは、読み出し動作を行う行数のみに反比例するため、(1,3)間引きのフレームレートは、全画素読み出しのフレームレートの2倍である。
図3を参照して分かるように、(1,3)間引きでは、読み出す行と読み飛ばす行が垂直方向に2行ずつ交互に存在することになる。このように、読み出す行と読み飛ばす行が垂直方向に2行ずつとなるようにするのは、CMOSイメージセンサ11がベイヤー配列であるためである。
即ち、ベイヤー配列は、GとBの画素21が交互に並んだGB行と、GとRの画素21が交互に並んだGR行が垂直方向に交互に配列されている。従って、GB行と、それに隣接するGR行とをセットで電荷を読み出す必要があるため、読み出す行と読み飛ばす行が2行ずつ交互に設定される。
なお、GB行どうし、または、GR行どうしを連続して読み出さないようにすればよいだけで、必ずしも隣接するGB行とGR行を読み出さなければならないわけではない。従って、(3,1)間引きにより、1/2間引きを実現することもできる。
そこで、図4を参照して、(3,1)間引きを説明する。
(3,1)間引きでは、(3,1)が読み出される画素21の読み出し間隔(画素数)を表すから、最初の読み出し画素(起点)を画素211,1とすると、その次は、画素211,1から3画素行方向に進んだ(図中右方向の)画素214,1が読み出される。画素214,1が読み出された次には、画素214,1から1画素行方向に進んだ(図中右方向の)画素215,1が読み出される。画素215,1が読み出された次には、画素215,1から3画素行方向に進んだ画素218,1が読み出される。以下同様に、1行目の最後の画素21m,1まで、3画素、1画素の移動量で移動した先の画素21が順次読み出される。
行方向についても、3画素、1画素の移動量で選択される。従って、1行目の画素21の読み出しが終了すると、行方向に3行進んだ4行目の画素21、1行進んだ5行目の画素21、3行進んだ8行目の画素21、1行進んだ9行目の画素21、・・・・が順に読み出される。
(3,1)間引きにおいても、全画素読み出しと比較して、読み出される画素数は、垂直方向で1/2、水平方向で1/2となるので、(3,1)間引きの解像度は、全画素読み出しの1/4となる。
同様に、図示は省略するが、1/4間引きの場合には、読み出し画素の選択の違いにより、(1,7)間引き、(3,5)間引き、(5,3)間引き、(7,1)間引きの4種類が存在する。
次に、読み出し動作と露光時間の関係について説明する。
[全画素読み出しと露光時間の関係]
最初に、基準となる全画素読み出しと露光時間の関係について説明する。
図5は、全画素読み出しにおけるシャッタ動作および読み出し動作のタイミングチャートを示している。
図5において、垂直同期信号VSは、1フレームの始まりで所定期間ハイレベル(Hiレベル)となる信号である。従って、垂直同期信号VSが1度ハイレベルになってから次にハイレベルとなるまでの期間が1フレームを処理する時間(以下、1フレーム時間という)を表し、全画素読み出しによる1フレーム時間をTvとする。
水平同期信号HSは、各行の始まりで所定期間ハイレベルとなる信号である。従って、水平同期信号HSが1度ハイレベルになってから次にハイレベルとなるまでの期間が1行を処理する時間(1水平時間)に相当し、これをTsで表す。
露光時間を最大限確保することを考えると、シャッタ動作を行った後、次にシャッタ動作を行う直前に読み出し動作を行えばよい。従って、1フレーム期間に各行で1回ずつシャッタ動作および読み出し動作が行われるものとし、シャッタ動作と読み出し動作をほぼ同時とみなすと、最大の露光時間は1フレーム時間Tvである。
なお、実際には、ブルーミング対策などのために、実際の露光時間を決定するシャッタ動作以外にもシャッタ動作を行う場合もあるが、本実施の形態では、そのようなシャッタ動作は行わないものとする。また、シャッタ動作の方式は、画素21が2次元配列された画素アレイ部14に対して全画素同時にシャッタ動作を行うグローバルシャッタ方式ではなく、シャッタ動作を行う画素21が時間とともに行単位でシフトしていくローリングシャッタ方式である。
そこで、例えば、全画素読み出しでは、第pフレーム(p>1)の始まりである時刻t11において、第1行目の画素21の読み出し動作が行われる。即ち、前のフレームである第p−1フレームで蓄積された電荷を読み出す(露光を終了する)読み出し動作が、時刻t11に、第1行目の画素21に対して行われる。そして、その1水平時間Ts後の時刻t12では、蓄積された電荷をリセットする(露光を開始する)シャッタ動作が第1行目の画素21に対して行われる。また、時刻t12では、第2行目の画素21に対して、第p−1フレームで蓄積された電荷を読み出す読み出し動作が行われる。
次の時刻t13では、第2行目の画素21のシャッタ動作と、第3行目の画素21の読み出し動作が行われる。
以下同様に、1水平時間Tsごとに行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
そして、第p+1フレームの始まりである時刻t21には、図示せぬ第n行目の画素21に対するシャッタ動作と、第1行目の画素21に対する、前のフレームである第pフレームで蓄積された電荷を読み出す読み出し動作が行われる。次の時刻t22では、第1行目の画素21のシャッタ動作と、第2行目の画素21の読み出し動作が行われる。
以下同様に、1水平時間Tsごとに行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
以上より、全画素読み出しにおいて、第pフレームでシャッタ動作を行った画素21の露光時間ExptApは、第p+1フレームで読み出し動作を行うまでの時間である。そして、この露光時間ExptApは、読み出し動作からシャッタ動作までの時間(1水平時間Ts)を無視すると、上述したように1フレーム時間Tvである。なお、全画素読み出しにおける露光時間は、各フレームで同一であるため、時間ExptAと記述する。
次に、従来の1/2間引き時の露光時間について説明する。
[従来の(1,3)間引きと露光時間の関係]
図6は、従来の1/2間引きの1つである(1,3)間引きにおけるシャッタ動作および読み出し動作のタイミングチャートを示している。
(1,3)間引きは、上述したように、1行目の画素21の読み出しが終了すると、行方向に1行進んだ2行目の画素21に対して読み出しが行われ、2行目の画素21の読み出しが終了すると、行方向に3行進んだ5行目の画素21に対して読み出しが行われる。
従って、第pフレームの始まりである時刻t41で、第1行目の画素21に対し、読み出し動作が行われ、次の時刻t42で、シャッタ動作が行われる。また、時刻t42では、第2行目の画素21に対する読み出し動作も行われる。
次の時刻t43では、第2行目の画素21に対するシャッタ動作と、第5行目の画素21に対する読み出し動作が行われる。
以下同様に、第6行目、第9行目、第10行目、・・・の順に行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
そして、第p+1フレームの始まりである時刻t51では、図示せぬ第n行目の画素21に対するシャッタ動作と、第1行目の画素21に対する読み出し動作が行われる。また、次の時刻t52では、第1行目の画素21に対するシャッタ動作と、第2行目の画素21に対する読み出し動作が行われる。
以下同様に、1水平時間Tsごとに、1画素、3画素の順の移動量で行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
その結果、(1,3)間引きでは、シャッタ動作および読み出し動作の対象となる行数が、全画素読み出しの1/2となるため、1フレーム時間Tv2は、全画素読み出しによる1フレーム時間Tvの半分(Tv2=Tv/2)となる。即ち、フレームレートが全画素読み出しの2倍となる。
また、第pフレームでシャッタ動作を行ってから、第p+1フレームで読み出し動作を行うまでの時間である各画素21の露光時間ExptBpも、全画素読み出しによる露光時間ExptApの1/2となる。即ち、(1,3)間引き露光時間ExptBは、露光時間ExptAの1/2である。
このように、従来の(1,3)間引きでは、1フレーム時間が短縮するのに応じて、露光時間も短縮するため、画素の感度(受光量)が低下してしまっていた。
[CMOSイメージセンサ11による(1,3)間引きと露光時間の関係]
そこで、CMOSイメージセンサ11では、図7に示すような(1,3)間引きを行うことにより、1フレーム時間が短縮しても、露光時間を全画素読み出しと同様に確保し、画素の感度の低下を防止するようになされている。
即ち、図7は、CMOSイメージセンサ11が(1,3)間引きを行う場合の、シャッタ動作および読み出し動作のタイミングチャートを示している。
CMOSイメージセンサ11による(1,3)間引きでは、第pフレームの始まりである時刻t61において、第1行目の画素21に対する読み出し動作が行われ、次の時刻t62で、第1行目の画素21に対するシャッタ動作が行われる。また、時刻t62では、第2行目の画素21に対する読み出し動作も行われる。
次の時刻t63では、第2行目の画素21に対するシャッタ動作と、第5行目の画素21に対する読み出し動作が行われる。
以下同様に、第6行目、第9行目、第10行目、・・・の順に行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
即ち、第pフレームでは、図6を参照して説明した従来の(1,3)間引きと同様の動作が行われる。
しかしながら、CMOSイメージセンサ11による(1,3)間引きでは、第p+1フレームの動作が、従来の(1,3)間引きと異なる。
第p+1フレームでは、その前の第pフレームでシャッタ動作と読み出し動作を行った行以外の行に対して、シャッタ動作と読み出し動作が行われる。
具体的には、第p+1フレームの始まりである時刻t71では、図示せぬ第n−1行目の画素21に対するシャッタ動作と、第3行目の画素21に対する読み出し動作が行われる。次の時刻t72では、第3行目の画素21に対するシャッタ動作と、第4行目の画素21に対する読み出し動作が行われる。
次の時刻t73では、第4行目の画素21に対するシャッタ動作と、第7行目の画素21に対する読み出し動作が行われる。その次の時刻t74では、第7行目の画素21に対するシャッタ動作と、第8行目の画素21に対する読み出し動作が行われる。
第pフレームでシャッタ動作および読み出し動作が行われた行の画素21では、第p+1フレームにおいては、露光が継続されている。
続く第p+2フレームでは、時刻t81において、図示せぬ第n−3行目の画素21に対するシャッタ動作と、第1行目の画素21に対する読み出し動作が行われる。次の時刻t82では、第1行目の画素21に対するシャッタ動作と、第2行目の画素21に対する読み出し動作が行われる。
次の時刻t83では、第2行目の画素21に対するシャッタ動作と、第5行目の画素21に対する読み出し動作が行われる。その次の時刻t84では、第5行目の画素21に対するシャッタ動作と、第6行目の画素21に対する読み出し動作が行われる。
第p+1フレームでシャッタ動作および読み出し動作が行われた行の画素21では、第p+2フレームにおいては、露光が継続されている。
以上のように、CMOSイメージセンサ11による1/2間引きでは、画素アレイ部14のシャッタ動作および読み出し動作の対象となる行が、1フレームごとに入れ替わり、2フレームのフレーム時間で画素アレイ部14の全ての行に対して、シャッタ動作および読み出し動作が行われる。
第pフレームの露光時間ExptCpは、第pフレームでシャッタ動作を行ってから、第p+2フレームで読み出し動作を行うまでの2フレームにわたる時間となる。露光時間ExptCpは、1フレーム時間Tv2の2倍となるから、全画素読み出しによる1フレーム時間Tvに等しい。即ち、露光時間ExptCp=露光時間ExptApである。従って、CMOSイメージセンサ11による1/2間引きでは、各行の画素21に対し、全画素読み出しと同一の露光時間を確保することができ、画素の感度の低下を防止することができる。
以上の説明は1/2間引きの例であるが、この読み出し制御(駆動制御)は、1/4間引きや1/8間引きなど、その他の間引き読み出しであっても適用することができる。そこで、次に、1/4間引きについて説明する。
[全画素読み出し時の露光時間]
図8は、図6に示した全画素読み出しにおけるシャッタ動作および読み出し動作のタイミングチャートを、露光時間のみを示す形に書き換えた図である。
なお、図8においては、水平同期信号HSの図示が省略されている。また、図8においては、説明を簡単にするため、第1フレーム以降について示している。後述する図9乃至図11についても同様である。
図5を参照して説明したように、全画素読み出しでは、画素アレイ部14の各行の露光時間は、いずれもExptA(=ExptA1=ExptA2)であり、読み出し動作からシャッタ動作までの時間(1水平時間Ts)を無視すると、1フレーム時間Tvと近似できる。
[従来の(1,7)間引き時の露光時間]
図9は、従来の(1,7)間引き時の露光時間を、図8と同様に示した図である。
従来の(1,7)間引きでは、1行目、2行目に対してシャッタ動作および読み出し動作が行われた後は、3行目乃至8行目が飛ばされて9行目、10行目に対して、シャッタ動作および読み出し動作が行われる。以下、同様に、17行目、18行目、25行目、26行目、・・・と、順次、シャッタ動作および読み出し動作が行われる。
従って、従来の(1,7)間引きでは、シャッタ動作および読み出し動作の対象となる行数が、全画素読み出しの1/4となるため、1フレーム時間Tv4は、全画素読み出しによる1フレーム時間Tvの1/4(Tv4=Tv/4)である。即ち、(1,7)間引きのフレームレートは、全画素読み出しのフレームレートの4倍である。
そして、シャッタ動作および読み出し動作が行われた各行の露光時間ExptDは、読み出し動作からシャッタ動作までの時間を無視すると、(1,7)間引きの1フレーム時間Tv4である。なお、図9において、露光時間ExptD1,ExptD2,ExptD3,ExptD4,・・・・は、それぞれ、第1フレーム、第2フレーム、第3フレーム、第4フレーム、・・・・についての露光時間ExptDを表す。
以上より、従来の(1,7)間引きでは、全画素読み出しと比較して、1フレーム時間が1/4に短縮するのに応じて、露光時間も1/4に短縮するため、それだけ画素の感度が低下する。
[CMOSイメージセンサ11による(1,7)間引き時の露光時間]
図10は、CMOSイメージセンサ11による(1,7)間引き時の露光時間を、図8と同様に示した図である。
CMOSイメージセンサ11による(1,7)間引きでは、第1フレームの1フレーム時間Tv4の間には、1行目、2行目、9行目、10行目、17行目、18行目、25行目、26行目、・・の順にシャッタ動作および読み出し動作が行われる。
第2フレームの1フレーム時間Tv4の間には、3行目、4行目、11行目、12行目、19行目、20行目、27行目、28行目、・・の順にシャッタ動作および読み出し動作が行われる。
第3フレームの1フレーム時間Tv4の間には、5行目、6行目、13行目、14行目、21行目、22行目、29行目、30行目、・・の順にシャッタ動作および読み出し動作が行われる。
第4フレームの1フレーム時間Tv4の間には、7行目、8行目、15行目、16行目、23行目、24行目、31行目、32行目、・・の順にシャッタ動作および読み出し動作が行われる。
そして、第5フレームの1フレーム時間Tv4の間には、再び、1行目、2行目、9行目、10行目、17行目、18行目、25行目、26行目、・・に対して、シャッタ動作および読み出し動作が行われる。
その結果、シャッタ動作および読み出し動作が行われた各行の露光時間ExptFは、1フレーム時間Tv4の4倍、即ち全画素読み出しと同一の1フレーム時間Tvであり、露光時間ExptAに等しい。なお、図9において、露光時間ExptF1,ExptF2,ExptF3,ExptF4,・・・・は、それぞれ、第1フレーム、第2フレーム、第3フレーム、第4フレーム、・・・・についての露光時間ExptFを表す。
従って、CMOSイメージセンサ11による(1,7)間引き読み出しでは、4フレームにわたる露光時間を確保するので、1/4間引きであっても、各画素21は、全画素読み出しと同一の露光時間を確保することができ、画素の感度の低下を防止することができる。
[CMOSイメージセンサ11による(3,5)間引き時の露光時間]
図11は、CMOSイメージセンサ11による(3,5)間引き時の露光時間を、図8と同様に示した図である。
(3,5)間引きは、上述したように、次に読み出し動作を行う行への移動量(画素数)が、3,5,3,5,・・・・の繰り返しとなる。
CMOSイメージセンサ11による(3,5)間引きでは、第1フレームの1フレーム時間Tv4の間には、1行目、4行目、9行目、12行目、17行目、20行目、25行目、28行目、・・の順にシャッタ動作および読み出し動作が行われる。
第2フレームの1フレーム時間Tv4の間には、3行目、6行目、11行目、14行目、19行目、22行目、27行目、30行目、・・の順にシャッタ動作および読み出し動作が行われる。
第3フレームの1フレーム時間Tv4の間には、5行目、8行目、13行目、16行目、21行目、24行目、29行目、32行目、・・の順にシャッタ動作および読み出し動作が行われる。
第4フレームの1フレーム時間Tv4の間には、2行目、7行目、10行目、15行目、18行目、23行目、26行目、31行目、・・の順にシャッタ動作および読み出し動作が行われる。
そして、第5フレームの1フレーム時間Tv4の間には、再び、1行目、4行目、9行目、12行目、17行目、20行目、25行目、28行目、・・に対して、シャッタ動作および読み出し動作が行われる。
その結果、CMOSイメージセンサ11の(3,5)間引き読み出しによる各行の露光時間ExptFは、図10に示した(1,7)間引きの露光時間と同様、全画素読み出しと同一の露光時間ExptAとなる。
従って、1/4間引きのその他の例である(3,5)間引き読み出しにおいても、CMOSイメージセンサ11によれば、各画素21は、全画素読み出しと同一の露光時間を確保することができ、画素の感度の低下を防止することができる。
CMOSイメージセンサ11が行う読み出し制御(以下、本読み出し制御という)によれば、上述した1/2間引き、1/4間引きの他、1/8間引きなどのその他の間引き率でも、全画素読み出しと同一の露光時間を確保することができる。
以上のように、CMOSイメージセンサ11は、間引き率1/Q(Qは正の整数)の間引き読出しを行う場合、画素アレイ部14の各行の画素21について、Qフレームにわたる露光時間を確保する読み出し制御(駆動制御)を行う。これにより、間引き率に関係なく、全画素読み出しと同一の露光時間を確保することが可能である。
なお、上述した実施の形態では、全画素読み出しにおける最大の露光時間Tvを確保する例について説明したが、CMOSイメージセンサ11は、露光時間が1フレーム時間Tvより短い場合であっても同様の読み出し制御を行うことができる。
また、上述した実施の形態では、説明を簡単にするため、ブルーミング対策などの、露光時間を決定するシャッタ動作以外のシャッタ動作は行わないこととしたが、ブルーミング対策などのシャッタ動作を行う場合であっても同様の読み出し制御が可能である。
[本発明を適用したCMOSイメージセンサのその他の例]
上述した実施の形態では、カラムAD変換方式を採用した固体撮像素子としてのCMOSイメージセンサ11が、間引き率に関わらず全画素読み出しと同一の露光時間を確保することが可能であることを説明した。しかしながら、本読み出し制御は、カラムAD変換方式を採用した固体撮像素子に限定されるものではなく、例えば、図12や図13に示される固体撮像素子としてのCMOSイメージセンサにも適用することができる。
図12は、本読み出し制御を実行可能なその他の固体撮像素子であるCMOSイメージセンサ71の構成例を示している。
図12において、図1と対応する部分については同一の符号を付してあり、その説明は省略する。
図12のCMOSイメージセンサ71では、図1のカラム処理部15に代えて、CDS処理部81が設けられている。また、CMOSイメージセンサ71では、水平出力線17の出力先に、ADC82が設けられている。
また、図1のCMOSイメージセンサ11においては、カラム処理部15として、m個のADC241乃至24mが並列に配置されていた。これに対して、CMOSイメージセンサ71では、m個のCDS911乃至91mが並列に配置されている。
図1のADC241乃至24mは、画素211,1乃至211,nから供給される画素信号をCDS処理およびA/D変換処理して出力したが、図12のCDS911乃至91mは、画素211,1乃至211,nから供給される画素信号に対しCDS処理のみを行って出力する。
CDS処理後の画素信号は、列走査回路16の制御に従って、水平出力線17を介して、ADC82に順次供給される。ADC82は、供給されたCDS処理後の画素信号をA/D変換し、画素データとして出力する。
即ち、図12のCMOSイメージセンサ71は、列ごとにCDSを配置させたカラムCDS方式と呼ばれるCMOSイメージセンサである。
図13は、本読み出し制御を実行可能なさらにその他の固体撮像素子であるCMOSイメージセンサ101の構成例を示している。
図13のCMOSイメージセンサ101は、一般的なCMOSイメージセンサであり、図13において図1と対応する部分については同一の符号を付してあり、その説明は省略する。
図13では、画素アレイ部14については画素21m,n-1と画素21m,nについてのみ示している。そして、図13では、図1で図示を省略した、画素21を構成する光電変換素子111m,n、転送トランジスタ112m,n、FD部113m,n、リセットトランジスタ114m,n、および増幅トランジスタ115m,nが示されている。
行走査回路13は、行選択信号線121nを介して、リセットトランジスタ114m,nのドレインと接続されている。また、行走査回路13は、転送選択信号線122nを介して、転送トランジスタ112m,nのゲートと、リセット選択信号線123nを介して、リセットトランジスタ114m,nのゲートと、それぞれ接続されている。
光電変換素子111m,nは、入射光をその光量に応じた電荷量の信号電荷に光電変換し、これを蓄積する。転送トランジスタ112m,nは、光電変換素子111m,nとFD部113m,nの間に接続され、光電変換素子111m,nに蓄積された信号電荷をFD部113m,nへ転送する。FD部113m,nは、転送された信号電荷を信号電圧に変換し、増幅トランジスタ115m,nのゲートに与える。
リセットトランジスタ114m,nは、FD部113m,nと行選択信号線121nの間に接続され、FD部113m,nの電位を画素電源(例えば3.3V)の電位にリセットする機能を持つ。増幅トランジスタ115m,nは、電源ライン124と垂直信号線23mの間に接続され、FD部113m,nの電位を増幅して垂直信号線23mに出力する。
また、CMOSイメージセンサ101では、垂直信号線23mの端部と水平信号線17の間に水平選択スイッチ131mが配置されるとともに、水平信号線17の端部には抵抗132で帰還したオペアンプ133が配置されている。すなわち、垂直信号線23mおよび水平信号線17の電位が抵抗132で帰還したオペアンプ133で一定電位(Vbias)に固定されている。そして、電源回路134が画素21m,nに与える電源電圧を下げることによって、画素21m,n内の増幅トランジスタ115m,nが線形動作する。これにより、画素21からの画素信号が電流モードで出力されるようになされている。
なお、この例では、電源回路134を内蔵し、画素21に与える電源電圧を下げる構成を採用しているが、これに限定されるものではなく、例えば画素21m,n内の増幅トランジスタ115m,nのしきい値電圧Vthを下げることによっても、増幅トランジスタ115m,nを線形動作させることが可能である。
図12のCMOSイメージセンサ71、および図13のCMOSイメージセンサ101においても、タイミング制御回路12が、本読み出し制御となるように、行走査回路13および列走査回路16を制御することができる。これにより、CMOSイメージセンサ71およびCMOSイメージセンサ101においても、間引き読み出しによる高速撮像である場合に、全画素読み出しと同一の露光時間の確保を実現することができる。
[垂直方向のずれへの対応]
ところで、本読み出し制御を実行した場合には、隣接するフレーム間の画像において垂直方向にずれが生じる。例えば、図7の例における1/2間引きでは、第pフレームの画像と第p+1フレームの画像とで、固定(移動していない)の同一の被写体を撮像した場合でも、垂直方向に2画素だけずれた画像が得られることになる。
この問題に対しては、例えば、図14に示されるように、CMOSイメージセンサ11の後段に配置されるDSP201で、手振れ補正等、画像のずれを補正する処理を実行することで対応可能である。なお、CMOSイメージセンサ11は、出力画像が間引き率に応じて垂直方向に数画素だけずれた画像となることを予め分かっているので、数画素のずれが発生している画像であることを表す制御情報を画素データとともに出力させることも可能である。
また、後段のDSP201等に任せずに、CMOSイメージセンサ11自身が垂直方向のずれを補正した画像を出力するようにしてもよい。
以下、1/8間引きの一つである(1,15)間引きを行う例を用いて、CMOSイメージセンサ11が、本読み出し制御による画像のずれを補正する処理について説明する。
[(1,15)間引き読み出しの動作]
初めに、図15を参照して、(1,15)間引きについて簡単に説明する。
(1,15)間引きは、次に読み出し動作を行う行への移動量(画素数)が、1,15,1,15,・・・・の繰り返しとなる。
例えば、図15に示すように、第(α+1)フレームにおいて、1行目、2行目、17行目、18行目、33行目、34行目、・・の順にシャッタ動作および読み出し動作が行われる。
次の第(α+2)フレームでは、3行目、4行目、19行目、20行目、35行目、36行目、・・の順にシャッタ動作および読み出し動作が行われる。
第(α+3)フレームでは、5行目、6行目、21行目、22行目、37行目、38行目、・・の順にシャッタ動作および読み出し動作が行われる。
以下同様にシャッタ動作および読み出し動作が行われ、第(α+8)フレームでは、15行目、16行目、31行目、32行目、47行目、48行目、・・が、その順にシャッタ動作および読み出し動作が行われる。
そして、再び、第(α+9)フレームでは、1行目、2行目、17行目、18行目、33行目、34行目、・・の順にシャッタ動作および読み出し動作が行われる。
従って、対応する読み出し位置が最も離れている第(α+1)フレームと第(α+8)フレームとで比較すると、読み出し位置が垂直方向に15画素異なることから、出力画像の重心位置で言えば、15/2=7.5画素のずれが生じる。
[CMOSイメージセンサ11による画像のずれ補正処理]
そこで、CMOSイメージセンサ11は、間引き読み出しによる出力画像のずれを補正してから、出力画像の画素データを出力する。
[補正処理後の画素データの出力行]
CMOSイメージセンサ11は、出力画像の重心位置がどのフレームでも同一となるようにするため、画素データを出力する行を一定にする。即ち、画素データの読み出し行に関わらず、画素データの出力行が固定される。例えば、CMOSイメージセンサ11は、図16に示すように、画素データの出力行の間隔が等間隔となる、1行目、9行目、17行目、25行目、および33行目を画素データの出力行とする。また、CMOSイメージセンサ11は、1行目、17行目、および33行目を、GB行の出力行とし、9行目および25行目を、GR行の出力行とする。図示しない他の行も同様の規則で出力する。
次に、図16に示した各出力行からどのような値を画素データとして出力するかについて説明する。
CMOSイメージセンサ11は、画素データの読み出し行と出力行が異なる場合、その出力行に対して垂直方向に最も近接する2つの読み出し行の画素データの加重加算値を計算し、その結果を出力する。ここで計算される加重加算値は、出力行と読み出し行との距離(行数)に応じて重み付け加算された値である。
一方、画素データの読み出し行と出力行が同一である場合には、CMOSイメージセンサ11は、読み出した画素データをそのまま出力する。
(1,15)間引き等の1/8間引きでは、図15を参照して説明したように、画素データの読み出し行のパターンが8通り存在するので、加重加算値の計算も(そのまま出力する場合も含めて)8通り存在する。しかし、読み出し行の位置および順番、並びに出力行の位置は予め決定されるので、加重加算の計算式も予め決めておくことができる。なお、例えば、(1,7)間引きなどの1/4間引きでは、画素データの読み出し行のパターンは4通りとなるので、加重加算値の計算も4通りとなる。
[出力行がGB行である場合の補正処理]
図17を参照して、出力行がGB行である場合の補正処理について説明する。
17行目の出力行について説明する。
第(α+1)フレームでは、画素データの読み出し行と出力行が同一であるので、CMOSイメージセンサ11は、17行目から読み出した画素データをそのまま出力する。
第(α+2)フレームでは、画素データの読み出し行と出力行が異なる。そのため、CMOSイメージセンサ11は、17行目に最も近接する2つの読み出し行である3行目と19行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
読み出し行の一方である3行目は、出力行である17行目から14行離れた位置にあり、読み出し行の他方である19行目は、出力行である17行目から2行離れた位置にある。従って、3行目から読み出した画素データをP3,19行目から読み出した画素データをP19とすると、出力される補正後の画素データPOUTは、次式で計算される。
Figure 2010183558
この補正後の画素データPOUTは、3行目から読み出した画素データP3と、19行目から読み出した画素データP19を、出力行の位置で線形補間した値であるとも言うことができる。
次の第(α+3)フレームでは、CMOSイメージセンサ11は、5行目と21行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
5行目から読み出した画素データをP5,21行目から読み出した画素データをP21とすると、CMOSイメージセンサ11が出力する第(α+3)フレームの画素データPOUTは、は、次式で求められる。
Figure 2010183558
第(α+4)フレームでは、CMOSイメージセンサ11は、7行目と23行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
第(α+5)フレームでは、CMOSイメージセンサ11は、9行目と25行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
第(α+6)フレームでは、CMOSイメージセンサ11は、11行目と27行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
第(α+7)フレームでは、CMOSイメージセンサ11は、13行目と29行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
第(α+8)フレームでは、CMOSイメージセンサ11は、15行目と31行目から読み出した画素データの加重加算値を計算し、その結果を17行目から出力する。
第(α+9)フレームでは、再び画素データの読み出し行と出力行が同一となるので、CMOSイメージセンサ11は、17行目から読み出した画素データをそのまま出力する。
[出力行がGR行である場合の補正処理]
次に、図18を参照して、出力行がGR行である場合の補正処理について説明する。
25行目の出力行について説明する。
第(α+1)フレームでは、画素データの読み出し行と出力行が異なる。そのため、CMOSイメージセンサ11は、25行目に最も近接する2つの読み出し行である18行目と34行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+2)フレームでは、CMOSイメージセンサ11は、20行目と36行目(図示せず)から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+3)フレームでは、CMOSイメージセンサ11は、22行目と38行目(図示せず)から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+4)フレームでは、CMOSイメージセンサ11は、24行目と40行目(図示せず)から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+5)フレームでは、CMOSイメージセンサ11は、10行目と26行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+6)フレームでは、CMOSイメージセンサ11は、12行目と28行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+7)フレームでは、CMOSイメージセンサ11は、14行目と30行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+8)フレームでは、CMOSイメージセンサ11は、16行目と32行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
第(α+9)フレームでは、CMOSイメージセンサ11は、再び18行目と34行目から読み出した画素データの加重加算値を計算し、その結果を25行目から出力する。
以上のように、CMOSイメージセンサ11は、本読み出し制御を実行した場合の出力画像として、上述した補正処理を実行することで、フレーム間で垂直方向の重心位置にずれのない出力画像を出力することができる。
これにより、後段のDSP201(図14)等では、垂直方向のずれを補正する処理を行う必要がないため、その他の画像処理に専念することができ、処理負担が軽減される。また、CMOSイメージセンサ11単体でみれば、間引き読み出しによる高速撮像であっても全画素読み出しと同一の露光時間の確保し、かつ、垂直方向のずれが補正された高画質の画像を出力することができる。
なお、上述した垂直方向のずれを補正する補正処理は、例えば、図1のCMOSイメージセンサ11では、水平出力線17の先に信号処理回路を設け、そこで実行させることができる。また、上述したCMOSイメージセンサ71や101が、上述した補正処理を行うことも勿論可能である。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 CMOSイメージセンサ, 12 タイミング制御回路, 13 行走査回路, 14 画素アレイ部, 16 列走査回路, 17 水平出力線, 211,1乃至21m,n 画素,71 CMOSイメージセンサ,101 CMOSイメージセンサ

Claims (6)

  1. 光電変換素子を含む画素が行列状に複数配置される画素アレイ部と、
    前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御することにより、前記画素の露光時間を制御する制御手段と
    を備え、
    前記制御手段は、間引き率1/Q(Qは正の整数)の間引き読出しを行う場合、前記画素アレイ部の各行の前記画素について、Qフレーム時間にわたる露光時間を確保する
    固体撮像素子。
  2. 前記制御手段は、第p−1フレーム(p>1)の次の第pフレームでは、前記第p−1フレームでシャッタ動作と読み出し動作を行った行以外の行に対して、シャッタ動作と読み出し動作を行う
    請求項1に記載の固体撮像素子。
  3. 前記制御手段は、Qフレーム時間で、前記画素アレイ部の全ての行に対して、シャッタ動作と読み出し動作を行う
    請求項2に記載の固体撮像素子。
  4. 前記読み出し動作により読み出された前記画素の画素データは、予め決められた出力行から出力され、その出力行に対して垂直方向に最も近接する2つの読み出し行の前記画素データの加重加算値を計算して出力する信号処理手段をさらに備える
    請求項3に記載の固体撮像素子。
  5. カラムAD方式である
    請求項3に記載の固体撮像素子。
  6. 光電変換素子を含む画素が行列状に複数配置される画素アレイ部と、前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御することにより、前記画素の露光時間を制御する制御手段とを備える固体撮像素子の、
    前記制御手段が、間引き率1/Qの間引き読出しを行う場合、前記画素アレイ部の各行の前記画素について、Qフレーム時間にわたる露光時間を確保するように、前記画素アレイ部の各画素のシャッタ動作と読み出し動作を行ごとに選択制御する
    駆動制御方法。
JP2009101636A 2009-01-07 2009-04-20 固体撮像素子および駆動制御方法 Expired - Fee Related JP4868021B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009101636A JP4868021B2 (ja) 2009-01-07 2009-04-20 固体撮像素子および駆動制御方法
US12/655,667 US8184172B2 (en) 2009-01-07 2010-01-05 Solid-state imaging device and driving control method
CN201010002078A CN101771801A (zh) 2009-01-07 2010-01-07 固态成像器件和驱动控制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009001513 2009-01-07
JP2009001513 2009-01-07
JP2009101636A JP4868021B2 (ja) 2009-01-07 2009-04-20 固体撮像素子および駆動制御方法

Publications (2)

Publication Number Publication Date
JP2010183558A true JP2010183558A (ja) 2010-08-19
JP4868021B2 JP4868021B2 (ja) 2012-02-01

Family

ID=42311449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009101636A Expired - Fee Related JP4868021B2 (ja) 2009-01-07 2009-04-20 固体撮像素子および駆動制御方法

Country Status (3)

Country Link
US (1) US8184172B2 (ja)
JP (1) JP4868021B2 (ja)
CN (1) CN101771801A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145342A1 (ja) * 2010-05-19 2011-11-24 株式会社ニコン 撮像装置
WO2012137445A1 (ja) * 2011-04-08 2012-10-11 パナソニック株式会社 固体撮像装置の駆動方法
JP2013183319A (ja) * 2012-03-02 2013-09-12 Casio Comput Co Ltd 撮像装置、及び撮像方法
JP2015144385A (ja) * 2014-01-31 2015-08-06 キヤノン株式会社 撮像装置およびそれを有する撮影装置
JP2015144386A (ja) * 2014-01-31 2015-08-06 キヤノン株式会社 撮像装置およびそれを有する撮影装置
KR20190029606A (ko) 2016-07-26 2019-03-20 소니 주식회사 촬상 제어 장치 및 촬상 제어 방법, 및 촬상 소자
US11991449B2 (en) 2019-12-19 2024-05-21 Fujifilm Corporation Imaging apparatus capable of changing thinning-out rates for different angles of view

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5593975B2 (ja) * 2010-08-30 2014-09-24 富士通セミコンダクター株式会社 画像処理装置、画像処理方法、及びスケジューリング装置
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012249134A (ja) * 2011-05-30 2012-12-13 Sony Corp 固体撮像素子およびその駆動方法、カメラシステム
JP5927370B1 (ja) * 2014-09-05 2016-06-01 オリンパス株式会社 撮像装置および処理装置
WO2018142707A1 (ja) * 2017-02-01 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び撮像装置
US20190020411A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Methods and apparatus for efficient visible light communication (vlc) with reduced data rate

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62281574A (ja) * 1986-05-30 1987-12-07 Hitachi Ltd カラ−テレビジヨンカメラ
JP2000308075A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd 撮像素子および撮像素子の駆動方法
JP2001511628A (ja) * 1997-07-24 2001-08-14 ポラロイド コーポレイション Cmos領域イメージセンサのためのフォーカルプレーン露光制御システム
JP2003046876A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像装置
JP2008028608A (ja) * 2006-07-20 2008-02-07 Matsushita Electric Ind Co Ltd 固体撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957238B2 (ja) 2006-12-27 2012-06-20 ソニー株式会社 固体撮像装置
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP5076635B2 (ja) * 2007-05-17 2012-11-21 ソニー株式会社 イメージセンサ
JP4556993B2 (ja) * 2007-12-07 2010-10-06 セイコーエプソン株式会社 状態検査システム
US8390710B2 (en) * 2007-12-19 2013-03-05 Canon Kabushiki Kaisha Image pickup system, method for driving image pickup elements, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62281574A (ja) * 1986-05-30 1987-12-07 Hitachi Ltd カラ−テレビジヨンカメラ
JP2001511628A (ja) * 1997-07-24 2001-08-14 ポラロイド コーポレイション Cmos領域イメージセンサのためのフォーカルプレーン露光制御システム
JP2000308075A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd 撮像素子および撮像素子の駆動方法
JP2003046876A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像装置
JP2008028608A (ja) * 2006-07-20 2008-02-07 Matsushita Electric Ind Co Ltd 固体撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145342A1 (ja) * 2010-05-19 2011-11-24 株式会社ニコン 撮像装置
JP2011244253A (ja) * 2010-05-19 2011-12-01 Nikon Corp 撮像装置
US9055243B2 (en) 2010-05-19 2015-06-09 Nikon Corporation Image shooting device
WO2012137445A1 (ja) * 2011-04-08 2012-10-11 パナソニック株式会社 固体撮像装置の駆動方法
US9338383B2 (en) 2011-04-08 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Method for driving solid-state imaging device including starting/ending a reset operation on pixels arranged in a two-dimensional array
JP6011944B2 (ja) * 2011-04-08 2016-10-25 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法
JP2013183319A (ja) * 2012-03-02 2013-09-12 Casio Comput Co Ltd 撮像装置、及び撮像方法
JP2015144385A (ja) * 2014-01-31 2015-08-06 キヤノン株式会社 撮像装置およびそれを有する撮影装置
JP2015144386A (ja) * 2014-01-31 2015-08-06 キヤノン株式会社 撮像装置およびそれを有する撮影装置
US9912885B2 (en) 2014-01-31 2018-03-06 Canon Kabushiki Kaisha Image pickup apparatus having partial readout function or skip readout function and photographing apparatus including the same
KR20190029606A (ko) 2016-07-26 2019-03-20 소니 주식회사 촬상 제어 장치 및 촬상 제어 방법, 및 촬상 소자
US11991449B2 (en) 2019-12-19 2024-05-21 Fujifilm Corporation Imaging apparatus capable of changing thinning-out rates for different angles of view

Also Published As

Publication number Publication date
US20100171873A1 (en) 2010-07-08
CN101771801A (zh) 2010-07-07
JP4868021B2 (ja) 2012-02-01
US8184172B2 (en) 2012-05-22

Similar Documents

Publication Publication Date Title
JP4868021B2 (ja) 固体撮像素子および駆動制御方法
JP5342969B2 (ja) 撮像装置及び撮像方法
JP5178994B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4497022B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5163935B2 (ja) イメージセンサ
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
US8436926B2 (en) Physical quantity detecting device, solid-state imaging device, and imaging apparatus
KR101426198B1 (ko) 촬상 장치, 촬상 방법 및 기록 매체
US9674469B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
JP4483293B2 (ja) 固体撮像装置およびその駆動方法
US20080218598A1 (en) Imaging method, imaging apparatus, and driving device
JP2010068476A (ja) 撮像装置及び撮像システム
US8462241B2 (en) Image sensing apparatus and image capturing system
WO2013084808A1 (ja) 固体撮像素子およびその駆動方法、カメラシステム
JP4929584B2 (ja) 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置
JP5640509B2 (ja) 固体撮像素子およびカメラシステム
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2009100381A (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
JP5578008B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP6019295B2 (ja) 固体撮像装置及びカメラシステム
JP2009141578A (ja) 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP2010124277A (ja) 撮像装置
JP5511205B2 (ja) 撮像装置及び撮像方法
JP2008244738A (ja) 撮像装置および撮像素子の駆動制御方法
JP2007201711A (ja) 撮像装置及びccd型固体撮像素子の電荷転送方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees