JP2009141579A - 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置 - Google Patents

Abstract

【課題】固体撮像素子の全画素を必要としない動画モード等において、間引き処理により無駄となる信号電荷を利用して、転送速度を維持したままフレームレートを速めて、信号電荷の転送効率を高め、滑らかな動画表示を可能にすること。
【解決手段】光電変換素子１に蓄積される信号電荷を、第１の素子行群（奇数行）Ｌ１からの信号電荷と、第２の素子行群（偶数行）Ｌ３からの信号電荷に分割して転送すると共に、第１の素子行群Ｌ１および第２の素子行群Ｌ３からの信号電荷の転送駆動を、列方向一列分の個数の光電変換素子１の１／ｎ（ｎは２以上の正整数）ずつずらして垂直転送することで、複数フレームの画像信号を電荷転送部３で混在させつつ高速に出力させる。
【選択図】図４

Description

本発明は、固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置に関する。

デジタルカメラ等に用いられる固体撮像素子（ＣＣＤ(charge coupled device)）の従来の駆動方法は、図１３および図１４に示すように行われている。
図１３に固体撮像素子を駆動するタイミングチャート、図１４に垂直電荷転送部における信号電荷の転送の状態（ａ）〜（ｄ）を示す概念説明図を示した。なお、図１４には光電変換素子を省略して垂直電荷転送部および水平電荷転送部のみを示している。
図１３に示すように、第１露光期間７１において光電変換素子は、受光する受光光量に比例した信号荷電を蓄積する。この信号荷電は第１フレーム７３での画像形成データとして使用される。このとき、固体撮像素子の垂直電荷転送部３および水平電荷転送部５は、図１４（ａ）に示すように信号電荷が空の初期状態となっている。ここで、垂直同期信号ＶＤ１のタイミングに同期して読出しパルスＴＧ１を各光電変換素子と垂直電荷転送部３との間に設けられた読出しゲート（図示せず）に印加すると、光電変換素子に蓄積されていた信号電荷は、一斉に垂直電荷転送部３に転送されて図１４（ｂ）に示す状態となる。ここで、図１４の●印は信号電荷を表している。

この固体撮像素子は、タイミング信号発生回路によって生成した垂直転送制御信号および水平転送制御信号Ｈ１，Ｈ２を、各垂直電荷転送部３および水平電荷転送部５にそれぞれ印加して、垂直電荷転送部３の信号荷電を１行ずつ水平電荷転送部５に転送し、水平電荷転送部５は転送された１行分の信号電荷を水平方向に順次に転送して出力増幅器７で増幅し、出力端子ＯＵＴから出力する（図１４（ｃ）参照）。そして、全ての信号荷電が出力されると、図１４（ｄ）に示すように、垂直電荷転送部３が空状態となり、元の状態に戻って第１フレーム７３の信号電荷の転送が終了する。

このとき、上記した信号電荷の転送を行いながら、第１フレーム７３の後半に設けられた第２露光期間７５において、光電変換素子に第２フレーム７７のための信号荷電を蓄積する。そして、読出しパルスＴＧ２を読出しゲートに印加して、光電変換素子に蓄積されていた信号電荷を一斉に垂直電荷転送部３に転送すると、再び図１４（ｂ）に示す状態となる。以後、同様に繰り返すことによって固体撮像素子が駆動される。なお、図１３に示す符号、ＨＤは水平同期信号、ＲＳはリセット信号、ＯＦＤはオーバーフロードレイン信号である。

ところで、この種のデジタルカメラ等に用いられる高画素数の固体撮像素子（ＣＣＤ：charge coupled device)で動画を撮像する場合には、画素の間引き読み出しや画素信号の加算等を行い、解像度を下げてフレームレートの高速化を図っている。
例えば特許文献１には、間引き読み出しした複数の画素信号を加算してフィールド画像を生成し、得られた２フィールド画像により１フレームの画像を構成することで、感度や解像度の低下を抑える技術が開示されている。また、特許文献２には、画素混合時に色フィルタのパターンと異なるパターンにしてしまう信号電荷を一旦間引きし、画素混合させずにそのまま読み出し、色フィルタのパターンと同じ位置関係の色パターンを得るようにする技術が開示されている。
特開２００１−１４５０２５号公報 特開２００３−２６４８４４号公報

しかしながら、上記のような間引き処理を行って読み出す画素を減らす場合、間引き率が高いほどフレームレートが速くなるが、その反面、解像度が落ち、読み出さない画素の信号が無駄になってしまう欠点がある。

本発明は上記状況に鑑みてなされたもので、固体撮像素子の全画素を必要としない動画モード等において、間引き処理により無駄となる信号電荷を利用して、転送速度を維持したままフレームレートを速めることを目的とし、もって、信号電荷の転送効率を高め、滑らかな動画表示を可能にする。

本発明の上記目的は、下記構成により達成される。
（１） 行方向およびこれと直交する列方向に沿って複数配列された光電変換素子により光電変換された信号電荷を、前記光電変換素子に隣接して前記列方向に沿って延設された複数の電荷転送路に読み出し、該読み出された信号電荷を出力部に転送して、該転送された信号電荷に応じた画像信号を外部に出力する固体撮像素子の駆動方法であって、
前記光電変換素子のうち、前記列方向の一端側から所定の行数毎に配列される第１の素子行群に対する信号電荷を、それぞれの光電変換部に対応する前記電荷転送路に選択的に読み出す第１ステップと、
前記電荷転送路に対して、前記列方向に形成されるポテンシャルバリア領域とポテンシャルウェル領域の対からなる電荷転送段の全段のうち所定段数分を電荷転送駆動する第２ステップと、
前記配列された光電変換素子のうち、前記第１の素子行群を除いた残りの第２の素子行群に対する光電変換素子の信号電荷を、それぞれの光電変換部に対応する前記電荷転送路に選択的に読み出す第３ステップと、
前記電荷転送路に対して、前記所定段数分を転送駆動する第４ステップと、
を繰り返す固体撮像素子の駆動方法。

この固体撮像素子の駆動方法によれば、第１の素子行群からの信号電荷と、第２の素子行群からの信号電荷に分割して転送し、それぞれを異なるフレーム画像のデータとして扱うことにより、行方向の解像度を低下させることなく、行方向に間引いたフレーム画像を連続して得ることができる。また、各素子行群からの信号電荷が電荷転送部により同時に転送されるため、転送効率が向上し、フレームレートが速められ、動画表示を行う場合に画面表示を滑らかにできる。

（２） （１）記載の固体撮像素子の駆動方法であって、
前記第２ステップおよび前記第４ステップで転送駆動される所定段数は、前記光電変換素子の前記列方向一列分の個数の１／ｎ（ｎは２以上の正整数）である固体撮像素子の駆動方法。

この固体撮像素子の駆動方法によれば、転送駆動を一列分の光電変換素子の１／ｎとすることで、複数のフレーム画像を繰り返し出力させることができる。また、ｎを２とすることで２フレームの画像を電荷転送部で混在させつつ高速に出力させることが可能となる。

（３） （１）または（２）記載の固体撮像素子の駆動方法であって、
前記第１ステップで前記光電変換素子から読み取る信号電荷と、
前記第３ステップで前記光電変換素子から読み取る信号電荷と、が互いに異なる受光期間の信号電荷である固体撮像素子の駆動方法。

この固体撮像素子の駆動方法によれば、第１の素子行群と、第２の素子行群との露光タイミングが異なることで、第１の素子行群によるフレーム画像と、第２の素子行群によるフレーム画像とを連続表示したときの時間差が均等になり、より滑らかな画像の出力が行える。

（４） （１）〜（３）のいずれか１項記載の固体撮像素子の駆動方法により出力される画像信号を処理する信号処理方法であって、
前記第２ステップと前記第４ステップで出力される画像信号を、前記第１の行群からの信号電荷分と前記第２の行群からの信号電荷分とを選択的に振り分けて、前記第１の行群からの信号電荷に基づく画像信号により第１のフレーム画像を生成し、前記第２の行群からの信号電荷に基づく画像信号により第２のフレーム画像を生成する信号処理方法。

この信号処理方法によれば、第１の行群からの画像信号と、第２の行群からの画像信号をそれぞれ選択的に振り分けて、同種の画像信号として再構築することにより、電荷転送時では混在していた各行群からの信号電荷が、それぞれ異なるフレーム画像を生成できるようになる。

（５） （４）記載の信号処理方法であって、
前記第１のフレーム画像と前記第２のフレーム画像の座標を、前記第１の行群に対する光電変換素子の空間配置位置と、前記第２の行群に対する光電変換素子の空間配置位置との相対的なずれを維持するように補正する信号処理方法。

この信号処理方法によれば、第１の行群からのフレーム画像と、第２の行群からのフレーム画像の空間的なずれが維持されるように補正され、正確に位置合わせされた画像として出力できる。

（６） （４）または（５）記載の信号処理方法であって、
前記光電変換素子の配列は、前記列方向に沿って１つ毎に同色の色成分を検出する光電変換素子が配列された第１の列と、該第１の列と同じ色配列の第２の列と、を前記行方向に繰り返し配置した配列であり、
前記同じ行同士の前記第１の列と前記第２の列との対をそれぞれ画素混合する信号処理方法。

この信号処理方法によれば、第１の行群と第２の行群それぞれの検出色の配列を同一にでき、また、画素混合後には行方向および列方向に対する配列ピッチを一致させることができ、解像度の方向依存性をなくすことができる。

（７） 行方向およびこれと直交する列方向に沿って複数配列された光電変換素子により光電変換された信号電荷を、前記光電変換素子に隣接して前記列方向に沿って延設された複数の電荷転送路に読み出し、該読み出された信号電荷を出力部に転送して、該転送された信号電荷に応じた画像信号を外部に出力する固体撮像素子と、
（１）〜（３）のいずれか１項記載の固体撮像素子の駆動方法に基づいて前記固体撮像素子を駆動制御する制御手段と、
を備えた撮像装置。

この撮像装置によれば、行方向の解像度を低下させることなく、行方向に間引いたフレーム画像を連続して出力させることができる。また、各素子行群からの信号電荷が電荷転送部により同時に転送されるため、転送効率が向上し、フレームレートが速められ、動画表示を行う場合に画面表示を滑らかにできる。

（８） （７）記載の撮像装置であって、
（４）〜（６）のいずれか１項記載の信号処理方法を行う信号処理手段を備えた撮像装置。

この撮像装置によれば、効率良く信号電荷の読み込みが行え、滑らかな動画表示性能を得ることができる。

本発明の固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置によれば、固体撮像素子の全画素を必要としない動画モード等において、間引き処理により無駄となる信号電荷を利用することで、転送速度を維持したままフレームレートを速めることができる。また、信号電荷の転送効率を高め、滑らかな動画表示が可能となる。

以下、本発明に係る固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置の好適な実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は固体撮像素子の基本構成を示すブロック図である。
本発明に係る固体撮像素子１００は、多数の光電変換素子１が平面上に行方向（矢印Ｘの方向）及び列方向（矢印Ｙの方向）に沿って二次元配置された撮像部９を有している。各々の光電変換素子１は、半導体で構成されるフォトダイオードからなり、各々の受光面に入射した光の強さと露光時間の長さとで定まる光量に応じた信号電荷を生成する。つまり、複数の光電変換素子１のそれぞれが生成する信号電荷の量が、二次元画像を構成するそれぞれの画素の明るさに相当する。

二次元配置された多数の光電変換素子１のそれぞれが出力する信号電荷を、固体撮像素子１００の出力端子ＯＵＴから時系列のフレーム毎の信号として取り出すために、複数の垂直電荷転送部３と、水平電荷転送部５と、出力増幅器７とが、固体撮像素子１００に備わっている。

各々の垂直電荷転送部３は、光電変換素子１と隣接する位置に、列方向（図中矢印Ｙ方向）に向かって延設されており、１列分の光電変換素子１のそれぞれから信号電荷を受け取った後、列毎に信号電荷を矢印Ｙ方向に順次に転送する。

各列の垂直電荷転送部３の出力側には水平電荷転送部５が配置されており、垂直電荷転送部３から信号電荷が受け渡され、水平電荷転送部５上に１行分の信号電荷が転送される。水平電荷転送部５は、１行分の信号電荷を行方向（図中矢印Ｘ方向）に順次に転送する。水平電荷転送部５の出力に順番に現れる信号電荷は、出力増幅器７で増幅され、転送された信号電荷に応じた画像信号が出力端子ＯＵＴから出力される。

このような読み出し動作を実現するのに必要な制御信号、すなわち、垂直転送制御信号φＶ（通常は複数相の信号）と、水平転送制御信号φＨ（通常は複数相の信号）とが、図示しないタイミング信号発生回路によって生成され、固体撮像素子１００の各垂直電荷転送部３と、水平電荷転送部５とにそれぞれ印加される。

図２は図１に示す固体撮像素子１００を搭載した撮像装置のブロック図である。
このような固体撮像素子１００を搭載する本実施形態の撮像装置２００は、図２に示すように、撮影レンズ１１と、固体撮像素子（ＣＣＤ固体撮像素子）１００と、この両者の間に設けられた絞り１３と、赤外線カットフィルタ１５と、光学ローパスフィルタ１７とを備える。撮像装置２００の全体を統括制御するＣＰＵ１９は、フラッシュ発光部２１及び受光部２３を制御し、レンズ駆動部２５を制御して撮影レンズ１１の位置をフォーカス位置に調整し（ＡＦ制御）、絞り駆動部２７を介して絞り１３の開口量を制御（ＡＥ制御）して露光量調整を行う。これらの撮影レンズ１１、絞り１３，赤外線カットフィルタ１５，光学ローパスフィルタ１７の光学系は、固体撮像素子１００の受光領域に光学像を形成する。

また、ＣＰＵ１９は、撮像素子駆動部２９を介して固体撮像素子１００を駆動し、撮影レンズ１１を通して撮像した被写体画像を色信号として出力させる。ＣＰＵ１９には、操作部３１を通してユーザからの指示信号が入力され、ＣＰＵ１９はこの指示に従って各種制御を行う。

撮像装置２００の電気制御系は、固体撮像素子１００の出力に接続されたアナログ信号処理部３３と、このアナログ信号処理部３３から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路３５と、Ａ／Ｄ変換回路３５から出力されたデジタル信号を後述する光電変換素子の第１の素子行群（奇数行の光電変換素子）からの信号電荷分と、第２の素子行群（偶数行の光電変換素子）からの信号電荷分と、に選択的に振り分けるセレクタ３７と、セレクタ３７で振り分けられたデジタル信号をそれぞれの行群ごとに蓄積する第１バッファ３９及び第２バッファ４０とを備え、これらはＣＰＵ１９によって制御される。なお、信号処理手段としては、これらセレクタ３７と第１バッファ３９及び第２バッファ４０が含まれる。

さらに、この撮像装置２００の電気制御系は、メインメモリ（フレームメモリ）４３に接続されたメモリ制御部４１と、ガンマ補正演算，ＲＧＢ／ＹＣ変換処理，画像合成処理等の画像処理を行うデジタル信号処理部４５と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部４７と、測光データを積算しデジタル信号処理部４５が行うホワイトバランス補正のゲインを求める積算部４９と、着脱自在の記録媒体５１が接続される外部メモリ制御部５３と、カメラ背面等に搭載された表示部５５が接続される表示制御部５７と、第１バッファ３９及び第２バッファ４０からのデジタル信号に基づいて表示部５５に画像を形成する際に適正画像となるように両者間の座標のずれを補正する座標補正部５９とを備え、これらは、制御バス６１及びデータバス６３によって相互に接続され、ＣＰＵ１９からの指令によって制御される。

次に、本発明の固体撮像素子の駆動方法および信号処理方法について説明する。
図３は本発明の固体撮像素子の駆動手順を示すタイミングチャート、図４は垂直電荷転送部における信号電荷の転送の状態（ａ）〜（ｆ）を示す概念説明図、図５はデジタル信号（画像信号）が撮像装置のセレクタによって振り分けられて信号処理される状態（ａ）〜（ｅ）を示す概念説明図である。なお、図４には光電変換素子を省略して垂直電荷転送部および水平電荷転送部のみを示している。また、便宜上、奇数行の信号電荷を●印で、偶数行の信号電荷を○印で、区別して示す。光電変換素子の行数は、図中、下側から数えるものとする。

図３に示すように、第１の奇数行露光期間８１において、光電変換素子１は受光する受光光量に比例した信号荷電を蓄積する。この信号荷電は第１フレーム８３での画像表示データとして使用される。このとき、固体撮像素子１００の垂直電荷転送部３および水平電荷転送部５は、図４（ａ）に示すように信号電荷が空の初期状態となっている。

ここで、垂直同期信号ＶＤ１のタイミングと同期して、奇数行読出しパルスＴＧＯ１を光電変換素子１と垂直電荷転送部３との間に設けられた読出しゲート（図示せず）に印加すると、２次元配列された光電変換素子１に蓄積されていた信号電荷の内、列方向の一端側から所定の行数毎（本実施形態では一例として１行毎）に配置される奇数行の光電変換素子（第１の素子行群）１に蓄積されていた信号電荷（●印で示す）が、対応する垂直電荷転送部３、即ち奇数行の垂直電荷転送部３Ａに転送されて図４（ｂ）に示す状態となる（●印で表す）。

次いで、タイミング信号発生回路（図示せず）によって生成した垂直転送制御信号を各垂直電荷転送部３に、水平転送制御信号Ｈ１，Ｈを水平電荷転送部５にそれぞれ印加して、奇数行の垂直電荷転送部３Ａの信号荷電を１行ずつ水平電荷転送部５に転送する。水平電荷転送部５は、転送された１行分の信号電荷を水平方向に順次に転送して出力増幅器７で増幅し、出力端子ＯＵＴから出力する。各垂直電荷転送部３の列方向に形成されるポテンシャルバリア領域とポテンシャルウェル領域（電荷蓄積領域）の対からなる、全ての電荷転送段３ａの内、１/２の段数数の垂直転送が終了すると、図４（ｃ）に示す状態となる。

この間に、第１の偶数行露光期間８５において光電変換素子１が受光光量に比例した信号荷電を蓄積する。この信号荷電は第２フレーム８７での画像表示データとして使用される。そして、偶数行読出しパルスＴＧＥ１を各光電変換素子１と垂直電荷転送部３との間に設けられた読出しゲートに印加して、第１の素子群行を除く残りの偶数行の光電変換素子１に蓄積されていた信号電荷（○印）を、対応する垂直電荷転送部３、即ち偶数行の垂直電荷転送部３Ｂに転送する（図４（ｄ）参照）。

そして、垂直転送制御信号Ｖおよび水平転送制御信号Ｈ１、Ｈ２を各垂直電荷転送部３と、水平電荷転送部５とにそれぞれ印加して、奇数行の垂直電荷転送部３Ａおよび偶数行の垂直電荷転送部３Ｂの信号荷電を１行ずつ水平電荷転送部５に転送し、更に水平電荷転送部５は転送された１行分の信号電荷を順次水平方向に転送する。

垂直電荷転送部３の列方向に形成される電荷転送段３ａの全段の内、１/２の段数の転送が行われると、図４（ｅ）に示すように、第１の奇数行露光期間８１で生成されて奇数行の垂直電荷転送部３Ａに読み出された信号電荷（●）はすべて出力され、第１の偶数行露光期間８５で生成されて偶数行の垂直電荷転送部３Ｂに読み出された信号電荷（○印）の内、半分が残った状態となる。

この信号処理を行う間に、第２の奇数行露光期間８９において信号荷電を光電変換素子１に蓄積し、第２の奇数行読出しパルスＴＧＯ２を光電変換素子１と垂直電荷転送部３との間に設けられた読出しゲートに印加し、奇数行の光電変換素子１に蓄積されていた信号電荷（●印）を、対応する垂直電荷転送部３、即ち、奇数行の垂直電荷転送部３Ａに再び転送すると、図４（ｆ）に示す状態となる。

そして、垂直転送制御信号および水平転送制御信号Ｈ１，Ｈ２を各垂直電荷転送部３と、水平電荷転送部５とにそれぞれ印加して、奇数行の垂直電荷転送部３Ａおよび偶数行の垂直電荷転送部３Ｂの信号荷電を１行ずつ水平電荷転送部５に転送し、更に水平電荷転送部５は転送された１行分の信号電荷を順次水平方向に転送して、垂直電荷転送部３の列方向に形成される電荷転送段３ａの全段の内、１/２の段数の転送を行う。

これにより、第１の偶数行露光期間８５で生成され偶数行の垂直電荷転送部３Ｂに読み出された信号電荷（○印）がすべて出力され、第２の奇数行露光期間８９で生成され奇数行の垂直電荷転送部３Ａに読み出された信号電荷（●印）だけが半分残った、図４（ｃ）に示す状態に戻る。これと同時に、第２の偶数行露光期間９１において光電変換素子１で受光し、受光光量に比例した信号荷電を光電変換素子１に蓄積する。

以後、同様に繰り返すことによって、電荷蓄積タイミングの異なる２種の信号電荷（奇数行の光電変換素子１に蓄積される信号電荷（●印）及び偶数行の光電変換素子１に蓄積される信号電荷（○印））、即ち、撮像タイミングの異なる２種のデジタル信号（画像信号）が固体撮像素子１００から同時に出力される。

なお、上記においては、奇数行露光期間および偶数行露光期間のいずれにおいても、全ての光電変換素子に同時に信号電荷を蓄積し、信号電荷の読み出し時に不要な偶数行または奇数行の信号電荷を廃棄することになるが、この廃棄する分の信号電荷を次フレームの画像として出力する構成としてもよい。また、垂直転送については、全電荷転送段３ａの１／２を転送することに限らず、任意の１／ｎ（ｎは２以上の正整数）としてもよい。

電荷蓄積タイミングが異なり、同時期に出力される２種の出力信号は、図２に示すように、それぞれＡ／Ｄ変換回路３５によってデジタル信号に変換されて、セレクタ３７に出力される。セレクタ３７は、図５に示すように、この２種の出力信号を、奇数行の垂直電荷転送部３Ａからの信号を第１バッファ３９に、また偶数行の垂直電荷転送部３Ｂからの信号を第２バッファ４０に選択的に振り分ける信号処理を行う。

具体的には、図４（ｂ）から（ｃ）への遷移時に対応してＡ／Ｄ変換回路３５から連続して出力される奇数行の垂直電荷転送部３Ａの信号は、図５（ａ）に示すように、全て第１バッファ３９に蓄積される。図５（ａ）は、全電荷転送段３ａの１/２の段数の転送が終了した状態、即ち図４（ｃ）または（ｄ）に対応する状態である。

これ以後は、奇数行の垂直電荷転送部３Ａ及び偶数行の垂直電荷転送部３Ｂからの信号（●および○印）が交互にＡ／Ｄ変換回路３５から出力されるが、セレクタ３７が奇数行の垂直電荷転送部３Ａからの信号（●印）を第１バッファ３９に、また偶数行の垂直電荷転送部３Ｂからの信号（○印）を第２バッファ４０に選択的に振り分ける（図５（ｂ）参照）。これにより、第１バッファ３９には奇数行の垂直電荷転送部３Ａからの信号（●印）が蓄積され、第２バッファ４０には偶数行の垂直電荷転送部３Ｂからの信号（○印）が蓄積される。

図５（ｃ）は、奇数行の垂直電荷転送部３Ａの信号がすべて出力され、偶数行の垂直電荷転送部３Ｂの信号が半分出力された図４（ｅ）または（ｆ）に対応した状態である。第１の奇数行露光期間８１で生成されて奇数行の垂直電荷転送部３Ａに読み出された信号電荷（●印）に対応するすべての画像信号が第１バッファ３９に蓄積されると、該画像信号はデータバス６３に出力されて第１バッファ３９が空状態となる。

図５（ｄ）は、図４（ｆ）から（ｃ）への遷移時に対応した状態を示し、図５（ｅ）は、図４（ｃ）または（ｄ）に対応した状態であり、第１の偶数行露光期間８５で生成されて偶数列の垂直電荷転送部３Ｂに読み出された信号電荷（○印）に対応するすべての画像信号が第２バッファ４０に蓄積されると、該画像信号はデータバス６３に出力されて第２バッファ４０が空状態となる。これ以後は、セレクタ３７によって図５（ｅ），（ｃ），（ｄ），（ｅ）に示す順に、奇数行および偶数行の垂直電荷転送部３Ａ、３Ｂからの信号を振り分ける信号処理が繰り返し行われる。

このようにセレクタ３７によって振り分けられた奇数行の垂直電荷転送部３Ａ及び偶数行の垂直電荷転送部３Ｂからの信号は、表示制御部５７により表示部５５に表示される。しかし、図６に示すように、奇数行の垂直電荷転送部３Ａの信号に基づいて生成される第１のフレーム画像１０１と、偶数行の垂直電荷転送部３Ｂの信号に基づいて生成される第２のフレーム画像１０３とをそのまま合成すると、奇数行の光電変換素子１の空間配置位置と、偶数行の光電変換素子１の空間配置位置との相対的なずれが生じて、正しい画像とはならない。そこで、このずれ量に応じて、座標補正部５９（図２参照）によって第１のフレーム画像１０１の中心位置Ｐ１と、第２のフレーム画像１０３の中心位置Ｐ２とが画像合成後に一致せず、互いに異なる位置になるように座標補正を施す。これにより、撮像領域に正確に位置合わせされたフレーム画像に変換されて表示される。

なお、図３に示すように、奇数行の垂直電荷転送部３Ａの信号に基づいて生成される第１（奇数）のフレーム画像１０１は奇数行露光期間８１，８９，・・・で撮像された画像であり、偶数行の垂直電荷転送部３Ｂの信号に基づいて生成される第２（偶数）のフレーム画像１０３は、偶数行露光期間８５，９１，・・・で撮像された画像である。即ち、この固体撮像素子の駆動方法によれば、奇数行の垂直電荷転送部３Ａと、偶数行の垂直電荷転送部３Ｂとの露光タイミングが異なるので、第１のフレーム画像１０１と第２のフレーム画像１０３とを連続表示したときの時間差が均等になり、より滑らかな画像の出力が行え、動画画像の出力に好適となる。

上記したように、この固体撮像素子１００の駆動方法によれば、奇数行の垂直電荷転送部３Ａからの信号電荷と、偶数行の垂直電荷転送部３Ｂからの信号電荷と、を分割して転送し、それぞれを異なるフレーム画像１０１，１０３のデータとして扱うことにより、行方向の解像度を低下させることなく、行方向に間引いたフレーム画像を連続して得ることができる。また、奇数行および偶数行の垂直電荷転送部３Ａ，３Ｂからの信号電荷が、電荷転送部３により同時に転送されるため、転送効率が向上し、フレームレートが速められ、動画表示を行う場合に画面表示を滑らかにできる。

（第２実施形態）
次に、光電変換素子が正方格子配列され、カラー画像を撮影可能な固体撮像素子の駆動方法および信号処理方法について図７〜図９に基づいて説明する。
図７は正方格子配列された各光電変換素子が検出する色成分の一配置例を示す概念平面図、図８は奇数行の光電変換素子が検出する色成分（ａ）と、偶数行の光電変換素子が検出する色成分（ｂ）を示す説明図である。

図７に示すように、本実施形態の固体撮像素子１００は、多数の光電変換素子１が正方格子状に二次元配列されている。それぞれの光電変換素子１の受光面の前面には光学フィルタが配置され、該光学フィルタの分光特性によって、各光電変換素子１が検出する色成分が予め定められている。

図７に示すカラー配置例では、Ｇの色成分を検出する一対の光電変換素子１が行方向に沿って配置された第１ブロックＢ１と、Ｂの色成分を検出する一対の光電変換素子１が行方向に沿って配置された第２ブロックＢ２と、の複数ブロックＢ１、Ｂ２が、行方向に沿って繰り返し配置された第１光電変換素子行Ｌ１、およびＲの色成分を検出する一対の光電変換素子１が行方向に沿って配置された第３ブロックＢ３と、上記の第１ブロックＢ１と同様の第４ブロックＢ４と、の複数ブロックＢ３，Ｂ４が行方向に沿って繰り返し配置された第２光電変換素子行Ｌ３が、それぞれ２行ずつ組とされて、交互に列方向に繰り返して配置されている。

即ち、第１行（Ｌ１）および第２行（Ｌ２）の光電変換素子１には、行方向に沿ってＧＧＢＢＧＧＢＢ・・・の順で配列され、第３行（Ｌ３）および第４行（Ｌ４）の光電変換素子１には、行方向に沿ってＲＲＧＧＲＲＧＧ・・・の順で配列され、以後、列方向に同様の配列が繰り返される。

このような配列を有する固体撮像素子１００の奇数行の信号電荷（Ｌ１，Ｌ３，・・・）の読み出しによって読み出される色配列は、図８（ａ）に示すように、第１ブロックＢ１（ＧＧ）および第２ブロックＢ２（ＢＢ）が行方向に沿って交互に配列された行と、第３ブロックＢ３（ＲＲ）および第４ブロックＢ４（ＧＧ）が行方向に沿って交互に配列された行と、からなる。これは、ブロック単位で見ると、第１ブロックＢ１（ＧＧ）および第４ブロックＢ４（ＧＧ）で市松状に配列され、第２ブロックＢ２（ＲＲ）と第３ブロック（ＢＢ）がＧＧ以外の領域に配置された、所謂、ベイヤー配列となる。また、偶数行の信号電荷（Ｌ２，Ｌ４，・・・）の読み出しによって読み出される色配列も同様であり、図８（ｂ）に示すように、ベイヤー配列となる。

奇数行（Ｌ１，Ｌ３，・・・）および偶数行（Ｌ２，Ｌ４，・・・）ごとに分けて読み出されるそれぞれの信号電荷は、同一行内にある同じブロック（Ｂ１，Ｂ２，Ｂ３，Ｂ４）内の信号電荷が電荷加算されて画素混合される。図９は図８（ａ）に示す第１行（Ｌ１）内の同一ブロックの信号電荷が水平電荷転送部で電荷加算される状態（ａ）〜（ｄ）を示す説明図、図１０は電荷加算された信号電荷に基づいて形成されるフレーム画像の拡大図である。

露光期間での露光により各光電変換素子１には、受光光量に比例した信号電荷（Ｇ画素、Ｂ画素、およびＲ画素の信号電荷、以下、単にＧ電荷、Ｂ電荷およびＲ電荷と称する）が蓄積される。ここで、奇数行の読出し電極に読み出しパルスを印加すると、図９（ａ）に示すように、第１行（Ｌ１）の各光電変換素子１に蓄積されているＧ電荷およびＢ電荷が、対応する垂直電荷転送部３の電荷転送段３ａに転送されて読み出される。

ここで、図９（ｂ）に示すように、偶数列の垂直電荷転送部３Ｃに垂直転送制御信号を印加し、第１行（Ｌ１）にある信号電荷の内、偶数列の信号電荷（Ｇ電荷およびＢ電荷）を水平電荷転送部５に転送する。次いで、図９（ｃ）に示すように、水平電荷転送部５に水平転送制御信号を印加して該Ｇ電荷およびＢ電荷を一段分、水平転送すると、垂直電荷転送部３の第１行（Ｌ１）に残っている信号電荷と、水平電荷転送部５で一段分転送された信号電荷とは、同じ色成分の信号電荷（Ｇ電荷およびＢ電荷）が同じ列に位置する。

ここで、図９（ｄ）に示すように、奇数列の垂直電荷転送部３Ｄに垂直転送制御信号を印加し、第１行（Ｌ１）にある信号電荷の内、奇数列の信号電荷を水平電荷転送部５に転送すると、２つのＧ電荷およびＢ電荷が電荷加算されて２Ｇ電荷、２Ｂ電荷となり、画素混合される。

なお、上記の説明においては、第１行（Ｌ１）の光電変換素子１について述べたが、他の奇数行の信号電荷（Ｌ３，Ｌ５，・・・）についても、また図８（ｂ）に示す偶数行の信号電荷（Ｌ２，Ｌ４，・・・）についても、同様に信号処理され、電荷加算されて画素混合される。

このように電荷加算されて読み出される奇数行の信号電荷２Ｇ，２Ｒ，２Ｇ，２Ｂに基づいて第１のフレーム画像を形成し、偶数行の信号電荷２Ｇ，２Ｒ，２Ｇ，２Ｂに基づいて第２のフレーム画像を形成する。図１０に示すように、４個の光電変換素子１からの信号電荷をまとめて１つの画素の画像を形成すれば、行方向および列方向に対する配列ピッチを一致させることができ、水平、垂直方向の解像度が一定のベイヤー配列の画像が得られる。

また上記したように、固体撮像素子１００側で電荷加算して転送することで、画像信号取り出し後の後処理でデータを画像加算するための演算が不要となり、処理速度を向上することができる。

（第３実施形態）
次に、カラー画像を撮影可能な他の形式の固体撮像素子の駆動方法および信号処理方法について図１１および図１２に基づいて説明する。
図１１は各光電変換素子が検出する色成分の一配置例を示す概念図、図１２は奇数行の光電変換素子（第１の素子行群）が検出する色成分（ａ）と、偶数行の光電変換素子（第２の素子行群）が検出する色成分（ｂ）を示す概念図である。

図１１に示すように、本実施形態の固体撮像素子１００は、多数の光電変換素子１が一行毎に半ピッチずらされたパターン（所謂ハニカム配列）を形成するように配置されている。それぞれの光電変換素子１の受光面の前面には光学フィルタが配置され、該光学フィルタの分光特性によって、各光電変換素子１が検出する色成分が予め定められている。

図１１に示すカラー配置例では、図中左側からＧＢＧＢ・・・の順で行方向に沿って配置された第１光電変換素子行Ｌ１と、ＲＧＲＧ・・・の順で行方向に沿って配置された第２光電変換素子行Ｌ２とが、それぞれ２行ずつの組とされて、列方向に沿って交互に繰り返して配置されている。なお、ここでは、便宜上、列および行方向に半ピッチずらされて、列方向に隣接配置された２行分をまとめて、１行として取り扱う。

このように配列された固体撮像素子１００は、第２実施形態で既に説明した（図７〜図９参照）、本発明の固体撮像素子の駆動方法および信号処理方法と同様に、奇数行（Ｌ１，Ｌ３，Ｌ５，・・・ ：第１の素子行群）の光電変換素子１の信号電荷と、偶数行（Ｌ２，Ｌ４，Ｌ６，・・・ ：第２の素子行群）の光電変換素子１の信号電荷とが、分割して読み出され、同一行内にある同じブロック（Ｂ１，Ｂ２，Ｂ３，Ｂ４）の信号電荷が電荷加算されて画素混合処理される。

奇数行の信号電荷（Ｌ１，Ｌ３，・・・）の読み出しによって読み出される色配列は、図１２（ａ）に示すように、ブロック単位で見ると、Ｇが市松状に配列され、Ｒ，ＢがＧの隙間に配置された、所謂、ベイヤー配列となる。そして、同一行（例えば、Ｌ１）内にある同じブロック（Ｂ１，Ｂ２）内の信号電荷同士、ＧＧ，ＢＢが電荷加算されて画素混合処理される。

また、偶数行の信号電荷（Ｌ２，Ｌ４，・・・）の読み出しによって読み出される色配列も、図１２（ｂ）に示すようにベイヤー配列となり、上記と同様に、同一行（例えば、Ｌ２）内にある同じブロック（Ｂ３，Ｂ４）内の信号電荷同士、ＲＲ，ＧＧが電荷加算されて画素混合処理される。

このように、奇数行（Ｌ１，Ｌ３，Ｌ５，・・・ ：第１の素子行群）の光電変換素子１の信号電荷と、偶数行（Ｌ２，Ｌ４，Ｌ６，・・・ ：第２の素子行群）の光電変換素子１の信号電荷とが、分割して固体撮像素子１００から読み出され、画素混合処理された画像信号に基づいて形成されるカラー画像は、高い解像度を有し、且つ色再現性がよい高画質の画像となる。

なお、本発明は、前述した各実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。

本発明に係る固体撮像素子の基本構成を示すブロック図である。 図１に示す固体撮像素子を搭載した撮像装置のブロック図である。 本発明の固体撮像素子の駆動手順を示すタイミングチャートである。 垂直電荷転送部における信号電荷の転送の状態（ａ）〜（ｆ）を示す概念説明図である。 デジタル信号が撮像装置のセレクタによって振り分けられて信号処理される状態（ａ）〜（ｅ）を示す概念説明図である。 露光タイミングが異なる第１のフレーム画像と第２のフレーム画像とが位置補正されて表示された画像を示す説明図である。 正方格子配列された各光電変換素子が検出する色成分の一配置例を示す概念平面図である。 奇数行の光電変換素子が検出する色成分（ａ）と、偶数行の光電変換素子が検出する色成分（ｂ）を示す説明図である。 同一行内の同一ブロックの信号電荷が水平電荷転送部で電荷加算される状態（ａ）〜（ｄ）を示す説明図である。 電荷加算された信号電荷に基づいて形成されるフレーム画像の拡大図である。 他の配列の各光電変換素子が検出する色成分の一配置例を示す概念平面図である。 図１１に示す配列の光電変換素子において、奇数行の光電変換素子が検出する色成分（ａ）と、偶数行の光電変換素子が検出する色成分（ｂ）を示す説明図である。 従来の固体撮像素子の駆動手順を示すタイミングチャートである。 従来の固体撮像素子の垂直電荷転送部における信号電荷の転送の状態（ａ）〜（ｄ）を示す概念説明図である。

符号の説明

１ 光電変換素子（光電変換部）
３ 垂直電荷転送部（電荷転送路）
３Ａ 奇数行の垂直電荷転送部（電荷転送路）
３Ｂ 偶数行の垂直電荷転送部（電荷転送路）
３Ｃ 偶数列の垂直電荷転送部（電荷転送路）
３Ｄ 奇数列の垂直電荷転送部（電荷転送路）
３ａ 電荷転送段
５ 水平電荷転送部（電荷転送路）
１９ ＣＰＵ（制御手段）
３７ セレクタ（信号処理手段）
５９ 座標補正部（信号処理手段）
８１，８９ 奇数行露光期間（受光期間）
８５，９１ 偶数行露光期間（受光期間）
１００ 固体撮像素子
１０１ 第１のフレーム画像
１０３ 第２のフレーム画像
２００ 撮像装置
Ｂ 信号電荷
Ｇ 信号電荷
Ｒ 信号電荷
Ｌ１ 第１光電変換素子行（第１の素子行群）
Ｌ３ 第２光電変換素子行（第２の素子行群）
ＯＵＴ 出力端子（出力部）

Claims (8)

1. 行方向およびこれと直交する列方向に沿って複数配列された光電変換素子により光電変換された信号電荷を、前記光電変換素子に隣接して前記列方向に沿って延設された複数の電荷転送路に読み出し、該読み出された信号電荷を出力部に転送して、該転送された信号電荷に応じた画像信号を外部に出力する固体撮像素子の駆動方法であって、
   前記光電変換素子のうち、前記列方向の一端側から所定の行数毎に配列される第１の素子行群に対する信号電荷を、それぞれの光電変換部に対応する前記電荷転送路に選択的に読み出す第１ステップと、
   前記電荷転送路に対して、前記列方向に形成されるポテンシャルバリア領域とポテンシャルウェル領域の対からなる電荷転送段の全段のうち所定段数分を電荷転送駆動する第２ステップと、
   前記配列された光電変換素子のうち、前記第１の素子行群を除いた残りの第２の素子行群に対する光電変換素子の信号電荷を、それぞれの光電変換部に対応する前記電荷転送路に選択的に読み出す第３ステップと、
   前記電荷転送路に対して、前記所定段数分を転送駆動する第４ステップと、
   を繰り返す固体撮像素子の駆動方法。
2. 請求項１記載の固体撮像素子の駆動方法であって、
   前記第２ステップおよび前記第４ステップで転送駆動される所定段数は、前記光電変換素子の前記列方向一列分の個数の１／ｎ（ｎは２以上の正整数）である固体撮像素子の駆動方法。
3. 請求項１または請求項２記載の固体撮像素子の駆動方法であって、
   前記第１ステップで前記光電変換素子から読み取る信号電荷と、
   前記第３ステップで前記光電変換素子から読み取る信号電荷と、が互いに異なる受光期間の信号電荷である固体撮像素子の駆動方法。
4. 請求項１〜請求項３のいずれか１項記載の固体撮像素子の駆動方法により出力される画像信号を処理する信号処理方法であって、
   前記第２ステップと前記第４ステップで出力される画像信号を、前記第１の行群からの信号電荷分と前記第２の行群からの信号電荷分とを選択的に振り分けて、前記第１の行群からの信号電荷に基づく画像信号により第１のフレーム画像を生成し、前記第２の行群からの信号電荷に基づく画像信号により第２のフレーム画像を生成する信号処理方法。
5. 請求項４記載の信号処理方法であって、
   前記第１のフレーム画像と前記第２のフレーム画像の座標を、前記第１の行群に対する光電変換素子の空間配置位置と、前記第２の行群に対する光電変換素子の空間配置位置との相対的なずれを維持するように補正する信号処理方法。
6. 請求項４または請求項５記載の信号処理方法であって、
   前記光電変換素子の配列は、前記列方向に沿って１つ毎に同色の色成分を検出する光電変換素子が配列された第１の列と、該第１の列と同じ色配列の第２の列と、を前記行方向に繰り返し配置した配列であり、
   前記同じ行同士の前記第１の列と前記第２の列との対をそれぞれ画素混合する信号処理方法。
7. 行方向およびこれと直交する列方向に沿って複数配列された光電変換素子により光電変換された信号電荷を、前記光電変換素子に隣接して前記列方向に沿って延設された複数の電荷転送路に読み出し、該読み出された信号電荷を出力部に転送して、該転送された信号電荷に応じた画像信号を外部に出力する固体撮像素子と、
   請求項１〜請求項３のいずれか１項記載の固体撮像素子の駆動方法に基づいて前記固体撮像素子を駆動制御する制御手段と、
   を備えた撮像装置。
8. 請求項７記載の撮像装置であって、
   請求項４〜請求項６のいずれか１項記載の信号処理方法を行う信号処理手段を備えた撮像装置。

Images