JP2009027559A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】画素配列から信号を読み出す際に、信号を読み出す画素の密度が異なる複数の領域が画素配列において存在する場合に、適切な時間で蓄積された信号による画像を得る。
【解決手段】撮像装置は、複数の画素が行方向及び列方向に配列された画素配列と、画素配列において、読み出し領域を選択する選択部と、選択部が選択している読み出し領域から信号を読み出す読み出し部とを備え、読み出し部は、間引いて読み出す場合に、第１のフレーム期間に、画素配列の全体である第１の読み出し領域から第１の画素密度で信号を読み出し、第２のフレーム期間に、画素配列の一部である第２の読み出し領域から第１の画素密度よりも高い第２の画素密度で信号を読み出し、選択部は、間引いて読み出す場合に、第１の読み出し領域の画素に第１の蓄積時間で電荷蓄積動作を行わせ、第２の読み出し領域の画素に第２の蓄積時間で電荷蓄積動作を行わせる。
【選択図】図５

Description

本発明は、撮像装置及び撮像システムに関する。

近年、１０００万以上の画素を有する撮像装置が使用されるようになってきている。この様な撮像装置で動画を撮像すると、画素数が多いので、画素配列の全画素から信号を読み出す場合、画素配列から信号を読み出すための時間が長くなる。これにより、１秒あたりの撮像枚数が減少する（フレームレートが低下する）。

これに対して、画素配列の一部の画素から信号を読み出さない（間引き読み出しを行う）ことにより、画素配列から信号を読み出すための時間を短縮する技術が提案されている（特許文献１参照）。この技術によれば、１秒あたりの撮像枚数を多くする（フレームレートを高くする）ことができる。

一方、被写体を撮像する際における画像信号のダイナミックレンジを拡大したいという要求がある。特に、被写体に高輝度の部分があると、高輝度の部分に対応した画素が蓄積する電荷が飽和することがある。すなわち、画素配列から読み出される信号がダイナミックレンジの上限に達して飽和する可能性がある。

これに対して、画素配列の全体の各画素に長時間の電荷蓄積動作と短時間の電荷蓄積動作とを行わせ、長時間の電荷蓄積動作により得られた信号と、短時間の電荷蓄積動作により得られた信号とを合成する技術が提案されている（特許文献２参照）。この技術によれば、画素配列から読み出される信号のダイナミックレンジを拡大することができる。

また、画素配列の一部の特定画素領域の各画素に対して第１の電子シャッタ動作を実行し、画素配列から特定画素領域を除く領域の各画素に対して第２の電子シャッタ動作を実行する技術が提案されている（特許文献３参照）。この技術によれば、特定画素領域とそれ以外の領域とで画素が電荷を蓄積する時間を変えることができる。
特開平９―２１４８３６号公報 特開２００１−３４６０９６号公報 特開２００３−１４３４８５号公報

特許文献１に示された撮像装置では、画素配列の全体から間引き読み出しを行うことにより全体の画像を低解像度で表示しつつ、注目画素領域から間引かずに読み出しを行うことにより部分の画像を高解像度で表示している。

ここで、特許文献１には、全体の画像及び部分の画像を得るために、画素配列の全体及び注目画素領域の画素がそれぞれどのような時間で電荷を蓄積するのかについて開示がない。

一方、特許文献２及び特許文献３に示された技術では、画素配列の全画素から信号が読み出される。このため、１０００万以上の画素を有する撮像装置に特許文献２及び特許文献３の技術を適用した場合、全体の画像の信号を得るためのフレーム期間が非常に長くなり、動画撮影に要求されるフレームレートを達成できなくなる可能性がある。すなわち、画素配列から信号を読み出す際のフレームレートを多くすることが困難になる。

また、特許文献２では、撮像装置の小型化及びコストダウンを課題としており、撮像装置の画素数が少なく抑えられる傾向にある。このため、動画撮影のために、撮像装置の画素配列から信号を読み出す際に、間引いて読み出さなくても十分なフレームレートを実現し得る。

さらに、特許文献３では、画素配列の各画素が蓄積した電荷による信号を点順次で読み出している。このような構成では、信号の読み出し動作に時間がかかることが考えられ、動画撮影を行うためには撮像装置の画素数を少なく抑えることが考えられる。このため、画素数が少ない場合には動画撮影のために、撮像装置の画素配列から信号を読み出す際に、間引いて読み出さなくても十分なフレームレートを実現し得る。

本発明の目的は、画素配列から信号を読み出す際のフレームレートを高くするとともに、信号を読み出す画素の密度が異なる複数の領域が画素配列において存在する場合に、それぞれの領域において適切な時間で蓄積された信号による画像を得ることにある。

本発明の第１側面に係る撮像装置は、複数の画素が行方向及び列方向に配列された画素配列と、前記画素配列において、読み出し領域を選択する選択部と、前記選択部が選択している読み出し領域から信号を読み出す読み出し部とを備え、前記読み出し部は、間引いて読み出す場合に、第１のフレーム期間に、前記画素配列の全体である第１の読み出し領域から第１の画素密度で信号を読み出し、第２のフレーム期間に、前記画素配列の一部である第２の読み出し領域から前記第１の画素密度よりも高い第２の画素密度で信号を読み出し、前記選択部は、前記間引いて読み出す場合に、前記第１の読み出し領域の画素に第１の蓄積時間で電荷蓄積動作を行わせ、前記第２の読み出し領域の画素に第２の蓄積時間で電荷蓄積動作を行わせることを特徴とする。

本発明の第２側面に係る撮像システムは、本発明の第１側面に係る撮像装置と、前記撮像装置の撮像面へ像を形成する光学系と、前記撮像装置から出力された信号を処理して画像データを生成する信号処理部とを備え、前記信号処理部は、前記第１の読み出し領域から読み出された信号の輝度に基づいて、前記第１の蓄積時間を決定し、前記第１の読み出し領域の画素に前記第１の蓄積時間で電荷蓄積動作を行わせるように、前記撮像装置の前記選択部を制御し、前記第２の読み出し領域から読み出された信号の輝度に基づいて、前記第２の蓄積時間を決定し、前記第２の読み出し領域の画素に前記第２の蓄積時間で電荷蓄積動作を行わせるように、前記撮像装置の前記選択部を制御することを特徴とする。

本発明によれば、画素配列から信号を読み出す際のフレームレートを高くするとともに、信号を読み出す画素の密度が異なる複数の領域が画素配列において存在する場合に、それぞれの領域において適切な時間で蓄積された信号による画像を得ることができる。

本発明の第１実施形態に係る撮像装置１の概略構成及び概略動作ついて、図１を用いて説明する。図１は、本発明の第１実施形態に係る撮像装置１の構成図である。なお、図１では、各制御信号ΦＶ１、φＶ２、ΦＧ、ΦＭ、ΦＨが１つのパルスとして示されているが、複数のパルスであってもよい。

撮像装置１は、画素配列ＰＡ、選択部５、及び読み出し部８０を備える。撮像装置１は、画素配列ＰＡの一部の画素から信号を読み出す間引き読み出しモードを有する。

画素配列ＰＡは、複数の画素１０が行方向及び列方向に配列されている。図１では、３行３列の画素配列が一例として示されている。ここでは、説明を簡略化するために３行３列の画素配列を示している。実際には、後述する図３のように、より大きな画素数で構成されることが多い。

選択部５は、間引き読み出しモードにおいて（間引いて読み出す場合）、読み出し領域から、一部の行（読み出し行群）を選択し、残りの行（非読み出し行群）をスキップする。

読み出し部８０は、間引き読み出しモードにおいて、選択部５が選択している読み出し行の画素から信号を読み出す。

選択部５は、垂直走査回路ＶＳＲ−Ａと垂直走査回路ＶＳＲ−Ｂとを含む。

垂直走査回路ＶＳＲ−Ａは、制御信号φＶ１に応じて、走査信号φＶＳＲ−Ａ（図６、図７参照）を内部的に生成する。そして、垂直走査回路ＶＳＲ−Ａは、走査信号φＶＳＲ−Ａに応じて、リセット信号φＲＥＳ−Ａ、転送信号φＴＸ−Ａ、選択信号φＳＥＬ−Ａ（図７参照）を生成する。垂直走査回路ＶＳＲ−Ａは、これらの制御信号を制御線ＣＬ１，ＣＬ２，ＣＬ３，・・・経由で画素配列ＰＡの各行の画素に順次供給する。例えば、垂直走査回路ＶＳＲ−Ａは、アクティブな選択信号φＳＥＬ−Ａを画素配列ＰＡの１つの行に供給して、画素配列ＰＡにおいて１つの行に含まれる複数の画素を選択する。そして、垂直走査回路ＶＳＲ−Ａは、アクティブな転送信号φＴＸ−Ａをその行の画素に供給して、それらの画素から信号が読み出されるようにする。また、垂直走査回路ＶＳＲ−Ａは、それらの画素から信号が読み出されるようにすることにより、それらの画素をリセットさせる。すなわち、垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの各画素に対して、画素から信号を読み出させることにより画素のリセットを開始し、これにより電荷蓄積動作を完了させる。垂直走査回路ＶＳＲ−Ａは、例えば、垂直走査回路である。

例えば、図３に示すように、垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ１（第１のフレーム期間）において、画素配列ＰＡの全体である第１の読み出し領域ＲＲ１から第１の読み出し行群Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４を選択する。すなわち、垂直走査回路ＶＳＲ−Ａは、第１の読み出し行群に含まれる行Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４を順次選択する。ここで、垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの全体から第１の読み出し行群を除く行Ｖ１〜Ｖ３，Ｖ５〜Ｖ８，Ｖ１０〜Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０〜Ｖ２３，Ｖ２５〜Ｖ２７をスキップする。

また、例えば、図３に示すように、垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ２又はフレーム期間Ｆ３（第２のフレーム期間）において、画素配列ＰＡの一部である第２の読み出し領域ＲＲ２から第２の読み出し行群Ｖ１３〜Ｖ２０を選択する。第２の読み出し領域ＲＲ２は、注目画素領域ＲＩを含む。

すなわち、垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ２において、第１の読み出し行群と第２の読み出し行群との両方に含まれる行Ｖ１４，Ｖ１９を順次選択する。ここで、垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの全体から第２の読み出し行群に含まれる行Ｖ１４，Ｖ１９を除く行Ｖ１〜Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０〜Ｖ２７をスキップする。

そして、垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ３において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０を順次選択する。垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの全体から第２の読み出し行群に含まれる行Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０を除く行Ｖ１〜Ｖ１２，Ｖ１４，Ｖ１９，Ｖ２１〜Ｖ２７をスキップする。

垂直走査回路ＶＳＲ−Ｂは、制御信号φＶ２に応じて、走査信号φＶＳＲ−Ｂ（図６、図７参照）を内部的に生成する。そして、垂直走査回路ＶＳＲ−Ｂは、走査信号φＶＳＲ−Ｂに応じて、リセット信号φＲＥＳ−Ｂ、転送信号φＴＸ−Ｂ、選択信号φＳＥＬ−Ｂ（図７参照）を生成する。垂直走査回路ＶＳＲ−Ｂは、これらの制御信号を制御線ＣＬ１，ＣＬ２，ＣＬ３，・・・経由で画素配列ＰＡの各行の画素に順次供給する。例えば、垂直走査回路ＶＳＲ−Ｂは、アクティブなリセット信号φＲＥＳ−Ｂ，転送信号φＴＸ−Ａを画素に供給して、それらの画素がリセットされるようにする。ここで、垂直走査回路ＶＳＲ−Ｂは、それらの画素から信号が読み出されるようにしない。そして、垂直走査回路ＶＳＲ−Ｂは、画素配列ＰＡの各画素に対して、このリセットを解除することにより電荷蓄積動作を開始させる。

ここで、垂直走査回路ＶＳＲ−Ｂが画素に電荷蓄積動作を開始させるタイミングと垂直走査回路ＶＳＲ−Ａが画素に電荷蓄積動作を完了させるタイミングとに所定の時間差が設けられる。垂直走査回路ＶＳＲ−Ｂは、垂直走査回路ＶＳＲ−Ａに先行して、所定の行の画素に対してリセットを解除して電荷蓄積動作を開始させる。その後に、垂直走査回路ＶＳＲ−Ａは、その行の画素から信号を読み出して電荷蓄積動作を完了させる。すなわち、垂直走査回路ＶＳＲ−Ｂが画素のリセットを解除するタイミングと垂直走査回路ＶＳＲ−Ａがその画素から信号を読み出すタイミングとを調整することにより、所定の行の画素の電荷蓄積時間を変えることができる。

例えば、垂直走査回路ＶＳＲ−Ｂが画素のリセットを解除するタイミングの後において、垂直走査回路ＶＳＲ−Ａが画素から信号が読み出されるようにする動作を行うタイミングを早める。すなわち、垂直走査回路ＶＳＲ−Ｂが画素のリセットを解除するタイミングから、垂直走査回路ＶＳＲ−Ａが画素から信号が読み出されるようにする動作を行うタイミングまでの時間を短縮する。これにより、画素の電荷蓄積時間を短くすることができる。

すなわち、選択部５は、第１の読み出し行群の画素に第１の蓄積時間で電荷蓄積動作を行わせ、第２の読み出し行群の画素に第２の蓄積時間で電荷蓄積動作を行わせる。具体的には、選択部５は、第１の読み出し行群に含まれ第２の読み出し行群に含まれない行（Ｖ４，Ｖ９，Ｖ２４）の画素に第１の蓄積時間Ｔａ（図４参照）で電荷蓄積動作を行わせる。選択部５は、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）の画素に第１の蓄積時間Ｔａ及び第２の蓄積時間Ｔａａ（図４参照）で電荷蓄積動作を行わせる。選択部５は、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素に第２の蓄積時間Ｔａａで電荷蓄積動作を行わせる。

読み出し部８０は、垂直走査回路ＶＳＲ−Ａが選択している読み出し行群の画素の中から各列の画素の信号を読み出して順次出力する。非読み出し行群の画素は、後述するように垂直走査回路ＶＳＲ−Ａによる読み出し動作が行われないので、信号が読み出されない。

例えば、読み出し部８０は、フレーム期間Ｆ１（図３参照）において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）の画素の中から各列の画素の第１の蓄積時間Ｔａで蓄積された信号を読み出して順次出力する。このように、読み出し部８０は、フレーム期間Ｆ１に、画素配列ＰＡの全体である第１の読み出し領域ＲＲ１から第１の画素密度で信号を読み出す。第１の画素密度は、第１の読み出し行群の行数を第１の読み出し領域ＲＲ１の行数で割ったものである。例えば、図３の例では、第１の画素密度は、５行÷２７行≒０．１９である。

読み出し部８０は、フレーム期間Ｆ２において、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）の画素の中から各列の画素の第２の蓄積時間Ｔａａで蓄積された信号を読み出して順次出力する。読み出し部８０は、フレーム期間Ｆ３において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素の中から各列の画素の第２の蓄積時間Ｔａａで蓄積された信号を読み出して順次出力する。このように、読み出し部８０は、フレーム期間Ｆ２又はフレーム期間Ｆ３に、画素配列ＰＡの一部である第２の読み出し領域ＲＲ２から第１の画素密度よりも高い第２の画素密度で信号を読み出す。第２の画素密度は、第２の読み出し行群の行数を第２の読み出し領域ＲＲ２の行数で割ったものである。例えば、図３の例では、第２の画素密度は、８行÷８行＝１．０である。

第２の読み出し領域から信号を読み出す場合、第１の読み出し行群に含まれる行Ｖ１４およびＶ１９は、この他の第２の読み出し領域の行の画素と蓄積時間が異なってしまうので、読み出さないことも考えられる。その場合には、たとえば図３の例においては、第２の画素密度は６行÷８行＝０．７５となる。

読み出し部８０は、列増幅部群２０、制御回路６０、及び出力部３０を含む。

列増幅部群２０は、複数の列増幅部２１，２２，２３，・・・を含む。複数の列増幅部２１，２２，２３，・・・は、それぞれ、列信号線ＲＬ１，ＲＬ２，ＲＬ３，・・・により伝達された各列の画素の信号を増幅する。列増幅部２１等は、例えば、列アンプである。

制御回路６０は、制御信号φＧが入力され、制御信号φＧに応じて、複数の列増幅部２１，２２，２３，・・・に対して、信号を増幅する増幅率をそれぞれ制御する。これにより、複数の列増幅部２１，２２，２３，・・・のそれぞれは、信号を増幅する増幅率が行ごとに制御される。ここで、制御回路６０が一水平走査期間毎に選択された行の複数の画素の信号を一括して低速に増幅率（ゲイン）を設定しているので、増幅率の切り替えによるノイズの発生は少ない。

なお、制御回路６０は、複数の列増幅部２１，２２，２３，・・・のそれぞれに対応した回路要素を含んでも良く、複数の列増幅部２１，２２，２３，・・・に対して、増幅率をさらに列ごとに制御しても良い。この場合、複数の列増幅部２１，２２，２３，・・・のそれぞれは、増幅率が画素ごとに制御される。

また、本実施形態では、画素配列ＰＡの全体に対応した第１の読み出し領域ＲＲ１の画素の信号と、注目画素領域ＲＩに対応した第２の読み出し領域ＲＲ２の画素の信号とが、別のフレーム期間で読み出される。これに応じて、制御回路６０は、フレーム期間ごとに複数の列増幅部２１，２２，２３，・・・の増幅率を変えることも可能である。

出力部３０は、複数の列増幅部２１，２２，２３，・・・が増幅した信号を受け取り、それらの信号を順次出力する。出力部３０は、メモリ回路７０、水平走査回路４０、及び出力アンプ５０を含む。メモリ回路７０は、列増幅部群２０からの各列の画素の信号を一時的に蓄積する。水平走査回路４０は、メモリ回路７０において各列に対応したスイッチを順次にオンし、メモリ回路７０に蓄積されている各列の画素の信号を順次に出力アンプ５０へ出力する。

次に、画素配列ＰＡに含まれる各画素１０の構成について、図２を用いて説明する。図２は、画素１０の構成図である。

画素１０は、フォトダイオードＰＤ、画素アンプＭＳＦ、転送スイッチＭＴＸ、リセットスイッチＭＲＥＳ、及びセレクトスイッチＭＳＥＬを備える。

フォトダイオードＰＤは、光を光電変換して電荷（信号）を蓄積する電荷蓄積動作を行う。

画素アンプＭＳＦは、フォトダイオードＰＤで蓄積された信号を増幅する。画素アンプＭＳＦは、例えば、ＭＯＳトランジスタである。画素アンプＭＳＦは、定電流源ＭＲＶとともにソースフォロワとして動作し、ゲートに入力された信号を増幅してソースへ供給する。なお、定電流源ＭＲＶは、例えば、ＭＯＳトランジスタであり、定電流源として動作させるための信号φＲＶがゲートに供されている。

転送スイッチＭＴＸは、転送信号φＴＸがアクティブな期間に、フォトダイオードＰＤで蓄積された信号を画素アンプＭＳＦのゲート（フローティングディフュージョン）へ転送する。転送スイッチＭＴＸは、例えば、ＭＯＳトランジスタであり、ゲートにアクティブな転送信号φＴＸが供給された際に、フォトダイオードＰＤに蓄積された電荷を画素アンプＭＳＦのゲートに転送する。

リセットスイッチＭＲＥＳは、リセット信号φＲＥＳがアクティブな期間に、画素アンプＭＳＦのゲートの残留電荷をリセットする。リセットスイッチＭＲＥＳは、例えば、ＭＯＳトランジスタであり、ゲートにアクティブなリセット信号φＲＥＳが供給された際に、ドレインに供給されている電源電圧に応じた電位に画素アンプＭＳＦのゲートをリセットする。

セレクトスイッチＭＳＥＬは、セレクト信号φＳＥＬがアクティブな期間に、画素アンプＭＳＦのソースから供給された信号を列信号線ＲＬ１へ伝達する。セレクトスイッチＭＳＥＬは、例えば、ＭＯＳトランジスタであり、ゲートにアクティブなセレクト信号φＳＥＬが供給された際に、画素アンプＭＳＦからドレインに供給された信号を列信号線ＲＬ１へ伝達する。

次に、撮像装置１の概略動作を、図３〜図６を用いて説明する。図３は、画素配列ＰＡにおける読み出し行群と非読み出し行群とを説明するための図である。図４は、電荷蓄積時間を説明するための図である。図５及び図６は、撮像装置１のスリットローリングリセット動作を説明するための図である。

図３に示す画素配列ＰＡにおいて、被写体における注目部分を撮像するための注目画素領域ＲＩが高輝度領域である場合を考える。この場合、画素配列ＰＡで注目画素領域ＲＩ以外が平均的輝度領域であるので、第１の読み出し行群に含まれ第２の読み出し行群に含まれない行（Ｖ４，Ｖ９，Ｖ２４）の画素に第１の蓄積時間Ｔａ（図４参照）で電荷蓄積動作を行わせる。

一方、注目画素領域ＲＩが高輝度領域であるので、第１の読み出し行群と第２の読み出し行群との両方に含まれる行（Ｖ１４，Ｖ１９）の画素に第１の蓄積時間Ｔａ及び第２の蓄積時間Ｔａａ（図４参照）で電荷蓄積動作を行わせる。第２の読み出し行群は、注目画素領域ＲＩに少なくとも一部が重なる複数の行を含む。また、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素に第２の蓄積時間Ｔａａで電荷蓄積動作を行わせる。

ここでは、５行につき１行の画素から信号を読み出す、すなわち、画素配列ＰＡにおいて全行の約１／５の行を間引き読み出ししている。したがって、例えば総画素数１０００万画素の撮像素子であっても、全ての画素から読み出す場合と比べて約５倍の動画対応速度で読み出すことが可能になる。これにより、画素配列から信号を読み出す際のフレームレートを要求レベルにすることができる。この要求レベルは、例えば動画撮影時に要求されるフレームレートである。

また、第２の蓄積時間Ｔａａは、第１の蓄積時間Ｔａより短い。例えば、第２の蓄積時間Ｔａａが第１の蓄積時間Ｔａの１／１００であれば、第１の蓄積時間Ｔａのみで撮像する場合に比べて、画素配列ＰＡの注目画素領域ＲＩから読み出される信号のダイナミックレンジを１００倍拡大することができる。

すなわち、画素配列ＰＡにおいて選択された行の画素の電荷蓄積時間は、図４に示すようになる。

前々回のフレーム期間Ｆ２（ｎ−１）において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）の画素から信号（ＳＡ’）が読み出される（画素がリセットされる）。その後に、その画素のリセットが解除される。すなわち、画素１０（図２参照）において、転送スイッチＭＴＸとリセットスイッチＭＲＥＳとがオンすることで、フォトダイオードＰＤと画素アンプＭＳＦのゲートとがリセットされる。

そして、画素１０において、転送スイッチＭＴＸがオフするタイミングで、リセットスイッチＭＲＥＳは、フォトダイオードＰＤのリセットを解除する。これにより、例えば行Ｖ１４の画素の電荷蓄積動作が開始するとともに第１の蓄積時間Ｔａが開始する。

今回のフレーム期間Ｆ１（ｎ）において、第１の読み出し行群に含まれる画素から信号（ＳＡ）が読み出される（画素がリセットされる）。これにより、例えば行Ｖ１４の画素の電荷蓄積動作が完了するとともにその画素の第１の蓄積時間Ｔａが終了する。

そして、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）の画素からの信号の読み出しが完了する（転送スイッチがオフする）。これにより、例えば、行Ｖ１４の画素の電荷蓄積動作が再び開始するとともに第２の蓄積時間Ｔａａが開始する。

フレーム期間Ｆ２（ｎ）において、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）の画素から信号（ＳＡ’）が読み出される（画素がリセットされる）。これにより、例えば行Ｖ１４の画素の電荷蓄積動作が完了するとともにその画素の第２の蓄積時間Ｔａａが終了する。

そして、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素からの信号は、読み出し回路には読み出されずに、画素はリセットされる。画素のリセットが終了することにより、例えば行Ｖ１３の画素の電荷蓄積動作が開始するとともに第２の蓄積時間Ｔａａが開始する。

フレーム期間Ｆ３（ｎ）において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素から信号（ＳＢ’）が読み出される（画素がリセットされる）。これにより、例えば行Ｖ１３の画素の電荷蓄積動作が完了するとともにその画素の第２の蓄積時間Ｔａａが終了する。

このように、撮像装置１によるスリットローリングリセット動作は、図５及び図６に示すようになる。図５及び図６において、縦軸は画素配列ＰＡにおける垂直方向の位置を示し、横軸はタイミングを示す。また、図６には、垂直走査回路ＶＳＲ−Ａで内部的に生成される走査信号φＶＳＲ−Ａと、垂直走査回路ＶＳＲ−Ｂで内部的に生成される走査信号φＶＳＲ−Ｂとがさらに示されている。

図５に示すように、前回のフレーム期間Ｆ２（ｎ−１）において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）が順次選択され、各行に含まれる画素の第１の蓄積時間Ｔａが順次開始する。

今回のフレーム期間Ｆ１（ｎ）において、第１の読み出し行群ＲＲ１に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）が順次選択され、各行に含まれる画素の第１の蓄積時間Ｔａが順次終了する。そして、第１の読み出し行群ＲＲ１と第２の読み出し行群ＲＲ２とに含まれる行（Ｖ１４，Ｖ１９）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次開始する（図６参照）。例えば、垂直走査回路ＶＳＲ−Ｂは、行Ｖ１４の走査信号φＶＳＲ−Ｂに応じて、行Ｖ１４の画素をリセットすることで電荷蓄積動作を開始させて行Ｖ１４の第２の蓄積時間Ｔａａを開始させる。

フレーム期間Ｆ２（ｎ）において、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次終了する（図６参照）。例えば、選択部ＶＳＲ−Ａは、行Ｖ１４の走査信号φＶＳＲ−Ａに応じて、行Ｖ１４の画素に電荷蓄積動作を完了させて行Ｖ１４の第２の蓄積時間Ｔａａを終了させる。

そして、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次開始する（図６参照）。例えば、垂直走査回路ＶＳＲ−Ｂは、行Ｖ１３の走査信号φＶＳＲ−Ｂに応じて、行Ｖ１３の画素をリセットすることで電荷蓄積動作を開始させて行Ｖ１３の第２の蓄積時間Ｔａａを開始させる。

フレーム期間Ｆ３（ｎ）において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次終了する（図６参照）。例えば、選択部ＶＳＲ−Ａは、行Ｖ１３の走査信号φＶＳＲ−Ａに応じて、行Ｖ１３の画素から信号を読み出させることで電荷蓄積動作を完了させて行Ｖ１３の第２の蓄積時間Ｔａａを終了させる。

なお、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素は、さらに、第１の蓄積時間Ｔａで電荷蓄積動作を行っても良い。すなわち、図３〜図５に示すフレーム期間Ｆ２とフレーム期間Ｆ３との間にフレーム期間Ｆ５を設けても良い。この場合、フレーム期間Ｆ５において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）が順次選択され、各行に含まれる画素の第１の蓄積時間Ｔａが順次終了する（図示せず）。例えば、選択部ＶＳＲ−Ａは、行Ｖ１３の走査信号φＶＳＲ−Ａに応じて、行Ｖ１３の画素に電荷蓄積動作を完了させて行Ｖ１３の第１の蓄積時間Ｔａを終了させる。これにより、注目部分に高輝度の部分と低輝度の部分とが混在する場合でも、注目部分を監視するための画像が白とび及び黒つぶれすることを低減できる。

あるいは、第１の読み出し行群に含まれ第２の読み出し行群に含まれない行（Ｖ４，Ｖ９，Ｖ１４）の画素は、さらに、第２の蓄積時間Ｔａａで電荷蓄積動作を行っても良い。この場合、フレーム期間Ｆ２において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次終了する（図示せず）。例えば、選択部ＶＳＲ−Ａは、行Ｖ４の走査信号φＶＳＲ−Ａに応じて、行Ｖ４の画素に電荷蓄積動作を完了させて行Ｖ４の第２の蓄積時間Ｔａａを終了させる。これにより、被写体から注目部分を除く部分（背景など）に高輝度の部分と低輝度の部分とが混在する場合でも、その注目部分を除く部分を監視するための画像が白とび及び黒つぶれすることを低減できる。

次に、撮像装置１が画素に第２の蓄積時間Ｔａａで電荷蓄積動作を行わせる際の動作を、図７を用いて説明する。図７は、フレーム期間Ｆ２の一部における撮像装置１の動作を示すタイミング波形図である。図７において、フレーム期間Ｆ２は、選択する行の数だけ水平走査期間Ｈｎ１，Ｈｎ２，・・・を含む。

タイミングＴ０では、垂直走査回路ＶＳＲ−Ａが行Ｖ１４の走査信号φＶＳＲ−Ａをアクティブにし、垂直走査回路ＶＳＲ−Ｂが行Ｖ１９の走査信号φＶＳＲ−Ｂをアクティブにする。このタイミングから、水平走査期間Ｈｎ１、垂直走査期間Ｖｎ１及び水平ブランク期間ＨＢＬＫが開始する。

タイミングＴ１では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１４の走査信号φＶＳＲ−Ａに応じて、アクティブな選択信号φＳＥＬ−Ａ及びリセット信号φＲＥＳ−Ａを行Ｖ１４の画素に供給する。これにより、行Ｖ１４の画素のセレクトスイッチＭＳＥＬが導通状態となるとともに画素アンプＭＳＦのゲート（フローティングディフュージョン）がリセットされる。また、垂直走査回路ＶＳＲ−Ａは、行Ｖ１４の画素に供給している走査信号φＶＳＲ−Ａをノンアクティブにして、垂直走査期間Ｖｎ１を終了させる。

タイミングＴ２では、垂直走査回路ＶＳＲ−Ｂが、行Ｖ１９の走査信号φＶＳＲ−Ｂに応じて、アクティブな転送信号φＴＸ−Ｂ及びリセット信号φＲＥＳ−Ｂを行Ｖ１９の画素に供給する。これにより、行Ｖ１９の画素の転送スイッチＭＴＸとリセットスイッチＭＲＥＳとがオンして、フォトダイオードＰＤと画素アンプＭＳＦのゲートとがリセットされる。このとき、行Ｖ１９の画素のセレクトスイッチＭＳＥＬがオフしているので、行Ｖ１９の画素の信号は読み出し部８０へ読み出されない。

また、垂直走査回路ＶＳＲ−Ａは、行Ｖ１４の画素に供給しているリセット信号φＲＥＳ−Ａをノンアクティブにする。これにより、行Ｖ１４の画素の画素アンプＭＳＦのゲートのリセットが終了する。

タイミングＴ３では、垂直走査回路ＶＳＲ−Ｂが、行Ｖ１９の画素に供給している転送信号φＴＸ−Ｂ及びリセット信号φＲＥＳ−Ｂをノンアクティブにする。これにより、行Ｖ１９の画素アンプＭＳＦのゲート及び画素のフォトダイオードＰＤのリセットが解除され、そのフォトダイオードＰＤが電荷蓄積動作を開始し、行Ｖ１９の画素の第２の蓄積時間Ｔａａが開始する。

タイミングＴ４では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１４の走査信号φＶＳＲ−Ａに応じて、アクティブな転送信号φＴＸ−Ａを行Ｖ１４の画素へ供給する。これにより、行Ｖ１４の画素の転送スイッチＭＴＸがオンしてフォトダイオードＰＤが蓄積した信号が読み出されて（フォトダイオードＰＤがリセットされて）、行Ｖ１４の画素の第２の蓄積時間Ｔａａが終了する。

タイミングＴ５では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１４の画素に供給している転送信号φＴＸ−Ａをノンアクティブにする。これにより、行Ｖ１４の画素のフォトダイオードＰＤのリセットが解除されて、行Ｖ１４の画素の第１の蓄積時間Ｔａが開始する。このことは、図５において行Ｖ１４の第１の蓄積時間Ｔａがフレーム期間Ｆ２（ｎ−１）に開始することに相当する。また、垂直走査回路ＶＳＲ−Ａは、行Ｖ１４の画素に供給している選択信号φＳＥＬ−Ａをノンアクティブにする。そして、水平ブランキング期間ＨＢＬＫが終了する。

その後、垂直走査期間Ｖｍ１において、垂直走査回路ＶＳＲ−Ａは、行Ｖ１５〜行Ｖ１８からの信号を読み出させることなく走査信号φＶＳＲ−Ａを空送りする。それと並行して、水平走査回路４０は、メモリ回路７０が保持する各列の画素の信号を順次に出力アンプ５０へ出力する。

タイミングＴ６では、垂直走査回路ＶＳＲ−Ａが行Ｖ１９の走査信号φＶＳＲ−Ａをアクティブにする。このタイミングで水平走査期間Ｈｎ１が終了するとともに、このタイミングから、水平走査期間Ｈｎ２及び垂直走査期間Ｖｎ２が開始する。

タイミングＴ７では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１９の走査信号φＶＳＲ−Ａに応じて、アクティブな選択信号φＳＥＬ−Ａ及びリセット信号φＲＥＳ−Ａを行Ｖ１９の画素に供給する。これにより、行Ｖ１９の画素の画素アンプＭＳＦのゲートがリセットされる。また、垂直走査回路ＶＳＲ−Ａは、行Ｖ１９の走査信号φＶＳＲ−Ａをノンアクティブにして、垂直走査期間Ｖｎ２を終了させる。

タイミングＴ８では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１９の画素に供給しているリセット信号φＲＥＳ−Ａをノンアクティブにする。これにより、行Ｖ１９の画素の画素アンプＭＳＦのゲートのリセットが終了する。

タイミングＴ９では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１９の走査信号φＶＳＲ−Ａに応じて、アクティブな転送信号φＴＸ−Ａを行Ｖ１９の画素へ供給する。これにより、行Ｖ１９の画素の転送スイッチＭＴＸがオンしてフォトダイオードＰＤが蓄積した信号が読み出されて（フォトダイオードＰＤがリセットされて）、行Ｖ１９の画素の第２の蓄積時間Ｔａａが終了する。

タイミングＴ１０では、垂直走査回路ＶＳＲ−Ａが、行Ｖ１９の画素に供給している転送信号φＴＸ−Ａをノンアクティブにする。これにより、行Ｖ１９の画素のフォトダイオードＰＤのリセットが解除されて、行Ｖ１９の画素の第１の蓄積時間Ｔａが開始する。このことは、図５において行Ｖ１９の第１の蓄積時間Ｔａがフレーム期間Ｆ２（ｎ−１）に開始することに相当する。

その後、垂直走査期間Ｖｍ２において、垂直走査回路ＶＳＲ−Ａは、行Ｖ２０〜行Ｖ２３からの信号を読み出させることなく走査信号φＶＳＲ−Ａを空送りする。それと並行して、水平走査回路４０は、メモリ回路７０が保持する各列の画素の信号を順次に出力アンプ５０へ出力する。

このように、撮像装置１が画素に１水平走査期間程度の第２の蓄積時間Ｔａａで電荷蓄積動作を行わせることができる。

以上のように、画素配列の全体すなわち第１の読み出し領域ＲＲ１に読み出し行群と非読み出し行群とが含まれるように画素配列ＰＡを駆動する。これにより、画素配列から信号を読み出すための時間を短縮して、画素配列から信号を読み出す際のフレームレートを多くすることができる。

また、選択部が、第１の読み出し領域の画素に第１の蓄積時間で電荷蓄積動作を行わせ、第２の読み出し領域の画素に第２の蓄積時間で電荷蓄積動作を行わせる。これにより、信号を読み出す画素の密度が異なる複数の領域が画素配列において存在する場合でも、それぞれの領域において適切な時間で蓄積された信号による画像を得ることができる。

これにより、例えば、それぞれの領域の輝度に応じて蓄積時間を決定できれば、高輝度の部分に対応した画素が蓄積する電荷が飽和することを低減できる。これにより、画素配列の全体及び画素配列の一部（注目画素領域）から読み出される信号のダイナミックレンジを拡大することができる。

この場合、画素配列から信号を読み出す際のフレームレートを多くするとともに注目部分を高精細で撮像した場合でも画素配列の注目画素領域から読み出される信号のダイナミックレンジを拡大することができる。この結果、画素配列の全体に対応した画像により広域のエリアを低解像度で監視しつつ、画素配列の一部（注目画素領域）に対応した部分の画像により注目部分を高解像度で白飛びせずに監視することができる。したがって、現状の監視カメラのようなパンチルトとズーム機能のメカニカルな動作が不要になり、多数の監視カメラで監視する必要もなくなる。

また、制御回路６０は、制御信号φＧに応じて、図８に示す制御信号φＳＷ１、φＳＷ２、φＳＷ３、φＳＷ４、φＳＷｒを生成しても良い。すなわち、列増幅部２１では、容量Ｃ１，・・・とスイッチＳＷ１，・・・とがアンプ２５ｎの入力端子と出力端子とに接続されている。また、アンプ２５ｎには、列信号線ＲＬ１，・・・により伝達された各列の画素の信号が容量Ｃ０経由で入力端子に供給され、参照電圧Ｖｒｅｆが別の入力端子に供給される。これにより、制御信号φＳＷ１、φＳＷ２、φＳＷ３、φＳＷ４に応じてオンするスイッチＳＷ１，・・・の数に応じて、アンプ２５ｎの増幅率（ゲイン）を変えることができる。また、制御信号φＳＷｒがアクティブになることに応じて、アンプ２５ｎをリセットすることができる。

また、画素１０ｉは、図９に示すように、２つのフォトダイオードＰＤ１，ＰＤ２と２つの転送スイッチＭＴＸ１，ＭＴＸ２とに対して、画素アンプＭＳＦ、リセットスイッチＭＲＥＳ及びセレクトスイッチＭＳＥＬが共通化されていてもよい。この場合、一つのフォトダイオードに対する画素アンプの面積が小さくなり、結果的にフォトダイオードの開口率が向上する効果がある。また、共通化されるフォトダイオードＰＤ１，ＰＤ２は、垂直方向に並んだものであってもよく、水平方向に並んだものであっても良い。

また、選択部５ｊは、図１０に示すように、読み出し領域から、行を選択する代わりに画素を選択しても良い。すなわち、選択部５ｊは、垂直走査回路ＶＳＲ−Ａ及び垂直走査回路ＶＳＲ−Ｂに加えて、水平走査回路４０ｊをさらに含む。水平走査回路４０ｊは、制御線ＡＬ１，・・・を介して、制御信号φＶＸを画素１０ｊのセレクトスイッチＭＶＸへ供給する。セレクトスイッチＭＶＸは、例えばＭＯＳトランジスタであり、アクティブな制御信号φＶＸがゲートに供給された際にオンして、転送スイッチＭＴＸから供給された信号を画素アンプＭＳＦへ供給する。このように、選択部５ｊは、セレクトスイッチＭＳＥＬとセレクトスイッチＭＶＸとをともにオンさせて１つの画素を選択することで画素に対するランダムアクセスを可能とする。

例えば、選択部５ｊは、間引いて読み出す場合、第１のフレーム期間（フレーム期間Ｆ１）に、第１の読み出し領域ＲＲ１から第１の読み出し画素群を選択する。これにより、読み出し部８０は、第１のフレーム期間に、画素配列ＰＡの全体である第１の読み出し領域ＲＲ１から第１の画素密度で信号を読み出す。第１の画素密度は、第１の読み出し画素群の画素数を第１の読み出し領域ＲＲ１の画素数で割ったものである。

また、選択部５ｊは、間引いて読み出す場合、第２のフレーム期間（フレーム期間Ｆ２又はフレーム期間Ｆ３）に、第２の読み出し領域ＲＲ２から第２の読み出し画素群を選択する。読み出し部８０は、第２のフレーム期間に、画素配列ＰＡの一部である第２の読み出し領域ＲＲ２から第１の画素密度より高い第２の画素密度で信号を読み出す。第２の画素密度は、第２の読み出し画素群の画素数を第２の読み出し領域ＲＲ１の画素数で割ったものである。

なお、上記の説明においては、例えば行Ｖ１４の画素の電荷蓄積動作をＦ１（ｎ）に、例えば行Ｖ１３の画素の電荷蓄積動作をＦ２（ｎ）から開始させている。しかしながら、上記の説明から明らかなように、φＶＳＲ−Ｂの入力されるタイミングを変えることが可能であり、必ずしも上述のタイミングで電荷蓄積動作を始める必要はない。

さらに、この場合、制御回路６０は、複数の列増幅部２１，２２，２３，・・・のそれぞれに対応した回路要素を含んでも良く、複数の列増幅部２１，２２，２３，・・・に対して、増幅率を画素ごとに制御しても良い。

次に、第１実施形態に係る撮像装置を適用した撮像システムの構成の一例を、図１１を用いて説明する。図１１は、第１実施形態に係る撮像装置を適用した撮像システムの構成図である。

撮像システム９０は、図１１に示すように、主として、光学系、撮像装置１及び信号処理部を備える。光学系は、主として、シャッター９１、撮影レンズ９２及び絞り９３を備える。信号処理部は、主として、撮像信号処理回路９５、Ａ／Ｄ変換器９６、画像信号処理部９７、メモリ部８７、外部Ｉ／Ｆ部８９、タイミング発生部９８、全体制御・演算部９９、記録媒体８８及び記録媒体制御Ｉ／Ｆ部９４を備える。なお、信号処理部は、記録媒体８８を備えなくても良い。

シャッター９１は、光路上において撮影レンズ９２の手前に設けられ、露出を制御する。

撮影レンズ９２は、入射した光を屈折させて、撮像装置１の画素配列（撮像面）に被写体の像を形成する。

絞り９３は、光路上において撮影レンズ９２と撮像装置１との間に設けられ、撮影レンズ９２を通過後に撮像装置１へ導かれる光の量を調節する。

撮像装置１は、画素配列に形成された被写体の像を画像信号に変換する。撮像装置１は、その画像信号を画素配列から読み出して出力する。

撮像信号処理回路９５は、撮像装置１に接続されており、撮像装置１から出力された画像信号を処理する。

Ａ／Ｄ変換器９６は、撮像信号処理回路９５に接続されており、撮像信号処理回路９５から出力された処理後の画像信号（アナログ信号）をデジタル信号へ変換する。

画像信号処理部９７は、Ａ／Ｄ変換器９６に接続されており、Ａ／Ｄ変換器９６から出力された画像信号（デジタル信号）に各種の補正等の演算処理を行い、画像データを生成する。この画像データは、メモリ部８７、外部Ｉ／Ｆ部８９、全体制御・演算部９９及び記録媒体制御Ｉ／Ｆ部９４などへ供給される。

メモリ部８７は、画像信号処理部９７に接続されており、画像信号処理部９７から出力された画像データを記憶する。

表示部８６は、画像信号処理部９７に接続されており、画像信号処理部９７から出力された画像データに応じた画像を表示する。

外部Ｉ／Ｆ部８９は、画像信号処理部９７に接続されている。これにより、画像信号処理部９７から出力された画像データを、外部Ｉ／Ｆ部８９を介して外部の機器（パソコン等）へ転送する。

タイミング発生部９８は、撮像装置１、撮像信号処理回路９５、Ａ／Ｄ変換器９６及び画像信号処理部９７に接続されている。これにより、撮像装置１、撮像信号処理回路９５、Ａ／Ｄ変換器９６及び画像信号処理部９７へタイミング信号を供給する。例えば、タイミング発生部９８は、上述の各制御信号ΦＶ１、φＶ２、ΦＧ、ΦＭ、ΦＨを撮像装置１へ供給する。そして、撮像装置１、撮像信号処理回路９５、Ａ／Ｄ変換器９６及び画像信号処理部９７がタイミング信号に同期して動作する。

全体制御・演算部９９は、タイミング発生部９８、画像信号処理部９７、表示部８６及び記録媒体制御Ｉ／Ｆ部９４に接続されており、タイミング発生部９８、画像信号処理部９７、表示部８６及び記録媒体制御Ｉ／Ｆ部９４を全体的に制御する。例えば、全体制御・演算部９９は、図示しない入力部に入力された指示等に基づいて、全画素読み出しモードか間引き読み出しモードかを選択して、選択したモードに応じて各部を制御する。

記録媒体８８は、記録媒体制御Ｉ／Ｆ部９４に取り外し可能に接続されている。これにより、画像信号処理部９７から出力された画像データを、記録媒体制御Ｉ／Ｆ部９４を介して記録媒体８８へ記録する。

以上の構成により、撮像装置１において良好な画像信号が得られれば、良好な画像（画像データ）を得ることができる。

次に、撮像システム９０が被写体を撮像する際の動作の一例を、図１２を用いて説明する。図１２は、撮像システム９０が被写体を撮像する際の動作を示すフローチャートである。

ステップＳ１では、全体制御・演算部９９が、間引き読み出しモードの撮像を開始すべきか否かを判断する。すなわち、全体制御・演算部９９は、間引き読み出しモードの撮像を開始するための開始指示を入力部（図示せず）から受け取った場合、間引き読み出しモードの撮像を開始すべきと判断する。全体制御・演算部９９は、開始指示を入力部から受け取らなかった場合、間引き読み出しモードの撮像を開始すべきでない（全画素読み出しモードの撮像を開始すべきである）と判断する。全体制御・演算部９９は、間引き読み出しモードの撮像を開始すべきと判断した場合、処理をステップＳ２へ進め、間引き読み出しモードの撮像を開始すべきでないと判断した場合、処理をステップＳ１へ進める。

ステップＳ２では、タイミング発生部９８が、開始指示に応じて、第１の読み出し処理を行うための制御信号（ΦＶ１、φＶ２、ΦＧ、ΦＭ、ΦＨ）を撮像装置１へ供給する。撮像装置１は、第１の読み出し処理を行う。すなわち、選択部５は、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）の画素に第１の蓄積時間Ｔａで電荷蓄積動作を行わせる。第１の読み出し行群は、画素配列ＰＡの全体から選択された領域である。読み出し部８０は、フレーム期間Ｆ１（図３参照）において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）の画素の中から各列の画素の第１の蓄積時間Ｔａで蓄積された信号（ＳＡ）を読み出して順次出力する。

撮像信号処理回路９５は、撮像装置１から出力された画像信号（ＳＡ）を処理して処理後の画像信号をＡ／Ｄ変換器９６へ供給する。

Ａ／Ｄ変換器９６は、撮像信号処理回路９５から出力された処理後の画像信号（アナログ信号）をデジタル信号へ変換して画像信号処理部９７へ出力する。

画像信号処理部９７は、Ａ／Ｄ変換器９６から出力された画像信号（デジタル信号）に各種の補正等の演算処理を行い、画像データを生成する。

全体制御・演算部９９は、画像信号処理部９７及び表示部８６を制御して、画像信号処理部９７が表示部８６へ画像データを供給するようにし、表示部８６が画像データに応じた画像を表示するようにする。また、全体制御・演算部９９は、画像信号処理部９７及びメモリ部８７を制御して、画像信号処理部９７がメモリ部８７へ画像データを供給するようにし、画像信号（ＳＡ）に応じた画像データをメモリ部８７が記憶するようにする。

ステップＳ３では、全体制御・演算部９９が、指定処理を行うべきか否かを判断する。すなわち、入力部（図示せず）には、表示部８６が表示したユーザから、注目画素領域を指定するための指定指示が入力されることがある。全体制御・演算部９９は、入力部から指定指示を受け取った場合、指定処理を行うべきであると判断し、入力部から指定指示を受け取らなかった場合、指定処理を行うべきでないと判断する。全体制御・演算部９９は、指定処理を行うべきであると判断した場合、処理をステップＳ４へ進め、指定処理を行うべきでないと判断した場合、処理をステップＳ７へ進める。

ステップＳ４では、全体制御・演算部９９が、指定処理を行ってその処理の結果をメモリ部８７へ記憶させる。指定処理の詳細は後述する。

ステップＳ５では、タイミング発生部９８が、メモリ部８７を参照して、指定処理により指定された内容にしたがって、第２の読み出し処理を行うための制御信号（ΦＶ１、φＶ２、ΦＧ、ΦＭ、ΦＨ）を撮像装置１へ供給する。撮像装置１は、第２の読み出し処理を行う。すなわち、選択部５は、第２の読み出し行群に含まれる行（Ｖ１３〜Ｖ２０）の画素に第２の蓄積時間Ｔａａで電荷蓄積動作を行わせる。第２の読み出し行群は、画素配列ＰＡの注目画素領域ＲＩに対応した領域から選択された領域である。

そして、読み出し部８０は、フレーム期間Ｆ２（図３参照）において、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）の画素の中から各列の画素の信号（ＳＡ’）を読み出して順次出力する。この信号（ＳＡ’）は、第２の蓄積時間Ｔａａで蓄積された信号である。

撮像信号処理回路９５は、撮像装置１から出力された画像信号（ＳＡ’）を処理して処理後の画像信号をＡ／Ｄ変換器９６へ供給する。

Ａ／Ｄ変換器９６は、撮像信号処理回路９５から出力された処理後の画像信号（アナログ信号）をデジタル信号へ変換して画像信号処理部９７へ出力する。

画像信号処理部９７は、Ａ／Ｄ変換器９６から出力された画像信号（デジタル信号）に各種の補正等の演算処理を行い、画像信号（ＳＡ’）に応じた画像データを生成する。また、画像信号処理部９７は、メモリ部８７から画像信号（ＳＡ）に応じた画像データを取得する。画像信号処理部９７は、画像信号（ＳＡ）に応じた画像データと画像信号（ＳＡ’）に応じた画像データとを合成する。

全体制御・演算部９９は、画像信号処理部９７及び表示部８６を制御して、画像信号処理部９７が表示部８６へ合成後の画像データを供給するようにし、表示部８６が画像データに応じた画像を表示するようにする。また、全体制御・演算部９９は、画像信号処理部９７及びメモリ部８７を制御して、画像信号処理部９７がメモリ部８７へ画像データを供給するようにし、合成後の画像データをメモリ部８７が記憶するようにする。

その後、読み出し部８０は、フレーム期間Ｆ３（図３参照）において、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素の中から各列の画素の信号（ＳＢ’）を読み出して順次出力する。この信号（ＳＢ’）は、第２の蓄積時間Ｔａａで蓄積された信号である。

撮像信号処理回路９５は、撮像装置１から出力された画像信号（ＳＢ’）を処理して処理後の画像信号をＡ／Ｄ変換器９６へ供給する。

Ａ／Ｄ変換器９６は、撮像信号処理回路９５から出力された処理後の画像信号（アナログ信号）をデジタル信号へ変換して画像信号処理部９７へ出力する。

画像信号処理部９７は、Ａ／Ｄ変換器９６から出力された画像信号（デジタル信号）に各種の補正等の演算処理を行い、画像信号（ＳＢ’）に応じた画像データを生成する。また、画像信号処理部９７は、メモリ部８７から合成後の画像データを取得する。画像信号処理部９７は、当該第２の読み出し領域群ＲＲ２に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）の画素から第１の蓄積時間Ｔａで電荷蓄積動作を行った場合には、合成後の画像データと画像信号（ＳＢ’）に応じた画像データとをさらに合成する。

全体制御・演算部９９は、画像信号処理部９７及び表示部８６を制御して、画像信号処理部９７が表示部８６へ合成後の画像データを供給するようにし、表示部８６が画像データに応じた画像を表示するようにする。これにより、表示部８６は、注目画素領域ＲＩに対応した部分の画像を高解像度で白とびせずに表示するとともに、画素配列ＰＡから注目画素領域ＲＩを除いた領域に対応した他の部分の画像を低解像度で表示する。

ステップＳ６では、全体制御・演算部９９が、別の注目画素領域が存在するか否かを判断する。すなわち、全体制御・演算部９９は、メモリ部８７を参照し、指定された複数の領域のうち第２の読み出し領域として信号が読み出されていない領域が存在するか否かを判断する。全体制御・演算部９９は、別の注目画素領域が存在すると判断する場合、処理をステップＳ５へ進め、別の注目画素領域が存在しないと判断する場合、処理を終了する。

次に、指定処理の流れを、図１３を用いて説明する。図１３は、指定処理の流れの一例を示すフローチャートである。

ステップＳ１１では、全体制御・演算部９９が、画像信号処理部９７及びメモリ部８７を制御して、メモリ部８７が記憶している複数のフレーム期間の画像データが画像信号処理部９７へ供給されるようにする。これにより、画像信号処理部９７は、複数のフレーム期間の画像データに基づいて、画像データが示す画像における物体の動きを検知する。この検知動作は、撮像フレーム間の画像信号の差分処理により得られた信号からノイズを除去したり、物体判別処理などにより行われる。

ステップＳ１２では、全体制御・演算部９９が、注目画素領域を指定する。すなわち、全体制御・演算部９９は、画像信号処理部９７を制御して、画像データに応じた画像において物体が存在する領域が抽出されるようにする。これにより、画像信号処理部９７は、撮像装置１の画素配列ＰＡの全体に対応した画像において、物体が存在する領域として注目画素領域ＲＩ（図３参照）に対応した領域を抽出して全体制御・演算部９９へ供給する。全体制御・演算部９９は、注目画素領域ＲＩに対応した領域の情報（画素アドレスの情報等）に基づいて、注目画素領域ＲＩを指定する。全体制御・演算部９９は、指定した注目画素領域ＲＩの情報をメモリ部８７に記憶させる。

ステップＳ１３では、画像信号処理部９７が、注目画素領域ＲＩに応じた部分の画像に高輝度の部分が存在するか否かを判断する。画像信号処理部９７は、高輝度の部分が存在すると判断する場合、処理をステップＳ１４へ進め、高輝度の部分が存在しないと判断する場合、処理をステップＳ１５へ進める。

ステップＳ１４では、全体制御・演算部９９が、第２の蓄積時間の長さを決定する。すなわち、全体制御・演算部９９は、注目画素領域ＲＩの輝度の情報を画像信号処理部９７からさらに受け取る。全体制御・演算部９９は、注目画素領域ＲＩの輝度の平均値等の指標となる値を演算し、その演算結果に応じて、第２の蓄積時間の長さを決定する。全体制御・演算部９９は、第２の蓄積時間の情報を指定した注目画素領域ＲＩの情報としてメモリ部８７にさらに記憶させる。

ステップＳ１５では、全体制御・演算部９９が、指定する注目画素領域の情報として、予めデフォルト設定された情報に決定し、決定した情報をメモリ部８７に記憶させる。

なお、図１３に示すステップＳ１２では、全体制御・演算部９９が、複数の注目画素領域ＲＩ，ＲＩ３を指定してもよい。例えば、全体制御・演算部９９は、画像信号処理部９７を制御して、注目画素領域ＲＩ３に応じた部分の画像において輝度が下限閾値以下であると判断する。

この場合、図１４に示すように、撮像装置１の垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ４において、第３の読み出し領域ＲＲ３から第３の読み出し行群Ｖ２〜Ｖ７を選択する。すなわち、垂直走査回路ＶＳＲ−Ａは、第１の読み出し行群に含まれず第３の読み出し行群に含まれる行Ｖ２，Ｖ３，Ｖ５〜Ｖ７を順次選択する。垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの全体から第３の読み出し行群に含まれる行Ｖ２，Ｖ３，Ｖ５〜Ｖ７を除く行Ｖ１，Ｖ４，Ｖ８〜Ｖ２７をスキップする。垂直走査回路ＶＳＲ−Ａは、第１の読み出し行群に含まれず第３の読み出し行群に含まれる行（Ｖ２，Ｖ３，Ｖ５〜Ｖ７）の画素に第３の蓄積時間Ｔｃで電荷蓄積動作を行わせる。第３の読み出し領域ＲＲ３における輝度は低いので、第３の蓄積時間Ｔｃは、図１５に示すように、第１の蓄積時間Ｔａよりも長い。

読み出し部８０は、フレーム期間Ｆ４において、第１の読み出し行群に含まれず第３の読み出し行群に含まれる行（Ｖ２，Ｖ３，Ｖ５〜Ｖ７）の画素の中から各列の画素の第３の蓄積時間Ｔｃで蓄積された信号（ＳＣ）を読み出して順次出力する。

このように、被写体に低輝度の部分がある場合に、その部分に対応する画素の電荷蓄積動作を行う時間を第１の蓄積時間より長くするので、画素配列ＰＡの注目画素領域から読み出される信号のダイナミックレンジをさらに拡大することができる。

あるいは、図１３に示すステップＳ１２では、全体制御・演算部９９が、複数の注目画素領域ＲＩ，ＲＩ３ａを指定してもよい。例えば、全体制御・演算部９９は、画像信号処理部９７を制御して、注目画素領域ＲＩ３ａに応じた部分の画像において輝度が下限閾値以下であると判断する。

この場合、図１６に示すように、撮像装置１の垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ４ａにおいて、第３の読み出し領域ＲＲ３ａから第３の読み出し行群Ｖ１１〜Ｖ１７を選択する。すなわち、垂直走査回路ＶＳＲ−Ａは、第１の読み出し行群に含まれず第３の読み出し行群に含まれる行Ｖ１１〜Ｖ１３，Ｖ１５〜Ｖ１７を順次選択する。垂直走査回路ＶＳＲ−Ａは、画素配列ＰＡの全体から第３の読み出し行群に含まれる行Ｖ１１〜Ｖ１３，Ｖ１５〜Ｖ１７を除く行Ｖ１〜Ｖ１０，Ｖ１８〜Ｖ２７をスキップする。垂直走査回路ＶＳＲ−Ａは、第１の読み出し行群に含まれず第３の読み出し行群に含まれる行（Ｖ１１〜Ｖ１３，Ｖ１５〜Ｖ１７）の画素に第３の蓄積時間Ｔｃで電荷蓄積動作を行わせる。第３の蓄積時間Ｔｃは、図１５に示すように、第１の蓄積時間Ｔａよりも長い。

ここで、画素配列ＰＡにおいて行Ｖ１３，Ｖ１５〜Ｖ１７は、高輝度の注目画素領域ＲＩと低輝度の注目画素領域ＲＩ３ａとの両方に重なっている。この場合でも、行Ｖ１３，Ｖ１５〜Ｖ１７の画素が第２の蓄積時間Ｔａａ及び第３の蓄積時間Ｔｃで電荷蓄積動作を行うようにしているので、画素配列ＰＡの注目画素領域から読み出される信号のダイナミックレンジを拡大することができる。

あるいは、図１３に示すステップＳ１２では、全体制御・演算部９９が、複数の注目画素領域ＲＩ，ＲＩ３ｂを指定してもよい。ここでは、画素配列ＰＡにおいて行Ｖ１３，Ｖ１５〜Ｖ１７は、高輝度の注目画素領域ＲＩと高輝度の注目画素領域ＲＩ３ｂとの両方に重なっている場合を考える。例えば、全体制御・演算部９９は、画像信号処理部９７を制御して、注目画素領域ＲＩ３ｂに応じた部分の画像において輝度が上限閾値以下であると判断する。

この場合、垂直走査回路ＶＳＲ−Ａは、フレーム期間Ｆ３ｂにおいて、第２の読み出し行群ｂに含まれる行Ｖ１１〜Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０，Ｖ２１を（フレーム期間Ｆ３ｂにおける読み出し領域として）順次選択する（図１７参照）。第２の読み出し領域群ＲＲ２ｂは、注目画素領域ＲＩと注目画素領域ＲＩ３ｂとの両方に対応した領域であり、注目画素領域ＲＩに重なる行と注目画素領域ＲＩ３ｂに重なる行との和集合である。

ここで、画素配列ＰＡにおいて行Ｖ１３，Ｖ１５〜Ｖ１７は、高輝度の注目画素領域ＲＩと高輝度の注目画素領域ＲＩ３ｂとの両方に重なっている。この場合でも、行Ｖ１３，Ｖ１５〜Ｖ１７の画素が第２の蓄積時間Ｔａａで電荷蓄積動作を行うようにしているので、画素配列ＰＡの注目画素領域から読み出される信号のダイナミックレンジを拡大することができる。

次に、本発明の第２実施形態に係る撮像装置１ｋについて、図１８を用いて説明する。図１８は、本発明の第２実施形態に係る撮像装置１ｋの構成図である。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

本発明の第２実施形態に係る撮像装置１ｋは、選択部５ｋを備える点で、第１実施形態と異なる。選択部５ｋは、次のように動作する点で、第１実施形態と異なる。

図１９に示すように、前回のフレーム期間Ｆ１０１（ｎ−１）において、第１の読み出し行群に含まれる行（Ｖ４，Ｖ９，Ｖ１４，Ｖ１９，Ｖ２４）が順次選択され、各行に含まれる画素の第１の蓄積時間Ｔａが順次開始する。

今回のフレーム期間Ｆ１０１（ｎ）において、第１の読み出し行群と第２の読み出し行群とに含まれる行（Ｖ１４，Ｖ１９）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次終了する。例えば、選択部ＶＳＲ−Ａは、行Ｖ１４の走査信号φＶＳＲ−Ａに応じて、行Ｖ１４の画素から信号を読み出させることで電荷蓄積動作を完了させて、行Ｖ１４の第２の蓄積時間Ｔａａを終了させる。

そして、第１の読み出し行群に含まれず第２の読み出し行群に含まれる行（Ｖ１３，Ｖ１５〜Ｖ１８，Ｖ２０）が順次選択され、各行に含まれる画素の第２の蓄積時間Ｔａａが順次開始する（図６参照）。例えば、垂直走査回路ＶＳＲ−Ｂは、行Ｖ１３の走査信号φＶＳＲ−Ｂに応じて、行Ｖ１３の画素をリセットし、リセットの終了により電荷蓄積動作を開始させて行Ｖ１３の第２の蓄積時間Ｔａａを開始させる。

すなわち、選択部５ｋは、第１実施形態におけるフレーム期間Ｆ１における動作とフレーム期間Ｆ２における動作とが、フレーム期間Ｆ１０１において行われるように、画素配列ＰＡにおける各画素を駆動する。これにより、画素配列ＰＡから信号を読み出すための時間をさらに短縮することができる。

なお、図１９では、次のサイクルに対する蓄積時間の図示が省略されている。

本発明の第１実施形態に係る撮像装置１の構成図。 画素配列ＰＡに含まれる各画素１０の構成を示す図。 画素配列ＰＡにおける読み出し領域と非読み出し領域とを説明するための図。 電荷蓄積時間を説明するための図。 撮像装置１のスリットローリングリセット動作を説明するための図。 撮像装置１のスリットローリングリセット動作を説明するための図。 フレーム期間Ｆ２の一部における撮像装置１の動作を示すタイミング波形図。 列増幅部の構成を示す図。 画素配列ＰＡに含まれる各画素１０ｉの構成を示す図（変形例）。 画素配列ＰＡに含まれる各画素１０ｊの構成を示す図（変形例）。 第１実施形態に係る撮像装置を適用した撮像システムの構成図。 撮像システム９０が被写体を撮像する際の動作を示すフローチャート。 指定処理の流れを示すフローチャート。 画素配列ＰＡにおける読み出し領域と非読み出し領域とを説明するための図（変形例）。 電荷蓄積時間を説明するための図（変形例）。 画素配列ＰＡにおける読み出し領域と非読み出し領域とを説明するための図（変形例）。 画素配列ＰＡにおける読み出し領域と非読み出し領域とを説明するための図（変形例）。 本発明の第２実施形態に係る撮像装置１ｋの構成図。 撮像装置１ｋのスリットローリングリセット動作を説明するための図。

符号の説明

１ 撮像装置
５ 選択部
２１等 列増幅部
３０ 出力部
８０ 読み出し部
９０ 撮像システム
ＰＡ 画素配列

Claims (9)

1. 複数の画素が行方向及び列方向に配列された画素配列と、
   前記画素配列において、読み出し領域を選択する選択部と、
   前記選択部が選択している読み出し領域から信号を読み出す読み出し部と、
   を備え、
   前記読み出し部は、間引いて読み出す場合に、第１のフレーム期間に、前記画素配列の全体である第１の読み出し領域から第１の画素密度で信号を読み出し、第２のフレーム期間に、前記画素配列の一部である第２の読み出し領域から前記第１の画素密度よりも高い第２の画素密度で信号を読み出し、
   前記選択部は、前記間引いて読み出す場合に、前記第１の読み出し領域の画素に第１の蓄積時間で電荷蓄積動作を行わせ、前記第２の読み出し領域の画素に第２の蓄積時間で電荷蓄積動作を行わせる
   ことを特徴とする撮像装置。
2. 前記選択部は、前記第１の読み出し領域の少なくとも一部の画素に、さらに、第２の蓄積時間で蓄積動作を行わせる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記選択部は、前記第２の読み出し領域の少なくとも一部の画素に、さらに、第１の蓄積時間で蓄積動作を行わせる
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記選択部は、前記読み出し領域における行を選択し、
   前記読み出し部は、間引いて読み出す場合、前記第１のフレーム期間に、前記第１の読み出し領域の一部の行から信号を読み出す
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記選択部は、前記読み出し領域における画素を選択し、
   前記読み出し部は、間引いて読み出す場合、前記第１のフレーム期間に、前記第１の読み出し領域の一部の行及び一部の列から信号を読み出す
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記読み出し部は、
   各列の画素の信号をそれぞれ増幅する複数の列増幅部と、
   前記複数の列増幅部が増幅した信号を順次出力する出力部と、
   を含み、
   前記複数の列増幅部のそれぞれは、信号を増幅する増幅率が行ごとに制御される
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記読み出し部は、
   各列の画素の信号をそれぞれ増幅する複数の列増幅部と、
   前記複数の列増幅部が増幅した信号を順次出力する出力部と、
   を含み、
   前記複数の列増幅部のそれぞれは、信号を増幅する増幅率が画素ごとに制御される
   ことを特徴とする請求項５に記載の撮像装置。
8. 前記選択部は、前記第１の読み出し領域に含まれ前記第２の読み出し領域に含まれない画素に前記第１の蓄積時間で電荷蓄積動作を行わせ、前記第２の読み出し領域の少なくとも一部に含まれる画素に前記第１の蓄積時間及び前記第２の蓄積時間で電荷蓄積動作を行わせる
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 請求項１から８のいずれか１項に記載の撮像装置と、
   前記撮像装置の撮像面へ像を形成する光学系と、
   前記撮像装置から出力された信号を処理して画像データを生成する信号処理部と、
   を備え、
   前記信号処理部は、前記第１の読み出し領域から読み出された信号の輝度に基づいて、前記第１の蓄積時間を決定し、前記第１の読み出し領域の画素に前記第１の蓄積時間で電荷蓄積動作を行わせるように、前記撮像装置の前記選択部を制御し、前記第２の読み出し領域から読み出された信号の輝度に基づいて、前記第２の蓄積時間を決定し、前記第２の読み出し領域の画素に前記第２の蓄積時間で電荷蓄積動作を行わせるように、前記撮像装置の前記選択部を制御する
   ことを特徴とする撮像システム。

Images