JP2020048018A - 固体撮像装置、及び電子機器 - Google Patents

Abstract

【課題】より処理性能を向上させることができるようにする。【解決手段】光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、アナログメモリ部は、第１の露光によって光電変換部により光電変換された電荷を保持し、第１の露光によってアナログメモリ部に保持された電荷が、適応的に非破壊で読み出される固体撮像装置が提供される。本開示に係る技術は、例えば、CMOSイメージセンサに適用することができる。【選択図】図２

Description

本開示は、固体撮像装置、及び電子機器に関し、特に、より処理性能を向上させることができるようにした固体撮像装置、及び電子機器に関する。

近年、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサが普及し、様々な分野で利用されている。例えば、イメージセンサに関する技術としては、特許文献１に開示されている技術が知られている。

特開2012-253422号公報

ところで、イメージセンサ等の固体撮像装置には、フォトダイオードに蓄積された電荷をアナログメモリに転送して、アナログメモリに保持されている電荷を読み出す方式がある。このような方式において、アナログメモリに保持された電荷は、破壊読み出しされるのが一般的であるため、１度しか読み出すことができず、処理の柔軟性を損なう恐れがあった。

また、特許文献１に開示されている技術では、アナログメモリに保持された電荷を読み出しているが、処理の柔軟性を確保するには十分でなく、より柔軟に処理を行うことでより処理性能を向上させるための技術の提案が求められていた。

本開示はこのような状況に鑑みてなされたものであり、より処理性能を向上させることができるようにするものである。

本開示の一側面の固体撮像装置は、光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される固体撮像装置である。

本開示の一側面の電子機器は、光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される固体撮像装置を搭載した電子機器である。

本開示の一側面の固体撮像装置、及び電子機器においては、光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部が設けられ、前記アナログメモリ部では、第１の露光によって前記光電変換部により光電変換された電荷が保持され、前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される。

なお、本開示の一側面の固体撮像装置又は電子機器は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

第１の実施の形態の固体撮像装置の構成の第１の例を示す図である。 第１の実施の形態の固体撮像装置の画素の構成の例を示す回路図である。 第１の実施の形態の固体撮像装置の構成の第１の例のデータフローを示す図である。 第１の実施の形態の固体撮像装置の構成の第２の例を示す図である。 第１の実施の形態の固体撮像装置の構成の第２の例のデータフローを示す図である。 第１の実施の形態の固体撮像装置の画素の駆動方法の例を示すタイミングチャートである。 第１の実施の形態の固体撮像装置を搭載したカメラ装置の処理の例を示す図である。 第１の実施の形態の固体撮像装置を搭載したカメラ装置の動作の例を示すタイミングチャートである。 第２の実施の形態の固体撮像装置の画素の概要を示す図である。 第２の実施の形態の固体撮像装置の概要を示す図である。 第２の実施の形態の固体撮像装置の画素の構成の例を示す回路図である。 第２の実施の形態の固体撮像装置の構成の第１の例を示す図である。 第２の実施の形態の固体撮像装置の構成の第１の例のデータフローを示す図である。 第２の実施の形態の固体撮像装置の構成の第２の例を示す図である。 第２の実施の形態の固体撮像装置の構成の第２の例のデータフローを示す図である。 第２の実施の形態の固体撮像装置の画素の駆動方法の例を示すタイミングチャートである。 第２の実施の形態の固体撮像装置を搭載したカメラ装置の処理の例を示す図である。 第３の実施の形態の固体撮像装置の画素の駆動方法の第１の例を示すタイミングチャートである。 第３の実施の形態の固体撮像装置の概要を示す図である。 第３の実施の形態の固体撮像装置の概要を示す図である。 第３の実施の形態の固体撮像装置の画素の構成の第１の例を示す回路図である。 第３の実施の形態の固体撮像装置の画素の構成の第２の例を示す回路図である。 第３の実施の形態の固体撮像装置の構成の例を示す図である。 第３の実施の形態の固体撮像装置の画素の駆動方法の第２の例を示すタイミングチャートである。 第３の実施の形態の固体撮像装置の画素の読み出しの第１の例を示す図である。 第３の実施の形態の固体撮像装置の画素の読み出しの第２の例を示す図である。 第３の実施の形態の固体撮像装置のデジタル処理部の構成の例を示す図である。 第３の実施の形態の固体撮像装置のデジタル処理部の処理の例を示す図である。 第３の実施の形態の固体撮像装置の構成の例のデータフローを示す図である。 第３の実施の形態の固体撮像装置の構成の例のデータフローを示す図である。 第３の実施の形態の固体撮像装置の構成の例のデータフローを示す図である。 第３の実施の形態の固体撮像装置の動作の第１の例を示すタイミングチャートである。 第３の実施の形態の固体撮像装置の動作の第２の例を示すタイミングチャートである。 第３の実施の形態の固体撮像装置の再露光制御の例を示す図である。 第３の実施の形態の固体撮像装置の再露光制御の例を示す図である。 第３の実施の形態の固体撮像装置を搭載したカメラ装置の処理の例を示す図である。 固体撮像装置を搭載した電子機器の構成の例を示す図である。 固体撮像装置の構造の第１の例を示す図である。 固体撮像装置の構造の第２の例を示す図である。 固体撮像装置の構造の第３の例を示す図である。 電子機器に搭載される固体撮像装置の構成の第１の例を示す図である。 電子機器に搭載される固体撮像装置の構成の第２の例を示す図である。 画素アレイ部に２次元状に配列される画素の平面レイアウトの例を示す図である。 カラムADC部の構成の例を示す図である。 全画素読み出し時の画素の平面レイアウトの例を示す図である。 全画素読み出し時のカラムADC部の動作の例を示すタイミングチャートである。 間引き読み出し時の画素の平面レイアウトの例を示す図である。 間引き読み出し時のカラムADC部の動作の例を示すタイミングチャートである。 画素加算読み出し時の画素の平面レイアウトの例を示す図である。 画素加算読み出しの概要を示す図である。 画素加算読み出し時のカラムADC部の動作の例を示すタイミングチャートである。 固体撮像装置の使用例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本開示に係る技術（本技術）の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
６．固体撮像装置の使用例
７．移動体への応用例

＜１．第１の実施の形態＞

（固体撮像装置の構成の第１の例）
図１は、本開示に係る技術を適用した固体撮像装置の構成の第１の例を示す図である。

図１の固体撮像装置１０Ａは、例えばCMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサ（CMOSイメージセンサ）などとして構成される。固体撮像装置１０は、光学レンズ系（不図示）を介して被写体からの入射光（像光）を取り込んで、撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。

図１において、固体撮像装置１０Ａは、画素アレイ部１１、駆動部１２、及びカラムADC部１３を含んで構成される。

画素アレイ部１１は、複数の画素１００を２次元状（行列状）に配列している。画素１００は、光電変換素子（光電変換部）としてのフォトダイオードと、複数の画素トランジスタを含んで構成される。例えば、画素トランジスタとしては、転送トランジスタ（TRG）、リセットトランジスタ（RST）、増幅トランジスタ（AMP）、及び選択トランジスタ（SEL）を含む。

なお、以下の説明では、画素アレイ部１１に２次元状に配列された画素１００のｉ行ｊ列を、画素１００（ｉ，ｊ）とも表記する。

駆動部１２は、例えばシフトレジスタ等によって構成され、所定の画素駆動線を選択し、選択した画素駆動線に駆動信号（パルス信号）を印加して行単位で画素１００を駆動する。すなわち、駆動部１２は、画素アレイ部１１に配列された各画素１００を行単位で順次垂直方向に選択走査し、各画素１００のフォトダイオードにて受光量に応じて生成された信号電荷（電荷）に応じた画素信号を、垂直信号線１３１を通じてカラムADC部１３に供給する。

カラムADC部１３には、画素アレイ部１１に２次元状に配列された画素１００（ｉ，ｊ）の列ごとにADC(Analog to Digital Converter)１５１−ｊが設けられる。ADC１５１−ｊは、定電流回路１６１、比較器１６２、及びカウンタ１６３を含んで構成される。

定電流回路１６１は、画素１００（ｉ，ｊ）に接続された垂直信号線１３１−ｊの一端に接続される。比較器１６２は、そこに入力される垂直信号線１３１−ｊからの信号電圧（Vx）と、DAC(Digital to Analog Converter)１５２からのランプ波（Ramp）の参照電圧（Vref）とを比較し、その比較結果に応じたレベルの出力信号を、カウンタ１６３に出力する。

カウンタ１６３は、比較器１６２からの出力信号に基づいて、カウントを行い、そのカウント値をFF回路１５３−ｊに出力する。FF回路１５３−ｊに保持されたカウント値は、順次水平出力線に転送され（デジタル値をシフトして）、撮像信号として得られる。例えば、ここでは、画素１００（ｉ，ｊ）のリセット成分と信号成分を順に読み出し、それぞれをカウントして差し引くことで、相関二重サンプリング（CDS：Correlated Double Sample）の動作が行われる。

なお、固体撮像装置１０Ａにおいては、画素アレイ部１１とカラムADC部１３とを積層して貫通ビア（VIA）を介して信号線を接続した積層構造（２層構造）を採用することができる。また、固体撮像装置１０Ａは、例えば、裏面照射型のイメージセンサとすることができる。

図２は、図１の画素アレイ部１１に２次元状に配列される画素１００の構成の例を示している。

図２において、画素１００は、フォトダイオード部１０１と、アナログメモリ部１０２とから構成される。フォトダイオード部１０１は、フォトダイオード（PD）１１１及びリセットトランジスタ（RST-P）１１２を含む光電変換部である。アナログメモリ部１０２は、転送トランジスタ１２１（TRG-M）、アナログメモリ（MEM）１２２、リセットトランジスタ（RST-M）１２３、増幅トランジスタ（AMP-M）１２４、及び選択トランジスタ（SEL-M）１２５を含む。

フォトダイオード１１１は、例えばpn接合の光電変換領域を有し、受光した光量に応じた信号電荷（電荷）を生成して蓄積する。フォトダイオード１１１は、その一端であるアノード電極が接地され、その他端であるカソード電極が転送トランジスタ１２１のソースに接続されている。

リセットトランジスタ１１２は、フォトダイオード１１１と電源部との間に接続される。リセットトランジスタ１１２のゲートには、駆動部１２（図１）からの駆動信号RST-Pが印加される。この駆動信号RST-Pがアクティブ状態になると、リセットトランジスタ１１２のリセットゲートが導通状態となり、フォトダイオード１１１がリセットされる。

アナログメモリ部１０２において、転送トランジスタ１２１のドレインは、リセットトランジスタ１２３のソースと増幅トランジスタ１２４のゲートに接続されており、この接続点が、浮遊拡散領域としてのフローティングディフュージョン（FD）１２６を構成している。

転送トランジスタ１２１は、フォトダイオード１１１とフローティングディフュージョン１２６との間に接続される。転送トランジスタ１２１のゲートには、駆動部１２（図１）からの駆動信号TRG-Mが印加される。この駆動信号TRG-Mがアクティブ状態になると、転送トランジスタ１２１の転送ゲートが導通状態となり、フォトダイオード１１１に蓄積されている電荷が、フォトダイオード部１０１側からアナログメモリ部１０２側に転送される。

アナログメモリ１２２は、例えばキャパシタから構成され、その一方の極板が接地され、その他方の極板が、転送トランジスタ１２１のドレインとフローティングディフュージョン１２６との間に接続される。アナログメモリ１２２は、転送トランジスタ１２１により転送される電荷、すなわち、フォトダイオード１１１からの電荷を保持する。

フローティングディフュージョン１２６は、アナログメモリ１２２に保持される電荷、すなわち、転送トランジスタ１２１により転送された電荷を、電圧信号に電荷電圧変換して、増幅トランジスタ１２４（のゲート）に出力する。

リセットトランジスタ１２３は、フローティングディフュージョン１２６と電源部との間に接続される。リセットトランジスタ１２３のゲートには、駆動部１２（図１）からの駆動信号RST-Mが印加される。この駆動信号RST-Mがアクティブ状態になると、リセットトランジスタ１２３のリセットゲートが導通状態となり、フローティングディフュージョン１２６がリセットされる。

増幅トランジスタ１２４は、そのゲートがフローティングディフュージョン１２６に接続され、ドレインが電源部に接続されており、フローティングディフュージョン１２６が保持している電圧信号の読み出し回路、いわゆるソースフォロア回路の入力部となる。すなわち、増幅トランジスタ１２４は、そのソースが選択トランジスタ１２５を介して垂直信号線１３１に接続されることで、垂直信号線１３１の一端に接続される定電流回路１６１（図１）とソースフォロア回路を構成する。

選択トランジスタ１２５は、増幅トランジスタ１２４のソースと垂直信号線１３１との間に接続される。選択トランジスタ１２５のゲートには、駆動部１２（図１）からの駆動信号SEL-Mが印加される。この駆動信号SEL-Mがアクティブ状態になると、選択トランジスタ１２５が導通状態となり、画素１００が選択状態となる。これにより、増幅トランジスタ１２４から出力される読み出し信号（画素信号）が、選択トランジスタ１２５を介して垂直信号線１３１に出力される。

以上のように構成される画素１００においては、リセットトランジスタ１１２と、転送トランジスタ１２１と、リセットトランジスタ１２３のゲートに印加される駆動信号RST-P，TRG-M，RST-Mは、センサ内で共通に（センサ単位で）制御される一方で、選択トランジスタ１２５のゲートに印加される駆動信号SEL-Mは、ライン単位（行単位）で制御されることで、グローバルシャッタ方式での露光によってフォトダイオード１１１に蓄積された電荷が転送されてアナログメモリ１２２に保持されるとともに、アナログメモリ１２２に保持された電荷（に応じた画素信号）が非破壊で読み出される。

なお、画素アレイ部１１に配列される任意の複数の画素１００ごとに、リセットトランジスタ１２３を共有してもよく、そのような共有対象の画素１００では、アナログメモリ部１０２が、リセットトランジスタ１２３を除いた領域１０３内の素子により構成される。

図３は、図１の固体撮像装置１０Ａのデータフローを示している。

固体撮像装置１０Ａにおいて、画素アレイ部１１に２次元状に配列された画素１００（ｉ，ｊ）では、グローバルシャッタ方式での露光（Ｅ１１）によってフォトダイオード１１１に蓄積された電荷が、フォトダイオード部１０１からアナログメモリ部１０２に転送され（Ｔ１１）、アナログメモリ１２２に保持される。

そして、画素１００（ｉ，ｊ）のアナログメモリ１２２に保持された電荷は、駆動部１２からの駆動信号に応じて非破壊で読み出され（Ｒ１１）、垂直信号線１３１−ｊを介してカラムADC部１３に入力される。

カラムADC部１３において、列ごとに配列されたADC１５１−ｊでは、画素１００（ｉ，ｊ）のアナログメモリ１２２から非破壊で読み出された信号電圧（Vx）と、DAC１５２からのランプ波の参照電圧（Vref）とが比較され、その比較結果に応じたカウントがなされることで、アナログ信号がデジタル信号に変換され、外部に出力される。

このように、固体撮像装置１０Ａにおいては、画素１００のアナログメモリ１２２に保持された電荷を読み出すに際し、非破壊で読み出すため、１回の露光によってフォトダイオード１１１に蓄積された電荷であって、アナログメモリ１２２に転送されて保持されている電荷を何度でも繰り返し読み出すことができる。

（固体撮像装置の構成の第２の例）
ところで、画素１００の構造としては、フォトダイオード部１０１とアナログメモリ部１０２とを同一の層に含める構造に限らず、それらを異なる層に含めて積層して貫通ビア（VIA）を介して信号線を接続した構造（画素内分離構造）を採用するようにしてもよい。そこで、次に、このような画素内分離構造について説明する。

図４は、本開示に係る技術を適用した固体撮像装置の構成の第２の例を示す図である。

図４において、固体撮像装置１０Ｂは、フォトダイオードアレイ部１１Ａ、アナログメモリアレイ部１１Ｂ、駆動部１２、及びカラムADC部１３を含んで構成される。すなわち、固体撮像装置１０Ｂ（図４）は、固体撮像装置１０Ａ（図１）と比べて、画素アレイ部１１の代わりに、フォトダイオードアレイ部１１Ａとアナログメモリアレイ部１１Ｂとが積層されて構成されている。

フォトダイオードアレイ部１１Ａは、複数のフォトダイオード部１０１を２次元状（行列状）に配列している。アナログメモリアレイ部１１Ｂは、複数のアナログメモリ部１０２を２次元状（行列状）に配列している。ここで、フォトダイオードアレイ部１１Ａに配列される複数のフォトダイオード部１０１と、アナログメモリアレイ部１１Ｂに配列される複数のアナログメモリ部１０２とは、積層された層の対応する位置にそれぞれ形成され、貫通ビア（VIA）を介して信号線により接続される。

すなわち、第１の層に形成されたフォトダイオードアレイ部１１Ａにおけるフォトダイオード部１０１のフォトダイオード１１１（のカソード電極）と、第２の層に形成されたアナログメモリアレイ部１１Ｂにおけるアナログメモリ部１０２の転送トランジスタ１２１（のソース）とは、貫通ビア（VIA）を介して信号線によって接続される。このようにして、フォトダイオード部１０１とアナログメモリ部１０２とが積層されて画素１００（ｉ，ｊ）が構成される。

なお、図４において、フォトダイオード部１０１とアナログメモリ部１０２の構成は、図２に示した構成と同様であるため、ここではその詳細な説明は省略する。また、図４において、カラムADC部１３の構成は、図１に示した構成と同様であり、フォトダイオードアレイ部１１Ａに積層されたアナログメモリアレイ部１１Ｂに対してさらに積層して、貫通ビア（VIA）を介して信号線を接続した積層構造（３層構造）とすることができる。また、固体撮像装置１０Ｂは、例えば、裏面照射型のイメージセンサとすることができる。

図５は、図４の固体撮像装置１０Ｂのデータフローを示している。

固体撮像装置１０Ｂにおいて、フォトダイオードアレイ部１１Ａに２次元状に配列されたフォトダイオード部１０１では、グローバルシャッタ方式での露光（Ｅ２１）によってフォトダイオード１１１に蓄積された電荷が、アナログメモリアレイ部１１Ｂに配列されたアナログメモリ部１０２に転送され（Ｔ２１）、アナログメモリ１２２に保持される。

そして、画素１００（ｉ，ｊ）のアナログメモリ部１０２のアナログメモリ１２２に保持された電荷は、駆動部１２からの駆動信号に応じて非破壊で読み出され（Ｒ２１）、垂直信号線１３１−ｊを介してカラムADC部１３に入力され、AD変換がなされる。

このように、固体撮像装置１０Ｂにおいては、フォトダイオードアレイ部１１Ａと、アナログメモリアレイ部１１Ｂとが積層されて構成され、アナログメモリ部１０２のアナログメモリ１２２に保持された電荷を読み出すに際して非破壊で読み出すため、１回の露光によってフォトダイオード１１１に蓄積された電荷であって、アナログメモリ１２２に転送されて保持されている電荷を何度でも繰り返し読み出すことができる。

（駆動方法の例）
次に、図６のタイミングチャートを参照しながら、第１の実施の形態の固体撮像装置１０（１０Ａ，１０Ｂ）の画素１００の駆動方法の例を説明する。なお、図６においては、比較のために、図６のＡに従来の駆動方法を示し、図６のＢに第１の実施の形態の駆動方法を示している。また、図６において、時間の方向は、図中の左側から右側に向かう方向とされる。

すなわち、従来の駆動方法の場合には、１回目の露光によってフォトダイオードに蓄積された電荷が転送され、画素アレイ部に配列された全ての画素の電荷が読み出され、２回目以降の露光によっても同様に、蓄積と転送が行われた後に全画素の読み出しが繰り返される（図６のＡ）。

一方で、第１の実施の形態の駆動方法の場合には、１回目の露光によってフォトダイオード１１１に蓄積された電荷をアナログメモリ１２２に転送した後であって、２回目の露光によってフォトダイオード１１１に蓄積された電荷がアナログメモリ１２２に転送される前の期間Ｔ１であれば、１回目の露光によってアナログメモリ１２２に保持された電荷を何度でも繰り返し読み出す（非破壊で読み出す）ことができる（図６のＢ）。

例えば、固体撮像装置１０では、期間Ｔ１に、画素アレイ部１１に配列された画素１００（全画素）のうち、任意の画素１００を間引いて読み出したり、あるいは、画像フレーム内の対象の領域（ROI：Region of Interest）に対応した画素１００を読み出したりすることができる。図６の例では、期間Ｔ１内の任意のタイミングで、４つの異なるROI領域（ROI₁，ROI₂，ROI₃，ROI₄）に対応した画素１００のアナログメモリ１２２に保持された電荷がそれぞれ読み出されている。

（応用例）
図７は、本開示に係る技術を適用した固体撮像装置を搭載したカメラ装置の処理の例を示している。

図７において、固体撮像装置１０（１０Ａ，１０Ｂ）を搭載したカメラ装置１は、画素アレイ部１１に配列された画素１００（全画素）のうち、任意の画素１００を間引いて得られる電荷（アナログメモリ１２２から非破壊で読み出された電荷）に基づいた画像（縮小画像）をメイン処理に先行して出力し、その後に縮小画像を利用してメイン処理を行う機能を有している。ここでは、カメラ装置１にて実行可能なメイン処理として、３つの処理を例示する。

第１に、カメラ装置１では、縮小画像に含まれる物体を検出し、検出した物体を含む任意の領域（ROI領域）の画像（ROI画像）を抽出する処理を行うことができる（図７のＡ）。

例えば、この処理では、複数の画素１００ごとにアナログメモリ１２２に保持された電荷であって、縮小画像（２台の車を含む広範囲の領域の画像）を生成したときと同一の露光による電荷を非破壊で読み出して、ROI画像（２台の車の拡大画像）を生成することができる。すなわち、間引き読み出しで得られる縮小画像と、ROI読み出しで得られるROI画像とは同時性を有しているため、例えば、縮小画像を用いた物体の検出結果に基づき、切り出し領域や縮小率を変えて再度電荷を読み出した場合でも、画像上の位置やサイズ、形状等は正確に継承可能であり、視認性を向上させることが可能となる（より処理性能を向上させることができる）。

第２に、カメラ装置１では、縮小画像による画像処理を実行しつつ、アナログメモリ１２２に保持された電荷を非破壊で読み出して並列化した処理を実行することができる（図７のＢ）。

例えば、ここでは、画素アレイ部１１に配列された全ての画素１００（全画素）のアナログメモリ１２２に保持された電荷を読み出して、高解像度の撮像画像（２台の車を含む高解像度画像）を生成する処理を、縮小画像（２台の車を含む低解像度画像）を用いた画像処理と並列して実行することができる。すなわち、縮小画像を用いた画像処理と、全画素読み出しの処理を並列化して、その処理時間を短縮することができるため、例えばスループットやレスポンスを向上させることが可能となる（より処理性能を向上させることができる）。

第３に、カメラ装置１では、縮小画像の撮像状態に応じて、AD変換の前後の信号処理を再度実行することができる（図７のＣ）。

例えば、ここでは、画素１００のアナログメモリ１２２に保持された電荷であって、縮小画像（１回目に最適化した画像）を生成したときと同一の露光による電荷を非破壊で全画素読み出しして、縮小画像における所定の領域ごとの撮像状態（例えば明るさやコントラスト等）に応じて、AD変換の前後の信号処理（例えばゲインやクランプ等）をかけ直して、再最適化された画像（２回目に最適化された画像）を生成することができる。すなわち、縮小画像の撮像状態に応じて、全画素読み出しを行うとともにアナログゲインを再度かけ直してAD変換するなどの再最適化を行うことができるため、例えば視認性や認識性能を向上させることが可能となる（より処理性能を向上させることができる）。

なお、図８のタイミングチャートは、縮小画像を用いて物体検出と画像認識を行う場合の処理のタイミングの例を示している。図８において、固体撮像装置１０を搭載したカメラ装置１では、間引き読み出しで得られる縮小画像を用いた物体検出処理によって、縮小画像から物体が検出され、その物体検出の結果に応じたROI領域のROI読み出しがなされ、最適な明るさやコントラストに最適化（再最適化）されたROI画像が生成される。そして、カメラ装置１では、最適化されたROI画像を用いた物体認識処理を行うことが可能となるため、物体の認識性能（例えば人の顔や、車の車種等の認識性能）を向上させることができる。

また、図６ないし図８の説明では、説明の都合上、固体撮像装置１０Ａ（図１）として、画素アレイ部１１が設けられる場合を中心に説明したが、画素アレイ部１１の代わりに、フォトダイオードアレイ部１１Ａとアナログメモリアレイ部１１Ｂが設けられる固体撮像装置１０Ｂ（図４）であっても同様の処理を行うことができる。

以上、第１の実施の形態について説明した。第１の実施の形態の固体撮像装置１０（１０Ａ，１０Ｂ）では、一定の周期、又は所定のタイミングで露光を行う際に、グローバルシャッタ方式によって全画素の同時露光が行われるようにし、画素１００ごとにフォトダイオード１１１に蓄積された電荷を転送してアナログメモリ１２２に保持するようにしている。これにより、画素１００ごとにアナログメモリ１２２に保持された電荷を読み出す際には、非破壊でそのまま読み出すようにして、繰り返し何度でも読み出して処理することができる。

また、固体撮像装置１０（１０Ａ，１０Ｂ）では、２次元状に配列される複数の画素１００ごとにアナログメモリ１２２に保持された電荷を非破壊で読み出すに際して、適応的に読み出すことができる。例えば、複数の画素１００ごとにアナログメモリ１２２に保持された電荷が、画像フレーム内の任意の領域や、駆動モードに応じて読み出されるようにすることができる。ここで、任意の領域としては、例えば全領域やROI領域などが含まれる。また、駆動モードとしては、例えば、全画素駆動や間引き駆動、画素加算読み出し駆動などが含まれる。なお、全画素駆動、間引き駆動、及び画素加算読み出し駆動による読み出しの詳細については、図４５ないし図４６、図４７ないし図４８、及び図４９ないし図５１をそれぞれ参照して後述する。

また、例えば、露光のタイミングは、例えばフレームレートに応じた一定の周期や、トリガ信号が通知されたときなどの所定のタイミングとすることができるが、この所定のタイミングに応じて、複数の画素１００ごとにアナログメモリ１２２に保持された電荷が非破壊で読み出されるようにしてもよい。

さらに、例えば、固体撮像装置１０（１０Ａ，１０Ｂ）が、カメラ装置１の制御部（例えば、後述の図３７のCPU１００１）とのシリアル通信によって設定情報をレジスタに記憶し、その設定情報に基づき、駆動部１２によって、複数の画素１００ごとにアナログメモリ１２２に保持された電荷が非破壊で読み出されるようにしてもよい。また、例えば、カラムADC部１３によるAD変換の前後の信号処理（例えばゲインやクランプ等）に応じて、複数の画素１００ごとにアナログメモリ１２２に保持された電荷を非破壊で読み出すようにしてもよい。

なお、固体撮像装置１０（１０Ａ，１０Ｂ）を搭載したカメラ装置１では、例えば、画像フレーム内の任意の領域を間引き読み出しや画素加算読み出しによって非破壊読み出しすることで、縮小画像を高速に出力し、その後、先の縮小画像と同時刻に撮像された任意の領域の画像（例えば高解像度画像やROI画像等）を、全画素読み出し（又は間引き読み出しや画素加算読み出し）によって非破壊読み出して出力することができる。

また、複数の画素１００ごとにアナログメモリ１２２に保持された電荷を非破壊で読み出す場合において、全画素読み出しを行ったときには、解像度をより高めることはできるが、感度は低くなる一方で、画素加算読み出しを行ったときには、解像度は低くなるが、感度をより高めることができる。さらに、間引き読み出しを行ったときには、解像度は全画素読み出しのときよりも低くなり、感度は画素加算読み出しのときよりも低くなる。このように、解像度と感度のバランスは読み出しの方式によっても異なるが、固体撮像装置１０（１０Ａ，１０Ｂ）では、複数の画素１００ごとにアナログメモリ１２２に保持された電荷を繰り返し何度でも読み出すことができるため、最適なバランスを見出すことができる。

＜２．第２の実施の形態＞

ところで、上述した第１の実施の形態の固体撮像装置１０の構成は、画素１００のアナログメモリ１２２に電荷を保持して非破壊読み出しをする構成であるため、アナログメモリ１２２に電荷を保持した状態で、新たな露光によりフォトダイオード１１１に蓄積された電荷を読み出すことはできない。

そこで、第２の実施の形態の固体撮像装置２０では、図９の概要図に示すように、画素２００にて読み出される電荷として、フォトダイオード（PD）２１１に蓄積された電荷と、アナログメモリ（MEM）２２２に保持されている電荷とを切り替え可能な構成を採用する。

このような構成を採用することで、第２の実施の形態の固体撮像装置２０では、フォトダイオード部２０１のフォトダイオード２１１に蓄積された電荷を、アナログメモリ部２０２に転送してアナログメモリ２２２に保持しつつ、新たな露光によってフォトダイオード２１１に蓄積された電荷を読み出すことが可能になる（図１０）。

図１１は、第２の実施の形態の画素２００の構成の例を示している。

図１１において、画素２００は、フォトダイオード部２０１と、アナログメモリ部２０２とから構成される。フォトダイオード部２０１は、フォトダイオード２１１、リセットトランジスタ２１２、転送トランジスタ２１３、増幅トランジスタ２１４、及び選択トランジスタ２１５を含む。アナログメモリ部２０２は、転送トランジスタ２２１、アナログメモリ２２２、リセットトランジスタ２２３、増幅トランジスタ２２４、及び選択トランジスタ２２５を含む。

フォトダイオード部２０１において、フォトダイオード２１１は、その一端であるアノード電極が接地され、その他端であるカソード電極が転送トランジスタ２１３のソースに接続されている。また、フォトダイオード部２０１において、転送トランジスタ２１３のドレインは、リセットトランジスタ２１２のソースと増幅トランジスタ２１４のゲートに接続されており、この接続点が、浮遊拡散領域としてのフローティングディフュージョン２１６を構成している。

転送トランジスタ２１３は、フォトダイオード２１１とフローティングディフュージョン２１６との間に接続される。転送トランジスタ２１３のゲートには、駆動部２２（図１２又は図１４等）からの駆動信号TRG-Pが印加される。この駆動信号TRG-Pがアクティブ状態になると、転送トランジスタ２１３の転送ゲートが導通状態となり、フォトダイオード２１１に蓄積されている電荷が、フローティングディフュージョン２１６に転送される。

フローティングディフュージョン２１６は、転送トランジスタ２１３により転送された電荷を電圧信号に電荷電圧変換して、増幅トランジスタ２１４（のゲート）に出力する。

リセットトランジスタ２１２は、フローティングディフュージョン２１６と電源部との間に接続される。リセットトランジスタ２１２のゲートには、駆動部２２（図１２又は図１４等）からの駆動信号RST-Pが印加される。この駆動信号RST-Pがアクティブ状態になると、リセットトランジスタ２１２のリセットゲートが導通状態となり、フローティングディフュージョン２１６がリセットされる。

増幅トランジスタ２１４は、そのゲートがフローティングディフュージョン２１６に接続され、ドレインが電源部に接続されており、フローティングディフュージョン２１６が保持している電圧信号の読み出し回路、いわゆるソースフォロア回路の入力部となる。すなわち、増幅トランジスタ２１４は、そのソースが選択トランジスタ２１５を介して垂直信号線２３１に接続されることで、垂直信号線２３１の一端に接続される定電流回路２６１（図１２又は図１４等）とソースフォロア回路を構成する。

選択トランジスタ２１５は、増幅トランジスタ２１４のソースと垂直信号線２３１との間に接続される。選択トランジスタ２１５のゲートには、駆動部２２（図１２又は図１４等）からの駆動信号SEL-Pが印加される。この駆動信号SEL-Pがアクティブ状態になると、選択トランジスタ２１５が導通状態となり、画素２００が選択状態となる。これにより、増幅トランジスタ２１４から出力される読み出し信号（画素信号）が、選択トランジスタ２１５を介して垂直信号線２３１に出力される。

画素２００において、アナログメモリ部２０２は、図２のアナログメモリ部１０２と同様に構成される。すなわち、転送トランジスタ２２１は、フォトダイオード２１１に蓄積されている電荷を、フォトダイオード部２０１側からアナログメモリ部２０２側に転送する。転送トランジスタ２２１により転送された電荷は、アナログメモリ２２２に保持される。

そして、アナログメモリ２２２に保持される電荷は、所定のタイミングで読み出され、フローティングディフュージョン２２６により電圧信号に変換され、増幅トランジスタ２２４（のゲート）に出力される。増幅トランジスタ２２４は、フローティングディフュージョン２２６が保持している電圧信号の読み出し回路として機能し、その読み出し信号（画素信号）が、選択トランジスタ２２５を介して垂直信号線２３１に出力される。

以上のように構成される画素２００において、アナログメモリ部２０２側では、転送トランジスタ２２１とリセットトランジスタ２２３のゲートに印加される駆動信号TRG-M，RST-Mが、センサ内で共通に制御される一方で、選択トランジスタ２２５のゲートに印加される駆動信号SEL-Mが、ライン単位（行単位）で制御されることで、フォトダイオード部２０１のフォトダイオード２１１に蓄積された電荷が転送されてアナログメモリ２２２に保持されるとともに、アナログメモリ２２２に保持された電荷（に応じた画素信号）が非破壊で読み出される。

また、画素２００において、フォトダイオード部２０１側では、選択トランジスタ２１５のゲートに印加される駆動信号SEL-Pがライン単位（行単位）で制御されるが、リセットトランジスタ２１２と転送トランジスタ２１３は、シャッタ方式に応じてそのゲートに印加される駆動信号RST-P，TRG-Pが制御されることで、フォトダイオード２１１に蓄積された電荷（に応じた画素信号）が読み出される。すなわち、リセットトランジスタ２１２と転送トランジスタ２１３は、そのシャッタ方式が、グローバルシャッタ方式である場合にはセンサ単位で駆動され、ローリングシャッタ方式である場合にはライン単位で駆動される。ここでは、フォトダイオード部２０１側の選択トランジスタ２１５に印加される駆動信号SEL-Pと、アナログメモリ部２０２側の選択トランジスタ２２５に印加される駆動信号SEL-Mとが同時にアクティブ状態にならないように制御（排他制御）して、フォトダイオード２１１に蓄積された電荷と、アナログメモリ２２２に保持された電荷とが同時に読み出されないようにしている。

なお、任意の複数の画素２００ごとに、フォトダイオード部２０１側のリセットトランジスタ２１２、増幅トランジスタ２１４、及び選択トランジスタ２１５を共有してもよく、そのような共有対象の画素２００では、フォトダイオード部２０１が、フォトダイオード２１１及び転送トランジスタ２１３を含む領域２０３Ａ内の素子により構成される。また、任意の複数の画素２００ごとに、アナログメモリ部２０２側のリセットトランジスタ２２３を共有してもよく、そのような共有対象の画素２００では、アナログメモリ部２０２が、リセットトランジスタ２２３を除いた領域２０３Ｂ内の素子により構成される。

（固体撮像装置の構成の第１の例）
ところで、第２の実施の形態の固体撮像装置２０は、第１の実施の形態の固体撮像装置１０と同様に、画素２００のフォトダイオード部２０１とアナログメモリ部２０２を、画素アレイ部２１に配列した構成と、フォトダイオードアレイ部２１Ａとアナログメモリアレイ部２１Ｂに分離して配列した構成のいずれを採用してもよい。そこで、以下、それらの構成を順に説明する。

図１２は、本開示に係る技術を適用した固体撮像装置の構成の第１の例を示す図である。

図１２において、固体撮像装置２０Ａは、固体撮像装置１０Ａ（図１）と同様に、画素アレイ部２１、駆動部２２、及びカラムADC部２３を含んで構成される。画素アレイ部２１には、複数の画素２００（ｉ，ｊ）が２次元状に配列される。画素アレイ部２１に配列された複数の画素２００（ｉ，ｊ）は、駆動部２２からの駆動信号に応じて駆動されて、アナログメモリ２２２に保持された電荷、又はフォトダイオード２１１に蓄積された電荷が読み出され、垂直信号線２３１−ｊを介して、カラムADC部２３に入力される。

カラムADC部２３には、画素アレイ部２１に２次元状に配列された画素２００（ｉ，ｊ）の列ごとにADC２５１−ｊが設けられる。ADC２５１−ｊにおいては、比較器２６２によって、垂直信号線２３１−ｊからの信号電圧（Vx）と、DAC２５２からのランプ波（Ramp）の参照電圧（Vref）とが比較され、その比較結果に応じたレベルの出力信号が、カウンタ２６３によってカウントされ、そのカウント値がFF回路２５３−ｊに出力される。そして、FF回路２５３−ｊに保持されたカウント値は、順次水平出力線に転送される。

なお、固体撮像装置２０Ａにおいては、固体撮像装置１０Ａ（図１）と同様に、画素アレイ部２１とカラムADC部２３とを積層した積層構造（２層構造）を採用することができる。

図１３は、図１２の固体撮像装置２０Ａのデータフローを示している。

固体撮像装置２０Ａにおいて、画素アレイ部２１に配列された画素２００（ｉ，ｊ）では、グローバルシャッタ方式での露光（Ｅ３１）によってフォトダイオード２１１に蓄積された電荷が、フォトダイオード部２０１からアナログメモリ部２０２に転送され（Ｔ３１）、アナログメモリ２２２に保持される。

そして、画素２００（ｉ，ｊ）のアナログメモリ２２２に保持された電荷は、駆動部２２からの駆動信号に応じて非破壊で読み出され（Ｒ３１）、垂直信号線２３１−ｊを介してカラムADC部２３に入力される。

カラムADC部２３において、列ごとに配列されたADC２５１−ｊでは、画素２００（ｉ，ｊ）のアナログメモリ２２２から非破壊で読み出された信号電圧（Vx）と、DAC２５２からのランプ波の参照電圧（Vref）とが比較され、その比較結果に応じたカウントがなされることで、アナログ信号がデジタル信号に変換され、外部に出力される。

このとき、画素２００（ｉ，ｊ）では、アナログメモリ２２２に電荷を保持した状態で、新たな露光によって電荷を読み出す場合には、ローリングシャッタ方式での露光（Ｅ３２）を行い、その新たな露光によりフォトダイオード２１１に蓄積された電荷を、アナログメモリ２２２に転送せずに、フォトダイオード部２０１側から読み出すようにする（Ｒ３２）。フォトダイオード部２０１側から読み出された電荷は、垂直信号線２３１−ｊを介してカラムADC部２３（のADC２５１−ｊ）に入力され、アナログ信号からデジタル信号に変換される。

このように、固体撮像装置２０Ａにおいては、画素２００ごとにアナログメモリ２２２に保持された電荷を読み出すに際し、非破壊で読み出すため、１回の露光によってフォトダイオード２１１に蓄積された電荷であって、アナログメモリ２２２に転送されて保持されている電荷を何度でも繰り返し読み出すことができる。また、固体撮像装置２０Ａにおいては、画素２００ごとにアナログメモリ２２２に電荷を保持しつつ、ローリングシャッタ方式での新たな露光によってフォトダイオード２１１に蓄積された電荷を読み出すことができる。

（固体撮像装置の構成の第２の例）
図１４は、本開示に係る技術を適用した固体撮像装置の構成の第２の例を示す図である。

図１４において、固体撮像装置２０Ｂは、固体撮像装置１０Ｂ（図４）と同様に、フォトダイオードアレイ部２１Ａ、アナログメモリアレイ部２１Ｂ、駆動部２２、及びカラムADC部２３を含んで構成される。

すなわち、固体撮像装置２０Ｂ（図１４）は、固体撮像装置２０Ａ（図１２）と比べて、画素アレイ部２１の代わりに、複数のフォトダイオード部２０１を２次元状に配列したフォトダイオードアレイ部２１Ａと、複数のアナログメモリ部２０２を２次元状に配列したアナログメモリアレイ部２１Ｂとが積層されている。

ここで、第１の層に形成されたフォトダイオードアレイ部２１Ａにおけるフォトダイオード部２０１のフォトダイオード２１１（のカソード電極）と、第２の層に形成されたアナログメモリアレイ部２１Ｂにおけるアナログメモリ部２０２の転送トランジスタ２２１（のソース）とは、貫通ビア（VIA）を介して信号線によって接続される。

また、フォトダイオードアレイ部２１Ａにおけるフォトダイオード部２０１の選択トランジスタ２１５（のソース）は、貫通ビア（VIA）を介して垂直信号線２３１−ｊに接続される。このようにして、フォトダイオード部２０１とアナログメモリ部２０２とが積層されて画素２００（ｉ，ｊ）が構成される。

なお、図１４において、カラムADC部２３の構成は、図１２に示した構成と同様である。また、固体撮像装置２０Ｂにおいては、固体撮像装置１０Ｂ（図４）と同様に、フォトダイオードアレイ部２１Ａと、アナログメモリアレイ部２１Ｂと、カラムADC部２３とを積層した積層構造（３層構造）を採用することができる。

図１５は、図１４の固体撮像装置２０Ｂのデータフローを示している。

固体撮像装置２０Ｂにおいて、フォトダイオードアレイ部２１Ａに配列されたフォトダイオード部２０１では、グローバルシャッタ方式での露光（Ｅ４１）によってフォトダイオード２１１に蓄積された電荷が、アナログメモリアレイ部２１Ｂに配列されたアナログメモリ部２０２に転送され（Ｔ４１）、アナログメモリ２２２に保持される。

そして、画素２００（ｉ，ｊ）のアナログメモリ部２０２のアナログメモリ２２２に保持された電荷は、駆動部２２からの駆動信号に応じて非破壊で読み出され（Ｒ４１）、垂直信号線２３１−ｊを介してカラムADC部２３に入力され、AD変換がなされる。

このとき、画素２００（ｉ，ｊ）では、アナログメモリ２２２に電荷を保持した状態で、新たな露光のよって電荷を読み出す場合には、ローリングシャッタ方式での露光（Ｅ４２）が行われるようにする。そして、その新たな露光によってフォトダイオード２１１に蓄積された電荷は、駆動部２２からの駆動信号に応じて、フォトダイオード部２０１側から読み出され（Ｒ４２）、垂直信号線２３１−ｊを介してカラムADC部２３に入力され、AD変換がなされる。

このように、固体撮像装置２０Ｂにおいては、画素２００ごとにアナログメモリ２２２に保持された電荷を読み出すに際し、非破壊で読み出すため、１回の露光によってフォトダイオード２１１に蓄積された電荷であって、アナログメモリ２２２に転送されて保持されている電荷を何度でも繰り返し読み出すことができる。また、固体撮像装置２０Ｂにおいては、画素２００ごとにアナログメモリ２２２に電荷を保持しつつ、ローリングシャッタ方式での新たな露光によってフォトダイオード２１１に蓄積された電荷を読み出すことができる。

（駆動方法の例）
次に、図１６のタイミングチャートを参照しながら、第２の実施の形態の固体撮像装置２０（２０Ａ，２０Ｂ）の画素２００の駆動方法の例を説明する。なお、図１６においては、比較のために、図１６のＡに第１の実施の形態の駆動方法を示し、図１６のＢに第２の実施の形態の駆動方法を示している。

すなわち、第１の実施の形態の駆動方法の場合には、１回目の露光によってフォトダイオード１１１に蓄積された電荷を転送した後であって、２回目の露光によってフォトダイオード１１１に蓄積された電荷を転送する前の期間Ｔ１であれば、１回目の露光によってアナログメモリ１２２に保持された電荷を何度でも読み出すことができる（図１６のＡ）。ただし、この期間Ｔ１においては、新たな露光は可能であるが、フォトダイオード１１１に蓄積した電荷を読み出すことができない。

一方で、第２の実施の形態の駆動方法の場合には、１回目の露光によってフォトダイオード２１１に蓄積された電荷をアナログメモリ２２２に転送した後となる期間Ｔ２であっても、１回目の露光によってアナログメモリ２２２に電荷を保持した状態で、新たな露光（ローリングシャッタ方式での露光）によってフォトダイオード２１１に蓄積（RS蓄積）された電荷を読み出すことができる（図１６のＢ）。

例えば、固体撮像装置２０では、期間Ｔ２に、画素アレイ部２１に配列された複数の画素２００（全画素）のうち、任意の画素２００を間引いて読み出したり、あるいは、画像フレーム内の対象の領域（ROI領域）に対応した画素２００を読み出したりすることができる（図１６のＢ）。さらに、固体撮像装置２０では、期間Ｔ２に、画素２００のアナログメモリ２２２に電荷を保持した状態で、ローリングシャッタ方式での露光によってフォトダイオード２１１に蓄積（RS蓄積）された電荷を読み出すことができる。

（応用例）
図１７は、本開示に係る技術を適用した固体撮像装置を搭載したカメラ装置の処理の例を示している。

図１７において、固体撮像装置２０（２０Ａ，２０Ｂ）を搭載したカメラ装置２は、撮像画像（画像フレーム）に基づいた動画のストリーミング再生を行っている途中で、任意の画像フレームに対する処理を行うことできる。

例えば、この処理では、ローリングシャッタ方式での露光によって画素２００のフォトダイオード２１１に蓄積された電荷を読み出すことで、画像フレームが生成され、動画（左右反対方向に走っている２台の車の映像）のストリーミング再生が行われる（図１７のＡ）。ここで、２枚目の画像フレーム（図１７のＡ）の撮像時に、フォトダイオード２１１に蓄積された電荷を、画素２００のアナログメモリ２２２に転送して保持する（図１７のＢ）。これにより、画素２００ごとにアナログメモリ２２２に保持された電荷であって、２枚目の画像フレーム（図１７のＡ）に対応した電荷を非破壊で読み出すことが可能となる（図１７のＢ）。

そして、この処理では、画素２００ごとにアナログメモリ２２２に保持された電荷を非破壊で読み出すことで、２枚目の画像フレーム（図１７のＡ）に対応した撮像画像（左右反対方向に走っている２台の車の画像）が生成され、生成された撮像画像に含まれる物体（２台の車）が検出され、検出された物体を含む任意の領域のROI画像（２台の車の拡大画像）が生成される（図１７のＢ）。

なお、図１６ないし図１７の説明では、説明の都合上、固体撮像装置２０Ａ（図１２）として、画素アレイ部２１が設けられる場合を中心に説明したが、画素アレイ部２１の代わりに、フォトダイオードアレイ部２１Ａとアナログメモリアレイ部２１Ｂが設けられる固体撮像装置２０Ｂ（図１４）でも同様である。

以上、第２の実施の形態について説明した。この第２の実施の形態の固体撮像装置２０（２０Ａ，２０Ｂ）では、フォトダイオード２１１に蓄積された電荷の読み出しと、アナログメモリ２２２に保持された電荷の読み出しとを切り替え可能な画素２００を設けるようにしている。これにより、第１の露光によってフォトダイオード２１１に蓄積された電荷をアナログメモリ２２２に転送して保持しつつ、第２の露光によってフォトダイオード２１１に蓄積された電荷を読み出すことができるため、アナログメモリ２２２に保持された電荷を非破壊で繰り返し何度でも読み出すことができるだけでなく、新たな露光で得られる電荷を読み出すことができる。

すなわち、アナログメモリ２２２に保持された電荷を非破壊で読み出す機能だけであると、フレームレートに応じた一定周期で撮像する場合などにおいては、同一の露光での電荷を読み出せる期間は、その周期内に限定され、例えば物体検出の処理に時間を要してしまい、その検出結果に応じて同一の露光での電荷をさらに読み出す場合に、その間の被写体の状況を把握できずに利便性が悪くなる恐れがある。それに対し、新たな露光で得られる電荷を読み出す機能を追加することで、例えば、アナログメモリ２２２に電荷を保持するかどうかを任意に選択可能となるため、利便性を向上させることができる。

ここで、第１の露光では、例えば、グローバルシャッタ方式又はローリングシャッタ方式での露光が行われる。一方で、第２の露光では、例えば、ローリングシャッタ方式での露光が行われる。ここでは、第１の露光と第２の露光とを共に、ローリングシャッタ方式で行われるようにすることで、ローリングシャッタ歪みの観点からも、第１の露光によってアナログメモリ２２２に保持された電荷を読み出すことで得られる撮像画像と、第２の露光によってフォトダイオード２１１に蓄積された電荷を読み出すことで得られる撮像画像との画像間での同時性を向上させることができる。

また、固体撮像装置２０（２０Ａ，２０Ｂ）では、固体撮像装置１０と同様に、２次元状に配列される複数の画素２００ごとにアナログメモリ２２２に保持された電荷を非破壊で読み出すに際して、適応的に読み出すことができる。例えば、複数の画素２００ごとにアナログメモリ２２２に保持された電荷が、画像フレーム内の任意の領域（例えば全領域やROI領域等）や、駆動モード（例えば、全画素駆動や間引き駆動、画素加算読み出し駆動等）に応じて読み出されるようにすることができる。

また、例えば、露光のタイミングは、例えばフレームレートに応じた一定の周期や、トリガ信号が通知されたときなどの所定のタイミングとすることができるが、この所定のタイミングに応じて、複数の画素２００ごとにアナログメモリ１２２に保持された電荷が非破壊で読み出されるようにしてもよい。また、例えば、カラムADC部２３によるAD変換の前後の信号処理（例えばゲインやクランプ等）に応じて、複数の画素２００ごとにアナログメモリ２２２に保持された電荷を非破壊で読み出すようにしてもよい。

なお、上述した説明では、第１の露光によってアナログメモリ２２２に保持された電荷と、第２の露光によってフォトダイオード２１１に蓄積された電荷とが別々に読み出される場合を説明したが、アナログメモリ２２２に保持された電荷とフォトダイオード２１１に蓄積された電荷とを加算して読み出すようにしてもよい。また、この加算読み出し（PD＋MEM加算読み出し）を行う場合には、第１の露光と第２の露光とを同一の露光としてもよい。

また、画素２００ごとにアナログメモリ２２２に保持された電荷、又は画素２００のフォトダイオード２１１に蓄積された電荷を読み出す場合において、全画素読み出しを行ったときには、解像度をより高めることはできるが、感度は低くなる一方で、画素加算読み出しを行ったときには、解像度は低くなるが、感度をより高めることができる。さらに、間引き読み出しを行ったときには、解像度は全画素読み出しのときよりも低くなり、感度は画素加算読み出しのときよりも低くなる。

このように、解像度と感度、露光時間（回数）のバランスは読み出しの方式によっても異なるが、固体撮像装置２０（２０Ａ，２０Ｂ）では、複数の画素２００ごとにアナログメモリ２２２に保持された電荷を繰り返し何度でも読み出すとともに、新たな露光で得られる電荷を読み出すことができるため、最適なバランスを見出すことができる。

＜３．第３の実施の形態＞

ところで、従来のカメラ装置では、例えば、SN優先モード（高感度・低ノイズ優先モード）や、動き優先モード等、様々な撮影モードが用意されているが、搭載される固体撮像装置の露光と、AD変換の前後の信号処理は１回だけである。そのため、被写体によっては、その撮像画像上に白飛びや黒潰れが発生してしまう場合があった。

また、従来のカメラ装置には、WDR(Wide Dynamic Range)モード等、短時間と長時間の複数回の露光結果を合成することで、視認性を高めているものも存在するが、複数回の露光の間に被写体の変化があったとしても、既に露光した電荷量を変えることはできないため、その撮像画像上に偽色やブラーが発生する場合があるなど視認性の向上が求められていた。

そこで、第３の実施の形態の固体撮像装置３０では、画素３００内に複数のアナログメモリ３３２を設けて、各アナログメモリ３３２に保持される電荷として、１回の露光を時分割してフォトダイオード３１１に蓄積された電荷が転送されるようにし、かつ、各アナログメモリ３２２に保持された電荷が選択的に加算されて出力されるようにする（図１８ないし図２０）。

より具体的には、図１８のタイミングチャートに示すように、従来の駆動方法の場合には、１回目の露光によってフォトダイオードに蓄積された電荷が、そのまま転送されていた（図１８のＡ）。一方で、固体撮像装置３０の画素３００の駆動方法の場合には、１回の露光が時分割（例えば、Ｔ１１，Ｔ１２，Ｔ１３，Ｔ１４の４分割）され、フォトダイオード３１１に蓄積（例えば、蓄積#1，蓄積#2，蓄積#3，蓄積#4）された電荷が、順次アナログメモリ３２２−１ないし３２２−４にそれぞれ転送（例えば、転送#1，転送#2，転送#3，転送#4）される（図１８のＢ）。このようにしてアナログメモリ３２２−１ないし３２２−４にそれぞれ保持された電荷は、適宜、選択的に非破壊で読み出すことができる。

ここで、図１９には、露光量の時間的変化として、被写体の動きがない場合の光の波動（図１９のＡ）と、被写体の動きがある場合の光の波動（図１９のＢ）を示している。また、それらの光の波動に応じた画素値の積分の結果は、例えば、図１９のＣに示すようになる。図１９のＣにおいては、点線Ａが、図１９のＡの光の波動に応じた画素値の積分の結果を表し、実線Ｂが、図１９のＢの光の波動に対応した画素値の積分の結果を表している。すなわち、画素値の積分の結果としては、変化がない場合にはリニアになり、変化がある場合には変則的になるが、固体撮像装置３０では、これを検出するようにする。

すなわち、固体撮像装置３０では、１回の露光を時分割（例えば、Ｔ１１，Ｔ１２，Ｔ１３，Ｔ１４の４分割）するため、１回の露光内における電荷量の変化や飽和のタイミングを検出することが可能となる（図２０）。そのため、固体撮像装置３０では、画素３００のアナログメモリ３２２−１ないし３２２−４に保持された電荷を再度読み出す場合には、適切な電荷だけを選択的に読み出して適宜加算してから、AD変換の前後の信号処理（例えば、AGC(Auto Gain Control)等）を行うことができる（図２０）。これにより、後段の処理部では、例えば、白飛びや動きブラー、黒潰れを排除した撮像画像を生成することが可能となる。

図２１は、第３の実施の形態の画素３００の構成の第１の例を示している。

図２１において、画素３００Ａは、フォトダイオード部３０１Ａと、アナログメモリ部３０２Ａとから構成される。

フォトダイオード部３０１Ａは、フォトダイオード３１１、及びリセットトランジスタ３１２を含む。すなわち、フォトダイオード部３０１は、図２のフォトダイオード部１０１と同様に構成され、フォトダイオード３１１に蓄積されている電荷を、フォトダイオード部３０１Ａ側からアナログメモリ部３０２Ａ側に転送する。

アナログメモリ部３０２Ａは、タップ３０３−１ないし３０３−４を含んで構成される。アナログメモリ部３０２Ａにおいて、タップ３０３−１は、図２のアナログメモリ部１０２と同様に構成され、転送トランジスタ３２１−１、アナログメモリ３２２−１、リセットトランジスタ３２３−１、増幅トランジスタ３２４−１、及び選択トランジスタ３２５−１を含む。

また、図示は省略しているが、タップ３０３−２ないし３０３−４は、タップ３０３−１と同様に構成され、転送トランジスタ３２１−ｎ、アナログメモリ３２２−ｎ、リセットトランジスタ３２３−ｎ、増幅トランジスタ３２４−ｎ、及び選択トランジスタ３２５−ｎをそれぞれ含んでいる。ただし、ｎは、タップ３０３−ｎ（ｎ＝２，３，４）に対応した値とされる。

アナログメモリ部３０２Ａにおいては、駆動部３２（図２３）からの駆動信号に従い、タップ３０３−１ないし３０３−４のそれぞれに設けられた画素トランジスタが駆動することで、１回の露光を任意の数で分割（最大４分割）してフォトダイオード３１１に蓄積された電荷を、４段のタップ３０３−１ないし３０３−４のうち、任意のタップ３０３のアナログメモリ３２２に転送する。このように、アナログメモリ部３０２Ａには、４段のタップ３０３−１ないし３０３−４が設けられているため、１回の露光を時分割して得られる電荷を順次、アナログメモリ３２２−１ないし３２２−４のいずれかに保持することができる。

また、アナログメモリ部３０２Ａにおいては、駆動部３２（図２３）からの駆動信号に従い、タップ３０３−１ないし３０３−４のそれぞれに設けられた画素トランジスタが駆動することで、４段のタップ３０３−１ないし３０３−４のアナログメモリ３２２−１ないし３２２−４に保持された電荷が選択的に読み出される。そして、アナログメモリ３２２−１ないし３２２−４から選択的に読み出された電荷（に応じた画素信号）は、必要に応じて画素加算ポイント３０４で加算（アナログ加算）され、垂直信号線３３１に出力される。

なお、画素３００Ａにおいて、リセットトランジスタ３１２と、転送トランジスタ３２１−１ないし３２１−４と、リセットトランジスタ３２３−１ないし３２３−４のゲートに印加される駆動信号RST-P，TRG-M，RST-Mは、センサ内で共通に（センサ単位で）制御される一方で、選択トランジスタ３２５−１ないし３２５−４のゲートに印加される駆動信号SEL-Mは、ライン単位（行単位）で制御される。また、任意の複数の画素３００ごとに、アナログメモリ部３０２Ａのリセットトランジスタ３２３が共有されるようにしてもよい。

また、画素３００Ａにおいては、４段のタップ３０３−１ないし３０３−４を含むアナログメモリ部３０２Ａの構成を示したが、タップ３０３の段数は任意であり、例えば、６段や８段等からなるタップ３０３を含むようにしてもよい。すなわち、画素３００Ａ内のアナログメモリ３２２の数と各容量（電荷を蓄える量）は、任意である。例えば、画素３００Ａ内で、全てのアナログメモリ３２２が同一の容量であってもよし、あるいはアナログメモリ３２２ごとに容量が異なるようにしてもよい。

さらに、固体撮像装置３０は、固体撮像装置１０と同様に、画素３００Ａのフォトダイオード部３０１Ａとアナログメモリ部３０２Ａを、画素アレイ部３１（１１）に配列した構成と、フォトダイオードアレイ部３１Ａ（１１Ａ）とアナログメモリアレイ部３１Ｂ（１１Ｂ）に分離して配列した構成のいずれを採用してもよい。すなわち、前者の構成の場合には、固体撮像装置３０Ａは、図１に示した構成を有し、図３に示したデータフローによって転送や読み出しが行われる。また、後者の構成の場合には、固体撮像装置３０Ｂは、図４に示した構成を有し、図５に示したデータフローによって転送や読み出しが行われる。

図２２は、第３の実施の形態の画素３００の構成の第２の例を示している。

図２２において、画素３００Ｂは、フォトダイオード部３０１Ｂと、アナログメモリ部３０２Ｂとから構成される。

フォトダイオード部３０１Ｂは、フォトダイオード３１１、リセットトランジスタ３１２、転送トランジスタ３１３、増幅トランジスタ３１４、及び選択トランジスタ３１５を含む。すなわち、フォトダイオード部３０１Ｂは、図１１のフォトダイオード部２０１と同様に構成され、フォトダイオード３１１に蓄積された電荷は、フォトダイオード部３０１Ｂ側からアナログメモリ部３０２Ｂ側に転送されるだけでなく、フォトダイオード部３０１Ｂ側から垂直信号線３３１に直接出力することができる。

アナログメモリ部３０２Ｂは、図２１のアナログメモリ部３０２Ａと同様に、タップ３０３−１ないし３０３−４を含んで構成される。すなわち、アナログメモリ部３０２Ｂにおいて、タップ３０３−１は、図１１のアナログメモリ部２０２と同様に構成され、転送トランジスタ３２１−１、アナログメモリ３２２−１、リセットトランジスタ３２３−１、増幅トランジスタ３２４−１、及び選択トランジスタ３２５−１を含む。また、図示は省略しているが、タップ３０３−２ないし３０３−４は、タップ３０３−１と同様に構成される。

アナログメモリ部３０２Ｂにおいては、駆動部３２（図２３）からの駆動信号に従い、タップ３０３−１ないし３０３−４のそれぞれに設けられた画素トランジスタが駆動され、１回の露光を任意の数で分割（最大４分割）して得られる電荷が、任意のタップ３０３のアナログメモリ３２２に転送されて保持される。そして、アナログメモリ部３０２Ｂでは、駆動部３２（図２３）からの駆動信号に従い、アナログメモリ３２２−１ないし３２２−４に保持された電荷が選択的に読み出され、必要に応じて画素加算ポイント３０４で加算（アナログ加算）されて出力される。

なお、画素３００Ｂにおいて、フォトダイオード部３０１Ｂ側では、選択トランジスタ３１５のゲートに印加される駆動信号SEL-Pは、ライン単位（行単位）で制御されるが、リセットトランジスタ３１２と転送トランジスタ３１３は、シャッタ方式に応じてそのゲートに印加される駆動信号RST-P，TRG-Pが制御されることで、フォトダイオード２１１に蓄積された電荷（に応じた画素信号）が読み出される。すなわち、リセットトランジスタ３１２と転送トランジスタ３１３は、グローバルシャッタ方式の場合にはセンサ単位で駆動され、ローリングシャッタ方式の場合にはライン単位で駆動される。また、任意の複数の画素３００ごとに、フォトダイオード部３０１Ｂ側では、リセットトランジスタ３１２と、転送トランジスタ３１３と、選択トランジスタ３１５が共有されるようにしてもよい（領域３０３Ｂ）。

また、画素３００Ｂのアナログメモリ部３０２Ｂにおいては、画素３００Ａのアナログメモリ部３０２Ａと同様に、任意の段数のタップ３０３を設けることができる。すなわち、画素３００Ｂ内のアナログメモリ３２２の数と各容量（電荷を蓄える量）は、任意である。

さらに、固体撮像装置３０は、固体撮像装置２０と同様に、画素３００Ｂのフォトダイオード部３０１Ｂとアナログメモリ部３０２Ｂを、画素アレイ部３１（２１）に配列した構成と、フォトダイオードアレイ部３１Ａ（２１Ａ）とアナログメモリアレイ部３１Ｂ（２１Ｂ）に分離して配列した構成のいずれを採用してもよい。すなわち、前者の構成の場合には、固体撮像装置３０Ａは、図１２に示した構成を有し、図１３に示したデータフローによって転送や読み出しが行われる。また、後者の構成の場合には、固体撮像装置３０Ｂは、図１４に示した構成を有し、図１５に示したデータフローによって転送や読み出しが行われる。

（固体撮像装置の構成の例）
図２３は、本開示に係る技術を適用した固体撮像装置の構成の例を示す図である。

図２３において、固体撮像装置３０Ａは、画素アレイ部３１、駆動部３２、カラムADC部３３、FIFO３４，デジタル処理部３５、及びレジスタ３６を含んで構成される。画素アレイ部３１には、複数の画素３００（図２１の画素３００Ａ又は図２２の画素３００Ｂ）が２次元状に配列される。

ここで、画素３００（ｉ，ｊ）においては、１回の露光を任意の数で分割することで、フォトダイオード３１１に蓄積された電荷を、アナログメモリ部３０２内の４段のタップ３０３−１ないし３０３−４のうち、任意のタップ３０３のアナログメモリ３２２（少なくとも１以上のアナログメモリ３２２）に転送することができる。ここでは、最大分割数を４分割とし、分割した露光時間（例えば1H単位）と、転送先のアナログメモリ３２２を識別する情報（例えばタップ番号）とが設定される。

例えば、１回の露光を１分割する場合（露光を分割しない場合）には、露光時間として１回の露光時間Ｔ１が設定され、さらにその露光での電荷の転送先としてタップ３０３−１のアナログメモリ３２２−１（TAP#1）が設定される。このような設定が行われることで、露光時間Ｔ１において、１回の露光によってフォトダイオード３１１に蓄積された電荷を、アナログメモリ３２２−１（TAP#1）に転送することができる（図２４のＡ）。

また、例えば、１回の露光を４分割する場合には、分割された各露光期間（Ｔ１１，Ｔ１２，Ｔ１３，Ｔ１４）がそれぞれ設定され、それらの露光での転送先としてタップ３０３−１ないし３０３−４のアナログメモリ３２２−１ないし３２２−４（TAP#1，TAP#2，TAP#3，TAP#4）がそれぞれ設定される。このような設定が行われることで、１回の露光が４分割され、露光時間Ｔ１１にてフォトダイオード３１１に蓄積された電荷を、アナログメモリ３２２−１（TAP#1）に転送することができる（図２４のＢの「蓄積#1」、「転送#1」）。

同様に、露光時間Ｔ１２において、フォトダイオード３１１に蓄積された電荷は、アナログメモリ３２２−２（TAP#2）に転送され（図２４のＢの「蓄積#2」、「転送#2」）、露光時間Ｔ１３において、フォトダイオード３１１に蓄積された電荷は、アナログメモリ３２２−３（TAP#3）に転送され（図２４のＢの「蓄積#3」、「転送#3」）、露光時間Ｔ１４において、フォトダイオード３１１に蓄積された電荷は、アナログメモリ３２２−４（TAP#4）に転送される（図２４のＢの「蓄積#4」、「転送#4」）。

このように、固体撮像装置３０Ａでは、１回の露光を時分割する時分割露光によって、フォトダイオード３１１に蓄積された電荷を順次、任意のタップ３０３のアナログメモリ３２２に転送することができる。そして、任意のタップ３０３のアナログメモリ３２２に保持された電荷は選択的に読み出され（非破壊で読み出され）、必要に応じて加算される。

例えば、図２５に示すように、１回の露光を４分割した場合、４段のタップ３０３のアナログメモリ３２２−１ないし３２２−４には、フォトダイオード３１１から転送された電荷がそれぞれ保持されている。このとき、アナログメモリ３２２−１ないし３２２−４に保持された電荷を読み出すに際しては、任意のアナログメモリ３２２を選択可能である。また、複数のアナログメモリ３２２を選択した場合には、複数のアナログメモリ３２２から選択的に読み出した電荷を、アナログ加算（画素加算）することができる。

また、ここでは、アナログメモリ３２２に保持された電荷を読み出してAD変換する回数（例えば最大４回）、同時に読み出すアナログメモリ３２２の数（例えば４つであるメモリ数など）、及び同時に読み出すアナログメモリ３２２を識別する情報（例えばタップ番号）などが設定される。なお、同時に読み出すメモリ数として２以上が設定された場合には、読み出した電荷がアナログ加算（画素加算）される。また、この例の場合には、４段のタップ３０３が設けられているため、同時に読み出し可能なメモリ数は、最大で３つとされる。また、これらの設定情報は、回数分だけ設定される。

より具体的には、図２６に示すように、読み出し回数として４回が設定され、１回目の読み出しで、同時に読み出すメモリ数が４つで、かつ、同時に読み出すメモリとしてTAP#1，TAP#2，TAP#3，TAP#4が設定された場合、タップ３０３−１ないし３０３−４のアナログメモリ３２２−１ないし３２２−４から電荷がそれぞれ読み出され、アナログ加算される（図２６のＡ）。

また、２回目の読み出しでは、同時に読み出すメモリ数が２つで、かつ、同時に読み出すメモリとしてTAP#1，TAP#2が設定された場合、アナログメモリ３２２−１，３２２−２から電荷がそれぞれ読み出されてアナログ加算される（図２６のＢ）。さらに、３回目の読み出しでは、同時に読み出すメモリ数が２つで、かつ、同時に読み出すメモリとしてTAP#3，TAP#4が設定された場合、アナログメモリ３２２−３，３２２−４から電荷がそれぞれ読み出されてアナログ加算される（図２６のＣ）。また、４回目の読み出しでは、同時に読み出すメモリ数が１つ（TAP#4）に設定された場合、アナログメモリ３２２−４から電荷が読み出される（図２６のＤ）。

また、固体撮像装置３０Ａでは、デジタル処理部３５によって、カラムADC部３３によるAD変換後のデジタル信号を処理する際に、同一の画素３００から異なるタイミングで非破壊読み出しされた電荷のAD変換後のデジタル信号をデジタル加算することができる。

デジタル処理部３５においては、加算部３７１によって、カラムADC部３３から入力されるデジタル信号（画素３００の現在のデジタル信号）と、FIFO３４から入力されるデジタル信号（同一の画素３００の過去のデジタル信号）とがデジタル加算される（図２７）。ただし、デジタル処理部３５においては、スイッチ３７２を切り替えることで、カラムADC部３３からのデジタル信号を、FIFO３４からのデジタル信号と加算して出力するか、あるいは加算せずにそのまま出力するかを選択することができる（図２７）。

また、ここでは、AD変換後のデジタル信号をデジタル加算する回数のほか、各種の加算条件を設定することができる。なお、デジタル加算の回数として０回が設定された場合には、デジタル加算は行われないことになる。

より具体的には、例えば、１回の露光を４分割した場合に、タップ３０３−１ないし３０３−４のアナログメモリ３２２−１ないし３２２−４（TAP#1，TAP#2，TAP#3，TAP#4）に、フォトダイオード３１１から転送された電荷がそれぞれ保持されている場合に、デジタル加算の回数として３回が設定された場合を想定する。この場合、図２８に示すように、カラムADC部３３によって、アナログメモリ３２２−１（TAP#1）から非破壊で読み出された電荷がAD変換され、デジタル処理部３５に出力されるとともに、FIFO３４に保持される。

続いて、アナログメモリ３２２−２（TAP#2）から非破壊で読み出された電荷がAD変換され、デジタル処理部３５に出力される。このとき、デジタル処理部３５では、加算部３７１によって、AD変換後のデジタル信号（TAP#2）と、FIFO３４に保持されたデジタル信号（TAP#1）とがデジタル加算される。ここで得られるデジタル加算信号（#1+#2）は、FIFO３４に保持される。

次に、アナログメモリ３２２−３（TAP#3）から非破壊で読み出された電荷がAD変換され、デジタル処理部３５に出力される。このとき、デジタル処理部３５では、加算部３７１によって、AD変換後のデジタル信号（TAP#3）と、FIFO３４に保持されたデジタル加算信号（#1+#2）とがデジタル加算される。ここで得られるデジタル加算信号（#1+#2+#3）は、FIFO３４に保持される。

次に、アナログメモリ３２２−４（TAP#4）から非破壊で読み出された電荷がAD変換され、デジタル処理部３５に出力される。このとき、デジタル処理部３５では、加算部３７１によって、AD変換後のデジタル信号（TAP#4）と、FIFO３４に保持されたデジタル加算信号（#1+#2+#3）とがデジタル加算される。ここで得られるデジタル加算信号（#1+#2+#3+#4）は、FIFO３４に保持されるとともに、撮像データとして、後段に出力される。

固体撮像装置３０Ａは、以上のように構成される。なお、固体撮像装置３０Ａにおいては、外部の制御部（後述の図３７のCPU１００１）とのシリアル通信によって各種のデータ（例えば設定情報等）をレジスタ３６に記憶することができる。駆動部３２及びデジタル処理部３５は、レジスタ３６に記憶された各種のデータを適宜読み出して、処理を行うことができる。

次に、図２９ないし図３１を参照しながら、図２３の固体撮像装置３０Ａのデータフローについて説明する。

固体撮像装置３０Ａ（図２９）において、画素アレイ部３１に配列された画素３００（ｉ，ｊ）では、グローバルシャッタ方式での露光（Ｅ５１）によってフォトダイオード３１１に蓄積された電荷が、フォトダイオード部３０１Ａからアナログメモリ部３０２Ａに転送され（Ｔ５１）、アナログメモリ３２２−１ないし３２２−４にそれぞれ保持される。

ここで、露光に際しては、各画素３００内の転送回路（転送トランジスタ３２１等の画素トランジスタを含む）が、駆動部３２によって制御される（Ｃ５１）。

例えば、フレームレートモードの場合には、XVS信号の立ち下がりに対し、あらかじめ設定された時間の前から露光を開始し（Ｅ５１）、露光の開始からあらかじめ設定された時間を経過した後に、あらかじめ設定されたアナログメモリ３２２に対して当該露光で得られる電荷を転送する（Ｔ５１）。

なお、時分割露光を行う場合には、あらかじめ設定された分割数（例えば４分割）分だけ、この処理を繰り返すことになる。また、例えば、トリガモードの場合には、XTRG信号の立ち下がりによって、露光を開始し（Ｅ５１）、XTRG信号の立ち上がりによって、あらかじめ設定されたアナログメモリ３２２に対して当該露光で得られる電荷を転送する（Ｔ５１）。

次に、固体撮像装置３０Ａ（図３０）において、画素３００（ｉ，ｊ）のアナログメモリ３２２−１ないし３２２−４に保持された電荷が非破壊で読み出され（Ｒ５１）、垂直信号線３３１−ｊを介してカラムADC部３３に入力される。

ここで、非破壊読み出しに際しては、画素アレイ部３１に配列された画素３００の各行と、各画素３００内の読み出し回路（選択トランジスタ３２５等の画素トランジスタを含む）が、駆動部３２によって制御される（Ｃ５２）。

例えば、あらかじめ設定された画素読出モードに従い、画素アレイ部３１上をラスタスキャンするように、画素３００の各行を選択し、かつ、各画素３００内のあらかじめ設定された任意のタップ３０３のアナログメモリ３２２を選択して、対象のアナログメモリ３２２に保持された電荷が非破壊で読み出されるようにする（Ｒ５１）。

なお、同時に読み出すメモリ数として複数を設定した場合には、複数のアナログメモリ３２２から読み出された電荷がアナログ加算される。また、読み出し回数として、複数回を設定した場合には、設定された回数だけこの処理を繰り返し、次の行に制御対象を移す。

次に、固体撮像装置３０Ａ（図３１）において、カラムADC部３３によってAD変換されたデジタル信号は、デジタル処理部３５に入力され、デジタル信号処理が行われる。ここで、AD変換とデジタル信号処理に際しては、カラムADC部３３と、FIFO３４と、デジタル処理部３５とが、駆動部３２によって制御される（Ｃ５３）

例えば、カラムADC部３３では、画素アレイ部３１から垂直信号線３３１−ｊを介して行ごとに転送されるアナログ信号を、あらかじめ設定された設定値に従い、アナログゲインを含めてデジタル信号に変換し、それを順次、デジタル処理部３５に水平転送する（Ｔ５２）。そして、デジタル処理部３５においては、水平転送されたデジタル信号に対し、あらかじめ設定された設定値やデジタル加算モードに従い、例えばデジタルゲインの乗算や、FIFO３４への入力選択と転送、及び出力選択など、順次処理がなされ、後段に出力される（Ｏ５１）。

（具体的な動作）
次に、図３２及び図３３のタイミングチャートを参照して、固体撮像装置３０Ａのより具体的な動作を説明する。

図３２において、固体撮像装置３０Ａは、フレームレートモードで動作しており、フレームレート単位での露光が行われる。すなわち、フレーム基準信号（XVS）に応じて所定の時刻から露光が開始され、露光開始から所定の時間を経過した後に、あらかじめ設定されたアナログメモリ３２２に対して露光で得られる電荷が転送される。

図３２の例においては、露光での転送先として、アナログメモリ３２２−１ないし３２２−４（TAP#1，TAP#2，TAP#3，TAP#4）がそれぞれ設定されている。ここで、時刻ｔ１１ないしｔ１２の間に、ｎフレームの露光が行われたとき、時刻ｔ１２から時刻ｔ１６までの間、ｎフレーム（の電荷）がアナログメモリ３２２−１（TAP#1）に保持される。

同様にして、時刻ｔ１２ないしｔ１３の間にてｎ＋１フレームの露光が行われたとき、その直後の時刻ｔ１３から、アナログメモリ３２２−２（TAP#2）ではｎ＋１フレーム（の電荷）の保持が開始される。続いて、時刻ｔ１３ないしｔ１４の間にてｎ＋２フレームの露光が行われたとき、その直後の時刻ｔ１４から、アナログメモリ３２２−３（TAP#3）ではｎ＋２フレーム（の電荷）の保持が開始される。さらに続いて、時刻ｔ１４ないしｔ１５の間にてｎ＋３フレームの露光が行われたとき、その直後の時刻ｔ１５から、アナログメモリ３２２−４（TAP#4）ではｎ＋３フレーム（の電荷）の保持が開始される。

このようにして、アナログメモリ３２２−１ないし３２２−４では、フォトダイオード３１１からフレーム単位で順次転送されてくる電荷が、フレームごとに保持される。そして、アナログメモリ３２２−１ないし３２２−４にそれぞれ保持された電荷は選択的に、非破壊で読み出される。

図３２の例では、アナログメモリ３２２の読み出しの領域に記された太線が、電荷の読み出しを表しており、アナログメモリ３２２−１ないし３２２−４（TAP#1，TAP#2，TAP#3，TAP#4）では、フレーム（の電荷）が保持されたタイミングで、その電荷の読み出しを行っている。一方で、アナログメモリ３２２−１（TAP#1）においては、通常の読み出しのほかに、保持しているnフレーム（の電荷）に対して、間引き読み出し（領域Ａ１内の太線）や、任意の領域の後から読み出し（領域Ａ２内の太線）が行われている。

一方で、図３３において、固体撮像装置３０Ａは、フレームレートモードで動作しているが、時分割露光がなされ、１回の露光が４分割されている。すなわち、フレーム基準信号（XVS）に応じて所定の時刻から露光が開始され、４分割された露光時間ごとに、あらかじめ設定されたアナログメモリ３２２に対して露光で得られる電荷が転送される。

図３３の例においても、露光での転送先として、アナログメモリ３２２−１ないし３２２−４（TAP#1，TAP#2，TAP#3，TAP#4）がそれぞれ設定されている。ここで、時刻ｔ２１ないしｔ２２の間に、ｎフレームの時分割露光が行われたとき、その直後の時刻ｔ２２から、アナログメモリ３２２−１（TAP#1）では、ｎフレーム（の電荷）が保持される。

同様にして、時刻ｔ２２ないしｔ２３の間にてｎフレームの時分割露光が行われたとき、その直後の時刻ｔ２３から、アナログメモリ３２２−２（TAP#2）ではｎフレーム（の電荷）の保持が開始される。続いて、時刻ｔ２３ないしｔ２４の間にてｎフレームの時分割露光が行われたとき、その直後の時刻ｔ２４から、アナログメモリ３２２−３（TAP#3）ではｎフレーム（の電荷）の保持が開始される。さらに続いて、時刻ｔ２４ないしｔ２５の間にてｎフレームの時分割露光が行われたとき、その直後の時刻ｔ２５から、アナログメモリ３２２−４（TAP#4）ではｎフレーム（の電荷）の保持が開始される。

このようにして、アナログメモリ３２２−１ないし３２２−４では、時分割露光によってフォトダイオード３１１から順次転送されてくる電荷が、フレームごとに保持される。そして、アナログメモリ３２２−１ないし３２２−１にそれぞれ保持された電荷は選択的に、非破壊で読み出される。

図３３の例では、時分割露光によってアナログメモリ３２２−１ないし３２２−４にそれぞれ保持されているｎフレーム（の電荷）に対して、間引き読み出し（領域Ａ３内の太線）や、画素加算読み出し（領域Ａ４内の太線）が行われている。

（応用例）
ここで、固体撮像装置３０Ａでは、時分割露光によって１回の露光を４分割する場合、４分割した露光の組み合わせによって、所望の露光時間に合成する制御を行うことが可能となる。例えば、図３４に示すように、１回の露光を４分割して分割した各露光を、露光Ｅ１、露光Ｅ２、露光Ｅ３、露光Ｅ４と定義した場合に、各露光時間を、露光Ｅ１＝1msec，露光Ｅ２＝2msec，露光Ｅ３＝4msec，露光Ｅ４＝8msecと設定したときを想定する。

この場合において、各露光（Ｅ１、Ｅ２、Ｅ３、Ｅ４）の組み合わせによって、所望の露光時間に合成するとすれば、例えば、図３５に示すようになる。すなわち、図３５において、合成対象が露光Ｅ１のみの場合、合成露光時間は、Ｅ１＝1msecとされる。同様にまた、合成対象が露光Ｅ２、露光Ｅ３、露光Ｅ４のみの場合には、合成露光時間はそれぞれ、Ｅ２＝2msec，Ｅ３＝4msec，Ｅ４＝8msecとされる。

また、図３５において、合成対象が露光Ｅ１と露光Ｅ２である場合、合成露光時間は、Ｅ１＋Ｅ２＝3msecとされる。さらに、合成対象が露光Ｅ１と露光Ｅ３である場合、合成露光時間は、Ｅ１＋Ｅ３＝5msecとされる。また、合成対象が露光Ｅ１と露光Ｅ４である場合、合成露光時間は、Ｅ１＋Ｅ４＝9msecとされる。同様にして、合成対象が、露光Ｅ２と露光Ｅ３、露光Ｅ２と露光Ｅ４、露光Ｅ３と露光Ｅ４である場合には、合成露光時間はそれぞれ、Ｅ２＋Ｅ３＝6msec，Ｅ２＋Ｅ４＝10msec，Ｅ３＋Ｅ４＝12msecとされる。

さらに、図３５において、合成対象が露光Ｅ１と露光Ｅ２と露光Ｅ３である場合、合成露光時間は、Ｅ１＋Ｅ２＋Ｅ３＝7msecとされる。同様にして、合成対象が、露光Ｅ１と露光Ｅ２と露光Ｅ４、露光Ｅ１と露光Ｅ３と露光Ｅ４、露光Ｅ２と露光Ｅ３と露光Ｅ４である場合には、合成露光時間は、Ｅ１＋Ｅ２＋Ｅ４＝11msec，Ｅ１＋Ｅ３＋Ｅ４＝13msec，Ｅ２＋Ｅ３＋Ｅ４＝14msecとされる。さらにまた、図３４において、合成対象が露光Ｅ１と露光Ｅ２と露光Ｅ３と露光Ｅ４である場合、合成露光時間は、Ｅ１＋Ｅ２＋Ｅ３＋Ｅ４＝15msecとされる。

このように、図３５においては、各露光（Ｅ１、Ｅ２、Ｅ３、Ｅ４）の組み合わせによって、1〜15msecの間を、1msec単位で１５段階の露光時間が合成可能とされる。これにより、固体撮像装置３０Ａでは、時分割露光（例えば４分割露光）と画素加算（アナログ加算）によって、適切な露光時間に応じた再露光制御を行うことが可能となる。

図３６は、本開示に係る技術を適用した固体撮像装置を搭載したカメラ装置の処理の例を示している。

図３６において、固体撮像装置３０（３０Ａ，３０Ｂ）を搭載したカメラ装置３は、時分割露光と画素加算によって、図３４及び図３５に示した露光時間に応じた再露光制御を行うことができる。

例えば、この再露光制御では、１回の露光を時分割（図３４の露光Ｅ１、Ｅ２、Ｅ３、Ｅ４の４分割）して得られる電荷がアナログメモリ３２２−１ないし３２２−４に転送されて保持されるため、そこから電荷を適宜読み出すことで、例えば１回の露光内における電荷量の変化や飽和のタイミング等を検出して時分割露光状態の解析が行われる（図３６のＡ）。

そして、この再露光制御では、時分割露光状態の解析結果に基づき、例えば、図３５に示した合成露光時間の中から最も適切な露光時間を選択（再露光量選択）し、アナログメモリ３２２−１ないし３２２−４に保持されている電荷から、適切な露光時間に応じた電荷を選択的に（適応的に）読み出して、適宜加算してから、AD変換の前後の信号処理（例えばアナログゲインをかけるなど）を行うことができる（図３６のＢ）。これにより、いわば過去に遡ることが可能となって、後段の処理部では、例えば、白飛びや動きブラー、黒潰れなどを排除した撮像画像を生成することが可能となる（図３６のＡ，Ｂ）。

なお、図２３ないし図３６の説明では、説明の都合上、固体撮像装置３０Ａ（図２３）として、画素アレイ部３１が設けられる場合を中心に説明したが、画素アレイ部３１の代わりに、フォトダイオードアレイ部３１Ａとアナログメモリアレイ部３１Ｂが設けられる固体撮像装置３０Ｂでも同様である。

ただし、固体撮像装置３０Ｂの構成は、特に図示はしていないが、積層されるフォトダイオードアレイ部３１Ａとアナログメモリアレイ部３１Ｂに、画素３００Ａ（図２１）を配列する場合には、図４の固体撮像装置１０Ｂに対応した構成となり、画素３００Ｂ（図２２）を配列する場合には、図１４の固体撮像装置２０Ｂに対応した構成となる。

以上、第３の実施の形態について説明した。この第３の実施の形態の固体撮像装置３０（３０Ａ，３０Ｂ）では、フォトダイオード３１１と複数のアナログメモリ３２２を有する画素３００を設けて、フォトダイオード３１１に蓄積された電荷を転送して、複数のアナログメモリ３２２のいずれかに保持し、そこから電荷を読み出す場合には、１又は複数のアナログメモリ３２２を選択し、必要に応じて加算して読み出すようにする。これにより、上述した再露光制御などの処理が可能となって、例えば撮像画像上に発生する偽色や動きブラーなどの現象を抑制し、視認性を向上させることができる。

また、固体撮像装置３０（３０Ａ，３０Ｂ）では、１回の露光を時分割し、順次画素３００内の各アナログメモリ３２２にフォトダイオード３１１からの電荷を転送することができる。このとき、１回の露光で時分割する数と、それらの各時間間隔は、任意である。例えば、時分割した各時間間隔は、全てが同一の時間であってもよいし、個別に時間が異なっていてもよい。

さらに、固体撮像装置３０（３０Ａ，３０Ｂ）では、２次元状に配列される複数の画素３００ごとに１又は複数のアナログメモリ２２２に保持された電荷を非破壊で読み出すに際して、適応的に読み出すことができる。例えば、複数の画素３００ごとに１又は複数のアナログメモリ２２２に保持された電荷が、画像フレーム内の任意の領域（例えば全領域やROI領域等）や、駆動モード（例えば、全画素駆動や間引き駆動、画素加算読み出し駆動等）に応じて読み出されるようにすることができる。

また、例えば、露光のタイミングは、例えばフレームレートに応じた一定の周期や、トリガ信号が通知されたときなどの所定のタイミングとすることができるが、この所定のタイミングに応じて、画素３００ごとに１又は複数のアナログメモリ１２２に保持された電荷が非破壊で読み出されるようにしてもよい。また、例えば、カラムADC部３３によるAD変換の前後の信号処理（例えばゲインやクランプ等）に応じて、画素３００ごとに１又は複数のアナログメモリ３２２に保持された電荷を非破壊で読み出すようにしてもよい。

＜４．第４の実施の形態＞

（電子機器の構成）
図３７は、本開示に係る技術を適用した固体撮像装置を搭載した電子機器の構成の例を示す図である。

図３７の電子機器１０００は、例えば、デジタルスチルカメラやビデオカメラ等の撮像装置や、スマートフォンやタブレット型端末等の携帯端末装置などの撮像機能を有する機器である。なお、電子機器１０００は、上述したカメラ装置１（図７）、カメラ装置２（図１７）、及びカメラ装置３（図３６）に相当するとも言える。

図３７において、電子機器１０００は、CPU(Central Processing Unit)１００１、レンズ駆動部１００２、レンズ１００３、固体撮像装置１００４、バス１００５、不揮発性メモリ１００６、内蔵メモリ１００７、脱着メモリ１００８、物体検出部１００９、物体認識部１０１０、画像処理部１０１１、表示駆動制御部１０１２、及び表示部１０１３から構成される。

また、電子機器１０００において、CPU１００１と、不揮発性メモリ１００６ないし表示駆動制御部１０１２は、バス１００５を介して相互に接続されている。なお、CPU１００１は、固体撮像装置１００４との間でシリアル通信を行う。

CPU１００１は、各種の演算処理や各部の動作制御など、電子機器１０００における中心的な処理装置として動作する。

レンズ駆動部１００２は、例えばモータやアクチュエータ等から構成され、CPU１００１からの制御に従い、レンズ１００３を駆動する。レンズ１００３は、例えばズームレンズやフォーカスレンズ等から構成され、被写体からの光を集光する。レンズ１００３により集光された光（像光）は、固体撮像装置１００４に入射される。

固体撮像装置１００４は、例えば、上述した固体撮像装置１０，２０，３０など、本開示に係る技術を適用した固体撮像装置（固体撮像素子）である。固体撮像装置１００４は、CPU１００１からの制御に従い、レンズ１００３を介して受光した光（被写体光）を電気信号に光電変換してAD変換などの処理を行い、その処理の結果得られる撮像データを、CPU１００１に供給する。

CPU１００１は、固体撮像装置１００４からの撮像データに基づいて、レンズ駆動部１００２を制御する。また、CPU１００１は、固体撮像装置１００４からの撮像データを、バス１００５に接続された各部に供給する。

不揮発性メモリ１００６は、例えばROM(Read Only Memory)やフラッシュメモリ等から構成され、CPU１００１等からのデータを記憶する。内蔵メモリ１００７は、例えばRAM(Random Access Memory)やROM等の機器に搭載された記憶装置である。脱着メモリ１００８は、例えばメモリカード等の機器に挿入又は接続する方式の記憶装置である。内蔵メモリ１００７と脱着メモリ１００８は、CPU１００１からの制御に従い、画像処理部１０１１からの画像データ等のデータを記憶する。

物体検出部１００９は、例えば画像処理LSI(Large Scale Integration)等の信号処理回路から構成される。物体検出部１００９は、画像処理部１０１１からの画像処理の結果に基づいて、物体検出処理（例えば、人、顔、車等の検出）を行い、その物体検出処理の結果を、物体認識部１０１０に供給する。

物体認識部１０１０は、例えば画像処理LSI等の信号処理回路から構成される。なお、物体認識部１０１０は、物体検出部１００９と同一の信号処理回路から構成されるようにしてもよい。物体認識部１０１０は、物体検出部１００９からの物体検出処理の結果に基づいて、物体認識処理（例えば、人の顔（個人）や車の車種等の個別の識別）を行い、その物体認識処理の結果を、CPU１００１等に供給する。

画像処理部１０１１は、例えばDSP(Digital Signal Processor)等の信号処理回路から構成される。画像処理部１０１１は、固体撮像装置１００４からの撮像データに対し、カメラ信号処理や前処理などの画像処理を行う。

ここで、カメラ信号処理としては、例えば、ホワイトバランス処理や補間処理、ノイズ除去処理などの処理を含む。また、前処理としては、例えば、画像の縮小や切り出しなどの処理を含む。なお、画像処理部１０１１は、物体検出部１００９及び物体認識部１０１０と同一の信号処理回路から構成されるようにしてもよい。

画像処理部１０１１は、画像処理の結果を、物体検出部１００９に供給する。また、画像処理部１０１１は、画像処理の結果得られる静止画又は動画の画像データを、内蔵メモリ１００７若しくは脱着メモリ１００８、又は表示駆動制御部１０１２に供給する。

表示駆動制御部１０１２は、CPU１００１からの制御に従い、画像処理部１０１１からの画像データ等のデータを処理し、静止画や動画、所定の画面等の情報を、表示部１０１３に表示する制御を行う。表示部１０１３は、例えば、LCD(Liquid Crystal Display)やOLED(Organic Light Emitting Diode)等のディスプレイから構成され、表示駆動制御部１０１２からの制御に従い、静止画や動画、所定の画面等の情報を表示する。

なお、表示部１０１３は、タッチパネルとして構成して、ユーザの操作に応じた操作信号が、CPU１００１に供給されるようにしてもよい。また、タッチパネルに限らず、物理的なボタン等の操作部を設けて、ユーザの操作を受け付けるようにしてもよい。さらに、電子機器１０００においては、所定の通信方式に対応した通信モジュール等の通信部を設けて、無線通信又は有線通信よって、外部の機器との間でデータのやりとりを行うようにしてもよい。

電子機器１０００は、以上のように構成される。

本開示に係る技術は、上述したように、固体撮像装置１００４に適用される。具体的には、固体撮像装置１０，２０，３０は、固体撮像装置１００４に適用することができる。固体撮像装置１０（２０，３０）の固体撮像装置１００４に本開示に係る技術を適用することで、画素１００（２００，３００）のフォトダイオード１１１（２１１）に蓄積された電荷を転送してアナログメモリ１２２（２２２）に保持し、アナログメモリ１２２（２２２）に保持された電荷を読み出す際には、適応的に非破壊で読み出されるため、繰り返し何度でも読み出して処理することができる。

ここで、固体撮像装置１００４の構造としては、例えば、図３８ないし図４０に示した構造を採用することができる。なお、ここでは、固体撮像装置１００４として、固体撮像装置１０の構造を一例に説明する。

固体撮像装置１０において、カラムADC部１３に対して複数のADC１５１を設けると、例えば、図３８に示した領域では、チップサイズが増大してコストが増大してしまう恐れがある。そこで、図３９及び図４０に示すように、チップの積層化を行うようにしてもよい。

例えば、図３９において、固体撮像装置１０Ａは、画素アレイ部１１が主に形成される画素層１０Ａ−１と、出力回路、周辺回路、及びカラムADC部１３が主に形成される周辺回路層１０Ａ−２とを積層した積層構造（２層構造）を有している。この積層構造では、画素層１０Ａ−１の画素アレイ部１１の出力線とドライブ線が貫通ビア（VIA）を介して周辺回路層１０Ａ−２の回路と接続されている。

また、例えば、図４０において、固体撮像装置１０Ｂは、フォトダイオードアレイ部１１Ａが主に形成されるフォトダイオード層１０Ｂ−１と、アナログメモリアレイ部１１Ｂが主に形成されるアナログメモリ層１０Ｂ−２と、出力回路、周辺回路、及びカラムADC部１３が主に形成される周辺回路層１０Ｂ−３とを積層した積層構造（３層構造）を有している。この積層構造では、フォトダイオード層１０Ｂ−１のフォトダイオードアレイ部１１Ａと、アナログメモリ層１０Ｂ−２のアナログメモリアレイ部１１Ｂと、周辺回路層１０Ｂ−３の回路とが、貫通ビア（VIA）を介して接続されている。

このような積層構造を採用することで、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、積層構造にすることで、各層をそれぞれ最適化することができる。

なお、図３９及び図４０には、固体撮像装置１０Ａ，１０Ｂの構造を例示したが、固体撮像装置２０Ａ，２０Ｂ、及び固体撮像装置３０Ａ，３０Ｂについても同様の積層構造（２層構造、３層構造）を採用することができる。また、図３９及び図４０に示した積層構造は一例であって、固体撮像装置１００４の構造としては他の構造を採用するようにしてもよい。

（固体撮像装置の構成の第１の例）
図４１は、電子機器１０００（図３７）に搭載される固体撮像装置１００４として、固体撮像装置１０Ａ（図１）の構成の例を示している。

図４１において、固体撮像装置１０Ａは、画素アレイ部１１、駆動部１２、カラムADC部１３、及びレジスタ１６を含んで構成される。カラムADC部１３は、カラムADC１７１−１ないし１７１−４、及び水平転送切り替え部１７２から構成される。すなわち、カラムADC部１３は、水平方向の４列（の垂直信号線１３１）ごとにカラムADC１７１−１ないし１７１−４をそれぞれ接続している。

カラムADC１７１−１には、垂直信号線１３１−ｊ（ｊ＝1, 5, 9,・・・, 4m+1）がそれぞれ接続され、そこに接続された画素１００（ｉ，ｊ）から読み出された画素信号（アナログ信号）が入力される。カラムADC１７１−１は、垂直信号線１３１−ｊ（ｊ＝1, 5, 9,・・・, 4m+1）ごとにAD変換部（ADC：Analog to Digital Converter）を有しており、列ごとにAD変換が行われ、そのAD変換の結果が水平転送切り替え部１７２に出力される。

同様にして、画素１００（ｉ，ｊ）を配列した画素アレイ部１１の各列のうち、ｊ列（ｊ＝2, 6, 10, ・・・, 4m+2）ごとのAD変換がカラムADC１７１−２により行われ、ｊ列（ｊ＝3, 7, 11,・・・, 4m+3）ごとのAD変換がカラムADC１７１−３により行われ、ｊ列（ｊ＝4, 8, 12, ・・・, 4m+4）ごとのAD変換がカラムADC１７１−４により行われる。カラムADC１７１−２ないし１７１−４のAD変換の結果は、水平転送切り替え部１７２にそれぞれ出力される。

水平転送切り替え部１７２は、読み出しモードに応じて入力の切り替えを行うことで、そこに入力されるカラムADC１７１−１ないし１７１−４からのデジタル信号のうち、いずれか１つの入力を選択して出力する。

なお、レジスタ１６は、CPU１００１（図３７）とシリアル通信を行うことで、駆動のタイミングが設定される。また、図示はしていないが、カラムADC１７１−１ないし１７１−４には、アナログ信号の増幅部がそれぞれ設けられる。

（固体撮像装置の構成の第２の例）
図４２は、電子機器１０００（図３７）に搭載される固体撮像装置１００４として、固体撮像装置１０Ｂ（図４）の構成の例を示している。

図４２において、固体撮像装置１０Ｂは、フォトダイオードアレイ部１１Ａ、アナログメモリアレイ部１１Ｂ、駆動部１２、カラムADC部１３、及びレジスタ１６を含んで構成される。

図４２のカラムADC部１３は、図４１と同様に、水平方向の４列（の垂直信号線１３１）ごとにカラムADC１７１−１ないし１７１−４をそれぞれ接続しており、カラムADC１７１−１には、垂直信号線１３１−ｊ（ｊ＝1, 5, 9,・・・, 4m+1）が接続され、そこに接続された画素１００（ｉ，ｊ）のアナログメモリ部１０２から読み出された画素信号（アナログ信号）が入力され、ｊ列（ｊ＝1, 5, 9,・・・, 4m+1）ごとのAD変換が行われる。

また、カラムADC１７１−２ないし１７１−４においても、図４１と同様に、ｊ列（4m+2， 4m+3， 4m+4）ごとのAD変換が行われる。カラムADC１７１−１ないし１７１−４のAD変換の結果は、水平転送切り替え部１７２にそれぞれ出力される。水平転送切り替え部１７２は、読み出しモードに応じて、カラムADC１７１−１ないし１７１−４から入力されるデジタル信号のうち、いずれか１つの入力を選択して出力する。

（画素配列の例）
図４３は、図４１又は図４２の画素アレイ部１１に２次元状に配列される複数の画素１００の平面レイアウトを示している。なお、図４３においては、説明を分かりやすくするために、画素１００のｉ行ｊ列に対応した行番号と列番号を、左側と上側の領域に表記している。

ここで、画素アレイ部１１において、左上の４画素（２×２画素）の領域に注目すれば、緑（Ｇ）のＧｒ画素１００（１，１）及びＧｂ画素１００（２，２）と、赤（Ｒ）のＲ画素１００（１，２）と、青（Ｂ）のＢ画素１００（２，１）とが配列されている。また、画素アレイ部１１において、他の４画素（２×２画素）の領域においても、同様の配列パターンとなる。

このように、画素アレイ部１１においては、緑（Ｇ）のＧ画素１００が市松状に配され、残った部分に、赤（Ｒ）のＲ画素１００と、青（Ｂ）のＢ画素１００とが一列ごとに交互に配される配列パターンが繰り返され、ベイヤー配列となっている。

なお、ここでは、赤（Ｒ）の波長を透過するＲカラーフィルタを透過した光から、赤（Ｒ）成分の光に対応した電荷が得られる画素を、Ｒ画素と表記している。また、緑（Ｇ）の波長を透過するＧカラーフィルタを透過した光から緑（Ｇ）成分の光に対応した電荷が得られる画素をＧ画素、青（Ｂ）の波長を透過するＢカラーフィルタを透過した光から青（Ｂ）成分の光に対応した電荷が得られる画素をＢ画素とそれぞれ表記している。

画素アレイ部１１において、ベイヤー配列に並べられた画素１００は、水平方向の４列ごとに垂直信号線１３１を介してカラムADC１７１−１ないし１７１−４のいずれかに接続される（図４４）。例えば、図４４において、１行目に注目すれば、１列目のＧｒ画素１００（１，１）と５列目のＧｒ画素１００（１，５）は、垂直信号線１３１−１，１３１−５を介してカラムADC１７１−１（のADC１５１のそれぞれ）に接続される。

また、１行目に注目したとき、２列目のＲ画素１００（１，２）と６列目のＲ画素１００（１，６）が、垂直信号線１３１−２，１３１−６を介してカラムADC１７１−２に接続される。同様にして、３列目のＧｒ画素１００（１，３）と７列目のＧｒ画素１００（１，７）が垂直信号線１３１−３，１３１−７を介してカラムADC１７１−３に接続され、４列目のＲ画素１００（１，４）と８列目のＲ画素１００（１，８）が垂直信号線１３１−４，１３１−８を介してカラムADC１７１−４に接続される。

このとき、カラムADC１７１−１では、水平方向のｊ列（ｊ＝1, 5, 9,・・・, 4m+1）ごとに設けられた複数のADC１５１によって、垂直信号線１３１−１，１３１−５，・・・，１３１−ｊからの信号電圧と参照電圧との比較が行われ、その比較結果に応じたカウント値がFF回路１５３に保持される。

同様にして、カラムADC１７１−２には、水平方向のｊ列（ｊ＝2, 6, 10, ・・・, 4m+2）ごとに複数のADC１５１が設けられ、カラムADC１７１−３には、水平方向のｊ列（ｊ＝3, 7, 11,・・・, 4m+3）ごとに複数のADC１５１が設けられ、カラムADC１７１−４には、水平方向のｊ列（ｊ＝4, 8, 12, ・・・, 4m+4）ごとに複数のADC１５１が設けられており、各ADC１５１では、接続された垂直信号線１３１−ｊからの信号電圧と参照電圧との比較がそれぞれ行われ、その比較結果に応じたカウント値がFF回路１５３にそれぞれ保持される。

水平転送切り替え部１７２において、その入力端子１８１−１ないし１８１−４は、カラムADC１７１−１ないし１７１−４（のFF回路１５３）にそれぞれ接続されており、読み出しモードに応じて入力端子１８１−１ないし１８１−４のいずれかを選択することで、カラムADC１７１−１ないし１７１−４のいずれから入力されるAD変換の結果（デジタル信号）を、出力端子１８２を介して出力する。

（全画素読み出しの例）
次に、画素１００の読み出しの具体例を説明するが、ここでは、まず、図４５及び図４６を参照して、画素アレイ部１１に２次元状に配列される複数の画素１００の駆動モードとして、全画素読み出しを行う場合を説明する。

図４５においては、画素アレイ部１１に配列される画素１００のうち、読み出し対象の画素に対してクロスハッチングを施しているが、全ての画素１００が読み出し対象の画素になって、全画素読み出しが行われることを表している。また、この全画素読み出しを行う際のスキャンの順序は、図中の矢印で示すように、１行目から順に行ごとに行われる。

図４６のタイミングチャートは、図４５に示した全画素読み出しを行う場合におけるカラムADC部１３の各部の処理対象を示している。

カラムADC部１３には、水平方向の４列ごとにカラムADC１７１−１ないし１７１−４が設けられているため、１行目のスキャンが開始されると、まず、カラムADC１７１−１の処理対象は、Ｇｒ画素１００（１，１）とされる。同様に、カラムADC１７１−２の処理対象がＲ画素１００（１，２）とされ、カラムADC１７１−３の処理対象がＧｒ画素１００（１，３）とされ、カラムADC１７１−４の処理対象がＲ画素１００（１，４）とされる。

このとき、水平転送切り替え部１７２では、クロック信号に従い、出力端子１８２に接続される入力端子１８１を、入力端子１８１−１、入力端子１８１−２、入力端子１８１−３、入力端子１８１−４の順に切り替える。これにより、カラムADC部１３の出力として、Ｇｒ画素１００（１，１）、Ｒ画素１００（１，２）、Ｇｒ画素１００（１，３）、Ｒ画素１００（１，４）の順に、そのAD変換の結果が出力される。

次に、カラムADC部１３では、シフトイネーブル信号に従い、カラムADC１７１−１の処理対象がＧｒ画素１００（１，５）、カラムADC１７１−２の処理対象がＲ画素１００（１，６）、カラムADC１７１−３の処理対象がＧｒ画素１００（１，７）、カラムADC１７１−４の処理対象がＲ画素１００（１，８）とされる。このとき、水平転送切り替え部１７２では、その入力が、入力端子１８１−１ないし１８１−４に順に切り替えられ、Ｇｒ画素１００（１，５）、Ｒ画素１００（１，６）、Ｇｒ画素１００（１，７）、Ｒ画素１００（１，８）の順に、そのAD変換の結果が出力される。

なお、繰り返しになるので以降の説明は省略するが、それ以降も同様にして１行目のスキャンに応じて各列の画素１００のAD変換の結果が出力される。また、１行目のスキャンが終了すると、続いて２行目、３行目と同様の処理が繰り返され、最終的には最後の行まで同様の処理が繰り返される。

（1/3間引き読み出しの例）
次に、図４７及び図４８を参照して、画素アレイ部１１に２次元状に配列される複数の画素１００の駆動モードとして、1/3間引き読み出しを行う場合を説明する。

図４７においても、読み出し対象の画素に対してはクロスハッチングを施しているが、水平方向と垂直方向のそれぞれが３画素ごとに読み出し対象の画素になるため、全ての画素１００のうち、1/3の画素１００のみが読み出し対象の画素になって、1/3間引き読み出しが行われることを表している。また、この1/3間引き読み出しを行う際のスキャン順序は、１行目から順に行ごとに行われる。

図４８のタイミングチャートは、図４７に示した1/3間引き読み出しを行う場合におけるカラムADC部１３の各部の処理対象を示している。

カラムADC部１３には、水平方向の４列ごとにカラムADC１７１−１ないし１７１−４が設けられているが、水平方向の画素１００が1/3に間引かれているため、１行目のスキャンが開始されると、カラムADC１７１−１の処理対象がＧｒ画素１００（１，１）、カラムADC１７１−４の処理対象がＲ画素１００（１，４）とされる。このとき、水平転送切り替え部１７２では、その入力が、入力端子１８１−１，１８１−４に順に切り替えられ、Ｇｒ画素１００（１，１）、Ｒ画素１００（１，４）の順に、そのAD変換の結果が出力される。

次に、カラムADC部１３においては、水平方向の画素１００が1/3に間引かれているため、カラムADC１７１−３の処理対象がＧｒ画素１００（１，７）とされる。このとき、水平転送切り替え部１７２では、その入力が、入力端子１８１−３に切り替えられ、Ｇｒ画素１００（１，７）のAD変換の結果が出力される。また、カラムADC部１３では、水平方向の画素１００が1/3に間引かれているため、カラムADC１７１−２の処理対象がＲ画素１００（１，１０）とされるとともに、水平転送切り替え部１７２の入力が、入力端子１８１−２に切り替えられ、Ｒ画素１００（１，１０）のAD変換の結果が出力される。

なお、繰り返しになるので以降の説明は省略するが、それ以降の同様にして１行目のスキャンに応じて２列おきに画素１００のAD変換の結果が出力される。また、１行目のスキャンが終了すると、４行目、７行目と２行おきに同様の処理が繰り返され、最終的には最後の行まで２行おきに同様の処理が繰り返される。

（画素加算読み出しの例）
最後に、図４９ないし図５１を参照して、画素アレイ部１１に２次元状に配列される複数の画素１００の駆動モードとして、画素加算読み出しの例を行う場合を説明する。

図４９においては、読み出し対象の画素に対してRGBの色ごとに異なるハッチングを施しているが、同色の４画素ごとに画素加算読み出しの対象の画素となって、画素加算読み出しが行われることを表している。また、この画素加算読み出しを行う際のスキャンの順序は、図中の矢印で示すように、１行目から順に行ごとに行われる。

ここで、画素加算は、同色の４画素で行われるため、例えば、Ｇｒ画素１００（１，１）、Ｇｒ画素１００（１，３）、Ｇｒ画素１００（３，１）、及びＧｒ画素１００（３，３）の４画素が、同一の画素加算読み出しの対象の画素とされる。また、例えば、Ｒ画素１００（１，４）、Ｒ画素１００（１，６）、Ｒ画素１００（３，４）、及びＲ画素１００（３，６）の４画素が、同一の画素加算読み出しの対象の画素とされる。

また、図５０に示すように、この画素加算読み出しでは、同一の画素加算読み出し対象の４画素のうち、垂直方向の２つの画素１００からの信号が、加算部１９１−１，１９１−２によってそれぞれアナログ加算され、さらにそれらのアナログ加算に応じた２つの信号が、加算部１９２によってデジタル加算される。

図５１のタイミングチャートは、図４９に示した画素加算読み出しを行う場合におけるカラムADC部１３の各部の処理対象を示している。

カラムADC部１３には、水平方向の４列ごとにカラムADC１７１−１ないし１７１−４が設けられているが、同色の４画素ごとに加算読み出しを行うため、スキャンが行われると、カラムADC１７１−１の処理対象が、Ｇｒ画素１００（１，１）とＧｒ画素１００（３，１）とをアナログ加算した加算信号Ａ１１（Ｇｒ（１，１）＋Ｇｒ（３，１））とされる。

同様に、カラムADC１７１−３の処理対象が、Ｇｒ画素１００（１，３）とＧｒ画素１００（３，３）とをアナログ加算した加算信号Ａ１２（Ｇｒ（１，３）＋Ｇｒ（３，３））とされ、カラムADC１７１−４の処理対象が、Ｒ画素１００（１，４）とＲ画素１００（３，４）とをアナログ加算した加算信号Ａ２１（Ｒ（１，４）＋Ｒ（３，４））とされる。

このとき、カラムADC部１３では、１列目の加算信号Ａ１１（Ｇｒ（１，１）＋Ｇｒ（３，１））と、３列目の加算信号Ａ１２（Ｇｒ（１，３）＋Ｇｒ（３，３））とが、デジタル加算され、そのAD変換の結果（Ａ１１＋Ａ１２）が出力される。

次に、カラムADC部１３では、同色の４画素ごとに加算読み出しを行うため、カラムADC１７１−２の処理対象が、Ｒ画素１００（１，６）とＲ画素１００（３，６）とをアナログ加算した加算信号Ａ２２（Ｒ（１，６）＋Ｒ（３，６））とされ、カラムADC１７１−３の処理対象が、Ｇｒ画素１００（１，７）とＧｒ画素１００（３，７）とをアナログ加算した加算信号Ａ３１（Ｇｒ（１，７）＋Ｇｒ（３，７））とされる。

このとき、カラムADC部１３では、４行目の加算信号Ａ２１（Ｒ（１，４）＋Ｒ（３，４））と、６行目の加算信号Ａ２２（Ｒ（１，６）＋Ｒ（３，６））とが、デジタル加算され、そのAD変換の加算結果（Ａ２１＋Ａ２２）が出力される。

なお、繰り返しになるので以降の説明は省略するが、それ以降の同様にして同色の４画素ごとに加算読み出しが繰り返され、同色の４画素ごとに垂直方向のアナログ加算と水平方向のデジタル加算で得られる加算結果（例えば、図５１の加算結果（Ａ３１＋Ａ３２）や加算結果（Ａ４１＋Ａ４２）等）が出力される。

また、図４１ないし図５１の説明では、電子機器１０００（図３７）に搭載される固体撮像装置１００４として、固体撮像装置１０Ａ（図１）を一例に説明したが、固体撮像装置１０Ｂ、固体撮像装置２０（２０Ａ，２０Ａ）、固体撮像装置３０（３０Ａ，３０Ａ）においても、同様の処理（例えば、全画素読み出し、間引き読み出し、及び画素加算読み出しの処理）を行うことができる。

＜５．変形例＞

上述した説明では、画素１００（２００，３００）において、アナログメモリ１２２（２２２，３２２）に保持された電荷を読み出す構成として、フローティングディフュージョン１２６（２２６，３２６）を用いた構成を説明したが、画素１００（２００，３００）の構成は一例であって、例えば、フローティングゲートやサンプル・ホールド回路などによって、アナログメモリ１２２（２２２，３２２）に保持された電荷が読み出されるようにしてもよい。また、上述した説明では、第１の実施の形態において、シャッタ方式として、グローバルシャッタ方式が用いられる場合を説明したが、グローバルシャッタ方式に限らず、ローリングシャッタ方式での露光が行われるようにしてもよい。ここで、グローバルシャッタ方式では全ての画素に同時にシャッタ動作が行われるのに対し、ローリングシャッタ方式では１ないし数行ずつの単位でシャッタ動作が行われる。

また、上述した説明では、本開示に係る技術を適用した固体撮像装置の一例として、CMOSイメージセンサとしての固体撮像装置１０（２０，３０）を説明したが、本開示に係る技術は、CMOSイメージセンサへの適用に限られるものではない。すなわち、本開示に係る技術は、画素が２次元状に配列された固体撮像装置全般（例えば、CCD(Charge Coupled Device)イメージセンサ等のイメージセンサ）に対して適用可能である。さらに、本開示に係る技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、例えば赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置全般に対して適用可能である。

＜６．固体撮像装置の使用例＞

図５２は、本開示に係る技術を適用した固体撮像装置の使用例を示す図である。

CMOSイメージセンサ等の固体撮像装置１０（２０，３０）は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。すなわち、図５２に示すように、鑑賞の用に供される画像を撮影する鑑賞の分野だけでなく、例えば、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、又は、農業の分野などにおいて用いられる装置でも、固体撮像装置１０（２０，３０）を使用することができる。

具体的には、鑑賞の分野において、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置（例えば、図３７の電子機器１０００）で、固体撮像装置１０（２０，３０）を使用することができる。

交通の分野において、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。

家電の分野において、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。また、医療・ヘルスケアの分野において、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。

セキュリティの分野において、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。また、美容の分野において、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。

スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。また、農業の分野において、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置で、固体撮像装置１０（２０，３０）を使用することができる。

＜７．移動体への応用例＞

本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図５３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図５４は、撮像部１２０３１の設置位置の例を示す図である。

図５４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図５４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１に適用され得る。具体的には、固体撮像装置１０（２０，３０）は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、例えば、メイン処理に先行して出力される縮小画像から物体（例えば、人、車、障害物、標識又は路面上の文字等）を検出し、検出した物体を含む任意の領域のROI画像を抽出するといった処理が可能となるため（例えば、図７に示した応用例）、視認性を向上させて、より正確に、人、車、障害物、標識又は路面上の文字等の物体を認識することが可能とされる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本開示に係る技術は、以下のような構成をとることができる。

（１）
光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、
前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、
前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される
固体撮像装置。
（２）
前記アナログメモリ部に保持された電荷が、非破壊で複数回読み出される
前記（１）に記載の固体撮像装置。
（３）
第２の露光によって前記光電変換部により光電変換された電荷が読み出される
前記（１）又は（２）に記載の固体撮像装置。
（４）
前記アナログメモリ部は、複数のアナログメモリを含み、
複数の前記アナログメモリのうち少なくとも１以上の前記アナログメモリは、前記第１の露光によって前記光電変換部により光電変換された電荷を保持し、
前記第１の露光によって前記アナログメモリに保持された電荷が選択的に読み出される
前記（１）又は（２）に記載の固体撮像装置。
（５）
前記第１の露光は、グローバルシャッタ方式で行われる
前記（１）又は（２）に記載の固体撮像装置。
（６）
複数の前記画素ごとに前記アナログメモリ部に保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
前記（５）に記載の固体撮像装置。
（７）
複数の前記画素ごとに前記アナログメモリ部に保持された電荷のうち、第１の画像を生成するための電荷が読み出された後に、前記第１の画像と同時刻に撮像された第２の画像を生成するための電荷が読み出される
前記（５）又は（６）に記載の固体撮像装置。
（８）
前記第１の露光は、グローバルシャッタ方式又はローリングシャッタ方式で行われ、
前記第２の露光は、ローリングシャッタ方式で行われる
前記（３）に記載の固体撮像装置。
（９）
前記第２の露光は、前記第１の露光よりも時間的に後に行われる
前記（８）に記載の固体撮像装置。
（１０）
複数の前記画素ごとに前記アナログメモリ部に保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
前記（８）又は（９）に記載の固体撮像装置。
（１１）
複数の前記アナログメモリは、前記光電変換部により光電変換された電荷として、前記第１の露光を時分割して得られる電荷を順次保持する
前記（４）に記載の固体撮像装置。
（１２）
複数の前記アナログメモリに保持された電荷が加算して読み出される
前記（１１）に記載の固体撮像装置。
（１３）
複数の前記画素ごとに前記アナログメモリ部の複数の前記アナログメモリに保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
前記（１１）又は（１２）に記載の固体撮像装置。
（１４）
複数の前記画素ごとに前記アナログメモリ部の複数の前記アナログメモリに保持された電荷が、前記第１の露光の時分割露光の状態に応じて選択的に読み出される
前記（１１）又は（１２）に記載の固体撮像装置。
（１５）
第２の露光によって前記光電変換部により光電変換された電荷が読み出される
前記（１１）ないし（１４）のいずれかに記載の固体撮像装置。
（１６）
前記アレイ部は、複数の前記画素が２次元状に配列され、
前記アレイ部における水平方向の画素配列に対応して設けられる垂直信号線を介して入力されるアナログ信号をデジタル信号に変換するAD変換部をさらに備え、
前記AD変換部は、複数の前記垂直信号線ごとにカラムADC(Analog to Digital Converter)を設けている
前記（１）ないし（１５）のいずれかに記載の固体撮像装置。
（１７）
前記アレイ部は、複数の前記画素が２次元状に配列された画素アレイ部を含み、
前記画素アレイ部を含む第１の層と、前記AD変換部を含む第２の層とは積層されて構成される
前記（１６）に記載の固体撮像装置。
（１８）
前記アレイ部は、複数の前記画素の前記光電変換部が２次元状に配列された第１のアレイ部と、複数の前記画素の前記アナログメモリ部が２次元状に配列された第２のアレイ部とを含み、
前記第１のアレイ部を含む第１の層と、前記第２のアレイ部を含む第２の層と、前記AD変換部を含む第３の層とは積層されて構成される
前記（１６）に記載の固体撮像装置。
（１９）
複数の前記画素を駆動する駆動部をさらに備える
前記（１）ないし（１８）のいずれかに記載の固体撮像装置。
（２０）
光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、
前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、
前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される
固体撮像装置を搭載した電子機器。

１０，１０Ａ，１０Ｂ 固体撮像装置， １１ 画素アレイ部， １１Ａ フォトダイオードアレイ部， １２Ａ アナログメモリアレイ部， １２ 駆動部， １３ カラムADC部，２０，２０Ａ，２０Ｂ 固体撮像装置， ２１ 画素アレイ部， ２１Ａ フォトダイオードアレイ部， ２２Ａ アナログメモリアレイ部， ２２ 駆動部， ２３ カラムADC部，３０，３０Ａ，３０Ｂ 固体撮像装置， ３１ 画素アレイ部， ３１Ａ フォトダイオードアレイ部， ３２Ａ アナログメモリアレイ部， ３２ 駆動部， ３３ カラムADC部， １００ 画素， １０１ フォトダイオード部， １０２ アナログメモリ部， １１１ フォトダイオード， １２２ アナログメモリ， １３１ 垂直信号線， １５１ ADC， ２００ 画素， ２０１ フォトダイオード部， ２０２ アナログメモリ部， ２１１ フォトダイオード， ２２２ アナログメモリ， ２３１ 垂直信号線， ２５１ ADC， ３００ 画素， ３０１ フォトダイオード部， ３０２ アナログメモリ部， ３０３，３０３−１ないし３０３−４ タップ， ３１１ フォトダイオード， ３２２，３２２−１ないし３２２−４ アナログメモリ， ３３１ 垂直信号線， ３５１ ADC， １０００ 電子機器， １００１ CPU， １００４ 固体撮像装置， １００９ 物体検出部， １０１０ 物体認識部， １０１１ 画像処理部

Claims (20)

1. 光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、
   前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、
   前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される
   固体撮像装置。
2. 前記アナログメモリ部に保持された電荷が、非破壊で複数回読み出される
   請求項１に記載の固体撮像装置。
3. 第２の露光によって前記光電変換部により光電変換された電荷が読み出される
   請求項１に記載の固体撮像装置。
4. 前記アナログメモリ部は、複数のアナログメモリを含み、
   複数の前記アナログメモリのうち少なくとも１以上の前記アナログメモリは、前記第１の露光によって前記光電変換部により光電変換された電荷を保持し、
   前記第１の露光によって前記アナログメモリに保持された電荷が選択的に読み出される
   請求項１に記載の固体撮像装置。
5. 前記第１の露光は、グローバルシャッタ方式で行われる
   請求項２に記載の固体撮像装置。
6. 複数の前記画素ごとに前記アナログメモリ部に保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
   請求項５に記載の固体撮像装置。
7. 複数の前記画素ごとに前記アナログメモリ部に保持された電荷のうち、第１の画像を生成するための電荷が読み出された後に、前記第１の画像と同時刻に撮像された第２の画像を生成するための電荷が読み出される
   請求項５に記載の固体撮像装置。
8. 前記第１の露光は、グローバルシャッタ方式又はローリングシャッタ方式で行われ、
   前記第２の露光は、ローリングシャッタ方式で行われる
   請求項３に記載の固体撮像装置。
9. 前記第２の露光は、前記第１の露光よりも時間的に後に行われる
   請求項８に記載の固体撮像装置。
10. 複数の前記画素ごとに前記アナログメモリ部に保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
    請求項８に記載の固体撮像装置。
11. 複数の前記アナログメモリは、前記光電変換部により光電変換された電荷として、前記第１の露光を時分割して得られる電荷を順次保持する
    請求項４に記載の固体撮像装置。
12. 複数の前記アナログメモリに保持された電荷が加算して読み出される
    請求項１１に記載の固体撮像装置。
13. 複数の前記画素ごとに前記アナログメモリ部の複数の前記アナログメモリに保持された電荷が、画像フレーム内の任意の領域、前記画素の駆動モード、所定の信号処理、又は所定のタイミングに応じて読み出される
    請求項１１に記載の固体撮像装置。
14. 複数の前記画素ごとに前記アナログメモリ部の複数の前記アナログメモリに保持された電荷が、前記第１の露光の時分割露光の状態に応じて選択的に読み出される
    請求項１２に記載の固体撮像装置。
15. 第２の露光によって前記光電変換部により光電変換された電荷が読み出される
    請求項１１に記載の固体撮像装置。
16. 前記アレイ部は、複数の前記画素が２次元状に配列され、
    前記アレイ部における水平方向の画素配列に対応して設けられる垂直信号線を介して入力されるアナログ信号をデジタル信号に変換するAD変換部をさらに備え、
    前記AD変換部は、複数の前記垂直信号線ごとにカラムADC(Analog to Digital Converter)を設けている
    請求項１に記載の固体撮像装置。
17. 前記アレイ部は、複数の前記画素が２次元状に配列された画素アレイ部を含み、
    前記画素アレイ部を含む第１の層と、前記AD変換部を含む第２の層とは積層されて構成される
    請求項１６に記載の固体撮像装置。
18. 前記アレイ部は、複数の前記画素の前記光電変換部が２次元状に配列された第１のアレイ部と、複数の前記画素の前記アナログメモリ部が２次元状に配列された第２のアレイ部とを含み、
    前記第１のアレイ部を含む第１の層と、前記第２のアレイ部を含む第２の層と、前記AD変換部を含む第３の層とは積層されて構成される
    請求項１６に記載の固体撮像装置。
19. 複数の前記画素を駆動する駆動部をさらに備える
    請求項１に記載の固体撮像装置。
20. 光電変換部とアナログメモリ部とを有する画素を複数配列したアレイ部を備え、
    前記アナログメモリ部は、第１の露光によって前記光電変換部により光電変換された電荷を保持し、
    前記第１の露光によって前記アナログメモリ部に保持された電荷が、適応的に非破壊で読み出される
    固体撮像装置を搭載した電子機器。

Images