JP2019140513A - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP2019140513A JP2019140513A JP2018021756A JP2018021756A JP2019140513A JP 2019140513 A JP2019140513 A JP 2019140513A JP 2018021756 A JP2018021756 A JP 2018021756A JP 2018021756 A JP2018021756 A JP 2018021756A JP 2019140513 A JP2019140513 A JP 2019140513A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- charge
- subframe
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 328
- 238000001514 detection method Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims description 86
- 238000006243 chemical reaction Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 66
- 230000015654 memory Effects 0.000 claims description 55
- 238000009792 diffusion process Methods 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 14
- 238000007792 addition Methods 0.000 description 140
- 238000005516 engineering process Methods 0.000 description 124
- 238000010586 diagram Methods 0.000 description 35
- 230000001276 controlling effect Effects 0.000 description 28
- 239000003990 capacitor Substances 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】動体を検知したら即時に当該動体を撮像すること。【解決手段】１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理とを行う画素加算処理部と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、を備えている撮像装置。【選択図】図１
Description
本技術は、撮像装置及び撮像方法に関する。より詳細には、本技術は、撮像モードを、低解像度で撮像する撮像モードと高解像度で撮像する撮像モードとの間で切り替えることができる撮像装置、及び、このような撮像モードの切り替えを行うことを含む撮像方法に関する。
動体の検知及び検知された動体の撮像を行うための撮像装置に関する種々の技術が提案されている。当該撮像装置は、例えば監視カメラとして用いられている。
例えば下記特許文献１に記載の固体撮像装置を構成する各画素は、光電変換素子から浮遊半導体領域に至る第１及び第２の電荷転送経路を有し、第１の電荷転送経路は第２の電荷転送経路と異なる。例えば、第１及び第２の電荷転送経路は、それぞれ、第１及び第２のシャッタースイッチを含む。一方の転送経路において、光電変換素子からの電荷は第１の蓄積ダイオードに一時的に蓄積されることができる。そのため、個々の転送経路上のシャッタースイッチは、電荷の転送に関して互いに干渉することなく、画素アレイにおいて多重化されたグローバルシャッタの動作を可能にする。
高解像度での撮像は、低解像度での撮像と比べてより多くの電力を消費する。例えば監視カメラでは、電力消費を抑制するために、撮像対象が検知されるまでは低解像度で或る領域を撮像し、そして、当該領域内で撮像対象が検知されたら当該撮像対象を高解像度で撮像することが望ましい。
また、高速で移動する動体を検知しそして当該動体を撮像するには、低解像度での撮像モードからできるだけ早く高解像度での撮像モードに切り替えることが必要である。撮像モードの切り替えに時間を要するならば、撮像モードを切り替えている間に、動体が撮像領域の外に移動し、高解像度で撮像しても動体が撮像されない場合がある。
また、高速で移動する動体を検知しそして当該動体を撮像するには、低解像度での撮像モードからできるだけ早く高解像度での撮像モードに切り替えることが必要である。撮像モードの切り替えに時間を要するならば、撮像モードを切り替えている間に、動体が撮像領域の外に移動し、高解像度で撮像しても動体が撮像されない場合がある。
本技術は、動体を検知したら即時に当該動体を撮像するための技術を提供することを目的とする。より特には、本技術は、低解像度で動体検知を行い、そして、動体を検知したら即時に当該動体を高解像度で撮像するための技術を提供することを目的とする。
本発明者らは、特定の構成を有する撮像技術によって、動体が検知されてから１フレーム時間が経過するまでに当該動体を撮像することができることを見出した。また、本発明者らは、特定の構成を有する撮像技術によって、動体が検知されたフレーム内で当該動体を撮像することができることを見出した。
すなわち、本技術は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理とを行う画素加算処理部と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、前記動体検知部により動体が検知されたことに応じて、画素毎に信号電荷の処理を行う電荷処理部とを備えている撮像装置を提供する。
本技術の一つの実施態様に従い、１フレーム時間内の露光回数が２回であり、前記第一の電荷保持部がフローティングディフュージョンであり、前記第二の電荷保持部が光電変換素子であってよく、前記電荷転送制御部が、前記２回の露光によって得られる２つのサブフレーム信号電荷のうち、先のサブフレーム信号電荷を前記フローティングディフュージョンに保持し且つ後のサブフレーム信号電荷を前記光電変換素子に保持するように信号電荷の転送を制御しうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、先のサブフレームのフレーム時間と後のサブフレームのフレーム時間とが等しくてよく、又は、先のサブフレームのフレーム時間が後のサブフレームのフレーム時間よりも長くてもよい。
本技術の一つの実施態様に従い、前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれていてよい。
本技術の一つの実施態様に従い、前記光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられていてよい。
本技術の一つの実施態様に従い、各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。
本技術の一つの実施態様に従い、前記比較が、前記第一の電圧信号と第二の電圧信号の差、当該差を前記第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号で除した値を用いて行われてよい。
本技術の一つの実施態様に従い、１フレーム時間内の露光回数が２回であり、前記第一の電荷保持部がフローティングディフュージョンであり、前記第二の電荷保持部が光電変換素子であってよく、前記電荷転送制御部が、前記２回の露光によって得られる２つのサブフレーム信号電荷のうち、先のサブフレーム信号電荷を前記フローティングディフュージョンに保持し且つ後のサブフレーム信号電荷を前記光電変換素子に保持するように信号電荷の転送を制御しうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、先のサブフレームのフレーム時間と後のサブフレームのフレーム時間とが等しくてよく、又は、先のサブフレームのフレーム時間が後のサブフレームのフレーム時間よりも長くてもよい。
本技術の一つの実施態様に従い、前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれていてよい。
本技術の一つの実施態様に従い、前記光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられていてよい。
本技術の一つの実施態様に従い、各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。
本技術の一つの実施態様に従い、前記比較が、前記第一の電圧信号と第二の電圧信号の差、当該差を前記第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号で除した値を用いて行われてよい。
また、本技術は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理とを行う画素加算処理部と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、前記動体検知部により動体が検知されたことに応じて、前記動体が検知されたフレーム内のさらに他の一つのサブフレーム信号電荷を画素毎に処理する電荷処理部とを備えている撮像装置を提供する。
本技術の一つの実施態様に従い、１フレーム時間内の露光回数が３回以上であり、前記電荷転送制御部は、前記さらに他の一つのサブフレーム信号電荷が第三の電荷保持部に保持するように信号電荷の転送を制御し、前記第一の電荷保持部がフローティングディフュージョンであり、前記第二の電荷保持部が光電変換素子又はメモリであってよく、前記電荷転送制御部が、前記３回以上の露光によって得られる３つ以上のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を前記第一の電荷保持部に保持し且つ当該サブフレーム信号電荷よりも後のいずれかのサブフレーム信号電荷を前記第二の電荷保持部に保持するように信号電荷の転送を制御しうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記第二の電荷保持部が光電変換素子であり、前記第三の電荷保持部がメモリでありうる。
本技術の一つの実施態様に従い、各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。
本技術の一つの実施態様に従い、前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とが等しくてよく、又は、前者のフレーム時間が後者のフレーム時間よりも長くてもよい。
本技術の一つの実施態様に従い、各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とがずれていてよい。
本技術の一つの実施態様に従い、１フレーム時間内の露光回数が３回以上であり、前記電荷転送制御部は、前記さらに他の一つのサブフレーム信号電荷が第三の電荷保持部に保持するように信号電荷の転送を制御し、前記第一の電荷保持部がフローティングディフュージョンであり、前記第二の電荷保持部が光電変換素子又はメモリであってよく、前記電荷転送制御部が、前記３回以上の露光によって得られる３つ以上のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を前記第一の電荷保持部に保持し且つ当該サブフレーム信号電荷よりも後のいずれかのサブフレーム信号電荷を前記第二の電荷保持部に保持するように信号電荷の転送を制御しうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよく、各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われうる。
本技術の一つの実施態様に従い、前記第二の電荷保持部が光電変換素子であり、前記第三の電荷保持部がメモリでありうる。
本技術の一つの実施態様に従い、各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。
本技術の一つの実施態様に従い、前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とが等しくてよく、又は、前者のフレーム時間が後者のフレーム時間よりも長くてもよい。
本技術の一つの実施態様に従い、各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とがずれていてよい。
また、本技術は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理とを行う画素加算処理部と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、を備えている撮像装置を提供する。
また、本技術は、１フレーム時間内に複数回露光を行って複数のサブフレーム信号電荷を取得する信号電荷取得工程と、前記複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持する第一電荷保持工程と、前記複数のサブフレーム信号電荷のうち、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持する第二電荷保持工程と、前記第一の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する第一画素加算処理工程と、前記第二の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、前記画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理を行う第二画素加算処理工程と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知工程とを含む撮像方法も提供する。
本技術により、動体が検知されてから１フレーム時間以内に当該動体を撮像することができる。また、本技術により、動体が検知されたフレーム内で当該動体を撮像することもできる。なお、本技術により奏される効果は、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態に限定されることはない。なお、本技術の説明は以下の順序で行う。
１．第１の実施形態（撮像装置）
（１）第１の実施形態の説明
（２）第１の実施形態の第１の例（撮像装置）
（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）
（３−１）撮像装置の構成例
（３−２）撮像装置に含まれる撮像素子の構成例
（３−３）撮像装置の動作の例
（３−４）撮像装置に含まれる撮像素子の他の構成例
（３−５）画素ブロック内の画素の接続の仕方の例
（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）
（４−１）撮像装置の構成例
（４−２）撮像装置に含まれる撮像素子の構成例
（４−３）撮像装置の動作の例
（４−４）撮像装置に含まれる撮像素子の他の構成例
（４−５）撮像装置に含まれる撮像素子の他の構成例
（４−６）撮像装置に含まれる撮像素子の他の構成例
（４−７）撮像装置に含まれる撮像素子の他の構成例
２．第２の実施形態（撮像方法）
（１）第２の実施形態の説明
（２）第２の実施形態の例（撮像方法）
１．第１の実施形態（撮像装置）
（１）第１の実施形態の説明
（２）第１の実施形態の第１の例（撮像装置）
（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）
（３−１）撮像装置の構成例
（３−２）撮像装置に含まれる撮像素子の構成例
（３−３）撮像装置の動作の例
（３−４）撮像装置に含まれる撮像素子の他の構成例
（３−５）画素ブロック内の画素の接続の仕方の例
（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）
（４−１）撮像装置の構成例
（４−２）撮像装置に含まれる撮像素子の構成例
（４−３）撮像装置の動作の例
（４−４）撮像装置に含まれる撮像素子の他の構成例
（４−５）撮像装置に含まれる撮像素子の他の構成例
（４−６）撮像装置に含まれる撮像素子の他の構成例
（４−７）撮像装置に含まれる撮像素子の他の構成例
２．第２の実施形態（撮像方法）
（１）第２の実施形態の説明
（２）第２の実施形態の例（撮像方法）
１．第１の実施形態（撮像装置）
（１）第１の実施形態の説明
本技術に従う撮像装置は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理とを行う画素加算処理部と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、を備えている。
すなわち、本技術に従う撮像装置は、動体検知の間は、画素毎でなく、複数の画素から構成される画素ブロック毎に、サブフレーム信号電荷が処理される。それ故に、動体検知の間は、画素毎にサブフレーム信号電荷を処理する場合と比べて、消費電力が小さくなる。
さらに、本技術に従う撮像装置による動体検知は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第一の電圧信号と他の一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第二の電圧信号との比較に基づき行われる。すなわち、動体検知は、１フレーム内で得られた２つの電圧信号の比較により行われる。それ故に、当該フレームの直後のフレームにおいて画素毎に信号電荷を処理することで、消費電力の小さい低解像度での撮像モードから、消費電力が大きい高解像度での撮像モードへの撮像モードの切り替えを即時に行うことができる。例えば、動体検知がされてから１フレーム時間内で、高解像度での撮像を行うことができる。その結果、例えば動体が高速移動している場合であっても、本技術に従う撮像装置は当該動体を捉えることができる。
また、上記のとおり、本技術に従う撮像装置による動体検知は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第一の電圧信号と他の一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第二の電圧信号との比較に基づき行われる。それ故に、当該複数のサブフレーム信号電荷のうち、さらに他の一つのサブフレーム信号電荷について、画素毎に信号電荷を処理することで、動体が検知されたフレームのフレーム時間内に撮像された高解像度画像が得られる。その結果、例えば動体が高速移動している場合であっても、本技術に従う撮像装置は当該動体を捉えることができる。
また、本技術に従う撮像装置による動体検知において、前記第一の電圧信号と前記第二の電圧信号との比較において行われるＡＤ変換は、以下に説明するとおり１回でよい。
すなわち、通常の撮像素子において、１つの画素信号のＡＤ変換は、ＣＤＳを行うために、Ｐ相信号のＡＤ変換（ダウンカウント）及びＤ相信号のＡＤ変換（アップカウント）が行われ、その結果、１つの画素信号電圧のディジタル信号値が得られる。２つのサブフレーム信号について通常の撮像素子における処理を行う場合には、一つのサブフレーム信号のＰ相信号のＡＤ変換（ダウンカウント）及び当該一つのサブフレーム信号のＤ相信号のＡＤ変換（アップカウント）、並びに、他の一つのサブフレーム信号のＰ相信号のＡＤ変換（ダウンカウント）及び当該他の一つのサブフレーム信号のＤ相信号のＡＤ変換（アップカウント）を行うことになる。すなわち、２つのサブフレーム信号について通常の撮像素子における処理を行う場合には、通常の撮像素子においてＣＤＳを行う場合の２回分に相当するＡＤ変換ステップ数が行われる。これに対し、本技術では、２つのサブフレーム信号に関して、一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（ダウンカウント）、及び、他の一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（アップカウント）が行われる。すなわち、本技術において、２つのサブフレーム信号の処理は、通常の撮像素子においてＣＤＳを行う場合の１回分に相当するＡＤ変換ステップ数が行われる。その結果、動体検知のための消費電力を低めることができる。
さらに、本技術に従う撮像装置による動体検知は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第一の電圧信号と他の一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第二の電圧信号との比較に基づき行われる。すなわち、動体検知は、１フレーム内で得られた２つの電圧信号の比較により行われる。それ故に、当該フレームの直後のフレームにおいて画素毎に信号電荷を処理することで、消費電力の小さい低解像度での撮像モードから、消費電力が大きい高解像度での撮像モードへの撮像モードの切り替えを即時に行うことができる。例えば、動体検知がされてから１フレーム時間内で、高解像度での撮像を行うことができる。その結果、例えば動体が高速移動している場合であっても、本技術に従う撮像装置は当該動体を捉えることができる。
また、上記のとおり、本技術に従う撮像装置による動体検知は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第一の電圧信号と他の一つのサブフレーム信号電荷に基づく画素信号を画素ブロック毎に画素加算処理して得られた前記第二の電圧信号との比較に基づき行われる。それ故に、当該複数のサブフレーム信号電荷のうち、さらに他の一つのサブフレーム信号電荷について、画素毎に信号電荷を処理することで、動体が検知されたフレームのフレーム時間内に撮像された高解像度画像が得られる。その結果、例えば動体が高速移動している場合であっても、本技術に従う撮像装置は当該動体を捉えることができる。
また、本技術に従う撮像装置による動体検知において、前記第一の電圧信号と前記第二の電圧信号との比較において行われるＡＤ変換は、以下に説明するとおり１回でよい。
すなわち、通常の撮像素子において、１つの画素信号のＡＤ変換は、ＣＤＳを行うために、Ｐ相信号のＡＤ変換（ダウンカウント）及びＤ相信号のＡＤ変換（アップカウント）が行われ、その結果、１つの画素信号電圧のディジタル信号値が得られる。２つのサブフレーム信号について通常の撮像素子における処理を行う場合には、一つのサブフレーム信号のＰ相信号のＡＤ変換（ダウンカウント）及び当該一つのサブフレーム信号のＤ相信号のＡＤ変換（アップカウント）、並びに、他の一つのサブフレーム信号のＰ相信号のＡＤ変換（ダウンカウント）及び当該他の一つのサブフレーム信号のＤ相信号のＡＤ変換（アップカウント）を行うことになる。すなわち、２つのサブフレーム信号について通常の撮像素子における処理を行う場合には、通常の撮像素子においてＣＤＳを行う場合の２回分に相当するＡＤ変換ステップ数が行われる。これに対し、本技術では、２つのサブフレーム信号に関して、一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（ダウンカウント）、及び、他の一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（アップカウント）が行われる。すなわち、本技術において、２つのサブフレーム信号の処理は、通常の撮像素子においてＣＤＳを行う場合の１回分に相当するＡＤ変換ステップ数が行われる。その結果、動体検知のための消費電力を低めることができる。
本技術に従う撮像装置は、上記のとおりの動体検知を可能とする撮像素子、特には固体撮像素子を備えているものであってよい。撮像素子には、画素アレイ部が含まれうる。上記のとおりの動体検知を可能とするのに適した撮像装置として、例えばＣＭＯＳイメージセンサを備えている撮像装置、好ましくは４トランジスタ（４Ｔｒ）型のＣＭＯＳイメージセンサを備えている撮像装置を挙げることができる。すなわち、本技術の撮像装置は、撮像素子として、例えばＣＭＯＳイメージセンサ、好ましくは４Ｔｒ型のＣＭＯＳイメージセンサを備えていてよい。
本技術に従う撮像装置に備えられている撮像素子は、複数の画素がアレイ状に配置された画素領域を有しうる。当該画素領域は、例えば矩形の画素領域であり、当該矩形の画素領域の１辺が、１００〜５０００、好ましくは２００〜３０００、より好ましくは５００〜２０００の画素から構成されていてよい。
当該複数の画素のそれぞれが好ましくは、１フレーム時間内に複数回露光でき、且つ、当該複数回露光によって得られる複数のサブフレーム信号電荷を別々に保持することができる複数の電荷保持部を有する。
当該複数の画素のそれぞれが好ましくは、１フレーム時間内に複数回露光でき、且つ、当該複数回露光によって得られる複数のサブフレーム信号電荷を別々に保持することができる複数の電荷保持部を有する。
本技術においてフレームとは、本技術の撮像装置により動体検知が行われている間においては、当該動体検知を行うための一連の処理が当該撮像装置により行われる単位期間を意味しうる。例えば、本技術においてフレームとは、本技術の撮像装置により動体検知が行われている間においては、（ａ）前記動体検知のために取得される一つのサブフレーム信号電荷を得るための露光が行われる時間と、（ｂ）前記動体検知のために取得される他の一つのサブフレーム信号電荷を得るための露光が行われる時間と、（ｃ）当該一つのサブフレーム信号電荷に基づく画素信号の画素加算処理により得られた第一の信号電圧と当該他の一つのサブフレーム信号電荷に基づく画素信号の画素加算処理により得られた第二の信号電圧とを比較する時間と、を含む単位期間であってよい。
フレームには、信号電圧の比較を行った後に、露光が行われない期間、いわゆるブランキング期間が含まれていてよい。ブランキング期間中、使用しない機能ブロックの電源を切ることで、電力消費を抑制することができる。そのため、本技術においてフレームとは、好ましくは、本技術の撮像装置により動体検知が行われている間においては、前記（ａ）の時間、前記（ｂ）の時間、及び前記（ｃ）の時間と、当該（ｃ）の時間後のブランキング期間と、を含みうる。
また、本技術の撮像装置により動体が検知された後に当該動体を撮像する間においては、フレームとは、一つの画像を得るための一連の処理が行われる単位期間を意味しうる。当該単位期間は、例えば露光を行う時間と、当該露光により得られた信号電荷を読み出す時間とを含みうる。当該単位期間には、当該読み出す時間の後のブランキング期間が含まれていてもよい。
また、本技術においてフレーム時間とは、１フレームの時間の長さ又は１サブフレームの時間の長さをいう。
フレームには、信号電圧の比較を行った後に、露光が行われない期間、いわゆるブランキング期間が含まれていてよい。ブランキング期間中、使用しない機能ブロックの電源を切ることで、電力消費を抑制することができる。そのため、本技術においてフレームとは、好ましくは、本技術の撮像装置により動体検知が行われている間においては、前記（ａ）の時間、前記（ｂ）の時間、及び前記（ｃ）の時間と、当該（ｃ）の時間後のブランキング期間と、を含みうる。
また、本技術の撮像装置により動体が検知された後に当該動体を撮像する間においては、フレームとは、一つの画像を得るための一連の処理が行われる単位期間を意味しうる。当該単位期間は、例えば露光を行う時間と、当該露光により得られた信号電荷を読み出す時間とを含みうる。当該単位期間には、当該読み出す時間の後のブランキング期間が含まれていてもよい。
また、本技術においてフレーム時間とは、１フレームの時間の長さ又は１サブフレームの時間の長さをいう。
（２）第１の実施形態の第１の例（撮像装置）
以下で、本技術に従う撮像装置の例を、図１を参照しながら説明する。図１は、本技術に従う撮像装置の一例のブロック図である。
図１に示されるとおり、撮像装置１００は、光学系１０１、シャッタ装置１０２、画素アレイ部１０３、制御部１０４、モニタ１０５、及びメモリ１０６を備えている。制御部１０４には、電荷転送制御部１０７、画素加算処理部１０８、動体検知部１０９、電荷処理部１１０、及び信号処理部１１１が含まれている。これらの構成要素のうち、画素アレイ部１０３及び制御部１０４は、図１にて点線にて示されるとおり、１つの半導体チップ（撮像素子１１２）に集積することができる。また、動体検知部１０９の一部及び／又は信号処理部１１１の一部を、別の半導体チップに分割して構成することもできる。また、ウェーハレベルパッケージ技術を用いて、光学系１０１及び／又はシャッタ装置１０２を、撮像素子１１２と一体形成することもできる。
画素アレイ部１０３に含まれる画素領域の画素数は当業者により適宜選択されてよい。画素領域は例えば矩形でありうる。矩形の画素領域の一辺は、例えば１００〜５０００、好ましくは３００〜４０００、より好ましくは５００〜３０００の画素から構成されうる。
当該画素領域は、複数の画素から構成される画素ブロック毎に区分されていてよい。１つの画素ブロックは、例えば２画素〜２００００画素、好ましくは４画素〜１００００画素、より好ましくは１００画素〜８０００画素、さらにより好ましくは１０００〜５０００から構成されてよい。好ましくは、画素ブロックは矩形でありうる。１つの画素ブロックは、６４×６４画素（横方向の辺×縦方向の辺）、６４×３２画素、３２×６４画素、３２×３２画素、３２×１６画素、１６×３２画素、１６×１６画素、８×１６画素、１６×８画素、８×８画素、４×８画素、８×４画素、又は４×４画素から構成される矩形の画素ブロックに区分けされていてよい。画素が画素ブロックに区分けされていることは、回路構造によって視認可能であってよく、又は、回路構造によっては視認可能でないが電気的に区分けされていてもよい。電気的な区分けは、例えば本技術における制御部により所定のトランジスタ及び／又はスイッチをオンまたはオフにすることによって、画素ブロックに含まれるべき複数の画素を電気的に接続することによって実現されうる。
例えば図２に示されるとおり、本技術において用いられる画素領域は、例えば１２８０×７６８画素から構成された矩形の画素領域であり、且つ、当該画素領域は、６４×６４画素（４０９６画素）から構成される画素ブロック（すなわち、２０×１２の画素ブロック）に区分けされていてよい。
当該画素領域は、複数の画素から構成される画素ブロック毎に区分されていてよい。１つの画素ブロックは、例えば２画素〜２００００画素、好ましくは４画素〜１００００画素、より好ましくは１００画素〜８０００画素、さらにより好ましくは１０００〜５０００から構成されてよい。好ましくは、画素ブロックは矩形でありうる。１つの画素ブロックは、６４×６４画素（横方向の辺×縦方向の辺）、６４×３２画素、３２×６４画素、３２×３２画素、３２×１６画素、１６×３２画素、１６×１６画素、８×１６画素、１６×８画素、８×８画素、４×８画素、８×４画素、又は４×４画素から構成される矩形の画素ブロックに区分けされていてよい。画素が画素ブロックに区分けされていることは、回路構造によって視認可能であってよく、又は、回路構造によっては視認可能でないが電気的に区分けされていてもよい。電気的な区分けは、例えば本技術における制御部により所定のトランジスタ及び／又はスイッチをオンまたはオフにすることによって、画素ブロックに含まれるべき複数の画素を電気的に接続することによって実現されうる。
例えば図２に示されるとおり、本技術において用いられる画素領域は、例えば１２８０×７６８画素から構成された矩形の画素領域であり、且つ、当該画素領域は、６４×６４画素（４０９６画素）から構成される画素ブロック（すなわち、２０×１２の画素ブロック）に区分けされていてよい。
画素アレイ部１０３に含まれる画素は、アレイ状に配置されていてよい。画素アレイ部１０３に含まれる画素のそれぞれは、上記「（１）第１の実施形態の説明」で述べたとおりの動体検知を行うことができるように構成されうる。各画素は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を保持する第一の電荷保持部と、他の一つのサブフレーム信号電荷を第二の電荷保持部とを少なくとも有する。これらの電荷保持部は、例えば、撮像素子（例えばＣＭＯＳイメージセンサ）において用いられるキャパシタであってよい。例えば、これらの電荷保持部の例として、例えばフローティングディフュージョン（本明細書内において、ＦＤともいう）及びメモリ（本明細書内において、メモリともいう）を挙げることができる。また、これらの電荷保持部として、例えば光電変換素子（本明細書内において、ＰＤともいう）を挙げることもできる。
画素アレイ部１０３に含まれる各画素は光電変換素子を含む。光電変換素子は、撮像素子（例えばＣＭＯＳイメージセンサ）において用いられる既知の素子であってよい。各画素は、１つの光電変換素子を含んでよく、又は、２つ以上（例えば２つ、３つ、又は４つ）の光電変換素子を含んでもよい。
画素アレイ部１０３に含まれる各画素は、電荷転送制御部１０７による信号電荷の転送制御を可能とする構成要素を含みうる。当該構成要素は、例えば、撮像素子（例えばＣＭＯＳイメージセンサ）において用いられる既知のトランジスタ及び／又はスイッチであってよい。例えば、当該トランジスタ及び／又はスイッチのオン又はオフを電荷転送制御部１０７によって制御することで、本技術に従う電荷転送制御が行われうる。当該構成要素として、例えば転送トランジスタ、増幅トランジスタ、選択トランジスタ、及びリセットトランジスタを挙げることができる。
画素アレイ部１０３に含まれる各画素は光電変換素子を含む。光電変換素子は、撮像素子（例えばＣＭＯＳイメージセンサ）において用いられる既知の素子であってよい。各画素は、１つの光電変換素子を含んでよく、又は、２つ以上（例えば２つ、３つ、又は４つ）の光電変換素子を含んでもよい。
画素アレイ部１０３に含まれる各画素は、電荷転送制御部１０７による信号電荷の転送制御を可能とする構成要素を含みうる。当該構成要素は、例えば、撮像素子（例えばＣＭＯＳイメージセンサ）において用いられる既知のトランジスタ及び／又はスイッチであってよい。例えば、当該トランジスタ及び／又はスイッチのオン又はオフを電荷転送制御部１０７によって制御することで、本技術に従う電荷転送制御が行われうる。当該構成要素として、例えば転送トランジスタ、増幅トランジスタ、選択トランジスタ、及びリセットトランジスタを挙げることができる。
画素アレイ部１０３の構成の一例を、図３を参照して説明する。図３に示される画素アレイ部３００は、所定数の画素単位がアレイ状に配置されている構成を有する。図３に示される画素アレイ部は、画素が共有されていない画素アレイ部の例である。画素単位は、１画素でもよく、又は、複数の画素がトランジスタ群を共有している構造を有していてもよい。また、１つのＦＤを２×２画素又は２×４画素によって共有してもよい。なお、図３において、例えばトランジスタなどの詳細な回路構成要素は省略されている。
図３の画素アレイ部３００は、上チップ３０１及び下チップ３１１が積層された構造を有する。上チップ３０１には、画素アレイ３０２が設けられており、且つ、下チップ３１１には、ＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）３１２、コンパレータ３１３−１、３１３−２、・・・及び３１３−Ｍ、及び垂直駆動部３１４が設けられている。
画素アレイ３０２には、画素３０３が、垂直方向にＮ行および水平方向にＭ列並ぶように設けられている。例えば、第１列には、画素３０３−１−１〜画素３０３−１−Ｎが配置されている。第Ｍ列には、画素３０３−Ｍ−１〜画素３０３−Ｍ−Ｎが配置されている。
１つの垂直列に並んだ複数の画素は、１つの垂直信号線に接続されている。例えば、画素３０３−１−１〜画素３０３−１−Ｎは、垂直信号線３０４−１に接続されている。
１つの垂直列に並んだ複数の画素は、１つの垂直信号線に接続されている。例えば、画素３０３−１−１〜画素３０３−１−Ｎは、垂直信号線３０４−１に接続されている。
ＤＡＣ３１２及びコンパレータ３１３−１〜３１３−Ｍは、カラムＡＤ回路（カラム処理部ともいう）を構成しうる。例えば、コンパレータ３１３−１〜３１３−Ｍのそれぞれは、垂直信号線３０４−１〜３０４−Ｍのそれぞれを介して供給される信号電荷を、ＤＡＣ３１２より供給されてくるリファレンス信号と比較し、比較結果を出力しうる。コンパレータ３１３−１〜３１３−Ｍには、リファレンス信号の出力電圧を変化させるクロックに同期してカウント値をカウントするカウンタ（図示されていない）が設けられていてよい。このカウンタは、上記比較結果に応じて、カウント値をデジタル信号として出力しうる。
画素アレイ３０２上の画素又は画素ブロックから、垂直駆動部３１４より行単位で供給される制御信号に従い、垂直信号線３０４−１〜３０４−Ｍを介して信号電荷に応じた画素信号が読み出される。そして、アナログ電圧信号である画素信号が、カラムＡＤ回路によって行単位でデジタルデータに変換される。本技術に従い画素信号を画素毎に処理する場合には、撮像面全面の画素信号を読みだすために、Ｍ×Ｎ回のＡＤ変換が行われうる。
制御部１０４は、光学系１０１、シャッタ装置１０２、及び画素アレイ部１０３を制御しうる。また、制御部１０４は、本技術に従い得られた画像をモニタ１０５に表示させ、又は、本技術に従い得られた画像データをメモリ１０６に格納しうる。また、制御部１０４は、メモリ１０６に格納された画像データを取得し、モニタ１０５に表示させうる。
電荷転送制御部１０７は、本技術に従い信号電荷の転送を制御する。例えば、電荷転送制御部１０７は、画素アレイ部１０３に含まれる各画素の光電変換素子に蓄積した信号電荷の転送を制御しうる。当該信号電荷の転送制御は、例えば、各画素に含まれる複数のトランジスタ及び／又はスイッチをオン又はオフとすることによって行われうる。当該信号電荷の転送制御により、所定の電荷保持部に所定のサブフレーム信号電荷が保持される。
画素加算処理部１０８は、本技術に従い、画素ブロック毎にサブフレーム信号電荷に応じた画素信号を画素加算する。
例えば、画素加算処理部１０８は、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を画素加算するように、画素アレイ部１０３を制御する。
画素加算は、例えば複数画素の信号電荷を１つのＦＤに集めることにより行われてよい。具体的には、複数のＦＤを接続する配線によって、これらのＦＤは、実効的に１つの容量として作用する。この容量に、複数画素の信号電荷を転送することにより、信号電荷の加算が行われうる。代替的には、複数のＰＤに保持されている信号電荷を１つのＦＤに転送することによって、これらの信号電荷が１つのＦＤに集められうる。このように信号電荷に対して行われる画素加算をＦＤ加算ともいう。ＦＤ加算は、例えば、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部又は各第二の電荷保持部に保持されたサブフレーム信号電荷を、それぞれの画素のＦＤに転送する際、これらの画素のＦＤ同士を、選択的にオン又はオフできる配線によって接続することによって行われうる。
画素加算は、例えば信号電圧を加算することによって行われてもよい。具体的には、信号電圧の加算は、一つの垂直信号線に接続している複数の画素の選択トランジスタを同時に開いて当該複数の画素の信号電圧を加算すること、及び／又は、水平方向に接続された複数の垂直信号線の信号電圧を加算すること、によって行われてよい。このように信号電圧に対して行われる画素加算をＳＦ（ソースフォロア）加算ともいう。ＳＦ加算は、例えば、垂直信号線を水平方向に接続する配線上に設けられたスイッチ群のうち、画素加算されるべき垂直信号線を接続する配線上の所定のスイッチをオンにすることによって行われうる。
本技術において、画素加算は、ＦＤ加算若しくはＳＦ加算であってよく、又は、ＦＤ加算及びＳＦ加算の組み合わせであってもよい。
画素加算処理部１０８は、所定のトランジスタ群及び／又はスイッチ群のオン又はオフを切り替えることにより画素加算を行いうる。画素加算は、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部又は各第二の電荷保持部に保持された信号電荷又は信号電圧を一括して読み出すための配線並びにトランジスタ群及び／又はスイッチ群を設けることによって、実現されうる。
例えば、画素加算処理部１０８は、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を画素加算するように、画素アレイ部１０３を制御する。
画素加算は、例えば複数画素の信号電荷を１つのＦＤに集めることにより行われてよい。具体的には、複数のＦＤを接続する配線によって、これらのＦＤは、実効的に１つの容量として作用する。この容量に、複数画素の信号電荷を転送することにより、信号電荷の加算が行われうる。代替的には、複数のＰＤに保持されている信号電荷を１つのＦＤに転送することによって、これらの信号電荷が１つのＦＤに集められうる。このように信号電荷に対して行われる画素加算をＦＤ加算ともいう。ＦＤ加算は、例えば、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部又は各第二の電荷保持部に保持されたサブフレーム信号電荷を、それぞれの画素のＦＤに転送する際、これらの画素のＦＤ同士を、選択的にオン又はオフできる配線によって接続することによって行われうる。
画素加算は、例えば信号電圧を加算することによって行われてもよい。具体的には、信号電圧の加算は、一つの垂直信号線に接続している複数の画素の選択トランジスタを同時に開いて当該複数の画素の信号電圧を加算すること、及び／又は、水平方向に接続された複数の垂直信号線の信号電圧を加算すること、によって行われてよい。このように信号電圧に対して行われる画素加算をＳＦ（ソースフォロア）加算ともいう。ＳＦ加算は、例えば、垂直信号線を水平方向に接続する配線上に設けられたスイッチ群のうち、画素加算されるべき垂直信号線を接続する配線上の所定のスイッチをオンにすることによって行われうる。
本技術において、画素加算は、ＦＤ加算若しくはＳＦ加算であってよく、又は、ＦＤ加算及びＳＦ加算の組み合わせであってもよい。
画素加算処理部１０８は、所定のトランジスタ群及び／又はスイッチ群のオン又はオフを切り替えることにより画素加算を行いうる。画素加算は、一つの画素ブロックを構成する複数画素中の各第一の電荷保持部又は各第二の電荷保持部に保持された信号電荷又は信号電圧を一括して読み出すための配線並びにトランジスタ群及び／又はスイッチ群を設けることによって、実現されうる。
動体検知部１０９は、画素加算処理部１０８により生成された第一の電圧信号と第二の電圧信号とを比較することにより動体を検知する。
当該比較は、例えば、画素加算により得られた電圧信号を変換して得られたディジタル信号に基づき行われうる。当該変換は、当業者に既知の手段、例えばアナログ−デジタルコンバータ（ＡＤコンバータともいう）を用いて行われてよい。ＡＤコンバータによる処理は、例えばシングルスロープＡＤ変換、Δ−ΣＡＤ変換、又は逐次比較ＡＤ変換であってよく、好ましくはシングルスロープＡＤ変換でありうる。上記変換の結果得られたディジタル信号に基づき、動体検知が行われうる。
シングルスロープＡＤＣを用いて、第一の電圧信号及び第二の電圧信号の差のディジタル値を生成し、その値に基づき動体検知を行う場合の具体的な処理は例えば以下のとおりである。すなわち、（１）第一の電圧信号に対してＡＤ変換を行い、カウンタを、初期値０からダウンカウントする。（２）次に、（１）のカウント値を初期値として、第二の電圧信号に対するＡＤ変換を行い、カウンタをアップカウントする。（３）上記（２）のアップカウントの結果、カウンタが保持する値（カウンタ値）が、第一の電圧信号と第二の電圧信号との差のディジタル値となる。（４）当該カウンタ値が、所定の閾値を超えた場合に、動体が検知されたと判断されうる。代替的には、上記（１）のカウント値をデータ格納部（図６の６０３）に格納しておき、上記（１）と（３）のディジタル値の比をディジタル回路又はソフトウェアで求め、その比が所定の閾値を超えた場合に、動体が検知されたと判断されてもよい。
Δ−ΣＡＤＣを用いて、第一の電圧信号及び第二の電圧信号の差のディジタル値を生成し、その値に基づき動体検知を行う場合の具体的な処理は例えば以下のとおりである。すなわち、（１）第一の電圧信号を、Δ−ΣＡＤＣ回路の第１の容量にサンプルホールドする。（２）第一の電圧信号を、Δ−ΣＡＤＣ回路の第２の容量にサンプルホールドする。（３）第１と第２の容量に保持された電圧の差を、Δ−ΣＡＤＣ回路でディジタル値に変換する。（４）当該ディジタル値に基づき、前記シングルスロープＡＤＣ場合と同様に、動体が検知されたかどうかが判断されうる。
アナログ除算器を用いて、第一の電圧信号及び第二の電圧信号の比を求め、当該比に基づき動体検知を行う場合の具体的な処理は以下のとおりである。すなわち、（１）第一の電圧信号を、カラム処理部（図６の６０２）の第１の容量にサンプルホールドする。（２）第二の電圧信号を、カラム処理部（図６の６０２）の第２の容量にサンプルホールドする。（３）第１及び第２の容量にサンプルホールドされた電圧信号を、アナログ除算器に印加し、両者の比の電圧を生成する。（４）当該比電圧を、例えばＳＳ―ＡＤＣ又はΔ−ΣＡＤＣなどの公知の技術によって、ディジタル値に変換する。（５）当該ディジタル値が所定の閾値を超えた場合に、動体が検知されたと判断されうる。
前記比較は、以上のように、第一の電圧信号と第二の電圧信号との差、第一の電圧信号と第二の電圧信号との差を当該第一の電圧信号によって除した値、又は第一の電圧信号を第二の電圧信号によって除した値を用いて行われうる。これらの値を得るための演算は、例えば、アナログ回路（割り算器）、論理回路、又は任意のソフトウェアを用いることにより行われうる。また、これら電圧信号は、例えばアナログメモリ（Ｓ／Ｈ回路）又はＡＤ変換後にロジックメモリ（レジスタ）に記憶されうる。
動体検知部１０９は、これらの値（特にはディジタル値）のいずれか一つ又は二つ以上を所定の閾値と比較して、当該閾値以上である場合は撮像領域内に動体が存在すると判定してよく、且つ、当該閾値未満である場合は撮像領域内に動体が存在しないと判定してよい。当該閾値は、過去のサブフレームにおいて得られた電圧信号を用いて変化されてもよい。例えば、過去の１〜１０フレーム（特には３〜７フレーム）におけるサブフレーム信号電荷に基づき得られた電圧信号に基づき、当該閾値が設定されてよい。また、複数の画素ブロックにおける第一の電圧信号と第二の電圧信号との比較結果を用いて、高次画像処理によって動体が検出されてもよい。
当該比較は、例えば、画素加算により得られた電圧信号を変換して得られたディジタル信号に基づき行われうる。当該変換は、当業者に既知の手段、例えばアナログ−デジタルコンバータ（ＡＤコンバータともいう）を用いて行われてよい。ＡＤコンバータによる処理は、例えばシングルスロープＡＤ変換、Δ−ΣＡＤ変換、又は逐次比較ＡＤ変換であってよく、好ましくはシングルスロープＡＤ変換でありうる。上記変換の結果得られたディジタル信号に基づき、動体検知が行われうる。
シングルスロープＡＤＣを用いて、第一の電圧信号及び第二の電圧信号の差のディジタル値を生成し、その値に基づき動体検知を行う場合の具体的な処理は例えば以下のとおりである。すなわち、（１）第一の電圧信号に対してＡＤ変換を行い、カウンタを、初期値０からダウンカウントする。（２）次に、（１）のカウント値を初期値として、第二の電圧信号に対するＡＤ変換を行い、カウンタをアップカウントする。（３）上記（２）のアップカウントの結果、カウンタが保持する値（カウンタ値）が、第一の電圧信号と第二の電圧信号との差のディジタル値となる。（４）当該カウンタ値が、所定の閾値を超えた場合に、動体が検知されたと判断されうる。代替的には、上記（１）のカウント値をデータ格納部（図６の６０３）に格納しておき、上記（１）と（３）のディジタル値の比をディジタル回路又はソフトウェアで求め、その比が所定の閾値を超えた場合に、動体が検知されたと判断されてもよい。
Δ−ΣＡＤＣを用いて、第一の電圧信号及び第二の電圧信号の差のディジタル値を生成し、その値に基づき動体検知を行う場合の具体的な処理は例えば以下のとおりである。すなわち、（１）第一の電圧信号を、Δ−ΣＡＤＣ回路の第１の容量にサンプルホールドする。（２）第一の電圧信号を、Δ−ΣＡＤＣ回路の第２の容量にサンプルホールドする。（３）第１と第２の容量に保持された電圧の差を、Δ−ΣＡＤＣ回路でディジタル値に変換する。（４）当該ディジタル値に基づき、前記シングルスロープＡＤＣ場合と同様に、動体が検知されたかどうかが判断されうる。
アナログ除算器を用いて、第一の電圧信号及び第二の電圧信号の比を求め、当該比に基づき動体検知を行う場合の具体的な処理は以下のとおりである。すなわち、（１）第一の電圧信号を、カラム処理部（図６の６０２）の第１の容量にサンプルホールドする。（２）第二の電圧信号を、カラム処理部（図６の６０２）の第２の容量にサンプルホールドする。（３）第１及び第２の容量にサンプルホールドされた電圧信号を、アナログ除算器に印加し、両者の比の電圧を生成する。（４）当該比電圧を、例えばＳＳ―ＡＤＣ又はΔ−ΣＡＤＣなどの公知の技術によって、ディジタル値に変換する。（５）当該ディジタル値が所定の閾値を超えた場合に、動体が検知されたと判断されうる。
前記比較は、以上のように、第一の電圧信号と第二の電圧信号との差、第一の電圧信号と第二の電圧信号との差を当該第一の電圧信号によって除した値、又は第一の電圧信号を第二の電圧信号によって除した値を用いて行われうる。これらの値を得るための演算は、例えば、アナログ回路（割り算器）、論理回路、又は任意のソフトウェアを用いることにより行われうる。また、これら電圧信号は、例えばアナログメモリ（Ｓ／Ｈ回路）又はＡＤ変換後にロジックメモリ（レジスタ）に記憶されうる。
動体検知部１０９は、これらの値（特にはディジタル値）のいずれか一つ又は二つ以上を所定の閾値と比較して、当該閾値以上である場合は撮像領域内に動体が存在すると判定してよく、且つ、当該閾値未満である場合は撮像領域内に動体が存在しないと判定してよい。当該閾値は、過去のサブフレームにおいて得られた電圧信号を用いて変化されてもよい。例えば、過去の１〜１０フレーム（特には３〜７フレーム）におけるサブフレーム信号電荷に基づき得られた電圧信号に基づき、当該閾値が設定されてよい。また、複数の画素ブロックにおける第一の電圧信号と第二の電圧信号との比較結果を用いて、高次画像処理によって動体が検出されてもよい。
電荷処理部１１０は、画素毎に信号電荷の処理を行う。例えば、前記動体検知部１０９によって動体が検知されたことに応じて、制御部１０４は、画素加算処理部１０８による画素加算処理を停止する。画素加算処理の停止は、例えば、画素加算を行うための配線上に設けられたトランジスタ群及び／又はスイッチ群をオフにすることによって、画素ブロック内の複数画素を電気的に接続されていない状態にすることによって行われうる。
電荷処理部１１０による画素毎の信号電荷の処理は、画像（例えば静止画像又は動画像）を得るための一般的な信号電荷処理であってよい。電荷処理部１１０によって、画素毎に信号電荷を処理することで高解像度の画像が得られる。
電荷処理部１１０による信号電荷処理は、動体検知部１０９により動体が検知されたフレームの直後のフレームにおける露光で得られた信号電荷に対して行われてよい。これにより、動体検出直後のフレームでの撮像が可能となる。例えば、動体が検出されてから、動体検知モードの間の１フレーム時間が経過する前に、又は、動体検知モードの間の１フレーム時間の半分の時間が経過する前に、当該動体を撮像することができる。
電荷処理部１１０による信号電荷処理は、動体検知部１０９により動体が検知されたフレーム内における露光で得られた信号電荷に対して行われてもよい。これにより、動体が検出されたフレーム内で、当該動体を撮像することができる。
電荷処理部１１０による画素毎の信号電荷の処理は、画像（例えば静止画像又は動画像）を得るための一般的な信号電荷処理であってよい。電荷処理部１１０によって、画素毎に信号電荷を処理することで高解像度の画像が得られる。
電荷処理部１１０による信号電荷処理は、動体検知部１０９により動体が検知されたフレームの直後のフレームにおける露光で得られた信号電荷に対して行われてよい。これにより、動体検出直後のフレームでの撮像が可能となる。例えば、動体が検出されてから、動体検知モードの間の１フレーム時間が経過する前に、又は、動体検知モードの間の１フレーム時間の半分の時間が経過する前に、当該動体を撮像することができる。
電荷処理部１１０による信号電荷処理は、動体検知部１０９により動体が検知されたフレーム内における露光で得られた信号電荷に対して行われてもよい。これにより、動体が検出されたフレーム内で、当該動体を撮像することができる。
信号処理部１１１は、画素加算処理部１０８による処理の結果得られた各画素ブロックの信号電圧に基づき又は電荷処理部１１０による処理の結果得られた各画素の信号電圧に基づき、モニタ１０５に画像を表示させうる。又は、信号処理部１１１は、画素加算処理部１０８による処理の結果得られた各画素ブロックの信号電圧に基づき又は電荷処理部１１０による処理の結果得られた各画素の信号電圧に基づき、画像データをメモリ１０６に記憶させうる。
光学系１０１は、１枚または複数枚のレンズを有しうる。光学系１０１は、被写体からの光（入射光）を画素アレイ部１０３に導き、そして、画素アレイ部１０３の受光面にて結像させる。光学系１０１は、例えば撮像装置１００の種類に応じて、当業者により適宜選択されてよい。
シャッタ装置１０２は、光学系１０１および画素アレイ部１０３の間に配置されうる。シャッタ装置１０２は、制御部１０４によって制御されて、画素アレイ部１０３の露光期間を制御する。例えば、動体検知部１０９による動体検知が行われている間の露光期間と、動体が検知された後の撮像における露光期間とは、異なりうる。また、動体検知部１０９による動体検知が行われている間の１フレーム内の複数回の露光における各露光期間も互いに異なりうる。所望の時間の間露光が行われるように、制御部１０４は、シャッタ装置１０２を制御しうる。
モニタ１０５は、制御部１０４により制御下で画像を表示しうる。メモリ１０６は、制御部１０４による制御下で得られた画像データを格納しうる。
なお、図１に記載の撮像装置１００、電荷転送制御部１０７、画素加算処理部１０８、及び電荷処理部１０９が、制御部１０４に含まれるように構成されている。本技術に従う撮像装置は、当該構成に限定されるものでない。例えば、撮像装置内の撮像素子が、電荷転送制御部、画素加算処理部、及び電荷処理部を含んでもよい。この場合、例えば撮像素子の下チップに、電荷転送制御部、画素加算処理部、及び電荷処理部が設けられ、且つ、撮像チップの上チップに画素アレイ部が設けられうる。
なお、図１に記載の撮像装置１００、電荷転送制御部１０７、画素加算処理部１０８、及び電荷処理部１０９が、制御部１０４に含まれるように構成されている。本技術に従う撮像装置は、当該構成に限定されるものでない。例えば、撮像装置内の撮像素子が、電荷転送制御部、画素加算処理部、及び電荷処理部を含んでもよい。この場合、例えば撮像素子の下チップに、電荷転送制御部、画素加算処理部、及び電荷処理部が設けられ、且つ、撮像チップの上チップに画素アレイ部が設けられうる。
（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）
（３−１）撮像装置の構成例
以下で、本技術に従い、動体検知後１フレーム時間内で撮像する撮像装置の例及び当該撮像装置による動体検知の例を、図１及び４を参照しながら説明する。図１は、当該撮像装置の一例のブロック図であり、撮像装置１００に含まれる各構成要素は、上記「（２）第１の実施形態の第１の例（撮像装置）」において述べたとおりである。以下では、撮像装置１００に含まれる構成要素のうち、特に撮像素子１１２について、より特には撮像素子１１２に含まれうる画素アレイ部１０３及び制御部１０４について、より詳細に説明する。
（３−２）撮像装置に含まれる撮像素子の構成例
撮像素子１１２は、画素加算を行うことができるように構成されている。本技術において、画素加算とは例えば、複数の画素で取得された信号電荷を、画素毎に読み出すのでなく、当該複数の画素で取得された信号電荷を一括して読み出すことでありうる。画素加算の手法として、例えばＦＤ加算、隣接垂直信号線（ＶＳＬ）間での容量加算、及びソースフォロワ加算を挙げることができる。本技術において、撮像素子は、これらの画素加算のうちのいずれか一つ又は二つ以上の画素加算を行うことができるように構成されていてよい。撮像素子１１２が画素加算を行うことができるように構成されていることで、本技術における画素加算処理部１０８による画素加算が可能となる。また、動体検知の間は、画素加算処理によって、画素毎に信号電荷を読み出す場合と比べて、消費電力を低減することができる。本技術において、画素加算が行われる複数の画素からなる一群を画素ブロックともいう。
画素加算を行うことができる撮像素子の構成例、特には画素アレイ部の構成例を図４に示す。図４に示されるとおり、画素ブロック４００は、垂直信号線４０９に接続されている画素４０１−１〜画素４０１−ｎの合計ｎの画素が垂直方向に並んだ画素列を含む。画素ブロック４００は、他の垂直信号線に接続されておりかつ同じ行に属する複数画素の列を含んでもよい。画素４０１−１〜画素４０１−ｎはいずれも同じ構成を有しうる。画素４０１−１は、光電変換素子（以下、ＰＤともいう）４０２−１、フローティングディフュージョン（ＦＤともいう）４０３−１、転送（ＴＲＧともいう）トランジスタ４０４−１、リセット（ＲＳＴともいう）トランジスタ４０５−１、増幅トランジスタ４０６−１、選択トランジスタ４０７−１、及びＦＤリンク（以下、ＦＤＬともいう）トランジスタ４０８−１を含む。
図４において、ＦＤ４０３−１が、本技術における第一の電荷保持部であり、ＰＤ４０２−１が、本技術における第二の電荷保持部である。
図４において、ＦＤ４０３−１が、本技術における第一の電荷保持部であり、ＰＤ４０２−１が、本技術における第二の電荷保持部である。
転送トランジスタ４０４−１は、露光によりＰＤ４０２−１に蓄積された信号電荷のＦＤ４０３−１への転送を制御することができるように構成されている。例えば、図４に示されるとおり、転送トランジスタ４０４−１は、ＰＤ４０２−１とＦＤ４０３−１をつなぐ配線の間に設けられていてよい。
電荷転送制御部１０７が、転送トランジスタ４０４−１を制御することによって、ＰＤ４０２−１に蓄積された信号電荷のＦＤ４０３−１への転送を制御しうる。例えば、電荷転送制御部１０７が転送トランジスタ４０４−１をオンにすることによって、露光によりＰＤ４０２−１に蓄積された信号電荷が、ＦＤ４０３−１に転送され、そして、当該信号電荷は、ＦＤ４０３−１に保持される。また、電荷転送制御部１０７が転送トランジスタ４０４−１をオフにすることによって、露光によってＰＤ４０２−１に蓄積された信号電荷は、ＰＤ４０２−１に保持される。
電荷転送制御部１０７が、転送トランジスタ４０４−１を制御することによって、ＰＤ４０２−１に蓄積された信号電荷のＦＤ４０３−１への転送を制御しうる。例えば、電荷転送制御部１０７が転送トランジスタ４０４−１をオンにすることによって、露光によりＰＤ４０２−１に蓄積された信号電荷が、ＦＤ４０３−１に転送され、そして、当該信号電荷は、ＦＤ４０３−１に保持される。また、電荷転送制御部１０７が転送トランジスタ４０４−１をオフにすることによって、露光によってＰＤ４０２−１に蓄積された信号電荷は、ＰＤ４０２−１に保持される。
ＦＤＬトランジスタ４０８−１は、１つの画素ブロックを構成する各画素内のＦＤ４０３−１に保持された電荷の加算を制御できるように構成されている。例えば、図４に示されるとおり、ＦＤＬトランジスタ４０８−１は、１つの画素ブロック内の１つの列を構成する複数画素のそれぞれのＦＤ４０３−１〜４０３−ｎを接続するフローティング配線（以下、ＦＤＬ配線ともいう）４１１上に設けられていてよい。
すなわち、１つの画素ブロックのそれぞれにおいて、各画素のＦＤが垂直方向にＦＤＬ配線によって連結されている。当該ＦＤＬ配線は、ＦＤが連結されている状態と連結されていない状態とを切り替え可能であるように構成されている。例えば、ＦＤＬ配線上に設けられたＦＤＬトランジスタをオン又はオフとすることによって、ＦＤが連結されている状態と連結されていない状態とを切り替えることができる。ＦＤに保持されているサブフレーム信号電荷の加算は、前記ＦＤＬ配線を前記連結されている状態とすることにより行われる。ＦＤＬ配線は、画素加算を行うための配線ともいえる。
画素加算処理部１０８は、ＦＤＬトランジスタ４０８−１を制御することによって、ＦＤ４０３−１に保持された信号電荷の加算を制御しうる。例えば、１つの画素ブロックを構成する各画素内のＦＤＬトランジスタ４０８−１〜４０８−ｎをすべてオンにすることで、ＦＤ４０３−１〜ＦＤ４０３−ｎに保持された信号電荷が加算されうる。また、ＦＤＬトランジスタがオンにされる画素を選択することで、信号電荷が加算される画素を選択することができ、すなわち画素ブロックを構成する画素を選択することができる。また、動体検知後に画素毎に信号電荷を処理する場合には、画素領域中のＦＤＬトランジスタ４０８−１は全てオフにされうる。すなわち、撮像装置１００は、動体が検知されたことに応じて、画素加算処理部１０８による画素加算処理を停止する。
ＦＤＬトランジスタ４０８−１〜４０８−ｎをすべてオンにした状態で、選択トランジスタ４０７−１〜４０７−ｎのうちのいずれか一つの所定の選択トランジスタをオンにすることによって、加算された信号電荷を当該所定の選択トランジスタから出力されたものであるとして取り扱うことができる。
すなわち、１つの画素ブロックのそれぞれにおいて、各画素のＦＤが垂直方向にＦＤＬ配線によって連結されている。当該ＦＤＬ配線は、ＦＤが連結されている状態と連結されていない状態とを切り替え可能であるように構成されている。例えば、ＦＤＬ配線上に設けられたＦＤＬトランジスタをオン又はオフとすることによって、ＦＤが連結されている状態と連結されていない状態とを切り替えることができる。ＦＤに保持されているサブフレーム信号電荷の加算は、前記ＦＤＬ配線を前記連結されている状態とすることにより行われる。ＦＤＬ配線は、画素加算を行うための配線ともいえる。
画素加算処理部１０８は、ＦＤＬトランジスタ４０８−１を制御することによって、ＦＤ４０３−１に保持された信号電荷の加算を制御しうる。例えば、１つの画素ブロックを構成する各画素内のＦＤＬトランジスタ４０８−１〜４０８−ｎをすべてオンにすることで、ＦＤ４０３−１〜ＦＤ４０３−ｎに保持された信号電荷が加算されうる。また、ＦＤＬトランジスタがオンにされる画素を選択することで、信号電荷が加算される画素を選択することができ、すなわち画素ブロックを構成する画素を選択することができる。また、動体検知後に画素毎に信号電荷を処理する場合には、画素領域中のＦＤＬトランジスタ４０８−１は全てオフにされうる。すなわち、撮像装置１００は、動体が検知されたことに応じて、画素加算処理部１０８による画素加算処理を停止する。
ＦＤＬトランジスタ４０８−１〜４０８−ｎをすべてオンにした状態で、選択トランジスタ４０７−１〜４０７−ｎのうちのいずれか一つの所定の選択トランジスタをオンにすることによって、加算された信号電荷を当該所定の選択トランジスタから出力されたものであるとして取り扱うことができる。
ＲＳＴトランジスタ４０５−１、増幅トランジスタ４０６−１、及び選択トランジスタ４０７−１は、例えば通常のＣＭＯＳイメージセンサにおける信号電荷処理と同様の処理を行うことができるように構成されていてよい。
例えば画素４０１−１は、選択トランジスタ４０７−１を介して垂直信号線４０９に接続されていてよい。すなわち、選択トランジスタ４０７−１は、垂直信号線４０９と増幅トランジスタ４０６−１を接続する配線上に設けられていてよい。
また、増幅トランジスタ４０６−１は、選択トランジスタ４０７−１とＦＤ４０３−１とを接続する配線上に設けられていてよい。
また、リセットトランジスタ４０５−１は、例えばＦＤ４０３−１及び／又はＰＤ４０２−１などを電源電圧４１０−１にリセットすることが可能なように設けられていてよい。図４において、リセットトランジスタ４０５−１は、ＦＤ４０３−１と電源電圧４１０−１を接続する配線上に設けられている。
例えば画素４０１−１は、選択トランジスタ４０７−１を介して垂直信号線４０９に接続されていてよい。すなわち、選択トランジスタ４０７−１は、垂直信号線４０９と増幅トランジスタ４０６−１を接続する配線上に設けられていてよい。
また、増幅トランジスタ４０６−１は、選択トランジスタ４０７−１とＦＤ４０３−１とを接続する配線上に設けられていてよい。
また、リセットトランジスタ４０５−１は、例えばＦＤ４０３−１及び／又はＰＤ４０２−１などを電源電圧４１０−１にリセットすることが可能なように設けられていてよい。図４において、リセットトランジスタ４０５−１は、ＦＤ４０３−１と電源電圧４１０−１を接続する配線上に設けられている。
（３−３）撮像装置の動作の例
以下で、本技術に従う撮像装置１００によって動体検知を行いそして動体検知後１フレーム時間内で撮像する場合の当該撮像装置１００の動作について、図４〜６を参照して説明する。図４は、上記「（３−２）撮像装置に含まれる撮像素子の構成例」において説明したとおりである。図５は、本技術に従う撮像装置１００による動体検知の間及び動体検知後の動体の撮像の間の、撮像素子の動作の模式図（上図）及び当該動作における１つの画素行に関するタイミングチャート（下図）である。図６は、撮像素子の画素アレイ部及びその周囲の構成例を示す図である。
本技術に従う撮像装置１００による動体検知の間の信号電荷の処理は、一般的なＣＭＯＳイメージセンサによる撮像のための信号電荷の処理と異なる。そこで、まず一般的なＣＭＯＳイメージセンサによる撮像のための信号電荷の処理を説明し、次に、本技術に従う撮像装置１００による動体検知における信号電荷の処理を説明する。
一般的なＣＭＯＳイメージセンサでは、各画素からの出力の読み出しのために、いわゆるＰ相出力とＤ相出力とが取得され、そして、これらＰ相出力とＤ相出力との間の差分が取得されうる。当該差分が、画素の光電変換素子に蓄積した信号電荷に基づく画像信号として用いられうる。ここで、上記Ｐ相出力とは、ＲＳＴトランジスタをオンにすることでＦＤをリセットし、リセット後、選択トランジスタをオンにすることで得られる出力である。また、露光により光電変換素子に蓄積した信号電荷が、転送トランジスタをオンにすることでＦＤに転送される。当該転送された信号電荷に基づく出力が上記Ｄ相出力である。
一方で、本技術に従う撮像装置１００による動体検知の間の信号電荷の処理では、上記Ｐ相出力とＤ相出力との間の差分とは異なる差分が取得される。本技術に従う撮像装置１００による動体検知の間の信号電荷の処理において取得される差分は、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレームにおいて光電変換素子に蓄積した信号電荷に基づき取得された出力（電圧信号）と、他の一つのサブフレーム信号電荷に基づき取得された出力（電圧信号）と、の間の差分でありうる。より特には、当該差分は、一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（ダウンカウント）及び他の一つのサブフレーム信号（Ｄ相信号）のＡＤ変換（アップカウント）の結果得られるディジタル信号値でありうる。本技術に従う撮像装置１００による動体検知の間の信号電荷の処理では、ＦＤがリセットされた状態で得られる出力は用いられず、すなわち上記の一般的なＣＭＯＳイメージセンサにおいて取得されるＰ相出力は用いられなくてよい。
本技術に従う撮像装置１００による動体検知の間の信号電荷の処理において取得される差分について、図５の模式図を参照して説明する。
当該模式図において、左から右に向かって時間が進行している。撮像装置１００は、期間Ｄ１において、動体検知モードでの撮像を行っており、すなわち、本技術における画素加算処理部による画素加算処理が行われている。当該模式図では、期間Ｄ１中のフレームＦｎ−１においては動体が検知されず、次のフレームＦｎにおいて動体が検知されたことが示されている。動体が検知された時点がＰである。
時点Ｐにおいて動体が検知されたことに応じて、撮像装置１００は、動体検知モードから動体撮像モードへと撮像の仕方を変更し、すなわち電荷処理の仕方を画素ブロック毎の画素加算処理から画素毎の電荷処理へと変更する。撮像装置１００は、期間Ｄ２において、動体撮像モードでの撮像を行っている。
時点Ｐにおいて動体が検知されたことに応じて、撮像装置１００は、動体検知モードから動体撮像モードへと撮像の仕方を変更し、すなわち電荷処理の仕方を画素ブロック毎の画素加算処理から画素毎の電荷処理へと変更する。撮像装置１００は、期間Ｄ２において、動体撮像モードでの撮像を行っている。
当該模式図に示されるとおり、動体検知モードでは、１フレーム中に２回露光が行われる。当該模式図では、フレームＦｎ−１及びＦｎのそれぞれにおいて２回露光が行われる。１フレーム中の当該２回の露光の露光期間をサブフレームと呼ぶ。
最初の露光期間は、当該模式図中のｔ１により示される期間である。２回目の露光期間は、当該模式図中のｔ２により示される期間である。ｔ１により示される期間及びｔ２により示される期間が、フレームＦｎ−１のサブフレームである。
斜線ＳＨは、画素アレイの各行の露光開始時点を示す。なお、各画素行は、逐次的に露光が開始されうるが、便宜上開始時点を斜線ＳＨで示している。
斜線ＴＲは、露光期間ｔ１の間に光電変換素子に蓄積した信号電荷のＦＤへの転送時点を示す。また、当該転送時点は、露光期間ｔ２の開始時点でもある。なお、各画素行は、逐次的に転送が開始されうるが、便宜上転送時点を斜線ＴＲで示している。
斜線ＲＯは、信号電荷の読み出しが開始される時点を示す。すなわち、斜線ＲＯの時点にて、各画素行においてアナログデジタル変換が開始される。当該模式図では、アナログデジタル変換が行われる期間が、ラインＡＤＣ上の四角で表されている。ＡＤＣが行われる期間において、同時に動体検知が行われる。当該模式図では、動体検知が行われる期間が、ラインＳ（Ｓｅｎｓｉｎｇ）上の四角で表されている。
最初の露光期間は、当該模式図中のｔ１により示される期間である。２回目の露光期間は、当該模式図中のｔ２により示される期間である。ｔ１により示される期間及びｔ２により示される期間が、フレームＦｎ−１のサブフレームである。
斜線ＳＨは、画素アレイの各行の露光開始時点を示す。なお、各画素行は、逐次的に露光が開始されうるが、便宜上開始時点を斜線ＳＨで示している。
斜線ＴＲは、露光期間ｔ１の間に光電変換素子に蓄積した信号電荷のＦＤへの転送時点を示す。また、当該転送時点は、露光期間ｔ２の開始時点でもある。なお、各画素行は、逐次的に転送が開始されうるが、便宜上転送時点を斜線ＴＲで示している。
斜線ＲＯは、信号電荷の読み出しが開始される時点を示す。すなわち、斜線ＲＯの時点にて、各画素行においてアナログデジタル変換が開始される。当該模式図では、アナログデジタル変換が行われる期間が、ラインＡＤＣ上の四角で表されている。ＡＤＣが行われる期間において、同時に動体検知が行われる。当該模式図では、動体検知が行われる期間が、ラインＳ（Ｓｅｎｓｉｎｇ）上の四角で表されている。
当該タイミングチャートは、１つの画素行に関するものである。ＲＳＴはリセットトランジスタのオンまたはオフを表し、ＴＲＧは転送トランジスタのオンまたはオフを表し、ＳＥＬは選択トランジスタのオンまたはオフを表し、ＶＦＬはＦＤＬトランジスタのオンまたはオフを表す。ＶＦＤはＦＤの電圧を表し、ＶＳＬは垂直信号線から出力される電圧を表す。ＣＮＴは、カウンタが、各時点で保持している計数値を表す。例えば、ＡＤ変換が開始される前は、カウンタの値はゼロである。ＡＤ変換が開始され、ダウンカウントが続いている期間は、当該計数値が負の向きに変化し続け（右下がりの傾き）、アップカウントが続いている期間は、計数値が正の向きに変化し続ける（右上がりの傾き）。ダウンカウント及びアップカウントの終了後にカウンタが保持している計数値が、第一の電圧信号と第二の電圧信号との間の差を表すディジタル値でありうる。
信号電荷の具体的な処理の例を以下に説明する。以下の工程は、当該処理に含まれる主な工程であり、他の工程が含まれてもよい。
（工程１）
まず、図４中のＰＤ４０２−１〜４０２−ｎ及びＦＤ４０３−１〜４０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ４０５−１〜４０５−ｎ及び転送トランジスタ４０４−１〜４０４−ｎをオンにすることにより行われてよい。
まず、図４中のＰＤ４０２−１〜４０２−ｎ及びＦＤ４０３−１〜４０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ４０５−１〜４０５−ｎ及び転送トランジスタ４０４−１〜４０４−ｎをオンにすることにより行われてよい。
（工程２）
次に、ＰＤ４０２−１〜４０２−ｎに対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ４０２−１〜４０２−ｎのそれぞれに第一のサブフレーム信号電荷が蓄積する。
次に、ＰＤ４０２−１〜４０２−ｎに対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ４０２−１〜４０２−ｎのそれぞれに第一のサブフレーム信号電荷が蓄積する。
（工程３）
次に、ＰＤ４０２−１〜４０２−ｎのそれぞれに露光期間ｔ１の間に蓄積した各信号電荷が、転送トランジスタ４０４−１〜４０４−ｎをオンにすることで、ＦＤ４０３−１〜４０３−ｎのそれぞれに転送される。そして、当該各信号電荷は、ＦＤ４０３−１〜４０３−ｎのそれぞれに保持される。当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。
次に、ＰＤ４０２−１〜４０２−ｎのそれぞれに露光期間ｔ１の間に蓄積した各信号電荷が、転送トランジスタ４０４−１〜４０４−ｎをオンにすることで、ＦＤ４０３−１〜４０３−ｎのそれぞれに転送される。そして、当該各信号電荷は、ＦＤ４０３−１〜４０３−ｎのそれぞれに保持される。当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。
（工程４）
次に、ＰＤ４０２−１〜４０２−ｎに対して露光期間ｔ２の間露光が行われる。その結果、ＰＤ４０２−１〜４０２−ｎのそれぞれに第二のサブフレーム信号電荷が蓄積する。露光期間ｔ２の間の露光によりＰＤ４０２−１〜４０２−ｎのそれぞれに蓄積した信号電荷は、ＰＤ４０２−１〜４０２−ｎのそれぞれに保持される。当該保持は、例えば、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御して、転送トランジスタ４０４−１〜４０４−ｎをオフにすることによって行われうる。
次に、ＰＤ４０２−１〜４０２−ｎに対して露光期間ｔ２の間露光が行われる。その結果、ＰＤ４０２−１〜４０２−ｎのそれぞれに第二のサブフレーム信号電荷が蓄積する。露光期間ｔ２の間の露光によりＰＤ４０２−１〜４０２−ｎのそれぞれに蓄積した信号電荷は、ＰＤ４０２−１〜４０２−ｎのそれぞれに保持される。当該保持は、例えば、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御して、転送トランジスタ４０４−１〜４０４−ｎをオフにすることによって行われうる。
（工程５）
次に、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオンにし、且つ、選択トランジスタ４０７−１〜４０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ４０３−１〜４０３−ｎに保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線４０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。当該加算処理の結果、図５中のタイミングチャートにおける（ｃ）により示されるディジタル計数値の変化が生じる。図５中のタイミングチャートにおける（ｃ）により示されるディジタル計数値の変化量（電圧の差に応じたディジタル値）が、第一の画素信号でありうる。例えば、第一の画素信号は、ダウンカウントにより計数されうる。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
次に、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオンにし、且つ、選択トランジスタ４０７−１〜４０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ４０３−１〜４０３−ｎに保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線４０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。当該加算処理の結果、図５中のタイミングチャートにおける（ｃ）により示されるディジタル計数値の変化が生じる。図５中のタイミングチャートにおける（ｃ）により示されるディジタル計数値の変化量（電圧の差に応じたディジタル値）が、第一の画素信号でありうる。例えば、第一の画素信号は、ダウンカウントにより計数されうる。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
（工程６）
次に、ＦＤ４０３−１〜４０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ４０５−１〜４０５−ｎをオンにすることにより行われてよい。
次に、ＦＤ４０３−１〜４０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ４０５−１〜４０５−ｎをオンにすることにより行われてよい。
（工程７）
次に、ＰＤ４０２−１〜４０２−ｎのそれぞれに保持されている第二のサブフレーム信号電荷が、転送トランジスタ４０４−１〜４０４−ｎをオンにすることで、ＦＤ４０３−１〜４０３−ｎのそれぞれに転送される。当該転送の制御は、電荷転送制御部１０７が図６中の垂直駆動部６０５を制御することにより行われうる。
次に、ＰＤ４０２−１〜４０２−ｎのそれぞれに保持されている第二のサブフレーム信号電荷が、転送トランジスタ４０４−１〜４０４−ｎをオンにすることで、ＦＤ４０３−１〜４０３−ｎのそれぞれに転送される。当該転送の制御は、電荷転送制御部１０７が図６中の垂直駆動部６０５を制御することにより行われうる。
（工程８）
次に、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオンにし、且つ、選択トランジスタ４０７−１〜４０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ４０３−１〜４０３−ｎに保持されている第二のサブフレーム信号電荷群が、一括して垂直信号線４０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。当該加算処理の結果、図５中のタイミングチャートにおける（ｄ）により示されるディジタル計数値の変化が生じる。図５中のタイミングチャートにおける（ｄ）により示されるディジタル計数値の変化量（電圧の差に応じたディジタル値）が、第二の画素信号でありうる。例えば、第二の画素信号は、アップカウントにより計数されうる。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
次に、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオンにし、且つ、選択トランジスタ４０７−１〜４０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ４０３−１〜４０３−ｎに保持されている第二のサブフレーム信号電荷群が、一括して垂直信号線４０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。当該加算処理の結果、図５中のタイミングチャートにおける（ｄ）により示されるディジタル計数値の変化が生じる。図５中のタイミングチャートにおける（ｄ）により示されるディジタル計数値の変化量（電圧の差に応じたディジタル値）が、第二の画素信号でありうる。例えば、第二の画素信号は、アップカウントにより計数されうる。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
（工程９）
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、動体検知部１０９により行われてよい。
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、動体検知部１０９により行われてよい。
（工程１０）
前記比較の結果、動体が検知されない場合は、例えば露光が行われないブランキング期間の後に、再度（工程１）〜（工程９）が行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにし、画素毎の信号電荷処理を行う。すなわち、動体が検知されたことに応じて、撮像装置１００は、画素加算処理部１０８による画素加算処理を停止する。すなわち、動体が検知された場合は、動体撮像モードへと撮像の仕方を変更する。動体撮像モードにおける撮像は、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理によって行われてよい。ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにすることによって、画素４０１−１〜４０１〜ｎが電気的に接続されなくなる。また、画素４０１−１〜４０１〜ｎはいずれも、通常のＣＭＯＳイメージセンサによる撮像のための信号電荷処理を行うことができる。そのため、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てがオフにされた状態で、画素毎に例えば上記で述べた一般的なＣＭＯＳイメージセンサにおける信号電荷処理を行うことで、高解像度の画像が得られる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
前記比較の結果、動体が検知されない場合は、例えば露光が行われないブランキング期間の後に、再度（工程１）〜（工程９）が行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにし、画素毎の信号電荷処理を行う。すなわち、動体が検知されたことに応じて、撮像装置１００は、画素加算処理部１０８による画素加算処理を停止する。すなわち、動体が検知された場合は、動体撮像モードへと撮像の仕方を変更する。動体撮像モードにおける撮像は、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理によって行われてよい。ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにすることによって、画素４０１−１〜４０１〜ｎが電気的に接続されなくなる。また、画素４０１−１〜４０１〜ｎはいずれも、通常のＣＭＯＳイメージセンサによる撮像のための信号電荷処理を行うことができる。そのため、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てがオフにされた状態で、画素毎に例えば上記で述べた一般的なＣＭＯＳイメージセンサにおける信号電荷処理を行うことで、高解像度の画像が得られる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
図５のフレームＦｎ−１においては、ｔ１及びｔ２において蓄積した信号電荷に基づく第一の電圧信号と第二の電圧信号との間には差がない（図５の（ｅ））。そのため、全ての画素行にわたって第一の電圧信号と第二の電圧信号との比較が完了した後、撮像素子はブランキング期間へ移行する。所定のブランキング期間が経過後、撮像装置１００は、フレームＦｎにおける動体検知処理を開始する。
図５のフレームＦｎにおいて、第一の電圧信号と第二の電圧信号との比較の結果、時点Ｐにおいて動体が検知された。図５のタイミングチャートに、第一の電圧信号と第二の電圧信号との比較の結果、差があることが示されている（図５の（ｆ））。動体が検知されたことに応じて、撮像装置１００は、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにし、画素毎の処理を行う。
図５のフレームＦｎ＋１が、画素毎の信号電荷処理が行われるフレームである。
なお、画素毎の信号電荷処理が所定回数繰り返された後に、再度画素ブロック毎の処理が行われてよく、又は、画素毎の信号電荷処理が所定期間行われた後に、再度画素ブロック毎の処理が行われてもよい。すなわち、撮像装置１００は、撮像モードが所定のフレーム回数だけ繰り返された後に（例えば複数枚静止画を撮像した後に）又は撮像モードが所定の期間経過した後に、撮像の仕方を再度動体検知モードへと変更しうる。又は、撮像装置１００は、動体検知後に動画を撮影してもよい。動画撮影の場合には、例えば画素加算又は間引き読み出しによって、動画の解像度を下げてもよい。
図５のフレームＦｎにおいて、第一の電圧信号と第二の電圧信号との比較の結果、時点Ｐにおいて動体が検知された。図５のタイミングチャートに、第一の電圧信号と第二の電圧信号との比較の結果、差があることが示されている（図５の（ｆ））。動体が検知されたことに応じて、撮像装置１００は、ＦＤＬトランジスタ４０８−１〜４０８−ｎの全てをオフにし、画素毎の処理を行う。
図５のフレームＦｎ＋１が、画素毎の信号電荷処理が行われるフレームである。
なお、画素毎の信号電荷処理が所定回数繰り返された後に、再度画素ブロック毎の処理が行われてよく、又は、画素毎の信号電荷処理が所定期間行われた後に、再度画素ブロック毎の処理が行われてもよい。すなわち、撮像装置１００は、撮像モードが所定のフレーム回数だけ繰り返された後に（例えば複数枚静止画を撮像した後に）又は撮像モードが所定の期間経過した後に、撮像の仕方を再度動体検知モードへと変更しうる。又は、撮像装置１００は、動体検知後に動画を撮影してもよい。動画撮影の場合には、例えば画素加算又は間引き読み出しによって、動画の解像度を下げてもよい。
以上のとおり、本技術に従う上記撮像装置による動体検知の間は、画素ブロック毎に信号電荷処理が行われる。すなわち、読み出される実行画素数が減少される。これによって、動体検知の間の消費電力が低減される。
また、本技術に従う上記撮像装置を用いることで、動体を検知してから１フレーム時間以内に（特には、動体検知モードにおける１フレーム時間以内に）、当該動体を撮像することができる。これによって、高速で移動する動体を検知した場合に、当該動体を撮像し損ねることを防ぐことができる。
また、例えば、上記特許文献１の装置では、サブフレーム信号電荷を保持する手段として、画素内に容量素子を設けている。そのため、ＰＤの飽和信号電荷量が制限されることがある。また、上記特許文献１の装置は、画素内に容量素子を有するために、微細画素とすることができないことがある。一方で、本技術に従う上記撮像装置では、ＦＤが、本技術における第一の電荷保持部であり、ＰＤが、本技術における第二の電荷保持部である。そのため、サブフレーム信号電荷を保持するための容量素子を画素内に設ける必要がない。その結果、ＰＤの飽和信号電荷量をより多くすることができる。
また、本技術に従う上記撮像装置を用いた動体検知では、サブフレーム信号電荷がＦＤに保持されるため、ＦＤ暗電流ショットノイズ（暗電流の増加によるノイズ）が生じうる。また、本技術に従う上記撮像装置を用いた動体検知では、ＦＤ及び／又はＰＤに保持されたサブフレーム信号電荷に対し、ＣＤＳ処理を行わないことによって、リセットノイズが残留しうる。また、本技術に従う動体検知では、増幅トランジスタにおいて１／ｆノイズが生じうる。しかしながら、これらのノイズは、動体検知モードにおいて画素加算が行われることによって、平均化され又は低減される。
また、本技術に従う上記撮像装置を用いることで、動体を検知してから１フレーム時間以内に（特には、動体検知モードにおける１フレーム時間以内に）、当該動体を撮像することができる。これによって、高速で移動する動体を検知した場合に、当該動体を撮像し損ねることを防ぐことができる。
また、例えば、上記特許文献１の装置では、サブフレーム信号電荷を保持する手段として、画素内に容量素子を設けている。そのため、ＰＤの飽和信号電荷量が制限されることがある。また、上記特許文献１の装置は、画素内に容量素子を有するために、微細画素とすることができないことがある。一方で、本技術に従う上記撮像装置では、ＦＤが、本技術における第一の電荷保持部であり、ＰＤが、本技術における第二の電荷保持部である。そのため、サブフレーム信号電荷を保持するための容量素子を画素内に設ける必要がない。その結果、ＰＤの飽和信号電荷量をより多くすることができる。
また、本技術に従う上記撮像装置を用いた動体検知では、サブフレーム信号電荷がＦＤに保持されるため、ＦＤ暗電流ショットノイズ（暗電流の増加によるノイズ）が生じうる。また、本技術に従う上記撮像装置を用いた動体検知では、ＦＤ及び／又はＰＤに保持されたサブフレーム信号電荷に対し、ＣＤＳ処理を行わないことによって、リセットノイズが残留しうる。また、本技術に従う動体検知では、増幅トランジスタにおいて１／ｆノイズが生じうる。しかしながら、これらのノイズは、動体検知モードにおいて画素加算が行われることによって、平均化され又は低減される。
図４に示された回路では、ＦＤＬトランジスタ４０８−１〜４０８−ｎのオン又はオフの切り替えによって、信号電荷の加算処理（すなわち画素ブロック毎の信号電荷の処理）又は信号電荷の処理（すなわち画素毎の信号電荷の処理）が切り替えられうる。ＦＤＬトランジスタ４０８−１〜４０８−ｎは、動体検知モードの間は常にオンであってもよく、又は、画素加算処理が行われるタイミングにおいてのみオンにされてもよい。
信号電荷の加算処理は、図４に示された回路を有する撮像素子以外の他の撮像素子によって行われてもよい。当該他の撮像素子の回路の例を図７に示す。
図７に示された画素アレイ７００において、画素７０１−１−１〜画素７０１−１−Ｎが垂直信号線７０２−１に接続されている。同様に、他の列の画素群もそれぞれ垂直信号線に接続されている。
各垂直信号線は隣の垂直信号線と、スイッチ（例えばトランジスタ）が設けられた水平方向配線によって接続されている。例えば、垂直信号線７０２−１と垂直信号線７０２−２とは、スイッチ７０３−１が設けられた水平方向配線によって接続されており、且つ、垂直信号線７０２−２と垂直信号線７０２−３とは、スイッチ７０３−２が設けられた水平方向配線によって接続されている。そのため、垂直信号線７０２−１、垂直信号線７０２−２、及び垂直信号線７０２−３は、電気的に接続されている。
また、垂直信号線７０２−３と垂直信号線７０２−４とは、スイッチ７０３−３が設けられた水平方向配線によって接続されているが、スイッチ７０３−３は開いているので、垂直信号線７０２−３と垂直信号線７０２−４とは電気的に接続されていない。
各垂直信号線はスイッチ（又はトランジスタ）を介してコンパレータに接続されている。例えば、垂直信号線７０２−１は、スイッチ７０４−１が設けられた配線によってコンパレータ７０５−１に接続されている。同様に、垂直信号線７０２−２は、スイッチ７０４−２が設けられた配線によってコンパレータ７０５−２に接続されている。
図７に示されるとおり、スイッチ７０３−１及び７０３−２は閉じている（又はトランジスタ７０３−１及び７０３−２がオンになっている）おり、且つ、スイッチ７０３−３は開いている（又はトランジスタ７０３−３はオフになっている）。加えて、スイッチ７０４−１は閉じており、且つ、スイッチ７０４−２及び７０４−３は開いている。その結果、垂直信号線７０２−１、７０２−２、及び７０３−３からの出力は、コンパレータ７０５−１に一括して送られる。
このように、隣接する垂直信号線同士を接続する水平方向配線上に設けられたスイッチと垂直信号線とコンパレータとを接続する配線上に設けられたスイッチを制御することで、隣接する垂直信号線から出力される、信号電荷に基づく画素信号を加算することができる。
すなわち、本技術において、画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷に基づく画素信号を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよい。
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
なお、各行の画素の信号電荷に基づく画素信号の加算処理は、加算されるべき画素の選択トランジスタをオンにすることによって行われてもよく、又は、上記で図４を参照して述べたとおり、加算されるべき画素のＦＤを連結する配線上に設けられたＦＤＬトランジスタをオンにすることによって行われてもよい。
また、図７において、３つの垂直信号線が接続されているが、接続される垂直信号線の数は当業者により適宜選択されてよい。例えば２〜１２８、特には４〜６４、より特には６４、３２、１６、８、又は４の垂直信号線からの出力が、一括して処理されてよい。
また、図７に示されるとおり、隣接する垂直信号線を接続する配線上に設けられたスイッチを制御することで、加算処理されるべき垂直信号線を選択してもよい。
図７に示された画素アレイ７００において、画素７０１−１−１〜画素７０１−１−Ｎが垂直信号線７０２−１に接続されている。同様に、他の列の画素群もそれぞれ垂直信号線に接続されている。
各垂直信号線は隣の垂直信号線と、スイッチ（例えばトランジスタ）が設けられた水平方向配線によって接続されている。例えば、垂直信号線７０２−１と垂直信号線７０２−２とは、スイッチ７０３−１が設けられた水平方向配線によって接続されており、且つ、垂直信号線７０２−２と垂直信号線７０２−３とは、スイッチ７０３−２が設けられた水平方向配線によって接続されている。そのため、垂直信号線７０２−１、垂直信号線７０２−２、及び垂直信号線７０２−３は、電気的に接続されている。
また、垂直信号線７０２−３と垂直信号線７０２−４とは、スイッチ７０３−３が設けられた水平方向配線によって接続されているが、スイッチ７０３−３は開いているので、垂直信号線７０２−３と垂直信号線７０２−４とは電気的に接続されていない。
各垂直信号線はスイッチ（又はトランジスタ）を介してコンパレータに接続されている。例えば、垂直信号線７０２−１は、スイッチ７０４−１が設けられた配線によってコンパレータ７０５−１に接続されている。同様に、垂直信号線７０２−２は、スイッチ７０４−２が設けられた配線によってコンパレータ７０５−２に接続されている。
図７に示されるとおり、スイッチ７０３−１及び７０３−２は閉じている（又はトランジスタ７０３−１及び７０３−２がオンになっている）おり、且つ、スイッチ７０３−３は開いている（又はトランジスタ７０３−３はオフになっている）。加えて、スイッチ７０４−１は閉じており、且つ、スイッチ７０４−２及び７０４−３は開いている。その結果、垂直信号線７０２−１、７０２−２、及び７０３−３からの出力は、コンパレータ７０５−１に一括して送られる。
このように、隣接する垂直信号線同士を接続する水平方向配線上に設けられたスイッチと垂直信号線とコンパレータとを接続する配線上に設けられたスイッチを制御することで、隣接する垂直信号線から出力される、信号電荷に基づく画素信号を加算することができる。
すなわち、本技術において、画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷に基づく画素信号を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されていてよい。
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
なお、各行の画素の信号電荷に基づく画素信号の加算処理は、加算されるべき画素の選択トランジスタをオンにすることによって行われてもよく、又は、上記で図４を参照して述べたとおり、加算されるべき画素のＦＤを連結する配線上に設けられたＦＤＬトランジスタをオンにすることによって行われてもよい。
また、図７において、３つの垂直信号線が接続されているが、接続される垂直信号線の数は当業者により適宜選択されてよい。例えば２〜１２８、特には４〜６４、より特には６４、３２、１６、８、又は４の垂直信号線からの出力が、一括して処理されてよい。
また、図７に示されるとおり、隣接する垂直信号線を接続する配線上に設けられたスイッチを制御することで、加算処理されるべき垂直信号線を選択してもよい。
露光期間ｔ１及びｔ２の長さは、当業者により適宜選択されてよい。又は、露光期間ｔ１及びｔ２の長さは、例えば信号処理部による処理によって得られた過去フレームの撮像結果に基づき、制御部（例えばシステム制御部）が動的に調整してもよい。
本技術の一つの実施態様に従い、図８に示されるとおり、露光期間ｔ１及びｔ２の長さは等しくてよい。露光期間ｔ１が露光期間ｔ２と等しいことで、前記第一の電圧信号と前記第二の電圧信号との比較を簡便に行うことができる。
本技術の他の実施態様に従い、露光期間ｔ１は、露光期間ｔ２よりも長くてよい。本技術における動体検知の間の画素加算処理では、一般的なＣＭＯＳイメージセンサにおけるＰ相出力は用いられない。そのため、前記第一の電圧信号の信号対雑音比（ＳＮＲ）が、ＦＤ暗電流ショットノイズによって低下する場合がある。そこで、露光期間ｔ１を露光期間ｔ２よりも長くすることで、ＳＮＲの低下を抑制することができる。例えば、図９に示されるとおり、露光期間ｔ１は、露光期間ｔ２よりも長くてよい。
露光期間ｔ１は、露光期間ｔ２の例えば１．５〜１０倍、好ましくは２〜８倍、より好ましくは２〜６倍でありうる。例えば、露光期間ｔ１は、露光期間ｔ２の４倍でありうる。
露光期間ｔ１が露光期間ｔ２よりも長い場合、好ましくは、前記第二の電圧信号のアナログゲインを前記第一の電圧信号のものよりも多くし、そして、両電圧信号の比較が行われ得る。
例えば、前記第二の電圧信号のアナログゲインに対する前記第一の電圧信号のアナログゲインの倍率は、露光期間ｔ１の露光期間ｔ２に対する倍率と同じであってよい。例えば、露光期間ｔ１の露光期間ｔ２の４倍である場合、前記第二の電圧信号のアナログゲインは、前記第一の電圧信号のアナログゲインの４倍でありうる。
露光期間ｔ１は、露光期間ｔ２の例えば１．５〜１０倍、好ましくは２〜８倍、より好ましくは２〜６倍でありうる。例えば、露光期間ｔ１は、露光期間ｔ２の４倍でありうる。
露光期間ｔ１が露光期間ｔ２よりも長い場合、好ましくは、前記第二の電圧信号のアナログゲインを前記第一の電圧信号のものよりも多くし、そして、両電圧信号の比較が行われ得る。
例えば、前記第二の電圧信号のアナログゲインに対する前記第一の電圧信号のアナログゲインの倍率は、露光期間ｔ１の露光期間ｔ２に対する倍率と同じであってよい。例えば、露光期間ｔ１の露光期間ｔ２の４倍である場合、前記第二の電圧信号のアナログゲインは、前記第一の電圧信号のアナログゲインの４倍でありうる。
本技術の他の実施態様に従い、前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、且つ、前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれていてよい。画素ブロックのグループ分けの例を図１０に示す。図１０において、四角のそれぞれが１つの画素ブロックである。図１０に示されるとおり、画素ブロックが、第一の画素グループ１００１及び第二の画素グループ１００２に分けられる。そして、第一の画素グループ１００１については、図１１に示される駆動の模式図のうち、上段に示されるタイミングで露光が行われ、第二の画素グループ１００２については、同模式図のうち、下段に示されるタイミングで露光が行われる。すなわち、動体検知モードにおいて、第一の画素グループ１００１のフレームが、第二の画素グループのフレームよりも先に始まる。
第二の画素グループのフレームは、例えば図１１に示されるとおり、第一の画素グループ１００１の先のサブフレームが終了し且つ後のサブフレームが開始した時点又は当該時点よりも後（すなわち後のサブフレームにおける露光が開始された時点又は当該時点よりも後）に、開始されてよい。代替的には、第二の画素グループのフレームは、例えば第一の画素グループ１００１の先のサブフレームの開始後且つ後のサブフレームが開始する前に開始されてもよい。
画素ブロックのグループ分けは、画素ブロックが、図１１に示されるように格子状に区切られている場合、画素ブロックの奇数行を第一のグループとし且つ画素ブロックの偶数行を第二のグループとするように分けられてよい。代替的には、画素ブロックの奇数列を第一のグループとし且つ画素ブロックの偶数列を第二のグループとするように分けられてもよい。また、画素ブロックは、３以上のグループに分けられてもよい。
このように画素ブロックを２つのグループに分け且つ当該２つのグループのフレーム時間をずらすことで、動体検知から１／２フレーム時間が経過する前に（特には動体検知モードにおける１／２フレーム時間が経過する前に）、動体を高解像度で撮像することができる。
第二の画素グループのフレームは、例えば図１１に示されるとおり、第一の画素グループ１００１の先のサブフレームが終了し且つ後のサブフレームが開始した時点又は当該時点よりも後（すなわち後のサブフレームにおける露光が開始された時点又は当該時点よりも後）に、開始されてよい。代替的には、第二の画素グループのフレームは、例えば第一の画素グループ１００１の先のサブフレームの開始後且つ後のサブフレームが開始する前に開始されてもよい。
画素ブロックのグループ分けは、画素ブロックが、図１１に示されるように格子状に区切られている場合、画素ブロックの奇数行を第一のグループとし且つ画素ブロックの偶数行を第二のグループとするように分けられてよい。代替的には、画素ブロックの奇数列を第一のグループとし且つ画素ブロックの偶数列を第二のグループとするように分けられてもよい。また、画素ブロックは、３以上のグループに分けられてもよい。
このように画素ブロックを２つのグループに分け且つ当該２つのグループのフレーム時間をずらすことで、動体検知から１／２フレーム時間が経過する前に（特には動体検知モードにおける１／２フレーム時間が経過する前に）、動体を高解像度で撮像することができる。
（３−４）撮像装置に含まれる撮像素子の他の構成例
本技術の他の実施態様に従い、光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられていてよい。このような構成を有する画素の回路図の例を図１３に示す。
図１３に示された画素の回路図と図４に示された画素４０１−１の回路図との違いは、ＰＤ１３０２が電源電圧１３１０にオーバーフローゲート（ＯＦＧともいう）トランジスタ１３１２を介して接続されているという点である。ＰＤ１３０２と電源電圧１３１０とがＯＦＧトランジスタ１３１２を設けられた配線によって接続されていることで、ＯＦＧトランジスタ１３１２をオンにすることによりＰＤ１３０２に蓄積した電荷をリセットすることができる。
図１３に示された回路図中の他の構成要素は、図４に示された画素４０１−１の回路図に記載のものと同じである。そのため、当該他の構成要素についての説明は、上記「（３−２）撮像装置に含まれる撮像素子の構成例」を参照されたい。
図１３に示された回路図中の他の構成要素は、図４に示された画素４０１−１の回路図に記載のものと同じである。そのため、当該他の構成要素についての説明は、上記「（３−２）撮像装置に含まれる撮像素子の構成例」を参照されたい。
ＯＦＧトランジスタ１３１２をオンにすることによって、ＰＤ１３０２に蓄積した信号電荷をリセットすることができる。そのため、サブフレームの露光時間を、サブフレームのフレーム時間から独立して設定することができる。
この場合、サブフレーム間隔（ｔｓｕｂ、すなわち先の露光開始時点から後の露光開始時点までの間隔）は、例えば想定される動体の速度に基づき選択されてよく、又は、信号処理部によって取得された過去フレームでの撮像結果に基づき、制御部（例えばシステム制御部）によって動的に調整されてもよい。
この場合、サブフレーム間隔（ｔｓｕｂ、すなわち先の露光開始時点から後の露光開始時点までの間隔）は、例えば想定される動体の速度に基づき選択されてよく、又は、信号処理部によって取得された過去フレームでの撮像結果に基づき、制御部（例えばシステム制御部）によって動的に調整されてもよい。
例えば、図１４に示されるとおり、先のサブフレームの露光（図１４におけるＳＨ１）における露光時間ｔ１が終了した後に転送トランジスタ１３０４をオンにすることによって、露光時間ｔ１の間にＰＤ１３０２に蓄積したサブフレーム信号電荷がＦＤ１３０３に転送される（図１４におけるＴＲ）。当該転送の後、ＰＤ１３０２は引き続き露光されるので電荷が蓄積する。そこで、ＯＦＧトランジスタ１３１２をオンにすることによって、ＰＤ１３０２に蓄積した信号電荷がリセットされる。例えば図１４における露光ＳＨ２の開始時点で、ＯＦＧトランジスタ１３１２をオンにすることによって、ＰＤ１３０２に蓄積した信号電荷がリセットされる。その結果、露光ＳＨ２の開始時点から読み出しＲＯまでの露光時間ｔ２においてＰＤ１３０２に蓄積した電荷を、本技術に従うサブフレーム信号電荷として利用できる。
また、本技術に従うさらに他の実施態様において、各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、且つ、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。例えば図１５に示されるとおり、画素ブロックが、第一の画素グループ１５０１及び第二の画素グループ１５０２に分けられる。第一の画素グループ１５０１については、図１６に示される駆動の模式図に示されるとおり、先のサブフレームにおける信号電荷の取得のために、露光ＳＨ１が露光期間ｔ１の間行われ、且つ、後のサブフレームにおける信号電荷の取得のために、先のサブフレーム信号電荷の転送開始時（ＴＲ）から露光が露光期間ｔ２の間行われる。第二の画素グループ１５０２については、図１６に示される駆動の模式図に示されるとおり、先のサブフレームにおける信号電荷の取得のために、露光ＳＨ１Ｓが露光期間ｔ１’の間行われ、且つ、後のサブフレームにおける信号電荷の取得のために、露光ＳＨ２Ｓが露光期間ｔ２’の間行われる。
ｔ１はｔ１’よりも長く、且つ、ｔ２はｔ２’よりも長い。また、露光ＳＨ２Ｓは、露光ＳＨ１Ｓが終了した直後でなく、露光ＳＨ１Ｓが終了した後にさらに所定の時間が経過した後に行われる。そのため、第二の画素グループ１５０２に含まれる各画素のＰＤの信号電荷は、露光ＳＨ１Ｓ及びＳＨ２Ｓの開始時点においてリセットされている必要がある。上記のとおりＯＦＧトランジスタを各画素内に設けることで、当該リセットが可能になる。
上記のとおりｔ１がｔ１’よりも長く且つｔ２がｔ２’よりも長いことで、低輝度を有する動体の検出を、前記第一の画素グループで行い、高輝度を有する動体の検出を、前記第二の画素グループで行うことができる。そのため、上記のとおり画素ブロックを２つのグループに分け且つこれらの２つのグループの間で露光期間が異なることで、検出することができる動体の輝度の範囲を広くすることができる。これにより、動体検出モードにおいて、ハイダイナミックレンジ合成を行うことができる。
動体の輝度が高い場合、サブフレーム信号電荷量が電荷保持部の飽和電荷量を超えると、白とびが起こり、動体を検出できなくなることがある。また、動体の輝度が低い場合、サブフレーム信号電荷量が電荷保持部のノイズレベル以下である場合、黒つぶれが起き、動体を検出できなくなることがある。上記のとおり、２つの露光期間を用いることで、動体の輝度に起因する動体不検出の発生を防ぐことができる。
ｔ１はｔ１’よりも長く、且つ、ｔ２はｔ２’よりも長い。また、露光ＳＨ２Ｓは、露光ＳＨ１Ｓが終了した直後でなく、露光ＳＨ１Ｓが終了した後にさらに所定の時間が経過した後に行われる。そのため、第二の画素グループ１５０２に含まれる各画素のＰＤの信号電荷は、露光ＳＨ１Ｓ及びＳＨ２Ｓの開始時点においてリセットされている必要がある。上記のとおりＯＦＧトランジスタを各画素内に設けることで、当該リセットが可能になる。
上記のとおりｔ１がｔ１’よりも長く且つｔ２がｔ２’よりも長いことで、低輝度を有する動体の検出を、前記第一の画素グループで行い、高輝度を有する動体の検出を、前記第二の画素グループで行うことができる。そのため、上記のとおり画素ブロックを２つのグループに分け且つこれらの２つのグループの間で露光期間が異なることで、検出することができる動体の輝度の範囲を広くすることができる。これにより、動体検出モードにおいて、ハイダイナミックレンジ合成を行うことができる。
動体の輝度が高い場合、サブフレーム信号電荷量が電荷保持部の飽和電荷量を超えると、白とびが起こり、動体を検出できなくなることがある。また、動体の輝度が低い場合、サブフレーム信号電荷量が電荷保持部のノイズレベル以下である場合、黒つぶれが起き、動体を検出できなくなることがある。上記のとおり、２つの露光期間を用いることで、動体の輝度に起因する動体不検出の発生を防ぐことができる。
（３−５）画素ブロック内の画素の接続の仕方の例
１つの画素ブロック内に含まれる複数画素の信号電荷に基づく画素信号を加算するための配線は、例えば以上で説明した図４におけるように、１つの画素列のうち所定の複数画素だけの加算を可能とするように構成されていてよい。すなわち、図４に示された撮像素子では、信号電荷が加算される画素数は固定されている。
また、他の実施態様において、図２２の画素構成例に示されるとおり、１つの列内の全ての画素２２００が、ＦＤＬトランジスタ２２０１を介して、ＦＤＬ配線２２０２に接続されていてもよい。図２２の画素構成例では、全ての画素２２００が、ＦＤＬトランジスタ２２０１を介してＦＤＬ配線２２０２に接続されており、且つ、選択トランジスタ２２０３を介して垂直信号線２２０４に接続されている。ＦＤＬトランジスタ２２０１は、画素２２００とＦＤＬ配線２２０２とを接続する配線上に設けられている。なお、図２２において、画素２２００と同じ形の矩形はいずれも、画素２２００と同じ画素であり、各画素の左に設けられているトランジスタはいずれも、ＦＤＬトランジスタ２２０１と同じＦＤＬトランジスタであり、各画素の右に設けられているトランジスタはいずれも選択トランジスタ２２０３と同じ選択トランジスタである。そのため、図２２においてこれらの符号は省略されている。
図２２に示される画素構成を有する撮像素子を用いて本技術に従う動体検知を行う場合、動体検知モードが開始した時点においては全てのＦＤＬトランジスタ２２０１はオフにされていてよい。そして、動体検知のために各画素の信号電荷の加算処理を行う場合に、加算されるべき画素のＦＤＬトランジスタのみをオンにすることで、画素加算を行うことができる。例えば、図２２に示される画素のうち画素ブロック２２０５に含まれる画素の信号電荷を加算するためには、画素ブロック２２０５に含まれる全ての画素のＦＤＬトランジスタ２２０１をオンにし且つ画素ブロック２２０５に含まれる画素のうちの所定の画素の１つの選択トランジスタのみをオンにする（他の選択トランジスタはいずれもオフにする）ことで、画素ブロック２２０５に含まれる全ての画素の信号電荷が加算され且つ加算された信号電荷が当該所定の画素からの出力として取り扱われる。
このように、図２２の画素構成例では、加算されるべき画素のＦＤＬトランジスタのみをオンにすることによって、加算されるべき画素の信号電荷のみを加算することができる。
図２２に示される画素構成を有する撮像素子を用いて本技術に従う動体検知を行う場合、動体検知モードが開始した時点においては全てのＦＤＬトランジスタ２２０１はオフにされていてよい。そして、動体検知のために各画素の信号電荷の加算処理を行う場合に、加算されるべき画素のＦＤＬトランジスタのみをオンにすることで、画素加算を行うことができる。例えば、図２２に示される画素のうち画素ブロック２２０５に含まれる画素の信号電荷を加算するためには、画素ブロック２２０５に含まれる全ての画素のＦＤＬトランジスタ２２０１をオンにし且つ画素ブロック２２０５に含まれる画素のうちの所定の画素の１つの選択トランジスタのみをオンにする（他の選択トランジスタはいずれもオフにする）ことで、画素ブロック２２０５に含まれる全ての画素の信号電荷が加算され且つ加算された信号電荷が当該所定の画素からの出力として取り扱われる。
このように、図２２の画素構成例では、加算されるべき画素のＦＤＬトランジスタのみをオンにすることによって、加算されるべき画素の信号電荷のみを加算することができる。
また、ＦＤＬトランジスタは、画素とＦＤＬ配線とを接続する配線上でなく、ＦＤＬ配線上に設けられていてもよい。図２２におけるＦＤＬトランジスタ２２０１がＦＤＬ配線上に設けられている画素構成例を図２３に示す。
図２３に示されるとおり、ＦＤＬトランジスタ２３０１が、ＦＤＬ配線２３０２上に設けられている。図２３に示された画素構成例においても、図２２の画素構成例と同様に、加算されるべき画素を接続するのに必要なＦＤＬトランジスタ２３０１をオンにすることによって、加算されるべき画素の信号電荷のみを加算することができる。なお、図２３において、ＦＤＬトランジスタ２３０１の代わりにＭＯＳスイッチを設けてもよい。
図２３に示されるとおり、ＦＤＬトランジスタ２３０１が、ＦＤＬ配線２３０２上に設けられている。図２３に示された画素構成例においても、図２２の画素構成例と同様に、加算されるべき画素を接続するのに必要なＦＤＬトランジスタ２３０１をオンにすることによって、加算されるべき画素の信号電荷のみを加算することができる。なお、図２３において、ＦＤＬトランジスタ２３０１の代わりにＭＯＳスイッチを設けてもよい。
（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）
（４−１）撮像装置の構成例
以下で、本技術に従い、動体検知フレーム内で撮像する撮像装置の例及び当該撮像装置による動体検知の例を、図１及び１７を参照しながら説明する。図１は、当該撮像装置の一例のブロック図である。以下では、図１に記載の撮像装置１００に含まれる構成要素のうち、撮像素子１１２、特には画素アレイ部１０３及び制御部１０４について、特に詳細に説明する。他の構成要素については、上記「（２）第１の実施形態の第１の例（撮像装置）」において述べたとおりであるので、当該他の構成要素についての説明は、上記（２）を参照されたい。
（４−２）撮像装置に含まれる撮像素子の構成例
動体検知フレーム内で撮像する撮像装置に含まれる撮像素子、特には画素アレイ部の構成例を図１７に示す。図１７に示された撮像素子の構成例は、図４に示された撮像素子と以下の相違を有する。すなわち、ＰＤ１７０２−１と転送トランジスタ１７０４−１とを接続する配線が設けられており且つ当該配線上に第二転送トランジスタ１７１３−１が設けられていること、第二転送トランジスタ１７１３−１と転送トランジスタ１７０４−１との間の位置からグランドに接続されている配線が設けられており且つ当該配線上にメモリ（蓄積容量又は画素内メモリとも呼ばれる）１７１２−１が設けられていること、及び、ＰＤ１７０２−１と電源電圧１７１０−１とを接続する配線が設けられており且つ当該配線上にＯＦＧトランジスタ１７１４−１が設けられていることが、図１７と図４との間で相違する。
図１７の他の構成要素は、図４に示されたものと同じであるので、当該他の構成要素についての説明は図４に関する説明を参照されたい。上記「（３−２）撮像装置に含まれる撮像素子の構成例」において述べたとおり、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎは、１つの画素ブロックを構成する画素内のＦＤ１７０３−１〜１７０３−ｎに保持された電荷の加算を制御できるように構成されている。
図１７において、ＦＤ１７０３−１が、本技術における第一の電荷保持部であり、メモリ１７１２−１が、本技術における第二の電荷保持部である。
図１７において、画素１７０１−１〜画素１７０１−ｎの回路構成は全て同じである。
図１７の他の構成要素は、図４に示されたものと同じであるので、当該他の構成要素についての説明は図４に関する説明を参照されたい。上記「（３−２）撮像装置に含まれる撮像素子の構成例」において述べたとおり、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎは、１つの画素ブロックを構成する画素内のＦＤ１７０３−１〜１７０３−ｎに保持された電荷の加算を制御できるように構成されている。
図１７において、ＦＤ１７０３−１が、本技術における第一の電荷保持部であり、メモリ１７１２−１が、本技術における第二の電荷保持部である。
図１７において、画素１７０１−１〜画素１７０１−ｎの回路構成は全て同じである。
画素１７０１−１において、例えば電荷転送制御部１０７が、転送トランジスタ１７０４−１及び第二転送トランジスタ１７１３−１を制御することによって、ＰＤ１７０２−１に蓄積された信号電荷のＦＤ１７０３−１又はメモリ１７１２−１への転送を制御しうる。例えば、電荷転送制御部１０７が転送トランジスタ１７０４−１をオフにし且つ第二転送トランジスタ１７１３−１をオンにすることによって、露光によりＰＤ１７０２−１に蓄積された信号電荷が、メモリ１７１２−１に転送される。また、メモリ１７１２−１に保持された信号電荷は、電荷転送制御部１０７が転送トランジスタ１７０４−１をオンにし且つ第二転送トランジスタ１７１３−１をオフにすることによって、ＦＤ１７０３−１に転送され、そして、当該信号電荷は、ＦＤ１７０３−１に保持される。また、電荷転送制御部１０７が第二転送トランジスタ１７１３−１をオフにすることによって、露光によってＰＤ１７０２−１に蓄積された信号電荷は、ＰＤ１７０２−１に保持される。なお、以上の電荷転送制御において、ＯＦＧトランジスタ１７１４−１はオフにされていることが必要である。
画素１７０１−１に設けられたＯＦＧトランジスタ１７１４−１によって、ＰＤ１７０２−１に保持された電荷をリセットすることができる。例えば電荷転送制御部１０７が、ＯＦＧトランジスタ１７１４−１をオンにすることによって、当該リセットが行われうる。
（４−３）撮像装置の動作の例
以下で、本技術に従う撮像装置１００によって動体検知を行いそして動体検知後に動体検知されたフレーム内で撮像する場合の当該撮像装置１００の動作について、図１７及び１８を参照して説明する。
本実施態様における動体検知は、上記「（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）」で述べた動体検知と同様に、一般的なＣＭＯＳイメージセンサによる撮像のための信号電荷の処理と異なる。すなわち、本実施態様における動体検知では、一般的なＣＭＯＳイメージセンサにおいて取得されるＰ相出力は用いられなくてよい。
本実施態様の撮像装置１００による動体検知の間の信号電荷の処理において取得される差分について、図１８を参照して説明する。図１８は、本技術に従う撮像装置１００による動体検知の間及び動体検知後の動体の撮像の間の、撮像素子の動作の模式図である。
図１８において、左から右に向かって時間が進行している。撮像装置１００は、期間Ｄ１において、動体検知モードでの撮像を行っており、すなわち、本技術における画素加算処理部による画素加算処理が行われている。図１８では、期間Ｄ１中のフレームＦｎ−１においては動体が検知されず、次のフレームＦｎにおいて動体が検知されたことが示されている。動体が検知された時点がＰである。
時点Ｐにおいて動体が検知されたことに応じて、撮像装置１００は、動体検知モードから動体撮像モードへと撮像の仕方を変更し、すなわち電荷処理の仕方を画素ブロック毎の画素加算処理から画素毎の電荷処理へと変更する。撮像装置１００は、期間Ｄ２において、動体撮像モードでの撮像を行っている。
時点Ｐにおいて動体が検知されたことに応じて、撮像装置１００は、動体検知モードから動体撮像モードへと撮像の仕方を変更し、すなわち電荷処理の仕方を画素ブロック毎の画素加算処理から画素毎の電荷処理へと変更する。撮像装置１００は、期間Ｄ２において、動体撮像モードでの撮像を行っている。
図１８に示されるとおり、動体検知モードでは、１フレーム中に３回露光が行われる。例えば、フレームＦｎ−１の間に３回露光が行われている。１フレーム中の当該３回の露光の露光期間をサブフレームと呼ぶ。
１回目の露光期間は、図１８中のｔ１により示される期間である。２回目の露光期間は、図１８中のｔ２により示される期間である。３回目の露光期間は、図１８中のｔ３により示される期間である。ｔ１〜ｔ３により示される期間が、フレームＦｎ−１のサブフレームである。
斜線ＳＨ１、ＳＨ２、及びＳＨ３は、画素アレイの各行の露光開始時点を示す。なお、各画素行は、逐次的に露光が開始されうるが、便宜上開始時点を斜線ＳＨ１、ＳＨ２、及びＳＨ３で示している。
斜線ＴＲ１、ＴＲ２、及びＴＲ３のそれぞれは、露光期間ｔ１〜ｔ３のそれぞれにおいて光電変換素子に蓄積した信号電荷のＦＤ又はメモリへの転送開始時点を示す。なお、各画素行は、逐次的に転送が開始されうるが、便宜上開始時点を斜線ＴＲ１、ＴＲ２、及びＴＲ３で示している。
斜線ＲＯは、信号電荷の読み出しが開始される時点を示す。すなわち、斜線ＲＯの時点にて、各画素行においてアナログデジタル変換が開始される。当該模式図では、アナログデジタル変換が行われる期間が、ラインＡＤＣ上の四角で表されている。ＡＤＣが行われる期間において、同時に動体検知が行われる。当該模式図では、動体検知が行われる期間が、ラインＳ（Ｓｅｎｓｉｎｇ）上の四角で表されている。
１回目の露光期間は、図１８中のｔ１により示される期間である。２回目の露光期間は、図１８中のｔ２により示される期間である。３回目の露光期間は、図１８中のｔ３により示される期間である。ｔ１〜ｔ３により示される期間が、フレームＦｎ−１のサブフレームである。
斜線ＳＨ１、ＳＨ２、及びＳＨ３は、画素アレイの各行の露光開始時点を示す。なお、各画素行は、逐次的に露光が開始されうるが、便宜上開始時点を斜線ＳＨ１、ＳＨ２、及びＳＨ３で示している。
斜線ＴＲ１、ＴＲ２、及びＴＲ３のそれぞれは、露光期間ｔ１〜ｔ３のそれぞれにおいて光電変換素子に蓄積した信号電荷のＦＤ又はメモリへの転送開始時点を示す。なお、各画素行は、逐次的に転送が開始されうるが、便宜上開始時点を斜線ＴＲ１、ＴＲ２、及びＴＲ３で示している。
斜線ＲＯは、信号電荷の読み出しが開始される時点を示す。すなわち、斜線ＲＯの時点にて、各画素行においてアナログデジタル変換が開始される。当該模式図では、アナログデジタル変換が行われる期間が、ラインＡＤＣ上の四角で表されている。ＡＤＣが行われる期間において、同時に動体検知が行われる。当該模式図では、動体検知が行われる期間が、ラインＳ（Ｓｅｎｓｉｎｇ）上の四角で表されている。
動体検知モードにおいて、１フレームの間に行われる処理は以下のとおりである。
（工程１）
まず、図１７中のＰＤ１７０２−１〜１７０２−ｎ、メモリ１７１２−１〜１７１２−ｎ、及びＦＤ１７０３−１〜１７０３−ｎがリセットされる。当該リセットは、例えば、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎ、第二転送トランジスタ１７１３−１〜１７１３−ｎ、ＲＳＴトランジスタ１７０５−１〜１７０５−ｎ及び転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることにより行われてよい。
まず、図１７中のＰＤ１７０２−１〜１７０２−ｎ、メモリ１７１２−１〜１７１２−ｎ、及びＦＤ１７０３−１〜１７０３−ｎがリセットされる。当該リセットは、例えば、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎ、第二転送トランジスタ１７１３−１〜１７１３−ｎ、ＲＳＴトランジスタ１７０５−１〜１７０５−ｎ及び転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることにより行われてよい。
（工程２）
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第一のサブフレーム信号電荷が蓄積する。露光期間ｔ１の間の露光は、図１８において（ａ）と（ｂ）の間の期間として示されている。
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第一のサブフレーム信号電荷が蓄積する。露光期間ｔ１の間の露光は、図１８において（ａ）と（ｂ）の間の期間として示されている。
（工程３）
次に、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに露光期間ｔ１の間に蓄積した信号電荷が、第二転送トランジスタ１７１３−１〜１７１３−ｎをオンにすることで、メモリ１７１２−１〜１７１２−ｎのそれぞれに転送される。当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。当該転送は、図１８において（ｂ）で示されている。
次に、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに露光期間ｔ１の間に蓄積した信号電荷が、第二転送トランジスタ１７１３−１〜１７１３−ｎをオンにすることで、メモリ１７１２−１〜１７１２−ｎのそれぞれに転送される。当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。当該転送は、図１８において（ｂ）で示されている。
（工程４）
次に、所定時間経過後、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎをオンにすることによって、ＰＤ１７０２−１〜１７０２−ｎがリセットされる。当該リセットは、図１８において（ｃ）で示されている。当該リセットによって、（工程３）における転送後にＰＤ１７０２−１〜１７０２−ｎのそれぞれに蓄積した信号電荷がリセットされる。
次に、所定時間経過後、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎをオンにすることによって、ＰＤ１７０２−１〜１７０２−ｎがリセットされる。当該リセットは、図１８において（ｃ）で示されている。当該リセットによって、（工程３）における転送後にＰＤ１７０２−１〜１７０２−ｎのそれぞれに蓄積した信号電荷がリセットされる。
（工程５）
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ２の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第二のサブフレーム信号電荷が蓄積する。
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ２の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第二のサブフレーム信号電荷が蓄積する。
（工程６）
次に、メモリ１７１２−１〜１７１２−ｎに保持されている第一の信号電荷が、ＦＤ１７０３−１〜１７０３−ｎに転送される。そして、当該第一の信号電荷は、ＦＤ１７０３−１〜１７０３−ｎに保持される。当該転送は、第二転送トランジスタ１７１３−１〜１７１３−ｎがオフである状態で、転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることで行われる。当該転送の制御は、電荷転送制御部１０７により行われる。当該転送は、図１８において（ｄ）で示されている。
次に、メモリ１７１２−１〜１７１２−ｎに保持されている第一の信号電荷が、ＦＤ１７０３−１〜１７０３−ｎに転送される。そして、当該第一の信号電荷は、ＦＤ１７０３−１〜１７０３−ｎに保持される。当該転送は、第二転送トランジスタ１７１３−１〜１７１３−ｎがオフである状態で、転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることで行われる。当該転送の制御は、電荷転送制御部１０７により行われる。当該転送は、図１８において（ｄ）で示されている。
（工程７）
次に、ＰＤ１７０２−１〜１７０２−ｎに保持された第二の信号電荷が、メモリ１７１２−１〜１７１２−ｎに転送される。そして、当該第二の信号電荷は、メモリ１７１２−１〜１７１２−ｎに保持される。当該転送は、転送トランジスタ１７０４−１〜１７０４−ｎがオフである状態で、第二転送トランジスタ１７１３−１〜１７１３−ｎをオンにすることで行われる。当該転送の制御は、電荷転送制御部１０７により行われる。当該転送は、図１８において（ｄ）で示されている。
次に、ＰＤ１７０２−１〜１７０２−ｎに保持された第二の信号電荷が、メモリ１７１２−１〜１７１２−ｎに転送される。そして、当該第二の信号電荷は、メモリ１７１２−１〜１７１２−ｎに保持される。当該転送は、転送トランジスタ１７０４−１〜１７０４−ｎがオフである状態で、第二転送トランジスタ１７１３−１〜１７１３−ｎをオンにすることで行われる。当該転送の制御は、電荷転送制御部１０７により行われる。当該転送は、図１８において（ｄ）で示されている。
（工程８）
次に、所定時間経過後、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎをオンにすることによって、ＰＤ１７０２−１〜１７０２−ｎがリセットされる。当該リセットは、図１８において（ｅ）で示されている。当該リセットによって、（工程７）における転送後にＰＤ１７０２−１〜１７０２−ｎのそれぞれに蓄積した信号電荷がリセットされる。
次に、所定時間経過後、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎをオンにすることによって、ＰＤ１７０２−１〜１７０２−ｎがリセットされる。当該リセットは、図１８において（ｅ）で示されている。当該リセットによって、（工程７）における転送後にＰＤ１７０２−１〜１７０２−ｎのそれぞれに蓄積した信号電荷がリセットされる。
（工程９）
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ３の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第三の信号電荷が蓄積する。
次に、ＰＤ１７０２−１〜１７０２−ｎに対して露光期間ｔ３の間露光が行われる。その結果、ＰＤ１７０２−１〜１７０２−ｎのそれぞれに第三の信号電荷が蓄積する。
（工程１０）
次に、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオンにし、且つ、選択トランジスタ１７０７−１〜１７０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ１７０３−１〜１７０３−ｎに保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線１７０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
次に、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオンにし、且つ、選択トランジスタ１７０７−１〜１７０７−ｎのうちの所定の１つの選択トランジスタをオンにすることで、ＦＤ１７０３−１〜１７０３−ｎに保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線１７０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
（工程１１）
次に、ＦＤ１７０３−１〜１７０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ１７０５−１〜１７０５−ｎをオンにすることにより行われてよい。
次に、ＦＤ１７０３−１〜１７０３−ｎがリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ１７０５−１〜１７０５−ｎをオンにすることにより行われてよい。
（工程１２）
次に、メモリ１７１２−１〜１７１２−ｎに保持されている第二のサブフレーム信号電荷が、ＦＤ１７０３−１〜１７０３−ｎに転送される。当該転送は、第二転送トランジスタ１７１３−１〜１７１３−ｎがオフである状態で、転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることで行われる。
次に、メモリ１７１２−１〜１７１２−ｎに保持されている第二のサブフレーム信号電荷が、ＦＤ１７０３−１〜１７０３−ｎに転送される。当該転送は、第二転送トランジスタ１７１３−１〜１７１３−ｎがオフである状態で、転送トランジスタ１７０４−１〜１７０４−ｎをオンにすることで行われる。
（工程１３）
次に、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオンにし、且つ、選択トランジスタ１７０７−１〜１７０７−ｎのうちの前記所定の１つの選択トランジスタをオンにすることで、ＦＤ１７０３−１〜１７０３−ｎに保持されている第二のサブフレーム信号電荷群が、一括して垂直信号線１７０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
次に、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオンにし、且つ、選択トランジスタ１７０７−１〜１７０７−ｎのうちの前記所定の１つの選択トランジスタをオンにすることで、ＦＤ１７０３−１〜１７０３−ｎに保持されている第二のサブフレーム信号電荷群が、一括して垂直信号線１７０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
（工程１４）
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
（工程１５）
前記比較の結果、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１４）が行われ、すなわち動体検知モードのフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにし、ＰＤ１７０２−１〜１７０２−ｎに保持されている第三のサブフレーム信号電荷を用いて画素毎の処理を行う。すなわち、動体が検知された場合は、動体撮像モードへと撮像の仕方を変更する。動体撮像モードにおける撮像は、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理によって行われてよい。ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにすることによって、画素１７０１−１〜１７０１−ｎが電気的に接続されなくなる。また、画素１７０１−１〜１７０１〜ｎはいずれも、通常のＣＭＯＳイメージセンサによる撮像のための信号電荷処理を行うことができる。そのため、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てがオフにされた状態で、画素毎に例えば上記で述べた一般的なＣＭＯＳイメージセンサにおける信号電荷処理を行うことで、高解像度の画像が得られる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
前記比較の結果、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１４）が行われ、すなわち動体検知モードのフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにし、ＰＤ１７０２−１〜１７０２−ｎに保持されている第三のサブフレーム信号電荷を用いて画素毎の処理を行う。すなわち、動体が検知された場合は、動体撮像モードへと撮像の仕方を変更する。動体撮像モードにおける撮像は、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理によって行われてよい。ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにすることによって、画素１７０１−１〜１７０１−ｎが電気的に接続されなくなる。また、画素１７０１−１〜１７０１〜ｎはいずれも、通常のＣＭＯＳイメージセンサによる撮像のための信号電荷処理を行うことができる。そのため、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てがオフにされた状態で、画素毎に例えば上記で述べた一般的なＣＭＯＳイメージセンサにおける信号電荷処理を行うことで、高解像度の画像が得られる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
図１８のフレームＦｎ−１においては、動体が検知されなかった。そのため、所定のブランキング期間が経過後、フレームＦｎにおける動体検知処理が開始される。
図１８のフレームＦｎにおいて、第一の電圧信号と第二の電圧信号との比較の結果、時点Ｐにおいて動体が検知された。動体が検知されたことに応じて、撮像装置は、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにし、前記第三の信号電荷を用いて、画素毎に信号電荷処理を行う。
図１８のフレームＦｎ＋１では、画素毎の信号電荷処理が行われる。なお、画素毎の信号電荷処理が所定回数繰り返された後に、再度画素ブロック毎の処理が行われてよく、又は、画素毎の信号電荷処理が所定期間行われた後に、再度画素ブロック毎の処理が行われてもよい。すなわち、撮像装置１００は、撮像モードが所定のフレーム回数だけ繰り返された後に（例えば複数枚静止画を撮像した後に）又は撮像モードが所定の期間経過した後に、撮像の仕方を再度動体検知モードへと変更しうる。又は、撮像装置１００は、動体検知後に動画を撮影してもよい。動画撮影の場合には、例えば画素加算又は間引き読み出しによって、動画の解像度を下げてもよい。なお、フレームＦｎ＋１において、再度、動体検知モードにおける信号電荷処理が行われてもよい。
図１８のフレームＦｎにおいて、第一の電圧信号と第二の電圧信号との比較の結果、時点Ｐにおいて動体が検知された。動体が検知されたことに応じて、撮像装置は、ＦＤＬトランジスタ１７０８−１〜１７０８−ｎの全てをオフにし、前記第三の信号電荷を用いて、画素毎に信号電荷処理を行う。
図１８のフレームＦｎ＋１では、画素毎の信号電荷処理が行われる。なお、画素毎の信号電荷処理が所定回数繰り返された後に、再度画素ブロック毎の処理が行われてよく、又は、画素毎の信号電荷処理が所定期間行われた後に、再度画素ブロック毎の処理が行われてもよい。すなわち、撮像装置１００は、撮像モードが所定のフレーム回数だけ繰り返された後に（例えば複数枚静止画を撮像した後に）又は撮像モードが所定の期間経過した後に、撮像の仕方を再度動体検知モードへと変更しうる。又は、撮像装置１００は、動体検知後に動画を撮影してもよい。動画撮影の場合には、例えば画素加算又は間引き読み出しによって、動画の解像度を下げてもよい。なお、フレームＦｎ＋１において、再度、動体検知モードにおける信号電荷処理が行われてもよい。
なお、以上の処理では、ＴＲ１とＳＨ２との間及びＴＲ２とＳＨ３との間に、工程４及び８においてリセットされる信号電荷が蓄積する時間が存在する。この時間はなくてもよい。この時間がない場合、ＯＦＧトランジスタ１７１４−１〜１７１４−ｎは回路内に設けられていなくてよい。
また、信号電荷の加算処理は、他の回路を有する撮像素子によって実現されてもよい。例えば、信号電荷の加算処理は、上記「（３−３）撮像装置の動作の例」において図７を参照して説明したとおりの回路を用いて行われてもよい。すなわち、隣接する垂直信号線同士を接続する水平方向配線上に設けられたスイッチ（例えばトランジスタ）を制御することで、画素加算が行われてもよい。
また、信号電荷の加算処理は、他の回路を有する撮像素子によって実現されてもよい。例えば、信号電荷の加算処理は、上記「（３−３）撮像装置の動作の例」において図７を参照して説明したとおりの回路を用いて行われてもよい。すなわち、隣接する垂直信号線同士を接続する水平方向配線上に設けられたスイッチ（例えばトランジスタ）を制御することで、画素加算が行われてもよい。
本技術の一つの実施態様に従い、上記「（３−３）撮像装置の動作の例」において図８を参照して説明したとおり、露光期間ｔ１及びｔ２の長さは等しくてよく、又は、上記「（３−３）撮像装置の動作の例」において図９を参照して説明したとおり、露光期間ｔ１は、露光期間ｔ２よりも長くてよい。
本技術の他の実施態様に従い、上記「（３−３）撮像装置の動作の例」において図１０及び１１を参照して説明したとおり、前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、且つ、前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれていてよい。
本技術のさらに他の実施態様に従い、各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、且つ、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。例えば図１５に示されるとおり、画素ブロックが、第一の画素グループ１５０１及び第二の画素グループ１５０２に分けられる。
第一の画素グループ１５０１については、図２０に示される駆動の模式図に示されるとおり、第一のサブフレームにおける信号電荷の取得のために露光ＳＨ１が露光期間ｔ１（ＳＨ１からＴＲ１までの期間）に行われ、第二のサブフレームにおける信号電荷の取得のために露光ＳＨ２が露光期間ｔ２（ＳＨ２からＴＲ２までの期間）に行われ、そして、第三のサブフレームにおける信号電荷の取得のために露光ＳＨ３が露光期間ｔ３（ＳＨ３からＲＯまでの期間）に行われる。
第二の画素グループ１５０２については、図２０に示される駆動の模式図に示されるとおり、第一のサブフレームにおける信号電荷の取得のために、第一のサブフレームにおける信号電荷の取得のために露光ＳＨ１Ｓが露光期間ｔ１’（ＳＨ１ＳからＴＲ１までの期間）に行われ、第二のサブフレームにおける信号電荷の取得のために露光ＳＨ２Ｓが露光期間ｔ２’（ＳＨ２ＳからＴＲ２までの期間）に行われ、そして、第三のサブフレームにおける信号電荷の取得のために露光ＳＨ３Ｓが露光期間ｔ３’（ＳＨ３ＳからＲＯまでの期間）に行われる。
ｔ１はｔ１’よりも長く、ｔ２はｔ２’よりも長く、且つ、ｔ３はｔ３’よりも長い。露光期間を調整するために、第二の画素グループ１５０２に含まれる各画素のＰＤの信号電荷は、露光ＳＨ１Ｓ及びＳＨ２Ｓの開始時点においてリセットされている必要がある。上記で図１７を参照して説明した撮像素子には、ＰＤをリセットするためのＯＦＧトランジスタが各画素内に設けられている。そのため、これらの撮像素子では、当該リセットが可能である。従って、第一の画素グループの露光時間と第二の画素グループの露光時間とを異なるものとすることができる。
上記のとおりｔ１がｔ１’よりも長く且つｔ２がｔ２’よりも長いことで、低輝度を有する動体の検出を、前記第一の画素グループで行い、高輝度を有する動体の検出を、前記第二の画素グループで行うことができる。そのため、上記のとおり画素ブロックを２つのグループに分け且つこれらの２つのグループの間で露光期間が異なることで、検出することができる動体の輝度の範囲を広くすることができる。これにより、動体検出モードにおいて、ハイダイナミックレンジ合成を行うことができる。
また、ｔ３はｔ３’よりも長いことで、動体検知に応じて撮像される画像についても、ハイダイナミックレンジ合成を行うことができる。
本技術の他の実施態様に従い、上記「（３−３）撮像装置の動作の例」において図１０及び１１を参照して説明したとおり、前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、且つ、前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれていてよい。
本技術のさらに他の実施態様に従い、各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、且つ、第一の画素グループの露光時間と第二の画素グループの露光時間とが異なっていてよい。例えば図１５に示されるとおり、画素ブロックが、第一の画素グループ１５０１及び第二の画素グループ１５０２に分けられる。
第一の画素グループ１５０１については、図２０に示される駆動の模式図に示されるとおり、第一のサブフレームにおける信号電荷の取得のために露光ＳＨ１が露光期間ｔ１（ＳＨ１からＴＲ１までの期間）に行われ、第二のサブフレームにおける信号電荷の取得のために露光ＳＨ２が露光期間ｔ２（ＳＨ２からＴＲ２までの期間）に行われ、そして、第三のサブフレームにおける信号電荷の取得のために露光ＳＨ３が露光期間ｔ３（ＳＨ３からＲＯまでの期間）に行われる。
第二の画素グループ１５０２については、図２０に示される駆動の模式図に示されるとおり、第一のサブフレームにおける信号電荷の取得のために、第一のサブフレームにおける信号電荷の取得のために露光ＳＨ１Ｓが露光期間ｔ１’（ＳＨ１ＳからＴＲ１までの期間）に行われ、第二のサブフレームにおける信号電荷の取得のために露光ＳＨ２Ｓが露光期間ｔ２’（ＳＨ２ＳからＴＲ２までの期間）に行われ、そして、第三のサブフレームにおける信号電荷の取得のために露光ＳＨ３Ｓが露光期間ｔ３’（ＳＨ３ＳからＲＯまでの期間）に行われる。
ｔ１はｔ１’よりも長く、ｔ２はｔ２’よりも長く、且つ、ｔ３はｔ３’よりも長い。露光期間を調整するために、第二の画素グループ１５０２に含まれる各画素のＰＤの信号電荷は、露光ＳＨ１Ｓ及びＳＨ２Ｓの開始時点においてリセットされている必要がある。上記で図１７を参照して説明した撮像素子には、ＰＤをリセットするためのＯＦＧトランジスタが各画素内に設けられている。そのため、これらの撮像素子では、当該リセットが可能である。従って、第一の画素グループの露光時間と第二の画素グループの露光時間とを異なるものとすることができる。
上記のとおりｔ１がｔ１’よりも長く且つｔ２がｔ２’よりも長いことで、低輝度を有する動体の検出を、前記第一の画素グループで行い、高輝度を有する動体の検出を、前記第二の画素グループで行うことができる。そのため、上記のとおり画素ブロックを２つのグループに分け且つこれらの２つのグループの間で露光期間が異なることで、検出することができる動体の輝度の範囲を広くすることができる。これにより、動体検出モードにおいて、ハイダイナミックレンジ合成を行うことができる。
また、ｔ３はｔ３’よりも長いことで、動体検知に応じて撮像される画像についても、ハイダイナミックレンジ合成を行うことができる。
（４−４）撮像装置に含まれる撮像素子の他の構成例
動体検知フレーム内で撮像する撮像装置に含まれる撮像素子の他の構成例を図１９に示す。図１９に示された撮像素子構成例は、図１７に示された撮像素子構成例と、ＰＤ１９０２に蓄積された信号電荷をメモリ１９１２への転送を行うことなく直接にＦＤ１９０３に転送するための配線、及び、当該配線上の第三転送トランジスタ１９１５が設けられているという点が相違する。
図１９に示された撮像素子を用いた動体検知では、まず、上記「（４−３）撮像装置の動作の例」にて述べた（工程１）〜（工程９）と同様の工程が行われる。そのため、これらの工程についての説明は、上記「（４−３）撮像装置の動作の例」を参照されたい。
（工程１０）
次に、ＦＤＬトランジスタ１９０８（実際は、上記「（４−３）撮像装置の動作の例」において述べたように、ＦＤＬトランジスタ１９０８−１〜１９０８−ｎについて行われるが、これら複数のＦＤＬトランジスタをまとめて１９０８と称する。他の符号についても同様である。）をオンにし、且つ、所定の１つの選択トランジスタだけをオンにすることで、各画素のＦＤ１９０３に保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線１９０９に電圧信号として出力される。すなわち、当該第一のサブフレーム信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
次に、ＦＤＬトランジスタ１９０８（実際は、上記「（４−３）撮像装置の動作の例」において述べたように、ＦＤＬトランジスタ１９０８−１〜１９０８−ｎについて行われるが、これら複数のＦＤＬトランジスタをまとめて１９０８と称する。他の符号についても同様である。）をオンにし、且つ、所定の１つの選択トランジスタだけをオンにすることで、各画素のＦＤ１９０３に保持されている第一のサブフレーム信号電荷群が、一括して垂直信号線１９０９に電圧信号として出力される。すなわち、当該第一のサブフレーム信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
ここで、当該電圧信号の変換処理の手法は、当業者に既知の手法により行われてよい。当該手法として、例えばシングルスロープ−アナログデジタル変換（ＳＳ−ＡＤＣ）を挙げることができるが、これに限定されない。
（工程１１）
次に、ＦＤ１９０３がリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ１９０５をオンにすることにより行われてよい。
次に、ＦＤ１９０３がリセットされる。当該リセットは、例えば、ＲＳＴトランジスタ１９０５をオンにすることにより行われてよい。
（工程１２）
次に、ＰＤ１９０２に保持されている第三の信号電荷が、ＦＤ１９０３に転送される。当該転送は、第一転送トランジスタ１９０３及び第二転送トランジスタ１９１３がいずれもオフである状態で、第三転送トランジスタ１９１５をオンにすることで行われる。
次に、ＰＤ１９０２に保持されている第三の信号電荷が、ＦＤ１９０３に転送される。当該転送は、第一転送トランジスタ１９０３及び第二転送トランジスタ１９１３がいずれもオフである状態で、第三転送トランジスタ１９１５をオンにすることで行われる。
（工程１３）
次に、ＦＤＬトランジスタ１９０８をオンにし、且つ、所定の１つの選択トランジスタのみをオンにすることで、各画素のＦＤ１９０３に保持されている第三のサブフレーム信号電荷群が、一括して垂直信号線１９０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
次に、ＦＤＬトランジスタ１９０８をオンにし、且つ、所定の１つの選択トランジスタのみをオンにすることで、各画素のＦＤ１９０３に保持されている第三のサブフレーム信号電荷群が、一括して垂直信号線１９０９に電圧信号として出力される。すなわち、当該信号電荷群が加算処理され、当該所定の選択トランジスタを有する画素からの電圧信号として取り扱われる。当該電圧信号の変換処理は、画素加算処理部１０８により図６における垂直駆動部６０５を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行われてもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてもよい。
（工程１４）
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
次に、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
（工程１５）
前記比較の結果、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１４）が行われ、すなわち動体検知モードのフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ１９０８をオフにし、メモリ１９１２に保持されている第二の信号電荷を用いて画素毎の処理を行う。例えば、当該第二の信号電荷をＦＤ１９０３に転送し、次に、当該第二の信号電荷を用いて通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理が画素毎に行われうる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
前記比較の結果、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１４）が行われ、すなわち動体検知モードのフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、ＦＤＬトランジスタ１９０８をオフにし、メモリ１９１２に保持されている第二の信号電荷を用いて画素毎の処理を行う。例えば、当該第二の信号電荷をＦＤ１９０３に転送し、次に、当該第二の信号電荷を用いて通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理が画素毎に行われうる。当該画素毎の信号電荷処理では、例えば通常のＣＭＯＳイメージセンサにおいて行われる相関２重サンプリング（ＣＤＳ）が行われ得る。
以上の処理を行う場合、ＦＤ１９０３が、本技術における第一の電荷保持部であり、ＰＤ１９０２が、本技術における第二の電荷保持部である。
以上の処理によって、第一のサブフレーム信号電荷と第三のサブフレーム信号電荷とを用いて動体検知が行なうことができる。
また、第二の信号電荷を用いて、高解像度の画像が出力されるので、動体検知と撮像との同時性を高めることができる。
また、第二の信号電荷を用いて、高解像度の画像が出力されるので、動体検知と撮像との同時性を高めることができる。
また、図１９に記載の撮像素子には、ＰＤをリセットするためのＯＦＧトランジスタが各画素内に設けられている。そのため、当該撮像素子では、当該リセットが可能である。従って、図１９に記載の撮像素子は、図１７に記載の撮像素子と同様に、第一の画素グループの露光時間と第二の画素グループの露光時間とを異なるものとすることができる。
（４−５）撮像装置に含まれる撮像素子の他の構成例
動体検知フレーム内で撮像する撮像装置に含まれる撮像素子の他の構成例を図２１に示す。図２１に示された撮像素子構成例は、図１７に示された撮像素子構成例と、ＰＤを電源電圧に接続する配線及び当該配線上に設けられたＯＦＧトランジスタが除去されている点が相違する。
図２１に示された撮像素子を用いる場合、サブフレーム間の間隔及び露光時間のそれぞれを独立して制御することができない。しかしながら、画素に含まれるトランジスタの数を減らすことができるので、ＰＤ及び／又はメモリのための面積を増やすことができる。その結果、画素の開口率及び飽和電荷量を増やすことができる。
（４−６）撮像装置に含まれる撮像素子の他の構成例
動体検知フレーム内で撮像する撮像装置に含まれる撮像素子の他の構成例を図２４に示す。図２４に示された撮像素子構成例は、図２１に示された撮像素子構成例と、ＰＤを２つ有し且つ第二転送トランジスタを２つ有する点が相違する。
図２４に示された撮像素子では、ＦＤ、メモリ、及び転送トランジスタが、２つのＰＤ２４０２−１及び２４０２−２によって共有されている。
当該撮像素子を用いて本技術に従う動体検知を行う場合、例えば、当該２つのＰＤ２４０２−１及び２４０２−２に蓄積した２つの信号電荷を、当該２つの第二転送トランジスタ２４１３−１及び２４１３−２を同時にオンにすることによって、メモリにおいて加算してもよい。このようなメモリにおける信号電荷の加算は、例えば上記「（４−３）撮像装置の動作の例」において述べた（工程３）及び（工程７）において行われうる。
また、当該撮像素子を用いて本技術に従う動体検知を行う場合、例えば、当該２つのＰＤ２４０２−１及び２４０２−２に蓄積した２つの信号電荷のうちのいずれか一つだけをメモリに転送してもよい。当該転送のために、転送されるべき信号電荷を保持するＰＤに接続された第二転送トランジスタのみがオンにされ、他方の第二転送トランジスタはオフにされる。このような転送手法は、例えば当該２つのＰＤが異なるものである場合（例えば異なる色の画素である場合）に、特に有用である。この場合、撮像モードにおいては、２つの第二転送トランジスタを順次オンにして、２つのＰＤに保持されている信号電荷を順番に読み出すことで、画素毎の出力が得られ、すなわち高解像度の画像が得られる。
当該撮像素子を用いて本技術に従う動体検知を行う場合、例えば、当該２つのＰＤ２４０２−１及び２４０２−２に蓄積した２つの信号電荷を、当該２つの第二転送トランジスタ２４１３−１及び２４１３−２を同時にオンにすることによって、メモリにおいて加算してもよい。このようなメモリにおける信号電荷の加算は、例えば上記「（４−３）撮像装置の動作の例」において述べた（工程３）及び（工程７）において行われうる。
また、当該撮像素子を用いて本技術に従う動体検知を行う場合、例えば、当該２つのＰＤ２４０２−１及び２４０２−２に蓄積した２つの信号電荷のうちのいずれか一つだけをメモリに転送してもよい。当該転送のために、転送されるべき信号電荷を保持するＰＤに接続された第二転送トランジスタのみがオンにされ、他方の第二転送トランジスタはオフにされる。このような転送手法は、例えば当該２つのＰＤが異なるものである場合（例えば異なる色の画素である場合）に、特に有用である。この場合、撮像モードにおいては、２つの第二転送トランジスタを順次オンにして、２つのＰＤに保持されている信号電荷を順番に読み出すことで、画素毎の出力が得られ、すなわち高解像度の画像が得られる。
（４−７）撮像装置に含まれる撮像素子の他の構成例
動体検知フレーム内で撮像する撮像装置に含まれる撮像素子の他の構成例を図２５に示す。図２５に示された撮像素子構成例は、図２１に示された撮像素子構成例と、ＰＤに蓄積された信号電荷をＦＤに転送するための第二の配線が設けられていること、及び、当該第二の配線上に第三転送トランジスタ２５１６、第二メモリ２５１５、及び第四転送トランジスタ２５１４が設けられていること、が相違する。なお、以下では、図２１に示された撮像素子中に存在するメモリを第一メモリ２５１２と称し、上記第二メモリ２５１５と区別する。
図２５に示された撮像素子を用いて本技術に従う動体検知を行う場合、３つのサブフレーム信号電荷のそれぞれが、ＦＤ２５０３、第一メモリ２５１２、第二メモリ２５１５、及びＰＤ２５０２のいずれかに保持される。以下では、３つのサブフレーム信号電荷が、第一メモリ２５１２、第二メモリ２５１５、及びＰＤ２５０２に保持される場合の撮像素子の動作例を説明する。なお、以下の動作例では、当該撮像素子の各画素列は、図７に示されるように、隣接する垂直信号線２５０９が、スイッチを設けられた配線（図示されていない）によって接続されているものとする。すなわち、当該スイッチを制御することで、出力が加算処理されるべき垂直信号線２５０９を選択することができる。
（工程１）
まず、加算処理されるべき画素のＦＤＬトランジスタ２５０８がオンにされる。これにより、信号電荷が加算処理されるべき画素のそれぞれに含まれるＦＤ２５０３が、配線２５１１に電気的に接続される。
まず、加算処理されるべき画素のＦＤＬトランジスタ２５０８がオンにされる。これにより、信号電荷が加算処理されるべき画素のそれぞれに含まれるＦＤ２５０３が、配線２５１１に電気的に接続される。
（工程２）
図２５中のＰＤ２５０２、第一メモリ２５１２、第二メモリ２５１５、及びＦＤ２５０３がリセットされる。当該リセットは、例えば、第一転送トランジスタ２５０４、第二転送トランジスタ２５１３、第三転送トランジスタ２５１６、及び第四転送トランジスタ２５１４、ＲＳＴトランジスタ２５０５をオンにすることにより行われてよい。又は、図２５の回路中にＰＤ２５０２と電源電圧２５１０とを接続する配線が設けられており且つ当該配線上にＯＦＧトランジスタが設けられている場合、ＰＤ２５０２は当該ＯＦＧトランジスタをオンにすることによってリセットされてもよい。また、第一メモリ２５１２及び第二メモリ２５１５は、当該ＯＦＧトランジスタ並びに第二転送トランジスタ２５１３及び第四転送トランジスタ２５１４をオンにすることによって、リセットされてもよい。
図２５中のＰＤ２５０２、第一メモリ２５１２、第二メモリ２５１５、及びＦＤ２５０３がリセットされる。当該リセットは、例えば、第一転送トランジスタ２５０４、第二転送トランジスタ２５１３、第三転送トランジスタ２５１６、及び第四転送トランジスタ２５１４、ＲＳＴトランジスタ２５０５をオンにすることにより行われてよい。又は、図２５の回路中にＰＤ２５０２と電源電圧２５１０とを接続する配線が設けられており且つ当該配線上にＯＦＧトランジスタが設けられている場合、ＰＤ２５０２は当該ＯＦＧトランジスタをオンにすることによってリセットされてもよい。また、第一メモリ２５１２及び第二メモリ２５１５は、当該ＯＦＧトランジスタ並びに第二転送トランジスタ２５１３及び第四転送トランジスタ２５１４をオンにすることによって、リセットされてもよい。
（工程３）
次に、ＰＤ２５０２に対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ２５０２に第一の信号電荷が蓄積する。
次に、ＰＤ２５０２に対して露光期間ｔ１の間露光が行われる。その結果、ＰＤ２５０２に第一の信号電荷が蓄積する。
（工程４）
露光期間ｔ１の終了後、ＰＤ２５０２に蓄積した第一の信号電荷が、第二転送トランジスタ２５１３をオンにすることで、第一メモリ２５１２に転送される。そして、当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。
露光期間ｔ１の終了後、ＰＤ２５０２に蓄積した第一の信号電荷が、第二転送トランジスタ２５１３をオンにすることで、第一メモリ２５１２に転送される。そして、当該転送の制御は、電荷転送制御部１０７が、図６における垂直駆動部６０５を制御することにより行われうる。
（工程５）
ＰＤ２５０２に対して露光期間ｔ２の間露光が行われる。当該露光は、工程５における転送が行われた直後に開始されうる。当該露光の結果、ＰＤ２５０２に第二の信号電荷が蓄積する。
ＰＤ２５０２に対して露光期間ｔ２の間露光が行われる。当該露光は、工程５における転送が行われた直後に開始されうる。当該露光の結果、ＰＤ２５０２に第二の信号電荷が蓄積する。
（工程６）
露光期間ｔ２の終了後、ＰＤ２５０２に蓄積した第二の信号電荷が、第四転送トランジスタ２５１４をオンにすることによって、第二メモリ２５１５に転送される。
露光期間ｔ２の終了後、ＰＤ２５０２に蓄積した第二の信号電荷が、第四転送トランジスタ２５１４をオンにすることによって、第二メモリ２５１５に転送される。
（工程７）
ＰＤ２５０２に対して露光期間ｔ３の間露光が行われる。当該露光は、工程７における転送が行われた直後に開始されうる。当該露光の結果、ＰＤ２５０２に第三の信号電荷が蓄積する。
ＰＤ２５０２に対して露光期間ｔ３の間露光が行われる。当該露光は、工程７における転送が行われた直後に開始されうる。当該露光の結果、ＰＤ２５０２に第三の信号電荷が蓄積する。
（工程８）
露光期間ｔ３の終了後、ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、第一転送トランジスタ２５０４をオンにすることによって、第一メモリ２５１２に保持されている第一の信号電荷がＦＤ２５０３に転送され、そして、画素信号電圧が、垂直信号線２５０９に出力される。ここで、（工程１）において加算処理されるべき画素の各ＦＤＬトランジスタ２５０８がオンにされているので、加算処理されるべき画素の各ＦＤ２５０３に保持されている信号電荷が加算され、加算された信号電荷に基づく画素信号が垂直信号線２５０９に出力される。また、加算処理されるべき画素列を接続する垂直信号線２５０９を、水平方向に接続するスイッチ（図７の７０３）をオンにすることによって、加算処理されるべき垂直信号線の電圧がＳＦ加算される。このようにして画素加算を行って得られた電圧信号の変換処理は、画素加算処理部１０８により図６における６０５垂直駆動部を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行ってもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部に保存されてよい。
露光期間ｔ３の終了後、ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、第一転送トランジスタ２５０４をオンにすることによって、第一メモリ２５１２に保持されている第一の信号電荷がＦＤ２５０３に転送され、そして、画素信号電圧が、垂直信号線２５０９に出力される。ここで、（工程１）において加算処理されるべき画素の各ＦＤＬトランジスタ２５０８がオンにされているので、加算処理されるべき画素の各ＦＤ２５０３に保持されている信号電荷が加算され、加算された信号電荷に基づく画素信号が垂直信号線２５０９に出力される。また、加算処理されるべき画素列を接続する垂直信号線２５０９を、水平方向に接続するスイッチ（図７の７０３）をオンにすることによって、加算処理されるべき垂直信号線の電圧がＳＦ加算される。このようにして画素加算を行って得られた電圧信号の変換処理は、画素加算処理部１０８により図６における６０５垂直駆動部を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行ってもよい。当該電圧信号が、本技術に従う動体検知において用いられる第一の電圧信号である。当該第一の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部に保存されてよい。
（工程９）
ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、第三転送トランジスタ２５１６をオンにすることによって、第二メモリ２５１５に保持されている第二の信号電荷がＦＤ２５０３に転送され、そして、画素信号電圧が、垂直信号線２５０９に出力される。（工程９）においても、（工程８）と同様に、画素加算が行われる。信号電荷から、画素加算によって得られる画素電圧信号への変換処理は、画素加算処理部１０８により図６における６０５垂直駆動部を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行ってもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてよい。
ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、第三転送トランジスタ２５１６をオンにすることによって、第二メモリ２５１５に保持されている第二の信号電荷がＦＤ２５０３に転送され、そして、画素信号電圧が、垂直信号線２５０９に出力される。（工程９）においても、（工程８）と同様に、画素加算が行われる。信号電荷から、画素加算によって得られる画素電圧信号への変換処理は、画素加算処理部１０８により図６における６０５垂直駆動部を制御すること、及び／又は、画素加算処理部１０８により図６におけるカラム処理部６０２を制御することによって行うことができ、または、画素加算処理部１０８自体によって行ってもよい。当該電圧信号が、本技術に従う動体検知において用いられる第二の電圧信号である。当該第二の電圧信号は例えば、図６中のカラム処理部６０２に置かれたサンプルホールド回路（図示せず）に保存されてもよいし、又は、ＡＤ変換後に、図６中のデータ格納部６０３に保存されてよい。
（工程１０）
第四転送トランジスタ２５１４をオンにすることで、ＰＤ２５０２に保持されている第三の信号電荷が第二メモリ２５１５に転送される。
第四転送トランジスタ２５１４をオンにすることで、ＰＤ２５０２に保持されている第三の信号電荷が第二メモリ２５１５に転送される。
（工程１１）
カラム処理部６０２によって、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
カラム処理部６０２によって、前記第一の電圧信号と前記第二の電圧信号との比較が行われる。当該比較は、例えばこれら２つの電圧信号の間の差を用いて行われてよい。又は、前記第一の電圧信号と前記第二の電圧信号との差を当該第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号によって除した値を用いて行われうる。より特には、前記比較は、画素加算により得られた電圧信号を変換して得られたディジタル信号値に基づき行われうる。これらの値を得るための演算は、例えばアナログ回路、論理回路、又は任意のソフトウェアを用いることにより行われうる。当該比較は、本技術における動体検知部により行われてよい。
（工程１２）
前記比較の結果、動体が検知されない場合は、次の画素ブロック行に対して、（工程１）〜（工程１１）を行う。全ての画素ブロック行について（工程１）〜（工程１１）を行い、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１１）が行われ、すなわち動体検知モードの次のフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、撮像モードに移行する。撮像モードへの移行は、（工程１）においてオンにされたＦＤＬトランジスタ２５０８をオフにし、かつ、垂直信号線２５０９を、水平方向に接続するスイッチ（図７の７０３）をオフにすることによって行われる。そして、（工程１０）において第二メモリ２５１５に転送された前記第三の信号電荷を用いて、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理が画素毎に行われうる。
例えば、まず、ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、Ｐ相信号を読み出す。次に、第三転送トランジスタ２５１６をオンにすることによって、第二メモリ２５１５に保持されている前記第三の信号電荷をＦＤ２５０３に転送してＤ相信号を読み出す。そして、当該Ｐ相信号及び当該Ｄ相信号を用いて相関２重サンプリング（ＣＤＳ）を行うことで、信号電荷処理が行われる。このように画素毎に信号電荷を処理することで、高解像度の画像が得られる。
前記比較の結果、動体が検知されない場合は、次の画素ブロック行に対して、（工程１）〜（工程１１）を行う。全ての画素ブロック行について（工程１）〜（工程１１）を行い、動体が検知されない場合は、所定のブランキング期間の後に、再度（工程１）〜（工程１１）が行われ、すなわち動体検知モードの次のフレームにおける処理が再度行われる。
前記比較の結果、動体が検知された場合は、撮像モードに移行する。撮像モードへの移行は、（工程１）においてオンにされたＦＤＬトランジスタ２５０８をオフにし、かつ、垂直信号線２５０９を、水平方向に接続するスイッチ（図７の７０３）をオフにすることによって行われる。そして、（工程１０）において第二メモリ２５１５に転送された前記第三の信号電荷を用いて、通常のＣＭＯＳイメージセンサにおいて行われる信号電荷処理が画素毎に行われうる。
例えば、まず、ＲＳＴトランジスタ２５０５をオンにすることで、ＦＤ２５０３をリセットする。当該リセット後、Ｐ相信号を読み出す。次に、第三転送トランジスタ２５１６をオンにすることによって、第二メモリ２５１５に保持されている前記第三の信号電荷をＦＤ２５０３に転送してＤ相信号を読み出す。そして、当該Ｐ相信号及び当該Ｄ相信号を用いて相関２重サンプリング（ＣＤＳ）を行うことで、信号電荷処理が行われる。このように画素毎に信号電荷を処理することで、高解像度の画像が得られる。
２．第２の実施形態（撮像方法）
（１）第２の実施形態の説明
本技術に従う撮像方法では、１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち１つのサブフレーム信号電荷が画素ブロック毎に加算処理され、他の１つのサブフレーム信号電荷が画素ブロック毎に加算処理され、そして、これらの加算処理の結果得られた２つの電圧信号が比較されることで、動体が検知される。本技術に従う撮像方法ではは、動体が検知されたフレームの次のフレームにおいて又は動体が検知されたフレームにおいて、画素毎の信号電荷処理が行われる。
このように動体検知を行うことによって、上記１．の「（１）第１の実施形態の説明」にて説明したとおり、動体が検知されたフレームの直後のフレームにおいて画素毎に信号電荷を処理することで、消費電力の小さい低解像度での撮像モードから、消費電力が大きい高解像度での撮像モードへの撮像モードの切り替えを即時に行うことができる。例えば、動体検知がされてから１フレーム時間内で、高解像度での撮像を行うことができる。
また、このように動体検知を行うことによって、上記１．の「（１）第１の実施形態の説明」にて説明したとおり、当該複数のサブフレーム信号電荷のうち、さらに他の一つのサブフレーム信号電荷について画素毎に信号電荷を処理することで、動体が検知されたフレームのフレーム時間内に撮像された高解像度画像が得られる。
また、このように動体検知を行うことによって、上記１．の「（１）第１の実施形態の説明」にて説明したとおり、当該複数のサブフレーム信号電荷のうち、さらに他の一つのサブフレーム信号電荷について画素毎に信号電荷を処理することで、動体が検知されたフレームのフレーム時間内に撮像された高解像度画像が得られる。
（２）第２の実施形態の例（撮像方法）
以下では、本技術に従う撮像方法の例を、図１及び１２を参照しながら説明する。図１は、上記「１．第１の実施形態（撮像装置）」で説明したとおりである。図１２は、本技術に従う撮像方法のフローの一例を示す図である。
ステップＳ１０１において、撮像装置１００は、本技術に従う撮像処理を開始する。
ステップＳ１０２の動体検知工程において、撮像装置１００は動体検知を行う。当該動体検知工程では、撮像装置１００は、１フレーム時間内の複数回露光により得られる複数のサブフレーム信号電荷のうち、２つのサブフレーム信号電荷に基づく画素信号を、画素ブロック毎に画素加算し、当該画素ブロック毎に、それぞれのサブフレームの画素信号を取得する。撮像装置１００は、このようにして得られた２つの電圧信号を比較することで、動体検知を行う。
具体的には、ステップＳ１０２の動体検知工程は例えば、１フレーム時間内に複数回露光を行って複数のサブフレーム信号電荷を取得する信号電荷取得工程と、前記複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持する第一電荷保持工程と、前記複数のサブフレーム信号電荷のうち、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持する第二電荷保持工程と、前記第一の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する第一画素加算処理工程と、前記第二の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、前記画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理を行う第二画素加算処理工程と、各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知工程とを含む。
ステップＳ１０２の動体検知工程において、例えば上記１．の「（２）第１の実施形態の第１の例（撮像装置）」、「（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）」、又は「（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）」において説明したとおりに動体検知が行われうる。そのため、当該動体検知における撮像装置の動作及び信号電荷の処理の説明については省略する。これらの説明については、上記１．の（２）〜（４）を参照されたい。
ステップＳ１０３において、撮像装置１００は、動体が検知されたかを判定する。
動体が検知されない場合、撮像装置１００は、処理をステップＳ１０２に戻し、再度動体検知工程を行う。
動体が検知された場合、撮像装置１００は、処理をステップ１０４に進める。
動体が検知されない場合、撮像装置１００は、処理をステップＳ１０２に戻し、再度動体検知工程を行う。
動体が検知された場合、撮像装置１００は、処理をステップ１０４に進める。
ステップＳ１０４の撮像工程において、撮像装置１００は、動体を撮像する。
撮像装置１００は、動体を撮像するために、まず、例えば上記１．の「（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）」又は「（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）」において説明したとおり、動体検知モードから撮像モードへと、撮像の仕方を切り替える。より具体的には、撮像装置１００における信号電荷の処理方式が、画素ブロック毎の信号電荷処理から、画素毎の信号電荷処理へと切り替えられる。当該切り替えは、例えば、上記１．の（３）又は（４）おいて説明したとおりであるので、詳細な説明は省略するが、例えば撮像素子内のＦＤＬトランジスタをオフにすることによって行われうる。
撮像装置１００は、動体を撮像するために、まず、例えば上記１．の「（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）」又は「（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）」において説明したとおり、動体検知モードから撮像モードへと、撮像の仕方を切り替える。より具体的には、撮像装置１００における信号電荷の処理方式が、画素ブロック毎の信号電荷処理から、画素毎の信号電荷処理へと切り替えられる。当該切り替えは、例えば、上記１．の（３）又は（４）おいて説明したとおりであるので、詳細な説明は省略するが、例えば撮像素子内のＦＤＬトランジスタをオフにすることによって行われうる。
ステップＳ１０４の撮像工程において、上記１．の「（３）第１の実施形態の第２の例（動体検知後１フレーム時間内で撮像する撮像装置）」において説明したとおり、動体検知されたフレームの直後のフレームにおいて、動体が撮像されてよい。または、上記１．の「（４）第１の実施形態の第３の例（動体検知フレーム内で撮像する撮像装置）」において説明したとおり、動体検知されたフレーム内の１つのサブフレームにおいて取得された信号電荷を、動体撮像に用いてもよい。
ステップＳ１０５において、撮像装置１００は、撮像処理を終了するかを判定する。
撮像処理を終了する場合は、撮像装置１００は、処理をステップＳ１０６に進める。例えば、目的の動体が撮像されたら撮像処理を終了するように予め撮像装置１００が設定されている場合、撮像装置１００は、当該目的の動体が撮像されたことに応じて、撮像処理を終了すると判定しうる。
撮像処理を終了しない場合は、撮像装置１００は、処理をステップＳ１０２に戻し、再度動体検知工程を行う。
撮像処理を終了する場合は、撮像装置１００は、処理をステップＳ１０６に進める。例えば、目的の動体が撮像されたら撮像処理を終了するように予め撮像装置１００が設定されている場合、撮像装置１００は、当該目的の動体が撮像されたことに応じて、撮像処理を終了すると判定しうる。
撮像処理を終了しない場合は、撮像装置１００は、処理をステップＳ１０２に戻し、再度動体検知工程を行う。
ステップＳ１０６において、撮像装置１００は、撮像処理を終了する。
以上の処理を行うことで、動体が検知されてから１フレーム時間以内に当該動体を撮像すること、又は、動体が検知されたフレーム内で当該動体を撮像することができる。
なお、本技術は、以下のような構成をとることもできる。
〔１〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、画素毎に信号電荷の処理を行う電荷処理部と
を備えている撮像装置。
〔２〕１フレーム時間内の露光回数が２回であり、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子であり、
前記電荷転送制御部が、前記２回の露光によって得られる２つのサブフレーム信号電荷のうち、先のサブフレーム信号電荷を前記フローティングディフュージョンに保持し且つ後のサブフレーム信号電荷を前記光電変換素子に保持するように信号電荷の転送を制御する、
〔１〕に記載の撮像装置。
〔３〕前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
〔２〕に記載の撮像装置。
〔４〕前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
〔２〕又は〔３〕に記載の撮像装置。
〔５〕先のサブフレームのフレーム時間と後のサブフレームのフレーム時間とが等しい、又は、先のサブフレームのフレーム時間が後のサブフレームのフレーム時間よりも長い、〔２〕〜〔４〕のいずれか一つに記載の撮像装置。
〔６〕前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、
前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれている、
〔２〕〜〔５〕のいずれか一つに記載の撮像装置。
〔７〕前記光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられている、〔２〕〜〔６〕のいずれか一つに記載の撮像装置。
〔８〕各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
〔２〕〜〔７〕のいずれか一つに記載の撮像装置。
〔９〕前記比較が、前記第一の電圧信号と第二の電圧信号の差、当該差を前記第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号で除した値を用いて行われる、〔２〕〜〔８〕のいずれか一つに記載の撮像装置。
〔１０〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、前記動体が検知されたフレーム内のさらに他の一つのサブフレーム信号電荷を画素毎に処理する電荷処理部と
を備えている撮像装置。
〔１１〕１フレーム時間内の露光回数が３回以上であり、
前記電荷転送制御部は、前記さらに他の一つのサブフレーム信号電荷が第三の電荷保持部に保持するように信号電荷の転送を制御し、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子又はメモリであり、
前記電荷転送制御部が、前記３回以上の露光によって得られる３つ以上のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を前記第一の電荷保持部に保持し且つ当該サブフレーム信号電荷よりも後のいずれかのサブフレーム信号電荷を前記第二の電荷保持部に保持するように信号電荷の転送を制御する、
〔１０〕に記載の撮像装置。
〔１２〕前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
〔１１〕に記載の撮像装置。
〔１３〕前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
〔１１〕又は〔１２〕に記載の撮像装置。
〔１４〕前記第二の電荷保持部が光電変換素子であり、
前記第三の電荷保持部がメモリである、
〔１１〕〜〔１３〕のいずれか一つに記載の撮像装置。
〔１５〕各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
〔１１〕〜〔１４〕のいずれか一つに記載の撮像装置。
〔１６〕前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とが等しい、又は、前者のフレーム時間が後者のフレーム時間よりも長い、〔１１〕〜〔１５〕のいずれか一つに記載の撮像装置。
〔１７〕各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とがずれている、
〔１１〕〜〔１６〕のいずれか一つに記載の撮像装置。
〔１８〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
を備えている撮像装置。
〔１９〕１フレーム時間内に複数回露光を行って複数のサブフレーム信号電荷を取得する信号電荷取得工程と、
前記複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持する第一電荷保持工程と、
前記複数のサブフレーム信号電荷のうち、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持する第二電荷保持工程と、
前記第一の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する第一画素加算処理工程と、
前記第二の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、前記画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理を行う第二画素加算処理工程と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知工程と
を含む撮像方法。
〔１〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、画素毎に信号電荷の処理を行う電荷処理部と
を備えている撮像装置。
〔２〕１フレーム時間内の露光回数が２回であり、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子であり、
前記電荷転送制御部が、前記２回の露光によって得られる２つのサブフレーム信号電荷のうち、先のサブフレーム信号電荷を前記フローティングディフュージョンに保持し且つ後のサブフレーム信号電荷を前記光電変換素子に保持するように信号電荷の転送を制御する、
〔１〕に記載の撮像装置。
〔３〕前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
〔２〕に記載の撮像装置。
〔４〕前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
〔２〕又は〔３〕に記載の撮像装置。
〔５〕先のサブフレームのフレーム時間と後のサブフレームのフレーム時間とが等しい、又は、先のサブフレームのフレーム時間が後のサブフレームのフレーム時間よりも長い、〔２〕〜〔４〕のいずれか一つに記載の撮像装置。
〔６〕前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、
前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれている、
〔２〕〜〔５〕のいずれか一つに記載の撮像装置。
〔７〕前記光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられている、〔２〕〜〔６〕のいずれか一つに記載の撮像装置。
〔８〕各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
〔２〕〜〔７〕のいずれか一つに記載の撮像装置。
〔９〕前記比較が、前記第一の電圧信号と第二の電圧信号の差、当該差を前記第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号で除した値を用いて行われる、〔２〕〜〔８〕のいずれか一つに記載の撮像装置。
〔１０〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、前記動体が検知されたフレーム内のさらに他の一つのサブフレーム信号電荷を画素毎に処理する電荷処理部と
を備えている撮像装置。
〔１１〕１フレーム時間内の露光回数が３回以上であり、
前記電荷転送制御部は、前記さらに他の一つのサブフレーム信号電荷が第三の電荷保持部に保持するように信号電荷の転送を制御し、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子又はメモリであり、
前記電荷転送制御部が、前記３回以上の露光によって得られる３つ以上のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を前記第一の電荷保持部に保持し且つ当該サブフレーム信号電荷よりも後のいずれかのサブフレーム信号電荷を前記第二の電荷保持部に保持するように信号電荷の転送を制御する、
〔１０〕に記載の撮像装置。
〔１２〕前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
〔１１〕に記載の撮像装置。
〔１３〕前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
〔１１〕又は〔１２〕に記載の撮像装置。
〔１４〕前記第二の電荷保持部が光電変換素子であり、
前記第三の電荷保持部がメモリである、
〔１１〕〜〔１３〕のいずれか一つに記載の撮像装置。
〔１５〕各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
〔１１〕〜〔１４〕のいずれか一つに記載の撮像装置。
〔１６〕前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とが等しい、又は、前者のフレーム時間が後者のフレーム時間よりも長い、〔１１〕〜〔１５〕のいずれか一つに記載の撮像装置。
〔１７〕各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とがずれている、
〔１１〕〜〔１６〕のいずれか一つに記載の撮像装置。
〔１８〕１フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
を備えている撮像装置。
〔１９〕１フレーム時間内に複数回露光を行って複数のサブフレーム信号電荷を取得する信号電荷取得工程と、
前記複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持する第一電荷保持工程と、
前記複数のサブフレーム信号電荷のうち、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持する第二電荷保持工程と、
前記第一の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する第一画素加算処理工程と、
前記第二の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、前記画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理を行う第二画素加算処理工程と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知工程と
を含む撮像方法。
１００ 撮像装置
１０１ 光学系
１０２ シャッタ装置
１０３ 画素アレイ部
１０４ 制御部
１０５ モニタ
１０６ メモリ
１０７ 電荷転送制御部
１０８ 画素加算処理部
１０９ 動体検知部
１１０ 電荷処理部
１１１ 信号処理部
１１２ 撮像素子
１０１ 光学系
１０２ シャッタ装置
１０３ 画素アレイ部
１０４ 制御部
１０５ モニタ
１０６ メモリ
１０７ 電荷転送制御部
１０８ 画素加算処理部
１０９ 動体検知部
１１０ 電荷処理部
１１１ 信号処理部
１１２ 撮像素子
Claims (19)
- １フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、画素毎に信号電荷の処理を行う電荷処理部と
を備えている撮像装置。 - １フレーム時間内の露光回数が２回であり、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子であり、
前記電荷転送制御部が、前記２回の露光によって得られる２つのサブフレーム信号電荷のうち、先のサブフレーム信号電荷を前記フローティングディフュージョンに保持し且つ後のサブフレーム信号電荷を前記光電変換素子に保持するように信号電荷の転送を制御する、
請求項１に記載の撮像装置。 - 前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
請求項２に記載の撮像装置。 - 前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
請求項２に記載の撮像装置。 - 先のサブフレームのフレーム時間と後のサブフレームのフレーム時間とが等しい、又は、先のサブフレームのフレーム時間が後のサブフレームのフレーム時間よりも長い、請求項２に記載の撮像装置。
- 前記画素ブロックが、第一のグループ及び第二のグループの２つのグループに分けられており、
前記第一のグループのフレーム時間と前記第二のグループのフレーム時間とがずれている、
請求項２に記載の撮像装置。 - 前記光電変換素子に保持されているサブフレーム信号電荷をリセットすることができるオーバーフローゲートが各画素に設けられている、請求項２に記載の撮像装置。
- 各画素ブロックが、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
請求項２に記載の撮像装置。 - 前記比較が、前記第一の電圧信号と第二の電圧信号の差、当該差を前記第一の電圧信号によって除した値、又は前記第一の電圧信号を前記第二の電圧信号で除した値を用いて行われる、請求項２に記載の撮像装置。
- １フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
前記動体検知部により動体が検知されたことに応じて、前記動体が検知されたフレーム内のさらに他の一つのサブフレーム信号電荷を画素毎に処理する電荷処理部と
を備えている撮像装置。 - １フレーム時間内の露光回数が３回以上であり、
前記電荷転送制御部は、前記さらに他の一つのサブフレーム信号電荷が第三の電荷保持部に保持するように信号電荷の転送を制御し、
前記第一の電荷保持部がフローティングディフュージョンであり、
前記第二の電荷保持部が光電変換素子又はメモリであり、
前記電荷転送制御部が、前記３回以上の露光によって得られる３つ以上のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を前記第一の電荷保持部に保持し且つ当該サブフレーム信号電荷よりも後のいずれかのサブフレーム信号電荷を前記第二の電荷保持部に保持するように信号電荷の転送を制御する、
請求項１０に記載の撮像装置。 - 前記画素ブロックのそれぞれにおいて、各画素のフローティングディフュージョンが垂直方向にフローティング配線によって連結されており、
前記フローティング配線は、フローティングディフュージョンが連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
フローティングディフュージョンに保持されているサブフレーム信号電荷に基づく画素信号の加算が、前記フローティング配線を前記連結されている状態とすることにより行われる、
請求項１１に記載の撮像装置。 - 前記画素ブロックのそれぞれにおいて、各画素内に保持されている信号電荷を列単位で転送する垂直信号線が、水平方向に水平方向配線によって連結されており、
前記水平方向配線は、垂直信号線が連結されている状態と連結されていない状態とを切り替え可能であるように構成されており、
各画素内に保持されている信号電荷に基づく画素信号の加算が、前記水平方向配線を前記連結されている状態とすることにより行われる、
請求項１１に記載の撮像装置。 - 前記第二の電荷保持部が光電変換素子であり、
前記第三の電荷保持部がメモリである、
請求項１１に記載の撮像装置。 - 各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
第一の画素グループの露光時間と第二の画素グループの露光時間とが異なる、
請求項１１に記載の撮像装置。 - 前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とが等しい、又は、前者のフレーム時間が後者のフレーム時間よりも長い、請求項１１に記載の撮像装置。
- 各画素ブロック内の画素が、第一の画素グループ及び第二の画素グループの２つのグループに分けられており、
前記第一の電圧信号を生成するために用いられるサブフレームのフレーム時間と前記第二の電圧信号を生成するために用いられるサブフレームのフレーム時間とがずれている、
請求項１１に記載の撮像装置。 - １フレーム時間内に複数回露光を行って得られる複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持し、かつ、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持するように、信号電荷の転送を制御する電荷転送制御部と、
前記第一の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する処理と、
前記第二の電荷保持部に保持されたサブフレーム信号電荷に基づく画素信号を、当該画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理と
を行う画素加算処理部と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知部と、
を備えている撮像装置。 - １フレーム時間内に複数回露光を行って複数のサブフレーム信号電荷を取得する信号電荷取得工程と、
前記複数のサブフレーム信号電荷のうち、一つのサブフレーム信号電荷を第一の電荷保持部に保持する第一電荷保持工程と、
前記複数のサブフレーム信号電荷のうち、他の一つのサブフレーム信号電荷を第二の電荷保持部に保持する第二電荷保持工程と、
前記第一の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、複数の画素から構成される画素ブロック毎に画素加算して、当該画素ブロック毎に第一の電圧信号を取得する第一画素加算処理工程と、
前記第二の電荷保持部に保持されているサブフレーム信号電荷に基づく画素信号を、前記画素ブロック毎に画素加算して、当該画素ブロック毎に第二の電圧信号を取得する処理を行う第二画素加算処理工程と、
各画素ブロックにおける前記第一の電圧信号と前記第二の電圧信号との比較に基づき動体を検知する動体検知工程と
を含む撮像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018021756A JP2019140513A (ja) | 2018-02-09 | 2018-02-09 | 撮像装置及び撮像方法 |
| PCT/JP2018/040935 WO2019155699A1 (ja) | 2018-02-09 | 2018-11-05 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018021756A JP2019140513A (ja) | 2018-02-09 | 2018-02-09 | 撮像装置及び撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019140513A true JP2019140513A (ja) | 2019-08-22 |
Family
ID=67548391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018021756A Pending JP2019140513A (ja) | 2018-02-09 | 2018-02-09 | 撮像装置及び撮像方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2019140513A (ja) |
| WO (1) | WO2019155699A1 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6702704B2 (ja) * | 2015-12-04 | 2020-06-03 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法 |
| JP2017112409A (ja) * | 2015-12-14 | 2017-06-22 | ソニー株式会社 | 撮像装置および方法 |
| US10868981B2 (en) * | 2016-04-27 | 2020-12-15 | Sony Corporation | Shooting control apparatus, shooting control method, and shooting apparatus |
| JP6719984B2 (ja) * | 2016-06-06 | 2020-07-08 | キヤノン株式会社 | 撮像装置、撮像システム |
| JP2018007035A (ja) * | 2016-07-01 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
| JP2018019191A (ja) * | 2016-07-27 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
-
2018
- 2018-02-09 JP JP2018021756A patent/JP2019140513A/ja active Pending
- 2018-11-05 WO PCT/JP2018/040935 patent/WO2019155699A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019155699A1 (ja) | 2019-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5821315B2 (ja) | 電子機器、電子機器の駆動方法 | |
| WO2016072289A1 (ja) | 撮像素子および駆動方法、並びに電子機器 | |
| US9402038B2 (en) | Solid-state imaging device and method of driving comprising a first and second accumulation sections for transferring charges exceeding the saturation amount | |
| US10785430B2 (en) | Solid-state imaging device and imaging apparatus | |
| US20140078367A1 (en) | Solid-state imaging device, control method and electronic apparatus | |
| JP6120091B2 (ja) | 固体撮像素子および駆動方法、並びに電子機器 | |
| JP2006352843A (ja) | 撮像装置及び制御方法 | |
| JP2008099158A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| JP2006197393A (ja) | 固体撮像装置、カメラ、及び固体撮像装置の駆動方法 | |
| CN102215351A (zh) | 固态成像装置，固态成像装置的驱动方法和电子设备 | |
| JP2008252195A (ja) | Ｃｍｏｓ固体撮像装置 | |
| WO2018012133A1 (ja) | 固体撮像素子、及び、固体撮像素子の駆動方法、並びに、電子機器 | |
| WO2018012068A1 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
| JP4931232B2 (ja) | 撮像装置及びその処理方法 | |
| JP2008147713A (ja) | 撮像装置及び判定方法 | |
| US11805323B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
| US8179460B2 (en) | System, method, and apparatus for variable rate pixel data transfer and storage | |
| KR20120122165A (ko) | 광역 동적범위를 가지는 이미지 센서, 그 화소 회로 및 구동 방법 | |
| WO2019155699A1 (ja) | 撮像装置及び撮像方法 | |
| JP2008042573A (ja) | 撮像装置及びその制御方法、撮像システム並びにプログラム | |
| JP2009044458A (ja) | 固体撮像装置 | |
| JP2013051497A (ja) | 固体撮像装置、撮像装置および撮像方法 | |
| WO2017110163A1 (ja) | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 | |
| JP2014042211A (ja) | 固体撮像装置および撮像装置 | |
| WO2023182187A1 (ja) | 固体撮像装置 |