JP2021034786A - 撮像素子、撮像素子の駆動方法、及び、電子機器 - Google Patents

撮像素子、撮像素子の駆動方法、及び、電子機器 Download PDF

Info

Publication number
JP2021034786A
JP2021034786A JP2019150214A JP2019150214A JP2021034786A JP 2021034786 A JP2021034786 A JP 2021034786A JP 2019150214 A JP2019150214 A JP 2019150214A JP 2019150214 A JP2019150214 A JP 2019150214A JP 2021034786 A JP2021034786 A JP 2021034786A
Authority
JP
Japan
Prior art keywords
pixel
unit
image
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019150214A
Other languages
English (en)
Inventor
和彦 村岡
Kazuhiko Muraoka
和彦 村岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019150214A priority Critical patent/JP2021034786A/ja
Priority to US17/634,062 priority patent/US11962920B2/en
Priority to PCT/JP2020/021611 priority patent/WO2021033388A1/ja
Publication of JP2021034786A publication Critical patent/JP2021034786A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】回路規模が小さく、低消費電力にて、特定の領域の画素に対する読み出し駆動と、全体画角の画素に対する読み出し駆動とを実現できる撮像素子を提供する。【解決手段】本開示の撮像素子は、受光素子を含む画素が配置されて成る画素アレイ部、画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、を備える。【選択図】 図４

Description

本開示は、撮像素子、撮像素子の駆動方法、及び、電子機器に関する。
半導体の技術発展と呼応した機械学習・ＡＩ技術の進歩により、限られた領域（特定の領域）での動画解析技術が実用レベルに発達してきた。撮像素子について、この限られた領域での動画解析技術に対応できるようにするためには、特定の領域の画素に対する読み出し駆動と、特定の領域を抽出する助けや確認となる全体画角の画素に対する読み出し駆動とを実現できることが望まれる。因みに、従来の撮像素子では、１枚の写真、又は、１画面の映像を取得する目的で作られており、画素アレイ部の全画素（全体画角の画素）に対して同じ読み出し駆動が行われていた。
特開２０１８−１８６５７６号公報（特許文献１）には、画素アレイ部を複数のブロックに分割し、ブロック単位で独立した駆動が行われる撮像素子、具体的には、分割された複数のブロックがそれぞれ独立した構造を持ち、ブロック単位に独立のタイミングで駆動が行われる撮像素子が開示されている。この従来技術によれば、各ブロックを独立のタイミングで駆動を行うことにより、ブロック単位で特定の領域に対してのみ高フレームレートの駆動を実現することができる。
特開２０１８−１８６５７６号公報
特許文献１に記載の撮像素子は、マトリクス状に分割された個々のブロック毎に、１つ以上のアナログ−デジタル変換器、メモリ、及び、データ処理部と、一般の撮像素子と同等の回路構造を持っている。そのため、特許文献１に記載の撮像素子に搭載されるアナログ−デジタル変換器の数が、１行単位でアナログ−デジタル変換を行う通常の撮像素子に比べて非常に多くなる。
アナログ−デジタル変換器は、回路サイズが大きく、消費電力が大きい。そして、アナログ−デジタル変換器は、アナログ回路技術で設計されるため、動作状態に拘わらず、電源投入時間に対して電力消費が発生することになる。また、アナログ−デジタル変換したデータを蓄えるメモリも、回路サイズ及び消費電力が大きく、画素数分必要となるため、これも数量が非常に多い。従って、特許文献１に記載の撮像素子は、回路規模が大きく、消費電力が大きい。
本開示は、回路規模が小さく、低消費電力にて、特定の領域の画素に対する読み出し駆動と、全体画角の画素に対する読み出し駆動とを実現できる撮像素子、撮像素子の駆動方法、及び、当該撮像素子を有する電子機器を提供することを目的とする。
上記の目的を達成するための本開示の撮像素子は、
受光素子を含む画素が配置されて成る画素アレイ部、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
を備える。
上記の目的を達成するための本開示の撮像素子の駆動方法は、
受光素子を含む画素が配置されて成る画素アレイ部、及び、
画素アレイ部から読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部を備える撮像素子の駆動に当たって、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出し、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す。
上記の目的を達成するための本開示の電子機器は、
受光素子を含む画素が配置されて成る画素アレイ部、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
を備える撮像素子を有する。
図１は、本開示の技術の動作イメージを示す図である。 図２は、他の手法その１の動作イメージを示す図である。 図３は、他の手法その２の動作イメージを示す図である。 図４は、本開示の実施形態に係る撮像素子のシステム構成を示す概念図である。 図５は、画素の回路構成の一例を示す回路図である。 図６は、実施例１に係るアナログ部の回路構成を示す回路図である。 図７は、実施例１に係るアナログ部における読み出し制御について説明するタイミング波形図である。 図８は、実施例２に係る撮像素子のシステム構成を示す構成図である。 図９は、全画面画像の読み出し駆動を実現するためのアナログ部の回路構成を示す回路図である。 図１０は、ＲＯＩ画像の読み出し駆動を実現するためのアナログ部の回路構成を示す回路図である。 図１１は、実施例２に係る撮像素子の全画面画像の読み出し駆動、及び、ＲＯＩ画像の読み出し駆動について説明するタイミング波形図である。 図１２は、実施例３に係る関心領域検出部の回路構成の一例を示すブロック図である。 図１３Ａ、図１３Ｂ、図１３Ｃ、及び、図１３Ｄは、動き検出の技術を用いる関心領域の検出についての概念図である。 図１４は、関心領域の切り出し処理について説明する図である。 図１５は、実施例４に係るアドレス制御についての説明図である。 図１６は、実施例５に係るアドレス制御についての説明図である。 図１７は、実施例６に係るアドレス制御についての説明図である。 図１８は、実施例７に係るアドレス制御についての説明図である。 図１９は、実施例８に係るアドレス制御についての説明図である。 図２０は、実施例９に係るアドレス制御についての説明図である。 図２１は、実施例１０に係るアドレス制御についての説明図である。 図２２は、本開示の技術の適用例を示す図である。 図２３は、電子機器の一例である撮像装置の構成の概略を示すブロック図である。
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像素子、撮像素子の駆動方法、及び、電子機器、全般に関する説明
２．本開示の技術の動作イメージ
３．全画面画像の読み出し駆動及びＲＯＩ画像の読み出し駆動の他の手法について
３−１．他の手法その１
３−２．他の手法その２
３−３．他の手法その３（特許文献１に記載の従来技術）
４．実施形態に係る撮像素子
４−１．ＣＭＯＳイメージセンサの構成例
４−２．画素の構成例
４−３．実施例１（アナログ部の回路構成例）
４−４．実施例２（全画面画像の取得とＲＯＩ画像の取得とを時分割駆動で行う例）
４−５．実施例３（関心領域の検出に動き検出の技術を用いる例）
４−６．実施例４（実施例１の変形例：関心領域ＲＯＩが水平方向に移動する場合のアドレス制御の例）
４−７．実施例５（実施例１の変形例：関心領域ＲＯＩが垂直方向に移動する場合のアドレス制御その１の例）
４−８．実施例６（実施例１の変形例：関心領域ＲＯＩが垂直方向に移動する場合のアドレス制御その２の例）
４−９．実施例７（実施例２の変形例：ジッタ対策のためのアドレス制御の例）
４−１０．実施例８（関心領域ＲＯＩが複数存在する場合のアドレス制御の例）
４−１１．実施例９（実施例８の変形例：複数の関心領域ＲＯＩが互いに反する方向に移動する場合のアドレス制御の例）
４−１２．実施例１０（画像出力２が画像出力１と時間的に重ならないように制御する例）
５．変形例
６．応用例
７．本開示の電子機器（撮像装置の例）
８．本開示がとることができる構成
＜本開示の撮像素子、その駆動方法、及び、電子機器、全般に関する説明＞
本開示の撮像素子、その駆動方法、及び、電子機器にあっては、撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する構成とすることができる。そして、関心領域検出部について、撮像画像内の動きがある領域を関心領域として検出する構成とすることができる。また、関心領域検出部について、現在の撮像フレームの画像情報と、少なくとも１撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する構成とすることができる。
上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、関心領域検出部について、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有する構成とすることができる。そして、画像メモリについては、少なくとも１撮像フレーム前の画像情報を保持し、比較部については、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得する構成とすることができる。また、移動量メモリについては、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、関心領域判定部については、移動量メモリに格納されている移動量に基づいて関心領域を判定する構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、関心領域検出部について、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する構成とすることができる。そして、第２画素制御部について、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、アナログ−デジタル変換部によるアナログ−デジタル変換後の画素データをラッチするラッチバッファ部、及び、ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、２系統設けられている構成とすることができる。そして、画素アレイ部の各画素について、２系統の信号線のそれぞれに画素の信号を読み出す２つのスイッチを有する構成とすることができる。また、アナログ−デジタル変換部についても、２系統の信号線のそれぞれに対応して２系統設けられている構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、第１画素制御部及び第２画素制御部について、２系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、１系統設けられている構成とすることができる。そして、第１画素制御部及び第２画素制御部について、１系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像素子、その駆動方法、及び、電子機器にあっては、単一チップから成るチップ構造を有する構成とすることができる。
＜本開示の技術の動作イメージ＞
本開示の技術の動作イメージを図１に示す。撮像装置１００は、本開示の撮像素子１０及びレンズ鏡筒３０等を備えている。撮像素子１０は、画素から読み出された信号に対してアナログ−デジタル変換を行うアナログ−デジタル変換器を１行分有する単一チップから成るチップ構造を有する。本開示の撮像素子１０は、画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、及び、画素アレイ部内の特定の領域ＲＯＩ（Region Of Interest：関心領域）の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部を備えている。以下、第２画素制御部の第２のフレームレートについて、高フレームレートと記述する場合がある。
このように、本開示の撮像素子１０は、画素制御部を複数（例えば、第１画素制御部と第２画素制御部）備えており、単一の画素アレイ部に対して複数の制御を行い、対応する領域の画素の信号を読み出す構造を持っている。尚、第２画素制御部については、１つ備える構成であってもよいし、複数備える構成であってもよい。本開示の撮像素子１０では、複数の画素制御部による制御の下に、アナログ−デジタル変換を含めた読み出し制御を工夫することにより、回路リソースや電力の負担を抑えて、全画面画像出力と高フレームレートのＲＯＩ画像出力とを実現する。ここで、「ＲＯＩ画像出力」とは、特定の領域ＲＯＩの画像出力のことである。
上述したように、本開示の撮像素子１０は、全画面画像出力と高フレームレートのＲＯＩ画像出力だけにアナログ−デジタル変換を行う構成となっている。従って、本開示の撮像素子１０によれば、低消費電力にて、全体画角の画素に対する読み出し駆動（即ち、全画面画像の読み出し駆動）と、特定の領域ＲＯＩの画素に対する読み出し駆動（即ち、ＲＯＩ画像の読み出し駆動）とを実現することができる。本開示の撮像素子１０の詳細については後述する。
＜全画面画像の読み出し駆動及びＲＯＩ画像の読み出し駆動の他の手法について＞
ここで、全画面画像の読み出し駆動及びＲＯＩ画像の読み出し駆動の他の手法について説明する。
［他の手法その１］
他の手法その１の動作イメージを図２に示す。他の手法その１は、２つの撮像装置１００Ａ，１００Ｂを用いて別々の領域に対して駆動を行う手法である。この手法その１の場合、２つの撮像装置１００Ａ，１００Ｂのコスト及び設置スペースを必要とする。また、２つの撮像装置１００Ａ，１００Ｂの視差が発生し、ＲＯＩ画像と全画面画像とで違う映像となってしまうため不正確な情報となる。
［他の手法その２］
他の手法その２の動作イメージを図３に示す。他の手法その２は、予め高フレームレートでデータを取得して、データ処理部分で特定の領域ＲＯＩ以外の情報を削除する手法である。この手法その２では、高速な撮像素子を用いて画像を多数取得し、データを捨てることにより、低フレームレートの全画面画像、及び、高フレームレートのＲＯＩ画像を作り出すことになる。
手法その２の場合、最終的な出力データ量を抑えることはできるものの、内部回路が高フレームレートで動作するため、それに費やす開発コストや回路規模、消費電力は、非常に高いものになる。動作原理は、全画面画像出力では低フレームレートになるように出力を捨て、ＲＯＩ画像出力では特定の領域ＲＯＩ以外のデータを捨てて、出力ビットレートだけを下げるため、アナログ−デジタル変換した大部分のデータを捨てる。
［他の手法その３］
他の手法その３は、特許文献１に記載の従来技術である。特許文献１に記載の従来技術は、マトリクス状に分割された個々のブロック毎に、１つ以上のアナログ−デジタル変換器、メモリ、データ処理部、及び、出力線と、一般の撮像素子と同等の回路構造を持っている。従って、特許文献１に記載の撮像素子では、アナログ−デジタル変換器の数が、１行単位でアナログ−デジタル変換を行う通常の撮像素子に比べて非常に多くなるため、回路規模が大きく、消費電力が大きい。
他の手法その３では、出力線の引き回しも問題になる。マトリクス状に分割されたブロックの１つ１つに制御線、出力データ信号線があり、出力インタフェースは最終的には１箇所であるため、各ブロックの出力線は集約される。この集約先は、画素アレイ部の外側のシステム外周部分であるため線長が長くなり、また、非常に多くの配線であるため回路サイズとして大きな面積を必要とする。
撮像素子の特徴として、画素間のギャップを小さく保たないと画像品質が低下するために、一般的には高密度な実装になる。この高密度な実装を行うためには単層の設計は困難であり、複数枚のチップの積層と、多くの信号線を通す端子を確保するための金属結合技術等を利用することになる。ただ、アナログ−デジタル変換器やメモリの回路サイズが大きいため、画素アレイ部の裏側は、アナログ−デジタル変換器やメモリで埋まり、画素アレイ部の外側に集線し、画像データ処理用の回路は画素アレイ部の外側に置かれるためチップ面積が大きくなりチップ価格が上昇する。
以上の理由により、特許文献１に記載の撮像素子は、一般の撮像素子に比べて、回路サイズ及び消費電力が共に大きく、価格も高価格となる。消費電力の上昇に伴って、撮像装置（カメラシステム）自体も大規模化するため高価となる。そして、高価格であること、及び、消費電力が大きいことで、製品への応用は著しく限定され、特殊な撮像素子に位置付けられる。
＜実施形態に係る撮像素子＞
本開示の実施形態に係る撮像素子のシステム構成について説明する。本実施形態では、撮像素子として、Ｘ−Ｙアドレス方式の撮像素子の一種であるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを例に挙げて説明する。ＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
［システム構成］
図４は、本開示の実施形態に係る撮像素子のシステム構成を示す概念図である。図４に示すように、本実施形態に係る撮像素子１０は、画素アレイ部１１、及び、当該画素アレイ部１１の周辺に配置された周辺回路部を有する構成となっている。周辺回路部としては、例えば、行選択部１２、アナログ−デジタル変換部１３、ラッチバッファ部１４、水平関心領域切り出し部１５、画像処理部１６Ａ，１６Ｂ、出力インタフェース（Ｉ／Ｆ）部１７、関心領域検出部１８、第１画素制御部１９Ａ、及び、第２画素制御部１９Ｂ等が設けられている。
画素アレイ部１１には、光電変換部（受光素子）を含む画素２０が行方向及び列方向に、即ち、行列状に２次元配置されている。ここで、行方向とは、画素行の各画素２０の配列方向（所謂、水平方向）を言い、列方向とは、画素列の各画素２０の配列方向（所謂、垂直方向）を言う。以下では、行方向を水平方向と記述し、列方向を垂直方向と記述する場合がある。画素２０は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。画素２０の具体的な回路構成については後述する。
画素アレイ部１１において、行列状の画素配列に対し、画素行毎に画素駆動線３１1〜３１m（以下、総称して「画素駆動線３１」と記述する場合がある）が行方向に沿って配線されている。また、画素列毎に垂直信号線３２1〜３２n（以下、総称して「垂直信号線３２」と記述する場合がある）が列方向に沿って配線されている。画素駆動線３１は、画素２０から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線３１について１本の配線として図示しているが、１本に限られるものではない。画素駆動線３１の一端は、行選択部１２の各行に対応した出力端に接続されている。
以下に、画素アレイ部１１の周辺回路部の各回路部、即ち、行選択部１２、アナログ−デジタル変換部１３、ラッチバッファ部１４、水平関心領域切り出し部１５、画像処理部１６Ａ，１６Ｂ、出力インタフェース部１７、関心領域検出部１８、第１画素制御部１９Ａ、及び、第２画素制御部１９Ｂについて説明する。
行選択部１２は、シフトレジスタやアドレスデコーダなどによって構成され、第１画素制御部１９Ａ又は第２画素制御部１９Ｂによる制御の下に、画素アレイ部１１の各画素２０を行単位等で駆動する。画素アレイ部１１の各画素２０が、行選択部１２によって画素行単位で選択されることにより、選択された画素行の各画素２０から信号（即ち、画素信号）が読み出される。
行選択部１２によって選択走査された画素行の各画素２０には、画素列毎に垂直信号線３２1〜３２nの各々に接続されたＭＯＳ型電界効果トランジスタから成る電流源Ｉ（図５参照）から、垂直信号線３２1〜３２nの各々を通してバイアス電流が供給される。画素アレイ部１１の各画素２０から画素行単位で読み出される画素信号は、垂直信号線３２1〜３２nの各々を通してアナログ−デジタル変換部１３に供給される。
アナログ−デジタル変換部１３は、垂直信号線３２1〜３２nの各々に対応して設けられた複数のアナログ−デジタル変換器（ＡＤＣ）１３１の集合から成り、画素列毎に画素行単位で出力されるアナログの画素信号をデジタル信号に変換する。すなわち、アナログ−デジタル変換部１３は、アナログ−デジタル変換器１３１が画素列に対応して並列に複数配置されて成る列並列型のアナログ−デジタル変換部である。
アナログ−デジタル変換器１３１としては、周知のアナログ−デジタル変換器を用いることができる。具体的には、アナログ−デジタル変換器１３１として、参照信号比較型のアナログ−デジタル変換器の一例であるシングルスロープ型アナログ−デジタル変換器、逐次比較型アナログ−デジタル変換器、又は、デルタ−シグマ変調型（ΔΣ変調型）アナログ−デジタル変換器を例示することができる。但し、アナログ−デジタル変換器は、これらに限定されるものではない。
アナログ−デジタル変換部１３において、アナログ−デジタル変換器１３１は、画素列に対して１対１の関係で、即ち、画素列毎に配置する構成とすることもできるし、複数の画素列に対してアナログ−デジタル変換器を１つ配置する構成とすることもできる。
ラッチバッファ部１４は、アナログ−デジタル変換器１３１の後段に配されている。ラッチバッファ部１４は、垂直信号線３２1〜３２nの各々に対応して設けられた複数のラッチ回路１４１の集合から成り、画素アレイ部１１の各画素２０からの画素信号の読み出し期間、アナログ−デジタル変換後の画素データをラッチする。
ラッチバッファ部１４の各ラッチ回路１４１にラッチされた１行分の画素データは、画像処理部１６Ａに供給され、当該画像処理部１６Ａで所定の画像処理が行われた後、出力インタフェース部１７を通して全画面画像出力として導出される。ラッチバッファ部１４から出力される画素データは、更に、水平関心領域切り出し部１５及び関心領域検出部１８に直接供給される。
関心領域検出部１８は、ラッチバッファ部１４から出力される画素データを基に、画像内容から撮像画像内の特定の領域を、関心領域（ＲＯＩ）又は着目領域として検出する。関心領域検出部１８は、例えば、周知の動き検出の技術を用いることによって、撮像画像内の動きがある領域を関心領域（着目領域）として検出することができる。但し、関心領域を検出する技術としては、動き検出の技術に限られるものではない。
動き検出の技術を用いる場合、少なくとも１撮像フレーム前の画像情報を保持しておく必要がある。そのため、関心領域検出部１８は、少なくとも１撮像フレーム分の画像情報を記憶する画像メモリを内蔵することになる。関心領域検出部１８は、現在の撮像フレームの画像情報と、画像メモリに保持した少なくとも１撮像フレーム前の画像情報との比較結果を基に、撮像画像内の動きがある領域を関心領域として検出し、その関心領域情報を第２画素制御部１９Ｂに与える。動き検出の技術を用いる関心領域検出部１８の詳細については後述する。
水平関心領域切り出し部１５は、関心領域検出部１８の検出結果を基に、図１に示すＲＯＩ部分のように、１行分の画素データについて、水平方向（行方向）における関心領域の切り出しを行う。このように、水平方向の切り出しを行う構成をとることにより、データ量を削減することができる。水平関心領域切り出し部１５において、水平方向の切り出しが行われた画素データは、画像処理部１６Ａで所定の画像処理が行われた後、出力インタフェース部１７を通してＲＯＩ画像出力として導出される。
尚、水平方向の切り出しについては、ラッチバッファ部１４の後段に配された水平関心領域切り出し部１５によって実行する他、ラッチバッファ部１４からデータを読み出す際にＲＯＩ部分のデータだけを読み出すようにすることもできる。また、撮像素子１０の利用目的によっては、水平方向の切り出しを省略するようにしてもよい。
第１画素制御部１９Ａは、各種のタイミング信号、クロック信号、及び、制御信号等を基に、画素アレイ部１１内の全画素２０の信号を第１のフレームレートで読み出す制御を行う。第２画素制御部１９Ｂは、関心領域検出部１８の検出結果である関心領域情報に基づいて画素行を選択し、画素アレイ部１１内の特定の領域ＲＯＩを含む画素行の各画素２０の信号を、第１のフレームレートよりも高い第２のフレームレート（即ち、高フレームレート）で読み出す制御を行う。
上記の構成の撮像素子１０では、レンズ（図示せず）を通したイメージ画像を得ることができる。そして、行選択部１２による駆動の下に、画素アレイ部１１内の各画素２０の信号を１画素行毎に読み出し、アナログ−デジタル変換部１３でアナログ−デジタル変換し、ラッチバッファ部１４の各ラッチ回路１４１でラッチし、順に出力することで、１画面の画像を得ることができる。
画素信号を読み出す画素行にはアドレスが存在し、回路上では、図の下方から上方に向かってインクリメントする行アドレスとする。一般的に、上記のレンズとしてケプラー式のレンズが用いられ、画像は鏡像になる。従って、鏡像となることを前提とすると、回路上の下方は画像上では上方に位置し、画像上では、上方から下方に向かって行アドレスをインクリメントすることになる。
以上説明した本実施形態に係る撮像素子１０は、画素制御部として、画素アレイ部１１内の全画素２０の信号を第１のフレームレートで読み出す制御を行う第１画素制御部１９Ａ、及び、画素アレイ部１１内の特定の領域ＲＯＩの画素２０の信号を第２のフレームレートで読み出す制御を行う第２画素制御部１９Ｂの複数搭載することが特徴である。
本実施形態に係る撮像素子１０では、第１画素制御部１９Ａ及び第２画素制御部１９Ｂの他に、水平関心領域切り出し部１５及び関心領域検出部１８が、一般的な撮像素子（例えば、ＣＭＯＳイメージセンサ）からの追加回路になる。これらの追加回路については、ロジック回路として搭載することになるために、プロセスの微細化の恩恵を受け、小さな回路規模の差分に留めることができる。尚、図４は、本実施形態に係る撮像素子１０のシステム構成を示す概念図であり、画素アレイ部１１、アナログ−デジタル変換部１３、及び、ラッチバッファ部１４の具体的な実施例については後述する。
上記の構成の撮像素子１０において、単一チップから成るチップ構造としては、所謂、平置構造とすることもできるし、所謂、積層構造とすることもできる。
ここで、平置構造とは、画素アレイ部１１の周辺回路部を、画素アレイ部１１と同じ半導体基板（半導体チップ）に形成したチップ構造である。すなわち、平置構造では、行選択部１２、アナログ−デジタル変換部１３、ラッチバッファ部１４、水平関心領域切り出し部１５、画像処理部１６Ａ，１６Ｂ、出力インタフェース部１７、関心領域検出部１８、第１画素制御部１９Ａ、及び、第２画素制御部１９Ｂを、画素アレイ部１１と同じ半導体基板に形成することになる。
また、積層構造とは、画素アレイ部１１が形成された半導体基板とは異なる少なくとも１枚の半導体基板に、画素アレイ部１１の周辺回路部を形成したチップ構造である。この積層構造の撮像素子１０によれば、１層目の半導体基板として画素アレイ部１１を形成できるだけの大きさ（面積）のもので済むため、１層目の半導体基板のサイズ（面積）、ひいては、チップ全体のサイズを小さくできる。更に、１層目の半導体基板には画素２０の作製に適したプロセスを適用でき、他の半導体基板には回路部分の作製に適したプロセスを適用できるため、撮像素子１０の製造に当たって、プロセスの最適化を図ることができるメリットもある。
［画素の回路構成］
図５は、画素２０の回路構成の一例を示す回路図である。画素２０は、光電変換部として、例えば、フォトダイオード２１を有しており、フォトダイオード２１に加えて、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５を有する回路構成となっている。
尚、ここでは、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５の４つのトランジスタとして、例えばＮチャネルのＭＯＳ型電界効果トランジスタを用いている。但し、ここで例示した４つのトランジスタ２２〜２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
この画素２０に対して、先述した画素駆動線３１として、複数の画素駆動線が同一画素行の各画素２０に対して共通に配線されている。これら複数の画素駆動線は、行選択部１２の各画素行に対応した出力端に画素行単位で接続されている。行選択部１２は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
フォトダイオード２１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
転送トランジスタ２２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部１２から与えられる。転送トランジスタ２２は、転送信号ＴＲＧに応答して導通状態となることで、フォトダイオード２１で光電変換され、当該フォトダイオード２１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ２３は、高電位側電源ＶDDのノードとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部１２から与えられる。リセットトランジスタ２３は、リセット信号ＲＳＴに応答して導通状態となり、フローティングディフュージョンＦＤの電荷を電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
増幅トランジスタ２４は、ゲート電極がフローティングディフュージョンＦＤに、ドレイン電極が高電位側電源ＶDDのノードにそれぞれ接続されている。増幅トランジスタ２４は、フォトダイオード２１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ２４は、ソース電極が選択トランジスタ２５を介して垂直信号線３２に接続される。そして、増幅トランジスタ２４と、垂直信号線３２の一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線３２の電位に変換するソースフォロワを構成している。
選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線３２にそれぞれ接続されている。選択トランジスタ２５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部１２から与えられる。選択トランジスタ２５は、選択信号ＳＥＬに応答して導通状態となることで、単位画素２を選択状態として増幅トランジスタ２４から出力される信号を垂直信号線３２に伝達する。
尚、ここでは、画素２０の画素回路として、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒの回路構成を例に挙げたが、４Ｔｒの回路構成に限られるものではない。また、画素構造として、配線層が設けられる側の基板面を表面（正面）とするとき、その反対側の裏面側からの照射光を取り込む裏面照射型の画素構造とすることもできるし、表面側からの照射光を取り込む表面照射型の画素構造とすることもできるとすることもできる。
上述したように、本実施形態に係る撮像素子１０は、画素アレイ部１１内の特定の領域ＲＯＩを関心領域として検出する関心領域検出部１８を備えている。そして、本実施形態に係る撮像素子１０は、第１画素制御部１９Ａ及び第２画素制御部１９Ｂによる制御の下に、画素アレイ部１１内の全画素２０の信号を第１のフレームレートで読み出す一方、関心領域検出部１８が関心領域として検出した特定の領域ＲＯＩの画素２０の信号を第１のフレームレートよりも高い第２のフレームレートで読み出すことを特徴としている。
以下では、第１のフレームレートを低フレームレートと記述し、第２のフレームレートを高フレームレートと記述することとする。
以上説明した本実施形態に係る撮像素子１０によれば、次のような作用、効果を得ることができる。
・全画面画像の出力と、高フレームレートでの特定の領域ＲＯＩの画像（ＲＯＩ画像）の出力により、ＡＩ、認識技術に活用度の高い撮像素子（例えば、ＣＭＯＳイメージセンサ）を実現することができる。
・先述した他の手法その１に対しては、単一の画素アレイ部１１上で全画面画像の取得とＲＯＩ画像の取得とを実現できるため、視差の問題を解決できるとともに、製造コストの低減を図ることができる。
・先述した他の手法その２、その３に対しては、製造コスト、消費電力、及び、発熱を大幅に削減することができる。
・従来の一般的な撮像素子（例えば、ＣＭＯＳイメージセンサ）の技術を用いている部分が多いため、非常に少ない開発コストでの設計が可能である。
・回路設計コスト、消費電力、回路サイズなどが大きい、アナログ−デジタル変換器を高い効率で動作させて出力画像を得ているため、高効率な撮像素子を提供できる。
・撮像素子が特定の領域（関心領域）特定の領域ＲＯＩの検出から制御まで行うため、後段に配されるコントローラ側に特別な処理を必要とせず、コントローラの制御負担が小さくて済む。
以下に、画素アレイ部１１内の全画素２０の信号を低フレームレートで読み出し、画素アレイ部１１内の特定の領域ＲＯＩの画素２０の信号を高フレームレートで読み出す本実施形態の具体的な実施例について説明する。
［実施例１］
実施例１は、本実施形態に係る撮像素子１０のアナログ部の回路構成例である。実施例１に係るアナログ部の回路構成を図６に示す。図６には、画素アレイ部１１、アナログ−デジタル変換部１３、及び、ラッチバッファ部１４の具体的な回路構成を示している。
ここでは、図面の簡略化のために、画素アレイ部１１として、水平４画素×垂直６画素の画素配列を図示している。画素アレイ部１１には、垂直信号線３２として、画素列毎に２系統の読み出し信号線ＳＶ00，ＳＶ01，・・・，ＳＶ30，ＳＶ31が配線され、画素駆動線３１として、画素行毎に２系統の駆動線ＳＨ00，ＳＨ01，・・・，ＳＨ50，ＳＨ51が配線されている。これに対応して、アナログ−デジタル変換部１３も２系統設けられている。更に、ラッチバッファ部１４も２系統、即ち、全画面画像用のラッチバッファ部１４Ａ及びＲＯＩ画像用のラッチバッファ部１４Ｂとして設けられている。
また、画素２０毎に、２つのスイッチＳＷ1，ＳＷ2が設けられている。一方のスイッチＳＷ1は、一方の読み出し信号線ＳＶ00，・・・，ＳＶ30と画素２０との間に接続され、他方のスイッチＳＷ2は、他方の読み出し信号線ＳＶ01，・・・，ＳＶ31と画素２０との間に接続されている。２つのスイッチＳＷ1，ＳＷ2は、２系統の駆動線ＳＨ00，ＳＨ01，・・・，ＳＨ50，ＳＨ51を通して与えられる制御信号によってオン（閉）／オフ（開）の制御が行われる。
一方のスイッチＳＷ1は、画素アレイ部１１内の全画素２０の信号を読み出す際に、図６の１行目の画素行に示すように、選択された画素行の単位でオン状態となる。これにより、選択された画素行の各画素２０の信号は、スイッチＳＷ1によって一方の読み出し信号線ＳＶ00，・・・，ＳＶ30に読み出される。そして、スイッチＳＷ1によって読み出された画素信号は、アナログ−デジタル変換器１３１でデジタル−アナログ変換された後、全画面画像用のラッチバッファ部１４Ａの各ラッチ回路１４１にラッチされる。
他方のスイッチＳＷ2は、画素アレイ部１１内の特定の領域ＲＯＩの画素２０の信号を読み出す際に、図６の５行目の画素行に示すように、選択された画素行の単位でオン状態となる。これにより、選択された画素行の各画素２０の信号は、スイッチＳＷ2によって他方の読み出し信号線ＳＶ01，・・・，ＳＶ31に読み出される。そして、スイッチＳＷ2によって読み出された画素信号は、アナログ−デジタル変換器１３１でデジタル−アナログ変換された後、ＲＯＩ画像用のラッチバッファ部１４Ｂの各ラッチ回路１４１にラッチされる。
上述したように、実施例１に係るアナログ部は、画素アレイ部１１に、垂直信号線３２として画素列毎に２系統の読み出し信号線ＳＶ、及び、画素駆動線３１として画素行毎に２系統の駆動線ＳＨを有する構成となっている。読み出し信号線ＳＶ及び駆動線ＳＨをそれぞれ２系統持つことで、第１画素制御部１９Ａ及び第２画素制御部１９Ｂによる制御の下に、画素アレイ部１１内の全画素２０の信号と、特定の領域ＲＯＩの画素２０の信号とを並行して（同時に）読み出すことができるようになっている。
実施例１に係るアナログ部における読み出し制御について、図７のタイミング波形図を用いて説明する。
２系統の駆動線ＳＨ00，ＳＨ01，・・・，ＳＨ50，ＳＨ51を通して与えられる制御信号が、画素信号を読み出す画素行の制御を行う。当該制御信号はＨｉｇｈ（高レベル）になることで、スイッチＳＷ1／ＳＷ2をオン状態とし、画素信号の読み出し、及び、アナログ−デジタル変換を行う。１つの画素行の駆動に対して２つの画素行の読み出しを行うために、２箇所の制御信号をＨｉｇｈにする。
図７のタイミング波形図に、破線の矢印で示された動作は、画素アレイ部１１内の全画素２０の信号を読み出す動作であり、本例では、１行目から６行目までの制御順を繰り返して実行する。この動作により、画素アレイ部１１内の全画素２０の信号、即ち、全画面の画像データを取得することができる。
図７のタイミング波形図に、実線の矢印で示された動作は、画素アレイ部１１内の特定の領域ＲＯＩの画素２０の信号を読み出す動作を想定している。図６及び図７の例では、３行目及び４行目を特定の領域ＲＯＩの画素行として、読み出し動作を繰り返して実行する。破線の矢印で示す全画面画像を読み出す場合よりも、実線の矢印で示すＲＯＩ画像を読み出す繰り返し動作の周期が速い。これにより、ＲＯＩ画像について、高フレームレートの画像を得ることができる。
［実施例２］
実施例２は、全画面画像の取得とＲＯＩ画像の取得とを時分割駆動で行う例である。時分割駆動を実現する、実施例２に係る撮像素子のシステム構成を図８に示す。また、実施例２に係る撮像素子において、全画面画像の読み出し駆動を実現するためのアナログ部の回路構成を図９に示し、ＲＯＩ画像の読み出し駆動を実現するためのアナログ部の回路構成を図１０に示す。ここでは、図面の簡略化のために、画素アレイ部１１として、水平６画素×垂直６画素の画素配列を図示している。
実施例１では、図６に示すように、画素２０毎に、２つのスイッチＳＷ1，ＳＷ2を備えるとともに、垂直信号線３２（読み出し信号線ＳＶ）、画素駆動線３１（駆動線ＳＨ）、アナログ−デジタル変換部１３、及び、ラッチバッファ部１４をそれぞれ２系統有する構成となっている。
これに対し、実施例２では、図８乃至図１０に示すように、画素２０毎に、スイッチＳＷを１つ備えるとともに、垂直信号線３２（読み出し信号線ＳＶ）、画素駆動線３１（駆動線ＳＨ）、アナログ−デジタル変換部１３、及び、ラッチバッファ部１４をそれぞれ１系統有する構成となっている。図８では、１ライン（１行）制御を図示しているが、一般的な撮像素子と同様に、複数ラインの同時制御であってもよい。
実施例２に係る撮像素子１０は、実施例１の場合と同様に、第１画素制御部１９Ａ及び第２画素制御部１９Ｂを備えており、これらの制御については、セレクタ４１によって切り替えるようになっている。これに対応して、ラッチバッファ部１４の後段にもセレクタ４２が配されており、ラッチバッファ部１４から出力される画素データの供給先をセレクタ４２によって切り替えるようになっている。そして、セレクタ４１及びセレクタ４２は共に、時間的に交互に切り替え動作を行い、２回のアナログ−デジタル変換の単位で、全画面画像及びＲＯＩ画像の各画素データを時分割で読み出す。
このように、実施例２に係る撮像素子１０では、第１画素制御部１９Ａ及び第２画素制御部１９Ｂによる制御の下に、全画面画像及びＲＯＩ画像の各画素データを、時間的に交互に切り替えて時分割に読み出すことにより、画面単位で多重かつ同時に画像の取得が可能になる。尚、実施例２の場合、２回のアナログ−デジタル変換の単位で両方の画素データを読み出す動作が行われるため、実施例１の場合に比べて、半分の速度の動作になる。動作原理は実施例１の場合と同じである。
実施例２に係る撮像素子１０によれば、画素アレイ部１１、アナログ−デジタル変換部１３、及び、ラッチバッファ部１４等、アナログ回路部分を変更することなく、全画面画像及びＲＯＩ画像の両方の画素データの読み出しを実現できるため、より開発量が少なくて済むメリットがある。
図９及び図１０のアナログ部の回路構成は、一般的な撮像素子と同じ回路構成となっており、一度に一箇所の画素データを読み出すことを可能にしている。水平６画素×垂直６画素の画素配列において、図９では、１行目が全画面画像の読み出しの対象画素行となっており、図１０では、４行目がＲＯＩ画像の読み出しの対象画素行となっている。
尚、図９及び図１０に示す例では、垂直信号線３２としての読み出し信号線ＳＶについて、１画素列につき１本配線した例となっているが、一般的な撮像素子の場合と同様に、高速化を目的として、１画素列につき複数本配線するようにしてもよい。
実施例２に係る撮像素子１０の全画面画像の読み出し駆動（図９）、及び、ＲＯＩ画像の読み出し駆動（図１０）について、図１１のタイミング波形図を用いて説明する。図１１のタイミング波形図には、駆動線ＳＨ0，・・・，ＳＨ5を通して与えられる制御信号の波形を図示している。
本例では、１行毎に全画面画像の取得とＲＯＩ画像の取得とを切り替えている。図１１のタイミング波形図において、全画面画像の取得については、制御信号の波形を点線で図示し、１行目〜６行目の各画素行の画素データを順に取得し、この動作を繰り返して実行する。ＲＯＩ画像の取得については、制御信号の波形を破線で図示し、３行目〜４行目の各画素行の画素データを繰り返して取得する。これにより、全画面画像の取得周期とＲＯＩ画像の取得周期とが異なり、全画面画像の取得の場合に対してＲＯＩ画像の取得の場合は高フレームレートで画像を取得することになる。
［実施例３］
実施例３は、関心領域の検出に動き検出の技術を用いる、関心領域検出部１８の回路構成の例である。実施例３に係る関心領域検出部の回路構成の一例を図１２に示す。また、動き検出の技術を用いる関心領域の検出についての概念図を図１３（図１３Ａ乃至図１３Ｄ）に示す。以下では、特定の領域ＲＯＩを関心領域ＲＯＩと記述する。
関心領域検出部１８は、画像保存部１８１、画像メモリ１８２、比較部１８３、移動量メモリ１８４、関心領域判定部１８５、及び、位置情報取得部１８６を有する構成となっている。
画素アレイ部１１の各画素２０から読み出され、アナログ−デジタル変換部１３でアナログ−デジタル変換後、ラッチバッファ部１４を経由して供給される画像データは、画像保存部１８１に保存されるとともに、画像メモリ１８２及び比較部１８３に供給される。画像メモリ１８２には、少なくとも１撮像フレーム前の画像情報を過去の画像情報（図１３Ａ）として保持される。
比較部１８３は、画像メモリ１８２に保持されている過去の画像（図１３Ａ）と、現在の画像（図１３Ｂ）とを比較し、同じ画素同士の差分絶対値を取り、差分絶対値画像（図１３Ｃ）を取得する。動きの無い部分では過去の画像と現在の画像との間に差がないが、動きのある部分では両者に違いがあり、差分として抽出される。現在の画像情報は、次の撮像フレームでの比較動作のために、画像メモリ１８２に保存される。
比較部１８３での比較動作によって取得された差分絶対値画像（図１３Ｃ）は、過去の画像（図１３Ａ）から現在の画像（図１３Ｂ）までの移動量として移動量メモリ１８４に格納される。画像情報の保存や比較の単位は縮小画像にすることで、画像メモリ１８２や回路の大幅な縮小化が可能である。
関心領域判定部１８５は、移動量メモリ１８４に格納されている移動量に基づいて、当該移動量が所定量よりも大きい部分に動きがあるとし、その部分を関心領域ＲＯＩとして判定する。このとき、関心領域判定部１８５で関心領域ＲＯＩとして判定された部分の面積の大きさ等を加味するようにすることもできる。
位置情報取得部１８６は、関心領域判定部１８５で関心領域ＲＯＩとして判定された領域の物理位置の垂直位置情報を垂直ＲＯＩ成分として取得し、水平位置情報を水平ＲＯＩ成分として取得する（図１３Ｄ）。垂直ＲＯＩ成分は、第２画素制御部１９Ｂへ供給され、水平ＲＯＩ成分は、水平関心領域切り出し部１５へ供給される。第２画素制御部１９Ｂは、垂直ＲＯＩ成分に基づいて、関心領域ＲＯＩについての画素行を決定する。水平関心領域切り出し部１５は、水平ＲＯＩ成分に基づいて、関心領域ＲＯＩに関して水平方向の切り出し位置を決定する。
図１４を用いて、第２画素制御部１９Ｂ及び水平関心領域切り出し部１５による関心領域ＲＯＩの切り出し処理について、より具体的に説明する。
第２画素制御部１９Ｂは、垂直ＲＯＩ成分、即ち、垂直アドレス情報（垂直ＲＯＩ位置情報）に基づいて、関心領域ＲＯＩを含む範囲の画素行の各画素２０の信号の読み出し動作を繰り返して実行する。これにより、図１４に示すように、関心領域ＲＯＩを含む横長の画像が取得される。この横長の画像に対して、水平関心領域切り出し部１５は、水平ＲＯＩ成分、即ち、水平アドレス情報（水平ＲＯＩ位置情報）に基づいて、ＲＯＩ部分の矩形だけを切り出し、他の部分についてはマスキングする処理を行う。この水平関心領域切り出し部１５による処理により、出力データ量の削減を図ることができる。
［実施例４］
実施例４は、実施例１の変形例であり、関心領域ＲＯＩが水平方向（行方向）に移動する場合のアドレス制御の例である。実施例４に係るアドレス制御についての説明図を図１５に示す。
図１５の右側の画像イメージのように、関心領域検出部１８による関心領域の検出によってＲＯＩ部分を抽出し、当該ＲＯＩ部分の垂直アドレス情報を分離する。図１５の左側には、垂直アドレス情報に従って行われる時系列のアドレス制御の図を示している。図１５の左側の図では、水平方向（行方向／右方向）に時間を示し、垂直方向（列方向／下方向）に垂直アドレスを示している。右側の画像イメージの垂直方向と一致するように描いている。
実施例１に係る撮像素子１０は、アナログ−デジタル変換部１３を２系統を有する構成となっている。ここでは、２系統の一方の出力である全画面画像出力を画像出力１とし、他方の出力であるＲＯＩ画像出力を画像出力２とする。図１５の左側の図には、２系統のアナログ−デジタル変換部１３のそれぞれを画像出力１、画像出力２の矩形でアナログ−デジタル変換している時間と共にデータ出力を示している。
図１５の左側のアドレス制御において、実線の斜線でシャッター（ｓｈｕｔｔｅｒ）制御、点線の斜線で読み出し（ｒｅａｄｏｕｔ）制御の様子を示しており、シャッター時刻から読み出し時刻までの時間が露光時間となる。後述する実施例においても同様である。斜めの平行四辺形により露光時間の一定した撮影を示しており、画面内の露光時間を一定に保つため、シャッター及び読み出しの垂直アドレス制御は時間遅延を伴って同じ制御となる。
画像出力１の制御では、全画面画像を読み出すために画面の上から下までを一巡し、それを繰り返す。画像出力２の制御では、ＲＯＩ部分のアドレスを繰り返し制御する。ＲＯＩ部分は画面の一部となるため、同じ速度でアドレス制御を行っても、繰り返し回数は全画面画像の読み出しの場合に比べて速くなる。これにより、ＲＯＩ部分の高フレームレート化を実現している。
一行のＡＤ（アナログ−デジタル）変換時間は、一般的な撮像素子（例えば、ＣＭＯＳイメージセンサ）では一定時間となるため、水平方向のＲＯＩ部分の切り出しは動作速度に影響しないが、データの削減になる。従って、図１５の右下の図のように、マスキング部分の切り捨てにより、データを削減することができる。
［実施例５］
実施例５は、実施例１の変形例であり、関心領域ＲＯＩが垂直方向（列方向／下方向）に移動する場合のアドレス制御その１の例である。実施例５に係るアドレス制御についての説明図を図１６に示す。
実施例５では、全画面画像の読み出しにより動きを検出し、関心領域ＲＯＩの位置を確認し、ＲＯＩ画像の読み出しに反映している。図１６の右側の図で垂直方向（列方向／下方向）に関心領域ＲＯＩが移動するに従って、ＲＯＩ画像の読み出しのアドレス位置が変化している様子を図１６の左側の図に示している。このようなアドレス制御が一般的な使い方となる。
［実施例６］
実施例６は、実施例１の変形例であり、関心領域ＲＯＩが垂直方向（列方向／下方向）に移動する場合のアドレス制御その２の例である。実施例６に係るアドレス制御についての説明図を図１７に示す。
実施例６では、関心領域ＲＯＩの読み出し駆動時に垂直アドレスを変化させるようにする。これにより、撮像対象物をより高いフレームレートで追従することができる。この追従については、全画面画像から得られた関心領域ＲＯＩの位置の移動ベクタの微分等による推定や、関心領域ＲＯＩの枠内での移動位置の細分化、重心計算による移動方向計算等の手法を用いて制御することができる。
［実施例７］
実施例７は、実施例２の変形例であり、ジッタ対策のためのアドレス制御の例である。実施例７に係るアドレス制御についての説明図を図１８に示す。
実施例２の場合、即ち、全画面画像の取得とＲＯＩ画像の取得とを時分割駆動で行う場合、１行単位で全画面画像及びＲＯＩ画像の読み出しを行うため、画像出力１、画像出力２のＲＯＩ部分の露光タイミングに１行のジッタが生じることになる。多くの場合、問題とされるジッタでは無いが、そのジッタ対策のための手法が、実施例７に係るアドレス制御である。
ここでは、全画面画像出力である画像出力１側で制御している部分を、ＲＯＩ画像出力である画像出力２側で出力する。このように、一定周期のタイミング生成が可能なＲＯＩ画像出力側の制御で行うことにより、一定の間隔のＲＯＩ画像出力が可能になる。一方で、画像出力１は、ＲＯＩ部分のデータは欠損することになるので、出力上はパディングなどの対策により、画像出力１にデータを出さない期間（図中の空白部分）が生じる。この欠損画像については、ＲＯＩ側のデータで補うことにより、全画面画像のデータを得ることができる。
ここでは、実施例２の時分割駆動で行う場合のアドレス制御の例として説明したが、実施例７に係るアドレス制御は、時分割駆動を行わない実施例１に対しても適用することができる。
［実施例８］
実施例８は、関心領域ＲＯＩが複数存在する場合のアドレス制御の例である。実施例８に係るアドレス制御についての説明図を図１９に示す。図１９の右側の図には、関心領域ＲＯＩが２つ存在する場合を図示している。
関心領域ＲＯＩが複数存在する場合は、一般的に、複数の関心領域ＲＯＩの画面上の位置が離れている。通常の撮像素子（例えば、ＣＭＯＳイメージセンサ）の制御では、画面上の位置が離れている場合、全画面画像の読み出しに合わせて上からアドレスを順に読み出すと、関心領域ＲＯＩでは、読み出しを行わない画素行の時間分だけ待たなくてはならない。そして、読み出しを行わない期間が生じることで、ＲＯＩ画像のフレームレートが低下する。
そこで、実施例８に係るアドレス制御では、ＲＯＩ画像の読み出し時にアドレスを飛ばすようにしている。一方で、全画面画像の読み出し側は、ＲＯＩ画像の読み出しとの時間間隔を一定に保つため、関心領域ＲＯＩのアドレス部分のタイミングを合わせて制御している。このため、一般的な撮像素子のような、画面の上から順に下への読み出しを行わない制御に変更している。図１９の例では、全画面画像の読み出しである画像出力１側は、ＲＯＩ画像の読み出しである画像出力２と同じアドレス部分を先に読み、後からそれ以外のアドレスの画素の読み出しを順番に行うような制御を行うようにしている。その順番は前でも後でも良い。
また、動き検出によって関心領域ＲＯＩを検出し、その位置を決めているため、関心領域ＲＯＩ以外の画像は動きがなく、一般的な読み出しを行う撮像素子（例えば、ＣＭＯＳイメージセンサ）と読み出し順が異なっていても画像に変わりはない。他の指標により関心領域ＲＯＩを検出している場合でも、関心の低い画像であるため、同様に読み出し順の変化は関心が低いと思われる。
［実施例９］
実施例９は、実施例８の変形例であり、複数の関心領域ＲＯＩが互いに反する方向に移動する場合のアドレス制御の例である。実施例９に係るアドレス制御についての説明図を図２０に示す。
図２０の右側の図には、２つの関心領域ＲＯＩが互いに違う動きを場合を示している。具体的には、２つの関心領域ＲＯＩの一方が垂直下方向に移動し、他方が垂直上方向に移動する様子を図示している。
この場合、図２０の左側の図に示すように、ＲＯＩ画像の読み出しのアドレスは変化するが、２つの関心領域ＲＯＩの合計の大きさが変わらない場合、同じフレームレートを保ちながら読み出しを継続していく。全画面画像の読み出しの方では、ＲＯＩ部分のタイミングを維持し、ＲＯＩ画像を読み出し終えてから、ＲＯＩ画像以外を読み出す。全画面画像の大きさは変化しないため、常に同じタイミングを維持することが可能となる。
ここでは、２つの関心領域ＲＯＩの合計の大きさが変化しない場合について説明した。大きさが変化する場合に対応するには、次の２つの手法が考えられる。その１つは、２つの関心領域ＲＯＩを１単位とするとき、１単位のＲＯＩ画像の読み出しの繰り返しの間に最大のサイズを設定し、関心領域ＲＯＩが小さくなった場合は、時間的なマージンを用意して一定のフレームレートを維持する手法である。もう１つは、関心領域ＲＯＩのサイズに応じてフレームレートを変化させていく手法である。前者の手法は、フレームレートが一定になることにより、アプリケーションコントローラの画像処理が簡単になるメリットがあり、後者の手法は、関心領域ＲＯＩのサイズ変化に対する適応性が増すメリットがある。実施例９に係るアドレス制御では、どちらの手法を用いてもよい。
［実施例１０］
実施例１０は、実施例２の変形例であり、ＲＯＩ画像読み出しの画像出力２が全画面画像読み出しの画像出力１と時間的に重ならないように制御する例である。実施例１０に係るアドレス制御についての説明図を図２１に示す。
ＲＯＩ画像読み出しの画像出力２が全画面画像読み出しの画像出力１と時間的に重ならないようにするために、実施例１０では、図２１に示すように、画像出力１が終了した後に画像出力２に切り替え、画像出力２が終了した後に画像出力１に切り替えるようにアドレス制御を行う。
このように、実施例１０では、全画面画像出力時にＲＯＩ部分の読み出しを行わないため、ＲＯＩ部分のフレームレートに遅い部分が生じてしまう。しかし、画像出力１と画像出力２とを交互に切り替えているため、それぞれ半分の時間になっていたが、実施例１０では、それぞれ専有できるため高速に読み出しができる。
＜変形例＞
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像素子の構成、構造は例示であり、適宜、変更することができる。
例えば、上記の実施形態では、画素２０が行列状に配置されて成るＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、本開示の技術は、ＣＭＯＳイメージセンサへの適用に限られるものではない。すなわち、本開示の技術は、画素２０が行列状に２次元配置されて成るＸ−Ｙアドレス方式の撮像素子全般に対して適用可能である。
＜応用例＞
以上説明した本実施形態に係る撮像素子は、例えば図２２に示すように、可視光、赤外光、紫外光、Ｘ線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜適用例＞
本開示に係る技術は、様々な製品に適用することができる。より具体的には、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機等の電子機器に適用することができる。以下に、デジタルスチルカメラやビデオカメラ等の撮像装置に適用する場合について説明する。
［撮像装置］
図２３は、電子機器の一例である撮像装置の構成を示すブロック図である。図２３に示すように、本例に係る撮像装置１００は、レンズ群等を含む撮像光学系１０１、撮像部１０２、ＤＳＰ(Digital Signal Processor)回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７、及び、電源系１０８等を有している。そして、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７、及び、電源系１０８がバスライン１０９を介して相互に接続された構成となっている。
撮像光学系１０１は、被写体からの入射光（像光）を取り込んで撮像部１０２の撮像面上に結像する。撮像部１０２は、光学系１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。ＤＳＰ回路１０３は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。
フレームメモリ１０４は、ＤＳＰ回路１０３での信号処理の過程で適宜データの格納に用いられる。表示装置１０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部１０２で撮像された動画または静止画を表示する。記録装置１０６は、撮像部１０２で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、ＨＤＤ(Hard Disk Drive)等の記録媒体に記録する。
操作系１０７は、ユーザによる操作の下に、本撮像装置１００が持つ様々な機能について操作指令を発する。電源系１０８は、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、及び、操作系１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
上記の構成の撮像装置１００において、撮像部１０２として、回路規模が小さく、低消費電力にて、特定の領域（関心領域）の画素に対する読み出し駆動と、全体画角の画素に対する読み出し駆動とを実現できる、先述した実施形態に係る撮像素子を用いることができる。従って、当該撮像素子を撮像部１０２として用いることで、撮像装置１００の小型化、低消費電力化に寄与することができる。
＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。
≪Ａ．撮像素子≫
［Ａ−１］受光素子を含む画素が配置されて成る画素アレイ部、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
を備える撮像素子。
［Ａ−２］撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
上記［Ａ−１］に記載の撮像素子。
［Ａ−３］関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
上記［Ａ−２］に記載の撮像素子。
［Ａ−４］関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも１撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
上記［Ａ−３］に記載の撮像素子。
［Ａ−５］関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
画像メモリは、少なくとも１撮像フレーム前の画像情報を保持し、
比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
上記［Ａ−４］に記載の撮像素子。
［Ａ−６］関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
上記［Ａ−５］に記載の撮像素子。
［Ａ−７］第２画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
上記［Ａ−６］に記載の撮像素子。
［Ａ−８］アナログ−デジタル変換部によるアナログ−デジタル変換後の画素データをラッチするラッチバッファ部、及び、
ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
上記［Ａ−７］に記載の撮像素子。
［Ａ−９］画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、２系統設けられており、
画素アレイ部の各画素は、２系統の信号線のそれぞれに画素の信号を読み出す２つのスイッチを有する、
上記［Ａ−１］乃至上記［Ａ−８］のいずれかに記載の撮像素子。
［Ａ−１０］アナログ−デジタル変換部は、２系統の信号線のそれぞれに対応して２系統設けられている、
上記［Ａ−９］に記載の撮像素子。
［Ａ−１１］第１画素制御部及び第２画素制御部は、２系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
上記［Ａ−９］又は上記［Ａ−１０］に記載の撮像素子。
［Ａ−１２］画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、１系統設けられており、
第１画素制御部及び第２画素制御部は、１系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
上記［Ａ−１］乃至上記［Ａ−８］のいずれかに記載の撮像素子。
［Ａ−１３］単一チップから成るチップ構造を有する、
上記［Ａ−１］乃至上記［Ａ−１２］のいずれかに記載の撮像素子。
≪Ｂ．撮像素子の駆動方法≫
［Ｂ−１］受光素子を含む画素が配置されて成る画素アレイ部、及び、
画素アレイ部から読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部を備える撮像素子の駆動に当たって、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出し、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す、
撮像素子の駆動方法。
［Ｂ−２］２系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
上記［Ｂ−１］に記載の撮像素子の駆動方法。
［Ｂ−３］１系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
上記［Ｂ−１］に記載の撮像素子の駆動方法。
≪Ｃ．電子機器≫
［Ｃ−１］受光素子を含む画素が配置されて成る画素アレイ部、
画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
を備える撮像素子を有する電子機器。
［Ｃ−２］撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
上記［Ｃ−１］に記載の電子機器。
［Ｃ−３］関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
上記［Ｃ−２］に記載の電子機器。
［Ｃ−４］関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも１撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
上記［Ｃ−３］に記載の電子機器。
［Ｃ−５］関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
画像メモリは、少なくとも１撮像フレーム前の画像情報を保持し、
比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
上記［Ｃ−４］に記載の電子機器。
［Ｃ−６］関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
上記［Ｃ−５］に記載の電子機器。
［Ｃ−７］第２画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
上記［Ｃ−６］に記載の電子機器。
［Ｃ−８］アナログ−デジタル変換部によるアナログ−デジタル変換後の画素データをラッチするラッチバッファ部、及び、
ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
上記［Ｃ−７］に記載の電子機器。
［Ｃ−９］画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、２系統設けられており、
画素アレイ部の各画素は、２系統の信号線のそれぞれに画素の信号を読み出す２つのスイッチを有する、
上記［Ｃ−１］乃至上記［Ｃ−８］のいずれかに記載の電子機器。
［Ｃ−１０］アナログ−デジタル変換部は、２系統の信号線のそれぞれに対応して２系統設けられている、
上記［Ｃ−９］に記載の電子機器。
［Ｃ−１１］第１画素制御部及び第２画素制御部は、２系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
上記［Ｃ−９］又は上記［Ｃ−１０］に記載の電子機器。
［Ｃ−１２］画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、１系統設けられており、
第１画素制御部及び第２画素制御部は、１系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
上記［Ｃ−１］乃至上記［Ｃ−８］のいずれかに記載の電子機器。
［Ｃ−１３］単一チップから成るチップ構造を有する、
上記［Ｃ−１］乃至上記［Ｃ−１２］のいずれかに記載の電子機器。
１０・・・撮像素子、１１・・・画素アレイ部、１２・・・行選択部、１３・・・アナログ−デジタル変換部、１４・・・ラッチバッファ部、１５・・・水平関心領域切り出し部、１６Ａ，１６Ｂ・・・画像処理部、１７・・・出力インタフェース部、１８・・・関心領域検出部、１９Ａ・・・第１画素制御部、１９Ｂ・・・第２画素制御部、２０・・・画素、２１・・・フォトダイオード、２２・・・転送トランジスタ、２３・・・リセットトランジスタ、２４・・・増幅トランジスタ、２５・・・選択トランジスタ、３１（３１1〜３１m）・・・画素駆動線、３２（３２1〜３２n）・・・垂直信号線、１００・・・撮像装置、１３１・・・アナログ−デジタル変換器、１４１・・・ラッチ回路、１８１・・・画像保存部、１８２・・・画像メモリ、１８３・・・比較部、１８４・・・移動量メモリ、１８５・・・関心領域判定部、１８６・・・位置情報取得部

Claims (15)

  1. 受光素子を含む画素が配置されて成る画素アレイ部、
    画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
    画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
    第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
    を備える撮像素子。
  2. 撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
    請求項１に記載の撮像素子。
  3. 関心領域検出部は、撮像画像内の動きがある領域を関心領域として検出する、
    請求項２に記載の撮像素子。
  4. 関心領域検出部は、現在の撮像フレームの画像情報と、少なくとも１撮像フレーム前の画像情報との比較結果に基づいて、撮像画像内の動きがある領域を検出する、
    請求項３に記載の撮像素子。
  5. 関心領域検出部は、画像メモリ、比較部、移動量メモリ、及び、関心領域判定部を有し、
    画像メモリは、少なくとも１撮像フレーム前の画像情報を保持し、
    比較部は、現在の撮像フレームの画像情報と、画像メモリに保持された画像情報との差分絶対値を取得し、
    移動量メモリは、比較部が取得した差分絶対値を、過去の画像から現在の画像までの移動量として格納し、
    関心領域判定部は、移動量メモリに格納されている移動量に基づいて関心領域を判定する、
    請求項４に記載の撮像素子。
  6. 関心領域検出部は、関心領域判定部で関心領域として判定された領域の物理位置の垂直位置情報及び水平位置情報を取得する位置情報取得部を有する、
    請求項５に記載の撮像素子。
  7. 第２画素制御部は、位置情報取得部で取得された垂直位置情報に基づいて、関心領域を含む画素行の各画素の信号の読み出し動作を繰り返して実行する、
    請求項６に記載の撮像素子。
  8. アナログ−デジタル変換部によるアナログ−デジタル変換後の画素データをラッチするラッチバッファ部、及び、
    ラッチバッファ部から出力される画素データについて、位置情報取得部で取得された垂直位置情報に基づいて、水平方向の切り出しを行う水平関心領域切り出し部を備える、
    請求項７に記載の撮像素子。
  9. 画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、２系統設けられており、
    画素アレイ部の各画素は、２系統の信号線のそれぞれに画素の信号を読み出す２つのスイッチを有する、
    請求項１に記載の撮像素子。
  10. アナログ−デジタル変換部は、２系統の信号線のそれぞれに対応して２系統設けられている、
    請求項９に記載の撮像素子。
  11. 第１画素制御部及び第２画素制御部は、２系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを並行して読み出す制御を行う、
    請求項９に記載の撮像素子。
  12. 画素アレイ部の各画素の信号を読み出す信号線として、画素列毎に、１系統設けられており、
    第１画素制御部及び第２画素制御部は、１系統の信号線を通して、画素アレイ部内の全画素の信号と、特定の領域の画素の信号とを、時間的に交互に切り替えて時分割に読み出す制御を行う、
    請求項１に記載の撮像素子。
  13. 単一チップから成るチップ構造を有する、
    請求項１に記載の撮像素子。
  14. 受光素子を含む画素が配置されて成る画素アレイ部、及び、
    画素アレイ部から読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部を備える撮像素子の駆動に当たって、
    画素アレイ部内の全画素の信号を第１のフレームレートで読み出し、
    画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す、
    撮像素子の駆動方法。
  15. 受光素子を含む画素が配置されて成る画素アレイ部、
    画素アレイ部内の全画素の信号を第１のフレームレートで読み出す制御を行う第１画素制御部、
    画素アレイ部内の特定の領域の画素の信号を第１のフレームレートよりも高い第２のフレームレートで読み出す制御を行う第２画素制御部、及び、
    第１画素制御部又は第２画素制御部による制御によって読み出される画素信号をアナログ−デジタル変換するアナログ−デジタル変換部、
    を備える撮像素子を有する電子機器。
JP2019150214A 2019-08-20 2019-08-20 撮像素子、撮像素子の駆動方法、及び、電子機器 Pending JP2021034786A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019150214A JP2021034786A (ja) 2019-08-20 2019-08-20 撮像素子、撮像素子の駆動方法、及び、電子機器
US17/634,062 US11962920B2 (en) 2019-08-20 2020-06-01 Imaging device, method of driving imaging device, and electronic equipment
PCT/JP2020/021611 WO2021033388A1 (ja) 2019-08-20 2020-06-01 撮像素子、撮像素子の駆動方法、及び、電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019150214A JP2021034786A (ja) 2019-08-20 2019-08-20 撮像素子、撮像素子の駆動方法、及び、電子機器

Publications (1)

Publication Number Publication Date
JP2021034786A true JP2021034786A (ja) 2021-03-01

Family

ID=74660831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019150214A Pending JP2021034786A (ja) 2019-08-20 2019-08-20 撮像素子、撮像素子の駆動方法、及び、電子機器

Country Status (3)

Country Link
US (1) US11962920B2 (ja)
JP (1) JP2021034786A (ja)
WO (1) WO2021033388A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218980A1 (ja) * 2022-05-13 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 撮像装置、センサチップ、および処理回路

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8089522B2 (en) * 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
EP2846538B1 (en) * 2012-05-02 2021-06-23 Nikon Corporation Imaging device
JP2018033072A (ja) * 2016-08-26 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システム、及び、信号処理方法
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Also Published As

Publication number Publication date
US20220353441A1 (en) 2022-11-03
WO2021033388A1 (ja) 2021-02-25
US11962920B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US10194110B2 (en) Solid-state imaging device, imaging device, and signal reading method
JP6809462B2 (ja) 固体撮像装置およびその制御方法、並びに電子機器
WO2017169216A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
US20220060645A1 (en) Imaging apparatus, driving method, and electronic device
WO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
CN107925730A (zh) 图像传感器和电子设备
WO2019208412A1 (ja) 撮像装置及び撮像装置の駆動方法
WO2017141727A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
KR20110014089A (ko) 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기
JP7314061B2 (ja) 撮像装置及び電子機器
WO2020022120A1 (ja) ストリーキング補正回路、撮像装置、及び、電子機器
WO2021033388A1 (ja) 撮像素子、撮像素子の駆動方法、及び、電子機器
WO2023085138A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器