JP2020127186A - 固体撮像装置及び撮像装置 - Google Patents

固体撮像装置及び撮像装置 Download PDF

Info

Publication number
JP2020127186A
JP2020127186A JP2019086853A JP2019086853A JP2020127186A JP 2020127186 A JP2020127186 A JP 2020127186A JP 2019086853 A JP2019086853 A JP 2019086853A JP 2019086853 A JP2019086853 A JP 2019086853A JP 2020127186 A JP2020127186 A JP 2020127186A
Authority
JP
Japan
Prior art keywords
pixel
imaging device
solid
state imaging
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019086853A
Other languages
English (en)
Other versions
JP7398880B2 (ja
Inventor
篤親 丹羽
Atsumi Niwa
篤親 丹羽
元就 本田
Motonari Honda
元就 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/424,684 priority Critical patent/US11558565B2/en
Priority to EP20748100.3A priority patent/EP3920211A4/en
Priority to PCT/JP2020/002412 priority patent/WO2020158583A1/ja
Publication of JP2020127186A publication Critical patent/JP2020127186A/ja
Priority to US18/153,488 priority patent/US11910108B2/en
Application granted granted Critical
Publication of JP7398880B2 publication Critical patent/JP7398880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Abstract

【課題】イベント検出と階調取得との時間的なずれを低減することができる固体撮像装置及び撮像装置を提供する。【解決手段】固体撮像装置２００は、行列状に配列する複数の画素ブロック３１０を備える画素アレイ部と、複数の画素ブロック３１０のうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路２１１とを備える。画素ブロック３１０それぞれは、入射光量に応じた電荷を発生させる第１光電変換素子と、第１光電変換素子に発生した電荷に基づいてアドレスイベントの発火を検出する検出部と、入射光量に応じた電荷を発生させる第２光電変換素子と、第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路とを備える。【選択図】図３

Description

本開示は、固体撮像装置及び撮像装置に関する。
従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像装置が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像装置では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像装置が提案されている。画素毎にアドレスイベントを検出する非同期型の固体撮像装置は、ＤＶＳ（Dynamic Vision Sensor）とも称される。
また、近年では、アドレスイベントの検出と合せて階調画像を取得するＤＶＳも開発されてきている。
特表２０１７−５３５９９９号公報
アドレスイベントの検出と合せて階調画像を取得するＤＶＳとしては、画素毎ではなく画素ブロック毎に検出回路を配置し、画素ブロック単位でイベントを検出しつつ、１画素単位で階調取得を行う方法が提案されている。しかしながら、このような方法では、同一の画素を用いてイベント検出と階調取得との両方を時分割で行なう必要があるため、変化が高速なシーン等では、イベント検出と階調取得との時間的なずれから、撮影したい被写体の階調画像を取得することができないという可能性が存在する。
そこで本開示では、イベント検出と階調取得との時間的なずれを低減することが可能な固体撮像装置及び撮像装置を提案する。
上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、行列状に配列する複数の画素ブロックを備える画素アレイ部と、前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路とを備え、前記画素ブロックそれぞれは、入射光量に応じた電荷を発生させる第１光電変換素子と、前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、入射光量に応じた電荷を発生させる第２光電変換素子と、前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路とを備える。
第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る固体撮像装置の積層構造例を示す図である。 第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。 第１の実施形態に係る画素ブロックの概略構成例を示すブロック図である。 図４に示す画素ブロックを図３に示す積層チップにあてはめた場合の積層構成例を示す図である。 第１の実施形態に係る画素アレイ部における画素ブロックの平面レイアウト例を示す平面図である。 第１の実施形態に係る階調画素の回路構成例を示す回路図である。 第１の実施形態に係るイベント画素の回路構成例を示す回路図である。 第１の実施形態に係るアドレスイベント検出回路の概略構成例を示すブロック図である。 第１の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。 第１の実施形態に係る電流電圧変換部の他の概略構成例を示す回路図である。 第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第１の実施形態に係る転送部の概略構成例を示す回路図である。 第１の実施形態に係るカラムＡＤＣの概略構成例を示すブロック図である。 第１の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。 第１の実施形態に係る制御回路の概略構成例を示すブロック図である。 第１の実施形態に係る固体撮像装置の概略動作例を示すフローチャートである。 第１の実施形態の第１変形例に係る画素ブロックの回路構成例を示す回路図である。 第１の実施形態の第２変形例に係る固体撮像装置の概略構成例を示すブロック図である。 第１の実施形態の第２変形例に係る画素ブロックの概略構成例を示すブロック図である。 第２の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。 第２の実施形態係る制御回路の概略構成例を示すブロック図である。 第２の実施形態に係る画素信号読出し時の読出し制御の一例を説明するための図である。 第３の実施形態の第１例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第３の実施形態の第２例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第３の実施形態の第３例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。 第４の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。 第４の実施形態に係るＹアービタの概略構成例を示すブロック図である。 第４の実施形態に係るイベント処理部の概略構成例を示すブロック図である。 第４の実施形態に係る階調画素制御部の概略構成例を示すブロック図である。 第５の実施形態に係るイベント検出動作の一例を示すフローチャートである。 第５の実施形態に係る周期的読出し動作の一例を示すフローチャートである。 第５の実施形態に係る階調画像データ更新動作の一例を示すフローチャートである。 第５の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。 図３４における２行目の画素ブロックに着目した階調値の更新を説明するためのタイミングチャートである。 第６の実施形態に係るイベント処理部の概略構成例を示すブロック図である。 第６の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。 第７の実施形態に係る画素ブロックの概略構成例を示すブロック図である。 第７の実施形態に係る画素信号読出し動作の一例を示すタイミングチャートである。 第７の実施形態の変形例に係る画素信号読出し動作の一例を示すタイミングチャートである。 第８の実施形態に係る画素ブロックの概略構成例を示す模式図である。 第８の実施形態の変形例に係る画素ブロックの概略構成例を示す模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 撮像装置の構成例
１．２ 固体撮像装置の積層構成例
１．３ 固体撮像装置の概略構成例
１．４ 画素ブロックの構成例
１．４．１ 画素ブロックの積層構成例
１．４．２ 画素アレイ部における画素ブロックの平面レイアウト例
１．４．３ 階調画素の回路構成例
１．４．４ イベント画素の回路構成例
１．４．５ アドレスイベント検出回路の機能例
１．４．６ アドレスイベント検出回路の構成例
１．４．６．１ 電流電圧変換部の構成例
１．４．６．１．１ 電流電圧変換部の変形例
１．４．７ 減算器及び量子化器の構成例
１．４．８ 転送部の構成例
１．４．９ カラムＡＤＣの構成例
１．４．９．１ ＡＤ変換部の構成例
１．４．９．２ 制御回路の構成例
１．５ 固体撮像装置の動作例
１．６ 作用・効果
１．７ 第１変形例
１．８ 第２変形例
２．第２の実施形態
２．１ ＡＤ変換部の構成例
２．２ 制御回路の構成例
２．３ 画素信号読出し時の切替制御例
２．４ 作用・効果
３．第３の実施形態
３．１ 第１例
３．２ 第２例
３．３ 第３例
４．第４の実施形態
４．１ 固体撮像装置の概略構成例
４．２ Ｙアービタの概略構成例
４．３ イベント処理部の概略構成例
４．４ 階調画素制御部の概略構成例
４．５ 作用・効果
５．第５の実施形態
５．１ 固体撮像装置の動作例
５．１．１ イベント検出動作例
５．１．２ 周期的読出し動作例
５．２ 階調画像データ更新動作例
５．２．１ フローチャート
５．２．２ タイミングチャート
５．３ 作用・効果
６．第６の実施形態
６．１ イベント処理部の概略構成例
６．２ 階調画像データ更新動作例
６．３ 作用・効果
７．第７の実施形態
７．１ 画素ブロックの構成例
７．２ 画素信号読出し動作例
７．３ 作用・効果
７．４ 変形例
８．第８の実施形態
８．１ 変形例
９．移動体への応用例
１．第１の実施形態
まず、第１の実施形態について、図面を参照して詳細に説明する。
１．１ 撮像装置の構成例
図１は、第１の実施形態に係る撮像装置の概略構成例を示すブロック図である。図１に示すように、撮像装置１００は、光学系１１０と、固体撮像装置２００と、記録部１２０と、制御部１３０と、外部インタフェース（Ｉ／Ｆ）１４０とを備える。撮像装置１００としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
光学系１１０は、例えば、レンズ等を含み、入射光の像を固体撮像装置２００の受光面に結像させる。
固体撮像装置２００は、アドレスイベントの発火の有無を検出しつつ、入射光を光電変換して画像データを撮像する。アドレスイベントの発火の有無を示す検出結果（以下、イベント検出データという）と、入射光量に応じた輝度値の画像データ（以下、階調画像データという）とは、例えば、記録部１２０に入力されてもよいし、外部Ｉ／Ｆ１４０を介して外部のホスト１５０等へ出力されてもよい。
外部Ｉ／Ｆ１４０は、例えば、無線ＬＡＮ（Local Area Network）や有線ＬＡＮの他、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークを介して外部のホスト１５０と通信を確立するための通信アダプタであってよい。
ここで、ホスト１５０は、例えば、撮像装置１００が自動車等に実装される場合には、自動車等に搭載されているＥＣＵ（Engine Control Unit）などであってよい。また、撮像装置１００が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト１５０は、その自律移動体を制御する制御装置等であってよい。その他、ホスト１５０は、例えば、パーソナルコンピュータなどの情報処理装置であってもよい。
記録部１２０は、例えば、フラッシュメモリなどの不揮発性メモリ等で構成され、固体撮像装置２００から入力されたイベント検出データ及び階調画像データやその他各種データを記録する。
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）などの情報処理装置で構成され、固体撮像装置２００を制御してイベント検出データ及び階調画像データを取得させる。
１．２ 固体撮像装置の積層構成例
図２は、第１の実施形態に係る固体撮像装置の積層構造例を示す図である。図２に示すように、固体撮像装置２００は、受光チップ２０１と検出チップ２０２とが上下に積層された積層チップの構造を備える。受光チップ２０１と検出チップ２０２との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ−Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
また、受光チップ２０１と検出チップ２０２とは、例えば、半導体基板を貫通するＴＳＶ（Through-Silicon Via）などの接続部を介して電気的に接続される。ＴＳＶを用いた接続には、例えば、受光チップ２０１に設けられたＴＳＶと受光チップ２０１から検出チップ２０２にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、受光チップ２０１から検出チップ２０２まで貫通するＴＳＶで両者を接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。
ただし、受光チップ２０１と検出チップ２０２との接合にＣｕ−Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ−Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続される。
１．３ 固体撮像装置の概略構成例
図３は、第１の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。図３に示すように、固体撮像装置２００は、駆動回路２１１と、信号処理部２１２と、Ｙアービタ（調停部）２１３と、カラムＡＤＣ（変換部）２２０と、イベントエンコーダ２５０と、画素アレイ部３００とを備える。
画素アレイ部３００は、複数の画素ブロック３１０が二次元格子状（行列状ともいう）に配列された構成を備える。以下、水平方向に配列された画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素ブロックの集合を「列」と称する。画素アレイ部３００における各画素ブロック３１０の行方向の位置は、Ｘアドレスによって特定され、列方向の位置はＹアドレスによって特定される。
各画素ブロック３１０は、入射光を光電変換することで、その入射光量に応じた電圧値のアナログの画素信号を生成する。また、画素ブロック３１０は、入射光量の変化量が所定の閾値を超えたか否かに基づいて、アドレスイベントの発火の有無を検出する。
アドレスイベントの発火を検出した画素ブロック３１０は、リクエストをＹアービタ２１３に出力する。また、画素ブロック３１０は、リクエストに対する応答をＹアービタから受け取ると、アドレスイベントの検出結果を示す検出信号を駆動回路２１１及びカラムＡＤＣ２２０に送信する。
Ｙアービタ２１３は、画素ブロック３１０からリクエストを調停することで、リクエストの送信元である画素ブロック３１０がそれぞれ属する行に対する読出し順序を決定し、決定した読出し順序に基づいて、リクエストの送信元である画素ブロック３１０がそれぞれ属する行に含まれる全ての画素ブロック３１０に対して、応答を返す。なお、以下の説明では、リクエストを調停して読出し順序を決定することを、「読出し順序を調停する」という。
駆動回路２１１は、検出信号を出力した画素ブロック３１０それぞれを駆動することで、画素ブロック３１０それぞれが接続された垂直信号線３０８に光電変換素子３２１への入射光量に応じた電圧値の画素信号を出現させる。
カラムＡＤＣ２２０は、行ごとに、各列の垂直信号線３０８に出現したアナログの画素信号をデジタルの画素信号に変換することで、画素信号をカラム並列に読み出す。そして、カラムＡＤＣ２２０は、読み出したデジタルの画素信号を信号処理部２１２に供給する。
信号処理部２１２は、カラムＡＤＣ２２０からの画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理等の所定の信号処理を実行し、信号処理後の画素信号からなる階調画像データを外部へ出力する。
イベントエンコーダ２５０は、画素アレイ部３００における行ごとに、いずれの画素ブロック３１０でオンイベントが発生したか、及び、いずれの画素ブロック３１０でオフイベントが発生したかを示すデータを生成する。例えば、イベントエンコーダ２５０は、ある画素ブロック３１０からリクエストを受信すると、この画素ブロック３１０でオンイベント又はオフイベントが発生したことと、当該画素ブロック３１０の画素アレイ部３００における位置を特定するＸアドレス及びＹアドレスとを含むイベント検出データを生成する。
その際、イベントエンコーダ２５０は、オンイベント又はオフイベントの発火が検出された際の時間に関する情報（タイムスタンプ）も、イベント検出データに含める。そして、イベントエンコーダ２５０は、生成したイベント検出データを外部へ出力される。
１．４ 画素ブロックの構成例
図４は、第１の実施形態に係る画素ブロックの概略構成例を示すブロック図である。図４に示すように、画素ブロック３１０は、階調情報である画素信号を生成するための階調画素３２０と、アドレスイベントの発火の有無を検出するためのイベント画素３３０と、イベント画素３３０からの光電流に基づいてアドレスイベントの発火の有無を検出するアドレスイベント検出回路（検出部）４００とを備える。
１．４．１ 画素ブロックの積層構成例
図５は、図４に示す画素ブロックを図３に示す積層チップにあてはめた場合の積層構成例を示す図である。図５に示すように、画素ブロック３１０のうち、例えば、階調画素３２０及びイベント画素３３０は、受光チップ２０１に配置され、アドレスイベント検出回路４００は、検出チップ２０２に配置される。
ただし、これに限定されず、例えば、階調画素３２０における回路構成の一部を検出チップ２０２へ配置するなど、種々変形することが可能である。
１．４．２ 画素アレイ部における画素ブロックの平面レイアウト例
図６は、第１の実施形態に係る画素アレイ部における画素ブロックの平面レイアウト例を示す平面図である。図６に示すように、画素アレイ部３００は、行列状に配列した複数の画素ブロック３１０を備える。また、画素アレイ部３００には、検出信号線３０６及び３０７と、垂直信号線３０８と、イネーブル信号線３０９とが、列方向に沿って列ごとに配線される。画素ブロック３１０のそれぞれは、対応する列の検出信号線３０６及び３０７と、垂直信号線３０８と、イネーブル信号線３０９とに接続される。
１．４．３ 階調画素の回路構成例
図７は、第１の実施形態に係る階調画素３２０の回路構成例を示す回路図である。図７に示すように、階調画素３２０は、光電変換素子３２１と、転送トランジスタ３２２と、浮遊拡散層３２３と、リセットトランジスタ３２４と、増幅トランジスタ３２５と、選択トランジスタ３２６とを備え、光電流に応じた電圧のアナログ信号を画素信号Ｖｓｉｇとして生成する。階調画素３２０における光電変換素子３２１以外の構成は、画素回路とも称される。転送トランジスタ、リセットトランジスタ３２４、増幅トランジスタ３２５及び選択トランジスタ３２６は、例えば、Ｎ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタであってよい。
光電変換素子（第２光電変換素子）３２１は、例えば、フォトダイオードなどで構成され、入射光を光電変換して電荷を生成する。転送トランジスタ３２２は、駆動回路２１１からの転送信号ＴＲＧに従って、光電変換素子３２１から浮遊拡散層３２３へ電荷を転送する。
浮遊拡散層３２３は、蓄積している電荷の量に応じた電圧を生成する電荷蓄積部である。リセットトランジスタ３２４は、駆動回路２１１からのリセット信号ＲＳＴに従って、浮遊拡散層３２３の電荷を放出（初期化）する。増幅トランジスタ３２５は、浮遊拡散層３２３の電圧を増幅する。選択トランジスタ３２６は、駆動回路２１１からの選択信号ＳＥＬに従って、増幅された電圧の信号を画素信号Ｖｓｉｇとして垂直信号線３０８に出現させる。垂直信号線３０８に出現した画素信号Ｖｓｉｇは、例えば、カラムＡＤＣ２２０により読み出されて、デジタルの画素信号に変換される。
１．４．４ イベント画素の回路構成例
図８は、第１の実施形態に係るイベント画素の回路構成例を示す回路図である。図８に示すように、イベント画素３３０は、光電変換素子３３１を備える。
光電変換素子（第１光電変換素子）３３１は、光電変換素子３２１と同様に、例えば、フォトダイオードなどで構成され、入射光を光電変換して電荷を生成する。光電変換素子３３１が光電変換することで発生した電荷は、光電流としてアドレスイベント検出回路４００へ供給される。
１．４．５ アドレスイベント検出回路の機能例
また、図８に示されているアドレスイベント検出回路４００は、光電変換素子３３１から流出した光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの発火の有無を検出する。このアドレスイベントは、例えば、入射光量に応じた光電流の変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとからなる。言い換えれば、アドレスイベントは、入射光量の変化量が下限から上限までの所定の範囲外であるときに検出される。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す１ビットと、オフイベントの検出結果を示す１ビットからなる。なお、アドレスイベント検出回路４００は、オンイベントのみを検出することもできる。
アドレスイベント検出回路４００は、アドレスイベントが生じた際に、Ｙアービタ２１３へ、検出信号の送信を要求するリクエストを送信する。そして、Ｙアービタ２１３から、リクエストに対する応答を受け取ると、アドレスイベント検出回路４００は、検出信号ＤＥＴ＋及びＤＥＴ−を駆動回路２１１及びカラムＡＤＣ２２０へ送信する。ここで、検出信号ＤＥＴ＋は、オンイベントの有無の検出結果を示す信号であり、例えば、検出信号線３０６を介してカラムＡＤＣ２２０へ送信される。また、検出信号ＤＥＴ−は、オフイベントの有無の検出結果を示す信号であり、例えば、検出信号線３０７を介してカラムＡＤＣ２２０へ送信される。
また、アドレスイベント検出回路４００は、選択信号ＳＥＬに同期して、カラムイネーブル信号ＣｏｌＥＮをイネーブルに設定し、その信号をイネーブル信号線３０９を介してカラムＡＤＣ２２０へ送信する。ここで、カラムイネーブル信号ＣｏｌＥＮは、対応する列の画素信号に対するＡＤ（Analog to Digital）変換を有効または無効にするための信号である。
駆動回路２１１は、ある行でアドレスイベントが検出されると、その行を選択信号ＳＥＬ等により駆動する。駆動された行内の画素ブロック３１０のそれぞれは、画素信号Ｖｓｉｇを垂直信号線３０８に出現させる。垂直信号線３０８に出現した画素信号Ｖｓｉｇは、カラムＡＤＣ２２０により読み出され、デジタルの画素信号へ変換される。
また、駆動された行のうちアドレスイベントを検出した画素ブロック３１０は、イネーブルに設定されたカラムイネーブル信号ＣｏｌＥＮをカラムＡＤＣ２２０へ送信する。一方、アドレスイベントを検出していない画素ブロック３１０のカラムイネーブル信号ＣｏｌＥＮは、ディセーブルに設定される。
１．４．６ アドレスイベント検出回路の構成例
図９は、第１の実施形態に係るアドレスイベント検出回路の概略構成例を示すブロック図である。図９に示すように、アドレスイベント検出回路４００は、電流電圧変換部４１０、バッファ４２０、減算器４３０、量子化器４４０及び転送部４５０を備える。
電流電圧変換部４１０は、イベント画素３３０からの光電流を、その対数の電圧信号に変換する。そして、電流電圧変換部４１０は、電圧信号をバッファ４２０に供給する。
バッファ４２０は、電流電圧変換部４１０からの電圧信号を減算器４３０に出力する。このバッファ４２０により、後段を駆動する駆動力を向上させることができる。また、バッファ４２０により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
減算器４３０は、駆動回路２１１からの行駆動信号に従ってバッファ４２０からの電圧信号のレベルを低下させる。そして、減算器４３０は、低下後の電圧信号を量子化器４４０に供給する。
量子化器４４０は、減算器４３０からの電圧信号をデジタル信号に量子化して検出信号として転送部４５０に出力する。
転送部４５０は、量子化器４４０からの検出信号を信号処理部２１２等に転送する。この転送部４５０は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストをＹアービタ２１３及びイベントエンコーダ２５０に送信する。そして、転送部４５０は、リクエストに対する応答をＹアービタ２１３から受け取ると、検出信号ＤＥＴ＋及びＤＥＴ−を駆動回路２１１及びカラムＡＤＣ２２０に供給する。また、選択信号ＳＥＬが送信された際に転送部４５０は、イネーブルに設定したカラムイネーブル信号ＣｏｌＥＮをカラムＡＤＣ２２０へ送信する。
１．４．６．１ 電流電圧変換部の構成例
図１０は、第１の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。図１０に示すように、電流電圧変換部４１０は、ＬＧ（LoG）トランジスタ４１１と、増幅トランジスタ４１３と、負荷ＭＯＳトランジスタ４１２とを備える。ＬＧトランジスタ４１１及び増幅トランジスタ４１３には、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。一方、負荷ＭＯＳトランジスタ４１２は、定電流回路であり、これには、Ｐ型のＭＯＳトランジスタを用いることができる。
ＬＧトランジスタ４１１のソースは、イベント画素３３０における光電変換素子３３１のカソードに接続され、ドレインは電源端子に接続される。負荷ＭＯＳトランジスタ４１２及び増幅トランジスタ４１３は、電源端子と接地端子との間において、直列に接続される。また、負荷ＭＯＳトランジスタ４１２及び増幅トランジスタ４１３の接続点は、ＬＧトランジスタ４１１のゲートとバッファ４２０の入力端子とに接続される。また、負荷ＭＯＳトランジスタ４１２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。
ＬＧトランジスタ４１１及び増幅トランジスタ４１３のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、光電変換素子３３１からの光電流は、その対数の電圧信号に変換される。また、負荷ＭＯＳトランジスタ４１２は、一定の電流を増幅トランジスタ４１３に供給する。
なお、図１０に示す構成において、例えば、ＬＧトランジスタ４１１と増幅トランジスタ４１３とは、図５に示す受光チップ２０１に配置されてもよい。
１．４．６．１．１ 電流電圧変換部の変形例
なお、図１０に例示するような、ソースフォロワ型の電流電圧変換部４１０に代えて、図１１に例示するような、ゲインブースト型の電流電圧変換部４１０Ａを用いることも可能である。
図１１に示すように、電流電圧変換部４１０Ａでは、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１３のゲートは、例えば、イベント画素３３０における光電変換素子３３１のカソードに接続される。また、ＬＧトランジスタ４１１のドレインは、例えば、ＬＧトランジスタ４１４のソース及び増幅トランジスタ４１３のゲートに接続される。ＬＧトランジスタ４１４のドレインは、例えば、電源端子ＶＤＤに接続される。
また、例えば、増幅トランジスタ４１５のソースはＬＧトランジスタ４１１のゲート及び増幅トランジスタ４１３のドレインに接続される。増幅トランジスタ４１５のドレインは、例えば、負荷ＭＯＳトランジスタ４１２を介して電源端子ＶＤＤに接続される。
このような構成においても、光電変換素子３３１からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ４１１及び４１４と、増幅トランジスタ４１３及び４１５とは、それぞれ例えばＮ型のＭＯＳトランジスタで構成されてよい。
なお、図１１に示す構成において、例えば、ＬＧトランジスタ４１１及び４１４と増幅トランジスタ４１３及び４１５とは、図５に示す受光チップ２０１に配置されてもよい。
１．４．７ 減算器及び量子化器の構成例
図１２は、第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。図１２に示すように、減算器４３０は、コンデンサ４３１及び４３３と、インバータ４３２と、スイッチ４３４とを備える。また、量子化器４４０は、コンパレータ４４１及び４４２を備える。
コンデンサ４３１の一端は、バッファ４２０の出力端子に接続され、他端は、インバータ４３２の入力端子に接続される。コンデンサ４３３は、インバータ４３２に並列に接続される。スイッチ４３４は、コンデンサ４３３の両端を接続する経路を駆動回路２１１からのオートゼロ信号ＡＺに従って開閉する。
インバータ４３２は、コンデンサ４３１を介して入力された電圧信号を反転する。このインバータ４３２は反転した信号をコンパレータ４４１の非反転入力端子（＋）に出力する。
スイッチ４３４をオンした際にコンデンサ４３１のバッファ４２０側に電圧信号Ｖｉｎｉｔが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ４３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ４３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ４３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ ・・・（１）
次に、スイッチ４３４がオフされて、コンデンサ４３１のバッファ４２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ４３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ ・・・（２）
一方、コンデンサ４３３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
Ｑ２＝−Ｃ２×Ｖｏｕｔ ・・・（３）
このとき、コンデンサ４３１及び４３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ ・・・（４）
式（４）に式（１）乃至式（３）を代入して変形すると、次の式（５）が得られる。
Ｖｏｕｔ＝−（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ−Ｖｉｎｉｔ） ・・・（５）
式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器４３０を含むアドレスイベント検出回路４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。
コンパレータ４４１は、減算器４３０からの電圧信号と、反転入力端子（−）に印加された上限電圧Ｖｂｏｎとを比較する。ここで、上限電圧Ｖｂｏｎは、上限閾値を示す電圧である。コンパレータ４４１は、比較結果ＣＯＭＰ＋を転送部４５０に出力する。コンパレータ４４１により、オンイベントが生じた場合にハイレベルの比較結果ＣＯＭＰ＋が出力され、オンイベントが無い場合にローレベルの比較結果ＣＯＭＰ＋が出力される。
コンパレータ４４２は、減算器４３０からの電圧信号と、反転入力端子（−）に印加された下限電圧Ｖｂｏｆｆとを比較する。ここで、下限電圧Ｖｂｏｆｆは、下限閾値を示す電圧である。コンパレータ４４２は、比較結果ＣＯＭＰ−を転送部４５０に出力する。コンパレータ４４２により、オフイベントが生じた場合にハイレベルの比較結果ＣＯＭＰ−が出力され、オフイベントが無い場合にローレベルの比較結果ＣＯＭＰ−が出力される。
１．４．８ 転送部の構成例
図１３は、第１の実施形態に係る転送部の概略構成例を示す回路図である。図１３に示すように、転送部４５０は、ＡＮＤ（論理積）ゲート４５１及び４５３と、ＯＲ（論理和）ゲート４５２と、フリップフロップ４５４及び４５５とを備える。
ＡＮＤゲート４５１は、量子化器４４０の比較結果ＣＯＭＰ＋と、Ｙアービタ２１３からの応答ＡｃｋＹとの論理積を検出信号ＤＥＴ＋としてカラムＡＤＣ２２０に出力する。このＡＮＤゲート４５１により、オンイベントが生じた場合にハイレベルの検出信号ＤＥＴ＋が出力され、オンイベントが無い場合にローレベルの検出信号ＤＥＴ＋が出力される。
ＯＲゲート４５２は、量子化器４４０の比較結果ＣＯＭＰ＋と比較結果ＣＯＭＰ−との論理和をリクエストＲｅｑＹとしてＹアービタ２１３に出力する。ＯＲゲート４５２により、アドレスイベントが生じた場合にハイレベルのリクエストＲｅｑＹが出力され、アドレスイベントの無い場合にローレベルのリクエストＲｅｑＹが出力される。また、リクエストＲｅｑＹの反転値がフリップフロップ４５４の入力端子Ｄに入力される。
ＡＮＤゲート４５３は、量子化器４４０の比較結果ＣＯＭＰ−と、Ｙアービタ２１３からの応答ＡｃｋＹとの論理積を検出信号ＤＥＴ−としてカラムＡＤＣ２２０に出力する。このＡＮＤゲート４５３により、オフイベントが生じた場合にハイレベルの検出信号ＤＥＴ−が出力され、オフイベントが無い場合にローレベルの検出信号ＤＥＴ−が出力される。
フリップフロップ４５４は、応答ＡｃｋＹに同期してリクエストＲｅｑＹの反転値を保持する。そして、フリップフロップ４５４は、保持値を内部信号ＣｏｌＥＮ’としてフリップフロップ４５５の入力端子Ｄに出力する。
フリップフロップ４５５は、駆動回路２１１からの選択信号ＳＥＬに同期して、内部信号ＣｏｌＥＮ’を保持する。そして、フリップフロップ４５５は、保持値をカラムイネーブル信号ＣｏｌＥＮとしてカラムＡＤＣ２２０に出力する。
１．４．９ カラムＡＤＣの構成例
図１４は、第１の実施形態に係るカラムＡＤＣの概略構成例を示すブロック図である。図１４に示すように、カラムＡＤＣ２２０では、例えば、画素アレイ部３００における各列に対して、１つのＡＤ変換部２３０が配置される。ただし、各列に対して一対一にＡＤ変換部２３０を設けることは必須の構成ではなく、例えば、２列以上の複数の列に対して、１つのＡＤ変換部２３０が配置されてもよい。
ＡＤ変換部２３０は、各列の垂直信号線３０８に出現したアナログの画素信号をデジタルの画素信号に変換する。
１．４．９．１ ＡＤ変換部の構成例
図１５は、第１の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。図１５に示すように、ＡＤ変換部２３０は、ＡＤＣ２３２と、制御回路２４０とを備える。
ＡＤＣ２３２は、画素信号Ｖｓｉｇをデジタルの画素信号Ｄｏｕｔに変換する。このＡＤＣ２３２は、比較器２３３及びカウンタ２３４を備える。
比較器２３３は、制御回路２４０からのコンパレータイネーブル信号ＣｏｍｐＥＮに従って、所定の参照信号ＲＭＰと、画素信号Ｖｓｉｇとを比較する。参照信号ＲＭＰとしては、例えば、スロープ状又は階段状に変化するランプ信号を用いることができる。また、コンパレータイネーブル信号ＣｏｍｐＥＮは、比較器２３３の比較動作を有効または無効にするための信号である。比較器２３３は、比較結果ＶＣＯをカウンタ２３４に供給する。
カウンタ２３４は、制御回路２４０からのカウンタイネーブル信号ＣｎｔＥＮに従って、比較結果ＶＣＯが反転するまでの期間に亘って、クロック信号ＣＬＫに同期して計数値を計数する。カウンタイネーブル信号ＣｎｔＥＮは、カウンタ２３４の計数動作を有効または無効にするための信号である。このカウンタ２３４は、計数値を示すデジタルの画素信号Ｄｏｕｔを信号処理部２１２に出力する。
制御回路２４０は、カラムイネーブル信号ＣｏｌＥＮに従って、マルチプレクサ２３１及びＡＤＣ２３２を制御する。制御内容の詳細については後述する。
また、各画素ブロック３１０から出力された検出信号ＤＥＴ＋及びＤＥＴ−は、ＡＤ変換部２３０を介して信号処理部２１２へ出力される。
なお、比較器２３３及びカウンタ２３４からなるシングルスロープ型のＡＤＣをＡＤＣ２３２として用いているが、この構成に限定されない。例えば、デルタシグマ型のＡＤＣをＡＤＣ２３２として用いることもできる。
１．４．９．２ 制御回路の構成例
図１６は、第１の実施形態に係る制御回路の概略構成例を示すブロック図である。図１６に示すように、制御回路２４０は、ＯＲ（論理和）ゲート２４１と、レベルシフタ２４２と、ＡＮＤ（論理積）ゲート２４３とを備える。
ＯＲゲート２４１は、カラムイネーブル信号ＣｏｌＥＮと、エクストライネーブル信号ＥｘｔＥＮとの論理和をレベルシフタ２４２及びＡＮＤゲート２４３へ出力する。エクストライネーブル信号ＥｘｔＥＮは、アドレスイベントの有無に関わらず、ＡＤ変換を有効にする旨を指示する信号であり、ユーザ操作などに従って設定される。例えば、有効にする際にエクストライネーブル信号ＥｘｔＥＮにハイレベルが設定され、無効にする際にローレベルが設定される。
レベルシフタ２４２は、ＯＲゲート２４１の出力信号の電圧を変換する。そして、レベルシフタ２４２は、例えば、ブロック制御信号Ｃｒｔｌ２に従って、変換後の信号をコンパレータイネーブル信号ＣｏｍｐＥＮとしてＡＤＣ２３２における比較器２３３に供給する。ブロック制御信号Ｃｒｔｌ２は、アドレスイベントの有無に関わらず、比較器２３３を無効にするための信号である。例えば、アドレスイベントの有無に関わらず、比較器２３３を無効にする場合にブロック制御信号Ｃｒｔｌ２にローレベルが設定され、そうでない場合にハイレベルが設定される。
ＡＮＤゲート２４３は、ＯＲゲート２４１の出力信号と、ブロック制御信号Ｃｒｔｌ１との論理積をカウンタイネーブル信号ＣｎｔＥＮとしてカウンタ２３４に出力する。ブロック制御信号Ｃｒｔｌ１は、アドレスイベントの有無に関わらず、カウンタ２３４を無効にするための信号である。例えば、アドレスイベントの有無に関わらず、カウンタ２３４を無効にする場合にブロック制御信号Ｃｒｔｌ１にローレベルが設定され、そうでない場合にハイレベルが設定される。
１．５ 固体撮像装置の動作例
図１７は、第１の実施形態に係る固体撮像装置の概略動作例を示すフローチャートである。この動作は、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
図１７に示すように、固体撮像装置２００は、アドレスイベントの発火有無の検出を開始し（ステップＳ１０１）、アドレスイベントが発生したか否かを判断する（ステップＳ１０２）。アドレスイベントの発火検出には、イベント画素３３０が使用される。アドレスイベントの発火が検出されなかった場合（ステップＳ１０２のＮＯ）、本動作は、ステップＳ１０５へ進む。
一方、アドレスイベントの発火が検出された場合（ステップＳ１０２のＹＥＳ）、イベントエンコーダ２５０が、アドレスイベントの発火が検出された画素ブロック３１０についてのイベント検出データを出力する（ステップＳ１０３）。
つぎに、カラムＡＤＣ２２０が、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号を読み出す（ステップＳ１０４）。画素信号の読出しには、階調画素３２０が使用される。また、１行分の画素信号は、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から並列（カラム並列）に読み出される。その後、本動作は、ステップＳ１０５へ進む。
ステップＳ１０５では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１０５のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ１０５のＮＯ）、ステップＳ１０１へリターンし、以降の動作が実行される。
１．６ 作用・効果
以上のように、第１の実施形態によれば、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号がカラム並列に読み出される。それにより、アドレスイベントが発火した画素ブロック３１０を１つずつ特定して個別に読み出すという手順を省略すること可能となるため、アドレスイベントの発火検出から画素信号（階調）読出しまでの時間差を低減することが可能となる。
また、第１の実施形態によれば、列方向でアドレスイベントの発火が検出された画素ブロック３１０に対する読出し順序の調停を行うＸアービタを省略することが可能となるため、固体撮像装置２００の回路構成を簡略化して小型化を図ることも可能となる。
さらに、本実施形態では、１つの画素ブロック３１０において、イベント検出用の画素（イベント画素３３０）と階調取得用の画素（階調画素３２０）とが別々に設けられ、それぞれを独立して制御することが可能であるため、アドレスイベントの発火検出から画素信号（階調）読出しまでのデッドタイムを無くして、イベント検出と階調取得とを同時並行的に実行することも可能となる。
１．７ 第１変形例
なお、本実施形態では、イベント画素３３０と階調画素３２０とがそれぞれ別々の光電変換素子３３１又は３２１を備える場合を例示したが、本実施形態では、このような構成に限定されず、例えば、イベント画素３３０と階調画素３２０とで１つの光電変換素子を共有する構成など、種々変形することが可能である。
なお、イベント画素３３０と階調画素３２０とで１つの光電変換素子を共有する場合、図１８に示すように、１つの光電変換素子３４１に対して、イベント画素３３０における光電変換素子３３１以外の回路構成と、階調画素３２０における光電変換素子３２１以外の回路構成とが接続された構成となる。
また、図１８に示す構成に対する駆動では、先にアドレスイベントの監視用にＯＦＧ（OverFlow Gate）トランジスタ３３２をオン状態としておき、その状態でアドレスイベントの発火が検出されると、ＯＦＧトランジスタ３３２をオフ状態にするとともに、転送トランジスタ３２２をオン状態とすることで、光電変換素子３４１に発生した電荷が階調画素３２０の浮遊拡散層３２３へ転送される。なお、その際の画素信号読出し動作は、上述において説明した動作と同様であっていため、ここでは詳細な説明を省略する。
１．８ 第２変形例
また、図１９は、第１の実施形態の第２変形例に係る固体撮像装置の概略構成例を示すブロック図である。また、図２０は、第１の実施形態の第２変形例に係る画素ブロックの概略構成例を示すブロック図である。
上述した第１の実施形態では、各画素ブロック３１０にアドレスイベント検出回路４００を設けた場合を例示したが、このような構成に限定されず、例えば、図１９に示すように、各画素ブロック３１０Ａのアドレスイベント検出回路４００を行ごとに共通のアドレスイベント検出回路４００で構成されたアドレスイベント検出部４００Ａに置き換えることも可能である。
このように構成することで、図２０に示すように、各画素ブロック３１０Ａからアドレスイベント検出回路４００を省略することが可能となるため、固体撮像装置２００をより小型化することが可能となる。
２．第２の実施形態
つぎに、第２の実施形態について、図面を参照して詳細に説明する。なお、本実施形態では、上述した実施形態と同様の構成及び動作については、それらを引用することで、重複する説明を省略する。
上述した第１の実施形態では、各列に対して１つのＡＤ変換部２３０を設けた、所謂１カラム１ＡＤＣの構成を例示したが、このような構成に限定されず、例えば、２列以上で１つのＡＤ変換部２３０を共有するように構成することも可能である。そこで、第２の実施形態では、２列以上で１つのＡＤ変換部２３０を共有する場合について、例を挙げて説明する。
本実施形態に係る撮像装置及び固体撮像装置の構成は、例えば、第１の実施形態において例示した撮像装置１００及び固体撮像装置２００と同様であってよい。ただし、本実施形態では、ＡＤ変換部２３０が後述するＡＤ変換部５３０に置き換えられる。
２．１ ＡＤ変換部の構成例
図２１は、第２の実施形態に係るＡＤ変換部の概略構成例を示すブロック図である。図２１に示すように、ＡＤ変換部５３０は、図１５に例示したＡＤ変換部２３０と同様の構成において、制御回路２４０が制御回路５４０に置き換えられるとともに、マルチプレクサ５３１が追加された構成を備える。なお、本説明において、ＡＤ変換部５３０に対応する２列を２ｍ−１（ｍは、１乃至Ｍの整数）列及び２ｍ列とする。
マルチプレクサ５３１は、制御回路５４０からの制御信号に従って、２ｍ−１列の画素信号Ｖｓｉｇ２ｍ−１と、２ｍ列の画素信号Ｖｓｉｇ２ｍとの一方を選択して画素信号ＶｓｉｇＳＥＬとしてＡＤＣ２３２に出力する。マルチプレクサ５３１には、制御信号として、切替信号ＳＷ及びマルチプレクサイネーブル信号ＭｕｘＥＮが入力される。
ＡＤＣ２３２は、図１５におけるＡＤＣ２３２と同様に、比較器２３３及びカウンタ２３４を備え、画素信号ＶｓｉｇＳＥＬをデジタルの画素信号Ｄｏｕｔに変換する。
ただし、比較器２３３は、制御回路５４０からのコンパレータイネーブル信号ＣｏｍｐＥＮに従って、所定の参照信号ＲＭＰと、画素信号ＶｓｉｇＳＥＬとを比較する。
制御回路５４０は、２ｍ−１列及び２ｍ列のそれぞれのカラムイネーブル信号ＣｏｌＥＮ２ｍ−１及びＣｏｌＥＮ２ｍに従ってマルチプレクサ５３１及びＡＤＣ２３２を制御する。制御内容の詳細については後述する。
また、各列の検出信号ＤＥＴ＋及びＤＥＴ−は、ＡＤ変換部５３０を介して信号処理部２１２へ出力される。
なお、比較器２３３及びカウンタ２３４からなるシングルスロープ型のＡＤＣをＡＤＣ２３２として用いているが、この構成に限定されない。例えば、デルタシグマ型のＡＤＣをＡＤＣ２３２として用いることもできる。
２．２ 制御回路の構成例
図２２は、第２の実施形態係る制御回路５４０の概略構成例を示すブロック図である。図２２に示すように、制御回路５４０は、図１６に例示した制御回路２４０と同様の構成に加え、デマルチプレクサ５４４と切替制御部５４５とをさらに備える。
デマルチプレクサ５４４は、ブロック制御信号Ｃｒｔｌ２に従って、レベルシフタ２４２の出力信号をマルチプレクサ５３１及び比較器２３３に分配する。ブロック制御信号Ｃｒｔｌ２は、アドレスイベントの有無に関わらず、マルチプレクサ５３１及び比較器２３３の少なくとも一方を無効にするための信号である。
例えば、アドレスイベントの有無に関わらず、マルチプレクサ５３１のみを無効にする際には２進数で「１０」がブロック制御信号Ｃｒｔｌ２に設定される。この際にレベルシフタ２４２の出力信号は、コンパレータイネーブル信号ＣｏｍｐＥＮとして比較器２３３へ出力される。比較器２３３のみを無効にする際には２進数で「０１」がブロック制御信号Ｃｒｔｌ２に設定される。この際にレベルシフタ２４２の出力信号は、マルチプレクサイネーブル信号ＭｕｘＥＮとしてマルチプレクサ５３１へ出力される。また、マルチプレクサ５３１及び比較器２３３の両方を無効にする際には、「００」が設定され、それ以外の場合に「１１」が設定される。「１１」が設定された際にレベルシフタ２４２の出力信号はマルチプレクサ５３１及び比較器２３３の両方に出力される。
切替制御部５４５は、カラムイネーブル信号ＣｏｌＥＮ２ｍ−１及びＣｏｌＥＮ２ｍに基づいてマルチプレクサ５３１が出力する画素信号を切り替える。例えば、一方のみにイネーブルが設定された場合、切替制御部５４５は、そのイネーブルの列の画素信号を切替信号ＳＷによりマルチプレクサ５３１に選択させる。また、２列の両方にイネーブルが設定された場合、切替制御部５４５は、一方の列の画素信号を切替信号ＳＷによりマルチプレクサ５３１に選択させ、次に他方の列の画素信号を選択させる。
２．３ 画素信号読出し時の切替制御例
図２３は、第２の実施形態に係る画素信号読出し時の読出し制御の一例を説明するための図である。なお、本実施形態でも、第１の実施形態と同様に、アドレスイベントの発火が検出された画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０から画素信号が読み出されるため、図２３に示す制御は、２ｍ−１列及び２ｍ列の画素ブロック３１０が属する行に含まれる画素ブロック３１０のうち少なくとも１つの画素ブロック３１０でアドレスイベントの発火が検出された場合に実行される制御である。
図２３に示すように、２ｍ−１列の画素ブロック３１０及び２ｍ列の画素ブロック３１０のうちの少なくとも一方でアドレスイベントの発火が検出された場合、制御回路５４０は、切替信号ＳＷにより、例えば、２ｍ−１列の画素ブロック３１０をマルチプレクサ５３１に先に選択させ、次に、２ｍ列の画素ブロック３１０をマルチプレクサ５３１に選択させる。その際、制御回路５４０は、２ｍ−１列及び２ｍ列のＡＤ変換期間に亘って、ＡＤＣ２３２をイネーブルに設定する。
なお、２ｍ−１列及び２ｍ列の両方がディセーブルである場合に制御回路５４０は、ＡＤＣ２３２をディセーブルに設定する。
２．４ 作用・効果
以上のように、２列以上で１つのＡＤ変換部２３０を共有する構成とすることで、ＡＤ変換部２３０の数を削減することが可能となるため、固体撮像装置２００のさらなる小型化が可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
３．第３の実施形態
また、上述した実施形態では、１又は２以上の列に対して１つのＡＤＣ２３２を対応付けた場合を例示したが、このような構成に限定されず、例えば、１列に対して複数のＡＤＣ２３２を対応付けるなど、種々変形することが可能である。以下、変形例の幾つかを、具体例を挙げて説明する。
３．１ 第１例
図２４は、第３の実施形態の第１例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２４に示すように、第１例に係る画素アレイ部３００では、１つの列に対して２つのＡＤＣ２３２が対応付けられている。
行数を２Ｎ（Ｎは、整数）として２ｎ（ｎは、１乃至Ｎの整数）行の画素ブロック３１０は、信号線３０６〜３０９を介して一方のＡＤ変換部２３０に接続され、２ｎ−１行の画素ブロック３１０は、異なる信号線３０６〜３０９を介して他方のＡＤ変換部２３０に接続される。
このような構成とすることで、複数行を読み出す際に、奇数行と偶数行と並行して読み出すことが可能となるため、アドレスイベントの発火検出から画素信号（階調）読出しまでの時間差をより低減することが可能となる。
３．２ 第２例
図２５は、第３の実施形態の第２例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２５に示すように、第２例では、第１例と同様の構成において、２つのＡＤＣ２３２が画素アレイ部３００を挟んで配置されている。
このように、カラムＡＤＣ２２０を２つに分割し、分割されたカラムＡＤＣ２２０を画素アレイ部３００を挟む位置に配置することで、カラムＡＤＣ２２０あたりの回路規模を削減することが可能となる。
３．３ 第３例
図２６は、第３の実施形態の第３例に係る画素アレイ部及びカラムＡＤＣの一部のレイアウト例を示す平面図である。図２６に示すように、第３例では、列数を４Ｍとして、４ｍ列および４ｍ−２列が、画素アレイ部３００に対して上側に配置されたカラムＡＤＣ２２０に接続され、４ｍ−１列および４ｍ−３列が、下側に配置されたカラムＡＤＣ２２０に接続される。
下側のカラムＡＤＣ２２０には、接続された計２Ｍ列に対し、Ｋ列ごとにＡＤ変換部２３０が配置される。Ｋが「２」である場合、Ｍ個のＡＤ変換部５３０が配置される。なお、第３例に係る各ＡＤ変換部５３０の構成は、第２の実施形態に係るＡＤ変換部５３０と同様であってよい。
また、上側のカラムＡＤＣ２２０内にも同様に、２列ごとにＡＤ変換部５３０が配置される。
このように、第３例によれば、１つのＡＤ変換部５３０を複数列で共有し、さらに、カラムＡＤＣ２２０を２つに分割して画素アレイ部３００を挟む位置に配置した構成であるため、カラムＡＤＣ２２０全体の回路規模を縮小するとともに、カラムＡＤＣ２２０あたりの回路規模を削減することが可能となる。
４．第４の実施形態
次に、第４の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成及び動作については、それらを引用することで、重複する説明を省略する。
本実施形態に係る撮像装置の構成は、例えば、第１の実施形態において例示した撮像装置１００と同様であってよい。ただし、本実施形態では、固体撮像装置２００が後述する固体撮像装置６００に置き換えられる。
４．１ 固体撮像装置の概略構成例
図２７は、第４の実施形態に係る固体撮像装置の概略構成例を示すブロック図である。図２７に示すように、固体撮像装置６００は、図３に例示した固体撮像装置２００と同様の構成において、駆動回路２１１が書略され、Ｙアービタ２１３がＹアービタ６０１に置き換えられた構成を備える。
Ｙアービタ６０１は、第１の実施形態におけるＹアービタ２１３と同様の機能の他に、同じく第１の実施形態における駆動回路２１１の機能を備えている。したがって、Ｙアービタ６０１は、画素アレイ部３００における１つ以上の画素ブロック３１０でアドレスイベントの発火が検出されると、アドレスイベントの発火が検出された画素ブロック３１０それぞれが属する行に対する読出し順序を調停し、調停した読出し順序にしたがって各行を駆動する。これにより、アドレスイベントの発火が検出された画素ブロック３１０が属する各行からカラム並列に画素信号が読み出される。
４．２ Ｙアービタの概略構成例
図２８は、第４の実施形態に係るＹアービタの概略構成例を示すブロック図である。図２８に示すように、Ｙアービタ６０１は、イベント処理部６２０と、階調画素制御部６１０とを備える。
イベント処理部６２０は、異なる行に属する複数の画素ブロック３１０からリクエストＲｅｑＹを入力すると、行に対する読出し順序を調停し、調停結果に応じた応答ＡｃｋＹを、その行に属する全ての画素ブロック３１０へ返す。これに対し、応答ＡｃｋＹを受け取った各画素ブロック３１０は、検出信号をカラムＡＤＣ２２０へ送信する。
また、イベント処理部６２０は、調停した読出し順序を階調画素制御部６１０へ入力する。階調画素制御部６１０は、入力された読出し順序にしたがって行を駆動する。これにより、駆動された行に含まれる全ての画素ブロック３１０において、光電変換素子３２１への入射光量に応じた電圧値の画素信号が垂直信号線３０８へ出現する。
カラムＡＤＣ２２０は、各垂直信号線３０８に出現した画素信号をカラム並列に読み出すことで、一行分の画素信号をまとめて読み出す。
４．３ イベント処理部の概略構成例
図２９は、第４の実施形態に係るイベント処理部の概略構成例を示すブロック図である。図２９に示すように、イベント処理部６２０は、アドレス特定部６２１と、ラッチ回路６２２と、ドライバ６２３とを備える。
ラッチ回路６２２は、行ごとに設けられ、画素ブロック３１０から入力されたリクエストＲｅｑＹを一時保持する。そして、ラッチ回路６２２は、保持しているリクエストＲｅｑＹを、入力されたクロックＣＬＫに同期して、アドレス特定部６２１に入力する。
アドレス特定部６２１は、入力されたリクエストＲｅｑＹに基づいて、当該リクエストＲｅｑＹの送信元である画素ブロック３１０が属する行のＹアドレスを特定し、特定したＹアドレスに対応するドライバ６２３に、応答ＡｃｋＹを出力する。
応答ＡｃｋＹが入力されたドライバ６２３は、入力された応答ＡｃｋＹを、Ｙアドレスに対応する行に含まれる全ての画素ブロック３１０へ入力する。
４．４ 階調画素制御部の概略構成例
図３０は、第４の実施形態に係る階調画素制御部の概略構成例を示すブロック図である。図３０に示すように、階調画素制御部６１０は、アドレス生成部６１１と、ドライバ６１２とを備える。
アドレス生成部６１１は、検出信号の送信元である画素ブロック３１０のＹアドレスを特定し、特定したＹアドレスを、クロックＣＬＫに同期して、ドライバ６１２に入力する。
ドライバ６１２は、アドレス生成部６１１から入力されたＹアドレスの行に含まれる全ての画素ブロック３１０に対して、リセット信号ＲＳＴ、転送信号ＴＲＧ及び選択信号ＳＥＬを適宜入力することで、当該行の画素ブロック３１０全てを駆動する。
４．５ 作用・効果
以上のように、本実施形態によれば、駆動回路２１１を省略することが可能となるため、固体撮像装置６００の回路規模を縮小して小型化を係ることが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
５．第５の実施形態
上述した実施形態では、ある画素ブロック３１０でアドレスイベントの発火が検出された場合、当該画素ブロック３１０が属する行に含まれる全ての画素ブロック３１０からカラム並列に画素信号が読み出される場合を例示した。これに対し、第５の実施形態では、アドレスイベントの発火とは無関係に、周期的に全て又は一部の画素ブロック３１０から画素信号を読み出し、読み出した画素信号よりなる画像データ（以下、階調画像データという）をイベント検出データで更新する場合について、例を挙げて説明する。
本実施形態に係る撮像装置及び固体撮像装置の構成は、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。以下の説明では、第４の実施形態をベースとした場合を例示する。ただし、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
５．１ 固体撮像装置の動作例
本実施形態では、固体撮像装置２００が、アドレスイベントの発火を非同期で検出するアドレスイベント検出動作と、画素ブロック３１０から周期的に階調画像データを取得する周期的読出し動作とが実行される。
５．１．１ イベント検出動作例
図３１は、第５の実施形態に係るイベント検出動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
図３１に示すように、固体撮像装置２００は、アドレスイベントの発火有無の検出を開始し（ステップＳ７０１）、アドレスイベントが発生したか否かを判断する（ステップＳ７０２）。アドレスイベントの発火検出には、イベント画素３３０が使用される。アドレスイベントの発火が検出されなかった場合（ステップＳ７０２のＮＯ）、本動作は、ステップＳ７０４へ進む。
一方、アドレスイベントの発火が検出された場合（ステップＳ７０２のＹＥＳ）、イベントエンコーダ２５０が、アドレスイベントの発火が検出された画素ブロック３１０についてのイベント検出データを出力し（ステップＳ７０３）、その後、本動作がステップＳ７０４へ進む。なお、ステップＳ７０３で読み出されたイベント検出データは、記録部１２０に格納されるか、若しくは、外部Ｉ／Ｆ１４０を介してホスト１５０へ送信される。
ステップＳ７０４では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ７０４のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ７０４のＮＯ）、ステップＳ７０１へリターンし、以降の動作が実行される。
５．１．２ 周期的読出し動作例
図３２は、第５の実施形態に係る周期的読出し動作の一例を示すフローチャートである。この動作は、イベント検出動作と同様に、例えば、アドレスイベントの検出及び撮像を行うためのアプリケーションが実行されたときに開始される。
図３２に示すように、固体撮像装置２００は、経過時間の計測を開始し（ステップＳ７２１）、所定時間が経過するまで待機する（ステップＳ７２２のＮＯ）。その後、所定時間が経過すると（ステップＳ７２２のＹＥＳ）、固体撮像装置２００は、Ｙアービタ６０１の階調画素制御部６１０に全画素ブロック３１０からの画素信号の読出しを実行させ（ステップＳ７２３）、ステップＳ７２４へ進む。なお、ステップＳ７２３で読み出された画素信号は、階調画像データとして、記録部１２０に格納されるか、若しくは、外部Ｉ／Ｆ１４０を介してホスト１５０へ送信される。
ステップＳ７２４では、固体撮像装置２００は、本動作を終了するか否かを判定し、終了する場合（ステップＳ７２４のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ７２４のＮＯ）、経過時間を計測しているカウンタ等をリセットし（ステップＳ７２５）、その後、ステップＳ７２２へリターンして、以降の動作を実行する。
以上のように、周期的読出し動作で読み出された階調画像データは、イベント検出動作で出力されたイベント検出データを用いて逐次更新される（階調画像データ更新動作）。この階調画像データ更新動作は、固体撮像装置２００内における例えば信号処理部２１２で実行されてもよいし、外部の制御部１３０やホスト１５０等で実行されてもよい。
５．２ 階調画像データ更新動作例
次に、第５の実施形態に係る階調画像データ更新動作について、図面を参照して詳細に説明する。
５．２．１ フローチャート
図３３は、第５の実施形態に係る階調画像データ更新動作の一例を示すフローチャートである。なお、本説明では、ホスト１５０が階調画像データ更新動作を実行する場合について例を挙げる。
図３３に示すように、ホスト１５０は、固体撮像装置２００から階調画像データを入力すると（ステップＳ３０１）、入力した階調画像データを所定のメモリ内に格納する（ステップＳ３０２）。
次に、ホスト１５０は、所定時間内に固体撮像装置２００からイベント検出データが入力されたか否かを判定し（ステップＳ３０３）、入力されていない場合（ステップＳ３０３のＮＯ）、ステップＳ３０８へ進む。
一方、イベント検出データが入力された場合（ステップＳ３０３のＹＥＳ）、ホスト１５０は、入力したイベント検出データを所定のメモリに蓄積する（ステップＳ３０４）。
つづいて、ホスト１５０は、入力したイベント検出データがオンイベントを示しているかオフイベントを示しているかを判定し（ステップＳ３０５）、オンイベントを示している場合（ステップＳ３０５のＹＥＳ）、イベント検出データに含まれるＸアドレス及びＹアドレスから特定される画素の階調値（画素値ともいう）に所定の値を加算することで、当該画素の階調値を増加させ（ステップＳ３０６）、ステップＳ３０８へ進む。
また、入力したイベント検出データが示すアドレスイベントがオンイベントでない、すなわち、オフイベントである場合（ステップＳ３０５のＮＯ）、ホスト１５０は、イベント検出データに含まれるＸアドレス及びＹアドレスから特定される画素の階調値（画素値ともいう）から所定の値を減算することで、当該画素の階調値を減少させ（ステップＳ３０７）、ステップＳ３０８へ進む。
ステップＳ３０８では、先の階調画像データの入力から所定時間が経過したか否かを判定し、所定時間が経過していない場合（ステップＳ３０８のＮＯ）、ホスト１５０は、ステップＳ３０３へリターンして、以降の動作を実行する。一方、所定時間が経過している場合（ステップＳ３０８のＹＥＳ）、ホスト１５０は、本動作を終了するか否かを判定し（ステップＳ３０９）、終了する場合（ステップＳ３０９のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ３０９のＮＯ）、ホスト１５０は、ステップＳ３０１へリターンし、次の階調画像データを入力して、以降の動作を実行する。なお、所定時間は、固体撮像装置２００における階調画像データの取得周期、すなわち、フレームレートであってもよい。
５．２．２ タイミングチャート
図３４は、第５の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。なお、図３４には、ある列における画素ブロック３１０の動作例が示されている。また、図３５は、図３４における２行目の画素ブロックに着目した階調値の更新を説明するためのタイミングチャートである。
まず、図３４に示すように、本実施形態では、所定の周期Ｔ１で入力されるフレーム同期信号ＸＶＳに同期して、１行目の画素ブロック３１０から順に、階調画素３２０に対するリセット動作と画素信号読出し動作とが実行される。
一方で、上記した階調画素３２０に対する周期的なリセット動作及び読出し動作とは別に、非同期で、イベント画素３３０を用いたアドレスイベントの発火の有無が検出されている。
ここで、図３４における２行目の画素ブロック３１０に着目すると、図３５に示すように、例えば、タイミングｔ１で階調画素３２０から読み出された画素信号による階調値は、次のタイミングｔ２で階調画素３２０から画素信号が読み出されるまでの間、すなわち、タイミングｔ１〜ｔ２までの期間中、イベント画素３３０でアドレスイベントが検出される度に、検出されたアドレスイベントがオンイベントであるかオフイベントであるかに応じて、所定の値で増減される。
また、次のタイミングｔ２〜ｔ３までの期間でも同様に、タイミングｔ２で階調画素３２０から読み出された画素信号による階調値は、タイミングｔ２〜ｔ３までの期間中、イベント画素３３０でアドレスイベントが検出される度に、検出されたアドレスイベントがオンイベントであるかオフイベントであるかに応じて、所定の値で増減される。
５．３ 作用・効果
一般的に、イベント検出に要する時間は、画素信号の読出し動作のような蓄積期間や転送期間が不要であるため、画素信号の読出しに要する時間と比較して、時間分解能が高い。そのため、本実施形態のように、画素信号読出し動作で取得した階調画像データにおける各画素の階調値を、イベント検出動作で検出したオンイベント及びオフイベントに基づいて増減することで、固体撮像装置２００から読み出される階調画像データの時間分解能を高めること、言い換えれば、フレームレートを高めることが可能となる。
また、周期的に取得された階調画像データと、非同期に取得されたイベント検出データとを時系列に沿って蓄積しておくことで、事後的に、フレーム間の階調画像を生成することも可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
６．第６の実施形態
上述した第５の実施形態では、アドレスイベントの発火とは無関係に、周期的に全て又は一部の画素ブロック３１０から画素信号を読み出し、これにより読み出された階調画像データをイベント検出データで更新する場合を例示した。ただし、ある期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、その階調画素３２０から読み出される画素信号による階調値に変化が発生していない可能性が高い。
そこで、第６の実施形態では、画素ブロック３１０からの周期的な画素信号の読出しにおいて、直前の期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、階調画素３２０からの画素信号の読出しを行なわない場合について、例を挙げて説明する。
本実施形態に係る撮像装置及び固体撮像装置の構成は、第５の実施形態と同様に、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。ただし、本実施形態では、図２９に例示したイベント処理部６２０が、後述するイベント処理部７２０に置き換えられる。なお、以下の説明では、第４の実施形態をベースとした場合を例示するが、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
６．１ イベント処理部の概略構成例
図３６は、第６の実施形態に係るイベント処理部の概略構成例を示すブロック図である。図３６に示すように、イベント処理部７２０は、図２９に例示したイベント処理部６２０と同様の構成に加え、アドレス記憶部７２１をさらに備える。
本実施形態において、アドレス特定部６２１は、入力されたリクエストＲｅｑＹに基づいて、当該リクエストＲｅｑＹの送信元である画素ブロック３１０のＸアドレス及びＹアドレスを特定し、特定したＸアドレス及びＹアドレスに対応するドライバ６２３に、応答ＡｃｋＹを出力する。
応答ＡｃｋＹが入力されたドライバ６２３は、入力された応答ＡｃｋＹを、Ｘアドレス及びＹアドレスで特定される画素ブロック３１０へ入力する。
また、アドレス記憶部７２１は、アドレス特定部６２１で特定されたＸアドレス及びＹアドレス（アドレス情報）を一時保持する。その後、アドレス記憶部７２１は、フレーム同期信号ＸＶＳに同期して、保持しているＸアドレス及びＹアドレスを、階調画素制御部６１０のアドレス生成部６１１へ入力する。
階調画素制御部６１０のアドレス生成部６１１は、アドレス記憶部７２１から入力されたＸアドレス及びＹアドレスを、クロックＣＬＳに同期して、ドライバ６１２に入力する。そして、ドライバ６１２は、アドレス生成部６１１から入力されたＸアドレス及びＹアドレスで特定される画素ブロック３１０に対して、リセット信号ＲＳＴ、転送信号ＴＲＧ及び選択信号ＳＥＬを適宜入力することで、当該画素ブロック３１０を駆動する。
６．２ 階調画像データ更新動作例
図３７は、第６の実施形態に係る固体撮像装置の動作例を示すタイミングチャートである。なお、図３７には、図３４と同様に、ある列における画素ブロック３１０の動作例が示されている。
図３７に示すように、本実施形態では、直前の周期Ｔ１の期間でアドレスイベントの発火が検出されなかった画素ブロック３１０については、次の周期Ｔ１の期間では、階調画素３２０のリセット動作と画素信号の読出し動作とが実行されない。
これを、１行目の画素ブロック３１０と２行目の画素ブロック３１０とに着目して説明すると、タイミングｔ１０〜ｔ１１の期間では、１行目の画素ブロック３１０のイベント画素３３０においてアドレスイベントの発火が検出されていない。この場合、アドレス記憶部７２１に１行目の画素ブロック３１０のＸアドレス及びＹアドレスが保持されていないため、次の周期（タイミングｔ１２〜ｔ１３）では、１行目の画素ブロック３１０の階調画素３２０に対するリセット動作及び読出し動作が実行されていない。
一方で、２行目の画素ブロック３１０については、タイミングｔ１０〜ｔ１１の期間中に１回以上のアドレスイベントの発火が検出されているため、次の周期（タイミングｔ１２〜ｔ１３）において、２行目の画素ブロック３１０の階調画素３２０に対するリセット動作及び読出し動作が実行されている。
６．３ 作用・効果
以上のように、本実施形態によれば、直前の期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０については、その階調画素３２０からの画素信号の読出しが省略される。これにより、周期的な画素信号の読出し動作を簡略化することが可能となるため、固体撮像装置６００の動作速度の向上と消費電力の低減を図ることが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
７．第７の実施形態
上述した実施形態では、フレーム間に検出されたアドレスイベントに基づいて、階調画像データにおける各画素の階調値を更新する場合を例示した。これに対し、第７の実施形態では、アドレスイベントの発火が検出された画素ブロック３１０の階調画素３２０から非同期で画素信号を読み出し、この読み出した画素値で、周期的に読み出された階調画像データを更新する場合について、例を挙げて説明する。
本実施形態に係る撮像装置及び固体撮像装置の構成は、第５の実施形態と同様に、例えば、上述の実施形態において例示した撮像装置１００及び固体撮像装置２００、２００Ａ又は６００と同様であってよい。ただし、本実施形態では、図４に例示した画素ブロック３１０が、後述する画素ブロック８１０に置き換えられる。なお、以下の説明では、第４の実施形態をベースとした場合を例示するが、ベースとする実施形態は、第４の実施形態に限られず、他の実施形態とすることも可能である。
７．１ 画素ブロックの構成例
図３８は、第７の実施形態に係る画素ブロックの概略構成例を示すブロック図である。図３８に示すように、画素ブロック８１０は、例えば、図４に例示した画素ブロック３１０と同様の構成において、階調画素３２０がメモリ８０１をさらに備えている。
メモリ８０１は、光電変換素子３２１に発生した電荷を一時保持する電荷蓄積部であり、例えば、光電変換素子３２１と同一の半導体基板に形成された容量素子などを用いて構成され得る。
入射光量に応じて光電変換素子３２１に発生した電荷は、一時、メモリ８０１へ転送されて保持される。その後、階調画素３２０に対する読出し動作により、メモリ８０１に保持されていた電荷が浮遊拡散層３２３へ転送され、その後、通常の読み出し動作と同様の動作が実行される。
７．２ 画素信号読出し動作例
図３９は、第７の実施形態に係る画素信号読出し動作の一例を示すタイミングチャートである。なお、図３９には、ある列における画素ブロック８１０の動作例が示されている。
図３９に示すように、本実施形態では、フレーム同期信号ＸＶＳに同期して、各画素ブロック８１０の階調画素３２０における光電変換素子３２１からメモリ８０１へ電荷が転送される。その後、例えば、１行目の画素ブロック８１０から最終行の画素ブロック８１０へかけて順番に、画素信号の読出し動作が実行される。
なお、イベント検出動作は、上述した実施形態と同様であってよい。
７．３ 作用・効果
以上のように、階調画素３２０の光電変換素子３２１で発生した電荷を一旦、メモリ８０１に保持する構成とすることで、全ての画素ブロック８１０のシャッタ動作（リセット動作に相当）を同時に実行する、いわゆるグローバルシャッタ動作を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
７．４ 変形例
なお、本実施形態に係るメモリ８０１を用いた画素信号の読出し動作に対し、第６の実施形態において例示した、ある期間中にアドレスイベントの発火が検出されなかった画素ブロック３１０（８１０）についてはその階調画素３２０に対する画素信号の読出しを省略する構成を組み合わせることも可能である。
その場合、図４０に例示するように、直前の周期Ｔ１の期間でアドレスイベントの発火が検出されなかった画素ブロック８１０については、次の周期Ｔ１の期間では、階調画素３２０のリセット動作と画素信号の読出し動作とが実行されない。それにより、周期的な画素信号の読出し動作を簡略化することが可能となるため、固体撮像装置６００の動作速度の向上と消費電力の低減を図ることが可能となる。
８．第８の実施形態
第８の実施形態においては、上述した実施形態に係る画素ブロックの変形例について、幾つか例を挙げて説明する。なお、以下の説明では、第１の実施形態において図４及び図５を用いて説明した画素ブロックをベースとするが、ベースとする画素ブロックはこれに限定されず、他の実施形態に係る画素ブロックであってもよい。
近年のプロセス技術の進歩により、階調画素３２０の微細化が進んでいる。そのため、上述した実施形態のように、階調画素３２０とイベント画素３３０とを組み合わせる場合には、階調画素３２０と、イベント画素３３０からアドレスイベントの発火の有無を検出するためのアドレスイベント検出回路４００とのピッチ（サイズであってもよい）の差が大きくなる。
ここで、上述した実施形態では、例えば、図５に例示した積層チップにおいて、１つのアドレスイベント検出回路４００の領域と同サイズの受光チップ２０１上の領域には、このアドレスイベント検出回路４００と同じ画素ブロック３１０に属する階調画素３２０とイベント画素３３０とが配置され得る。
そこで、階調画素３２０とアドレスイベント検出回路４００とのサイズ差から生じる受光チップ２０１上の余剰領域に、階調画素３２０を追加することが考えられる。その場合、１つの画素ブロック３１０に複数の階調画素３２０が属することとなる。
ただし、１つのイベント画素３３０に対して複数の階調画素３２０を対応させた場合、アドレスイベントの発火に対する感度が低下してしまう可能性がある。
例えば、ストラクチャードライト（Structured Light）を用いた測距方式（以下、ストラクチャードライト方式という）では、イベント画素３３０を微細にしてドットの重心を得るようにすることで、各ドットの位置精度を上げる必要がある。
一方で、ストラクチャードライト方式では、照射するストラクチャードライトのドットに時間方向のオン／オフのコードを含める、すなわち、各ドットを異なるパターンで点滅させることで、イベント画素３３０におけるアドレスイベントの発生パターンからストラクチャードライトにおけるいずれのドットであるかを特定することが可能となり、測距における信号処理を大幅に簡略化することが可能となる。
そこで本実施形態では、１つの画素ブロック内で、複数のイベント画素３３０を点在させて配置し、それらの電流和を１つのアドレスイベント検出回路４００で受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することを可能にする画素ブロックの構成について、例を挙げて説明する。
図４１は、第８の実施形態に係る画素ブロックの概略構成例を示す模式図である。なお、図４１において、受光チップ２０１における白抜きのマスは、階調画素３２０を示し、ハッチングされているマスはイベント画素３３０を示している。
図４１に示すように、本実施形態に係る画素ブロック９１０は、１つのアドレスイベント検出回路４００と、４つのイベント画素３３０と、３２つの階調画素３２０とを含んで構成されている。
イベント画素３３０と階調画素３２０との計３６つの画素は、６×６の行列状に配列されている。例えば、イベント画素３３０のサイズと階調画素３２０のサイズとを同じとし、そのサイズを一辺が１．５μｍ（マイクロメートル）の正方形であるとすると、６×６の行列状の画素配列９１１は、６μｍ四方の矩形の領域となる。その場合、検出チップ２０２におけるアドレスイベント検出回路４００のサイズを、６μｍ四方の矩形領域とするとよい。
また、各画素ブロック９１０における画素配列９１１において、イベント画素３３０は、等間隔（例えば、縦方向及び横方向に２つ置き）に点在している。このように、イベント画素３３０を等間隔に点在させることで、ストラクチャードライトのドットの重心を精度良く求めることが可能となる。
同じ画素ブロック９１０の４つのイベント画素３３０は、同じアドレスイベント検出回路４００に接続されている。このように、アドレスイベント検出回路４００が複数（本例では４つ）のイベント画素３３０からの電流和を受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく求めることが可能になる。
以上のように、本実施形態によれば、１つの画素ブロック９１０内で、複数のイベント画素３３０を点在させて配置し、それらの電流和を１つのアドレスイベント検出回路４００で受けることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することが可能になる。
８．１ 変形例
なお、第８の実施形態では、１つの画素ブロック９１０に複数のイベント画素３３０を点在させることで、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく求める場合について例示したが、このような構成に限定されない。
例えば、１つの画素ブロック１０１０に含めるイベント画素３３０の受光領域のサイズを大きくしてもよい。例えば、図４２に示す第８の実施形態の変形例のように、１つのイベント画素３３０の受光領域のサイズを、２×２個分の階調画素３２０の受光領域と同じサイズにしてもよい。その場合、イベント画素３３０は、６×６の画素配列１０１１における２×２の画素領域を利用して配置されることとなる。
このような構成でも、イベント画素３３０の受光領域を拡大してアドレスイベントの発火に対する感度を向上させることが可能となるため、アドレスイベントの発火に対する感度を落とさずに、ストラクチャードライトのドットの重心を精度よく取得することが可能になる。
また、図４１に示した画素配列９１１において、各イベント画素３３０の受光領域のサイズを、図４２に例示するように、大きくしてもよい。
９．移動体への応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図４３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図４４は、撮像部１２０３１の設置位置の例を示す図である。
図４４では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図４４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１の消費電力を削減することができるため、車両制御システム全体の消費電力を低減することができる。
なお、上述の実施形態は本技術を具現化するための一例を示したものであり、実施形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施形態に限定されるものではなく、その要旨を逸脱しない範囲において実施形態に種々の変形を施すことにより具現化することができる。
また、上述の実施形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
行列状に配列する複数の画素ブロックを備える画素アレイ部と、
前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
を備え、
前記画素ブロックそれぞれは、
入射光量に応じた電荷を発生させる第１光電変換素子と、
前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
入射光量に応じた電荷を発生させる第２光電変換素子と、
前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
を備える固体撮像装置。
（２）
前記駆動回路は、前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックそれぞれに画素信号を生成させる前記（１）に記載の固体撮像装置。
（３）
前記複数の第２画素ブロックそれぞれが生成した前記画素信号を並列に読み出す変換部をさらに備える前記（２）に記載の固体撮像装置。
（４）
前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記行それぞれに対する読出し順序を決定する調停部をさらに備える前記（２）又は（３）に記載の固体撮像装置。
（５）
前記調停部は、前記駆動回路を含む前記（４）に記載の固体撮像装置。
（６）
前記第１画素ブロックは、当該第１画素ブロックが属する前記行に対する読出し順序の調停を依頼するリクエストを前記調停部へ出力し、
前記調停部は、各行に対して一対一に設けられ、それぞれ対応する行から入力された前記リクエストを一時保持する複数のラッチ回路を含み、
前記ラッチ回路それぞれは、外部から入力されたクロックに同期して、保持している前記リクエストを前記決定部に入力し、
前記調停部は、前記ラッチ回路を介して入力された前記リクエストに基づいて前記読出し順序を決定する
前記（４）又は（５）に記載の固体撮像装置。
（７）
前記駆動回路は、前記複数の画素ブロックのうちの少なくとも１つの第３画素ブロックに所定の周期で前記画素信号を生成させる前記（１）〜（６）の何れか１項に記載の固体撮像装置。
（８）
前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックを前記第３画素ブロックとして、前記所定の周期で前記画素信号を生成させる
前記（７）に記載の固体撮像装置。
（９）
前記所定の周期で規定される期間内に前記第３画素ブロックで検出されたアドレスイベントの数に基づいて、当該第３画素ブロックから前記所定の周期で読み出された画素信号が示す階調値を増減する信号処理部をさらに備える前記（７）又は（８）に記載の固体撮像装置。
（１０）
前記画素ブロックそれぞれは、前記第２光電変換素子に発生した電荷を一時保持するメモリをさらに備え、
前記駆動回路は、前記第１画素ブロックが前記アドレスイベントの発火を検出した際、前記第１画素ブロックに対し、当該第１画素ブロックの前記メモリに保持されている前記電荷に基づいて画素信号を生成させる
前記（１）に記載の固体撮像装置。
（１１）
前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックに、所定の周期で画素信号を生成させる
前記（１０）に記載の固体撮像装置。
（１２）
前記画素ブロックそれぞれは、複数の前記第１光電変換素子を含み、
前記複数の第１光電変換素子は、前記検出部に接続されている
前記（１）〜（１１）の何れか１項に記載の固体撮像装置。
（１３）
前記画素ブロックそれぞれは、複数の前記第２光電変換素子をさらに含み、
前記複数の第１光電変換素子と前記複数の第２光電変換素子とは、行列状の配列を成し、
前記複数の第１光電変換素子は、前記行列状の配列において等間隔に点在している
前記（１２）に記載の固体撮像装置。
（１４）
前記第１光電変換素子の受光領域のサイズは、前記第２光電変換素子の受光領域のサイズよりも大きい前記（１）〜（１３）の何れか１項に記載の固体撮像装置。
（１５）
固体撮像装置と、
入射光を前記固体撮像装置の受光面に結像する光学系と、
前記固体撮像装置で取得された画像データを記憶する記録部と、
を備え、
前記固体撮像装置は、
行列状に配列する複数の画素ブロックを備える画素アレイ部と、
前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
を備え、
前記画素ブロックそれぞれは、
入射光量に応じた電荷を発生させる第１光電変換素子と、
前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
入射光量に応じた電荷を発生させる第２光電変換素子と、
前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
を備える撮像装置。
１００ 撮像装置
１１０ 光学系
１２０ 記録部
１３０ 制御部
１４０ 外部Ｉ／Ｆ
１５０ ホスト
２００、２００Ａ、６００ 固体撮像装置
２０１ 受光チップ
２０２ 検出チップ
２１１ 駆動回路
２１２ 信号処理部
２１３、６０１ Ｙアービタ
２２０ カラムＡＤＣ
２３０、５３０ ＡＤ変換部
２３３ 比較器
２３４ カウンタ
２４０、５４０ 制御回路
２４１ ＯＲゲート
２４２ レベルシフタ
２４３ ＡＮＤゲート
２５０ イベントエンコーダ
３００ 画素アレイ部
３０６、３０７ 検出信号線
３０８ 垂直信号線
３０９ イネーブル信号線
３１０、３１０Ａ、８１０、９１０、１０１０ 画素ブロック
３２０ 階調画素
３２１、３３１、３４１ 光電変換素子
３２２ 転送トランジスタ
３２３ 浮遊拡散層
３２４ リセットトランジスタ
３２５ 増幅トランジスタ
３２６ 選択トランジスタ
３３０ イベント画素
３３２ ＯＦＧトランジスタ
４００ アドレスイベント検出回路
４００Ａ アドレスイベント検出部
４１０、４１０Ａ 電流電圧変換部
４１１、４１４ ＬＧトランジスタ
４１２ 負荷ＭＯＳトランジスタ
４１３、４１５ 増幅トランジスタ
４２０ バッファ
４３０ 減算器
４３１、４３３ コンデンサ
４３２ インバータ
４３４ スイッチ
４４０ 量子化器
４４１、４４２ コンパレータ
４５０ 転送部
４５１、４５３ ＡＮＤゲート
４５２ ＯＲゲート
４５４、４５５ フリップフロップ
５３１ マルチプレクサ
５４５ 切替制御部
５４４ デマルチプレクサ
６１０ 階調画素制御部
６１１ アドレス生成部
６１２ ドライバ
６２０、７２０ イベント処理部
６２１ アドレス特定部
６２２ ラッチ回路
６２３ ドライバ
７２１ アドレス記憶部
８０１ メモリ
９１１、１０１１ 画素配列

Claims (15)

  1. 行列状に配列する複数の画素ブロックを備える画素アレイ部と、
    前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
    を備え、
    前記画素ブロックそれぞれは、
    入射光量に応じた電荷を発生させる第１光電変換素子と、
    前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
    入射光量に応じた電荷を発生させる第２光電変換素子と、
    前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
    を備える固体撮像装置。
  2. 前記駆動回路は、前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックそれぞれに画素信号を生成させる請求項１に記載の固体撮像装置。
  3. 前記複数の第２画素ブロックそれぞれが生成した前記画素信号を並列に読み出す変換部をさらに備える請求項２に記載の固体撮像装置。
  4. 前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記行それぞれに対する読出し順序を決定する調停部をさらに備える請求項２に記載の固体撮像装置。
  5. 前記調停部は、前記駆動回路を含む請求項４に記載の固体撮像装置。
  6. 前記第１画素ブロックは、当該第１画素ブロックが属する前記行に対する読出し順序の調停を依頼するリクエストを前記調停部へ出力し、
    前記調停部は、各行に対して一対一に設けられ、それぞれ対応する行から入力された前記リクエストを一時保持する複数のラッチ回路を含み、
    前記ラッチ回路それぞれは、外部から入力されたクロックに同期して、保持している前記リクエストを前記決定部に入力し、
    前記調停部は、前記ラッチ回路を介して入力された前記リクエストに基づいて前記読出し順序を決定する
    請求項４に記載の固体撮像装置。
  7. 前記駆動回路は、前記複数の画素ブロックのうちの少なくとも１つの第３画素ブロックに所定の周期で前記画素信号を生成させる請求項１に記載の固体撮像装置。
  8. 前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
    前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
    前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックを前記第３画素ブロックとして、前記所定の周期で前記画素信号を生成させる
    請求項７に記載の固体撮像装置。
  9. 前記所定の周期で規定される期間内に前記第３画素ブロックで検出されたアドレスイベントの数に基づいて、当該第３画素ブロックから前記所定の周期で読み出された画素信号が示す階調値を増減する信号処理部をさらに備える請求項７に記載の固体撮像装置。
  10. 前記画素ブロックそれぞれは、前記第２光電変換素子に発生した電荷を一時保持するメモリをさらに備え、
    前記駆動回路は、前記第１画素ブロックが前記アドレスイベントの発火を検出した際、前記第１画素ブロックに対し、当該第１画素ブロックの前記メモリに保持されている前記電荷に基づいて画素信号を生成させる
    請求項１に記載の固体撮像装置。
  11. 前記第１画素ブロックが複数存在し、且つ、当該複数の第１画素ブロックのうちの少なくとも１つが異なる行に属している場合、前記第１画素ブロックが１つ以上属する前記複数の行それぞれに対する読出し順序を決定する調停部をさらに備え、
    前記調停部は、所定の期間内に前記アドレスイベントを検出した前記第１画素ブロックの前記画素アレイ部における位置を特定するアドレス情報を記憶するアドレス記憶部を含み、
    前記駆動回路は、前記アドレス記憶部に記憶されている前記アドレス情報で特定される前記第１画素ブロックが属する行に含まれる複数の第２画素ブロックに、所定の周期で画素信号を生成させる
    請求項１０に記載の固体撮像装置。
  12. 前記画素ブロックそれぞれは、複数の前記第１光電変換素子を含み、
    前記複数の第１光電変換素子は、前記検出部に接続されている
    請求項１に記載の固体撮像装置。
  13. 前記画素ブロックそれぞれは、複数の前記第２光電変換素子をさらに含み、
    前記複数の第１光電変換素子と前記複数の第２光電変換素子とは、行列状の配列を成し、
    前記複数の第１光電変換素子は、前記行列状の配列において等間隔に点在している
    請求項１２に記載の固体撮像装置。
  14. 前記第１光電変換素子の受光領域のサイズは、前記第２光電変換素子の受光領域のサイズよりも大きい請求項１に記載の固体撮像装置。
  15. 固体撮像装置と、
    入射光を前記固体撮像装置の受光面に結像する光学系と、
    前記固体撮像装置で取得された画像データを記憶する記録部と、
    を備え、
    前記固体撮像装置は、
    行列状に配列する複数の画素ブロックを備える画素アレイ部と、
    前記複数の画素ブロックのうち、アドレスイベントの発火が検出された第１画素ブロックに画素信号を生成させる駆動回路と、
    を備え、
    前記画素ブロックそれぞれは、
    入射光量に応じた電荷を発生させる第１光電変換素子と、
    前記第１光電変換素子に発生した電荷に基づいて前記アドレスイベントの発火を検出する検出部と、
    入射光量に応じた電荷を発生させる第２光電変換素子と、
    前記第２光電変換素子に発生した電荷に基づく画素信号を生成する画素回路と、
    を備える撮像装置。
JP2019086853A 2019-01-31 2019-04-26 固体撮像装置及び撮像装置 Active JP7398880B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/424,684 US11558565B2 (en) 2019-01-31 2020-01-23 Solid-state imaging apparatus and imaging apparatus
EP20748100.3A EP3920211A4 (en) 2019-01-31 2020-01-23 SOLID STATE IMAGING DEVICE AND IMAGING DEVICE
PCT/JP2020/002412 WO2020158583A1 (ja) 2019-01-31 2020-01-23 固体撮像装置及び撮像装置
US18/153,488 US11910108B2 (en) 2019-01-31 2023-01-12 Solid-state imaging apparatus and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019016465 2019-01-31
JP2019016465 2019-01-31

Publications (2)

Publication Number Publication Date
JP2020127186A true JP2020127186A (ja) 2020-08-20
JP7398880B2 JP7398880B2 (ja) 2023-12-15

Family

ID=72084343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019086853A Active JP7398880B2 (ja) 2019-01-31 2019-04-26 固体撮像装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP7398880B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091826A1 (ja) * 2020-10-30 2022-05-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2022172733A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ
WO2022207466A1 (en) * 2021-03-30 2022-10-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
WO2024042946A1 (ja) * 2022-08-23 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017104438A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017535999A (ja) * 2014-09-30 2017-11-30 クアルコム，インコーポレイテッド フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ
WO2017104438A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091826A1 (ja) * 2020-10-30 2022-05-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2022172733A1 (ja) * 2021-02-12 2022-08-18 ソニーグループ株式会社 医療用観察装置、観察装置、観察方法及びアダプタ
WO2022207466A1 (en) * 2021-03-30 2022-10-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
WO2024042946A1 (ja) * 2022-08-23 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Also Published As

Publication number Publication date
JP7398880B2 (ja) 2023-12-15

Similar Documents

Publication Publication Date Title
JP7284714B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020158583A1 (ja) 固体撮像装置及び撮像装置
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN112913224B (zh) 固态成像元件和成像装置
JP7398880B2 (ja) 固体撮像装置及び撮像装置
JP7307725B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020072317A (ja) センサ及び制御方法
WO2020105313A1 (ja) 固体撮像素子、および、撮像装置
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020218236A1 (ja) イベント検出装置、イベント検出装置を備えるシステムおよびイベント検出方法
JP2020088722A (ja) 固体撮像素子、および、撮像装置
WO2020129657A1 (ja) センサ及び制御方法
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
TWI838375B (zh) 固體攝像元件、攝像裝置及固體攝像元件之控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231205

R150 Certificate of patent or registration of utility model

Ref document number: 7398880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150