JP2020057949A - 固体撮像装置及び撮像装置 - Google Patents

固体撮像装置及び撮像装置 Download PDF

Info

Publication number
JP2020057949A
JP2020057949A JP2018187784A JP2018187784A JP2020057949A JP 2020057949 A JP2020057949 A JP 2020057949A JP 2018187784 A JP2018187784 A JP 2018187784A JP 2018187784 A JP2018187784 A JP 2018187784A JP 2020057949 A JP2020057949 A JP 2020057949A
Authority
JP
Japan
Prior art keywords
light receiving
unit
receiving units
imaging device
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018187784A
Other languages
English (en)
Other versions
JP7176917B2 (ja
Inventor
航也 土本
Koya Tsuchimoto
航也 土本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018187784A priority Critical patent/JP7176917B2/ja
Priority to TW108124997A priority patent/TWI825123B/zh
Priority to KR1020217007347A priority patent/KR102712197B1/ko
Priority to US17/276,426 priority patent/US11451751B2/en
Priority to PCT/JP2019/035649 priority patent/WO2020071068A1/en
Priority to CN201980062026.XA priority patent/CN112740653A/zh
Publication of JP2020057949A publication Critical patent/JP2020057949A/ja
Application granted granted Critical
Publication of JP7176917B2 publication Critical patent/JP7176917B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】カラー画像を取得する。【解決手段】実施形態に係る固体撮像装置は、各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路とを備える。【選択図】図11

Description

本開示は、固体撮像装置及び撮像装置に関する。
従来より、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像装置が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像装置では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像装置が提案されている。画素毎にアドレスイベントを検出する非同期型の固体撮像装置は、DVS(Dynamic Vision Sensor)とも称される。
特表2016−533140号公報
しかしながら、従来のDVSは、各画素から非同期で画素信号を読み出すという構成上の特徴から、カラーフィルタなどの波長選択素子が搭載されていなかった。そのため、DVSでカラー画像を取得することができないという課題が存在した。
そこで本開示では、カラー画像を取得することが可能な固体撮像装置及び撮像装置を提案する。
上記の課題を解決するために、本開示に係る一形態の固体撮像装置は、各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路とを備える。
第1の実施形態に係る固体撮像装置及び撮像装置の概略構成例を示すブロック図である。 第1の実施形態に係る固体撮像装置の積層構造例を示す図である。 第1の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。 第1の実施形態に係る画素アレイ部の概略構成例を示すブロック図である。 第1の実施形態に係る画素ブロックのベイヤー配列を採用した場合の構成例を示す模式図である。 第1の実施形態に係る画素ブロックのX−Trans(登録商標)型配列を採用した場合の構成例を示す模式図である。 第1の実施形態に係る画素ブロックのクアッドベイヤー配列を採用した場合の構成例を示す模式図である。 第1の実施形態に係る画素ブロックの単位画素がカラーフィルタを備えない場合の構成例を示す模式図である。 第1の実施形態に係るアドレスイベントを検出する構成の一例を示す模式図である。 第1の実施形態に係るアドレスイベントを検出する構成の一例を示す他の模式図である。 第1の実施形態に係る画素ブロックの概略構成例を示す回路図である。 第1の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。 第1の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。 第1の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第1の実施形態に係るカラムADCの概略構成例を示すブロック図である。 第1の実施形態に係る固体撮像装置の動作の一例を示すタイミングチャートである。 第1の実施形態に係る固体撮像装置の動作の一例を示すフローチャートである。 第2の実施形態に係るアドレスイベントを検出する構成の一例を示す模式図である。 第2の実施形態に係るアドレスイベントを検出する構成の一例を示す他の模式図である。 第2の実施形態に係る画素ブロックの概略構成例を示す回路図である。 第3の実施形態に係る画素ブロックの例を示す模式図である。 第4の実施形態に係る画素ブロックの例を示す模式図である。 第5の実施形態に係る画素ブロックの例を示す模式図である。 第5の実施形態の変形例1に係る画素ブロックの例を示す模式図である。 第5の実施形態の変形例2に係る画素ブロックの例を示す模式図である。 第6の実施形態に係る画素ブロックの例を示す模式図である。 第6の実施形態の変形例1に係る画素ブロックの例を示す模式図である。 第6の実施形態の変形例2に係る画素ブロックの例を示す模式図である。 第6の実施形態に係る画素ブロックの例を示す模式図である。
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
1.はじめに
2.第1の実施形態
2.1 撮像装置の構成例
2.2 固体撮像装置の構成例
2.2.1 固体撮像装置の積層構成例
2.2.2 固体撮像装置の機能構成例
2.3 画素アレイ部の構成例
2.4 画素ブロックの例
2.4.1 ベイヤー配列
2.4.2 X−Trans(登録商標)型配列
2.4.3 クアッドベイヤー配列
2.4.4 その他
2.5 アドレスイベントの発火検出
2.6 画素ブロックの構成例
2.7 アドレスイベント検出部の構成例
2.8 電流電圧変換部の構成例
2.9 減算器及び量子化器の構成例
2.10 カラムADCの構成例
2.11 固体撮像装置の動作例
2.11.1 タイミングチャート
2.11.2 フローチャート
2.12 作用・効果
3.第2の実施形態
3.1 アドレスイベントの発火検出
3.2 画素ブロックの構成例
3.3 固体撮像装置の動作例
3.4 作用・効果
4.第3の実施形態
4.1 画素ブロックの例
4.2 作用・効果
5.第4の実施形態
5.1 画素ブロックの例
5.2 作用・効果
6.第5の実施形態
6.1 画素ブロックの例
6.2 変形例1
6.3 変形例2
6.4 作用・効果
7.第6の実施形態
7.1 画素ブロックの例
7.2 変形例1
7.3 変形例2
7.4 作用・効果
8.第7の実施形態
8.1 作用・効果
1.はじめに
一般的なDVS(Dynamic Vision Sensor)には、単位画素ごとにアドレスイベントの発火の有無を検出し、アドレスイベントの発火が検出された場合、このアドレスイベントが発火した単位画素から画素信号を読み出すという、いわゆるイベントドリブン型の駆動方式が採用されている。
なお、本説明における単位画素とは、1つの光電変換素子(受光素子ともいう)を含んで構成された画素の最小単位であり、例えば、イメージセンサから読み出した画像データにおける各ドットに対応するものである。また、アドレスイベントとは、二次元格子状に配列する複数の単位画素それぞれに割り当てられたアドレスごとに発生するイベントであり、例えば、光電変換素子で発生した電荷に基づく光電流の電流値又はその変化量がある一定の閾値を超えたことなどである。
このようなイベントドリブン型のDVSでは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの一般的なイメージセンサと異なり、各単位画素に対する読出しが非同期で実行される。そのため、例えば、カラー画像の取得を目的として単にDVSにカラーフィルタなどの波長選択素子を搭載しただけでは、色彩の再構成に必要となる波長成分、例えば、RGB三原色に基づいて色彩を再構成する場合には、赤(R)色の波長成分と緑(G)色の波長成分と青(B)色の波長成分との画素信号が同期して読み出されることが保証されておらず、それぞれが不定期のタイミングで読み出されることとなる。その結果、色彩の再構成に必要となる波長成分に時間的なずれや空間的なずれが発生し、それにより、正しい色彩を再構成することが困難となる。
なお、時間的なずれとは、例えば、色彩の再構成に必要となる全ての波長成分の画素信号が非同期で読み出されることによって生じるタイミングのずれに起因した時間軸上のずれである。また、空間的なずれとは、例えば、色彩の再構成に必要となる全ての波長成分の画素信号に基づいてホワイトバランス調整用のホワイトレベルを決定することが困難となることに起因した色空間上のずれである。
そこで以下の実施形態では、正しく色彩が再構成されたカラー画像を取得することが可能な固体撮像装置及び撮像装置について、幾つか例を挙げて詳細に説明する。
また、以下の幾つかの実施形態では、色彩の再構成に代えて、又は、色彩の再構成とともに、入射光の偏光情報を再構成することが可能な固体撮像装置及び撮像装置について、例を挙げて詳細に説明する。
2.第1の実施形態
まず、本開示の第1の実施形態に係る固体撮像装置及び撮像装置について、図面を参照して詳細に説明する。
2.1 撮像装置の構成例
図1は、第1の実施形態に係る固体撮像装置及び撮像装置の概略構成例を示すブロック図である。図1に示すように、撮像装置100は、例えば、撮像レンズ110、固体撮像装置200、記録部120及び制御部130を備える。撮像装置100としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
撮像レンズ110は、入射光を集光してその像を固体撮像装置200の受光面に結像する。受光面とは、固体撮像装置200における光電変換素子(受光素子ともいう)が配列する面である。固体撮像装置200は、入射光を光電変換して画像データを生成する。また、固体撮像装置200は、生成した画像データに対し、ノイズ除去やホワイトバランス調整等の所定の信号処理を実行する。この信号処理により得られた結果と、アドレスイベントの発火の有無を示す検出信号とは、信号線209を介して記録部120に出力される。なお、アドレスイベントの発火の有無を示す検出信号の生成方法については後述する。
記録部120は、例えば、フラッシュメモリやDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等で構成され、固体撮像装置200から入力されたデータを記録する。
制御部130は、例えば、CPU(Central Processing Unit)等で構成され、信号線139を介して種々の指示を出力することで、固体撮像装置200など、撮像装置100における各部を制御する。
2.2 固体撮像装置の構成例
つづいて、固体撮像装置200の構成例について、図面を参照して詳細に説明する。
2.2.1 固体撮像装置の積層構成例
図2は、第1の実施形態に係る固体撮像装置の積層構造例を示す図である。図2に示すように、固体撮像装置200は、受光チップ201と検出チップ202とが上下に積層された構造を備える。受光チップ201と検出チップ202との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅(Cu)製の電極パッド同士をボンディングする、いわゆるCu−Cu接合や、その他、バンプ接合などを用いることも可能である。
また、受光チップ201と検出チップ202とは、例えば、半導体基板を貫通するTSV(Through-Silicon Via)などの接続部を介して電気的に接続される。TSVを用いた接続には、例えば、受光チップ201に設けられたTSVと受光チップ201から検出チップ202にかけて設けられたTSVとの2つのTSVをチップ外表で接続する、いわゆるツインTSV方式や、受光チップ201から検出チップ202まで貫通するTSVで両者を接続する、いわゆるシェアードTSV方式などを採用することができる。
ただし、受光チップ201と検出チップ202との接合にCu−Cu接合やバンプ接合を用いた場合には、Cu−Cu接合部やバンプ接合部を介して両者が電気的に接続される。
2.2.2 固体撮像装置の機能構成例
図3は、第1の実施形態に係る固体撮像装置の機能構成例を示すブロック図である。図3に示すように、固体撮像装置200は、駆動回路211、信号処理部212、アービタ213、カラムADC220及び画素アレイ部300を備える。
画素アレイ部300には、複数の単位画素が二次元格子状に配列される。単位画素とは、後述において詳細に説明するが、例えば、フォトダイオードなどの光電変換素子と、この光電変換素子から光電変換で生成された電荷を読み出す回路(以下、画素回路又は画素信号生成部という)とから構成される。ここで、画素回路は、複数の光電変換素子で共有され得る。その場合、各単位画素は、1つの光電変換素子と、共有される画素回路とを含んで構成される。
画素アレイ部300に二次元格子状に配列する複数の単位画素は、それぞれが所定数の単位画素からなる複数の画素ブロックにグループ化される。以下、水平方向に配列する単位画素又は画素ブロックの集合を「行」と称し、行に垂直な方向に配列された単位画素又は画素ブロックの集合を「列」と称する。
各単位画素は、光電変換素子の受光量に応じた電荷を発生させる。各画素ブロックは、当該画素ブロックに属するいずれかの単位画素で発生した電荷による電流(以下、光電流という)の電流値又はその変化量が所定の閾値を超えたか否かに基づき、アドレスイベントの発火の有無を検出する。そして、アドレスイベントが発火した際には、各画素ブロックは、当該画素ブロックに属する各単位画素から光電変換素子の受光量に応じた電圧値の画素信号を読み出すためのリクエストを、アービタ213に出力する。
駆動回路211は、単位画素それぞれを駆動することで、各単位画素からカラムADC220へ画素信号を出力させる。
アービタ213は、それぞれの画素ブロックからのリクエストを調停し、この調停結果に基づいて、リクエストを発行した画素ブロックに所定の応答を送信する。この応答を受け取った画素ブロックは、アドレスイベントの発火の有無を示す検出信号(以下、単にアドレスイベントの検出信号という)を駆動回路211及び信号処理部212に供給する。
カラムADC220は、画素ブロックの列ごとに、その列からのアナログの画素信号をデジタル信号に変換する。そして、カラムADC220は、変換により生成したデジタル信号を信号処理部212に供給する。
信号処理部212は、カラムADC220からのデジタル信号に対し、CDS(Correlated Double Sampling)処理(ノイズ除去)やホワイトバランス調整等の所定の信号処理を実行する。そして、信号処理部212は、信号処理の結果とアドレスイベントの検出信号とを、信号線209を介して記録部120に供給する。
2.3 画素アレイ部の構成例
つづいて、画素アレイ部300の構成例について説明する。図4は、第1の実施形態に係る画素アレイ部の概略構成例を示すブロック図である。図4に示すように、画素アレイ部300における複数の単位画素は、複数の画素ブロック310にグループ化される。画素ブロック310それぞれは、I行×J列(I及びJは正の整数)に配列する複数の単位画素で構成されている。
各画素ブロック310は、画素信号生成部320と、I行×J列の複数の受光部330と、アドレスイベント検出部400とを備える。画素信号生成部320及びアドレスイベント検出部400は、画素ブロック310内の複数の受光部330で共有される。したがって、各単位画素は、1つの受光部330と、共有された画素信号生成部320とを含んで構成される。各単位画素の座標は、固体撮像装置200の受光面において二次元格子状に配列する受光部330の座標に従う。
1つの画素ブロック310の列には、1つの垂直信号線VSLが配線される。したがって、画素ブロック310の列数をm(mは正の整数)とすると、画素アレイ部300には、m本の垂直信号線VSLが配列される。
受光部330は、入射光を光電変換して光電流を発生する光電変換素子である。この受光部330は、駆動回路211の制御に従って、画素信号生成部320及びアドレスイベント検出部400のいずれかに、光電変換により発生した光電流を供給する。
画素信号生成部320は、受光部330から供給された光電流の電荷量に応じた電圧値の信号を画素信号SIGとして生成する。この画素信号生成部320は、生成した画素信号SIGを、垂直信号線VSLを介してカラムADC220に供給する。
アドレスイベント検出部400は、同一画素ブロック310内の受光部330から供給された光電流の電流値又はその変化量が所定の閾値を超えたか否かに基づき、アドレスイベントの発火の有無を検出する。このアドレスイベントには、例えば、変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとが含まれ得る。また、アドレスイベントの検出信号には、例えば、オンイベントの検出結果を示す1ビットと、オフイベントの検出結果を示す1ビットとが含まれ得る。なお、アドレスイベント検出部400は、オンイベント及びオフイベントのうちの何れか一方を検出する構成であってもよい。
アドレスイベントが発火した際、アドレスイベント検出部400は、検出信号の送信を要求するリクエストをアービタ213に供給する。そして、リクエストに対する応答をアービタ213から受け取ると、アドレスイベント検出部400は、検出信号を駆動回路211及び信号処理部212に供給する。
検出信号が供給された駆動回路211は、この検出信号を供給したアドレスイベント検出部400を備える画素ブロック310に属する各単位画素に対する読出しを実行する。この読出しにより、読出し対象とされた画素ブロック310における各単位画素からカラムADC220へ、アナログ値の画素信号SIGが順次入力される。
2.4 画素ブロックの例
図4に示す構成において、画素ブロック310は、例えば、色彩を再構成するために必要となる波長成分を受光する単位画素の組合せで構成される。例えば、RGB三原色に基づいて色彩を再構成する場合では、赤(R)色の光を受光する単位画素と、緑(G)色の光を受光する単位画素と、青(B)色の光を受光する単位画素との組合せで、画素ブロック310が構成される。
そこで本実施形態では、例えば、各単位画素の受光部330に対して設けた波長選択素子(例えば、カラーフィルタ)の配列(以下、カラーフィルタ配列という)に基づいて、画素アレイ部300において二次元格子状に配列する複数の単位画素を複数の画素ブロック310にグループ化する。
カラーフィルタ配列としては、例えば、2×2画素のベイヤー配列や、X−Trans(登録商標)CMOSセンサで採用されている3×3画素のカラーフィルタ配列(以下、X−Trans(登録商標)型配列という)や、4×4画素のクアッドベイヤー配列(クワドラ配列ともいう)など、種々の配列が存在する。
そこで以下に、代表的なカラーフィルタ配列を採用した場合の画素ブロック310について、幾つか例を挙げて説明する。
2.4.1 ベイヤー配列
図5は、カラーフィルタ配列にベイヤー配列を採用した場合の画素ブロックの構成例を示す模式図である。図5に示すように、カラーフィルタ配列としてベイヤー配列を採用した場合、1つの画素ブロック310Aは、ベイヤー配列における繰返しの単位である2×2画素の計4つの単位画素よりなる基本パターン(以下、単位パターンという)で構成される。したがって、本例に係る各画素ブロック310Aには、例えば、赤(R)色のカラーフィルタを備える受光部330Rと、緑(Gr)色のカラーフィルタを備える受光部330Grと、緑(Gb)色のカラーフィルタを備える受光部330Gbと、青(B)色のカラーフィルタを備える受光部330Bとが含まれる。
2.4.2 X−Trans(登録商標)型配列
図6は、カラーフィルタ配列にX−Trans(登録商標)型配列を採用した場合の画素ブロックの構成例を示す模式図である。図6に示すように、本例では、1つの画素ブロック310Bは、X−Trans(登録商標)型配列における繰返しの単位である3×3画素の計9つの単位画素よりなる基本パターン(以下、これも単位パターンという)で構成される。したがって、本例に係る各画素ブロック310Bには、例えば、単位パターンを形成する矩形領域の2つの対角線に沿って配置された緑(G)色のカラーフィルタを備える5つの受光部330Gと、矩形領域の中心に位置する受光部330Gを中心軸として点対称に配置された赤(R)色のカラーフィルタを備える2つの受光部330Rと、同じく、矩形領域の中心に位置する受光部330Gを中心軸として点対称に配置された青(B)色のカラーフィルタを備える2つの受光部330Bとが含まれる。
2.4.3 クアッドベイヤー配列
図7は、カラーフィルタ配列にクアッドベイヤー配列を採用した場合の画素ブロックの構成例を示す模式図である。図7に示すように、カラーフィルタ配列としてベイヤー配列を採用した場合、1つの画素ブロック310Cは、クアッドベイヤー配列における繰返しの単位である4×4画素の計16つの単位画素よりなる基本パターン(以下、これも単位パターンという)で構成される。したがって、本例に係る各画素ブロック310Cには、例えば、赤(R)色のカラーフィルタを備える2×2画素の計4つの受光部330Rと、緑(Gr)色のカラーフィルタを備える2×2画素の計4つの受光部330Grと、緑(Gb)色のカラーフィルタを備える2×2画素の計4つの受光部330Gbと、青(B)色のカラーフィルタを備える2×2画素の計4つの受光部330Bとが含まれる。
2.4.4 その他
図8は、単位画素がカラーフィルタを備えない場合の画素ブロックの構成例を示す模式図である。例えば、RGB三原色それぞれに対する受光部330が光の入射方向に沿って配置(縦積)された構造を備える場合など、固体撮像装置200がカラーフィルタを備えない場合が存在する。そのような場合では、図8に示すように、1つの画素エリア330G/B/Rに、緑(G)色の光を受光する受光部330Gと、青(B)色の光を受光する受光部330Bと、赤(R)色の光を受光する受光部330Rとが設けられた構造となる。そこで、そのような場合、本実施形態では、画素ブロック310Dを、1つの画素エリア330G/B/Rに設けられた3つの受光部330G、330B及び330Rで構成する。
以上のように、受光部330に対してカラーフィルタを設けた場合では、色彩を再構成するために必要となる波長成分を受光する単位画素の組合せとして、カラーフィルタ配列における繰返しの単位パターンを構成する単位画素の集合を用いることができる。また、カラーフィルタを設けない場合では、1つの画素エリア330G/B/Rに設けられた各色成分に対する単位画素の集合を用いることができる。
ただし、これらに限定されず、複数の単位パターンや複数の画素エリア330G/B/Rに設けられた単位画素の集合で1つの画素ブロック310が構成されてもよい。また、単位パターンに制約されず、各画素ブロック310が色彩を再構成するのに必要となる単位画素を含むように、画素アレイ部300における複数の単位画素を複数の画素ブロック310にグループ化することも可能である。
なお、単位画素がカラーフィルタを備えない構造、すなわち、受光部330が光の入射方向に沿って配置(縦積)された構造では、複数の受光部330のうちの1つ以上における光電変換素子333(図11参照)が有機材料を用いて形成されている場合が存在するが、そのような場合、有機材料で形成された光電変換素子333を含む受光部330が、後述する転送トランジスタ331(図11参照)を備えていない構造を有し得る。そこで、そのような場合には、有機材料で形成された光電変換素子333を含む受光部330と、半導体層に形成された光電変換素子333を含む受光部330とを、別々の画素ブロック310にグループ分けすることとしてもよい。
2.5 アドレスイベントの発火検出
以上のような構成において、本実施形態では、アドレスイベントの発火を単位画素ごとに検出し、アドレスイベントの発火が検出された単位画素を含む画素ブロック310に属する全ての単位画素から画素信号SIGを読み出す。なお、以下の説明では、簡略化のため、カラーフィルタ配列としてベイヤー配列を採用し、その単位パターンを構成する2×2画素の計4つの受光部330R、330Gr、330Gb及び330Bで各画素ブロック310(画素ブロック310Aに相当)を構成した場合について例を挙げる。
図9及び図10は、本実施形態に係るアドレスイベントを検出する構成の一例を示す模式図である。図9に示すように、画素ブロック310を構成する複数の受光部330R、330Gr、330Gb及び330Bそれぞれは、受光部330と、カラーフィルタ314R、314Gr、314Gb又は314Bとを備える。また、本実施形態では、複数の受光部330R、330Gr、330Gb及び330Bそれぞれに対して、個別のアドレスイベント検出部400R、400Gr、400Gb又は400Bが設けられる。すなわち、本実施形態では、図4におけるアドレスイベント検出部400が、受光部330R、330Gr、330Gb及び330Bごとに設けられた個別のアドレスイベント検出部400R、400Gr、400Gb及び400Bで構成されている。
図9及び図10に示すように、受光部330R、330Gr、330Gb及び330Bそれぞれから出力される光電流は、それぞれが対応するアドレスイベント検出部400R、400Gr、400Gb又は400Bに入力される。アドレスイベント検出部400R、400Gr、400Gb及び400Bそれぞれは、対応する受光部330R、330Gr、330Gb又は330Bから入力された光電流の電流値又はその変化量が所定の閾値を超えた場合、画素信号SIGの読出しを要求するリクエストを出力する。
アドレスイベント検出部400R、400Gr、400Gb及び400Bの出力は、統合部150で統合される。したがって、アドレスイベント検出部400R、400Gr、400Gb及び400Bのうちの少なくとも1つから出力されたリクエストは、アドレスイベント検出部400R、400Gr、400Gb及び400Bに共通のリクエスト、すなわち、画素ブロック単位のリクエストとして、アービタ213に入力される。このように、本実施形態では、画素ブロック310を構成する受光部330R、330Gr、330Gb及び330Bのうちの少なくとも1つが出力する光電流の電流値又はその変化量が所定の閾値を超えた場合には、当該画素ブロック310に属する4つの単位画素それぞれから画素信号SIGを読み出すためのリクエストが、アービタ213に入力される。
2.6 画素ブロックの構成例
つづいて、画素ブロックの構成例について説明する。図11は、第1の実施形態に係る画素ブロックの概略構成例を示す回路図である。図11に示すように、画素ブロック310において、画素信号生成部320は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323及び浮遊拡散層324を備える。画素ブロック310を構成する複数の受光部330R、330Gr、330Gb及び330Bの出力は、それぞれに対して個別に設けられたアドレスイベント検出部400R、400Gr、400Gb及び400Bに接続されている。
受光部330R、330Gr、330Gb及び330Bそれぞれは、転送トランジスタ331、OFG(OverFlow Gate)トランジスタ332及び光電変換素子333を備える。画素ブロック310内の画素数をN(Nは正の整数)とすると、各画素ブロック310には、転送トランジスタ331、OFGトランジスタ332及び光電変換素子333がそれぞれN個(本例では、N=4)ずつ配置される。
各画素ブロック310において、受光部330Rの転送トランジスタ331のゲートには、駆動回路211から転送信号TRG−Rが供給され、OFGトランジスタ332のゲートには、駆動回路211から制御信号OFG−Rが供給される。また、受光部330Grの転送トランジスタ331のゲートには、駆動回路211から転送信号TRG−Grが供給され、OFGトランジスタ332のゲートには、駆動回路211から制御信号OFG−Grが供給される。さらに、受光部330Gbの転送トランジスタ331のゲートには、駆動回路211から転送信号TRG−Gbが供給され、OFGトランジスタ332のゲートには、駆動回路211から制御信号OFG−Gbが供給される。さらにまた、受光部330Bの転送トランジスタ331のゲートには、駆動回路211から転送信号TRG−Bが供給され、OFGトランジスタ332のゲートには、駆動回路211から制御信号OFG−Bが供給される。以下、転送信号TRG−R、TRG−Gr、TRG−Gb及びTRG−Bを区別しない場合、その符号をTRGとする。同様に、制御信号OFG−R、OFG−Gr、PFG−Gb及びOFG−Bを区別しない場合、その符号をTRGとする。
リセットトランジスタ321、増幅トランジスタ322及び選択トランジスタ323それぞれは、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタを用いて構成される。転送トランジスタ331及びOFGトランジスタ332についても同様に、例えば、N型のMOSトランジスタを用いて構成される。
受光部330R、330Gr、330Gb及び330Bそれぞれの光電変換素子333は、受光チップ201に配置される。また、受光部330R、330Gr、330Gb及び330Bそれぞれにおける光電変換素子333以外の素子は、例えば、検出チップ202に配置される。
受光部330R、330Gr、330Gb及び330Bそれぞれにおいて、光電変換素子333は、入射光を光電変換して電荷を生成する。転送トランジスタ331は、転送信号TRGに従って、対応する光電変換素子333から浮遊拡散層324へ電荷を転送する。OFGトランジスタ332は、制御信号OFGに従って、光電変換素子333で生成された電気信号を、対応するアドレスイベント検出部400R、400Gr、400Gb又は400Bに供給する。ここで、各アドレスイベント検出部400R、400Gr、400Gb及び400Bに供給される電気信号は、対応する受光部330R、330Gr、330Gb又は330Bの光電変換素子333において発生した電荷による光電流である。
浮遊拡散層324は、光電変換素子333から転送トランジスタ331を介して光電流として転送された電荷を蓄積し、蓄積した電荷の量に応じた電圧を生成する。リセットトランジスタ321は、駆動回路211からのリセット信号に従って、浮遊拡散層324に蓄積された電荷を放出(初期化)する。増幅トランジスタ322は、浮遊拡散層324の電圧を増幅する。選択トランジスタ323は、駆動回路211からの選択信号SELに従って、増幅トランジスタ322で増幅された電圧の信号を画素信号SIGとして垂直信号線VSLを介してカラムADC220へ出力する。
駆動回路211は、制御部130によりアドレスイベントの検出開始が指示されると、画素アレイ部300における全ての受光部330R、330Gr、330Gb及び330BのOFGトランジスタ332を制御信号OFGにより駆動して光電流を供給させる。これにより、各アドレスイベント検出部400R、400Gr、400Gb及び400Bには、対応する受光部330R、330Gr、330Gb又は330Bから光電流が供給される。
1つの画素ブロック310に対応付けられた複数のアドレスイベント検出部400R、400Gr、400Gb及び400Bの出力は、アドレスイベント検出部400R、400Gr、400Gb及び400Bそれぞれの出力線を結合するノードである統合部150で統合される。したがって、ある画素ブロック310に対応付けられたアドレスイベント検出部400R、400Gr、400Gb及び400Bのうちの何れかがアドレスイベントの発火を検出すると、アービタ213には、当該画素ブロック310のリクエストが入力される。
このように、画素ブロック単位のリクエストが入力されると、アービタ213は、それぞれの画素ブロック310からのリクエストを調停し、この調停結果に基づいて、リクエストを発行した画素ブロック310に所定の応答を送信する。この応答を受け取った画素ブロック310は、アドレスイベントの発火の有無を示す検出信号(アドレスイベントの検出信号)を駆動回路211及び信号処理部212に供給する。
駆動回路211は、アドレスイベントの検出信号の供給元である画素ブロック310に属する全ての受光部330R、330Gr、330Gb及び330BにおけるOFGトランジスタ332をオフ状態とする。これにより、当該画素ブロック310における受光部330R、330Gr、330Gb及び330Bそれぞれから対応するアドレスイベント検出部400R、400Gr、400Gb又は400Bへの光電流の供給が停止する。
次いで、駆動回路211は、転送信号TRGにより、当該画素ブロック310に属する全ての受光部330R、330Gr、330Gb及び330Bにおける転送トランジスタ331を順に駆動する。これにより、当該画素ブロック310の全ての受光部330R、330Gr、330Gb及び330Bから画素信号生成部320の浮遊拡散層324へ、光電変換素子333に蓄積された電荷が順に転送される。そして、画素信号生成部320から、当該画素ブロック310内の複数の単位画素それぞれの画素信号SIGが順に出力される。
このように、固体撮像装置200は、アドレスイベントの発火が検出された画素ブロック310に含まれる受光部330R、330Gr、330Gb及び330Bからの画素信号SIGをカラムADC220に出力する。これにより、アドレスイベントの発火の有無に関わらず、全ての単位画素から画素信号SIGを読み出す場合と比較して、固体撮像装置200の消費電力や、画像処理の処理量を低減することができる。
2.7 アドレスイベント検出部の構成例
図12は、第1の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。図12に示すように、アドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440及び転送部450を備える。なお、以下の説明において、受光部330R、330Gr、330Gb及び330Bを区別しない場合、その符号を330とする。同様に、以下の説明において、アドレスイベント検出部400R、400Gr、400Gb及び400Bを区別しない場合、その符号を400とする。
電流電圧変換部410は、受光部330からの光電流を、その対数の電圧信号に変換し、これにより生成された電圧信号をバッファ420に供給する。
バッファ420は、電流電圧変換部410からの電圧信号を補正し、補正後の電圧信号を減算器430に出力する。
減算器430は、駆動回路211からの行駆動信号に従ってバッファ420からの電圧信号の電圧レベルを低下させ、低下後の電圧信号を量子化器440に供給する。
量子化器440は、減算器430からの電圧信号をデジタル信号に量子化し、これにより生成されたデジタル信号を検出信号として転送部450に出力する。
転送部450は、量子化器440からの検出信号を信号処理部212等に転送する。この転送部450は、例えば、アドレスイベントの発火が検出された際に、転送部450から駆動回路211及び信号処理部212へのアドレスイベントの検出信号の送信を要求するリクエストをアービタ213に供給する。そして、転送部450は、リクエストに対する応答をアービタ213から受け取ると、検出信号を駆動回路211及び信号処理部212に供給する。
2.8 電流電圧変換部の構成例
図13は、第1の実施形態に係る電流電圧変換部の概略構成例を示す回路図である。図13に示すように、電流電圧変換部410は、N型トランジスタ411及び413とP型トランジスタ412とを備える。N型トランジスタ411及び413とP型トランジスタ412とは、例えば、MOSトランジスタであってよい。
N型トランジスタ411のソースは、受光部330に接続され、ドレインは電源端子に接続される。P型トランジスタ412及びN型トランジスタ413は、電源端子と接地端子との間において、直列に接続される。また、P型トランジスタ412及びN型トランジスタ413の接続ノードは、N型トランジスタ411のゲートとバッファ420の入力端子とに接続される。また、P型トランジスタ412のゲートには、所定のバイアス電圧Vbiasが印加される。
N型トランジスタ411及び413は、それらのドレインが電源側に接続されることで、ソースフォロワ回路を構成する。このようなループ状のソースフォロワ回路を構成することで、受光部330からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。また、P型トランジスタ412は、一定の電流をN型トランジスタ413に供給する。
2.9 減算器及び量子化器の構成例
図14は、第1の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。減算器430は、コンデンサ431及び433と、インバータ432と、スイッチ434とを備える。また、量子化器440は、コンパレータ441を備える。
コンデンサ431の一端は、バッファ420の出力端子に接続され、他端は、インバータ432の入力端子に接続される。コンデンサ433は、インバータ432に並列に接続される。スイッチ434は、コンデンサ433の両端を接続する経路を行駆動信号に従って開閉する。
インバータ432は、コンデンサ431を介して入力された電圧信号を反転する。このインバータ432は反転した信号をコンパレータ441の非反転入力端子(+)に出力する。
スイッチ434をオンした際、コンデンサ431のバッファ420側には、電圧信号Vinitが入力される。また、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ431に蓄積されている電位Qinitは、コンデンサ431の容量をC1とすると、次の式(1)により表される。一方、コンデンサ433の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Qinit=C1×Vinit (1)
次に、スイッチ434がオフされて、コンデンサ431のバッファ420側の電圧が変化してVafterになった場合を考えると、コンデンサ431に蓄積される電荷Qafterは、次の式(2)により表される。
Qafter=C1×Vafter (2)
一方、コンデンサ433に蓄積される電荷Q2は、出力電圧をVoutとすると、次の式(3)により表される。
Q2=−C2×Vout (3)
このとき、コンデンサ431及び433の総電荷量は変化しないため、次の式(4)が成立する。
Qinit=Qafter+Q2 (4)
式(4)に式(1)乃至式(3)を代入して変形すると、次の式(5)が得られる。
Vout=−(C1/C2)×(Vafter−Vinit) (5)
式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器430を含むアドレスイベント検出部400が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
コンパレータ441は、減算器430からの電圧信号と、反転入力端子(−)に印加された所定の閾値電圧Vthとを比較する。コンパレータ441は、比較結果を示す信号を検出信号として転送部450に出力する。
また、上述のアドレスイベント検出部400全体のゲインAは、電流電圧変換部410の変換ゲインをCGlogとし、バッファ420のゲインを‘1’とすると、次の式(6)により表される。
Figure 2020057949
式(6)において、iphoto_nは、n番目の単位画素の光電流であり、その単位は、例えばアンペア(A)である。Nは、画素ブロック310内の単位画素の数である。
2.10 カラムADCの構成例
図15は、第1の実施形態に係るカラムADCの概略構成例を示すブロック図である。このカラムADC220は、画素ブロック310の列ごとに設けられた複数のADC230を備える。
各ADC230は、垂直信号線VSLを介して供給されたアナログの画素信号SIGをデジタル信号に変換する。この画素信号SIGは、検出信号よりもビット数の多いデジタル信号に変換される。例えば、検出信号を2ビットとすると、画素信号SIGは、3ビット以上(16ビットなど)のデジタル信号に変換される。ADC230は、生成したデジタル信号を信号処理部212に供給する。
2.11 固体撮像装置の動作例
つづいて、本実施形態に係る固体撮像装置200の動作について、図面を参照して詳細に説明する。
2.11.1 タイミングチャート
まず、固体撮像装置200の動作の一例をタイミングチャートを用いて説明する。図16は、第1の実施形態に係る固体撮像装置の動作の一例を示すタイミングチャートである。
図16に示すように、タイミングT0において、制御部130によりアドレスイベントの検出開始が指示されると、駆動回路211は、画素アレイ部300における全ての受光部330のOFGトランジスタ332のゲートに印加する制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bをハイレベルに立ち上げる。これにより、全ての受光部330R、330Gr、330Gb及び330BのOFGトランジスタ332がオン状態となり、各受光部330R、330Gr、330Gb及び330Bから各アドレスイベント検出部400R、400Gr、400Gb及び400Bへ、各受光部330R、330Gr、330Gb及び330Bの光電変換素子333で発生した電荷に基づく光電流が供給される。
また、制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bがハイレベルである期間中、各受光部330R、330Gr、330Gb及び330Bにおける転送トランジスタ331のゲートに印加される転送信号TRG−R、TRG−Gr、TRG−Gb及びTRG−Bは全てローレベルに維持されている。そのため、この期間中、全ての受光部330の転送トランジスタ331はオフ状態である。
つづいて、制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bがハイレベルである期間中に、ある画素ブロック310における1つ以上のアドレスイベント検出部400がアドレスイベントの発火を検出した場合を想定する。この場合、アドレスイベントの発火を検出したアドレスイベント検出部400は、アービタ213にリクエストを送信するが、上述したように、各画素ブロック310に属する全てのアドレスイベント検出部400の出力は統合部150で統合されて、画素ブロック単位のリクエストとしてアービタ213に入力される。そのため、アービタ213からは、リクエストを発行したアドレスイベント検出部400を含む画素ブロック310(以下、読出し対象の画素ブロック310という)に属する全てのアドレスイベント検出部400R、400Gr、400Gb及び400Bに対して、リクエストに対する応答が返される。
応答を受信したアドレスイベント検出部400R、400Gr、400Gb及び400Bは、例えば、タイミングT1〜T2の期間、駆動回路211及び信号処理部212に入力する検出信号をハイレベルに立ち上げる。なお、本説明において、検出信号は、オンイベントの検出結果を示す1ビットの信号であるものとする。
タイミングT1でアドレスイベント検出部400R、400Gr、400Gb及び400Bからハイレベルの検出信号が入力された駆動回路211は、次のタイミングT2で、全ての制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bをローレベルに立ち下げる。これにより、画素アレイ部300の全ての受光部330からアドレスイベント検出部400への光電流の供給が停止する。
また、駆動回路211は、タイミングT2で、読出し対象の画素ブロック310の画素信号生成部320における選択トランジスタ323のゲートに印加する選択信号SELをハイレベルに立ち上げるとともに、同画素信号生成部320のリセットトランジスタ321のゲートに印加するリセット信号RSTを一定のパルス期間に亘ってハイレベルに立ち上げることで、この画素信号生成部320の浮遊拡散層324に蓄積された電荷を放出(初期化)する。このようにして浮遊拡散層324を初期化した状態で垂直信号線VSLに出現した電圧は、リセットレベルの画素信号(以下、単にリセットレベルという)として、カラムADC220における当該垂直信号線VSLに接続されたADC230で読み出されて、デジタル値に変換される。
次に、リセットレベルを読み出した後のタイミングT3において、駆動回路211は、読出し対象の画素ブロック310における例えば受光部330Rの転送トランジスタ331のゲートに、一定パルス期間の転送信号TRG−Rを印加する。これにより、受光部330Rの光電変換素子333で発生した電荷が画素信号生成部320における浮遊拡散層324へ転送されて、浮遊拡散層324に蓄積された電荷に応じた電圧が垂直信号線VSLに出現する。このようにして垂直信号線VSLに出現した電圧は、受光部330Rの信号レベルの画素信号(以下、単に信号レベルという)として、カラムADC220における当該垂直信号線VSLに接続されたADC230で読み出されて、デジタル値に変換される。
信号処理部212は、以上のようにして読み出されたリセットレベルと信号レベルとの差分を、光電変換素子333の受光量に応じた正味の画素信号として求めるCDS処理を実行する。
つづいて、受光部330Rの信号レベルを読み出した後のタイミングT4において、駆動回路211は、同じく読出し対象の画素ブロック310における例えば受光部330Grの転送トランジスタ331のゲートに、一定パルス期間の転送信号TRG−Grを印加する。これにより、受光部330Grの光電変換素子333で発生した電荷が画素信号生成部320における浮遊拡散層324へ転送されて、浮遊拡散層324に蓄積された電荷に応じた電圧が垂直信号線VSLに出現する。そして、垂直信号線VSLに出現した電圧が、受光部330Grの信号レベルとしてカラムADC220のADC230で読み出されて、デジタル値に変換される。
以降、同様にして、読出し対象の画素ブロック310における受光部330Gb及び330Bの信号レベルがカラムADC220のADC230で読み出されて、デジタル値に変換される(タイミングT5及びT6)。
その後、読出し対象の画素ブロック310における全ての受光部330からの信号レベルの読出しが完了すると、駆動回路211は、画素アレイ部300における全ての受光部330のOFGトランジスタ332のゲートに印加する制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bをハイレベルに立ち上げることで、各受光部330R、330Gr、330Gb及び330Bから各アドレスイベント検出部400R、400Gr、400Gb及び400Bへ、各受光部330R、330Gr、330Gb及び330Bの光電変換素子333で発生した電荷に基づく光電流を供給する。
2.11.2 フローチャート
次に、固体撮像装置200の動作の一例をフローチャートを用いて説明する。図17は、第1の実施形態に係る固体撮像装置の動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントを検出するための所定のアプリケーションが実行されたときに開始される。
図17に示すように、本動作では、まず、画素アレイ部300における画素ブロック310それぞれが、アドレスイベントの発火の有無を検出する(ステップS901)。そして、駆動回路211が、いずれかの画素ブロック310においてアドレスイベントの発火が検出されたか否かを判断する(ステップS902)。
アドレスイベントの発火が検出されていない場合(ステップS902のNO)、本動作は、ステップS904へ進む。一方、アドレスイベントの発火が検出された場合(ステップS902のYES)、駆動回路211は、アドレスイベントの発火が検出された画素ブロック310に属する単位画素に対して、画素信号SIGの読出しを順次実行することで、この読出し対象の画素ブロック310に属する各単位画素から順次、画素信号SIGを読み出し(ステップS903)、ステップS904へ進む。
ステップS904では、本動作を終了するか否かが判断される。終了しない場合(ステップS904のNO)、本動作がステップS901へリターンし、以降の動作が繰り返される。一方、終了する場合(ステップS904のYES)、本動作が終了する。
2.12 作用・効果
以上のように、第1の実施形態では、色彩を再構成するために必要となる波長成分を受光する複数(N個)の単位画素の集合(画素ブロック310)をアドレスイベントの発火の有無を検出する単位(画素ブロック単位)とし、画素ブロック単位でアドレスイベントの発火が検出された場合には、画素ブロック単位で画素信号SIGが読み出されるように構成されている。これにより、ある波長成分の単位画素でアドレスイベントが発火した際には、色彩の再構成に必要となる全ての波長成分の画素信号SIGが同期して読み出されるため、正しい色彩を再構成することが可能となる。その結果、正しく色彩が再構成されたカラー画像を取得できるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
3.第2の実施形態
次に、本開示の第2の実施形態に係る固体撮像装置及び撮像装置について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
上述した第1の実施形態では、個々の受光部330に対して個別のアドレスイベント検出部400が設けられ、同一の画素ブロック310に属するアドレスイベント検出部400の出力が統合部150で統合されることで、画素ブロック単位でリクエストがアービタ213に入力されるように構成されていた。これに対し、第2の実施形態では、同一の画素ブロックに属する全ての受光部330に対して共通のアドレスイベント検出部400を設けた場合について、例を挙げて説明する。
第2の実施形態において、撮像装置の構成例、固体撮像装置の構成例、固体撮像装置の積層構成例、固体撮像装置の機能構成例、画素アレイ部の構成例及び画素ブロックの例は、例えば、第1の実施形態において図1から図8を用いて説明したそれらと同様であってよいため、ここでは詳細な説明を省略する。ただし、本実施形態では、説明の都合上、画素ブロックの符号を510とする。
3.1 アドレスイベントの発火検出
本実施形態では、上述したように、同一の画素ブロック510に属する全ての受光部330に対して共通のアドレスイベント検出部400が設けられる。したがって、本実施形態では、アドレスイベントの発火が画素ブロック510ごとに検出され、アドレスイベントの発火が検出された画素ブロック510に属する全ての単位画素から画素信号SIGが読み出される。なお、以下の説明では、簡略化のため、カラーフィルタ配列としてベイヤー配列を採用し、その単位パターンを構成する2×2画素の計4つの受光部330R、330Gr、330Gb及び330Bで各画素ブロック510(画素ブロック310Aに相当)を構成した場合について例を挙げる。
図18及び図19は、本実施形態に係るアドレスイベントを検出する構成の一例を示す模式図である。図18に示すように、画素ブロック510を構成する複数の受光部330R、330Gr、330Gb及び330Bそれぞれは、例えば、第1の実施形態において図9を用いて説明した構成と同様の構成を備えている。一方、本実施形態では、複数の受光部330R、330Gr、330Gb及び330Bに対して共通のアドレスイベント検出部400が設けられている。
図18及び図19に示すように、受光部330R、330Gr、330Gb及び330Bそれぞれから出力される光電流は、統合部250で統合されて、共通のアドレスイベント検出部400に入力される。アドレスイベント検出部400は、同じ画素ブロック510に属する受光部330R、330Gr、330Gb及び330Bから入力された光電流の総和又は総和の変化量が所定の閾値を超えた場合、画素信号SIGの読出しを要求するリクエストをアービタ213へ出力する。このように、本実施形態では、画素ブロック510を構成する受光部330R、330Gr、330Gb及び330Bが出力する光電流の総和又は総和の変化量が所定の閾値を超えた場合には、当該画素ブロック510に属する4つの単位画素それぞれから画素信号SIGを読み出すためのリクエストが、アービタ213に入力される。
3.2 画素ブロックの構成例
つづいて、画素ブロックの構成例について説明する。図20は、第2の実施形態に係る画素ブロックの概略構成例を示す回路図である。図20に示すように、本実施形態に係る画素ブロック510では、第1の実施形態において図11を用いて説明した画素ブロック310と同様の構成において、各受光部に対して一対一に設けられた複数のアドレスイベント検出部400R、400Gr、400Gb及び400Bが、1つの共通のアドレスイベント検出部400に置き換えられている。また、各受光部330R、330Gr、330Gb及び330Bの出力は、統合部250で統合されて、アドレスイベント検出部400に入力されている。
受光部330R、330Gr、330Gb及び330Bそれぞれにおいて、OFGトランジスタ332は、制御信号OFGに従って、光電変換素子333で生成された電気信号を出力する。受光部330R、330Gr、330Gb及び330Bから出力された電気信号(光電流)は、統合部250で統合されて、アドレスイベント検出部400に供給される。
アドレスイベント検出部400は、統合された電気信号に基づいてアドレスイベントの発火を検出すると、リクエストをアービタ213へ出力する。これにより、画素ブロック単位のリクエストがアービタ213に入力される。
アービタ213は、画素ブロック単位のリクエストが入力されると、それぞれの画素ブロック510からのリクエストを調停し、この調停結果に基づいて、リクエストを発行した画素ブロック510に所定の応答を送信する。この応答を受け取った画素ブロック510は、アドレスイベントの発火の有無を示す検出信号(アドレスイベントの検出信号)を駆動回路211及び信号処理部212に供給する。
駆動回路211は、アドレスイベントの検出信号の供給元である画素ブロック510に属する全ての受光部330R、330Gr、330Gb及び330BにおけるOFGトランジスタ332をオフ状態とする。これにより、当該画素ブロック510における受光部330R、330Gr、330Gb及び330Bそれぞれから対応するアドレスイベント検出部400R、400Gr、400Gb又は400Bへの光電流の供給が停止する。
次いで、駆動回路211は、転送信号TRGにより、当該画素ブロック310に属する全ての受光部330R、330Gr、330Gb及び330Bにおける転送トランジスタ331を順に駆動する。これにより、当該画素ブロック510の全ての受光部330R、330Gr、330Gb及び330Bから画素信号生成部320の浮遊拡散層324へ、光電変換素子333に蓄積された電荷が順に転送される。そして、画素信号生成部320から、当該画素ブロック510内の複数の単位画素それぞれの画素信号SIGが順に出力される。
その他の構成は、第1の実施形態において図11を用いて説明した画素ブロック310と同様であってよいため、ここでは詳細な説明を省略する。また、本実施形態において、アドレスイベント検出部の構成例、電流電圧変換部の構成例、減算器及び量子化器の構成例及びカラムADCの構成例は、例えば、第1の実施形態において、図12から図15を用いて説明したそれらと同様であってよいため、ここでは詳細な説明を省略する。
3.3 固体撮像装置の動作例
つづいて、本実施形態に係る固体撮像装置200の動作について説明する。本実施形態に係る固体撮像装置200の動作例は、例えば、第1の実施形態において図16及び図17を用いて説明した動作例と同様であってよい。ただし、本実施形態では、制御信号OFG−R、OFG−Gr、OFG−Gb及びOFG−Bがハイレベルである期間中(図16のタイミングT0〜T2参照)、アドレスイベント検出部400には、受光部330R、330Gr、330Gb及び330Bから出力されて統合部250で統合された光電流が入力される。したがって、本実施形態において、アドレスイベント検出部400は、統合された光電流に基づき、画素ブロック単位でアドレスイベントの発火の有無を検出し、アドレスイベントの発火を検出した場合、アービタ213にリクエストを送信する。そして、アービタ213から所定の応答を受け取ると、アドレスイベント検出部400は、例えば、タイミングT1〜T2の期間、駆動回路211及び信号処理部212に入力する検出信号をハイレベルに立ち上げる。
その他の動作は、第1の実施形態において図16及び図17を用いて説明した動作と同様であってよいため、ここでは詳細な説明を省略する。
3.4 作用・効果
以上のように、第2の実施形態では、第1の実施形態と同様に、色彩を再構成するために必要となる波長成分を受光する複数(N個)の単位画素の集合(画素ブロック310)をアドレスイベントの発火の有無を検出する単位(画素ブロック単位)とし、画素ブロック単位でアドレスイベントの発火が検出された場合には、画素ブロック単位で画素信号SIGが読み出されるように構成されている。これにより、ある波長成分の単位画素でアドレスイベントが発火した際には、色彩の再構成に必要となる全ての波長成分の画素信号SIGが同期して読み出されるため、正しい色彩を再構成することが可能となる。その結果、正しく色彩が再構成されたカラー画像を取得できるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
また、第2の実施形態では、受光部330に対して一対一に設けられたアドレスイベント検出部400に代えて、画素ブロック510に対して一対一に設けられたアドレスイベント検出部400を備える。このように、同じ画素ブロック510に属する複数の受光部330で1つのアドレスイベント検出部400を共有した構成とすることで、受光部330に対して個別のアドレスイベント検出部400を設けた場合と比較して、回路規模を削減することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
4.第3の実施形態
次に、本開示の第3の実施形態に係る固体撮像装置及び撮像装置について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それらを引用することで、重複する説明を省略する。
上述した実施形態では、正しい色彩を再構成することを目的として、各画素ブロック310/510を、色彩を再構成するために必要となる波長成分を受光する単位画素の組合せで構成した場合について、例を挙げて説明した。これに対し、本実施形態では、正しい偏光情報を再構成することを目的とした場合について、例を挙げて説明する。
なお、偏光情報とは、入射光の偏光に関する情報であり、例えば、直線偏光や円偏光や楕円偏光やランダム偏光などの偏光状態に関する情報や、直線偏光である場合にはその偏光方向に関する情報や、楕円偏光である場合にはその長軸又は短軸の方向に関する情報などであってよい。
第3の実施形態において、撮像装置の構成例、固体撮像装置の構成例、固体撮像装置の積層構成例、固体撮像装置の機能構成例及び画素アレイ部の構成例、並びに、アドレスイベント検出部の構成例、電流電圧変換部の構成例、減算器及び量子化器の構成例及びカラムADCの構成例は、例えば、第1の実施形態において図1から図4並びに図12から図15を用いて説明したそれらと同様であってよいため、ここでは詳細な説明を省略する。
また、第3の実施形態において、アドレスイベントの発火検出及び画素ブロックの構成例は、例えば、第1の実施形態において図9及び図10並びに図11、又は、第2の実施形態において図18及び図19並びに図20を用いて説明したそれらと同様であってよいため、ここでは詳細な説明を省略する。
さらに、第3の実施形態に係る固体撮像装置200の動作例は、例えば、第1又は第2の実施形態において図16及び図17を用いて説明した動作と同様であってよいため、ここでは詳細な説明を省略する。
ただし、本実施形態では、説明の都合上、画素ブロックの符号を610とする。また、本実施形態では、後述する理由から、1つの画素ブロック610に属する受光部330の数を3つとする。
4.1 画素ブロックの例
本実施形態に係る画素ブロック610は、例えば、偏光情報を再構成するために必要となる偏光成分を受光する単位画素の組合せで構成される。偏光情報は、例えば、正弦曲線のフィッティングによって求めることができる。そのため、偏光情報を再構成するためには、偏光軸の光軸を中心とした回転角が異なる少なくとも3つの偏光子を用いて入射光を観測する必要がある。
そこで本実施形態では、図21に例示する画素ブロック610のように、例えば、偏光軸の光軸を中心とした回転角が異なる3種類の偏光子614H、614V及び614Sを使用し、この3種類の偏光子614H、614V及び614Sを、2次元格子状に配列する複数の受光部330に対して所定の繰返しパターンで配置する。そして本実施形態では、繰返しパターンそれぞれ、すなわち、3種類の偏光子614H、614V及び614Sをそれぞれ1つずつ含む3つの単位画素の集合を、1つの画素ブロック610としてグループ化する。なお、説明の簡略化のため、図21では、画素信号生成部320とアドレスイベント検出部400とが省略されている。
図21に示す構成において、偏光子614Hは、例えば、偏光軸が受光部330の行方向と平行になるように設けられた偏光子である。したがって、偏光子614Hと受光部330とが組み合わされてなる受光部630Hは、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。また、偏光子614Vは、例えば、偏光軸が受光部330の列方向と平行になるように設けられた偏光子である。したがって、偏光子614Vと受光部330とが組み合わされてなる受光部630Vは、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。さらに偏光子614Sは、例えば、偏光軸が受光部330の行方向及び列方向に対して所定の傾きで傾くように設けられた偏光子である。したがって、偏光子614Sと受光部330とが組み合わされてなる受光部630Sは、受光部330の行方向及び列方向に対して所定の傾きで傾いている偏光成分を受光して、その受光量に応じた電荷を発生させる。
なお、図21では、行方向に順番に配列する3つの偏光子614H、614V及び614Sに基づいて各画素ブロック610をグループ化した場合を例示したが、これに限定されず、例えば、3つの偏光子614H、614V及び614Sのうちの2つが行方向に配置され、残りの1つが他の2つのうちの1つに対して列方向に配置されたパターンに基づいて、各画素ブロック610をグループ化してもよい。
4.2 作用・効果
以上のように、第3の実施形態では、第1及び第2の実施形態で使用した波長選択素子(カラーフィルタ314R、314Gr、314Gb、314B等)に代えて、偏光軸の光軸を中心とした回転角が異なる少なくとも3つの偏光子614H、614V及び614Sが受光部330に対して設けられ、これら偏光子614H、614V及び614Sをそれぞれ少なくとも1つずつ含む単位画素の集合が、1つの画素ブロック610としてグループ化された構成を備える。これにより、上述した実施形態と同様に、画素ブロック単位でアドレスイベントの発火が検出された場合には、画素ブロック単位で画素信号SIGが読み出されるため、ある偏光成分の単位画素でアドレスイベントが発火した際には、偏光情報の再構成に必要となる少なくとも3つの偏光成分の画素信号SIGが同期して読み出される。それにより、画素ブロック単位で読み出された画素信号SIGに基づいて、正しい偏光情報を再構成することが可能となる。その結果、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれる画像データを取得することができるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
5.第4の実施形態
上述した第3の実施形態では、偏光軸の光軸を中心とした回転角が異なる3種類の偏光子614H、614V及び614Sを2次元格子状に配列する複数の受光部330に対して所定の繰返しパターンで配置し、繰返しパターンそれぞれ、すなわち、3種類の偏光子614H、614V及び614Sをそれぞれ1つずつ含む3つの単位画素の集合を、1つの画素ブロック610としてグループ化する場合を例示した。それに対し、第4の実施形態では、4種類の偏光子を2次元格子状に配列する複数の受光部330に対して所定の繰返しパターンで配置し、この繰返しパターンそれぞれ、すなわち、4種類の偏光子をそれぞれ1つずつ含む4つの単位画素の集合を、1つの画素ブロックとしてグループ化する。
第4の実施形態において、撮像装置の構成例、固体撮像装置の構成例、固体撮像装置の積層構成例、固体撮像装置の機能構成例及び画素アレイ部の構成例、アドレスイベントの発火検出、画素ブロックの構成例、アドレスイベント検出部の構成例、電流電圧変換部の構成例、減算器及び量子化器の構成例及びカラムADCの構成例、並びに、固体撮像装置200の動作例は、例えば、第3の実施形態に係るそれらと同様であってよいため、ここでは詳細な説明を省略する。ただし、本実施形態では、説明の都合上、画素ブロックの符号を710とする。
5.1 画素ブロックの例
図22は、第4の実施形態に係る画素ブロックの例を示す模式図である。なお、説明の簡略化のため、図22では、画素信号生成部320とアドレスイベント検出部400とが省略されている。
図22に示すように、本実施形態に係る画素ブロック710は、偏光軸が受光部330の行方向と平行になるように設けられた偏光子614H1及び614H2と、偏光軸が受光部330の列方向と平行になるように設けられた偏光子614V1及び614V2とが所定の配列で配置された構成を備える。
偏光子614H1と受光部330とが組み合わされてなる受光部630H1は、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。偏光子614H2と受光部330とが組み合わされてなる受光部630H2は、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。偏光子614V1と受光部330とが組み合わされてなる受光部630V1は、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。偏光子614V2と受光部330とが組み合わされてなる受光部630V2は、受光部330の行方向と平行な偏光成分を受光して、その受光量に応じた電荷を発生させる。
なお、偏光子614H1の偏光軸と偏光子614H2の偏光軸とは、平行であってもよいし、所定の角度で傾いていてもよい。同様に、偏光子614V1の偏光軸と偏光子614V2の偏光軸とは、平行であってもよいし、所定の角度で傾いていてもよい。ただし、偏光子614H1の偏光軸と偏光子614H2の偏光軸とが平行である場合は、偏光子614V1の偏光軸と偏光子614V2の偏光軸とが所定の角度で傾いており、偏光子614V1の偏光軸と偏光子614V2の偏光軸とが平行である場合は、偏光子614H1の偏光軸と偏光子614H2の偏光軸とが所定の角度で傾いているものとする。
5.2 作用・効果
このように、偏光情報の再構成に使用する単位画素の数を4つとした場合でも、第3の実施形態と同様に、ある偏光成分の単位画素でアドレスイベントが発火した際には、偏光情報の再構成に必要となる少なくとも3つの偏光成分の画素信号SIGが同期して読み出されるため、画素ブロック単位で読み出された画素信号SIGに基づいて、正しい偏光情報を再構成することが可能となる。その結果、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれる画像データを取得することができるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
6.第5の実施形態
第1又は第2の実施形態で例示した波長選択素子と、第3又は第4の実施形態で例示した偏光子とは、組み合わせることが可能である。すなわち、色彩を再構成するために必要となる波長成分ごとに、偏光情報を再構成するために必要となる偏光成分を取得するように構成することも可能である。それにより、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれるとともに、色彩が正しく再構成されたカラー画像を取得することが可能となる。
第5の実施形態において、撮像装置の構成例、固体撮像装置の構成例、固体撮像装置の積層構成例、固体撮像装置の機能構成例及び画素アレイ部の構成例、アドレスイベントの発火検出、画素ブロックの構成例、アドレスイベント検出部の構成例、電流電圧変換部の構成例、減算器及び量子化器の構成例及びカラムADCの構成例、並びに、固体撮像装置200の動作例は、例えば、第3の実施形態に係るそれらと同様であってよいため、ここでは詳細な説明を省略する。ただし、本実施形態では、説明の都合上、画素ブロックの符号を810とする。
また、以下の説明では、カラーフィルタ配列としてベイヤー配列を採用し、このベイヤー配列に第4の実施形態において例示した偏光子614H1、614V1、614V2及び614H2を組み合わせた場合について例示する。ただし、これに限定されず、X−Trans(登録商標)型配列やクワッドベイヤー配列などのその他のカラーフィルタ配列に対して第3の実施形態で例示した偏光子614H、614V及び614Sや、第4の実施形態で例示した偏光子614H1、614V1、614V2及び614H2等を組み合わせることも可能である。
6.1 画素ブロックの例
図23は、第5の実施形態に係る画素ブロックの例を示す模式図である。なお、説明の簡略化のため、図23では、受光部330と画素信号生成部320とアドレスイベント検出部400とが省略されている。
図23に示すように、本実施形態に係る画素ブロック810は、赤(R)色のカラーフィルタ314Rと、緑(Gr)色のカラーフィルタ314Grと、緑(Gb)色のカラーフィルタ314Gbと、青(B)色のカラーフィルタ314Bとの2×2画素で構成されたベイヤー配列の単位パターン820Aに対して、偏光子614H1、614V1、614V2及び614H2がそれぞれ組み合わされた構成を備える。
より具体的には、例えば、図23中、左上の画素グループ830H1では、単位パターン810Aと、偏光子群840H1とが組み合わされている。偏光子群840H1は、単位パターン810Aに含まれるカラーフィルタ314R、314Gr、314Gb及び314Bそれぞれに一対一で対応する計4つの偏光子614H1で構成されている。
同様に、右上の画素グループ830V1では、単位パターン810Aに対して、カラーフィルタ314R、314Gr、314Gb及び314Bそれぞれに一対一で対応する計4つの偏光子614V1で構成された偏光子群840V1が組み合わされている。また、左下の画素グループ830V2では、単位パターン810Aに対して、カラーフィルタ314R、314Gr、314Gb及び314Bそれぞれに一対一で対応する計4つの偏光子614V2で構成された偏光子群840V2が組み合わされている。さらに、右下の画素グループ830H2では、単位パターン810Aに対して、カラーフィルタ314R、314Gr、314Gb及び314Bそれぞれに一対一で対応する計4つの偏光子614H2で構成された偏光子群840H2が組み合わされている。
このように、本実施形態に係る画素ブロック810は、単位パターン820Aを構成するカラーフィルタ314R、314Gr、314Gb及び314Bの数(4つ)と、これらに組み合わせる偏光子614H1、614V1、614V2及び614H2の種類の数(4つ)とを掛け合わせた数(16つ)の単位画素で構成されている。
6.2 変形例1
図24は、第5の実施形態の変形例1に係る画素ブロックの例を示す模式図である。図23では、単位パターン820Aを構成するカラーフィルタ314R、314Gr、314Gb及び314Bそれぞれに対して一対一で偏光子614H1、614V1、614V2及び614H2を組み合わせた場合を例示したが、このような構成に限定されるものではない。例えば、図24に例示する画素ブロック910のように、4つの単位パターン820Aそれぞれに組み合わせる偏光子群840H1、840V1、840V2及び840H2を、それぞれ1つの偏光子914H1、914V1、914V2又は914H2で構成することも可能である。
6.3 変形例2
また、図25は、第5の実施形態の変形例2に係る画素ブロックの例を示す模式図である。変形例2では、カラーフィルタ配列としてX−Trans(登録商標)型配列を採用した場合の画素ブロック1210を例示する。なお、本説明では、明確化のため、X−Trans(登録商標)型配列に対して組み合わせる偏光子を、第4の実施形態で例示した偏光子614H1、614V1、614V2及び614H2とする。また、図25では、説明の簡略化のため、受光部330と画素信号生成部320とアドレスイベント検出部400とが省略されている。
図25に示すように、X−Trans(登録商標)型配列をベースとした画素ブロック1210は、例えば、X−Trans(登録商標)型配列の単位パターン1220Aに対して9つの偏光子614H1よりなる偏光子群1240H1が組み合わされた画素グループ1230H1と、単位パターン1220Aに対して9つの偏光子614V1よりなる偏光子群1240V1が組み合わされた画素グループ1230V1と、単位パターン1220Aに対して9つの偏光子614V2よりなる偏光子群1240V2が組み合わされた画素グループ1230V2と、単位パターン1220Aに対して9つの偏光子614H2よりなる偏光子群1240H2が組み合わされた画素グループ1230H2とで構成される。
6.4 作用・効果
以上のように、第1又は第2の実施形態で例示した波長選択素子と、第3又は第4の実施形態で例示した偏光子とを組み合わせることで、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれるとともに、色彩が正しく再構成されたカラー画像を取得することができるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
7.第6の実施形態
上述の第5の実施形態では、カラーフィルタに対し、その配列を変更せずに、偏光子を組み合わせた場合を例示した。これに対し、第6の実施形態では、例えば、偏光子に対し、その繰返しパターンを変更せずに、カラーフィルタを組み合わせる場合について、例を挙げて説明する。
なお、以下の説明では、カラーフィルタ配列としてベイヤー配列を採用し、このベイヤー配列に第4の実施形態において例示した偏光子614H1、614V1、614V2及び614H2を組み合わせた場合について例示する。ただし、これに限定されず、X−Trans(登録商標)型配列やクワッドベイヤー配列などのその他のカラーフィルタ配列に対して第3の実施形態で例示した偏光子614H、614V及び614Sや、第4の実施形態で例示した偏光子614H1、614V1、614V2及び614H2等を組み合わせることも可能である。
7.1 画素ブロックの例
図26は、第6の実施形態に係る画素ブロックの例を示す模式図である。なお、説明の簡略化のため、図26では、受光部330と画素信号生成部320とアドレスイベント検出部400とが省略されている。
図26に示すように、本実施形態に係る画素ブロック1010は、ベイヤー配列の単位パターンを構成するカラーフィルタ314R、314Gr、314Gb及び314Bが、それぞれ4つに分割された構成を有する。なお、ベイヤー配列の単位パターンを構成する各カラーフィルタ314R、314Gr、314Gb及び314Bを4つに分割した構成は、例えば、図7に例示したクアッドベイヤー配列と同様のカラーフィルタ配列となる。
図26中、例えば、ベイヤー配列の単位パターンにおける赤(R)色のカラーフィルタに対応する左上の画素グループ1030Rでは、2×2画素の計4つの赤(R)色のカラーフィルタ314Rで構成されたカラーフィルタ群1020Rに対して、それぞれカラーフィルタ314Rに一対一で対応する4つの偏光子614H1、614lV1、614V2及び614H2で構成された偏光子群1040Aが組み合わされている。この偏光子群1040Aにおける偏光子614H1、614lV1、614V2及び614H2の配列(繰返しパターン)は、例えば、上述の第4の実施形態と同様であってよい。
同様に、ベイヤー配列の単位パターンにおける緑(Gr)色のカラーフィルタに対応する右上の画素グループ1030Grでは、2×2画素の計4つの緑(Gr)色のカラーフィルタ314Grで構成されたカラーフィルタ群1020Grに対して偏光子群1040Aが組み合わされている。また、ベイヤー配列の単位パターンにおける緑(Gb)色のカラーフィルタに対応する左下の画素グループ1030Gbでは、2×2画素の計4つの緑(Gb)色のカラーフィルタ314Gbで構成されたカラーフィルタ群1020Gbに対して偏光子群1040Aが組み合わされている。さらに、ベイヤー配列の単位パターンにおける青(B)色のカラーフィルタに対応する右下の画素グループ1030Bでは、2×2画素の計4つの青(B)色のカラーフィルタ314Bで構成されたカラーフィルタ群1020Bに対して偏光子群1040Aが組み合わされている。
7.2 変形例1
図27は、第6の実施形態の変形例1に係る画素ブロックの例を示す模式図である。図26では、所定のカラーフィルタ配列(例えば、ベイヤー配列)で配列した各カラーフィルタを、それらに組み合わせる偏光子の数に分割した場合を例示したが、このような構成に限定されるものではない。例えば、図27に例示する画素ブロック1110のように、各カラーフィルタ314R、314Gr、314Gb及び314Bを分割せずにそのサイズを変更して、各カラーフィルタ314R、314Gr、314Gb及び314Bに対して偏光子群1040Aを組み合わせた構成とすることも可能である。
7.3 変形例2
また、図28は、第6の実施形態の変形例2に係る画素ブロックの例を示す模式図である。変形例2では、カラーフィルタ配列としてX−Trans(登録商標)型配列を採用した場合の画素ブロック1310を例示する。なお、本説明では、明確化のため、X−Trans(登録商標)型配列に対して組み合わせる偏光子を、第4の実施形態で例示した偏光子614H1、614V1、614V2及び614H2とする。また、図28では、説明の簡略化のため、受光部330と画素信号生成部320とアドレスイベント検出部400とが省略されている。
図28に示すように、X−Trans(登録商標)型配列をベースとした画素ブロック1310は、例えば、X−Trans(登録商標)型配列の単位パターン1220Aにおける各カラーフィルタ314R、314G及び314Bが、それらに組み合わせる偏光子614H1、614V1、614V2及び614H2の数(4つ)に分割された構成を有する。
したがって、図28中、例えば、X−Trans(登録商標)型配列の単位パターンにおける緑(G)色のカラーフィルタに対応する左上と右上と中中と左下と右下との画素グループ1330G1、1330G2、1330G3、1330G4及び1330G5それぞれでは、2×2画素のカラーフィルタ314Gで構成されたカラーフィルタ群1320Gに対して、それぞれカラーフィルタ314Gに一対一で対応する4つの偏光子614H1、614lV1、614V2及び614H2で構成された偏光子群1040Aが組み合わされている。
同様に、単位パターンにおける青(B)色のカラーフィルタに対応する中上と中下との画素グループ1330B1及び1330B2それぞれでは、2×2画素の計4つの青(B)色のカラーフィルタ314Bで構成されたカラーフィルタ群1320Bに対して偏光子群1040Aが組み合わされている。また、単位パターンにおける赤(R)色のカラーフィルタに対応する中左と中右の画素グループ1330R1及び1330R2それぞれでは、2×2画素の計4つの赤(R)色のカラーフィルタ314Rで構成されたカラーフィルタ群1320Rに対して偏光子群1040Aが組み合わされている。
7.4 作用・効果
このように、偏光子に対し、その繰返しパターンを変更せずに、カラーフィルタを組み合わせた場合でも、第5の実施形態と同様に、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれるとともに、色彩が正しく再構成されたカラー画像を取得することができるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
8.第7の実施形態
また、第3又は第4の実施形態で例示したような偏光子は、例えば、第1の実施形態で図8を用いて例示した、1つの画素エリア330G/B/Rに受光部330G、330B及び330Rが設けられた構造の画素ブロック310Dに対しても、組み合わせることが可能である。
図29は、第6の実施形態に係る画素ブロックの例を示す模式図である。なお、説明の簡略化のため、図29では、受光部330と画素信号生成部320とアドレスイベント検出部400とが省略されている。
図29に示すように、1つの画素エリア330G/B/Rに、色彩の再構成に必要となる波長成分を受光する受光部330G、330B及び330Rが集約されている場合、画素ブロック1410にグループ化する受光部330G/B/Rの数は、繰返しパターンを構成する偏光子の数によって決定される。したがって、例えば、図29に例示するように、第4の実施形態で例示した偏光子614H1、614V1、614V2及び614H2を組み合わせる場合、画素ブロック1410にグループ化する受光部330G/B/Rの数は、4つとなる。
8.1 作用・効果
以上のように、1つの画素エリア330G/B/Rに色彩の再構成に必要となる波長成分を受光する受光部330G、330B及び330Rが集約されている場合でも、例えば、第3又は第4の実施形態で例示した偏光子とを組み合わせることで、入射光が自然光であるか否かや、物体や水面等で反射した反射光であるか否かや、光源からの光がどのような偏光状態であるかなどの情報が含まれるとともに、色彩が正しく再構成されたカラー画像を取得することができるイベントドリブン型の固体撮像装置及び撮像装置を実現することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
を備える固体撮像装置。
(2)
前記検出部は、前記光電流の電流値又は当該電流値の変化量を検出する前記(1)に記載の固体撮像装置。
(3)
前記複数の受光部は、少なくとも2つの受光部ごとの画素ブロックにグループ化され、
前記検出部は、前記画素ブロックごとに、当該画素ブロックに属する受光部のうちの前記少なくとも1つで発生した前記電荷に基づく前記光電流を検出し、
前記駆動回路は、前記検出部による前記画素ブロックごとの前記光電流の前記検出結果に基づいて、前記画素ブロックごとに、当該画素ブロックに属する前記受光部で発生した前記電荷それぞれに基づく前記電圧信号を前記生成部に生成させる
前記(1)又は(2)に記載の固体撮像装置。
(4)
前記画素ブロックそれぞれに属する前記受光部は、互いに異なる前記特定波長の光を受光する前記(3)に記載の固体撮像装置。
(5)
前記画素ブロックそれぞれは、入射光の色彩を再構成するために必要となる波長成分をそれぞれ受光する受光部の組合せで構成されている前記(4)に記載の固体撮像装置。
(6)
前記画素ブロックそれぞれは、赤色の波長成分を受光する第1受光部と、緑色の波長成分を受光する第2受光部と、青色の波長成分を受光する第3受光部とを含む前記(3)〜(5)の何れか1項に記載の固体撮像装置。
(7)
前記検出部は、前記複数の受光部ごとに設けられ、
前記画素ブロックごとに、当該画素ブロックに属する前記受光部に対して設けられた複数の前記検出部から出力された前記検出結果を統合する統合部をさらに備える
前記(3)〜(6)の何れか1項に記載の固体撮像装置。
(8)
前記検出部は、前記画素ブロックごとに設けられ、
前記画素ブロックごとに、当該画素ブロックそれぞれに属する前記受光部それぞれから出力された前記光電流を統合する統合部をさらに備え、
前記画素ブロックごとの前記検出部は、前記統合部を介して入力された前記光電流を検出する
前記(3)〜(6)の何れか1項に記載の固体撮像装置。
(9)
前記複数の受光部は、所定の配列に従って二次元格子状に配列する前記(3)〜(8)の何れか1項に記載の固体撮像装置。
(10)
前記所定の配列は、ベイヤー配列、X−Trans(登録商標)型配列、及び、クワッドベイヤー配列のうちの何れかである前記(9)に記載の固体撮像装置。
(11)
前記所定の配列は、入射光の色彩を再構成するために必要となる波長成分ごとの前記受光部が所定の配置で組み合わされてなる基本パターンが繰返し配置された構成を備え、
前記複数の受光部は、前記基本パターンごとに前記画素ブロックにグループ化されている
前記(9)又は(10)に記載の固体撮像装置。
(12)
前記複数の受光部それぞれは、
前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
を含む前記(1)〜(11)の何れか1項に記載の固体撮像装置。
(13)
前記複数の受光部それぞれは、前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
前記生成部は、
前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
を含む
前記(12)に記載の固体撮像装置。
(14)
前記複数の受光部それぞれは、
前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
前記生成部は、
前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
を含み、
前記検出部は、前記光電流に基づいてイベントの発火の有無を検出し、
前記駆動回路は、前記複数の受光部それぞれの前記第1トランジスタをオン状態に制御している期間中に前記検出部が前記イベントの発火を検出した場合、前記イベントの発火が検出された画素ブロックに属する前記受光部それぞれの前記第1トランジスタをオフ状態に制御し、前記第5トランジスタをオン状態に制御するとともに、前記第3トランジスタを一定期間オン状態とし、その後、当該画素ブロックに属する受光部それぞれの第2トランジスタを所定の順番に従って一定期間オン状態に制御する
前記(3)〜(11)の何れか1項に記載の固体撮像装置。
(15)
前記所定の信号線に出現した前記電圧信号を電圧値に応じたデジタル値に変換する変換部をさらに備える前記(13)又は(14)に記載の固体撮像装置。
(16)
前記複数の受光部それぞれは、
前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記光電変換素子に入射する前記光の波長を前記特定波長に制限する波長選択素子と、
を含む前記(1)〜(15)の何れか1項に記載の固体撮像装置。
(17)
前記複数の受光部それぞれに設けられた偏光子をさらに備える前記(1)〜(16)の何れか1項に記載の固体撮像装置。
(18)
前記複数の受光部それぞれに設けられた偏光子をさらに備え、
前記画素ブロックそれぞれに属する少なくとも2つの前記受光部に対してそれぞれ設けられた前記偏光子は、偏光軸の光軸を中心とした回転角が互いに異なる
前記(3)〜(11)の何れか1項に記載の固体撮像装置。
(19)
前記画素ブロックそれぞれは、入射光の色彩を再構成するために必要となる波長成分の数と、前記偏光軸の前記光軸を中心とした前記回転角が互いに異なる前記偏光子の数とを乗算した数の前記受光部を含む前記(18)に記載の固体撮像装置。
(20)
各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
を備える撮像装置。
(21)
各々が特定の偏光方向の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
を備える固体撮像装置。
(22)
前記検出部は、前記光電流の電流値又は当該電流値の変化量を検出する前記(21)に記載の固体撮像装置。
(23)
前記複数の受光部は、少なくとも2つの受光部ごとの画素ブロックにグループ化され、
前記検出部は、前記画素ブロックごとに、当該画素ブロックに属する受光部のうちの前記少なくとも1つで発生した前記電荷に基づく前記光電流を検出し、
前記駆動回路は、前記検出部による前記画素ブロックごとの前記光電流の前記検出結果に基づいて、前記画素ブロックごとに、当該画素ブロックに属する前記受光部で発生した前記電荷それぞれに基づく前記電圧信号を前記生成部に生成させる
前記(21)又は(22)に記載の固体撮像装置。
(24)
前記画素ブロックそれぞれに属する前記受光部は、互いに異なる前記特定の偏光方向の光を受光する前記(23)に記載の固体撮像装置。
(25)
前記画素ブロックそれぞれは、入射光の偏光情報を再構成するために必要となる前記特定の偏光方向の前記光をそれぞれ受光する受光部の組合せで構成されている前記(24)に記載の固体撮像装置。
(26)
前記画素ブロックそれぞれは、第1の偏光方向の前記光を受光する第1受光部と、第2の偏光方向の前記光を受光する第2受光部と、第3の偏光方向の前記光を受光する第3受光部とを含む前記(23)〜(25)の何れか1項に記載の固体撮像装置。
(27)
前記検出部は、前記複数の受光部ごとに設けられ、
前記画素ブロックごとに、当該画素ブロックに属する前記受光部に対して設けられた複数の前記検出部から出力された前記検出結果を統合する統合部をさらに備える
前記(23)〜(26)の何れか1項に記載の固体撮像装置。
(28)
前記検出部は、前記画素ブロックごとに設けられ、
前記画素ブロックごとに、当該画素ブロックそれぞれに属する前記受光部それぞれから出力された前記光電流を統合する統合部をさらに備え、
前記画素ブロックごとの前記検出部は、前記統合部を介して入力された前記光電流を検出する
前記(23)〜(26)の何れか1項に記載の固体撮像装置。
(29)
前記複数の受光部は、所定の配列に従って二次元格子状に配列する前記(23)〜(28)の何れか1項に記載の固体撮像装置。
(30)
前記所定の配列は、入射光の偏光情報を再構成するために必要となる前記偏光方向ごとの前記受光部が所定の配置で組み合わされてなる繰返しパターンが繰返し配置された構成を備え、
前記複数の受光部は、前記繰返しパターンごとに前記画素ブロックにグループ化されている
前記(29)に記載の固体撮像装置。
(31)
前記複数の受光部それぞれは、
前記光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
を含む前記(21)〜(30)の何れか1項に記載の固体撮像装置。
(32)
前記複数の受光部それぞれは、前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
前記生成部は、
前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
を含む
前記(31)に記載の固体撮像装置。
(33)
前記複数の受光部それぞれは、
前記光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
前記生成部は、
前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
を含み、
前記検出部は、前記光電流に基づいてイベントの発火の有無を検出し、
前記駆動回路は、前記複数の受光部それぞれの前記第1トランジスタをオン状態に制御している期間中に前記検出部が前記イベントの発火を検出した場合、前記イベントの発火が検出された画素ブロックに属する前記受光部それぞれの前記第1トランジスタをオフ状態に制御し、前記第5トランジスタをオン状態に制御するとともに、前記第3トランジスタを一定期間オン状態とし、その後、当該画素ブロックに属する受光部それぞれの第2トランジスタを所定の順番に従って一定期間オン状態に制御する
前記(23)〜(30)の何れか1項に記載の固体撮像装置。
(34)
前記所定の信号線に出現した前記電圧信号を電圧値に応じたデジタル値に変換する変換部をさらに備える前記(32)又は(33)に記載の固体撮像装置。
(35)
前記複数の受光部それぞれは、
前記光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
前記光電変換素子に入射する前記光の偏光方向を前記特定の偏光方向に制限する偏光子と、
を含む前記(21)〜(34)の何れか1項に記載の固体撮像装置。
(36)
前記複数の受光部は、入射光の色彩を再構成するために必要となる波長成分ごとの前記受光部が所定の配列に従って二次元格子状に配列した構成を備える前記(23)〜(35)の何れか1項に記載の固体撮像装置。
(37)
前記所定の配列は、ベイヤー配列、X−Trans(登録商標)型配列、及び、クワッドベイヤー配列のうちの何れかである前記(36)に記載の固体撮像装置。
(38)
前記複数の受光部それぞれに設けられて前記波長成分ごとの前記光を透過する波長選択素子をさらに備える前記(36)又は(37)に記載の固体撮像装置。
(39)
前記画素ブロックそれぞれは、入射光の偏光情報を再構成するために必要となる偏光子の数と、前記入射光の色彩を再構成するために必要となる波長成分の数とを乗算した数の前記受光部を含む前記(36)〜(38)の何れか1項に記載の固体撮像装置。
(40)
各々が特定の偏光方向の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
を備える撮像装置。
100 撮像装置
110 撮像レンズ
120 記録部
130 制御部
139、209 信号線
150、250 統合部
200 固体撮像装置
201 受光チップ
202 検出チップ
211 駆動回路
212 信号処理部
213 アービタ
220 カラムADC
230 ADC
300 画素アレイ部
310、310A、310B、310C、310D、510、610、710、810、910、1010、1110、1210、1310、1410 画素ブロック
314R、314Gr、314Gb、314B カラーフィルタ
320 画素信号生成部
321 リセットトランジスタ
322 増幅トランジスタ
323 選択トランジスタ
324 浮遊拡散層
330、330R、330G、330Gr、330Gb、330B、630H、630H1、630H2、630V、630V1、630V2、630S 受光部
330G/B/R 画素エリア
331 転送トランジスタ
332 OFGトランジスタ
333 光電変換素子
400、400R、400Gr、400Gb、400B アドレスイベント検出部
410 電流電圧変換部
411、413 N型トランジスタ
412 P型トランジスタ
420 バッファ
430 減算器
431、433 コンデンサ
432 インバータ
434 スイッチ
440 量子化器
441 コンパレータ
450 転送部
614H、614H1、614H2、614V、614V1、614V2、614S、914H1、914H2、914V1、914V2 偏光子
820A、1220A 単位パターン
830H1、830H2、830V1、830V2、1030R、1030Gr、1030Gb、1030B、1230H1、1230H2、1230V1、1230V2、1330R1、1330R2、1330G1〜1330G5、1330B1、1330B2 画素グループ
840H1、840H2、840V1、840V2、1040A、1240H1、1240H2、1240V1、1240V2 偏光子群
1020R、1020Gr、1020Gb、1020B、1320R、1320G、1320B カラーフィルタ群
SIG 画素信号
VSL 垂直信号線

Claims (20)

  1. 各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
    前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
    前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
    前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
    を備える固体撮像装置。
  2. 前記検出部は、前記光電流の電流値又は当該電流値の変化量を検出する請求項1に記載の固体撮像装置。
  3. 前記複数の受光部は、少なくとも2つの受光部ごとの画素ブロックにグループ化され、
    前記検出部は、前記画素ブロックごとに、当該画素ブロックに属する受光部のうちの前記少なくとも1つで発生した前記電荷に基づく前記光電流を検出し、
    前記駆動回路は、前記検出部による前記画素ブロックごとの前記光電流の前記検出結果に基づいて、前記画素ブロックごとに、当該画素ブロックに属する前記受光部で発生した前記電荷それぞれに基づく前記電圧信号を前記生成部に生成させる
    請求項1に記載の固体撮像装置。
  4. 前記画素ブロックそれぞれに属する前記受光部は、互いに異なる前記特定波長の光を受光する請求項3に記載の固体撮像装置。
  5. 前記画素ブロックそれぞれは、入射光の色彩を再構成するために必要となる波長成分をそれぞれ受光する受光部の組合せで構成されている請求項4に記載の固体撮像装置。
  6. 前記画素ブロックそれぞれは、赤色の波長成分を受光する第1受光部と、緑色の波長成分を受光する第2受光部と、青色の波長成分を受光する第3受光部とを含む請求項3に記載の固体撮像装置。
  7. 前記検出部は、前記複数の受光部ごとに設けられ、
    前記画素ブロックごとに、当該画素ブロックに属する前記受光部に対して設けられた複数の前記検出部から出力された前記検出結果を統合する統合部をさらに備える
    請求項3に記載の固体撮像装置。
  8. 前記検出部は、前記画素ブロックごとに設けられ、
    前記画素ブロックごとに、当該画素ブロックそれぞれに属する前記受光部それぞれから出力された前記光電流を統合する統合部をさらに備え、
    前記画素ブロックごとの前記検出部は、前記統合部を介して入力された前記光電流を検出する
    請求項3に記載の固体撮像装置。
  9. 前記複数の受光部は、所定の配列に従って二次元格子状に配列する請求項3に記載の固体撮像装置。
  10. 前記所定の配列は、ベイヤー配列、X−Trans(登録商標)型配列、及び、クワッドベイヤー配列のうちの何れかである請求項9に記載の固体撮像装置。
  11. 前記所定の配列は、入射光の色彩を再構成するために必要となる波長成分ごとの前記受光部が所定の配置で組み合わされてなる基本パターンが繰返し配置された構成を備え、
    前記複数の受光部は、前記基本パターンごとに前記画素ブロックにグループ化されている
    請求項9に記載の固体撮像装置。
  12. 前記複数の受光部それぞれは、
    前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
    前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
    を含む請求項1に記載の固体撮像装置。
  13. 前記複数の受光部それぞれは、前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
    前記生成部は、
    前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
    前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
    前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
    前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
    を含む
    請求項12に記載の固体撮像装置。
  14. 前記複数の受光部それぞれは、
    前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
    前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記光電流として前記検出部へ供給する第1トランジスタと、
    前記駆動回路からの制御に従い、前記光電変換素子に発生した電荷を前記生成部へ転送する第2トランジスタをさらに含み、
    前記生成部は、
    前記複数の受光部のうちの何れかから前記第2トランジスタを介して転送された前記電荷を蓄積する浮遊拡散層と、
    前記駆動回路からの制御に従い、前記浮遊拡散層に蓄積されている前記電荷を放出する第3トランジスタと、
    前記浮遊拡散層に蓄積された前記電荷の電荷量に応じた前記電圧信号を所定の信号線に出現させる第4トランジスタと、
    前記駆動回路からの制御に従い、前記第4トランジスタと前記所定の信号線との接続を切り替える第5トランジスタと、
    を含み、
    前記検出部は、前記光電流に基づいてイベントの発火の有無を検出し、
    前記駆動回路は、前記複数の受光部それぞれの前記第1トランジスタをオン状態に制御している期間中に前記検出部が前記イベントの発火を検出した場合、前記イベントの発火が検出された画素ブロックに属する前記受光部それぞれの前記第1トランジスタをオフ状態に制御し、前記第5トランジスタをオン状態に制御するとともに、前記第3トランジスタを一定期間オン状態とし、その後、当該画素ブロックに属する受光部それぞれの第2トランジスタを所定の順番に従って一定期間オン状態に制御する
    請求項3に記載の固体撮像装置。
  15. 前記所定の信号線に出現した前記電圧信号を電圧値に応じたデジタル値に変換する変換部をさらに備える請求項13に記載の固体撮像装置。
  16. 前記複数の受光部それぞれは、
    前記特定波長の光を受光して前記受光量に応じた前記電荷を発生させる光電変換素子と、
    前記光電変換素子に入射する前記光の波長を前記特定波長に制限する波長選択素子と、
    を含む請求項1に記載の固体撮像装置。
  17. 前記複数の受光部それぞれに設けられた偏光子をさらに備える請求項1に記載の固体撮像装置。
  18. 前記複数の受光部それぞれに設けられた偏光子をさらに備え、
    前記画素ブロックそれぞれに属する少なくとも2つの前記受光部に対してそれぞれ設けられた前記偏光子は、偏光軸の光軸を中心とした回転角が互いに異なる
    請求項3に記載の固体撮像装置。
  19. 前記画素ブロックそれぞれは、入射光の色彩を再構成するために必要となる波長成分の数と、前記偏光軸の前記光軸を中心とした前記回転角が互いに異なる前記偏光子の数とを乗算した数の前記受光部を含む請求項18に記載の固体撮像装置。
  20. 各々が特定波長の光を受光して受光量に応じた電荷を発生させる複数の受光部と、
    前記複数の受光部のうちの少なくとも1つで発生した電荷に基づく光電流を検出する検出部と、
    前記複数の受光部それぞれで発生した電荷に基づく電圧信号を生成する生成部と、
    前記検出部による前記光電流の検出結果に基づいて、前記複数の受光部のうちの少なくとも2つで発生した電荷それぞれに基づく電圧信号を前記生成部に生成させる駆動回路と、
    を備える撮像装置。
JP2018187784A 2018-10-02 2018-10-02 固体撮像装置及び撮像装置 Active JP7176917B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018187784A JP7176917B2 (ja) 2018-10-02 2018-10-02 固体撮像装置及び撮像装置
TW108124997A TWI825123B (zh) 2018-10-02 2019-07-16 固態影像擷取裝置及影像擷取裝置
KR1020217007347A KR102712197B1 (ko) 2018-10-02 2019-09-11 이벤트 구동 컬러 촬상 장치
US17/276,426 US11451751B2 (en) 2018-10-02 2019-09-11 Solid-state image pickup device and image pickup device
PCT/JP2019/035649 WO2020071068A1 (en) 2018-10-02 2019-09-11 Event driven colour image pickup
CN201980062026.XA CN112740653A (zh) 2018-10-02 2019-09-11 事件驱动的彩色图像拾取

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018187784A JP7176917B2 (ja) 2018-10-02 2018-10-02 固体撮像装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2020057949A true JP2020057949A (ja) 2020-04-09
JP7176917B2 JP7176917B2 (ja) 2022-11-22

Family

ID=68073109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018187784A Active JP7176917B2 (ja) 2018-10-02 2018-10-02 固体撮像装置及び撮像装置

Country Status (6)

Country Link
US (1) US11451751B2 (ja)
JP (1) JP7176917B2 (ja)
KR (1) KR102712197B1 (ja)
CN (1) CN112740653A (ja)
TW (1) TWI825123B (ja)
WO (1) WO2020071068A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181099A1 (ja) * 2021-02-25 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4405747A1 (en) * 2021-11-15 2024-07-31 Ramot at Tel-Aviv University Ltd. Dynamic vision sensor color camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11231058A (ja) * 1997-07-04 1999-08-27 Integrated Detector & Electronic As センサーの中のアクテイブなピクセルにより放出されるデータ信号を読み取るための方法およびシステム
US20140009648A1 (en) * 2012-07-03 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the same
JP2015041793A (ja) * 2013-08-20 2015-03-02 オリンパス株式会社 撮像装置
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529834B2 (ja) * 2005-07-29 2010-08-25 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US8411146B2 (en) * 2009-09-04 2013-04-02 Lockheed Martin Corporation Single camera color and infrared polarimetric imaging
JP5585232B2 (ja) * 2010-06-18 2014-09-10 ソニー株式会社 固体撮像装置、電子機器
JP2012195734A (ja) * 2011-03-16 2012-10-11 Sony Corp 固体撮像装置、撮像装置、電子機器、及び、固体撮像装置の駆動方法
KR101724513B1 (ko) * 2011-12-19 2017-04-07 유니베르시태트 취리히 포토어레이, 특히 시간 의존성 이미지 데이터의 비동기성 검출과 샘플링된 밝기의 감지를 동시 실시하기 위한 포토어레이
KR102009192B1 (ko) * 2013-02-05 2019-08-09 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
CN105706439B (zh) 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102331920B1 (ko) 2014-12-26 2021-11-29 삼성전자주식회사 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11231058A (ja) * 1997-07-04 1999-08-27 Integrated Detector & Electronic As センサーの中のアクテイブなピクセルにより放出されるデータ信号を読み取るための方法およびシステム
US20140009648A1 (en) * 2012-07-03 2014-01-09 Tae Chan Kim Image sensor chip, method of operating the same, and system including the same
JP2015041793A (ja) * 2013-08-20 2015-03-02 オリンパス株式会社 撮像装置
WO2017013806A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 固体撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181099A1 (ja) * 2021-02-25 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Also Published As

Publication number Publication date
US20220038662A1 (en) 2022-02-03
WO2020071068A1 (en) 2020-04-09
US11451751B2 (en) 2022-09-20
CN112740653A (zh) 2021-04-30
JP7176917B2 (ja) 2022-11-22
TWI825123B (zh) 2023-12-11
KR102712197B1 (ko) 2024-10-04
TW202015228A (zh) 2020-04-16
KR20210066803A (ko) 2021-06-07

Similar Documents

Publication Publication Date Title
US9967472B2 (en) Image sensor combining high dynamic range techniques
KR102612718B1 (ko) 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서
US8541731B2 (en) Solid-state image sensor
TWI586169B (zh) 實施一堆疊晶片高動態範圍影像感測器的方法與系統
TW200526030A (en) Device and method for image sensing
JP2006340358A (ja) ピクセルアレイの読み出しノイズを低減するためのシステム及び方法
TWI533700B (zh) 用於讀取具有轉移閘極升壓之影像感測器
CN112740661A (zh) 固体成像器件、固体成像器件的控制方法以及电子设备
US11665444B2 (en) Image sensor, pixel, and method of operating the pixel
WO2013016688A1 (en) Color imaging using time-multiplexed light sources and monochrome image sensors with multi-storage-node pixels
JP2023076773A (ja) 物体認識システム及び電子機器
WO2018012068A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
KR102712197B1 (ko) 이벤트 구동 컬러 촬상 장치
US12028628B2 (en) Image sensor including pixel including internal capacitor
TWI822641B (zh) 光感測裝置
KR20120122165A (ko) 광역 동적범위를 가지는 이미지 센서, 그 화소 회로 및 구동 방법
US20240121526A1 (en) Image sensor, method of operating the image sensor, and image processing device
US10827139B2 (en) Multiple window, multiple mode image sensor
US20170006206A1 (en) Image sensing device
JP2015008343A (ja) 撮像装置および撮像画像の形成方法
CN110557587B (zh) 图像传感器和操作该图像传感器的方法
KR102060194B1 (ko) 이미지 센싱 장치 및 이의 동작 방법
EP4307703A1 (en) Image sensor and electronic device including the same
US20240363654A1 (en) Pixel, image sensor and operating method of pixel
CN211457239U (zh) 成像像素

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221110

R150 Certificate of patent or registration of utility model

Ref document number: 7176917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150