JP2022500974A - 時間的および空間的コントラストを画像化するための画像センサおよびセンサデバイス - Google Patents

時間的および空間的コントラストを画像化するための画像センサおよびセンサデバイス Download PDF

Info

Publication number
JP2022500974A
JP2022500974A JP2021538897A JP2021538897A JP2022500974A JP 2022500974 A JP2022500974 A JP 2022500974A JP 2021538897 A JP2021538897 A JP 2021538897A JP 2021538897 A JP2021538897 A JP 2021538897A JP 2022500974 A JP2022500974 A JP 2022500974A
Authority
JP
Japan
Prior art keywords
converter
electronic
photoelectric
converters
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021538897A
Other languages
English (en)
Other versions
JP7175051B2 (ja
Inventor
リー,チュンハン
Original Assignee
イニベーション・アー・ゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イニベーション・アー・ゲー filed Critical イニベーション・アー・ゲー
Publication of JP2022500974A publication Critical patent/JP2022500974A/ja
Application granted granted Critical
Publication of JP7175051B2 publication Critical patent/JP7175051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明は、時間に依存する画像データを検出するための画像センサに関し、多数の光電コンバータ(1)と、アレイに配置され、スイッチング素子(tx1、tx2、...)によってリンクされた多数の電子コンバータ(2)とを備え、これにより前記光電コンバータ(1)の各々および前記電子コンバータ(2)のうちの1つが、前記光電コンバータ(1)上の光強度に応じたディジタル情報を発生する対を形成し、これにより前記スイッチング素子(tx1、tx2、...)が前記光電コンバータ(1)のうちの少なくとも2つを前記電子コンバータ(2)のうちの1つに選択的に接続し、前記電子コンバータ(2)のうちの少なくとも2つを前記光電コンバータ(1)のうちの1つに選択的に接続するように構成される。さらにその上、本発明は、画像センサと、前記スイッチング素子を制御するためのスイッチコントローラとを備えるセンサデバイス、およびゲインミスマッチが補償された画像データを得るための方法に関する。

Description

本発明は、時間に依存する画像データを検出するための画像センサおよびセンサデバイスに関する。
現代の画像センサは、一般に、電子コンバータに接続された光電コンバータのアレイから構成される。光電コンバータが入射光を対応するアナログ電気信号へと変換する一方で、電子コンバータは、これらのアナログ信号をアナログ−ディジタルコンバータ、下記ではエンコーダとも呼ばれる、の助けを借りてさらにディジタル信号へと変換する。
画像センサのフォトセンサによってキャプチャされたシーンの時間的な視覚コントラストをエンコードする画像センサの1つのタイプが、米国特許第7,728,269(B2)号に提案されている。時間的コントラストをエンコードすることにより、画像センサの出力データの時間的冗長性がほとんど取り除かれ、これによりON/OFFイベントの形式でアクティビティ駆動型スパースデータを生成する。このことは、各イベントが記号ON/OFFおよびピクセル座標から構成されることを意味する。しかしながら、米国特許第7,728,269(B2)号に提案されたデバイスは、いかなる時間的に静止したシーン情報をもキャプチャすることが不可能である。
時間的に静止したシーン情報をキャプチャする課題に取り組むために、静止シーンを線形にエンコードする出力の第2のストリームを生成する2次的な専用の強度測定用回路によってキャプチャされる静止シーン情報を記述する米国特許第9631974号またはAsynchronous Time−Based Image Sensor(ATIS)(Posch他、2010年)に注意を向けることができる。この2ストリーム手法は、センサに複雑さを加え、互いにほとんど類似性のない2つの出力をもたらす:一方の出力が入射光強度の対数値での時間的差異、これゆえ時間的視覚コントラスト、をエンコードし、一方で他方の出力が、絶対的な入射光強度を線形にエンコードする。
対数的にエンコードされる静止シーンを記述する知られた技術がある。例えば、「A Logarithmic Response CMOS Image Sensor with On−Chip Calibration」(Kavidias他、2000年)によれば、各フォトダイオードにより発生された光電流は、サブスレショルドトランジスタ物理を活用することにより電圧へと対数的に変換される。対数電圧が、次いで測定される。しかし対数変換精度は、較正の後でさえトランジスタミスマッチに悩まされる。米国特許第8363140号によれば、対数変換は、対数ディジタルカウンタをピクセル内シングルスロープアナログ−ディジタルコンバータと組み合わせることによって実現される。しかしながら、この設計では、ピクセルは、時間的コントラストピクセルへと集積するためには複雑すぎる。
局所的な空間的コントラストにより静止シーンをエンコードする概念が、米国特許第6828540号に提案されてきており、そこには、シーンの空間的コントラストをピクセルへの入射光の時間的相違へと変換するために機械的に振動する光学デバイスを使用し、パルス密度変調ベースのスキームを使用してこのような時間的相違をエンコードする画像センサシステムが説明されている。しかしながら、機械的に振動する光学系は、今日の最先端の画像センサシステムでは広くは使用されていない追加の機械的部品を要求する。機械的に振動する光学系は、精細な位置決めおよびタイミング制御を提供するために追加の構成要素が必要である。機械的振動はまた、直交ピクセル配置とは合わない円形のスキャニングパターンを各ピクセルが有するという結果をもたらし、これゆえ、画像の後処理を低い精度にさせる。
局所的な空間的コントラストを検知することは、米国特許第7170043号および「A 100,000fps Vision Sensor with Embedded 535 GOPS/W 256x256 SIMD Processor Array」(Carey他、2013年)に説明されているセンサによって実現されることもある。しかし、これら2つのピクセル設計の両方は、局所的な空間的コントラストを計算するために比較的複雑なピクセル内回路を要求し、これゆえ、時間的コントラストピクセルへと集積されるためには適していない。
最後に、米国特許出願公開第2016/0093273(A1)号は、画像センサを説明し、そこでは各々がフォトダイオードおよびトランスデューサを備えるN×N個のフォトレセプターのクラスタが、アナログ−ディジタルエンコーディング回路であるクラスタ固有の微分器を共有する。米国特許出願公開第2016/0093273(A1)号の目的は、異なるフォトレセプターとエンコーダとの間の接続を時間多重化することを通してエンコーダ回路面積を増加させることなくチップ上のフォトダイオード密度を増加させることである。米国特許出願公開第2016/0093273号に説明されたセンサは、静止シーンをエンコードしない。
米国特許第7728269号明細書 米国特許第9631974号明細書 米国特許第8363140号明細書 米国特許第6828540号明細書 米国特許第7170043号明細書 米国特許出願公開第2016/0093273号明細書
リソース、特にチップ面積の使用を減少させながら、シーンの時間的視覚コントラストおよび空間的視覚コントラストの両方を得ることが可能であるデバイスを提案することが本発明の目的である。画像信号の後処理においてゲインミスマッチおよびオフセットミスマッチ除去をサポートするために、より精細な位置決めおよびタイミング制御を提供することが、本発明のさらなる目的である。
この目的は、請求項1に記載の特徴を有する画像センサ、請求項14に記載の特徴を有するセンサデバイス、および請求項15に記載の特徴を有する方法を提供することにより本発明にしたがって満足される。本発明のさらに有利な実施形態が、従属請求項の主題である。
本発明の1つの態様によれば、画像センサは、多数の光電コンバータと、多数の電子コンバータとを備える。光電コンバータがアレイに配置され、電子コンバータがアレイに配置される。これらのアレイの各々は、例えば1次元アレイ、または任意の形態の2次元アレイ、特に正方形アレイ、六角形アレイ、または三角形アレイであるかもしれない。光電コンバータおよび電子コンバータは、光電コンバータを電子コンバータと選択的に接続するように構成されたスイッチング素子によりリンクされる。
下記では、スイッチング素子が特定の光電コンバータを特定の電子コンバータに選択的に接続するように配置され構成されるという事実は、特定の光電コンバータが特定の電子コンバータにスイッチング素子によってリンクされる、またはスイッチング素子を介して接続されることが可能であるもしくは接続可能であると表現されることがある。したがって、本発明によれば、各光電コンバータは、スイッチング素子により電子コンバータにリンクされ、前記光電コンバータに当たる光の強度に応じてディジタル情報を発生する対を形成する。この画像センサでは、光電コンバータのうちの少なくとも2つが、前記電子コンバータのうちの1つにスイッチング素子によってリンクされる。さらにその上、前記電子コンバータのうちの少なくとも2つが、前記光電コンバータのうちの1つにスイッチング素子によってリンクされる。スイッチング素子によって、電子コンバータが光電コンバータにリンクされる、または光電コンバータが電子コンバータにリンクされるという事実は、スイッチング素子のスイッチング状態に応じて、光電コンバータによって発生された信号が、電子コンバータに達するまたは達しないことのいずれかを意味する。達するケースでは、光電コンバータは、スイッチング素子を経由して電子コンバータに接続されると言われる。
このコンテキストにおける接続は、導電性接続があることを意味することに注意すべきである。2つの光電コンバータが1つの電子コンバータにスイッチング素子を介して接続され得るまたは接続可能であるということは、スイッチング素子の構成に応じて、2つの光電コンバータのうちの一方からのまたは他方からの信号が電子コンバータに達することを意味する。同様に、電子コンバータのうちの2つが1つの光電コンバータにスイッチング素子を介して接続され得るまたは接続可能であるということは、スイッチング素子の構成に応じて、光電コンバータからの信号が2つの電子コンバータのうちの一方または他方に向けられることを意味する。
上に説明したように、米国特許第7,728,269(B2)号に説明された画像センサは、視認した画像の時間的コントラストをエンコードすることが可能である。スイッチング素子を適切に駆動することにより、例えば、異なる光電コンバータからの信号が1つの単一の電子コンバータに連続して達することを可能にすることにより、空間的コントラストを時間的コントラストへと変換することが可能であり、したがって画像の空間的コントラストが得られることを可能にする。言い換えると、スイッチング素子の正確な制御に応じて、画像センサは、時間的画像コントラストまたは空間的画像コントラストのいずれかを出力することができる。
上に説明したように、米国特許出願公開第2016/0093273(A1)号に説明された画像センサは、クラスタ固有のエンコーディング回路を共有するN×N個のフォトレセプターのクラスタを備える。これゆえ、フォトレセプターとエンコーダとの間にN×N対1のマッピングがある。エンコーダは、クラスタ固有であり、このことはクラスタがエンコーダへのそれらの接続に関してオーバーラップしないことを意味する。どんなときでも、フォトダイオードの全数のうちの一部分だけが機能している、すなわち、エンコードされている。対照的に、本発明による画像センサでは、多数の光電コンバータが、スイッチング素子により多数の電子コンバータにリンクされる。目的は、移行中に、電子コンバータが空間的コントラストをエンコードできるように、すべての電子コンバータが異なる光電コンバータからの信号を「見る」ことまたは受けとることを可能にすることである。一方で多数の光電コンバータのうちの1つだけが、電子コンバータのうちの1つにアクティブに接続されることがあり、他の光電コンバータは、他の電子コンバータに接続されることがある。さらに重要なことに、各電子コンバータの「視野」は、全体のシーンの空間的コントラストが隙間なく連続的にエンコードされ得るように、経時的に見たときに互いにオーバーラップする。この連続性の仮定はまた、半導体製造プロセスの回避できない物理的な限界に起因する、コンバータ対の何らかの不均一性を識別し補償するためにも使用され、これにより画像化したシーンのより良い復元を可能にする。
光電コンバータは、フォトン−電子変換を実行するコンバータである。光電コンバータは、フォトダイオード、特にピンドフォトダイオード(PPD)であってもよい。光電コンバータは、光電コンバータ上に当たっている光の強度に依存する、特に線形に依存するまたは比例する電流、光電流を発生するように構成されることがある。対照的に、電子コンバータは、電子コンバータが異なる電子信号の間の変換、または電子−電子変換を単独で実行するという理由でそのように名付けられる。下記の説明では、光電コンバータよりはむしろ電子コンバータがピクセルと呼ばれることがある。特に、電子コンバータが信号コンバータおよびエンコーダを備える場合には、各信号コンバータ/エンコーダ対は、画像センサのピクセルとみなされることがある。
光電コンバータはまた、さらなる電子信号コンバータを備えることができ、これは電流−電流コンバータ、電流−電圧コンバータ、電圧−電流コンバータ、または電圧−電圧コンバータであってもよい。信号コンバータの出力は、その入力信号の出力に線形に、対数的に、またはいくつかの他の関数にしたがって、依存することがある。これゆえ、このケースでは、光電コンバータの出力は、光強度入力信号に線形に、対数的に、またはいくつかの他の関数にしたがって、依存するはずである。関数は、特に、(例えば、光強度の6桁に対応する)入力のはるかに広い範囲を比較的小さな電子信号範囲(例えば、100mV)へと圧縮することを可能にするために、対数関数などの圧縮関数(compressing function)であってもよい。
代わりにまたは累積的に、電子信号コンバータまたは追加の電子信号コンバータは、電子コンバータの一部であってもよい。この実施形態では、電子信号コンバータの出力は、光電コンバータの出力に線形に、対数的に、またはいくつかの他の関数にしたがって依存している。このように、有利な実施形態では、前記対の前記電子コンバータは、電子信号コンバータを備え、これは前記対の前記光電コンバータと組み合わせて、前記光電コンバータ上の光強度に応じてアナログ電子信号を発生するように構成される。例として、光電コンバータは、フォトン−電子変換を実行し、電流を発生する。この電流は、電子コンバータの一部である対数電流−電圧コンバータ内で電圧に変換される。次いで、入射光に対数的に依存しているこのアナログ電圧信号は、電子コンバータの一部でもあるエンコーダを使用して、ディジタル信号へと変換される。
2つの光電コンバータの一部である2つの信号コンバータを、エンコーダ(すなわち、アナログ−ディジタルコンバータ)を含む単一の電子コンバータに連続的に接続することが可能である一方で、この実施形態は、下記の欠点を有する:各信号コンバータが雑音を導入する。信号コンバータは、通常同一ではなく、ゲインミスマッチおよびオフセットミスマッチを示す。これゆえ、異なる信号コンバータが1つのエンコーダに連続的に接続される場合には、ディジタルエンコーダ信号内でエンコードされた空間的コントラストは、ゲインミスマッチおよびオフセットミスマッチを含むはずであり、これらはもはやディジタル信号から除去できない。電子コンバータの内部に信号コンバータを設置することの利点は、今や2つの光電コンバータからの2つの信号が、信号コンバータおよびエンコーダの両方を含んでいる単一の電子コンバータへ連続的に送られることである。今や、エンコードされた空間的コントラストが信号コンバータのゲインミスマッチを依然として含むとはいえ、ゲインミスマッチは、2つの隣り合う信号コンバータが共通の相対的な空間的差異を変換したという理由で、後に補償され得る。さらにその上、2つの光電コンバータの間の相対的な空間的差異が同じ信号コンバータに由来するという理由で、もはやオフセットミスマッチがない。
有利な実施形態によれば、電子コンバータ内の前記エンコーダは、パルス密度変調を使用して、前記アナログ電子信号を前記ディジタル信号へ変換するように構成される。パルス密度変調ベースのアナログ−ディジタルエンコーダは、各ピクセルが1つのそのようなアナログ−ディジタルエンコーダ素子を含むように、ピクセル並列方式でアナログ−ディジタルエンコーダが実現され得るように十分に小型であるという利点を有する。
好ましい実施形態によれば、画像センサは、別々に製造され、インターコネクションを介してつながれる2つの半導体ダイから作られる。特に、光電コンバータの一部であってもまたは電子コンバータの一部であってもよい信号コンバータ、および電子コンバータの一部であるエンコーダは、製造中には2つの別々の半導体ダイ上に配置されることがあり、次いで前記2つの半導体ダイの間のインターコネクトを介して電気的に接続されることがある。
好ましくは、前記スイッチング素子は、前記光電コンバータを前記電子コンバータの入力に対して時間多重化するように配置され構成される。このことは、第1の期間中に、一方の光電コンバータの出力信号が電子コンバータの入力部に送られ、引き続く第2の期間中に、他方の光電コンバータの出力信号が電子コンバータの入力部に送られることを意味する。3つ以上の光電コンバータが3つ、4つまたはそれ以上などの適切な数のスイッチング素子により1つの電子コンバータにリンクされる場合には、時間多重化は、光電コンバータが次々と電子コンバータに切り替えられるようにスイッチング素子を駆動させることによって、機能する。スイッチング素子を介して時間多重化が周期的に実行されることがある。
好ましくは、同じ数の第1の光電コンバータを対応する電子コンバータに接続するいくつかの第1のスイッチング素子、同じ数の第2の光電コンバータを対応する電子コンバータに接続するいくつかの第2のスイッチング素子、等がある。すべての第1のスイッチング素子は、第1の光電コンバータからの出力信号が対応する電子コンバータに達することを可能にするために同時に駆動されることがあり、次いですべての第2のスイッチング素子が同時に駆動されることがある、等。
スイッチング素子用の駆動信号は、画像センサに接続されたスイッチコントローラにより発生されることがある。これゆえ、本発明のさらなる態様では、本明細書において説明したような画像センサ、および前記画像センサの前記スイッチング素子に接続され、前記スイッチング素子を制御するためにスイッチング信号を発生するように構成されたスイッチコントローラを備える、時間に依存する画像データを検出するためのセンサデバイスが提案される。スイッチング信号を発生するスイッチコントローラは、マイクロコントローラ、または画像センサと同じチップに実現された論理ブロックであってもよい。しかしながら、スイッチコントローラは、光電コンバータのアレイの外部に設置される。
画像センサに関連して述べたすべての特徴は、センサデバイスに関連して同等に有利である。言い換えると、画像センサまたはその構成要素が特定の方法で作用するようにまたは特定の信号を発生するように構成されることが述べられる場合には、このことは、これが起きることを可能にするまたは確実にするために、スイッチコントローラが適切にプログラムされることも意味することがある。例えば、前記スイッチング素子が前記光電コンバータを前記電子コンバータの入力に対して時間多重化するように配置され構成されるという特徴は、スイッチコントローラがその時間多重化を実行するためにスイッチング素子を駆動するための適切なスイッチング信号を発生するように構成されるときにはセンサデバイスに同等に当てはまることがある。
有利な実施形態によれば、前記電子コンバータは、前記スイッチング素子により前記電子コンバータにリンクされた前記光電コンバータのうちの2つの上の光強度の間の相対的な差異または不均衡に応じて、ディジタル情報を発生するように構成される。言い換えると、ディジタル情報は、第1の強度と第2の強度との間の相対的な差異に依存し、ここでは第1の強度が第1の光電コンバータにおける光の強度であり、第2の強度が第2の光電コンバータにおける光の強度である。このように、画像センサは、検知した画像の空間的コントラスト情報を得ることが可能である。電子コンバータの入力が第1の光電コンバータから第2の光電コンバータに切り替えられると、そのときには、エンコーダ出力は、第2の強度に対応する信号コンバータ出力と第1の強度に対応する信号コンバータ出力との間の差異のディジタル信号になる。さらに下に説明されるように、信号コンバータ出力が入射光に対数的に依存する場合には、強度差が絶対強度に対して小さければ、この信号コンバータ出力差は、コントラストまたは相対的な強度差に比例する。
有利には、前記スイッチング素子によって前記電子コンバータのうちの1つにリンクされた少なくとも2つの光電コンバータは、アレイ内で互いに隣接して配置される。このことはまた、2つ以上の光電コンバータが前記スイッチング素子によってその1つの電子コンバータにリンクされるときにも当てはまることがある。特に、2次元正方形アレイでは、正方形内の4つの隣接する光電コンバータは、スイッチング素子によってその1つの電子コンバータにリンクされる。したがって、六角形アレイまたは三角形アレイでは、スイッチング素子によって電子コンバータにリンクされた隣接する光電コンバータが、六角形または三角形にそれら自体配置されることがある。
有利には、前記電子コンバータに隣接して設置された隣接する電子コンバータは、スイッチング素子により前記電子コンバータおよび前記隣接する電子コンバータの両方にリンクされる同じ2つの光電コンバータ上の光強度の間の相対的な差異または不均衡に応じて、少なくとも1つのディジタル情報を発生するように構成される。
スイッチング素子を介した光電コンバータと電子コンバータとの間の時間多重化の空間的な順序が、異なるスキームで実現されることがある。2つのこのようなスキームが、ここで、さらに下記でより詳細に論じられる、その一方は、同時ダブルエンコーディングスキームと呼ばれ、他方は、空間的に構成されるスキームと呼ばれる。画像センサがいずれかのこのようなスキームをサポートするように構成されなければならないが、スイッチコントローラは、それに応じて画像センサのスイッチング素子を駆動するために適切なスイッチング信号を発生するように構成されなければならない。しかしながら、画像センサが別々に製造され販売され得ることに留意すべきである。
同時ダブルエンコーディングスキームによれば、前記電子コンバータおよび前記隣接する電子コンバータは、2対のスイッチング素子によって前記2つの光電コンバータにリンクされ、これにより、各前記スイッチング素子の対が同じ方法で切り替えられるように構成される。言い換えると、2つの隣接する光電コンバータにおける光の間の相対的な強度差、およびしたがってこれらの間の相対的な空間的差異が、同時に2つの隣接するエンコーダによってエンコードされる。このスキームを用いて、モーションアーチファクトの効果が、エンコードされたディジタル情報の後処理中に減少され得る。より具体的に、2対のスイッチング素子は、スイッチングイベントの前に、前記光電コンバータが前記電子コンバータに接続され、前記隣接する光電コンバータが前記隣接する電子コンバータに接続され、前記スイッチングイベントの後で、前記光電コンバータが前記隣接する電子コンバータに接続され、前記隣接する光電コンバータが前記電子コンバータに接続されるように、前記光電コンバータおよび前記隣接する光電コンバータを前記電子コンバータおよび前記隣接する電子コンバータに選択的に接続するように配置され構成される。
空間的に構成されるスキームによれば、前記光電コンバータのアレイ、前記電子コンバータのアレイおよび前記スイッチング素子は、第1の光電コンバータが第1のアクティブなスイッチング素子を介して第1の電子コンバータに接続され、第2の光電コンバータが第2のアクティブなスイッチング素子を介して第2の電子コンバータに接続されるときには、どんなときにでも第1の光電コンバータおよび第2の光電コンバータが第1の電子コンバータおよび第2の電子コンバータと同じ相対的な距離を有するように構成される。このスキームは、空間的に相関するエンコーディングを可能にし、このことは、すべての電子コンバータ、またはピクセル、およびそれらの接続された光電コンバータが、すべてのスイッチングモダス(modus)の全体を通して同じ相対的な空間的位置を有することを意味する。このスキームは、画像センサ出力への空間的相関ベースの後処理をサポートすることが可能である。
有利には、光電コンバータの数は、電子コンバータの数に実質的に等しい。このことは、2つ以上の光電コンバータがスイッチング素子により1つの電子コンバータにリンクされる一方で、これら2つ以上の光電コンバータの各々が同じ数の電子コンバータに順にリンクされることを意味する。言い換えると、1つの電子コンバータの視野が、もう1つの、特に隣接する電子コンバータの視野にオーバーラップすることがある。好ましくは、任意の所与の時間に、各光電コンバータの出力信号が、1つの対応する電子コンバータに送られる。アレイの端部のところにおいてのみ、これは正しくないかもしれない。
ここで、「実質的に」という修飾語は、光電コンバータの数および電子コンバータの数が、画像センサの幾何学的制限または他の理由に起因して、少量だけ変わり得ることを意味する。特に、不一致は、2%未満、5%未満または10%未満であってもよい。このような不一致についての理由は、アレイの端部のところの光電コンバータが、アレイ内部の光電コンバータと同じ数の、接続されるべき電子コンバータを持たなくてもよいことであり得る。特に、光電コンバータの数がNである場合には、不一致は、2/Nのオーダーであり得る。
あるいは、光電コンバータの数は、電子コンバータの数の倍数であってもよい。例えば、N個の光電コンバータが単一の電子コンバータと関連付けられることがある。このケースでは、本明細書において説明するスイッチングスキームおよびゲインミスマッチ補償を実現することを可能にするために、隣接する電子コンバータが共有された光電コンバータのうちの1つ以上の対を共有することが必要である。そのことは、共有された光電コンバータが、隣接する電子コンバータの両方にスイッチング素子によってリンクされることを意味する。2つの隣接する電子コンバータの視野が少なくとも1対の光電コンバータ分、オーバーラップすると言うことができる。
本発明のさらなる態様によれば、ゲインミスマッチが補償された画像データを得るための方法が提供される。この補償方法は、以下のステップを有する:第1のステップでは、第1のディジタル情報が第1の電子コンバータから得られる。この第1のディジタル情報は、特に、スイッチング素子により第1の電子コンバータにリンクされた2つの光電コンバータからのエンコードされた画像データであり得る。第1のディジタル情報は、前記2つの光電コンバータ上の光強度の相対的な差異または不均衡に応じた第1の基準情報を含む。さらにその上、第2のディジタル情報が第2の電子コンバータから得られる。第1のディジタル情報と同様に、第2のディジタル情報は、特に、スイッチング素子により第2の電子コンバータにリンクされた前記2つの光電コンバータからのエンコードされた画像データであってもよい。この第2のディジタル情報は、前記2つの光電コンバータ上の光強度の差異にやはり依存する第2の基準情報を含む。
上に説明した同時ダブルエンコーディングスキームでは、第1のディジタル情報および第2のディジタル情報が同時に得られることができ、一方で空間的に構成されるスキームでは、第2のディジタル情報は、第1のディジタル情報と比較して異なる時刻において得られる。
第1の基準情報および第2の基準情報が、おそらく異なる符号を有する同じ2つの光電コンバータ上の光強度の相対的な差異をエンコードすることから両方とも得られる一方で、それらは、第1の電子コンバータと第2の電子コンバータとの間のゲインミスマッチのために異なるかもしれない。これゆえ、前記第1の基準情報および前記第2の基準情報から調節係数を得ることができ、前記第1のディジタル情報および第2のディジタル情報のこのようなゲインミスマッチを補償するために調節係数を使用することができる。これは、基準として第1の電子コンバータを取り、調節係数で前記第2のディジタル情報を調節することによって、または基準として第2の電子コンバータを取り、調節係数で前記第1のディジタル情報を調節することによってのいずれかで行われることがある。
特に、調節係数は、第1の基準情報と第2の基準情報との割合として取られることがある。この補償方法に関するケース例は、下記に図7に関連して説明される。
本発明の実施形態のいくつかの例が、添付の模式的図面を参照して下記の説明ではより詳細に説明される。
1つの好ましい実施形態による、電子コンバータおよび光電コンバータを備えている画像センサ内のピクセルの模式的断面図を示す。 1つの好ましい実施形態による、対応するスイッチング素子により4つの光電コンバータにリンクされた信号コンバータの模式図を示す。 1つの好ましい実施形態による、信号コンバータおよびエンコーダの模式的回路図を示す。 1つの好ましい実施形態による、一連のスイッチング信号に応じた例示的なエンコーダ出力のタイミング図を示す。 1つの好ましい実施形態による、光電コンバータアレイ、および半導体ダイ上でスイッチング素子によって光電コンバータにリンクされた信号コンバータのアレイの模式的レイアウトの図を示す。 図5に示したダイにインターコネクトを介して接続可能であるさらなる半導体ダイ上の電子コンバータアレイの模式的レイアウトの図を示す。 1つの好ましい実施形態による、ゲインミスマッチを補償するための、画像センサによって発生された信号の後処理を図説するための図を示す。 半導体ダイ上で同時ダブルエンコーディングスキームにしたがって配置され駆動される、信号コンバータ、およびこれらを接続しているスイッチング素子とともに、光電コンバータアレイの模式的レイアウトの図を示す。 半導体ダイ上で空間的に構成されるエンコーディングスキームにしたがって配置され駆動される、信号コンバータ、およびこれらを接続しているスイッチング素子とともに、光電コンバータアレイの模式的レイアウトの図を示す。
下記に説明する実施形態による画像センサは、フォトダイオードの2次元長方形アレイおよび入射光強度を対数的にアナログ電圧信号へと変換するトランスデューサ素子、ならびにディジタル信号としてアナログ電圧信号をエンコードするアナログ−ディジタルエンコーダ素子の2次元長方形アレイを備える。各光電コンバータは、これゆえフォトダイオードとして、特にPPDとして形成され、一方で各電子コンバータは、下記ではトランスデューサと呼ばれる対数的電流−電圧信号コンバータ、および、エンコーダと呼ばれる、アナログ電圧レベルをディジタル情報へと変換するためのアナログ−ディジタルコンバータを有する。
画像センサは、4つの隣接するフォトダイオードを1つのトランスデューサの入力に対して電子的に時間多重化することより静止シーン空間的コントラストをエンコードし、したがって静止シーン空間的コントラストをトランスデューサ素子入力部における時間的変動、これゆえ変換されたアナログ信号における時間的変動へと変換する。エンコーダは、次いで、パルス密度変調ベースのスキームを使用して、前記時間的変動をエンコードする。
入射光強度の対数差異と空間的コントラストとの間の数学的関係は、式
Figure 2022500974
により説明され、ここで、Iが入射光強度であり、kがコントラストゲインである。この式は、入射光強度における小さな空間的差異ΔIに関して、空間的コントラストΔI/Iは、入射光強度の対数値log(I)における空間的差異により近似され得ることを示す。
センサがフォトダイオードとトランスデューサとの間の時間多重化動作を停止する場合には、変換されたアナログ信号内の時間的変動は、シーンの時間的コントラストに直接対応する。これゆえ、時間多重化を伴わず、センサは、シーンの時間的コントラストだけをエンコードする。
図1は、フォトダイオード1、トランスデューサ3およびエンコーダ4の要約した断面図を図示している。図1では「3」とラベルを付けた参照符号括弧が同様にフォトダイオード1を包含するとはいえ、フォトダイオード1がトランスデューサ3の一部でないことに留意すること。センサは、ピンドフォトダイオード(PPD)を利用する。PPDの使用は、異なる多重化時間ウィンドウの間のトランスデューサ3およびエンコーダ4への入力の暗信号の差異を最小にする。PPD1およびトランスデューサ3のアレイは、画像センサプロセスシリコンダイ上に製造される。エンコーダ4アレイは、ミックスドシグナルプロセスシリコンダイ上に製造される。2つのダイは、トランスデューサ−エンコーダ対当たり1つのインターコネクト50を介して結合される。前に述べたように、下記では、1つのトランスデューサ−エンコーダ対が、1つのピクセルと呼ばれ、これは、時間多重化プロセス中の異なる瞬間に、異なるPPDが同じピクセルに接続されるという理由で、PPDを含まない。現在示され論じられている実施形態では、2つのダイの間のインターコネクトは、トランスデューサをエンコーダに接続しているとはいえ、1つまたは2つのダイ上に回路を分散させる他の方法がある。例として、インターコネクトは、エンコーダ用の回路の内部に設置されてもよい。
また図1に示したものは、画像センサプロセスシリコンダイのシリコン基板51および金属層52ならびにミックスドシグナルセンサプロセスシリコンダイのシリコン基板54および金属層53である。
図2は、1つのトランスデューサ3および4つのPPD1の回路模式図を示し、それはスイッチング素子tx1、tx2、tx3、tx4によってリンクされる。各PPD1は、前記スイッチング素子により、図2には示されていない3つの他の電子コンバータにさらにリンクされる。
トランスデューサ3の出力、アナログ電圧信号vsfは、1対1インターコネクト50を介して、積層されたミックスドシグナルダイ上の対応するエンコーダの入力部へ送られる。各トランスデューサ3は、4つのスイッチング素子によって4つの隣り合うPPD1にリンクされ、これらはスイッチング信号によって制御されるトランスファゲートとして実現され、各PPD1が、同じ方法で4つの隣り合うトランスデューサ3にリンクされる。スイッチング信号は、図には示されていないスイッチコントローラによって提供されなければならない。これらのスイッチング信号は、下記にさらに図4と関連して説明される。同じ参照番号を有するスイッチング素子は、同じスイッチング信号を受け取るまたは同じスイッチング信号により駆動されることが留意されるべきである。例えば、「tx1」とラベルを付けられたスイッチング素子は、同じスイッチング信号をすべてが受け取り、この信号もまたtx1とラベルを付けられることがある。
エンコーダは、次いでトランスデューサ3出力、すなわちアナログ信号vsfをディジタル信号へと変換する。エンコーダ素子がピクセル並列方式(すなわち、各ピクセルが1つのそのようなアナログ−ディジタルエンコーダ素子を含む)で実現され得るように十分に小型である必要があることを考えると、パルス密度変調ベースのアナログ−ディジタルエンコーダは、適切な選択である。パルス密度変調(デルタ変調)ベースのエンコーダは、先行技術米国特許第7,728,269(B2)号、米国特許第9631974号およびATIS(Posch他。2010年)で実現されている。図3は、米国特許第7,728,269(B2)号に説明されたデバイスを変更することによって得られるエンコーダの模式図例を示す。図3の上部の回路図は、米国特許第7,728,269(B2)号から取ったフォトアレイのセルの回路図である。それは、フォトダイオードD、2つのトランジスタT5a、T5bから作られた電圧バッファを通してエンコーダに接続された対数増幅器を形成する4つのトランジスタT1−T4を備える。図3の下部の回路は、(破線のボックスAで表示された)フォトダイオードD、増幅器T1−T4、および電圧バッファT5a、T5bを、図2ではトランスデューサ3内のvfdに接続されたトランジスタ6を用いて電圧バッファを形成する(破線のボックスBで表示された)トランジスタで置き換えながら、エンコーダ4を保つことにより、米国特許第7,728,269(B2)号から取った回路を単純化したものを示す。
どんなときでも、ただ1つのスイッチング素子tx1、...、tx4が、オンに切り替えられるまたはアクティブである。この1つのスイッチング素子tx1、...、tx4を介して、1つのトランスデューサ−エンコーダ対3、4がただ1つのPPDに接続され、ただ1つのPPDが1つのトランスデューサ−エンコーダ対3、4に接続される。2Dアレイの端部のところのPPDに関して例外であるはずであり、これはある時点でトランスデューサ−エンコーダ対に接続されないことがある。これゆえ、スイッチング信号tx1、...、tx4が一定に保たれているときには、画像センサは、米国特許第7,728,269(B2)号に説明されたデバイスと同様に、シーンの時間的コントラストをエンコードしているだけである。
図4は、時間多重化を実行するためのスイッチング信号tx1、...、tw4のタイミング図を示す。時間多重化の全体を通して、PPD1とトランスデューサ−エンコーダ対3、4との間の1対1接続が維持される。時間多重化中に、エンコーダ4出力は、隣接するPPD1の間の光電流の対数の差異、これゆえ空間的コントラストを表す対数の電圧vsfの変化のエンコードされた信号である。言い換えると、1つのスイッチングイベントの後で、第2のスイッチング素子がオフに切り替えられ、第1のスイッチング素子がオンに切り替えられると、エンコーダ出力は、第2のスイッチング素子を介して接続されたPPDからの対数の信号と第1のスイッチング素子を介して接続されたPPDからの対数の信号との間の差異に対応する。
1つのスイッチング素子から次のスイッチング素子へのスイッチングのためのスイッチング間隔は調節可能であり、これがエンコードされた空間的コントラストのビット深さを決定する。例えば、最大でピクセル当たり1パルスを可能にする短いスイッチング間隔が選ばれる場合には、エンコードされた空間的コントラストは、ただ1つの勾配レベルを有する。他方で、スイッチング間隔が最大でピクセル当たり100パルスを可能にする場合には、エンコードされた空間的コントラストは、100個の可能な勾配レベルを有する。
アクティブなまたはオンモードのスイッチング素子tx1、...、tx4が4回シフトする1つの時間多重化サイクル内で、2つの隣接するフォトダイオード1毎の間の相対的な空間的差異が、2つの隣接するトランスデューサ−エンコーダ対によって変換されエンコードされ、2つの隣接するトランスデューサ−エンコーダ対毎に、同じ2つの隣接するフォトダイオード1の間の1つの相対的な空間差異をエンコードしている。
図5は、半導体ダイ、すなわち画像センサプロセスダイ上のPPD1のアレイおよびスイッチング素子tx1、...、tx4によりPPD1にリンクされたトランスデューサ3のアレイの一部分の模式的レイアウトを示す。トランスデューサ3回路によって導入されるジャンクションリーク電流は、時間多重化期間の全体を通して一定のままである。そしてPPD1の低い暗電流のために、異なるPPD1の間の多重化は、それらの暗信号の差異により引き起こされる最小のオフセット雑音を導入する。これゆえ、各トランスデューサ3の出力の時間的変動は、時間多重化プロセス中に最小のオフセット雑音を伴いPPD1アレイ内の正確な空間的コントラストを表すことが可能である。PPD1アレイの空間的コントラストだけが、絶対信号レベルの代わりにエンコードされるという理由で、いずれのトランスデューサ3段においてもオフセットミスマッチがない。
図6は、さらなる半導体ダイ、すなわちミックスドシグナルプロセスダイ上の電子コンバータアレイの模式的レイアウトを示す。エンコーダ4は、図5に示した画像センサプロセスダイ上のトランスデューサ3のピッチとマッチングする2Dアレイに設置される。図5および図6の破線の円は、2つのダイの間のインターコネクトの位置を示している。典型的には、ミックスドシグナルプロセスダイは、ミックスドシグナルプロセスダイ上の同じ面積がより多くの回路を含むことができるように、画像センサプロセスダイよりもはるかに小さなノードサイズを採用する。エンコーダ4からの最終ピクセル出力は、トランスデューサ対数変換におけるゲインミスマッチ、およびエンコーダ量子化しきい値変動に起因するゲインミスマッチにより引き起こされる固定パターン雑音を含む。これらのゲインミスマッチは、後処理で除去され得る。
図7は、ゲインミスマッチを補償するための、画像センサによって発生された信号の後処理を図説するための図を示している。この単純化した例は、たった2行で3列のPPD1および2つの隣接するピクセル、すなわち、トランスデューサ−エンコーダ対に基づいている。図7の、およびまた、続く図8および図9の個々のPPDおよびピクセルは、それらそれぞれのアレイ内のそれらの座標(行、列)により識別される。これゆえ、これまでに使用した参照番号は、視覚的な明確さのために省略される。
1つの完全な時間多重化サイクルの後で、PPD(0,1)とPPD(1,1)との間の同じ空間的コントラストが−1としてピクセル(0,0)により、および2としてピクセル(0,1)によりエンコードされる(符号はスイッチング方向を示す)。これゆえ、PPD(0,1)とPPD(1,1)との間のゲインミスマッチは、1:2として導出され得る。この情報を用いて、ピクセル(0,0)が基準として取られる場合には、ピクセル(0,1)からの空間的コントラスト出力は、0.5倍に縮尺され、これゆえ、全アレイにわたる空間的コントラストが、ピクセル(0,1)を基準にして計算され得る。そしてPPD(0,0)が値0をとる場合には、全アレイの値は、縮尺された空間的コントラストに基づいて計算され得、これがシーンの対数的に圧縮された画像を生成する。
PPDとトランスデューサとの間の時間多重化中にスイッチング素子tx1、...、tx4の空間的順番を構成するための2つの可能なスキーム:図8に示した同時ダブルエンコーディングスキームおよび図9に示した空間的に構成されるエンコーディングスキーム、がある。
図8は、半導体ダイ上に同時ダブルエンコーディングスキームにしたがって配置され駆動される、信号コンバータ、およびこれらに接続されるスイッチング素子とともに、光電コンバータアレイの模式的レイアウトを示す。これは、図5に示したものと同じスキームである。1st、2nd、3rdおよび4thとラベルを付けられた矢印が導入され、これらはスイッチング素子のオン−モードのシフトの順番を示す。図8および図9の両方で、スイッチング順は、図4に示した図にしたがう。すなわち、最初に、tx1とラベルを付けられたスイッチング素子がオンモダスであり、次いでtx2とラベルを付けられたもの、等である。
同時ダブルエンコーディングは、同じ2つの隣接するPPDの間の相対的な空間的差異が、反対方向に同時に2つのピクセルによってエンコードされることを意味する。例えば、(tx4からtx1への)オンモードシフトの4番目のスイッチング素子のところでは、ピクセル(x,y)はPPD(x,y−1)からPPD(x,y)へ空間的コントラストをエンコードし、ピクセル(x−1,y)はPPD(x,y)からPPD(x,y−1)へ空間的コントラストをエンコードする。このスキームは、後処理ゲインミスマッチ除去におけるモーションアーチファクトの効果を減少させる。
図8の点から見て、同時ダブルエンコーディングモードのスイッチングプロセスを説明するもう1つの方法は、2つのPPDと2つのトランスデューサおよび選択的にこれらを接続するスイッチング素子の対に焦点を当てることである。例えば、PPD(PPD(x,y))ならびに(tx1とtx2とラベルを付けられた)スイッチング素子の2つの対によりトランスデューサ(ピクセル(x,y))および隣接するトランスデューサ(ピクセル(x,y+1))にリンクされた隣接するPPD(PPD(x+1,y)を見ることができる。これらのスイッチング素子の各対は、(「1st」とラベルを付けられた)矢印で示され、1番目(「1st」)のスイッチングイベントを表し、1番目のスイッチングイベントの前ではtx1とラベルを付けられたスイッチング素子がオンであり、一方でtx2とラベルを付けられたスイッチング素子がオフであり、1番目のスイッチングイベントの後では、tx2とラベルを付けられたスイッチング素子がオンであり、一方でtx1とラベルを付けられたスイッチング素子がオフであることを示している。これゆえ、1番目のスイッチングイベントの前では、PPD(PPD(x,y))がトランスデューサ(ピクセル(x,y))に接続され、隣接するPPD(PPD(x+1,y)が隣接するトランスデューサ(ピクセル(x,y+1))に接続される。次いで、1番目のスイッチングイベントの後では、接続が逆にされる:今やPPD(PPD(x,y))が隣接するトランスデューサ(ピクセル(x,y+1))に接続され、隣接するPPD(PPD(x+1,y)がトランスデューサ(ピクセル(x,y))に接続される。
図9は、半導体ダイ上に空間的に構成されるエンコーディングスキームにしたがって配置され駆動される、信号コンバータ、およびこれらに接続されているスイッチング素子とともに、光電コンバータアレイの模式的レイアウトを示している。空間的に構成されるエンコーディングは、すべてのピクセルおよびそれらの接続されたPPDが時間多重化の全体を通して同じ相対的な空間的位置を有することを意味する。例えば、第1のスイッチング素子の(tx1からtx2への)オンモードシフトの前では、ピクセル(x−1,y)がPPD(x−1,y)に接続され、ピクセル(x,y)がPPD(x,y)に接続され、ここではピクセル(x−1,y)はピクセル(x,y)の左の隣接するピクセルであり、PPD(x−1,y)はPPD(x,y)の左の隣接するPPDである。第1のスイッチング素子のオンモードシフトの後では、ピクセル(x−1,y)がPPD(x,y)に接続され、ピクセル(x,y)がPPD(x+1,y)に接続され、ここではPPD(x,y)は依然としてPPD(x+1,y)の左の隣接するPPDであり、ピクセル(x−1,y)およびピクセル(x,y)と同じ相対的な空間的位置を維持している。ピクセルアレイによってエンコードされた空間的コントラストの相対的な空間的位置が時間多重化の全体を通して一定であるという理由で、このスキームは、ピクセルアレイ出力への空間的相関ベースの後処理をサポートすることが可能である。
1 光電コンバータ、フォトダイオード、PPD
2 電子コンバータ
3 信号コンバータ、トランスデューサ
4 アナログ−ディジタルコンバータ、エンコーダ
5 インターコネクト
6 出力トランジスタ
51、54 シリコン基板
52、53 金属層
tx1、tx2、tx3、tx4 スイッチング素子、トランファゲート、スイッチング信号

Claims (15)

  1. 時間に依存する画像データを検出するための画像センサであって、多数の光電コンバータ(1)と、アレイに配置され、スイッチング素子(tx1、tx2、...)によってリンクされた多数の電子コンバータ(2)とを備え、前記光電コンバータ(1)の各々および前記電子コンバータ(2)のうちの1つが、前記光電コンバータ(1)上の光強度に応じてディジタル情報を発生する対を形成し、前記スイッチング素子(tx1、tx2、...)が、前記光電コンバータ(1)のうちの少なくとも2つを前記電子コンバータ(2)のうちの1つに選択的に接続し、前記電子コンバータ(2)のうちの少なくとも2つを前記光電コンバータ(1)のうちの1つに選択的に接続するように構成される、画像センサ。
  2. 前記対の前記電子コンバータ(2)が、前記対の前記光電コンバータ(1)と組み合わせて前記光電コンバータ(1)上の光強度に応じてアナログ電子信号を発生するように構成される電子信号コンバータ(3)を備えることを特徴とする、請求項1に記載の画像センサ。
  3. 前記信号コンバータ(3)が、前記発生されたアナログ電子信号が光電コンバータ(1)上の光強度に対数的に依存するように構成されることを特徴とする、請求項2に記載の画像センサ。
  4. 前記電子コンバータ(2)が、前記光電コンバータ(1)上の光強度に応じたアナログ電子信号をディジタル信号に変換するように構成されるアナログ−ディジタルコンバータ(4)を備えることを特徴とする、請求項1から3のいずれか一項に記載の画像センサ。
  5. 前記アナログ−ディジタルコンバータ(4)が、パルス密度変調を使用して、前記アナログ電子信号を前記ディジタル信号に変換するように構成されることを特徴とする、請求項4に記載の画像センサ。
  6. 光電コンバータ(1)および電子コンバータ(2)の、前記対が、2つの別々の半導体ダイ上に製造され、かつ、前記2つの半導体ダイの間のインターコネクト(5)を介して電気的に接続される、信号コンバータ(3)およびアナログ−ディジタルコンバータ(4)を備えることを特徴とする、請求項1から5のいずれか一項に記載の画像センサ。
  7. 前記スイッチング素子(tx1、tx2、...)が、前記光電コンバータ(1)を前記電子コンバータ(2)の入力に対して時間多重化するように構成されることを特徴とする、請求項1から6のいずれか一項に記載の画像センサ。
  8. 前記スイッチング素子(tx1、tx2、...)が、前記光電コンバータ(1)を周期的に前記電子コンバータ(2)の入力に対して時間多重化するように構成されることを特徴とする、請求項7に記載の画像センサ。
  9. 前記電子コンバータ(2)が、前記光電コンバータ(1)のうちの2つの上の光強度の間の相対的な差異または不均衡に応じて、ディジタル情報を発生するように構成されることを特徴とする、請求項7または8に記載の画像センサ。
  10. 前記電子コンバータ(2)に隣接して設置された隣接する電子コンバータ(2)が、前記スイッチング素子(tx1、tx2、...)により前記電子コンバータ(2)および前記隣接する電子コンバータ(2)の両方にリンクされた同じ2つの光電コンバータ(1)上の光強度の間の相対的な差異または不均衡に応じて、少なくとも1つのディジタル情報を発生するように構成されることを特徴とする、請求項9に記載の画像センサ。
  11. 2対のスイッチング素子(tx1、tx2、...)は、スイッチングイベントの前に、前記光電コンバータ(1)が前記電子コンバータ(2)に接続され、前記隣接する光電コンバータ(1)が前記隣接する電子コンバータ(2)に接続され、前記スイッチングイベントの後で、前記光電コンバータ(1)が前記隣接する電子コンバータ(2)に接続され、前記隣接する光電コンバータ(1)が前記電子コンバータ(2)に接続されるように、前記光電コンバータ(1)および前記隣接する光電コンバータ(1)を前記電子コンバータ(2)および前記隣接する電子コンバータ(2)に選択的に接続するように配置され構成されることを特徴とする、請求項9または10に記載の画像センサ。
  12. 前記光電コンバータ(1)のアレイ、前記電子コンバータ(2)のアレイおよび前記スイッチング素子(tx1、tx2、...)は、第1の光電コンバータ(1)が第1のアクティブなスイッチング素子(tx1、tx2、...)を介して第1の電子コンバータ(2)に接続され、第2の光電コンバータ(1)が第2のアクティブなスイッチング素子(tx1、tx2、...)を介して第2の電子コンバータ(2)に接続されるときにはいつでも、第1の光電コンバータ(1)および第2の光電コンバータ(1)が第1の電子コンバータ(2)および第2の電子コンバータ(2)と同じ相対的な距離を有するように構成されることを特徴とする、請求項9または10に記載の画像センサ。
  13. 光電コンバータ(1)の数が、電子コンバータ(2)の数に実質的に等しいことを特徴とする、請求項1から12のいずれか一項に記載の画像センサ。
  14. 時間に依存する画像データを検出するためのセンサデバイスであって、請求項1から13のいずれか一項に記載の画像センサと、前記画像センサの前記スイッチング素子(tx1、tx2、...)に接続され、スイッチング信号を発生して前記スイッチング素子(tx1、tx2、...)を制御するように構成されたスイッチコントローラとを備える、センサデバイス。
  15. ゲインミスマッチが補償された画像データを得るための方法であって、以下のステップ、
    − 光電コンバータ(1)のアレイの2つの光電コンバータ(1)上の光強度の相対的な差異に応じた第1の基準情報を含む第1のディジタル情報を、電子コンバータ(2)のアレイの中の第1の電子コンバータ(2)から得るステップ、
    − 前記2つの光電コンバータ(1)上の光強度の相対的な差異に応じた第2の基準情報を含む第2のディジタル情報を、電子コンバータ(2)のアレイの中の第2の電子コンバータ(2)から得るステップ、
    − 前記第1および第2のディジタル情報において、前記第1の基準情報および前記第2の基準情報から得られた調節係数を用いて、前記第1のディジタル情報および/または前記第2のディジタル情報を調節することにより、前記第1の電子コンバータ(2)と前記第2の電子コンバータ(2)との間のゲインミスマッチを補償するステップ
    を含む、方法。
JP2021538897A 2018-09-18 2019-08-02 時間的および空間的コントラストを画像化するための画像センサおよびセンサデバイス Active JP7175051B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18195192.2 2018-09-18
EP18195192.2A EP3627830A1 (en) 2018-09-18 2018-09-18 Image sensor and sensor device for imaging temporal and spatial contrast
PCT/EP2019/070919 WO2020057846A1 (en) 2018-09-18 2019-08-02 Image sensor and sensor device for imaging temporal and spatial contrast

Publications (2)

Publication Number Publication Date
JP2022500974A true JP2022500974A (ja) 2022-01-04
JP7175051B2 JP7175051B2 (ja) 2022-11-18

Family

ID=63794275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538897A Active JP7175051B2 (ja) 2018-09-18 2019-08-02 時間的および空間的コントラストを画像化するための画像センサおよびセンサデバイス

Country Status (6)

Country Link
US (1) US11546543B2 (ja)
EP (1) EP3627830A1 (ja)
JP (1) JP7175051B2 (ja)
KR (1) KR102598514B1 (ja)
CN (1) CN112740655A (ja)
WO (1) WO2020057846A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508085A (ja) * 2005-06-03 2009-02-26 ウニヴェルズィテート チューリッヒ 時間依存性の画像データを検出するフォトアレイ
JP2014183588A (ja) * 2013-03-15 2014-09-29 Samsung Electronics Co Ltd イメージ獲得装置及びイメージ獲得装置の動作方法
WO2017009944A1 (ja) * 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4704632A (en) * 1986-03-20 1987-11-03 Terminal Data Corporation Electronic camera for digital processing of CCD data
US6828540B2 (en) 2000-07-06 2004-12-07 California Institute Of Technology Image sensor system operating with small amplitude scanning
FR2844129B1 (fr) 2002-09-03 2004-10-29 Suisse Electronique Microtech Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene
EP2093996A1 (fr) 2008-02-22 2009-08-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Recherche et Développement Capteur de vision pour la mésure d'invariants tels les contrastes et méthode pour effecture une telle mésure
JP5696513B2 (ja) * 2011-02-08 2015-04-08 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
JP2013090139A (ja) * 2011-10-18 2013-05-13 Sony Corp 撮像素子およびカメラシステム
JP5960279B2 (ja) 2011-12-19 2016-08-02 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
JP5984018B2 (ja) 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
US20140347442A1 (en) 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
EP3047647B1 (en) * 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
CN106209091B (zh) 2015-07-18 2019-07-19 芯视达系统公司 斜率持续变化的斜坡信号的实现方法
US9509332B1 (en) * 2015-11-06 2016-11-29 Freescale Semiconductor, Inc. Dual sigma-delta analog-to-digital converter
ES2755814T3 (es) * 2016-04-04 2020-04-23 Prophesee Sensor de visión de contraste temporal basado en muestreos y retenciones
JP6789678B2 (ja) 2016-06-06 2020-11-25 キヤノン株式会社 撮像装置、撮像システム
WO2019078483A1 (ko) * 2017-10-19 2019-04-25 광주과학기술원 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
US11330218B2 (en) * 2018-08-22 2022-05-10 Gigajot Technology, Inc. Split-readout image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508085A (ja) * 2005-06-03 2009-02-26 ウニヴェルズィテート チューリッヒ 時間依存性の画像データを検出するフォトアレイ
JP2014183588A (ja) * 2013-03-15 2014-09-29 Samsung Electronics Co Ltd イメージ獲得装置及びイメージ獲得装置の動作方法
WO2017009944A1 (ja) * 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置

Also Published As

Publication number Publication date
US11546543B2 (en) 2023-01-03
CN112740655A (zh) 2021-04-30
EP3627830A1 (en) 2020-03-25
KR102598514B1 (ko) 2023-11-03
US20210352238A1 (en) 2021-11-11
KR20210033045A (ko) 2021-03-25
JP7175051B2 (ja) 2022-11-18
WO2020057846A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US10931905B2 (en) Pixel array included in three-dimensional image sensor and method of operating three-dimensional image sensor
CN106101586B (zh) 固态成像装置
KR102159256B1 (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
TWI592016B (zh) 固態成像器件及成像裝置,以及驅動影像感測器之方法
US11381768B2 (en) Image sensor with pixels including photodiodes sharing floating diffusion region
KR20110014089A (ko) 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기
US9544513B2 (en) Image sensor having pixel architecture for capturing depth image and color image
CN104272723A (zh) 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
JP2011041091A (ja) 固体撮像素子及び撮像システム
CN101010944A (zh) 摄像装置及摄像结果的输出方法
KR20100047825A (ko) 고체 촬상 장치
WO2009096313A1 (ja) 固体撮像装置及びそれを含むx線ct装置
CN102625059A (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
TW201347530A (zh) 圖像感測器、及圖像感測器之控制方法
WO2018012068A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US20230261025A1 (en) Image sensor and electronic camera
KR20100135705A (ko) 고체 촬상 장치 및 x선 검사 시스템
KR20110005770A (ko) 고체 촬상 장치 및 x선 검사 시스템
TWI418213B (zh) Solid-state imaging device
TWI822641B (zh) 光感測裝置
WO2010007962A1 (ja) 固体撮像装置
KR20100103784A (ko) 고체 촬상 장치 및 프레임 데이터 보정 방법
JP2019514307A (ja) 撮像センサおよび画像情報を読み出すための方法
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
KR102598514B1 (ko) 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7175051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150