JP2021528026A - 時間ディザードサンプリング用cmosセンサアーキテクチャ - Google Patents

時間ディザードサンプリング用cmosセンサアーキテクチャ Download PDF

Info

Publication number
JP2021528026A
JP2021528026A JP2021513895A JP2021513895A JP2021528026A JP 2021528026 A JP2021528026 A JP 2021528026A JP 2021513895 A JP2021513895 A JP 2021513895A JP 2021513895 A JP2021513895 A JP 2021513895A JP 2021528026 A JP2021528026 A JP 2021528026A
Authority
JP
Japan
Prior art keywords
pixel
exposure
subcircuit
floating diffusion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021513895A
Other languages
English (en)
Other versions
JP7037701B2 (ja
Inventor
エス. マケルヴァイン,ジョン
ジョン ワード,グレゴリー
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2021528026A publication Critical patent/JP2021528026A/ja
Application granted granted Critical
Publication of JP7037701B2 publication Critical patent/JP7037701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

画素が画素グループに分割されたイメージング方法およびデバイスが開示される。画素グループに基づくグローバルシャッターおよび画素グループ式のスタガード状の長および短露光、それに続く1画素当たり2つのサンプルの読み出しが与えられる。n×n個の画素からなるグループ群に分割されたベイヤーカラーフィルタアレイのための方法例およびデバイス例が提供される。
【選択図】5B

Description

関連出願への相互参照
本願は、2018年9月12日に出願された米国仮特許出願第62/730,235号および2018年9月12日に出願された欧州特許出願第18193941.4号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
本願は、2018年1月16日に出願された米国仮特許出願第62/617,709号(発明の名称「Image Demosaicing System and Method」)に関連し得るものであり、当該出願の開示内容を全て本願に援用する。
背景
(1)技術分野
本開示は、相補型金属酸化物半導体(CMOS)イメージセンサに関し、より詳細には、イメージ画素の時間ディザードサンプリング(temporal dithered sampling)のための方法および装置に関する。
(2)背景
コンシューマー用およびプロ用カメラシステムには、CMOSイメージセンサが広く使用されている。赤、緑および青(R、G、B)カラーチャネルをイメージ化するために、図1に示すようなベイヤーモザイクパターンが一般に使用される。撮像の後に、デモザイク処理を使用して、フル解像度R、G、B画像を推定する。特にコンシューマー向けの用途に対しては、典型的には、ローリングシャッター読み出しが使用される。なぜなら、読み出し中の露光を、1画素当たり最小のトランジスタ数を用いて行うことが可能になり、電力消費が低く維持されるからである。この方法において、1走査線当たり、各画素電圧は、センサアレイの下方の列(column)バッファに同時に転送され、その後、これらの値は、マルチプレクサを使用してシリアルに読み出される。列バッファへの転送の後、その行(row)における各画素のフォトダイオードは、リセットされ、新しい蓄積(integration)を開始することが可能になる。この処理が後の行に対して繰り返されるが、ローリングシャッター方法においては、特定の行に対するフォトダイオードリセット信号が前の行に対して若干遅延する(行転送および読み出し時間だけ遅延する)。垂直方向に沿った時間的なずれ(temporal staggering)によって、素早く動くシーンオブジェクトに対して動きアーチファクトが生じ得る。最も一般的な動きアーチファクトは、垂直または水平エッジが見かけ上曲がることである。
よりハイエンドの科学用またはプロ用カメラに対しては、グローバルシャッタリング技術も使用される。図2Aに示す5トランジスタ(5T)画素構造が最も一般的に使用される。これによると、追加のリセットトランジスタ(RsSN)がフォトダイオード(PD)に接続される。このアーキテクチャを用いると、読み出しを行いながらの蓄積(IWR)が可能になるので、サンプリングされた信号は、フローティングディフユージョン(FD)領域に転送され、その行の読み出しまで、そこに格納される。5T設計は、読み出しの前に電荷がFD上に保持されているときに、浮遊容量結合によってシャッター効率が低くなってしまう(シャッターオフ時に生成される、意図されていない出力信号)。
図2Bは、中間的な電荷格納のための、さらなるピン止め(pinned)格納ダイオード(SD)の使用を介して、グローバルシャッター効率を改善する7T画素アーキテクチャを示す。この方法を用いて、同じフレーム内で長および短露光の連続した撮像を可能にするデュアル露光IWR機構が従来技術において示されている。長露光のために、相関二重サンプリング(correlated double sampling(CDS))が使用され得る。CDSは、長露光によるリセットノイズおよび固定パターン(FP)ノイズを著しく低減できる。短露光に対して、二重サンプリング(DS)が適用される。DSは、FPノイズを低減できるが、リセットノイズを低減できない。しかし、SD領域を分離するためにはCMOSセンサ工場において一般的でないさらなるドーピング方法が必要であるので、大量生産に向けてこの方法の規模を大きくすることは困難である。
図2Cは、フレーム内マルチシャッタリングのための積層型CMOS方法を示す。そのような方法において、シリコンからなる最上層(201)は、裏面照射フォトダイオードを有する4T画素アレイを含む。各フォト部位(photo−site)においてマイクロバンプ(202)コンタクトを使用して、この最上層は、DS/CDS回路および多重露光選択ロジックを含む下位レベルのアレイに接続される。画素ピッチは、10μmであり、その大きさは、主に、各単位セルにおける下位レベルの回路(203)の相対的な複雑性によって決定される。そのような積層設計は、その設計が2つの別個の層上に実装されることを考慮すると、フォトダイオードフィルファクタを改善することに役立つ。
2017年2月16日に出願され、2017年2月16日に公開されたPCT出願WO2017/146972A1(発明の名称「Apparatus and Method for Encoding High Frame Rate Content in Standard Frame Rate Video Using Temporal Interlacing」)(当該出願の開示内容を全て本願に援用する)に記載されるように、高いフレームレートでピクチャを撮像することは、帯域幅およびノイズ問題によって阻害される。撮像ピクチャ数が大きくなると、パイプラインにおいて送られる1秒当たりのデータ量が増大し、帯域幅に影響を与え、フレームレートが高くなると、露光時間が短くなり、ピクチャに関わるノイズが増大する。しかし、高いフレームレートの映像は、動きによるジャダー(judder)および過剰なぼけ(blurring)などの動きアーチファクトを低減することを可能にする。上記援用の出願は、帯域幅および表示技術に関わるコストを発生させずに、より高い知覚可能なフレームレートを提供し得る方法およびデバイスを開示している。言い換えると、そのような方法およびデバイスは、フレームデータ転送レートを増大させる必要なく、高いフレームレート再構築を達成する仕組みを提供する。
上記援用の出願に開示の方法およびデバイスは、基板上に配置された、複数の画素を含む画素イメージセンサアレイを備えるイメージングシステムを示す。イメージングシステムは、当該複数の画素の露光を作動させるための、当該画素イメージセンサアレイに接続された多段タイマをさらに備える。ここで、画素は、N個のサブセットにグループ分けされ、多段タイマは、N個のサブセットの各サブセットに対して、当該サブセットの画素の撮像時間が異なる少なくとも2つの露光を含む露光シーケンスを作動させるように構成される。ここで、異なるサブセットの露光シーケンスの開始時間は、所定のオフセットだけ時間的にずらされるが、これらシーケンスは同じ全体期間Tを有し、所定の時間オフセットToffsetは、当該全体期間Tよりも短い。例として、異なる撮像期間の2種類の露光は、短露光および長露光であり得る。図3A〜3Bは、そのよう概念を例示する別の例を示す。ここで、ベイヤーモザイクが示されており、画素は、3×3個の画素からなる複数のグループに分割され、各セルにおいて、画素タイプ0〜8によってラベル付けされる。赤、青および緑色は、各画素において文字R、G、Bを用いて示される。この例において、撮像フレームレートは、30fps(1秒当たりのフレーム)である。各画素タイプに対して、短露光および長露光があり、その期間は、それぞれ1フレームの1/9および8/9(すなわち、フレームレートの30fpsに基づく1/270および8/270秒)である。図3Bに示すように、各画素タイプの短および長露光は、前の画素タイプに対して1フレームの1/9だけずらされる(staggered)。言い換えると、同じ例で言えば、受信側では、画素を3×3=9画素からなる複数のセルにグループ化し、その後の画素タイプの短および長露光を、前の画素タイプに対して1フレームの1/9の期間だけずらすことによって、30fpsのデータ転送を用いて、270fpsの映像再構築が可能になる。
上記を鑑みると、フィルファクタが高く、かつローリングシャッター方法の使用による動きアーチファクトを回避する、高効率でスケーラブルなCMOSセンサ設計が必要とされ、非常に所望される。本開示において教示する方法およびデバイスは、そのような要求に対応する。さらに、以下に詳細に説明するように、本開示の方法およびデバイスはまた、図3A〜3Bに示すような上記援用の出願に記載の概念を採用する。
本開示の第1の局面によると、N個の画素部からなるグループ群に分割された複数の画素部であって、Nは、1よりも大きな整数である、複数の画素部を備えるイメージセンサであって、N個の画素部の複数の画素部は、N個の連続した数のシーケンスを使用し、画素タイプによってラベル付けされ;N個の画素部の複数の画素部は、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光とを含む露光シーケンスを受けることによって、第1の露光に対応する第1の画素信号および第2の露光に対応する第2の画素信号を生成するように構成され;イメージセンサは、第1の画素信号および第2の画素信号が第2の露光の後に読み出されるように構成され;連続した画素タイプの画素部の露光シーケンスの開始時間は、設定オフセット時間だけずらされ;複数の画素部は、等しいフレーム時間を有し、画素部のフレーム時間は、第1の撮像期間、第2の撮像期間、読み出し時間およびブランキング時間の合計として定義される、イメージセンサが提供される。
本開示の第2の局面によると、画素部配列とストレージ配列とを備える電子回路であって、画素部配列は、N個の画素部であって、Nは、1よりも大きな整数である、N個の画素部と、フローティングディフュージョン回路とを備え;N個の画素部の1画素部は、フォトダイオードと、フォトダイオードをリセットするための画素部リセットトランジスタと、画素部転送トランジスタであって、画素部転送トランジスタがアクティブにされると画素信号が画素部転送トランジスタを介してフローティングディフュージョン回路に転送される、画素部転送トランジスタとを備え;N個の画素部の複数の画素部は、N個の連続した整数のシーケンスを使用し、画素タイプによってラベル付けされ;フローティングディフュージョン素子は、i)露光によって生成された画素信号からの電荷を格納するためのフローティングディフュージョン素子と、ii)フローティングディフュージョン素子に接続され、フローティングディフュージョンコンデンサをリセットするために使用されるフローティングディフュージョンリセットトランジスタと、iii)ソースフォロワ構成で配置され、フローティングディフュージョン素子をストレージ配列に接続するフローティングディフュージョン転送トランジスタとを備え;フローティングディフュージョン素子は、N個の画素部の間で共有され;N個の画素部の画素部転送トランジスタは、一つずつアクティブにされて、一度につき、N個の画素部のうちの1つの画素部をフローティングディフュージョン素子に接続する;画素部配列およびストレージ配列は、別個のダイまたはチップ上に実装され;別個のダイまたはチップは、マイクロバンプを介して互いに接続される、電子回路が提供される。
本開示の第3の局面によると、イメージング方法であって、複数の画素部を提供する工程と、複数の画素部をN個の画素部からなるグループ群に分割する工程であって、Nは、1よりも大きな整数である、工程と、N個の連続した整数のシーケンスを使用し、画素タイプによってN個の画素部の複数の画素部をラベル付けする工程と、同じ画素タイプである画素部に対して、第1の撮像期間の第1の露光を行うことによって、第1の画素信号を生成する工程と、同じ画素タイプである画素部に対して、第2の撮像期間の第2の露光を行うことによって、第2の画素信号を生成する工程と、第1の画素信号および第2の画素信号を読み出す工程と、連続した画素タイプの画素部の第1の露光、第2の露光、読み出し、およびブランキング時間を設定オフセット時間だけずらす工程とを包含するイメージング方法が提供される。
本開示の第4の局面によると、画素部配列とストレージ配列とを備える電子回路であって、画素部配列は、N個の画素部であって、Nは、1よりも大きな整数である、N個の画素部と、フローティングディフュージョン回路とを備え;N個の画素部の1画素部は、フォトダイオードと、フォトダイオードをリセットするための画素部リセットトランジスタと、画素部転送トランジスタであって、画素部転送トランジスタがアクティブにされると画素信号が画素部転送トランジスタを介してフローティングディフュージョン回路に転送される、画素部転送トランジスタとを備え;N個の画素部の複数の画素部は、N個の連続した整数のシーケンスを使用し、画素タイプによってラベル付けされ;フローティングディフュージョン素子は、i)露光によって生成された画素信号からの電荷を格納するためのフローティングディフュージョン素子と、ii)フローティングディフュージョン素子に接続され、フローティングディフュージョンコンデンサをリセットするために使用されるフローティングディフュージョンリセットトランジスタと、iii)ソースフォロワ構成で配置され、フローティングディフュージョン素子をストレージ配列に接続するフローティングディフュージョン転送トランジスタとを備え;フローティングディフュージョン素子は、N個の画素部の間で共有される、電子回路が提供される。
本開示の第5の局面によると、画素部配列とストレージ配列とを備える電子回路であって、画素部配列は、N個の画素部であって、Nは、1よりも大きな整数である、N個の画素部と、フローティングディフュージョン回路とを備え;N個の画素部の1画素部は、フォトダイオードと、フォトダイオードをリセットするための画素部リセットトランジスタと、画素部転送トランジスタであって、画素部転送トランジスタがアクティブにされると画素信号が画素部転送トランジスタを介してフローティングディフュージョン回路に転送される、画素部転送トランジスタとを備え;フローティングディフュージョン素子は、i)露光によって生成された画素信号からの電荷を格納するためのフローティングディフュージョンコンデンサと、ii)フローティングディフュージョンコンデンサに接続され、フローティングディフュージョンコンデンサをリセットするために使用されるフローティングディフュージョンリセットトランジスタと、iii)ソースフォロワ構成で配置され、フローティングディフュージョンコンデンサをストレージ配列に接続するフローティングディフュージョン転送トランジスタとを備え;フローティングディフュージョン素子は、N個の画素部の間で共有され;画素部配列およびストレージ配列は、別個のダイまたはチップ上に実装され;別個のダイまたはチップは、マイクロバンプを介して互いに接続され;N個の画素部の1画素部は、ここで、Nは、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光を含む露光シーケンスを受けることによって、第1の露光に対応する第1の画素信号と、それに続く第2の露光に対応する第2の画素信号とを生成するように構成され;電子回路は、第1の画素信号および第2の画素信号が第2の露光の後に読み出されるように構成され;N個の画素部の連続した画素部の露光シーケンスの開始時間は、設定オフセット時間だけずらされ;N個の画素部の複数の画素部は、等しいフレーム時間を有し、N個の画素部の1画素部の総フレーム時間は、第1の撮像期間、第2の撮像期間および読み出し時間の合計として定義され;N個の画素部のすべての画素部の第1の撮像期間は、等しく;N個の画素部のすべての画素部の第2の撮像期間は、等しく;N個の画素部のすべての画素部の読み出し時間は、等しく;2つのサンプルは、第1のサンプルと、第2のサンプルとを含み、第1のサンプルは、フローティングディフュージョンリセットトランジスタをアクティブにすることによってフローティングディフュージョンコンデンサをリセットした後の、フローティングディフュージョンコンデンサの電荷に対応し;第2のサンプルは、N個の画素部のうちの対応する画素部の第1の露光によって生成される電荷に対応する、電子回路が提供される。
図面の説明
図1は、ベイヤーモザイク構造セルを示す。
図2Aは、従来技術の5トランジスタ(5T)画素構造を示す。
図2Bは、従来技術の7トランジスタ(7T)画素構造を示す。
図2Cは、フレーム内マルチシャッタリングのための従来技術の積層型CMOS方法を示す。
図3Aは、画素が3×3個の画素からなる複数のセルに分割される従来技術のベイヤーモザイクを示す。
図3Bは、図3Aのベイヤーモザイクの画素タイプの従来技術のスタガード状の短および長露光を示す。
図4Aは、本開示のある実施形態による電子回路を示す。
図4Bは、本開示の別の実施形態によるストレージ配列を示す。
図5Aは、本開示に教示にしたがうイメージセンサのグローバルタイミングおよび読み出しシーケンスを示す。 図5Bは、本開示に教示にしたがうイメージセンサのグローバルタイミングおよび読み出しシーケンスを示す。
図6は、図4Bに示すストレージ配列に関連する様々な信号のタイミング図を示す。
定義
本開示全体にわたり、「フローティングディフュージョン(floating diffusion)」という用語は、イメージセンサのピクセルのフォトダイオードに保持される電荷パケットを、センサ出力において検出可能な電圧変化に変換するために使用される電荷感知回路を指すために使用される。「画素サンプル」または「画素信号」という用語は、そのような電圧変化に基づく信号を説明するために使用される。
本開示全体にわたり、「相関二重サンプリング(correlated double sampling)」という用語は、望ましくないオフセットを除去可能にする電圧または電流などの電気的値を測定するための方法を説明するために使用される。相関二重サンプリングは、センサ出力を測定する際に使用されることが多い。センサの出力は、二度測定される。一度は、既知の条件で行われ、一度は、未知の条件で行われる。次いで、既知の条件から測定された値を未知の条件から引き算して、測定中の物理量に対して既知の関係を有する値が生成される。相関二重サンプリングは、イメージセンサにおいて使用される場合、各露光期間の終了時に画素の基準電圧(すなわち、リセット後の画素の電圧)を画素の信号電圧(すなわち、露光終了時の画素の電圧)から除くノイズ低減技術である。
本開示全体にわたり、「画素部」という用語は、フォトダイオードおよびトランジスタを備える電子回路を説明するために使用される。そのような電子回路は、露光時に電荷を生成し、そのような電荷を格納またはリセットし得るか、および/またはそのような電荷を他の近傍の回路(ストレージ回路など)に転送し得る。
本開示全体にわたり、「シャッター」という用語は、シーンの永久的な画像を撮像するために、一定期間の間光を通過可能にして、感光性デジタルセンサを露光するデバイスを説明するために使用される。
本開示全体にわたり、「グローバルシャッター」という用語は、画像の全領域を同時に露光させる、あるタイプのシャッター(イメージセンサに使用される)を説明するために使用される。これに対して、「ローリングシャッター」という用語は、本開示全体にわたり、画像の一方側から他方側へ、典型的にはラインごとに、画像を順次露光する別のタイプのシャッター(イメージセンサに使用される)のために使用される。
説明
図4Aは、本開示のある実施形態による電子回路(400A)を示す。上記のように、電子回路(400A)は、イメージ画素がN×M個の画素からなるグループ群に分割される、上記援用の出願に記載の概念を採用する。詳細は後述するが、複数の電子回路(400A)を備えるイメージセンサは、画素タイプに基づくグローバルシャッターおよび1画素当たり2サンプルの画素タイプに基づくスタガード状読み出しを含むように設計され得る。
図3Aを参照し、例であって限定しないが、図1に示すようなベイヤーモザイク画素を考える。ここで、そのような画素は、3×3個の画素からなる異なるグループ群に分割され、そのようなグループ内の画素は、画素タイプ0〜8(0、8を含む)によってラベル付けされている。言い換えると、画素タイプは、9個(各グループ内の画素数)の連続した整数(0から8)のシーケンスによって表される。動作中に、各画素タイプに属する各画素は、本開示の実施形態によると、長および短露光を受け得る。図5A〜5Bは、動作中の図4Aの電子回路(400A)に関連する例示のタイミング図(500A、500B)を示す。タイミング図(500A、500B)は、画素タイプ0〜8のそれぞれの短および長露光ならびに読み出しに関するタイミングを表す。垂直な破線を有するブロックは、長露光時間を表し、無パターンのブロックは、短露光時間を表し、縞パターンを有するブロックは、読み出し時間を表す。図5Aに示すように、上記と同じ例で言うと、これらの画素タイプのそれぞれの露光および読み出しは、前のタイプに対して、1フレームの1/9に等しい設定オフセット時間だけずらされる(9は、画素タイプ0〜8によってラベル付けされた各グループにおける画素数である3×3に等しい)。例えば、画素タイプ2に対する短および/または長露光+読み出しの開始および終了は、画素タイプ1から1フレームの1/9後に生じる。センサ画素の読み出しは、画素タイプ0から開始し、その次に画素タイプ1に対して行われ、などである。各画素タイプは、全センサ画素の1/9を含み、読み出し中に、各画素は、出力において、生成された短および長露光値を有する。センサから読み出されるサンプルの数が2倍であるので、読み出しデータレートは、フレームレート×画素数の2倍である。例えば、30フレーム/秒のフレームレートで動作するセンサに対して、出力データレートは、30×Npix×2=60×Npixである。ここで、Npixは、センサ上の画素数に等しい。コンシューマー用センサにおけるローリングシャッターの一般的な使用とは対照的に、画素タイプ内のすべての画素に対してグローバルシャッタリングが使用され得ることに留意することが重要である。このことは、同じ画素タイプ内の画素は、他の画素タイプからの画素に対して露光の開始または終了させることなく、同時に露光され得る。図5A〜5Bを参照して、当業者は、本開示の意図および範囲を逸脱せずに、長および短露光を任意の順序で行い得ることを理解するであろう(例えば、まず長露光を行い、次いで短露光を行うか、またはまず短露光を行い、続いて長露光を行う)。
さらに上記例を参照すると、当業者は、本発明を説明するために一例としてベイヤーフィルタが使用されていることを理解するであろう。本開示の意図および範囲を逸脱せずに、他の実施形態が設計され得る。ここで、ベイヤーフィルタ以外のカラーフィルタ、例えば、CYYM(シアン、イエロー、イエロー、マゼンタ)、CYGM(シアン、イエロー、緑、マゼンタ)、RGBW(赤、緑、青、白)などが使用され得る。あるいは、グレースケールまたは3チップカメラ構成の場合は、フィルタは、グローバルであり得る。図5A〜5Bを参照すると、フレーム時間は、短および長露光+読み出し時間+所望のフレームレートを得るために必要なブランキング時間の合計である。本開示の実施形態によると、すべての画素タイプに対して、フレーム時間は、同じである。本開示のさらなる実施形態によると、連続した画素タイプ間の設定オフセット時間は、各フレームの総期間(フレーム時間)を各グループ内の画素数(上記例の場合は、9)で割り算して得た値以下である。また、オフセット時間がフレーム時間を各グループ内の画素数で割り算した値よりも大きくてもよい、本開示に係る実施形態も考えられる。この場合、連続した画素タイプの露光および読み出しをずらしつつ、より多くのストレージ素子を使用して、信号情報を格納してもよい。本開示のさらなる実施形態によると、イメージ画素をN×M個の画素からなるグループ群に分割してもよい(NおよびMは、1より大きい整数)。
図4Aを参照すると、電子回路(400A)は、画素部配列(410)と、ストレージ配列(420)とを備える。画素部配列(410)は、複数の画素部(415_0、...、415_N)を備える。各画素部(415_i、i=0、...、N)は、フォトダイオード(PD)と、リセットライン(RPDi)から対応するフォトダイオードリセット信号を受信するように構成されたリセットトランジスタTiと、転送トランジスタ(TX)とを備える。グループ内の画素タイプを時間的にずらすので、この設計は、共有フローティングディフュージョンアーキテクチャを利用し得る。言い換えると、複数の画素部の転送トランジスタ(TX、...、TX)は、フローティングディフュージョン素子(411)を共有する。したがって、3×3個の画素からなるグループの同じ例で言えば、本開示の実施形態によると、フローティングディフュージョン素子(411)は、一度につき1より多くの画素(3×3個の画素からなるグループ内)につながれ(addressed by)なくてもよい。フローティングディフュージョン素子(411)は、フローティングディフュージョントランジスタ(TFD)に接続された関連のフローティングディフュージョン容量(CFD)を有する。フローティングディフュージョントランジスタは、リセットライン(RPD)と、接続された回路素子に対して信号の分離および複製を提供するソースフォロワトランジスタ(TSF)とを有する。ストレージ配列(420)を使用して、動作中に画素部配列(410)によって生成された画素信号を格納し得る。
図4Bは、本開示のある実施形態による図4Aのストレージ配列(420)の実装例を示す。図4Bに示すストレージ配列(420)は、第1のサブ回路(421)および第2のサブ回路(422)に対する相関二重サンプリング(CDS)を実装し得る。これにより、他の画素信号の読み出しを同時に行いながら、画素部からの画素信号を格納(2つのサンプル)することが可能になる。詳細は後述するが、短露光信号を格納するために、第3のサブ回路(423)が設計される。また、図4Bに示すように、第1、第2および第3のサブ回路(421、422、423)の構成要素は、それぞれ符号A、BおよびSによってラベル付けされる。ストレージ配列(420)は、ストレージ配列(420)を画素部配列(410)に接続するために使用され得る入力(460)をさらに備える。
図4A〜6の組み合わせを参照する。図4A〜6は、各画素に対する長および短露光ならびに読み出しのシーケンスの期間を例示し、図4Aの電子回路(400A)の様々な要素の動作中の機能をより詳細に説明する。タイプ0の画素に対して、短リセット信号をリセットライン(RPD0)に与えることによって長露光を開始させる。これは、イメージセンサ上のすべてのタイプ0の画素に対してグローバルに行われる。言い換えると、各画素タイプ(すなわち、同じタイプのすべての画素)にわたり、グローバルに、リセットトランジスタTi(i=1、2、...、N)がアクティブにされる(したがって、対応するフォトダイオードがリセットされる)。長露光0が完了する直前に、共通コンデンサ(CFD)がリセットされ、したがって、第1の画素信号(長露光中の1画素部当たり2つのサンプルのうちの第1のサンプル)が生成される。第1の画素信号は、第1のサブ回路(421)に対してCDSを開始させるために使用され得る。言い換えると、図6から分かるように、リセットライン(RFD)は、アクティブにされ、次いで、非アクティブにされ、信号ライン(SEL、S、S1、R)は、すべてアクティブにされる(図6を参照)。この後、長露光により生成された第2の画素信号(長露光中の画素部当たり2つのサンプルのうちの第2のサンプル)がフローティングディフュージョン素子(FD)に転送され、その後、(C1A)に転送される。このようにするために、図6から分かるように、リセットライン(RFD、R)は、非アクティブにされ、信号ライン(TX、SEL、S、S1)は、すべてアクティブにされ、次いで、非アクティブにされる。
当該技術分野において、CMOSセンサ内に生じるノイズの大部分は、フローティングディフュージョン素子のリセットが原因であり、これは、この素子の容量が比較的大きいことによるものであることが知られている。フローティングディフュージョンコンデンサ(CFD)をリセットすることによって、リセット電圧+ノイズに相当する電圧である第1の画素サンプルが生成され、その結果、ノイズに相当する電圧をコンデンサC2Aが保持することを当業者は理解するであろう。また、長露光による第2の画素信号の転送の結果、信号+フローティングディフュージョンノイズに相当する電圧がコンデンサ(C1A)に実際に発生することを当業者は理解するであろう。図4Bを参照すると、読み出し中に、読み出された信号は、本質的に、容量(C1A)および(C2)の電圧差であり、このことは、フローティングディフュージョンリセットノイズによる電圧が相関二重サンプリングによって差し引かれる(subtracted out)ことを意味する。
図4A〜6をさらに参照すると、長露光がフローティングディフュージョン素子から転送された後、短露光を開始するために短リセット信号が(RPD0)に送られる。短露光の終了時に、信号ライン(TX、SEL、S)をアクティブにし、両信号ライン(S、S1)を非アクティブにすることによって、フォトダイオード(PD)からの画素信号がコンデンサC1Sに転送される。短露光に対応する画素信号がストレージの第3のサブ回路(423)に一旦転送されると、タイプ0の画素の短および長サンプルがそのタイプの読み出しまで保持(および分離)される。一方、タイプ1の画素(図5Bを参照)に対して、長露光が完了し、タイプ0の画素についての説明と同様のやり方で、ストレージ配列(420)の第2のサブ回路に転送される。
引き続き図4A〜6を参照すると、信号(RS)をアクティブにした後に読み出しが行われることによって、サブ回路(421)がある列ライン(450)に接続され、長露光画素信号を転送する。さらに、信号(SELC1S、S1SA)をアクティブにし、次いで、非アクティブにすることによって、短露光画素信号が読み出され、この列ライン(450)に転送される。タイプ0の画素に対して読み出しが完了した後、グループ1に対する短露光を終了させ、その電圧がC1Sに転送される。この処理は、タイプ2の画素、次いでその後の画素タイプに対して続けられる。本発明の意図および範囲を逸脱せずに、サブ回路(421)に関する記載と同様のやり方で、サブ回路(423)に対して相関二重サンプリングが実装され得るような実施形態がまた考えられ得ることを当業者は、理解するであろう。
図4Aを引き続き参照すると、本開示のさらなる実施形態によると、電子回路(400A)は、図2Cを参照して上記したように、積層型CMOSセンサ技術を採用することによって、読み出し前に画素信号を格納するように設計され得る。そのような実施形態において、画素部配列(410)およびストレージ配列(420)は、別個のシリコン層(例えば、図4Aに示すような、上部シリコン層および下部シリコン層)内に実装され得る。言い換えると、画素部配列(410)およびストレージ配列(420)は、別個のチップまたはダイ上に実装され得る。さらに、画素部配列(410)およびストレージ配列(420)は、マイクロコンタクト(430)(例えば、マイクロバンプコンタクト)を介して接続され得る。共有フローティングディフュージョン領域(411)を実装することによって、改善されたフォトダイオードフィルファクタが得られ得ることを当業者は、理解するであろう。この点をさらに明らかにするために、3×3個の画素からなる複数の画素グループの上記の例を続けて、画素部配列(410)は、21個のトランジスタ(2×9+3=21)を含み得るので、3×3個の画素からなる各グループは、実際には、1画素部当たり、21/9=2.33個のトランジスタを有し得る。これにより、画素をより小さくし、フォトダイオードフィルファクタをより大きくすることが可能になる。
本開示に記載の方法およびシステムは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。ブロック、モジュール、またはコンポーネントとして記載される構成を、まとめて(例えば、集積論理デバイスなどの論理デバイス内に)または別個に(例えば、別個の接続された論理デバイスとして)実装され得る。本開示の方法のソフトウェア部分は、実行時に、上記方法の少なくとも一部を行う命令を含むコンピュータ読み取り可能媒体を含み得る。コンピュータ読み取り可能媒体は、例えば、ランダムアクセスメモリ(RAM)および/または読み取り専用メモリ(ROM)を含み得る。命令は、プロセッサ(例えば、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、またはフィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、または汎用GPU)によって実行され得る。
多くの本開示の実施形態を記載したが、本開示の精神および範囲から逸脱せずに様々な変更がなされ得ることが理解されるであろう。したがって、他の実施形態が下記の特許請求の範囲に含まれる。
上記の例は、本開示の実施形態がどのように構成され、使用されるかを完全に開示および説明するものとして、当業者に対し提供され、本発明者らが開示とみなすものの範囲を限定することを意図するものではない。
当業者にとって明白な、本明細書で開示された方法およびシステムを実施するための上記態様の変更は、下記の特許請求の範囲に含まれることを意図するものである。本明細書で言及されるすべての特許および公開物は、本開示が関連する分野の当業者の技術水準を示す。本開示で引用されるすべての参考文献は、各参考文献がその全体を個別に援用された場合と同一の程度に、援用される。
本開示は、特定の方法またはシステムに限定されず、当然ながら様々に変化し得ることを理解されたい。また、本明細書で使用される用語が、特定の実施形態を説明することのみを目的とし、限定することを意図しないことを理解されたい。本明細書および添付の特許請求の範囲において使用される単数形「a」、「an」および「the」は、特に断らない限り、複数の指示対象を含む。用語「複数」は、特に断らない限り、2つ以上の指示対象を含む。特に断らない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が関係する分野の当業者によって一般的に理解されるものと同一の意味を有する。
列挙実施形態例
時間ディザードサンプリングのための方法およびデバイスに関して、本発明の列挙実施形態例(enumerated example embodiment:EEE)を上記した。したがって、本発明の実施形態は、以下に列挙する例のうちの1つ以上に関し得る。
(EEE1.)
N個のグループに分割された複数の画素部を備え、Nは、1よりも大きな整数である、イメージセンサであって、
前記N個のグループの1グループの1つ以上の画素部は、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光とを含む露光シーケンスを受けることによって、前記第1の露光に対応する第1の画素信号および前記第2の露光に対応する第2の画素信号を生成するように構成され、
前記イメージセンサは、前記第1の画素信号および前記第2の画素信号が前記第2の露光の後に読み出されるように構成され、
前記N個のグループの連続したグループの前記露光シーケンスの開始時間は、設定オフセット時間だけずらされ、
前記N個のグループの前記グループは、等しいフレーム時間を有し、前記N個のグループの前記グループの前記フレーム時間は、前記第1の撮像期間、前記第2の撮像期間および前記読み出し時間の合計として定義される、
イメージセンサ。

(EEE2.)
前記N個のグループの前記グループは、カラーフィルタモザイクをM×M個の画素からなるグループ群に分割することによって形成され、ここで、N=Mであり、Mは、1よりも大きな整数である、列挙実施形態例1に記載のイメージセンサ。

(EEE3.)
前記カラーフィルタモザイクは、a)ベイヤーフィルタ、b)CYYMフィルタ、c)CYGMフィルタ、またはd)RGBWフィルタのうちの1つである、列挙実施形態例1または2に記載のイメージセンサ。

(EEE4.)
前記第1の撮像期間および前記第2の撮像期間は、互いに異なる、先行する列挙実施形態例のいずれかに記載のイメージセンサ。

(EEE5.)
前記設定オフセット時間は、前記N個のグループの各グループの前記フレーム時間をNで割り算して得た値以下である、先行する列挙実施形態例のいずれかに記載のイメージセンサ。

(EEE6.)
前記N個のグループのすべてのグループの前記第1の撮像期間は、等しく、
前記N個のグループのすべてのグループの前記第2の撮像期間は、等しく、
前記N個のグループのすべてのグループの前記読み出し時間は、等しい、列挙実施形態例5に記載のイメージセンサ。

(EEE7.)
画素部配列とストレージ配列とを備える電子回路であって、
前記画素部配列は、N個の画素部であって、Nは、1よりも大きな整数である、N個の画素部と、フローティングディフュージョン回路とを備え、
前記N個の画素部の1画素部は、フォトダイオードと、前記フォトダイオードをリセットするための画素部リセットトランジスタと、画素部転送トランジスタであって、前記画素部転送トランジスタがアクティブにされると画素信号が前記画素部転送トランジスタを介して前記フローティングディフュージョン回路に転送される、画素部転送トランジスタとを備え、
前記フローティングディフュージョン素子は、
i)露光によって生成された画素信号からの電荷を格納するためのフローティングディフュージョンコンデンサと、
ii)前記フローティングディフュージョンコンデンサに接続され、前記フローティングディフュージョンコンデンサをリセットするために使用されるフローティングディフュージョンリセットトランジスタと、
iii)ソースフォロワ構成で配置され、前記フローティングディフュージョンコンデンサを前記ストレージ配列に接続するフローティングディフュージョン転送トランジスタと、
を備え、
前記フローティングディフュージョン素子は、前記N個の画素部の間で共有される、
電子回路。

(EEE8.)
前記N個の画素部の前記画素部転送トランジスタは、一つずつアクティブにされて、一度につき、前記N個の画素部のうちの1つの画素部を前記フローティングディフュージョン素子に接続する、列挙実施形態例7に記載の電子回路。

(EEE9.)
前記画素部配列および前記ストレージ配列は、別個のダイまたはチップ上に実装される、列挙実施形態例7または8に記載の電子回路。

(EEE10.)
前記別個のダイまたはチップは、マイクロバンプを介して互いに接続される、列挙実施形態例9に記載の電子回路。

(EEE11.)
前記N個の画素部の1画素部は、ここで、Nは、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光を含む露光シーケンスを受けることによって、前記第1の露光に対応する第1の画素信号と、それに続く前記第2の露光に対応する第2の画素信号とを生成するように構成され、
前記電子回路は、前記第1の画素信号および前記第2の画素信号が前記第2の露光の後に読み出されるように構成され、
前記N個の画素部の連続した画素部の前記露光シーケンスの開始時間は、設定オフセット時間だけずらされ、
前記N個の画素部の前記画素部は、等しいフレーム時間を有し、前記N個の画素部の前記画素部の総フレーム時間は、前記第1の撮像期間、前記第2の撮像期間、および前記読み出し時間の合計として定義される、
列挙実施形態例8、9または10に記載の電子回路。

(EEE12.)
前記N個の画素部のすべての画素部の前記第1の撮像期間は、等しく、
前記N個の画素部のすべての画素部の前記第2の撮像期間は、等しく、
前記N個の画素部のすべての画素部の前記読み出し時間は、等しい、
列挙実施形態例7〜11のいずれか1つに記載の電子回路。

(EEE13.)
前記ストレージ回路は、互いに接続された第1、第2および第3のサブ回路を備え、
前記第1のサブ回路は、前記N個の画素部の第1の画素部の前記第1の画素信号を格納するように構成され、
前記第3のサブ回路は、前記N個の画素部の前記第1の画素部の前記第2の画素信号を格納するように構成され、その後、前記N個の画素部の第2の画素部の前記第2の画素信号を格納するように再構成され、
前記第2のサブ回路は、前記第2の画素部の前記第1の画素信号を格納するように構成され、
前記N個の画素部の前記第1および前記第2の画素部は、連続した画素部である、
列挙実施形態例10に記載の電子回路。

(EEE14.)
前記第1の画素信号は、1画素部当たり2つのサンプルを含む、
列挙実施形態例11に記載の電子回路。

(EEE15.)
前記2つのサンプルは、第1のサンプルと、第2のサンプルとを含み、
前記第1のサンプルは、前記フローティングディフュージョンリセットトランジスタをアクティブにすることによって前記フローティングディフュージョンコンデンサがリセットされた後の、前記フローティングディフュージョンコンデンサの電荷に対応し、
前記第2のサンプルは、前記N個の画素部のうちの対応する画素部の前記第1の露光によって生成される電荷に対応する、
列挙実施形態例12に記載の電子回路。

(EEE16.)
前記第2の画素信号は、前記N個の画素部の前記対応する画素部の前記第2の露光によって生成される電荷に対応する、列挙実施形態例13〜15のいずれか1つに記載の電子回路。

(EEE17.)
前記第1のサブ回路は、第1のコンデンサと、第2のコンデンサと、前記第1のコンデンサおよび/または前記第2のコンデンサに接続された複数の第1のサブ回路トランジスタとを備え、
前記第2のサブ回路は、第3のコンデンサと、第4のコンデンサと、前記第3のコンデンサおよび/または前記第4のコンデンサに接続された複数の第2のサブ回路トランジスタとを備え、
前記第3のサブ回路は、第5のコンデンサと、前記第5のコンデンサに接続された複数の第3のサブ回路トランジスタとを備え、
前記第1の画素部の前記第1のサンプルに対応する前記電荷は、前記第1のサブ回路の読み出しまで、前記第1のコンデンサに格納および保持され、
前記第1の画素部の前記第2のサンプルに対応する前記電荷は、前記第1のサブ回路の前記読み出しまで、前記第2のコンデンサに格納および保持され、
前記第2の画素部の前記第1のサンプルに対応する前記電荷は、前記第2のサブ回路の読み出しまで、前記第3のコンデンサに格納および保持され、
前記第2の画素部の前記第2のサンプルに対応する前記電荷は、前記第2のサブ回路の前記読み出しまで、前記第4のコンデンサに格納および保持され、
前記第1の画素部の前記第2の画素信号に対応する前記電荷は、前記第1のサブ回路の前記読み出しまで、前記第5のコンデンサに格納および保持され、
前記第2の画素部の前記第2の画素信号に対応する前記電荷は、前記第1のサブ回路の前記読み出しの後に、前記第5のコンデンサに格納され、前記第2のサブ回路の前記読み出しまで、前記第5のコンデンサに保持され、
前記第1、前記第2および前記第3のサブ回路の1サブ回路は、第1組のトランジスタと第2組のトランジスタとを備え、
前記サブ回路における電荷格納中に、前記第1組のトランジスタは、アクティブにされ、前記第2組のトランジスタは、非アクティブにされ、
前記サブ回路の読み出し中に、前記第1組のトランジスタは、非アクティブにされ、前記第2組のトランジスタは、アクティブにされる、
列挙実施形態例14に記載の電子回路。

(EEE18.)
列挙実施形態例11〜17のいずれか1つに記載の電子回路を複数備えるイメージセンサであって、
画素部は、N個の画素グループに分割され、Nは、1よりも大きな整数であり、前記N個の画素グループの各画素グループは、前記複数の電子回路の対応する画素部を含み、
前記画素部リセットトランジスタは、前記N個の画素グループの各画素グループにわたりグローバルにアクティブにされる、
イメージセンサ。

(EEE19.)
イメージング方法であって、
複数の画素部を提供する工程と、
前記複数の画素部をN個のグループに分割する工程であって、Nは、1よりも大きな整数である、工程と、
前記N個のグループの1グループの画素部に対して、第1の撮像期間の第1の露光を行うことによって、第1の画素信号を生成する工程と、
前記N個のグループの前記グループの前記画素部に対して、第2の撮像期間の第2の露光を行うことによって、第2の画素信号を生成する工程と、
前記第1の画素信号および前記第2の画素信号を読み出す工程と、
連続した画素部の前記第1の露光、前記第2の露光および前記読み出しを設定オフセット時間だけずらす工程と、
を包含する、イメージング方法。

(EEE20.)
前記N個のグループの前記グループは、カラーフィルタモザイクをM×M個の画素からなるグループ群に分割することによって形成され、ここで、N=Mであり、Mは、1よりも大きな整数である、列挙実施形態例19に記載の方法。

(EEE21.)
前記カラーフィルタモザイクは、a)ベイヤーフィルタ、b)CYYMフィルタ、c)CYGMフィルタ、またはd)RGBWフィルタのうちの1つである、列挙実施形態例19または20に記載のイメージング方法。

(EEE22.)
前記第1の撮像期間および前記第2の撮像期間は、互いに異なる、列挙実施形態例19、20または21に記載のイメージング方法。

(EEE23.)
前記設定オフセット時間は、前記N個のグループの各グループの前記フレーム時間をNで割り算して得た値以下である、列挙実施形態例20、21または22に記載のイメージング方法。

(EEE24.)
前記N個のグループのすべてのグループの前記第1の撮像期間は、等しく、
前記N個のグループのすべてのグループの前記第2の撮像期間は、等しく、
前記N個のグループのすべてのグループの前記読み出し時間は、等しい、
列挙実施形態例21、22または23に記載のイメージング方法。

Claims (17)

  1. 画素部配列とストレージ配列とを備える電子回路であって、前記画素部配列は、N個の画素部を含み、Nは、1よりも大きな整数であり、
    前記N個の画素部の複数の画素部は、N個の連続した数のシーケンスを使用し、画素タイプによってラベル付けされ、
    前記N個の画素部の各画素部は、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光とを含む露光シーケンスを受けることによって、前記第1の露光に対応する第1の画素信号および前記第2の露光に対応する第2の画素信号を生成するように構成され、
    前記電子回路は、前記第1の露光の後に前記第1の信号を前記ストレージ配列のサブ回路に格納し、前記第2の露光の後に前記第2の信号を前記ストレージ配列のサブ回路に格納するように構成され、
    前記電子回路は、前記第2の画素信号を前記ストレージ配列のサブ回路に格納した後に、前記第1の画素信号を格納する前記ストレージ配列のサブ回路および前記第2の画素信号を格納する前記ストレージ配列のサブ回路の読み出しを行うように構成され、
    連続した画素タイプの画素部の前記露光シーケンスの開始時間は、設定オフセット時間だけずらされ、
    前記複数の画素部は、等しいフレーム時間を有し、前記画素部の前記フレーム時間は、前記第1の撮像期間、前記第2の撮像期間、前記読み出し時間およびブランキング時間の合計として定義される、
    電子回路。
  2. 前記N個の画素部からなる前記グループは、カラーフィルタモザイクをM×M個の画素からなるグループ群に分割することによって形成され、ここで、N=Mであり、Mは、1よりも大きな整数である、請求項1に記載の電子回路。
  3. 前記カラーフィルタモザイクは、a)ベイヤーフィルタ、b)CYYMフィルタ、c)CYGMフィルタ、またはd)RGBWフィルタのうちの1つである、請求項2に記載の電子回路。
  4. 前記第1の撮像期間および前記第2の撮像期間は、互いに異なる、請求項1から3のいずれかに記載の電子回路。
  5. 前記設定オフセット時間は、前記N個のグループの各グループの前記フレーム時間をNで割り算して得た値以下である、請求項1から4のいずれかに記載の電子回路。
  6. すべての前記画素部の前記第1の撮像期間は、等しく、
    すべての前記画素部の前記第2の撮像期間は、等しく、
    すべての前記画素部の前記読み出し時間は、等しい、
    請求項1から5のいずれかに記載の電子回路。
  7. 前記画素部配列は、フローティングディフュージョン回路を備え、
    前記N個の画素部の1画素部は、フォトダイオードと、前記フォトダイオードをリセットするための画素部リセットトランジスタと、画素部転送トランジスタであって、前記画素部転送トランジスタがアクティブにされると画素信号が前記画素部転送トランジスタを介して前記フローティングディフュージョン回路に転送される、画素部転送トランジスタとを備え、
    前記フローティングディフュージョン回路は、
    i)露光によって生成された画素信号からの電荷を格納するためのフローティングディフュージョン素子と、
    ii)前記フローティングディフュージョン素子に接続され、前記フローティングディフュージョン素子をリセットするために使用されるフローティングディフュージョンリセットトランジスタと、
    iii)前記フローティングディフュージョン素子を前記ストレージ配列に接続するフローティングディフュージョン転送トランジスタと、
    を備え、
    前記フローティングディフュージョン素子は、前記N個の画素部の間で共有される、
    請求項1から6のいずれかに記載の電子回路。
  8. 前記N個の画素部の前記画素部転送トランジスタは、一つずつアクティブにされて、一度につき、前記N個の画素部のうちの1つの画素部を前記フローティングディフュージョン素子に接続するように構成される、
    請求項7に記載の電子回路。
  9. 前記画素部配列および前記ストレージ配列は、別個のダイまたはチップ上に実装される、
    請求項1から8のいずれかに記載の電子回路。
  10. 前記別個のダイまたはチップは、マイクロバンプを介して互いに接続される、
    請求項9に記載の電子回路。
  11. 前記ストレージ配列は、第1、第2および第3のサブ回路を備え、
    前記第1のサブ回路は、前記N個の画素部の第1の画素部の前記第1の画素信号を格納するように構成され、
    前記第3のサブ回路は、前記N個の画素部の前記第1の画素部の前記第2の画素信号を格納するように構成され、その後、前記N個の画素部の第2の画素部の前記第2の画素信号を格納するように再構成され、
    前記第2のサブ回路は、前記第2の画素部の前記第1の画素信号を格納するように構成され、
    前記N個の画素部の前記第1および前記第2の画素部は、連続した画素タイプの画素部である、
    請求項1から10のいずれかに記載の電子回路。
  12. 前記第1の画素信号は、第1のサンプルと、第2のサンプルとを含み、
    前記第1のサンプルは、前記フローティングディフュージョンリセットトランジスタをアクティブにすることによって前記フローティングディフュージョン素子をリセットした後の、フローティングディフュージョン素子の電荷に対応し、
    前記第2のサンプルは、前記N個の画素部のうちの対応する画素部の前記第1の露光によって生成される電荷に対応する、
    請求項7から11のいずれか1項に記載の電子回路。
  13. 前記第2の画素信号は、前記N個の画素部のうちの前記対応する画素部の前記第2の露光によって生成される電荷に対応する、請求項1から12のいずれかに記載の電子回路。
  14. 前記第1のサブ回路は、第1のコンデンサと、第2のコンデンサと、前記第1のコンデンサおよび/または前記第2のコンデンサに接続された複数の第1のサブ回路トランジスタとを備え、
    前記第2のサブ回路は、第3のコンデンサと、第4のコンデンサと、前記第3のコンデンサおよび/または前記第4のコンデンサに接続された複数の第2のサブ回路トランジスタとを備え、
    前記第3のサブ回路は、第5のコンデンサと、前記第5のコンデンサに接続された複数の第3のサブ回路トランジスタとを備え、
    前記第1の画素部の前記第1のサンプルに対応する前記電荷は、前記第1のサブ回路の読み出しまで、前記第1のコンデンサに格納および保持され、
    前記第1の画素部の前記第2のサンプルに対応する前記電荷は、前記第1のサブ回路の前記読み出しまで、前記第2のコンデンサに格納および保持され、
    前記第2の画素部の前記第1のサンプルに対応する前記電荷は、前記第2のサブ回路の読み出しまで、前記第3のコンデンサに格納および保持され、
    前記第2の画素部の前記第2のサンプルに対応する前記電荷は、前記第2のサブ回路の前記読み出しまで、前記第4のコンデンサに格納および保持され、
    前記第1の画素部の前記第2の画素信号に対応する前記電荷は、前記第1のサブ回路の前記読み出しまで、前記第5のコンデンサに格納および保持され、
    前記第2の画素部の前記第2の画素信号に対応する前記電荷は、前記第1のサブ回路の前記読み出しの後に、前記第5のコンデンサに格納され、前記第2のサブ回路の前記読み出しまで、前記第5のコンデンサに保持され、
    前記第1、前記第2および前記第3のサブ回路の1サブ回路は、第1組のトランジスタと第2組のトランジスタとを備え、
    前記サブ回路における電荷格納中に、前記第1組のトランジスタは、アクティブにされ、前記第2のトランジスタ組は、非アクティブにされ、
    前記サブ回路の読み出し中に、前記第1組のトランジスタは、非アクティブにされ、前記第2組のトランジスタは、アクティブにされる、
    請求項11から13のいずれか1項に記載の電子回路。
  15. 請求項7から14のいずれかに記載の電子回路を複数備えるイメージセンサであって、
    前記電子回路の前記画素部リセットトランジスタは、同じ画素タイプの画素グループにわたりグローバルにアクティブにされる、
    イメージセンサ。
  16. N個の画素部を備える画素部配列であって、Nは、1よりも大きな整数である、画素部配列と、ストレージ配列と提供する工程と、
    N個の連続した整数のシーケンスを使用し、画素タイプによって前記N個の画素部の前記画素部をラベル付けする工程と、
    前記N個の画素部の各画素部に対して、第1の撮像期間の第1の露光と、それに続く第2の撮像期間の第2の露光とを含む露光シーケンスを行うことによって、前記第1の露光に対応する第1の画素信号および前記第2の露光に対応する第2の画素信号を生成する工程と、
    前記第1の露光の後に、前記第1の信号を前記ストレージ配列のサブ回路に格納し、前記第2の露光の後に、前記第2の信号を前記ストレージ配列のサブ回路に格納する工程と、
    前記第2の画素信号を前記ストレージ配列のサブ回路に格納した後に、前記第1の画素信号を格納する前記ストレージ配列のサブ回路および前記第2の画素信号を格納する前記ストレージ配列のサブ回路を読み出す工程と、
    連続した画素タイプの画素部の前記第1の露光、前記第2の露光、前記読み出し、およびブランキング時間を設定オフセット時間だけずらす工程と、
    を包含する、イメージング方法。
  17. 前記N個の画素部からなる前記グループは、カラーフィルタモザイクをM×M個の画素からなるグループ群に分割することによって形成され、ここで、N=Mであり、Mは、1よりも大きな整数である、請求項16に記載の方法。
JP2021513895A 2018-09-12 2019-09-10 時間ディザードサンプリング用cmosセンサアーキテクチャ Active JP7037701B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862730235P 2018-09-12 2018-09-12
EP18193941.4 2018-09-12
US62/730,235 2018-09-12
EP18193941 2018-09-12
PCT/US2019/050466 WO2020055907A1 (en) 2018-09-12 2019-09-10 Cmos sensor architecture for temporal dithered sampling

Publications (2)

Publication Number Publication Date
JP2021528026A true JP2021528026A (ja) 2021-10-14
JP7037701B2 JP7037701B2 (ja) 2022-03-16

Family

ID=67997717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513895A Active JP7037701B2 (ja) 2018-09-12 2019-09-10 時間ディザードサンプリング用cmosセンサアーキテクチャ

Country Status (7)

Country Link
US (1) US11323643B2 (ja)
EP (1) EP3756342B1 (ja)
JP (1) JP7037701B2 (ja)
KR (1) KR102294322B1 (ja)
CN (1) CN112823510B (ja)
TW (1) TWI722565B (ja)
WO (1) WO2020055907A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170158B (zh) 2018-11-19 2023-07-11 杜比实验室特许公司 视频编码器和编码方法
JP6824363B1 (ja) * 2019-10-30 2021-02-03 浜松ホトニクス株式会社 イメージセンサ、及びイメージセンサの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013055610A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp 撮像装置
JP2017055350A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置
US20170366766A1 (en) * 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US20180227529A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7332786B2 (en) 2003-11-26 2008-02-19 Micron Technology, Inc. Anti-blooming storage pixel
KR100657863B1 (ko) 2005-02-07 2006-12-14 삼성전자주식회사 핑거드 타입 소스 폴로워 트랜지스터를 이용한 상보성금속 산화막 반도체 액티브 픽셀 센서
KR100598015B1 (ko) 2005-02-07 2006-07-06 삼성전자주식회사 공유 구조 상보성 금속 산화막 반도체 액티브 픽셀 센서어레이의 레이 아웃
US7804117B2 (en) 2005-08-24 2010-09-28 Aptina Imaging Corporation Capacitor over red pixel
KR100818724B1 (ko) 2006-07-19 2008-04-01 삼성전자주식회사 Cmos 이미지 센서와 이를 이용한 이미지 센싱 방법
JP4952601B2 (ja) 2008-02-04 2012-06-13 日本テキサス・インスツルメンツ株式会社 固体撮像装置
US7781716B2 (en) 2008-03-17 2010-08-24 Eastman Kodak Company Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
US8405751B2 (en) 2009-08-03 2013-03-26 International Business Machines Corporation Image sensor pixel structure employing a shared floating diffusion
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
US8847136B2 (en) 2011-01-02 2014-09-30 Pixim, Inc. Conversion gain modulation using charge sharing pixel
US8953075B2 (en) 2012-03-30 2015-02-10 Pixim, Inc. CMOS image sensors implementing full frame digital correlated double sampling with global shutter
BR112015001381A8 (pt) * 2012-07-26 2019-07-30 Olive Medical Corp sistema e método para imageamento digital em um ambiente com iluminação deficiente
US9160956B2 (en) 2013-02-11 2015-10-13 Tower Semiconductor Ltd. Shared readout low noise global shutter image sensor
US9894304B1 (en) * 2014-08-18 2018-02-13 Rambus Inc. Line-interleaved image sensors
US9774801B2 (en) 2014-12-05 2017-09-26 Qualcomm Incorporated Solid state image sensor with enhanced charge capacity and dynamic range
WO2017146972A1 (en) 2016-02-22 2017-08-31 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
US10991281B2 (en) 2016-02-22 2021-04-27 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
EP3605606B1 (en) * 2018-08-03 2022-06-15 ams Sensors Belgium BVBA Imaging system comprising an infrared light source and an image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013055610A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp 撮像装置
JP2017055350A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置
US20170366766A1 (en) * 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US20180227529A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds

Also Published As

Publication number Publication date
KR102294322B1 (ko) 2021-08-26
WO2020055907A1 (en) 2020-03-19
JP7037701B2 (ja) 2022-03-16
US20220046195A1 (en) 2022-02-10
CN112823510A (zh) 2021-05-18
KR20210052549A (ko) 2021-05-10
EP3756342A1 (en) 2020-12-30
EP3756342B1 (en) 2022-06-29
US11323643B2 (en) 2022-05-03
TWI722565B (zh) 2021-03-21
CN112823510B (zh) 2022-02-18
TW202020848A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
EP3092792B1 (en) System and method for capturing digital images using multiple short exposures
KR101696463B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
US8988571B2 (en) Solid-state image sensor
TWI539814B (zh) 電子設備及其驅動方法
TWI528814B (zh) 固態成像裝置及其驅動方法及電子系統
WO2012117691A1 (en) Solid-state imaging device and camera system
US8890986B2 (en) Method and apparatus for capturing high dynamic range images using multi-frame interlaced exposure images
WO2013172205A1 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
JP2009044593A (ja) 撮像装置及び固体撮像素子の駆動方法
JP2009272820A (ja) 固体撮像装置
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
JP7037701B2 (ja) 時間ディザードサンプリング用cmosセンサアーキテクチャ
JP6120042B2 (ja) 固体撮像素子および駆動方法、並びに、電子機器
JP6700850B2 (ja) 撮像素子の駆動制御回路
JP6439996B2 (ja) 固体撮像素子、および電子機器
JP2008092478A (ja) 光電変換装置及びその制御方法並びに撮像装置
JP6053321B2 (ja) 固体撮像装置
JP2008092477A (ja) 光電変換装置及びその制御方法並びに撮像装置
JP2004312496A (ja) 固体撮像素子および固体撮像素子の駆動方法
JP2006211358A (ja) 撮像装置、撮像装置の制御方法及び撮像装置の信号処理方法
JP2010098624A (ja) 固体撮像素子及びその駆動方法、並びに撮像装置
JP2003348606A (ja) 固体撮像素子及びデジタルスチルカメラ
KR20160097937A (ko) 이미지 센싱 장치
JP2009218858A (ja) 画素周辺記録型撮像装置
JP2012227769A (ja) 固体撮像素子の駆動方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220304

R150 Certificate of patent or registration of utility model

Ref document number: 7037701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150