JP2022537117A - 画素パラメータの画素単位の符号化を用いて画像ダイナミックレンジを拡張するための方法およびシステム - Google Patents

Abstract

符号化画素を用いて画像センサのダイナミックレンジを拡張するための方法およびシステムが提供される。方法は、フレームの各サブフレームについて光検出器アレイ内の画素に画素符号を提供することと、各サブフレームについて光検出器アレイ内の画素の各々のセンサ読出しを受信することと、各サブフレームについて、画素符号に基づいて各センサ読出し値を収集のために１または複数のタップに、またはドレーンにルート指定することと、フレームに関する単一画素値を決定するためにタップの各々における収集したセンサ読出し値を結合することと、フレームに関する各画素について単一画素値を出力することとを含む。【選択図】図７Ａ

Description

以下は、一般に撮像に関し、具体的には、画素パラメータの画素単位の符号化を用いて画像ダイナミックレンジを拡張するための方法およびシステムに関する。

たとえばスチルカメラおよびビデオカメラに存在するような撮像センサは、複数の感光体、またはセンサ、またはたとえばピン止めフォトダイオードなどの光検出器を有する。一般に、各感光体は、たとえば相補型金属酸化膜半導体（ＣＭＯＳ）などの半導体技術を用いて製造されたデバイスである。光の光子は、たとえばｐ－ｎ接合などの感光体のフォトサイトに収集される。画素は、画像センサアレイの基本セルである。一般に、各画素について１または複数のフォトサイトが存在する。一般に、光子は、１または複数のレンズを介して撮像センサの感光体に向けられる。各フォトサイトについて、たとえばシリコンなどの感光体の半導体内で電荷が生成され、この光生成電荷は一般に、受信した光の強度に比例する。各電荷の値は、アナログデジタル変換器（ＡＤＣ）によってデジタル値に変えられ、静止写真画像として、かつビデオ内のフレームとして画像を生成するために用いられる。

一態様において、符号化画素を用いて画像センサのダイナミックレンジを拡張するための方法が提供され、画像センサは、入来する光信号を光生成電子信号に変換するための光検出器アレイを備え、方法は、フレームの各サブフレームについて光検出器アレイ内の画素に画素符号を提供することと、各サブフレームについて光検出器アレイ内の画素の各々のセンサ読出しを受信することと、各サブフレームについて、画素符号に基づいて、各センサ読出し値を収集のために１または複数のタップに、またはドレーンにルート指定することと、フレームに関する単一画素値を決定するために、タップの各々における収集したセンサ読出し値を結合することと、フレームに関する各画素について単一画素値を出力することとを備える。

方法の特定の例において、画素符号は、それぞれの画素の露光時間に対応する符号を備え、その結果である光生成電荷は、それぞれのセンサ読出しを備える。

方法の別の特定の例において、画素符号は、光検出器で受信した信号の信号利得に対応する符号を備える。

方法の別の特定の例において、各画素符号は画素グループに相互に適用される。

方法のまた別の例において、画素符号は予め決定される。

方法のまた別の例において、画素符号は、以前受信した画素値に基づいて適応的に決定される。

方法のまた別の例において、画素符号は、以前受信した画素値に基づいて符号メモリストア内にプリロードされる。

方法のまた別の例において、方法は、現在のサブフレームのセンサ読出しが収集されると同時に、前のサブフレームに関する画素符号に基づいて、各タップにおける収集した電荷を分類することを更に備える。

方法のまた別の例において、各画素は１つのタップを備え、各画素に関する画素符号は１ビットの２進数を備える。

方法のまた別の例において、画素の１または複数に関する画素符号は、１または複数のタップの各々が個々にプログラム可能な積算時間インターバルを有することを定める。

方法のまた別の例において、積算時間インターバルの平均は、多数のフレームにわたり均等化される。

別の態様において、符号化画素を用いて画像センサのダイナミックレンジを拡張するためのシステムが提供され、画像センサは、入来する光信号を光生成電子信号に変換するための光検出器アレイを備え、システムは回路論理を備え、回路論理は、フレームの各サブフレームについて光検出器アレイ内の画素に画素符号を提供し、各サブフレームについて、画素符号に基づいて、画素のそれぞれ１つの光生成電子信号値を収集のために１または複数のタップに、またはドレーンにルート指定するための符号化モジュールと、フレームに関する単一画素値を決定するために、タップの各々において利用可能な収集した信号値を結合するための高ダイナミックレンジ（ＨＤＲ）復号モジュールと、フレームに関する各画素について単一画素値を出力するための出力モジュールとを実行するように構成される。

システムの特定の例において、画素符号は、それぞれの画素の露光時間に対応する符号を備え、その結果である光生成電荷は、それぞれのセンサ読出しを備える。

システムの別の例において、画素符号は、光検出器で受信した信号の信号利得に対応する符号を備える。

システムのまた別の例において、各画素符号は画素グループに相互に適用される。

システムのまた別の例において、画素符号は、以前受信した画素値に基づいて適応的に決定される。

システムのまた別の例において、符号化モジュールは、以前受信した画素値に基づいて符号メモリストア内にロードされた画素符号を用いる。

システムのまた別の例において、符号化モジュールは、１または複数の前のサブフレームに関するセンサ読出し値および画素符号に基づいて各タップにおける収集した電荷を分類する。

システムのまた別の例において、各画素は１つのタップを備え、各画素に関する画素符号は１ビットの２進数を備える。

システムのまた別の例において、光検出器アレイ内の各画素は、１または複数の電荷収集ノードを備え、画素符号に基づいて信号利得を修正するために、１または複数の画素からの電荷収集ノードが結合される。

システムのまた別の例において、画素符号は、入来する光信号の飛行時間を感知する画素に関する画素露光時間を定める。

システムのまた別の例において、画素符号は、入来する光信号の飛行時間を感知する画素に関する信号利得を定める。

システムのまた別の例において、ＨＤＲ復号モジュールはアナログデジタル変換器（ＡＤＣ）を備え、ＡＤＣの分解能は、フレームのデジタル化とサブフレームのデジタル化とを比較して異なっている。

システムのまた別の例において、ＨＤＲ復号モジュールはアナログデジタル変換器（ＡＤＣ）を備え、ＡＤＣの１または複数のパラメータは、１または複数のサブフレームまたは１または複数のフレームに関して動的に調整される。

別の態様において、画素単位符号化露光およびそのような画素単位符号化露光を用いるセンサの前の読出しを用いて画像ダイナミックレンジを拡張するための方法が提供され、方法は、前の読出しから導出した現在の符号化露光に関する現在の符号マトリックスを生成することと、現在の符号化マトリックスを画素に送信することと、画素の各々の現在の生センサ読出しを受信することと、画素単位露光時間に基づいて現在の生センサ読出しを処理することによって高ダイナミックレンジ（ＨＤＲ）画像を再構成することと、ＨＤＲ画像および現在の生センサ読出しの少なくとも１つを出力することと、を備える。

これらの実施形態および他の実施形態が本明細書で考慮され説明される。上記概要は、以下の詳細な説明を理解する上で当業者を補助するためにシステムおよび方法のそれぞれの態様を提示するものであることが理解される。

本発明の特徴は、添付図面が参照される以下の詳細な説明においてより明らかになる。

実施形態に係る、符号化画素を用いて画像センサのダイナミックレンジを拡張するためのシステムの概略図である。 シングルフレーム高ダイナミックレンジ（ＨＤＲ）アプローチの例の図である。 空間光変調器（ＳＬＭ）アプローチの例の図である。 実施形態に係る、開ループ高ダイナミックレンジ（ＨＤＲ）撮像方法の実施例のフローチャートである。 実施形態に係る、閉ループＨＤＲ撮像方法の実施例のフローチャートである。 従来の画像センサの露光技術を示す図である。 符号化露光画素（ＣＥＰ）画像センサの露光技術を示す図である。 ２つのタップが任意の２進符号によって制御される２タップＣＥＰ画像センサの露光機能例を示す図である。 ２つのバケツが完全に任意の２進符号によって制御される２タップＣＥＰ画像センサの露光機能例を示す図である。 光生成電荷を復調するか、またはドレーンする２つの相補的な１ビットの２進符号によって制御される間接飛行時間型（ｉＴｏＦ）画素の露光機能例を示す図である。 複数のタップを示し、符号化露光画素（ＣＥＰ）および符号化利得画素（ＣＧＰ）の両方の機能を含む符号化画素（ＣＰ）画素アーキテクチャの例の回路図である。 追加の中間電荷蓄積ノードが追加される符号化画素（ＣＰ）画素アーキテクチャの例の回路図である。 複数のタップを示し、符号化露光画素（ＣＥＰ）および符号化利得画素（ＣＧＰ）の両方の機能を含む、照明源から光検出器に入来する光子の飛行時間を感知する符号化画素（ＣＰ）画素アーキテクチャの例の回路図である。 追加の中間電荷蓄積ノードが追加される、照明源から光検出器に入来する光子の飛行時間を感知する符号化画素（ＣＰ）画素アーキテクチャの例の回路図である。 １タップ画素に関する画素露光符号の例の時空間視覚化である。 ２タップ画素に関する画素露光符号の例の時空間視覚化である。 サブフレーム期間およびサブフレームの数の両方がフレームごとに動的に調整され、ｎ番目のフレームにおいてフレームごとに５つのサブフレームが存在する、１タップ画素に関する画素露光符号の例の時空間視覚化である。 サブフレーム期間およびサブフレームの数の両方がフレームごとに動的に調整され、（ｎ＋１）番目のフレームにおいてフレームごとに４つのサブフレームが存在する、１タップ画素に関する画素露光符号の例の時空間視覚化である。 ２つの画素内タップに関する２つの露光符号を用いることによるＨＤＲ撮像のための２タップ画素の２つの例に関する回路図である。 両方のタップに関する露光期間が連続的でありフレームの最初から始まる例を示す図である。 タップ露光が任意の時間符号によって設定される例を示す図である。 単一の２タップ画素に関する入射光強度に対するシミュレートされたタップごとの信号対雑音比（ＳＮＲ）のプロットである。 ４つの画素内タップに４つの露光符号を用いることによるＨＤＲ撮像のための４タップ画素の２つの例に関する回路図である。 全てのタップに関する露光期間が連続的でありフレームの最初から始まる例を示す図である。 タップ露光が任意の時間符号によって設定される例を示す図である。 単一の４タップ画素に関する入射光強度に対するシミュレートされたタップごとの信号対雑音比（ＳＮＲ）のプロットである。 画素アレイ全体で繰り返される、ＴＩＬＥ_ｘ画素×ＴＩＬＥ_ｙ画素サイズの１タップ画素の近傍の図である。 全ての画素に関する露光期間が連続的でありフレーム時間の半分を中心とする例を示す図である。 タイル内の画素の各々に関してプログラムされた任意の時間符号の例を示す図である。 ４つの１タップ画素の近傍に関する入射光強度に対するシミュレートされたタップごとの信号対雑音比（ＳＮＲ）の例のプロットである。 画素アレイ全体で繰り返される、ＴＩＬＥ_ｘ画素×ＴＩＬＥ_ｙ画素サイズの２タップ画素の近傍の図である。 全ての画素に関する露光期間が連続的でありフレームの最初から始まる別の例を示す図である。 タイル内の画素の各々に関してプログラムされた任意の時間符号の別の例を示す図である。 ４つの１タップ画素の近傍に関する入射光強度に対するシミュレートされたタップごとの信号対雑音比（ＳＮＲ）の別の例のプロットである。 それぞれの露光符号が回転され４つのフレームで繰り返される、２×２の１タップ画素タイルの例である。 ＣＰ画像センサの最上位システムブロック図の例の図である。 符号化メモリ画素（ＣＭＰ）画素アーキテクチャのための２タップ符号化露光画素（ＣＥＰ）アーキテクチャのフローチャートである。 一般化された２タップ符号化露光画素（ＣＥＰ）アーキテクチャのフローチャートである。 データメモリ画素（ＤＭＰ）アーキテクチャのための２タップ符号化露光画素（ＣＥＰ）アーキテクチャのフローチャートである。 グローバルドレーンを用いるＣＭＰ画素アーキテクチャの例の回路図である。 グローバルドレーンを用いるＤＭＰ画素アーキテクチャの例の回路図である。 画素単位符号化ドレーンを用いるＣＭＰ画素アーキテクチャの例の回路図である。 画素単位符号化ドレーンを用いるＤＭＰ画素アーキテクチャの例の回路図である。 グローバルドレーンを用いるＣＭＰ画素アーキテクチャの別の例の回路図である。 グローバルドレーンを用いるＤＭＰ画素アーキテクチャの別の例の回路図である。 画素単位符号化ドレーンを用いるＣＭＰ画素アーキテクチャの別の例の回路図である。 画素単位符号化ドレーンを用いるＤＭＰ画素アーキテクチャの別の例の回路図である。 ＣＭＰおよびＤＭＰ画素アーキテクチャに関するタイミング図例である。 ２タップＣＭＰ画像センサ画素例に関するレイアウトおよび電位図例を示す。 ２タップＤＭＰ画像センサ画素例に関するレイアウトおよび電位図例を示す。 ＣＭＰアーキテクチャに関する画素単位符号化露光かつグローバル利得制御を用いる２タップ画素の例の回路図である。 ＤＭＰアーキテクチャに関する画素単位符号化露光かつグローバル利得制御を用いる２タップ画素の例の回路図である。 ＣＭＰアーキテクチャに関する画素単位符号化露光かつ画素単位利得制御を用いる２タップ画素の例の回路図である。 ＤＭＰアーキテクチャに関する画素単位符号化露光かつ画素単位利得制御を用いる２タップ画素の例の回路図である。 間接飛行時間型（ｉＴｏＦ）ＣＭＰアーキテクチャに関する画素単位符号化露光かつ画素単位利得制御を用いる４タップ画素の例の回路図である。 ｉＴｏＦＤＭＰアーキテクチャに関する画素単位符号化露光かつ画素単位利得制御を用いる４タップ画素の例の回路図である。 プログラム可能な分解能のアナログデジタル変換器（ＡＤＣ）を有するデジタル読出し回路の例の図である。 たとえば固定または可変のＶＲＥＦを有する比較器によって実施されるような、ＡＤＣ分解能が粗い場合の動作モード例の図である。 ＡＤＣ分解能が細かい分解能に設定された場合の動作モード例の図である。 粗いＡＤＣの参照電圧ＶＲＥＦが一定に保たれ、タップ値がＶＲＥＦに到達した後、１サブフレームのレイテンシをもって所与のタップにおける電荷蓄積が停止する場合の可能な画素タップ値の例を示すチャートである。 粗いＡＤＣ参照電圧ＶＲＥＦが一定の場合の、サブフレームごとの符号の変化に伴う信号品質の変動を示す、ＳＮＲ対入射光強度を示すプロットである。 粗いＡＤＣの参照電圧ＶＲＥＦがサブフレームごとに変化し、タップ値がＶＲＥＦに到達した後、１サブフレームのレイテンシをもって所与のタップにおける電荷蓄積が停止する場合の可能な画素タップ値の例を示すチャートである。 粗いＡＤＣ参照電圧ＶＲＥＦが時間変動する場合の、サブフレームごとの符号の変化に伴う信号品質の変動を示す、ＳＮＲ対入射光強度を示すプロットである。 画素露光時間のフレーム単位の動的時空間符号化の例を図で示す。 単一フレーム内の画素露光時間の符号化時空間の別の例を図で示す。 各画素に関する１タップ実施形態例の概略回路図である。 １進重み付け画素露光時間設定および符号シーケンスの例である。 ２進重み付け画素露光時間設定および符号シーケンスの例である。 図２５Ａの１進重み付けスキームに関する、照明のフルレンジにわたる画素の生出力の例のプロットである。 図２５Ｂの２進重み付けスキームに関する、照明のフルレンジにわたる画素の生出力の例のプロットである。 図２６Ａの正規化バージョンの例のプロットである。 図２６Ｂの正規化バージョンの例のプロットである。 パイプライン実装例を示すフローチャートである。 画素単位符号化露光を用いる例を図で示す。 図２９の例に関する生出力およびＨＤＲ再構成の例のプロットを示す。 実験例に用いられたシーンの画像である。 図３１の実験例に関する低露光で捕捉された画像を示す。 図３１の実験例に関する高露光設定で捕捉された画像を示す。 ３つの異なる符号化スキームに関する図３１の実験例の結果の比較を示す。 符号化スキームの典型図を示す。 典型的な超大型集積回路（ＶＬＳＩ）アーキテクチャである。 画像センサを有するカメラ例の画像である。 画像センサに関する典型的なチップマイクログラフである。 図３６Ｂの画像センサ例の仕様およびダイナミックレンジを示す。 実施形態に係る、画素単位符号化露光を用いて画像ダイナミックレンジを拡張するための方法のフローチャートである。 時間画素符号化の例である。 部分的な時空間符号化の例である。 画素単位符号化露光符号化の例である。 実施形態に係る、符号化画素を用いて画像センサのダイナミックレンジを拡張するための方法のフローチャートである。

ここでは図面を参照して実施形態が説明される。例示の簡潔性および明確性のために、参照番号は適宜、対応する要素または類似の要素を示すために図面間で繰り返され得る。加えて、本明細書で説明する実施形態の完全な理解をもたらすために、多数の具体的詳細が記載される。ただし、当業者には、本明細書で説明する実施形態がこれらの具体的詳細なしでも実施され得ることが理解される。他の例において、本明細書で説明する実施形態を不明瞭にしないために、周知の方法、手順、および構成要素は詳しく説明されていない。また、この説明は、本明細書で説明する実施形態の範囲を限定するものと見なされてはならない。

本説明を通して用いられる様々な用語は、文脈が特に指示しない限り、以下のように読解および理解され得る。全体を通して用いられる「または」は、「および／または」と同様に包括的である。全体を通して用いられる単数形の冠詞および代名詞はその複数形を含み、またその逆も然りである。同様に、性別代名詞は対を成す代名詞を含むので、本明細書で説明する何らかを単一の性による使用、実装、性能などに限定するものと理解されてはならない。「典型的な」は、「実例の」または「例示的な」と理解すべきであり、必ずしも他の実施形態よりも「好適」ではない。用語の更なる定義がここに提示され得る。これらは、本説明を閲読することで理解されるように、これらの用語の前出および後出の例にも適用され得る。

本明細書で例示する、命令を実行する任意のモジュール、ユニット、構成要素、サーバ、コンピュータ、端末、エンジン、またはデバイスは、たとえば記憶媒体、コンピュータ記憶媒体、またはたとえば磁気ディスク、光学ディスク、またはテープなどの（取出し可能および／または非取出し可能な）データストレージデバイスなどのコンピュータ可読媒体へのアクセスを含み、または有してよい。コンピュータ記憶媒体は、たとえばコンピュータ可読命令、データ構成、プログラムモジュール、または他のデータなどの情報を格納するために任意の方法または技術で実装された揮発性および不揮発性、取出し可能および非取出し可能な媒体を含んでよい。コンピュータ記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望の方法を格納するために用いることができ、アプリケーション、モジュール、またはその両方によってアクセスされ得る他の任意の媒体を含む。そのような任意のコンピュータ記憶媒体は、デバイスの一部であってよく、またはデバイスにアクセス可能または接続可能であってよい。更に、文脈が特に明示しない限り、本明細書に提示される任意のプロセッサまたはコントローラは、単一のプロセッサまたは複数のプロセッサとして実装され得る。複数のプロセッサはアレイ型または分散型であってよく、本明細書で言及される任意の処理機能は、単一のプロセッサが例示される場合でも、複数のプロセッサまたはその１つによって行われてよい。本明細書で説明する任意の方法、アプリケーション、またはモジュールは、そのようなコンピュータ可読媒体によって格納または保持され、１または複数のプロセッサによって実行され得るコンピュータ可読／実行可能命令を用いて実装され得る。

下記は、一般に撮像に関し、具体的には、画素単位符号化露光を用いて画像ダイナミックレンジを拡張するための方法およびシステムに関する。

本明細書で用いられる「画素単位」または「画素に関する」は、画素単位または画素ごとでの動作または機能を指すが、場合によっては、小さな画素グループごとの動作または機能を含み得る。

アクティブ画素を用いるカメラの限定されたダイナミックレンジは、明るいシーンまたは暗いシーンの捕捉が可能であるが、同時に両方を捕捉することはできない。このトレードオフに対処するために、いくつかの高ダイナミックレンジ（ＨＤＲ）技術が導入されてきた。ネイティブ解像度フルフレームレートＨＤＲアプローチは、たとえばマルチ利得画素読出し、イベントベースの読出し、またはレンジ圧縮伝達関数（たとえば対数）など、画素に大幅な補助回路オーバヘッドを加えるが、多くの場合、低い曲線因子および画素内アナログ回路の非理想性に悩まされる。フレームレートがダイナミックレンジにトレードされ得る場合、露光は多くの場合、多数のフレームにわたり変動する。多くのカメラにおけるこのアプローチは一般に、比例して高いフレームレートを必要とするか、または動きボケや焼き付きを招き得る。たとえば短期、中期、長期、および超長期など、フレームの最初から始まる異なる連続露光時間インターバルでプログラムされた単一の蓄積ノードを各々が有するプログラム可能な画素のたとえば２×２のタイルを用いる単一フレームＨＤＲアプローチが用いられている。このアプローチは、図２に図示される。このアプローチは一般に、その構造によって画像分解能が４分の１になり、任意にプログラム可能な非連続的露光時間インターバルが可能ではない。他の単一フレームＨＤＲアプローチは、カメラの前方に空間光変調器（ＳＬＭ）またはデジタルマイクロミラーデバイス（ＤＭＤ）などの制御可能な２Ｄ光減衰器を用いるが、このアプローチは一般に、高い画像センサ空間分解能にスケーラブルではなく、カメラモジュールの高い複雑性および高い費用を有することに加えて、光学歪みを生じやすい。このアプローチは、図３に図示される。

露光または露光時間は、光の光子がフォトサイトに到達して対応する感光体によって感知され、読み出され、蓄積ノードに転送され、ドレーンされ、または画素内で他のように用いられ得る時間である。カメラにおける多くの画像センサの限定されたダイナミックレンジは、明るいシーンまたは暗いシーンのいずれかの捕捉が可能であるが、所与のフレームに関して両方を捕捉することはできない。

画素利得または信号利得は、たとえば光または光生成信号などの画素入力信号が、信号が画素の出力へ通過すると同時にスケールされる因数である。

画像センサ画素は、入射光強度または他の光特性、たとえば光がセンサに移動するまでに要する時間を推定するために用いられ得る。飛行時間（ＴｏＦ）は、光が光源から、たとえば光検出器などの受光体に移動するのにかかる時間である。間接飛行時間（ｉＴｏＦ）法は、明示的なタイマを用いずにこの飛行時間を測定する。たとえば、送信される光を変調するためのたとえば周期パルス波形などの変調信号、およびたとえば同じ周波数の別の周期パルス波形などの復調信号を用いる。時間は、受信変調光信号と復調信号との間の位相差を測定することによって決定され得る。

画素符号または符号は、たとえば画素露光時間、画素利得、または画素の他のパラメータを設定するために画素によって用いられる情報を搬送する数値または信号である。これは、たとえば電圧、電流、電荷、または時間などの電子信号によって表されてよく、デジタルまたはアナログ信号として表されてもよく、連続時間、離散時間、または他の表現方式で表されてもよい。

任意値の画素符号または任意の画素符号は、可能な全ての符号値の任意のサブクラスに限定されない画素符号表現を指し、符号は、必要に応じて、またはシステムまたはユーザによって設定されると、任意の時点で任意の値を有し得る。たとえば、任意の離散時間１ビット２進画素符号のシーケンスは、必要に応じてシーケンス内の任意の符号サンプルに関して０または１の値を取ってよい。

一部の汎用符号化露光撮像システムは、カメラの各１タップ画素に入来する光を通過させ、または遮断するための空間光変調器（ＳＬＭ）、デジタルマイクロミラーデバイス（ＤＭＤ）、またはシリコン基板上の液晶（ＬＣｏＳ）を用いるので、嵩高く高価である。本開示の実施形態によると、マルチタップ符号化露光画素（ＣＥＰ）画像センサは、たとえば（１）ＣＭＯＳ－ＩＳ技術で直接的に画素がプログラム可能であることによる潜在的に小さな形状因子および低費用、（２）多くの場合、外部光学デバイスが必要でないことによる良好な光信号忠実度、（３）１タップ画素が「オフ」である場合に光を破棄するのではなく、光生成電荷が多数のタップの間で分類され得ることによる良好な光効率、および（４）光生成電荷が多数の時間インターバルにわたり選択的に蓄積され、フレームごとに１度だけ読み出され得ることによる低雑音（露光の度に雑音の原因となる読出しを行う等速の高フレームレートカメラと比較した場合）などの様々な利点を提供し得る。

本開示の実施形態は、たとえば（１）各画素または画素グループが独自の画素単位／グループ単位（ここでは画素単位と称される）露光時間を有するようにプログラムされ得る符号化露光画素（ＣＥＰ）、（２）各画素または画素グループが独自の画素単位／グループ単位の信号利得を有するようにプログラムまたは制御され得る符号化利得画素（ＣＧＰ）、および（３）各画素または画素グループが、露光、利得、および／または他の任意のパラメータを含み得る独自の動作パラメータを有するようにプログラムまたは制御され得る他の種類の画素などの符号化画素（ＣＰ）を用いる、画像センサのダイナミックレンジを拡張するために用いられ得る方法を提供する。（ここでは露光とも称される）露光時間は、入力光信号の関数である電子信号を生成するために、１または複数の光検出器が光に露出する時間インターバル（複数も可）、または１または複数の光検出器が効果的に光に露出する時間インターバル（複数も可）を指す。（ここでは利得とも称される）信号利得は、たとえば光および／または電気光変調器の利得、光生成電荷変換利得、電圧利得、電流利得、デジタル利得、または他の任意の種類の利得など、入来光信号から始まる信号経路における出力までの全てにわたる任意の種類の利得を指す。光検出器（またはフォトサイト）は、入来する光信号を、たとえば光生成電荷、電圧、または電流などの光生成電子信号に変換するデバイスである。光検出器の例は、フォトダイオード、ピン止めフォトダイオード、フォトゲート、フォトトランジスタ、または他の任意の感光性電子デバイスを含む。

ここで図１を参照すると、実施形態に係る、符号化画素を用いて画像センサのダイナミックレンジを拡張するためのシステム１００が示される。当業者に理解されるように、場合によっては、システム１００のいくつかの構成要素は個別のハードウェア実装で実行され得る。他の場合、システム１００のいくつかの構成要素は、ローカルまたはリモートに分散し得る１または複数の汎用プロセッサに実装され得る。

図１は、システム１００の実施形態の様々な物理的および論理的構成要素を示す。示されるように、システム１００は、１または複数のプロセッサ１０２、データストレージ１０４、出力インタフェース１０６、ＣＰ画像センサ１１０、符号化モジュール１１２、ＨＤＲ復号モジュール１１４、出力モジュール１１６および構成要素が互いに通信することを可能にするローカルバス１１８を含む複数の物理的および論理的構成要素を有する。実施形態において、モジュールは、１または複数のプロセッサ１０２で実行され得る。他の実施形態において、モジュールは、ハードウェアにおいて、専用プロセッサを介して、またはネットワークを介してリモートプロセッサに実装され得る。場合によっては、モジュールの機能は適宜、結合またはさらに分離され得る。場合によっては、出力インタフェース１０６は、システム１００の出力を出力するための表示デバイスまたは他のコンピューティングデバイスとの通信状態であってよい。他の実施形態において、システム１００の必須ではない要素は省略され、または他の要素と結合され得る。

ＣＰ画像センサのダイナミックレンジは、図４Ａおよび図４Ｂに示すフローチャートで示すように、いくつかの異なるアプローチによって拡張され得る。図４Ａは、実施形態に係る、開ループ高ダイナミックレンジ（ＨＤＲ）撮像方法を示す。センサのダイナミックレンジを拡張するために、画素単位動作パラメータ、たとえば露光および画素単位利得符号が、現在撮像中のシーンからの情報を用いずに光検出器アレイに提示される。例として、これらの符号は、利用可能な画像データおよびたとえば他のセンサからの他の現在または過去データなどの他の情報に基づいて、１または複数の人工知能機械学習アルゴリズムによってオンラインまたはオフラインで学習され得る。

図４Ｂは、実施形態に係る、閉ループＨＤＲ撮像方法を示す。図４Ａで説明した機能に加えて、画素符号は、たとえば各画素の強度情報ならびに現在または過去フレームまたはサブフレームにおいて入手可能なシーンに関する他の任意の情報など、撮像される現在および／または過去シーン（複数も可）に基づいて動的に適合され得る。

画素符号を用いて、たとえば露光時間および信号利得に関する個々の画素の動作パラメータをプログラム可能であることは、符号化画素（ＣＰ）画像センサの有利な特性である。ＣＰ画像センサにおける画素符号は、様々な種類、形式、および表現法を有してよい。たとえば図５Ｂは、各画素の露光時間がプログラム可能なＣＰ画像センサのサブクラスである符号化露光画素（ＣＥＰ）画像センサの動作の例の図を示す。従来の画像センサの露光技術が図５Ａに示され、これは、１タップＣＥＰ画像センサの例として図５Ｂに示すＣＥＰ画像センサ露光技術と比較され得る。タップは、キャパシタ、ＭＯＳキャパシタ、トレンチキャパシタ、遮光浮遊拡散ノード、遮光ピン止めダイオードとして、または他の任意の手段によって実装され得る。図５Ｂにおいて、１フレームの合計露光インターバルは、デジタル係数によって制御されるような微細な画素単位露光の時間制御のための「サブフレーム」、または各サブフレーム内の画素の全てまたは一部に送信される「符号」として知られる、複数（Ｎ個）のプログラム可能サブインターバルに分割される。この例において、画素は、電荷を収集し得るか否かの１タップしか有さないので、所与のサブフレームにおいてこれら２つの機能の１つを選択するために１ビットの２進符号が用いられ得る。その結果、各サブフレームにおいて、画素符号値が１か０かに依存して光生成信号はそれぞれ画素内タップに集積されるか、そうでないかである。光生成電荷が所与のサブフレーム内のタップに集積されない場合、１タップ画素の例ではドレーンされ、本明細書で説明するように画素内で複数のタップが利用可能である場合、他のタップにシフトされ得る。

図６Ａ～図６Ｃは、画素ごとに２つ以上のタップを有する画素に関するＣＥＰ画像センサの露光機能の例を示す。この例は、説明を容易にするために２つのタップのみを示す。図６Ａは、この例において２つのタップに関する相補的な１ビットの２進数である任意の２進符号によって２つのタップが制御される２タップＣＥＰ画像センサの露光機能を示す。１ビットの（値０または１をとる）２進符号は、それぞれタップ１および２における電荷蓄積に対応する符号１または符号２のいずれかを表し得る。符号０に関する表現は存在しないので、これは一般に、個々のサブフレームにおける画素単位でプログラム可能な光検出器電荷ドレーニングが可能ではないが、全ての画素に関する同時のグローバル電荷ドレーニングが可能である。この例において、画素ごとに１ビットの２進符号のみが必要であり、その結果、小型画素実装がもたらされる。図６Ｂは、２つのバケットが完全に任意の（すなわち必ずしも相補的でない）２進符号によって制御される２タップＣＥＰ画像センサの露光機能の例を示す。これは、個々のサブフレームにおける画素単位でプログラム可能な光検出器ドレーニングが可能であるが、画素符号を表すために複数ビットを必要とする。この例において、図６Ｂに示すように、符号０、１、２という３つの状態が必要である。これは、最大４つの状態を符号化する２ビットの２進符号を必要とする。符号化利得画素（ＣＧＰ）アーキテクチャに関して後述するように、残った未使用の第４の状態は、画素内でプログラム可能な利得制御のために用いられ得る。図６Ｃは、間接飛行時間型（ｉＴｏＦ）画素に関する画素単位の符号化の例を示す。ｉＴｏＦ感知または撮像において、シーンとの距離を推定する必要に応じて、光生成信号を復調するために２タップが必要である。図６Ｃの例は、そのような画素が、それぞれ符号１および０を用いてどのように選択的にオンおよびオフにされ得るかを示す。これは、画素が符号１を受信すると光生成信号復調が起こり、画素が符号０を受信すると復調が起こらないことを意味する。たとえば強い背景照明が存在する場合などの様々な厳しい条件における光復調は、たとえばｉＴｏＦ画素アーキテクチャを含む、画素のダイナミックレンジを増加することによって本発明で対処される課題を提示する。

ＣＰ撮像素子画素における各画素または画素グループは、各画素または画素グループに関する任意の時間符号を用いてプログラムされた独自の動作パラメータを有し得る。たとえば、動作パラメータは、ＣＥＰアーキテクチャの例において露光時間を含んでよく、ＣＧＰアーキテクチャの例において信号利得を含んでよい。図７Ａは、画素単位符号化露光画素（ＣＥＰ）および画素単位符号化利得画素（ＣＧＰ）アーキテクチャの両者を組み合わせる符号化画素（ＣＰ）画素アーキテクチャの例を示す。サブフレームにおいて、光生成電荷は、画素の露光符号によって制御されたように、光検出器からタップの１または複数に転送され、または他のノード、たとえばＶＤＤにドレーンされる。よって、１フレーム内で、光生成電荷全体がサブフレームごとに１つの小部分に分割され、複数のタップの間で分類され得る。各タップは、たとえば光検出器から転送された光生成電荷を格納するキャパシタとして記号的に表現される。電荷転送タイミングおよび期間は、一部または全てのサブフレーム内の一部または全ての画素に供給された画素単位露光符号によって制御され得る。信号利得は、図７Ａに示すように、キャパシタの変数値プロパティによって記号的に表され得る。この記号的表現は、次の例によって説明することができる。２つの異なる値のキャパシタにシフトされた同じ値の光生成電荷は、これらのキャパシタに異なる電圧をもたらすことにより、異なる信号利得をもたらす。たとえば各キャパシタの各タップのサイズ、およびそれに伴う各タップの信号利得のサイズは、一部または全てのサブフレーム内の一部または全ての画素に供給された画素単位利得符号によって制御され得る。タップ容量は、たとえばいくつかの浮遊拡散ノードを１つに結合またはビニングすること（低インピーダンスノードに接続されない場合、これらの１つはドレーンノードであってよい）によって、追加の静電容量にタップを接続することによって、または他のアプローチによって変調され得る。

図７Ｂは、追加の中間電荷蓄積ノードがダイオードＳＤに接続される、ＣＰ画素の他の例を示す。そのような追加の蓄積ノードは、たとえば単純な全体画素回路および低減された全体画素サイズを提供する。このノードは、ダイオード記号に接続されるように記号的に表現され、実際に蓄積ダイオードは、そのような蓄積ノードを実装するための一例であるが、これはそのようなものに限定されない。この例において、光生成電荷は最初に、全ての画素に関して同期的にノードＳＤにグローバルにシフトされ、その後、供給された露光符号に基づいて１または複数のタップの間で分類される。図７Ａに示すアーキテクチャ例は、符号メモリ画素（ＣＭＰ）と称され、図７Ｂに示すアーキテクチャ例は、データメモリ画素（ＤＭＰ）と称される。両方のアーキテクチャが、リセット雑音、フリッカ雑音、電子回路オフセット、および他の低周波雑音およびオフセットを低減するために、相関二重サンプリングおよび／または二重サンプリングを実装するために必要に応じて画素内および画素外に様々な追加の回路を含んでよい。

図７Ｃは、任意の露光符号によって制御されたように、光生成電荷の予め選択されたタップペアへの復調を行う間接飛行時間型（ｉＴｏＦ）ＣＰ画素アーキテクチャの例を示す。このアーキテクチャはＣＥＰおよびＣＧＰ機能の両方を結合するので、画素利得もまた、可変電荷蓄積容量値によってプログラム可能である。サブフレームにおいて、光生成電荷は、信号ＭＯＤおよびその相補信号

を用いて等しいインデックスのタップのペアにおいて復調される。たとえば、所与のサブフレームにおける非ゼロ符号ｉは、図７Ｃに示すように、両側に１つずつのタップＲ－ＴＡＰｉおよびＬ－ＴＡＰｉのペアを選択する。そのサブフレームにおいて、光生成電荷は、信号ＭＯＤがアサートされた場合、右側のタップＲ－ＴＡＰｉに収集され、信号

がアサートされた場合、左側のタップＬ－ＴＡＰｉに収集される。

図７Ｄは、２つの蓄積ダイオードＬ－ＳＤおよびＲ－ＳＤの上部端子に２つの追加の中間電荷蓄積ノードが導入された、ｉＴｏＦ ＣＰ画素アーキテクチャの他の例を示す。これらの蓄積ノードは、信号ＭＯＤおよび

を用いて光検出器ＰＤから転送された復調光生成電荷を蓄積するために用いられる。この例において、光生成電荷は、信号ＭＯＤがアサートされた場合、右側の蓄積ノードＲ－ＳＤに収集され、信号

がアサートされた場合、左側の蓄積ノードＬ－ＳＤに収集される。所与のサブフレームにおける非ゼロ符号ｉは、蓄積ノードから対応するインデックスのタップまたは蓄積ノードに接続されたタップに電荷を転送する。

図８Ａは、１フレーム内のＮ個のサブフレーム（ここではＮ＝４）に関する、１タップを有する画素（すなわち１タップ画素）に関する任意の露光符号の時空間視覚化の例を示す。ＦＲＡＭＥ_ｘ画素×ＦＲＡＭＥ_ｙ画素の空間次元の各々が示される（この例は、ＦＲＡＭＥ_ｘ＝５画素およびＦＲＡＭＥ_ｙ＝５画素を有する５×５のサブフレーム例を示す）。ｔ軸は時間に対応する。この例において、サブフレームごとに１つの電荷転送が存在する。符号０は、電荷がドレーンされることを意味し、符号１は、電荷が蓄積ノードにシフトされることを意味する。ｋ番目のサブフレーム持続時間Ｔ_ｋ、およびそのサブフレーム内の所与の画素に関する符号ｃ_ｋの両方が、任意に選択され得る。したがって、その画素に関するプログラム可能な露光時間は、

と表すことができる。図８Ｂは、Ｎ個のサブフレーム（ここではＮ＝４）に関する。２タップを有する画素に関する任意の露光符号の視覚化の例を示す。空間次元の各々は、５×５画素である。符号０は、電荷がドレーンされることを意味し、符号１は、電荷が蓄積ノード１にシフトされることを意味し、符号２は、電荷が蓄積ノード２にシフトされることを意味する。

可変的な任意のサブフレーム期間および任意のサブフレームカウントは、１タップ画素の例に関する図８Ｃおよび図８Ｄに更に示される。フレームｎおよびｎ＋１の画素に関する露光符号の時空間マップ視覚化が示され、ここでｋ番目のサブフレーム持続時間Ｔ_ｋは、各サブフレームについて動的に調整され得る。各フレームに関するサブフレームの数もまた、動的に調整され得る。この例において、図８Ｃにおけるｎ番目のフレームにおいてフレームごとに５つのサブフレームが存在するが、図８Ｄにおける（ｎ＋１）番目のフレームにおいてフレームごとに４つのサブフレームが存在する。したがって、ｋ番目のサブフレーム持続時間Ｔ_ｋ、およびそのサブフレーム内の所与の画素に関する符号ｃ_ｋの両方が任意に選択され得る。

特定の画素露光符号の例は、画素が露光される合計時間が、関数、たとえばランプ関数、指数関数、２進重み関数、対数関数、または他の任意の解析または非解析時間関数または他の任意のパラメータとして表され得る符号であってよい。加えて、画素符号の任意的な性質は、他の方法でも有利である。たとえば、２タップ画素露光符号の場合、露光制御は、単なる連続露光時間よりも一般的に定義され得る。特に、Ｎ個のサブフレームのうちのｋ個に関してタップ符号が１である場合、そのタップの露光時間はｋである。しかし、その露光時間を実施するためにｋ－ｃｈｏｏｓｅ－Ｎの異なる方法（たとえば符号シーケンス内の１および２を並べ替える様々な方法）が存在する。これらの方法は、シーンが非静的である場合、同等でなくてもよい。たとえば、圧縮ＨＤＲビデオに関して、画素符号が１または２である正確なサブフレームが制御されなければならず、単にそれらの合計数が制御されるべきではない。また、画素符号の任意的な性質は、上記符号の最も柔軟な表現であり得るので、開ループおよび閉ループＨＤＲ撮像の両方に関して最適である。多くの場合、本開示の実施形態は、開ループおよび閉ループＨＤＲ撮像の両方で利用され得る。

図８Ａ～８Ｄに示す例は、画素ごとにプログラム可能な露光の例を示す。同様に、システム１００は、画素ごとにプログラム可能な利得を実装し得る。たとえば、光生成電荷は、単一サブフレーム内の複数の容量性ノードに転送され得る。そのような容量性ノードは、たとえば１または複数のタップに対応する浮遊拡散ノード、および低インピーダンスノードに接続されない場合、ドレーンノードの浮遊拡散であってよい。タップウェル容量全体が増加してよく、画素変換利得が低減される。他の例において、本明細書で説明する画素回路例に関して説明するものを含む、追加の利得制御要素が用いられ得る。

符号化露光画素（ＣＥＰ）画像センサは、ＣＰ画像センサのサブクラスである。それぞれのタップに異なる露光符号をプログラムすることによってＨＤＲ撮像を行うために、２つ以上のタップを有するＣＥＰ画像センサ画素が用いられ得る。図９Ａは、上部における符号メモリ画素（ＣＭＰ）、および下部における追加の電荷蓄積ノードを含むデータメモリ画素（ＤＭＰ）という、そのような目的で利用され得る２つの２タップ画素に関する簡略図の例を示す。画素内の２つのタップの各々は、ゼロサブフレームから全サブフレーム期間の範囲内である任意にプログラム可能な露光時間を有する。この例において、全ての光生成電荷を収集するために（すなわち最大信号のために）２つの相補的な２進符号が用いられる。図９Ｂは、両方のタップに関する露光時間が連続的でフレームの最初から始まる、２つの符号の例を示す。図９Ｃは、タップ露光インターバルが必ずしも連続的ではない他の例を示す。画素内の２つのタップの各々に関して、任意の時間符号がプログラムされ得る。符号の完全に任意的な性質により、たとえばダイナミックレンジの改善および／または他の性能の改善に関して、任意的でない符号に対し追加的な自由度が可能になる。図９Ｄは、２タップ画素内のタップの各々に関する入射光強度に対するシミュレートされた信号対雑音比（ＳＮＲ）のプロットの例を示す。直観的に例示するために、図９Ｄに示すシミュレーションの例に含まれた唯一の雑音は光子ショット雑音である。他の例において、多数のタップからの信号を結合することによって、ＳＮＲの更なる改善が得られ得る。光信号レベルが、２つの異なるタップに対応する２つの光強度サブレンジの間の境界線付近である時、ＳＮＲプロットは極小値に到達する。図９Ａ～９Ｄは、例としてＣＥＰアーキテクチャを用いるが、同じ概念が、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャまたは間接飛行時間型（ｉＴｏＦ）符号化画素アーキテクチャなど、全てのＣＰ画素アーキテクチャ型に適用され得る。

図１０Ａは、上部にＣＭＰ画素アーキテクチャおよび下部にＤＭＰ画素アーキテクチャという、ＨＤＲ撮像のために利用され得る２つの４タップ画素の図の例を示す。４つのタップの各々は、ゼロサブフレームから全サブフレーム期間の範囲内である任意のプログラム可能な露光時間を有する。図１０Ｂは、そのような４つの符号の例を示し、全てのタップに関する露光インターバルは連続的であり、フレームの最初から始まる。図１０Ｃは、タップ露光期間が任意の時間符号によって制御される他の例を示す。この例において、全ての光生成電荷を収集するために（すなわち最大信号のために）２つの相補的な２進符号が用いられる。図１０Ｄは、４タップ画素内のタップの各々に関する入射光強度に対するシミュレートされた信号対雑音比（ＳＮＲ）のプロットの例を示す。例示の明確性のために、このシミュレーション例に含まれた唯一の雑音は光子ショット雑音であり、個々のタップ信号は、ＳＮＲを大きくするために結合されない。図１０Ｄは、増加した数のサブレンジ（先の例における２つのサブレンジに対し４つ）によって、異なるタップに対応する光強度サブレンジの間の境界線におけるＳＮＲ低下が目立たないことを示す。図１０Ａ～１０Ｄは、例としてＣＥＰアーキテクチャを示すが、追加の例において、これは、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャまたは間接飛行時間型（ｉＴｏＦ）符号化画素アーキテクチャなど、他のＣＰ画素アーキテクチャ型に適用され得る。

ＣＥＰ画像センサ画素の符号は、空間分解能を改善したダイナミックレンジにトレードするために、たとえば空間タイルなどの近傍に画素をグループ化するために用いられ得る。このシステムは、有利な点として、画像センサ図またはレイアウトにおいてこのグループ化機能をハードコードまたはハード配線する必要なく、各画素に送信される任意の値の符号を用いてこれを実行し得る。図１１Ａは、画素アレイ全体で繰り返される、ＴＩＬＥ_ｘ＝２およびＴＩＬＥ_ｙ＝２に関する１タップ画素のＴＩＬＥ_ｘ×ＴＩＬＥ_ｙ空間構成をもたらす画素符号の例を示す。４つの画素の各々は、ゼロサブフレームから全サブフレーム期間の範囲内である任意にプログラム可能な露光時間を有する。図１１Ｂは、そのような４つの符号の例を示す。この例において、様々に露光された画素間での動きボケ不均一性を低減するために、全ての画素に関する露光インターバルは連続的であり、フレームの半分の時点を中心とする。その例は、高ダイナミックレンジを得るために後にデモザイク処理され得る２×２ベイヤＲＧＢ式タイルブロックにわたり分散された４つのレベルの露光（１、Ｎ／３、２Ｎ／３、およびＮ、このＮはサブフレームの数）を用いることである。図１１Ｃは、画素露光インターバルが必ずしも連続的ではない他の例を示す。任意の時間符号は、タイル内の４つの画素の各々に関してプログラムされ得るので、たとえば改善されたダイナミックレンジおよび／または他の性能改善のために追加的な自由度が可能である。図１１Ｄは、４タップの各々に関する入射光強度に対するシミュレートされた信号対雑音比（ＳＮＲ）のプロットの例を示す。例示の明確性のために、この刺激に含まれた唯一の雑音は光子ショット雑音であり、個々のタップ信号は、ＳＮＲを大きくするために結合されない。図１１Ｄは、異なる画素に対応する光強度サブレンジ間の境界線付近の光信号レベルに関してＳＮＲが極小値に到達することを示す。図１１Ａ～１１Ｄは、例としてＣＥＰアーキテクチャを示すが、追加の例において、これは、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャまたは間接飛行時間型（ｉＴｏＦ）符号化画素アーキテクチャなど、他のＣＰ画素アーキテクチャ型に適用され得る。

図１２Ａは、画素アレイ全体で繰り返される、ＴＩＬＥ_ｘ＝２およびＴＩＬＥ_ｙ＝２に関する２タップ画素のＴＩＬＥ_ｘ×ＴＩＬＥ_ｙ空間構成をもたらす画素符号の例を示す。４つの画素の各々における２つのタップの各々は、ゼロサブフレームから全サブフレーム期間の範囲内である任意にプログラム可能な露光時間を有する。たとえば、ｔ１～ｔ４は、２×２画素タイル内の４つの画素の第１タップの露光時間インターバルである。図１２Ｂは、そのような８つの符号の例を示し、全ての画素に関する露光インターバルは連続的であり、フレームの最初から始まる。図１２Ｃは、タイル内の４つの画素の８つのタップの各々に関して画素露光インターバルが任意の時間符号によって制御され得る他の例を示す。図１２Ｄは、増加した数のサブレンジ（図１１Ａ～１１Ｄの例における４つのサブレンジに対し８つのサブレンジ）によって、異なるタップに対応する光強度サブレンジ間の境界線におけるＳＮＲ低下が目立たないことを示す。図１２Ａ～１２Ｄは、例としてＣＥＰアーキテクチャを示すが、追加の例において、これは、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャまたは間接時間飛行型（ｉＴｏＦ）符号化画素アーキテクチャなど、他のＣＰ画素アーキテクチャ型に適用され得る。

いくつかの例において、ＨＤＲビデオのスナップショット圧縮取得を可能にするために他の基準が採用され得る。いくつかの低ダイナミックレンジスナップショット圧縮ビデオ取得アプローチにおいて、図８Ａに示す時空間立方体をサンプリングするために、個々の１タップ画素は異なる露光インターバルを割り当てられる。これらのインターバルは、時空間立方体全体、すなわち低ダイナミックレンジビデオシーケンス全体の再構成が、適当な復号アルゴリズムを利用して、たった１つの捕捉画像から計算され得るような方法で選択される。単一スナップショットからのＨＤＲビデオの取得を可能にするために、ＣＥＰ画素に割り当てられた符号は、図８Ｂに示すように、露光インターバルおよび合計露光時間の両方が画素および画素内のタップの間で変化するように選択され得る。これらの符号は、再構成されたＨＤＲビデオフレームの品質を最大化するために、画素アレイ内の各画素に個々に割り当てられ得る。あるいは、画素アレイはＴＩＬＥ_ｘ×ＴＩＬＥ_ｙに構成されてよく、各近傍は、たとえば図８Ｂの符号などの同じ符号を受信する。その後、ＨＤＲビデオは、適当な復号アルゴリズムを用いて取得される。同じ概念が、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャまたは間接飛行時間型（ｉＴｏＦ）符号化画素アーキテクチャなど、他のＣＰ画素アーキテクチャ型に適用され得る。

本開示の実施形態は多くの場合、図４に示すように、開ループおよび閉ループＨＤＲ撮像の両方に適用され得る。開ループ動作において、画素符号および復号アルゴリズムは、手動で入力されるか、または所与のアプリケーションにおいてＨＤＲ性能を最大化するために以前の訓練データから計算され得る。閉ループ動作において、画素符号は、撮像中のシーン内の彩度を低減および／またはＳＮＲを大きくするため、またはより一般には、アプリケーションに特化した撮像性能を改善するために、適応的に計算され得る。アプリケーション例は、高速撮像、物体検出、追跡、認識、ロボットナビゲーション、自律走行、３Ｄ再構成、および（たとえばグリッド位相および／または周波数の測定、電球型の認識などを含むがこれに限定されない）ＡＣ電球の撮像による電気グリッドの遠隔監視および分析を含む。上記画素符号の適応的計算は、たとえば（１）画素アレイ全体に関して前のビデオフレームまたはビデオフレームシーケンスを符号にマッピングする手動入力機能、（２）たとえばＰＩＤコントローラなどの手動入力制御アルゴリズム、および（３）以前の訓練データに基づく学習制御アルゴリズムなど、任意の適当な方法で実行され得る。同様の考察が復号アルゴリズムにも適用され得る。手動入力符号生成機能の例は、本明細書で説明される。

いくつかの例において、バーストモード取得によって得られたビデオフレーム内またはＨＤＲ画像内の単一ＨＤＲ画素値を構成するために複数のＣＰ画像センサ画素が用いられる場合、たとえば動きボケ不均一性またはフレーム間変動性などのアーチファクトを低減するために、追加の基準が採用され得る。たとえばＣＥＰ画像センサにおいて、これは、たとえば２×２画素のサイズまたは他の任意のサイズの画素タイルなどの同じ空間近傍内の多数の画素間で露光符号を定期的にスワッピングすることによって行われ得る。図１３は、２×２の１タップ画素アレイの例を示し、４つの後続フレームに関する露光符号は、４回にわたり９０度回転される。これにより、４フレームの期間にわたり各画素が同じ平均時間露光され、これらのフレーム中に起こる撮像シーン内の動きによるブレが均等化されることが可能である。図１３は、例としてＣＥＰアーキテクチャを示すが、同じ概念が、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャなどの他のＣＰ画素アーキテクチャ型に適用され得る。露光符号は、１タップまたはマルチタップ画素の近傍のＴＩＬＥ_ｘ×ＴＩＬＥ_ｙ空間構成をプログラム可能に組み付けるために用いられてよく、これは画素アレイ全体で繰り返される。近傍内の画素の各々は、任意にプログラム可能な露光インターバル（複数も可）を有する。露光符号は、ＴＩＬＥ_ｎフレームにわたり各画素が同じまたは概ね同じ時間インターバル（複数も可）の間露光されるように、各後続フレームにおける画素近傍内で認識され得る。これは、バーストモードデモザイク処理方式を可能にする、空間的かつ時間にわたり露光をサンプリングするビデオ内のＴＩＬＥ_ｘ×ＴＩＬＥ_ｙ×ＴＩＬＥ_ｎ画素の寸法の小さな時空間体積として表現され得る。ＣＧＰアーキテクチャの例において、平均画素利得は一般に、ＴＩＬＥ_ｎフレームの後、全ての画素に関して同じである。

本開示の実施形態は、ＲＧＢ色フィルタアレイ、マルチスペクトルフィルタアレイ、偏光フィルタアレイ、減光フィルタアレイ、および／または他の様々なフィルタアレイを備えたＣＰ画素センサのダイナミックレンジ、動作範囲、および／または色域をプログラム可能に調整するために用いられ得る。たとえばＣＥＰセンサの色域は、Ｒチャネル、Ｇチャネル、および／またはＢチャネル画素の合計露光時間をそれぞれ個別に調整する画素符号を選択することによってシフトおよび／または拡張され得る。これらの符号は、図４に示すように、それぞれ開ループ動作または閉ループ動作に関して、先験的に指定されてよく、またはシーン依存およびタイル依存であってよい。同じ概念が、たとえば符号化利得画素（ＣＧＰ）画素アーキテクチャなどの他のＣＰ画素アーキテクチャ型に適用され得る。同じ概念が、減衰、拡散、および／または回折センサマスク、および／または金属レンズを備えたセンサに適用され得る。

図１４は、ＣＰ画像センサ１４００のブロック図の例を示す。示された機能ブロックの任意の適当な組み合わせが用いられ得る。画像センサ１４００内の「画素アレイ」１４０２は、光検出器のアレイを含む。画像センサ１４００は、画素単位露光符号および画素単位利得符号を生成および送出するための「符号ローディング回路」ブロック１４０４および「行論理およびドライバ」ブロック１４０６も含む。画素出力は、「アナログ読出し回路」１４０８および「ＡＤＣ読出し回路」１４１０を用いて読み出される。「ＣＯＮＦＩＧ．ＲＥＧ．」ブロック１４１２は、オンチップ制御信号を生成するために用いられる。「信号プロセッサ」１４１４は、たとえば開ループおよび閉ループ画素符号生成、画素符号の受信および再編成、画素符号の解凍、たとえばサブフレームの１または複数のフレーム、またはサブフレームの１または複数のフレーム内の１または複数の関心領域などの画像センサからの出力画像またはビデオの受信、この情報および信号プロセッサに供給された他の情報に基づく画素符号の生成、ＨＤＲ画像再構成、および／または画像センサ読出し回路の出力に行われる他の任意の種類の画像またはビデオ処理などの様々な計算機能を実行する。追加のブロックは、たとえばマイクロレンズなどの前面および背面照明、色フィルタ、電気分離および光分離のための深型または浅型トレンチ、減衰、拡散、および／または回折センサマスク、金属レンズ、画素ブルーミング防止制御回路、画素ビニング回路、相関二重サンプリング回路、二重サンプリング回路、平均化回路、固定パターン雑音を較正するための回路、色補正および強調回路、プログラム可能利得制御回路、能動照明制御回路、飛行時間型撮像制御回路、または、同じ集積回路（ここではチップと称する）または同じウェハ、または別の集積回路またはウェハ上に、または積層ウェハまたは積層ダイまたは単一パッケージまたは単一モジュールまたはマルチパッケージまたはマルチモジュール構成で実装された他の任意の画素制御回路またはモジュールに関するデバイス、構造、および回路を含んでよい。

他の機能ブロックは、同じ画像センサチップ内、またはたとえば他のスタンドアロンチップ、または積層ダイまたは積層ウェハ構成で画像センサチップに接着された、または他の任意のハードウェアまたはソフトウェアに実装された他のチップなどの画像センサチップ外のいずれかに含まれ得る。これらの追加の機能ブロックは、たとえばデジタルまたはアナログ信号プロセッサ（またはビデオ子処理の出力のために用いられ得る他の任意のコンピューティングデバイス）、画素符号生成器、符号圧縮、符号送出、および／または符号解凍、温度センサ、温度ベースの制御回路、温度制御回路、周囲光センサ、屋内および屋外の人工照明の振幅および／または位相を測定するセンサを含む人口光センサ、たとえば投光器、レーザ光源、ＬＥＤ光源、色光源、マルチスペクトル光源、ハイパースペクトル光源、またはシーンや周囲環境を照明するために用いられる他の任意の光源などのアクティブな光源、または他の任意のセンサおよび制御ブロック、たとえばレンズ、光変調器、ミラー、デジタルマイクロミラーデバイス（ＤＭＤ）、または色フィルタなどの光学要素またはモジュールを含んでよい。

本明細書において、ＣＰ画像センサのサブクラスである符号化露光画素（ＣＥＰ）画像センサの例に関するＣＰ画像センサ画素の特定の回路レベルの実装が説明される。画素レベル符号化露光画素（ＣＥＰ）機能は、適当なアプローチで実装され得る。図１５Ｂは、２タップの例として、ＣＥＰ画像センサ内のマルチタップ画素の動作例を示すフローチャートを示す。多数のタップ間で光生成電荷の符号依存の分類を実行するために、光生成電荷は、それぞれ符号１および２であるその個々の画素の符号に基づいてタップ１または２に収集される。図１５Ａおよび図１５Ｃは、図１５Ｂに示す動作の原理に従うＣＥＰ画素アーキテクチャの２つの動作例を示す。図１５Ａは符号メモリ画素（ＣＭＰ）例を示し、図１５Ｃがデータメモリ画素（ＤＭＰ）例を示す。

図１５ＡのＣＭＰ画素アーキテクチャにおいて、符号値は、パイプライン形式で前のサブフレーム中に、「符号メモリ」と称される画素内メモリ内にプリロードされ、現在のサブフレーム露光時間の開始時に光生成電荷分類のために適用される。したがって、次のサブフレームの符号が画素符号メモリ内にプリロードされる間、現在のサブフレーム内に収集された光生成電荷は、現在のサブフレーム符号に基づいてそれぞれのタップ（複数も可）に転送される。このために、画素内パイプライン符号メモリが用いられ得る。

図１５ＣのＤＭＰ画素アーキテクチャにおいて、「データメモリ」と称される中間蓄積ノードが用いられる。これはたとえば蓄積ダイオード、蓄積ピン止めダイオード、または異なる種類の蓄積要素などの電荷領域メモリとして実装され得る。その後、各サブフレームについて行方向形式で画素に適用された符号に基づいて蓄積ダイオードに電荷「分類」が行われる。したがって、蓄積ダイオードは、次のサブフレームの光電荷の収集中に、現在のサブフレームの電荷を分類することが可能である。詳しくは、所与のサブフレームにおけるグローバル露光の後、光生成電荷は最初に中間電荷蓄積ノードに転送される。パイプライン形式において、次のサブフレームの露光中、現在のサブフレームの画素符号は、それぞれ符号１および２に関してタップ１または２にシフトすることによって蓄積された光生成電荷を分類するために画素メモリの外側から行ごとに適用される。これがフレームごとにＮ回繰り返される。その結果、フレームの全サブフレームにわたる光生成電荷は、画素単位の符号シーケンスに従って２タップにわたって選択的に積算され、フレームの終わりに２つの画像として一度に読み出される。

図１６Ａ～１６Ｄにおいて、ＣＭＰ画素アーキテクチャ（図１６Ａおよび図１６Ｃ）およびＤＭＰ画素アーキテクチャ（図１６Ｂおよび図１６Ｄ）の例に関して２タップＣＥＰ画素の例が示される。図１６Ａおよび図１６Ｂは、２つのタップに関する符号が相補的であることにより、画素ごとに１ビットの２進数で表され得る例に対応する。

図１６Ａは、行ごとに１ビットの２進サブフレームをロードするために用いられる、たとえばフリップフロップなどの１または複数のメモリ要素を含む、ＣＭＰ画素アーキテクチャの例の回路図を示す。この例において、２つのフリップフロップおよびＲＯＷ＿ＬＯＡＤは、符号をラッチする。符号が相補的である場合、相補出力を有する１つのメモリ要素のみが用いられ得る。ＧＬＯＢＡＬ＿ＥＮがアサートされると、メモリ出力が有効化され、（画素アレイ全体に）グローバルに符号に適用される。ＧＬＯＢＡＬ＿ＥＮがデアサートされると、全てのフリップフロップ出力がゼロにリセットされる。１または複数のメモリは、「符号メモリ」と称される。各画素内の符号に基づいて、２つの転送ゲートの片方または両方が、この例においてピン止めフォトダイオード（ＰＰＤ）である光検出器を対応する浮遊拡散ノードＣ_ＦＤ１および／またはＣ_ＦＤ２に接続する。両方の転送ゲートがオンである場合、これはプログラム可能な画素単位利得制御を効果的に実現し、これがＣＧＰ画素アーキテクチャの一例である。

図１６Ｂは、ＤＭＰ画素アーキテクチャの例の回路図を示し、この画素アーキテクチャは、「データメモリ」と称される追加の中間蓄積ノードを含む。この例において、データメモリは、蓄積ダイオードＳＤの上部端子におけるノードとして表される。光検出器ＰＰＤで光生成された電荷は、最初にデータメモリにシフトされ、その後、行ごとの形式で画素係数に基づいて２つのタップ間で分類される。

２つの２タップＣＥＰ画素アーキテクチャに関する画素回路図の２つの他の例、ＣＭＰおよびＤＭＰ画素アーキテクチャがそれぞれ図１６Ｃおよび図１６Ｄに示される。図１６Ｃおよび図１６Ｄは、２つのタップに関する符号が必ずしも相補的ではない例に対応し、任意の所与のサブフレーム中に蓄積された光生成電荷は、任意のタップに転送されない場合、ドレーンされ得る。図１６Ａおよび図１６Ｂの例と比較すると、追加の符号である符号０は、所与の画素において任意の所与のサブフレーム内で光生成電荷がドレーンされる場合を制御する。これには、ＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２という合計３つの符号が必要である。

図１６Ｃは、光検出器としてのＰＰＤおよび３つの画素内１ビット２進符号メモリメモリ（この例においてフリップフロップを用いる）を有する２タップＣＭＰ画素アーキテクチャの回路図例を示す。３つの２進符号は、２つの１ビット２進メモリに格納されてもよいが、簡潔性のために３つの１ビット２進メモリを有する例が示される。ＣＯＤＥ［０：２］と記された符号は、周辺符号ローディング回路によってメモリの入力において利用可能になり、行ごとの形式でＲＯＷ＿ＬＯＡＤによってラッチされる。毎サブフレームの最初に、ＧＬＯＢＡＬ＿ＥＮ信号がアサートされるとメモリ出力ノードにおいて符号が利用可能になる。サブフレームの終わりに、ＧＬＯＢＡＬ＿ＥＮ信号はデアサートされる。符号の値に基づいて、サブフレームの露光時間中、光生成電荷は意図されたタップに進められるか、またはＶＤＤにドレーンされる。

図１６Ｄは、２つの画素に関する符号が必ずしも相補的ではない（追加の中間蓄積ノードを含む）ＤＭＰ画素アーキテクチャの回路図例を示し、任意の所与のサブフレーム中に蓄積された光生成電荷は、任意のタップに転送されない場合、ドレーンされ得る。ＰＰＤ内の光生成電荷は、毎サブフレームの終わりにＧＬＯＢＡＬ＿ＥＮ信号をアサートすることによってＳＤに転送され得る。その後、ノードＳＤにおける電荷は、後続サブフレームの露光時間インターバル中、符号の値（この例においてＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２）に基づいて意図されたタップ（複数も可）に分類されるか、またはＶＤＤにドレーンされる。これは行ごとの形式で行われる。サブフレーム中に光検出器ＰＰＤ内に収集された光生成電荷もまた、ＧＬＯＢＡＬ ＤＲＡＩＮ信号をアサートすることによって一度に全てフラッシュされ得る。

２タップＣＥＰ画素の追加の実装例が、ＣＭＰ画素アーキテクチャ（図１７Ａおよび図１７Ｃ）およびＤＭＰ画素アーキテクチャ（図１７Ｂおよび図１７Ｄ）の例に関して図１７Ａ～１７Ｄに示される。図１７Ａおよび図１７Ｂは、２つのタップが相補的であることにより、画素ごとに１ビットの２進数で表され得る例に対応する。図１７Ａは、２つのラッチを含むＣＭＰ画素アーキテクチャの例を示し、一方のラッチはサブフレーム符号を行ごとにプリロードするために用いられ、他方のラッチはこの符号をグローバルに（画素アレイ全体に）適用するために用いられる。各画素内の符号に基づいて、２つの転送ゲートの１つは、ピン止めフォトダイオード（ＰＰＤ）を対応する浮遊拡散ノードに接続する。各画素内の符号は、読出しフェーズ中に積算を停止するために、露光信号によりゲートされ得る。またこの信号は、この信号およびアレイ内のデジタル切換えによって生じる供給障害がＰＰＤ電荷転送に影響を及ぼさないことを確実にするために、グローバル符号が更新する間、ローに維持され得る。この時間中に生成された電荷は、露光信号が再びアサートされるまでＰＰＤ内に蓄積され得る。

図１７Ｂは、ＤＭＰ画素アーキテクチャの例を示し、この画素アーキテクチャは、データ蓄積ダイオードに「データメモリ」を含む。光検出器ＰＰＤで光生成された電荷は、最初にデータメモリにシフトされ、その後、行ごとの形式で、それらの相補符号に基づいて２つのタップ間で分類される。光検出器電荷は、たとえばサブフレームの終わりに、グローバルにドレーンすることしかできない。この画素トポロジは、グローバルシャッタ画素と類似し得るが、単純な読出しではなく、データメモリ（浮遊拡散蓄積）ノードが電荷分類のために用いられる。

図１７Ｃおよび図１７Ｄは、２つのタップに関する符号が必ずしも相補的ではないため、任意の所与のサブフレーム中に蓄積された光生成電荷は、任意のタップに転送されない場合ドレーンされ得るという点で、それぞれ図１７Ａおよび図１７Ｂと相違する。画素ごとにプログラム可能な形式で任意の所与のサブフレームにおいて光生成電荷がドレーンされ得るように、追加の符号である符号０が用いられ得る。

図１７Ｅのタイミング図に示すように、各サブフレーム中、電荷が生成され、ＰＰＤ内に蓄積され、サブフレームの終わりに、ＧＬＯＢ＿ＬＯＡＤ信号は、全ての画素に関して生成された電荷をＰＰＤから蓄積ダイオード（電荷モードメモリ）に転送する。その後、転送ゲートを通る蓄積ノードからの電荷を符号に基づいてタップ１および２に分類するために、そのサブフレームのパターンが行ごとに画素に送信される。同時に、次のサブフレームに関する光生成電荷がＰＰＤ内に収集される。ただし、ＣＯＤＥ－ＵＰＬＯＡＤ（ｉ）は、ＤＭＰ画素アーキテクチャの場合のＳＵＢＦＲＡＭＥ（ｉ＋１）に対し、ＣＭＰ画素アーキテクチャの場合はＳＵＢＦＲＡＭＥ（ｉ－１）の間に起こる。簡潔性のために、画素単位利得制御機能は、図１７Ａ～１７Ｄには示されないが、たとえば一度に複数のタップに電荷をシフトすること、浮遊拡散として構成されたドレーンノードおよびタップに同時に電荷をシフトすること、または上述したように追加の利得制御要素を含むことによって用いられ得る。

図１７ＡにおけるＣＭＰ画素アーキテクチャおよび図１７ＢにおけるＤＭＰ画素アーキテクチャに関するレイアウトおよび静電位がそれぞれ図１８Ａおよび図１８Ｂに示される。これらは、２つのタップが相補的であることにより、画素ごとに１ビットの２進数で表され得る例に対応する。図１８ＡのＣＭＰ画素例において、光生成電荷は、個々の画素内の符号に基づいてタップの１つに移動される。

図１８ＢのＤＭＰ画素例において、転送ゲートＴＧＧは、電荷を全ての画素においてグローバルにＰＰＤから蓄積ダイオードに転送する（図１７に例示したような）ＧＬＯＢ＿ＬＯＡＤ信号によって制御される。転送ゲートＴＧ１およびＴＧ２は、対応する符号に基づいて蓄積ダイオード電荷分類を担う。所与のサブフレーム内のグローバル露光の後、光生成電荷は最初、たとえばデータメモリなどの中間電荷蓄積ノードに転送される。パイプライン形式において、次のサブフレームの露光中、蓄積された光生成電荷をそれぞれ符号１および２に関してタップ１または２にシフトすることによって分類するために、現在のサブフレームの画素符号が外側のメモリから行ごとに適用される。これはフレームごとにＮ回繰り返される。その結果、フレームの全サブフレームにわたる光生成電荷は、画素単位符号シーケンスに従って２つのタップにわたり選択的に積算され、２つの画像としてフレームの終わりに一度で読み出される。いくつかの例において、ＣＭＰ構造におけるＰ型金属酸化膜半導体（ＰＭＯＳ）デバイスは大量のオーバヘッド空間を必要とし得るので、画素フィルファクタを低下させる。一方で、ＤＭＰ画素は、小さな合計面積を有するＮ型金属酸化膜半導体（ＮＭＯＳ）デバイスのみを用いることができる。

ＣＥＰ画素アーキテクチャのダイナミックレンジは、個々のタップの全体ウェル容量を増加させることによって増加し得る。図１９Ａおよび図１９Ｂは、２タップＣＰ画素アーキテクチャの２つの例を示す。図１９ＡはＣＭＰを示し、図１９ＢはＤＭＰを示し、画素ごとに符号化された露光機能およびグローバルにプログラム可能な画素利得を有する。画素内のタップの全体ウェル容量は、ＣＭＰおよびＤＭＰ両方に関して、各サブフレームにおいてグローバル信号ＧＡＩＮを制御することによって調整され得る。ＣＭＰおよびＤＭＰ画素アーキテクチャの両者は、画素ごとに符号化された露光のために用いることが可能であるが、追加のダイナミック利得制御機能を有する。

ＧＡＩＮ信号がローである場合、光生成電荷は、画素単位符号ＣＯＤＥ_ｉに基づいてタップ_ｉに関連付けられた浮遊拡散ノードを表すキャパシタＣ_ＦＤｉのみに収集される。Ｃ_ＦＤｉの容量値は低いので、変換利得は高い。ＣＰのこの動作状態は一般に、入射光強度が低い場合に最適である。

ＧＡＩＮ信号がハイである場合、キャパシタＣ_ＦＤｉおよびＣ_ＨＤＲｉが並列構成で接続され、ＣＰの各タップにおける全体ウェル容量が増加する。ＰＰＤからの光生成電荷は、ＣＯＤＥ_ｉの値に基づいて、意図されたタップ内に分類されるか、またはＶＤＤにドレーンされる。タップにおいて結合した容量が高いので、変換利得は低い。ＣＰのこの動作状態は一般に、入射光強度が高い場合に最適である。

場合によっては、異なる変換利得および露光設定で浮遊拡散キャパシタＣ_ＦＤｉおよびＨＤＲキャパシタＣ_ＨＤＲｉにおいて複数回、広ダイナミックレンジシーンをサンプリングするために、ＧＡＩＮ信号はサブフレームによって動的に変更され得る。

図２０Ａおよび図２０Ｂは、画素単位符号化露光機能および画素単位符号化利得機能を有する２タップＣＰ画素アーキテクチャの２つの例を示す。図２０ＡはＣＭＰを示し、図２０ＢはＤＭＰを示し、画素単位符号化露光機能および画素単位符号化利得機能を有する。図２０Ａは、画素単位露光符号および画素単位利得符号の両方に関して光検出器ＰＰＤおよび画素内符号メモリ（この例においてＤフリップフロップ）を有するＣＰ画素アーキテクチャの実装例を示す。これは、２つのタップを有するＣＭＰ画素アーキテクチャの例である。符号ＥＸＰＯＳＵＲＥ ＣＯＤＥ［０：２］は、所与のサブフレーム内で光生成電荷を収集するために用いられるタップがあるとすればどれかを決定するために用いられ、符号ＧＡＩＮ ＣＯＤＥ［０：１］は、個々のタップの変換利得を決定するために用いられる。ＣＯＤＥｉ（この例においてＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２）の値に基づいて、光生成電荷は、サブフレームの露光時間中、意図されたタップに進められるか、またはＶＤＤにドレーンされる。タップの変換利得は、制御信号ＧＡＩＮｉ（この例においてＧＡＩＮ１、ＧＡＩＮ２）に基づいて個々に選択され得る。図２０Ｂは、光検出器ＰＰＤと（タップとも称される）浮遊拡散ノードＣ_ＦＤｉとの間に中間ノードである蓄積ダイオード（ＳＤ）を有する２タップＤＭＰ ＣＰ画素アーキテクチャの実装例を示す。ＳＤ内に収集された電荷は、後続サブフレームの露光時間中、制御信号ＣＯＤＥ_ｉ（この例においてＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２）の値に基づいて、意図されたタップ内に分類されるか、またはＶＤＤにドレーンされる。電荷をタップに分類する場合、個々のタップの変換利得は、制御信号ＧＡＩＮ_ｉ（この例においてＧＡＩＮ１、ＧＡＩＮ２）に基づいて個々に制御され得る。

図２０Ｃおよび図２０Ｄは、画素単位符号化露光機能および画素単位符号化利得機能を有する、照明源から光検出器に入来する光子の飛行時間を感知するための４タップｉＴｏＦ ＣＰ画素アーキテクチャの２つの例を示す。図２０ＣはｉＴｏＦ ＣＭＰの例を示し、図２０ＤはｉＴｏＦ ＤＭＰの例を示し、画素単位符号化露光機能および画素単位符号化利得機能を有する。

図２０Ｃは、光検出器ＰＰＤおよび画素内符号メモリ（この例においてＤフリップフロップ）を有するｉＴｏＦ ＣＭＰ画素アーキテクチャの実装例を示す。符号ＥＸＰＯＳＵＲＥ ＣＯＤＥ［０：２］は、所与のサブフレーム内で復調された光生成電荷を収集するために用いられるタップペア（Ｃ_ＦＤ１およびＣ_ＦＤ３のＴＡＰ１,またはＣ_ＦＤ２のＴＡＰ２およびＣ_ＦＤ４のＴＡＰ４）があるとすればどれかを決定するために用いられる。符号ＥＸＰＯＳＵＲＥ ＣＯＤＥ［０：２］およびＧＡＩＮ ＣＯＤＥ［０：３］は、たとえばＤフリップフロップまたはラッチなどの画素内メモリ内にロードされる。ＣＯＤＥｉ（この例においてＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２）の値および信号ＭＯＤおよび

に基づいて、光生成電荷は、サブフレーム中、意図されたタップに進められるか、または（ＣＯＤＥ０＝１である場合）ＶＤＤにドレーンされる。制御信号ＧＡＩＮｉ（この例においてＧＡＩＮ１、ＧＡＩＮ２、ＧＡＩＮ３、ＧＡＩＮ４）は、個々のタップの変換利得を設定する。利得は、Ｃ_ＦＤｉをＣ_ＨＤＲｉと接続することによって減少する。

図２０Ｄは、蓄積ダイオードＲ－ＳＤおよびＬ－ＳＤに２つの追加の中間電荷蓄積ノードを有するｉＴｏＦ ＤＭＰ画素アーキテクチャの実装例を示す。これらは、示されるように光検出器ＰＰＤと（タップとも称される）浮遊拡散ノードＣ_ＦＤｉとの間に配置される。この例において、光生成電荷は、信号ＭＯＤがアサートされた場合、右側の蓄積ノードＲ－ＳＤに収集され、信号

がアサートされた場合、左側の蓄積ノードＬ－ＳＤに収集される。Ｌ－ＳＤおよびＲ－ＳＤ内に収集された電荷は、後続サブフレーム中、制御信号ＣＯＤＥｉ（この例においてＣＯＤＥ０、ＣＯＤＥ１、およびＣＯＤＥ２）の値に基づいて、意図されたタップ内に分類されるか、またはＶＤＤにドレーンされる。電荷をタップに分類する場合、個々のタップの変換利得は、制御信号ＧＡＩＮｉ（この例においてＧＡＩＮ１、ＧＡＩＮ２、ＧＡＩＮ３、ＧＡＩＮ４）を用いて個々に制御され得る。

画像センサアレイと同じチップおよび異なるチップの両方において、画素タップ出力をデジタル化するためにアナログデジタル変換器（ＡＤＣ）が用いられ得る。たとえば参照電圧など、そのようなＡＤＣのパラメータは、１または複数のサブフレームまたは１または複数のフレームに関して動的に構成され得る。図２１Ａは、プログラム可能な分解能を有するＡＤＣを備えた画像センサにおける読出しアーキテクチャの例を示す。画像センサはＣＰアレイを含む。ＡＤＣ分解能は、オンチップ構成レジスタおよび／または外部制御信号を用いて動的に構成され得る。図２１Ｂにおいて、ＡＤＣは、粗い分解能モード（一定ＶＲＥＦを前提として、この例において１ビットの分解能）に構成される。このモードにおいて、ＡＤＣは、短いサブフレーム露光期間によって制限されるように非常に高速で画素出力に関する粗い強度情報を提供し得る。縦型スキャナが、画素アレイの行を１つずつ選択する。行が選択されると、画素のタップからのデータが１または複数の読出しラインＲＥＡＤＯＵＴ［Ｎ－１：０］にロードされる。同時にタップからのデータが読出しにおいて利用可能になってよく、または読出しラインは多数のタップに共有されてよく、データは読出しラインにおいて時間および／または空間的に多重化され得る。読出しラインは、アナログ読出し回路に接続される。アナログ読出し回路の出力は、デジタル出力を生成するために入力アナログ信号を量子化する低分解能ＡＤＣ（この例において比較器が用いられる）入力に接続される。この例において、読出しバスにおけるアナログ信号および任意にプログラムされ得る参照電圧ＶＲＥＦに基づいて、各タップについて１ビットの出力が生成される。この例において、ＡＤＣからのデジタル出力は、高速デジタルシリアライザを用いてチップ外に転送される。そのような動作は、たとえば前のサブフレームまたは現在のサブフレームのいずれかに関してタップが未だ光生成電荷を収集している露光中に行われ得る。粗いＡＤＣ読出しは、高分解能ＡＤＣに比べて少ない数のビットを生成するので、このデジタル情報は、高分解能ＡＤＣフレーム読出しの場合よりも高速で転送され得る。図２１Ｃにおいて、ＡＤＣは、高分解能モードで構成される。高分解能ＡＤＣは、たとえば同じ比較器など、低分解能ＡＤＣ回路を再利用してもよく、しなくてもよい。このモードにおいて、ＡＤＣは、各画素タップ出力のより正確なデジタル表現を提供し得る。この例において、ＡＤＣは、多くの場合、高電力または高出力データレートまたは長い読出し時間を費やして、タップからのアナログデータを最高精度のデジタル値に変換するために高分解能モードで用いられる。

たとえば粗いＡＤＣ分解能での画像センサのサブフレームごとの高速アナログデジタル変換および読出し性能は、ＣＰのダイナミックレンジを高めるために用いられる。以下に示すアプローチは、分解能が変動する場合にそのような画像センサがどのように用いられ得るかの例である。
１．全ての画素をリセットする。
・全ての画素をリセットすることによって、全ての画素出力がゼロに設定される（実際には、これは一般にＶＤＤまたはＶＤＤ付近の高電圧である）。
２．ＡＤＣを粗い高速モードに設定する。
３．ＶＲＥＦ＝ＶＲＥＦ＿ＰＥＲ＿ＳＵＢＦＲＡＭＥ［０］を設定する。
・ＶＲＥＦ＿ＰＥＲ＿ＳＵＢＦＲＡＭＥ［ｋ］はサブフレームｋの参照電圧レベルである。
４．露光を開始する。
・画素が光生成電荷をタップに収集すると、それらの出力が上がる（実際には、事実上のタップ電圧信号は一般に立ち下がる）。
５．光生成電荷をＴＡＰ１に収集するために全ての画素に関して符号を設定する。
・ＴＡＰ＿ＣＵＲＲＥＮＴ＝ＴＡＰ１
６．第１のサブフレームの後、行ごとに全ての画素の読出し電圧をＶＲＥＦと比較する。
・全ての画素について
■ＲＥＡＤＯＵＴ［ＴＡＰ＿ＣＵＲＲＥＮＴ］＞ＶＲＥＦである場合
・次のタップの光生成電荷を収集する（またはタップがこれ以上ない場合、ドレーンする）ために画素の符号を変更する。
・ＴＡＰ＿ＣＵＲＲＥＮＴ＝ＴＡＰ＿ＣＵＲＲＥＮＴ＋１
■他
・符号を前の符号と同じに維持する。
・ＴＡＰ＿ＣＵＲＲＥＮＴ＝ＴＡＰ＿ＣＵＲＲＥＮＴ
７．読出し
・露光の完了後、ＡＤＣを高分解能モードに設定する。
・センサ出力フレームを高ＡＤＣ分解能で読み出す。

たとえば粗い分解能ＡＤＣに関する参照電圧ＶＲＥＦは、サブフレームごとに動的に調整されてよく、次のサブフレームに関する符号は、現在のサブフレーム内のＡＤＣ出力に基づいて選択され得る。図２２Ａは、最小数の画素が飽和することを確実にするようにサブフレーム符号が選択される場合の可能な画素タップ値を示す。ここで参照電圧ＶＲＥＦは、事前定義された値で一定に維持される。上記例により、所与のタップにおける電荷蓄積は、タップ値がＶＲＥＦに到達した後、１サブフレームのレイテンシを持って停止する。

サブフレームごとにＶＲＥＦを調整することによって、サブフレームごとのＳＮＲが更に改善し、その結果、全体ＳＮＲの改善が実現され得る。図２２Ｂは、一定参照電圧ＶＲＥＦに関して、サブフレーム単位の符号の変化に伴う信号品質の変動を示す、サブフレームごとのＳＮＲ対入射光強度のプロット例を示す。図２２Ｃは、最小数の画素が飽和することを確実にするようにサブフレーム符号が選択される場合の可能な画素タップ値の例を示す。ここで参照電圧ＶＲＥＦは、ダイナミックレンジを更に高めるために全てのサブフレームｋで調整される。サブフレームｋのＶＲＥＦは、

によって求められ、式中、Ｖ_ＳＡＴは、飽和画素タップレベルに関連付けられた読出しバスにおける電圧である。図２２Ｄは、ＶＲＥＦが変動する場合、サブフレーム単位の符号の変化に伴う信号品質の変動が観察される、サブフレームごとのＳＮＲ対入射光強度のプロット例を示す。サブフレームごとのＳＮＲにおける更なる改善が観察され得る。

図３９は、実施形態に係る、符号化画素２００を用いて画像センサダイナミックレンジを拡張する方法に関するフローチャートを示す。ブロック２０２において、符号化モジュール１１２は、各サブフレームについて画像センサ１１０の光検出器アレイ内の画素に画素符号を提供する。各画素の画素符号は、露光時間または信号利得、またはその両方、または他のプログラム可能な画素パラメータに関する符号を含んでよい。ブロック２０４において、画像センサ１１０は、各サブフレームについて光検出器アレイ内の画素の各々のセンサ読出しを受信する。ブロック２０６において、符号化モジュール１１２は、画素符号に基づいて、画素の各々のセンサ読出しが複数のタップの１つに収集されるか、またはドレーンされるようにルート指定する。ブロック２０８において、ＨＤＲ復号モジュール１１４は、フレームに関する単一画素値を決定するためにタップの各々で収集した値を結合する。ブロック２１０において、出力モジュール１１６は、そのフレームに関する各画素の単一画素値を出力する。

閉ループＨＤＲ撮像方法の実装例を以下に提供する。この例において、前のフレームに基づいて動的に更新された温度計画素単位露光符号化を用いる１タップＣＥＰ画像センサが用いられる。この方法は、製造されたプロトタイプから得られた実験結果例によって検証される。この例において例示のために、他の（前フレーム以外の）過去または現在のフレームや現在または過去のサブフレームは用いられず、画素単位利得符号化も用いられない。

有利な点として、この例において、画像センサの本来の分解能におけるダイナミックレンジ拡張のための技術は、符号化露光画素（ＣＥＰ）画素アーキテクチャを用いる。ＣＥＰ画像センサは、個々の画素の露光時間に対し任意のプログラム可能な制御を可能にする。たとえば本開示の実施形態は、捕捉されたフレーム（フレーム［ｎ］）内の各画素における光束を分析し、示されるように次のフレーム（フレーム［ｎ＋１］）内のそれぞれの露光時間に動的な調整を行う。そのようなアプローチの例は、図２３に図示される。示された例において、白色の塗りつぶしは画素がオンである時間インターバルを表し、黒色の塗りつぶしは画素がオフである時間インターバルを表す。たとえば、図２３のアレイの上段左側の画素のように、捕捉されたフレーム内の低輝度の撮像シーンを感知した画素は、次のフレームにおいてより多い露光時間を有するように動的にプログラムされる。捕捉画像における異なる輝度の正規化の後、ＨＤＲ画像は最適に再構成および視覚化される。

実施形態において、ＣＥＰ画像センサ１１０は、１フレームの露光時間を多数のサブフレームに分割することによる撮像を実施し、その例が図２４Ａに示される。各サブフレームにおいて、各画素は、符号化モジュール１１２によって提供された単一ビットの露光符号を受信する。たとえば、図２４Ａに示すように、符号０はそれぞれのサブフレームの期間にわたり画素をオフにし、符号１はそれぞれのサブフレームの期間にわたり画素をオンにする。図２４Ｂに示すように、露光符号は画素のラッチ内にロードされると、符号１の（ラッチ出力Ｑがアサートされる）場合、たとえばピン止めフォトダイオード（ＰＰＤ）などのフォトサイトから収集ノードＣ_ＦＤ１に光生成電荷を導くか、または符号０の（ラッチ出力

がアサートされる）場合、ノードＶＤＤを通してそれらをドレーンする。信号は、たとえば後続の読出しのためのバッファ増幅器ＳＦを用いて、読み出される前に、多数の連続的に提示される符号に関して収集ノードＣ_ＦＤ１に蓄積され得る。

実施形態において、現在のフレーム内で画素に送出される露光符号は、前フレームにおけるその画素またはその画素付近のシーンの輝度に依存する。露光符号シーケンスは、前フレーム内でその画素または近隣画素によって収集された光生成電荷によって事前決定されたように、順番に画素に提示される。符号シーケンスは１および０の一連のデジタルビットである。露光フェーズ中、各画素は、事前決定された符号シーケンスを受信する。符号シーケンス内の１の数は画素が露光される露光期間の割合を決定し、０の数は画素が露光されない露光期間の割合を決定する。所与の画素に関する符号シーケンス内の１が多いほど画素が長期間「オン」であることを意味し、これは長い露光時間に書き換えられ、その画素によって多くの光を捕捉することを可能にする。所与の画素に関する符号シーケンス内の０が多いほど画素が長期間「オフ」であることを意味し、これは短い露光期間に書き換えられ、たとえば撮像シーン内の明るい要素によって飽和しないように、その画素によって少ない光しか捕捉しないことを可能にする。本開示の実施形態において、所与の画素に関する符号シーケンス内の１対０の選択は、前フレームからの画素またはその近傍の値に基づく。このようにして、符号シーケンス内の１および０の数は、画素がその時間中に飽和しないことを確実にしながら、多くの光を捕捉するために可能な限り長く露光されることを確実にし得る。場合によっては、初期フレームの一部または全てのサブフレームにおいて、初期光生成電荷を収集するために全ての画素がたとえば符号１などの同じ初期符号を受信する。後続フレームのサブフレームにおいて、画像の暗い領域内の画素は多くの１を受信し、入来する光生成電荷の多くを積算するが、明るい領域内の画素は多くの０を受信し、入来する光生成電荷の多くをドレーンする。

本明細書で説明するように、符号化モジュール１１２によって定義されるような１および０の受信シーケンスは、露光符号シーケンスである。実施形態において、符号シーケンスは、各サブフレームの前に各画素にロードされる。符号が０である場合、画素はマスクされ、そのサブフレーム中に一切の光を感知しない。符号が１である場合、そのサブフレーム中に画素は光を感知する。図６Ａおよび図６Ｂは、２つのサブフレーム露光符号化スキームに関して、４サブフレーム設定（すなわちＮ＝４）で露光時間設定および符号シーケンスの例を示す。４つのサブフレームの各々はそれぞれ時間Ｔ_１、Ｔ_２、Ｔ_３、Ｔ_４にアクティブである。この例において、画素Ｐは、符号シーケンスＤ_Ｐ１、Ｄ_Ｐ２、Ｄ_Ｐ３、およびＤ_Ｐ４を受信し、Ｄ_Ｐｉはサブフレームｉ中に画素Ｐに適用される０または１のデジタルビットである。たとえば符号シーケンスＣ２に関して、ビットシーケンスは１１００である。この例において、画素はサブフレーム１およびサブフレーム２の間に符号１を受信し、その他でゼロを受信する。これは、その画素がサブフレーム１およびサブフレーム２の間に光生成電荷を積算し、その他でマスクされる（光生成電荷を収集しない）ことを意味する。したがって、画素に関する効果的な露光時間はＴ１＋Ｔ２である。このようにして、たとえば、低光強度条件において符号シーケンスＣ４が最も有用であり、明るい光条件において符号シーケンスＣ１が最も有用である。表１は、４つのサブフレーム実装に関する様々な例に関して効果的な露光時間を示す。

図２５Ａに示すように、１進重み付けサブフレーム露光時間に関して、１つのフレームＴ_ＥＸＰの露光時間は４つのサブフレームに等しく分割され、Ｔ_１＝Ｔ_２＝Ｔ_３＝Ｔ_４＝Ｔ_ＥＸＰ／４と表される。対照的に、図２５Ｂに示すように、２進重み付けサブフレーム露光時間に関して、各サブフレームの露光時間は前のサブフレームの２倍の長さであり、８Ｔ_１＝４Ｔ_２＝２Ｔ_３＝Ｔ_４＝８Ｔ_ＥＸＰ／１５と表される。全てのサブフレームの累積露光時間により、画素の有効露光時間が求められる。たとえば、Ｃ３を用いる有効露光時間は、１進重みサブフレーム露光の場合、３Ｔ_ＥＸＰ／４であり、２進重み付けサブフレーム露光の場合、７Ｔ_ＥＸＰ／１５である。

図７Ａおよび図７Ｂは、それぞれ図２５Ａの１進重み付けスキームおよび図２５Ｂの２進重み付けスキームに関して照明のフルレンジにわたる画素の生出力の例を示す。両方のプロットが４つの線分を備える。各区分は、露光の増加に応じてＣ４～Ｃ１の異なる符号シーケンスに対応する。画素におけるシーン輝度がローで始まる場合、高有効露光時間がシーンの細部の捕捉を可能にするため、符号シーケンスＣ４が用いられる。輝度が増加すると、画素の飽和を防ぐために符号シーケンスは符号シーケンスＣ３、Ｃ２、またはＣ１に変化する。

図２７Ａおよび図２７Ｂは、それぞれ図２６Ａおよび図７Ｂの正規化バージョンの例を示す。実施形態において、ＨＤＲ復号モジュール１１４による正規化は、各区分の対応する有効露光時間を用いて区分線形出力をフルレンジ線形応答に変換する。正規化の後、画素の最大有効ダイナミックレンジは一般に向上する。この例において、４つのサブフレームのみを用いて、ダイナミックレンジは、１進重み付けサブフレーム露光時間に関して４倍大きくなり、２進重み付けサブフレーム露光時間に関して１５倍大きい。このようにして、１進重み付けサブフレームに関する正規化出力はＮ・Ｉ／Ｃであり、２進重み付けサブフレームに関する正規化出力は（２^Ｎ－１）×Ｉ／（２^Ｃ－１）であり、Ｉはセンサ出力であり、Ｎはサブフレームの合計数であり、Ｃはその出力を捕捉するために用いられた符号シーケンス内の（たとえばＣ１、Ｃ２、Ｃ３、またはＣ４における）１の数である。

本開示の実施形態のパイプライン実装例を示すフローチャートが図２８に示される。この方法では、現在のフレームが表示のために読み出されると、それは次のフレームに関する露光符号を生成するためにも用いられる。この技術は、１進重み付けおよび２進重み付けサブフレーム露光符号化の両方に用いられ得る。フレームｎにおいて、１または複数のサブフレームが所与の画素に光を積算する。出力に基づいて、フレームｎ＋１に関して新たな露光符号が生成されアップロードされる。現在、ＨＤＲ画像は、フレームｎの出力を正規化することによってＨＤＲ復号モジュール１１４によって取得される。この４サブフレーム実装例において、正規化は、８ビットのセンサ出力および２ビットの露光符号を用いて１０ビットのＨＤＲ画像を生成する。露光融合技術は、ＬＤＲディスプレイにおける１０ビットのＨＤＲ画像の視覚化を可能にする。本明細書で説明する実施形態の実装例は４サブフレーム実装を示し得るが、任意の適当な数のサブフレームが用いられ得ることが理解される。

実施形態において、露光符号

の定義は、その画素（ｉ，ｊ）がサブフレーム番号１からサブフレーム番号

までの電荷を積算することである。

は、

である正の整数であり、Ｎは１フレーム内のサブフレームの数である。符号化モジュール１１２がフレームｎに関してＣＥＰ画像センサ１１０に

をアップロードした後、捕捉画像は

と定義され得る。

正規化マトリックス

は、全ての画素の有効露光時間を備える。式（１）および（２）は、１進重み付けサブフレーム露光および２進重み付けサブフレーム露光に関する

の定義を示し、１進重み付け：

２進重み付け：

であり、式中、Ｔ_１は第１のサブフレームの露光時間である。

システム１００は、フレームｎ＋１に関する新たな露光符号マトリックス

を生成するため、およびＨＤＲ画像

を再構成するために、

および

を用いる。

の生成は、捕捉されたフレーム内の画素における光束を最初に分析することを伴う。その後、新たな正規化マトリックス

が取得され、新たな露光符号マトリックスに変換され得る。

画素の光束

は、有効露光時間単位ごとの光強度として定義され、

である。

新たな正規化マトリックスは、センサの所望の画素出力Ｊを光束マトリックスで割ることによって得られ、

である。

場合によっては、所望の出力Ｊは、次のフレーム内の過剰露光または露光不足に関する最大マージンを保証するために、画素の飽和レベルの約半分に設定され得る。たとえば、画素の飽和レベルが約１８０ＤＮである場合、動作のために９０ＤＮのＪが選択され得る（ＤＮはデジタル数字を表す）。

新たな露光符号マトリックス

は、近似値を用いる式（４）の逆写像を用いて生成され得る。

実施形態において、近似は、Ｃｎ＋１（ｉ，ｊ）のフレームｎ＋１内の画素（ｉ，ｊ）に関する非近似符号から開始することを含んでよい。１進重み付けの場合、
・式（４）から、

であり、
・式（３）を用いて、

であり、
・式（１）を用いて、

であり、
・単純化した式にすると、

となる。上記式は、次のフレームに関する正確な符号出力である。一般に、
一般に、

は整数でなくてはならないので、

は最も近い有効整数に近似されるため、

である。

２進重み付けの場合、同様のステップが２進重み付けに適用されてよく、次の同等の２つの式、

を用いて正確な

が求められ、式中、

は上記２つの式のいずれかから最も近い有効整数に近似されるため、

である。

場合によっては、ＨＤＲ画像

の再構成は、

を

で正規化することを必要としてよく、

であり、式中、Ｔ_ＥＸＰはフレームｎに関する合計露光時間である。

場合によっては、フレームｎに関して、出力モジュール１１６は、低ダイナミックレンジ（ＬＤＲ）モニタ上で視覚化されるようにＨＤＲ画像

を出力してよい。場合によっては、出力モジュール１１６は、様々な露光融合およびガンマ補正技術を用いてよい。

場合によっては、再構成されたＨＤＲ画像は、フルビット深度をカバーするためにいくつかの８ビット画像に分割され得る。場合によっては、露光融合は、この画像セットを単一の８ビット画像に合成してよい。合成の利点は、画像セットから所望の輝度および質感で画像を選択的に表現する点である。場合によっては、合成画像を微調整するためにガンマ補正が用いられ得る。一般に、従来のディスプレイは２４ビットＲＧＢカラーディスプレイである。これらのディスプレイは、２^８の異なるグレースケールレベルを示し得る。露光融合を用いることによって、システム１００は、最大情報量を担持する様々な画像からの様々な部分を選択的に強化してよい。露光融合は、異なる露光設定を有する同様の画像のセットを入力として用いる。入力画像の画素ごとに重み付けされた組み合わせによって作成された最終画像が生成される。入力画像の異なる部分に関する重みは、たとえばコントラスト、彩度、および良好な露光などの品質に基づいて決定される。

図２９は、本開示の実施形態に係る、画素単位符号化露光を用いる他の例を示す。この例において、１つのフレームが４つのサブフレームに部分分割される。この例に関して、符号シーケンスＣ１～Ｃ４が用いられる。符号は、各サブフレームの開始時に更新される。右側の時空間体積は、異なる画素が、その画素に適用される符号シーケンスに基づいて任意の所与のフレーム内でどのように異なる露光時間を有し得るかの例を示す。符号シーケンスＣ１が適用されると、画素は短い時間露光され、符号シーケンスＣ４が適用されると、画素はそのフレーム内の全露光期間にわたり露光される。図３０のプロットに示すように、ＨＤＲシーンを捕捉するためにサブフレーム露光を捕捉する能力が用いられる。これらのプロットにおいて、ｘ軸は増加する光強度を示し、ｙ軸は生センサ出力を示す。たとえば、シーンの暗い領域を捕捉する画素に符号シーケンスＣ４が適用される場合、画素が全フレーム期間にわたり露光されることが確実になるが、同時に、シーン内に明るい領域が存在する場合、その領域内の画素に符号シーケンスＣ１が適用される。この符号化露光によって、シーンの暗い領域からの光の大半が捕捉されながらもシーンの明るい領域内の画素を飽和させないことが確実になる。図３０の右側プロットに示すように、センサ出力は、個々の画素の露光時間に基づいて正規化され得る。正規化の後、画像センサの有効ダイナミックレンジが高められ得る。

図３７は、実施形態に係る、画素単位符号化露光３００を用いて画像ダイナミックレンジを拡張する方法に関するフローチャートを示す。ブロック３０２において、ＣＥＰ画像センサの画素の各々の初期生センサ読出しが受信される。この初期読出しにおいて、ＣＥＰ画像センサは均一な符号マトリックスで符号化される。ブロック３０４において、初期読出しから現在の符号化露光に関する符号マトリックスが導出される。場合によっては、現在の符号化マトリックスは、初期読出しの後の後続フレーム用である。他の例において、初期読出しは、任意の前に取得された画素読出しから得られ得る。ブロック３０６において、現在の符号化マトリックスは、ＣＥＰ画像センサ内のそれぞれの画素に関連付けられたラッチに送信される。ブロック３０８において、ＣＥＰ画像センサの画素の各々の現在の生センサ読出しが受信される。ブロック３１０において、現在の生センサ読出しは、ＨＤＲ画像を再構成するために画素単位露光時間に基づいて正規化される。ブロック３１２において、ＨＤＲ画像および／または正規化された値が出力される。場合によっては、符号マトリックスを初期読出しから導出するのではなく前フレームから導出する場合を除き、ブロック３０４～３１２が各後続画像フレームについて反復的に行われ得る。

本開示の発明者は、本開示の実施形態の利点を説明するために実験例を行った。実験例は、１進重み付けサブフレーム露光時間および２進重み付けサブフレーム露光時間の両方に関して行われた。実験例は、ピン止めフォトダイオード（ＰＰＤ）画素および露光符号を格納するための画素内ラッチを有する、０．１１μｍのＣＭＯＳ画像センサ技術で製造された画像センサを使用した。画像センサは１タップモードで構成され（１つの信号格納ノード）、サブフレームの数Ｎは４に設定された。

ＲＧＢカメラを用いて捕捉された、実験例に使用されたシーンを図３１に示す。図３２Ａおよび図３２Ｂは、それぞれ低露光設定および高露光設定でＣＥＰ画像センサ１１０を用いて捕捉された２つの画像を示す。図３２Ａおよび図３２Ｂは、明るい領域および暗い領域の両方を同時に捕捉する難しさを示す。

図３３は、３つの異なる符号化スキームに関する実験例の結果の比較を示す。露光符号マトリックスが上部に示され、センサの再構成されたＨＤＲ出力が下部に示される。１進重み付けサブフレーム露光の場合、２つの異なるタイミングセットアップが論証される。第１列は、１進重み付けサブフレーム露光時間がＴ_１＝Ｔ_２＝Ｔ_３＝Ｔ_４＝Ｔ_ＥＸＰ／４のように設定されたスキーム１の結果を示す。第２列は、１進重み付けサブフレーム露光時間がＴ_１＝Ｔ_２＝Ｔ_３＝Ｔ_４＝Ｔ_ＥＸＰ／１５のように設定されたスキーム２の結果を示す。スキーム２は、フレームごとに４Ｔ_ＥＸＰ／１５の合計露光時間を有する。第３列は、２進重み付けサブフレーム露光時間を用いたスキーム３の結果を示す。第１のサブフレームの露光時間はＴ_１＝Ｔ_ＥＸＰ／１５であり、スキーム１と同じ合計露光時間Ｔ_ＥＸＰを有する。図３３で横向きの長方形を用いて強調した暗いシーンは、スキーム１および３を用いて良好に再構成される。図３３で縦向きの長方形を用いて強調した明るいシーンは、スキーム２および３を用いて良好に再構成される。実験例において、２進重み付けサブフレーム露光時間を用いることで最適な結果が生じ、必要なサブフレームの数が低減されることにより、符号をロードするために必要なデータレートが低減されることが決定された。

実験例に示すように、本開示の実施形態は、画像センサダイナミックレンジを拡張するための有利なアプローチを提供する。本明細書で説明する実施形態において、シーン認識型の画素単位符号化露光を用いて、本来のセンサ分解能で画像センサのダイナミックレンジを拡張するアプローチが提供される。

有利な点として、１進重み付けサブフレーム露光時間の場合、センサの有効ダイナミックレンジは２０ｌｏｇ_１０ＮｄＢだけ高くなり、２進重み付けサブフレーム露光時間の場合、２０ｌｏｇ_１０（２^Ｎ－１）ｄＢだけ高くなり、Ｎは１つのフルレートビデオフレーム内のサブフレームの数である。

本開示の実施形態において２つの符号化スキームが説明されるが、任意の適当な符号化スキームが用いられてよい。

本明細書で説明する実施形態は、ＣＥＰ画素アーキテクチャを有する光画像センサ（または撮像装置やカメラ）のクラスを用い、符号化モジュール１１２によって提供される（マスキングと称される）露光符号を用いて１フレーム時間中に画素に関してプログラム可能な露光を有する点を有利に活用する。符号化モジュール１１２を用いることで、システム１００は、どの画素がマスクされるかを個々に選択することができる。実施形態において、画素が「マスク」される場合（符号０）、本明細書で「バケツ」と称される、その画素に関連付けられた信号収集ノードは、それぞれの画素に信号を積算（収集）せず、信号はドレーンされる。逆に、画素が「露光」でありマスクが適用されない場合（符号１）、バケツはそれぞれの画素に信号を収集する。図３４は、このアプローチの典型的な例を示す。符号化モジュール１１２によって提供された特定の画素に関連付けられたマスキングビットが０である場合、その画素で受信した光子は無視される。逆に、マスキングビットが１である場合、その画素で受信した光子は積算される。マスキングビットはサブフレームごとに変更され得る。場合によっては、マスクビットを格納するためのメモリは、次のパターンのマスキングビットをプリロードするための第１のメモリブロックおよび現在のパターンのマスキングビットを適用するための第２のメモリブロックという２つの個別のブロックに分割され得る。マスクのロード、格納、および使用を実施する場合、信号収集に利用可能な時間を制限しないように、マスクの取扱いを画素露光とは無関係にしておくことが有用であり得る。したがって、マスキングビットの事前格納のパイプライン演算が画素内の２つのメモリブロックまたはその他どこかを介して用いられ得る。

本開示がフォトダイオードとして画像センサ１１０に言及するが、たとえばピン止めフォトダイオード、フォトゲート、電荷結合デバイス、電荷注入デバイス、単一光子アバランシェダイオードなど、任意の適当な光検出器が用いられてよい。本開示の実施形態は可視スペクトルの光に言及するが、本明細書で称される光は、可視スペクトルからの光と共に、またはその代わりに、たとえば紫外、近赤外、短波長赤外、および／または長波長赤外などの電磁スペクトルの任意の部分を含むことが理解される。

図３５は、システム１００の画像センサ１１０の典型的な超大型集積回路（ＶＬＳＩ）アーキテクチャである。図３６Ａは、システム１００の画像センサ１１０を有する、使用され得るカメラの例である。図３６Ｂは、２４４×１６２の分解能を有する、システム１００の画素単位符号化画像センサ１１０の典型的なチップマイクログラフ（０．１１μｍ技術において４ｍｍ×３ｍｍ）である。図３６Ｃは、図３６Ｂの画像センサ例の仕様および特徴を示す。また図３６Ｃは、図３６Ｂの画像センサに関する、様々な符号化方策およびたとえばＮ＝４およびＮ＝１０である様々なサブフレーム数に関して計算されたダイナミックレンジ改善値も示す。

図３８Ａは、所与の露光期間において様々な時間インターバルで光を収集するために符号シーケンスが画像センサ画素アレイ全体に適用される時間画素符号化を示す。図３８Ｂは、画像センサの異なる画素サブアレイが異なる符号シーケンスを受信することを可能にすることによって空間領域で改善したプログラム可能性を提供する部分的時空間符号化を示す。図３８Ｃは、本開示の実施形態の画素単位符号化露光符号化を示す。この符号化スキームは、各画素に関する符号シーケンスを独立して可能にする。単一フレーム内で多数の符号が更新されてよく、フレーム内で受信された光生成電荷は、符号シーケンスに基づいて積算され得る。

有利な点として、本開示の実施形態は、柔軟性および適用性を高めるために任意の値を有する画素符号を用いることが可能である。加えて、本開示の実施形態は、適応性を高めるために閉ループまたはシーン依存の画素符号生成を可能にする。加えて、本開示の実施形態は、画素符号が同時に、またはほぼ同時に更新されることを可能にする。

本発明は特定の具体的な実施形態を参照して説明されたが、添付の特許請求の範囲に概説される本発明の主旨および範囲から逸脱することなく、その様々な変更例が当業者に明らかである。上述した全ての参照の開示全体は、参照によって本明細書に組み込まれるものとする。

Claims (25)

1. 符号化画素を用いて画像センサのダイナミックレンジを拡張するための方法であって、前記画像センサは、入来する光信号を光生成電子信号に変換するための光検出器アレイを備え、
   フレームの各サブフレームについて前記光検出器アレイ内の画素に画素符号を提供することと、
   各サブフレームについて前記光検出器アレイ内の前記画素の各々のセンサ読出しを受信することと、
   各サブフレームについて、前記画素符号に基づいて、各センサ読出し値を収集のために１または複数のタップに、またはドレーンにルート指定することと、
   前記フレームに関する単一画素値を決定するために、前記タップの各々における前記収集したセンサ読出し値を結合することと、
   前記フレームに関する各画素について前記単一画素値を出力することと
   を備える方法。
2. 前記画素符号は、前記それぞれの画素の露光時間に対応する符号を備え、その結果である光生成電荷は、前記それぞれのセンサ読出しを備える、請求項１に記載の方法。
3. 前記画素符号は、前記光検出器で受信した前記信号の信号利得に対応する符号を備える、請求項１に記載の方法。
4. 各画素符号は画素グループに相互に適用される、請求項１に記載の方法。
5. 前記画素符号は予め決定される、請求項１に記載の方法。
6. 前記画素符号は、以前受信した画素値に基づいて適応的に決定される、請求項１に記載の方法。
7. 前記画素符号は、前記以前受信した画素値に基づいて符号メモリストア内にプリロードされる、請求項６に記載の方法。
8. 現在のサブフレームの前記センサ読出しが収集されると同時に、前のサブフレームに関する前記画素符号に基づいて、各タップにおける前記収集した電荷を分類することを更に備える、請求項６に記載の方法。
9. 各画素は１つのタップを備え、各画素に関する前記画素符号は１ビットの２進数を備える、請求項１に記載の方法。
10. 前記画素の１または複数に関する前記画素符号は、前記１または複数のタップの各々が個々にプログラム可能な積算時間インターバルを有することを定める、請求項１に記載の方法。
11. 前記積算時間インターバルの平均は、多数のフレームにわたり均等化される、請求項１０に記載の方法。
12. 符号化画素を用いて画像センサのダイナミックレンジを拡張するためのシステムであって、前記画像センサは、入来する光信号を光生成電子信号に変換するための光検出器アレイを備え、
    フレームの各サブフレームについて前記光検出器アレイ内の画素に画素符号を提供し、各サブフレームについて、前記画素符号に基づいて、前記画素のそれぞれ１つの前記光生成電子信号値を収集のために１または複数のタップに、またはドレーンにルート指定するための符号化モジュールと、
    前記フレームに関する単一画素値を決定するために、前記タップの各々において利用可能な前記収集した信号値を結合するための高ダイナミックレンジ（ＨＤＲ）復号モジュールと、
    前記フレームに関する各画素について前記単一画素値を出力するための出力モジュールと
    を実行するように構成された回路論理を備えるシステム。
13. 前記画素符号は、前記それぞれの画素の露光時間に対応する符号を備え、その結果である光生成電荷は、前記それぞれのセンサ読出しを備える、請求項１２に記載のシステム。
14. 前記画素符号は、前記光検出器で受信した前記信号の信号利得に対応する符号を備える、請求項１２に記載のシステム。
15. 各画素符号は画素グループに相互に適用される、請求項１２に記載のシステム。
16. 前記画素符号は、以前受信した画素値に基づいて適応的に決定される、請求項１２に記載のシステム。
17. 前記符号化モジュールは、前記以前受信した画素値に基づいて符号メモリストア内にロードされた前記画素符号を用いる、請求項１６に記載のシステム。
18. 前記符号化モジュールは、１または複数の前のサブフレームに関する前記センサ読出し値および前記画素符号に基づいて各タップにおける前記収集した電荷を分類し、請求項１６に記載のシステム。
19. 各画素は１つのタップを備え、各画素に関する前記画素符号は１ビットの２進数を備える、請求項１２に記載のシステム。
20. 前記光検出器アレイ内の各画素は、１または複数の電荷収集ノードを備え、前記画素符号に基づいて前記信号利得を修正するために、１または複数の画素からの前記電荷収集ノードが結合される、請求項１４に記載のシステム。
21. 前記画素符号は、前記入来する光信号の飛行時間を感知する画素に関する画素露光時間を定める、請求項１３に記載のシステム。
22. 前記画素符号は、前記入来する光信号の飛行時間を感知する画素に関する信号利得を定める、請求項１４に記載のシステム。
23. 前記ＨＤＲ復号モジュールはアナログデジタル変換器（ＡＤＣ）を備え、前記ＡＤＣの分解能は、前記フレームのデジタル化と前記サブフレームのデジタル化とを比較して異なっている、請求項１２に記載のシステム。
24. 前記ＨＤＲ復号モジュールはアナログデジタル変換器（ＡＤＣ）を備え、前記ＡＤＣの１または複数のパラメータは、１または複数のサブフレームまたは１または複数のフレームに関して動的に調整される、請求項１２に記載のシステム。
25. 画素単位符号化露光およびそのような画素単位符号化露光を用いるセンサの前の読出しを用いて画像ダイナミックレンジを拡張するための方法であって、
    前の読出しから導出した現在の符号化露光に関する現在の符号マトリックスを生成することと、
    前記現在の符号化マトリックスを前記画素に送信することと、
    前記画素の各々の現在の生センサ読出しを受信することと、
    画素単位露光時間に基づいて前記現在の生センサ読出しを処理することによって高ダイナミックレンジ（ＨＤＲ）画像を再構成することと、
    前記ＨＤＲ画像および前記現在の生センサ読出しの少なくとも１つを出力することと
    を備える方法。

Images