JP2020512632A - アナログインターフェースを有する高速2次元イベント検出および撮像 - Google Patents

アナログインターフェースを有する高速2次元イベント検出および撮像 Download PDF

Info

Publication number
JP2020512632A
JP2020512632A JP2019551358A JP2019551358A JP2020512632A JP 2020512632 A JP2020512632 A JP 2020512632A JP 2019551358 A JP2019551358 A JP 2019551358A JP 2019551358 A JP2019551358 A JP 2019551358A JP 2020512632 A JP2020512632 A JP 2020512632A
Authority
JP
Japan
Prior art keywords
pixel
event
frame
image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019551358A
Other languages
English (en)
Other versions
JP7173590B2 (ja
Inventor
ウォー ジャスティン
ウォー ジャスティン
エス.デッサウ ダニエル
エス.デッサウ ダニエル
ピー.パーラム ステファン
ピー.パーラム ステファン
ナミー トーマス
ナミー トーマス
グリフィス ジャスティン
グリフィス ジャスティン
ジョウ シアオチン
ジョウ シアオチン
リー ハオシアン
リー ハオシアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Colorado
Original Assignee
University of Colorado
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Colorado filed Critical University of Colorado
Publication of JP2020512632A publication Critical patent/JP2020512632A/ja
Application granted granted Critical
Publication of JP7173590B2 publication Critical patent/JP7173590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Abstract

高い計数レートまでの線形性を有する定量的パルス計数(イベント検出)アルゴリズムは、高速、高フレームレートカメラを、GPUなどの大規模並列プロセッサ上で実行される簡単な論理コードと組み合わせることによって達成される。並列プロセッサ要素は、カメラからのフレームを画素ごとに調べて、イベントを見出し、タグ付けし、またはパルスを計数する。タグ付けされたイベントは結合されて、結合された定量的イベント画像を形成する。

Description

本発明は、米国エネルギー省によって授与された認可番号DE−FG02−03ER46066のもとで政府支援によってなされた。政府は本発明における特定の権利を有する。
本発明は、アナログインターフェースを有するシステムにおける高速および高解像度2次元イベント検出および撮像に関する。詳細には、本発明は、イベントタイプデータから個々の電子、光子などをパルス計数することに関する。
2次元での電子などの粒子の検出は一般に、増幅のためにマルチチャネルプレート(MCP)検出器、光を発生するために蛍光スクリーン、および光を記録するためにCCDカメラなどのアナログインターフェースを利用する。例えば、角度分解光電子分光法(ARPES)実験は、マルチチャネルプレート/蛍光スクリーン/カメラスタックに基づく電子検出方式を用いる。カメラは通常、CCDタイプであり、アナログ光子強度を積分するグレースケールモードで実行する。単一のスペクトルは通常数十万のカウントを必要とするので、システムは画像全体に対してカウント強度を積分しなければならず、これはリアルタイムに近いものでは使用可能なデータを生成することはできない非常に遅いプロセスである。さらに、結果としてのデータは一緒に合計されたカメラ読み出しである。これは、カメラノイズおよび読み出しノイズ、蛍光体ブルーミングアーチファクト、および検出スタックの一般的な非線形応答が積み重なる本質的問題を有する。また部分的重複のために、個々のイベントを計数することは不可能に近い。
図1(従来技術)は、電子光学系104を介して試料100からの電子を検出するためのARPESセットアップを示す。電子102は、MCP106によって増幅され、蛍光体プレート108によって光に変換され、CCDなど110によってキャプチャされる。図2(従来技術)は、従来のイベント検出および記録プロセスをより一般的に示す。入射イベント102はMCP106によって検出および増幅されて、増幅されたイベント107を発生する。蛍光体プレート108は、増幅されたイベント107を光109に変換する。高品質カメラ210は、光206を記録し、積分された出力画像212を発生する。
MCP106および蛍光体プレート108は各パルスに対して変動するゲインを有し、蛍光体プレート108はブルーミングを生じる場合があり、強度に対して非線形なゲインプロファイルを有するので、このような場合において出力109は、低減された解像度および忠実度の影響を受ける場合がある。一般に、カメラ210は、ある期間(30秒など)にわたって画像を記録し、積分された出力画像212において多数のイベントをキャプチャする。研究者は、非線形性を考慮し、個々のイベントを分離するために、カメラ210の品質を改善することに取り組んできている。このようなカメラは極めて光に敏感であり、しばしば冷却を必要とする。従って、それらは使用するのが不便で、非常に高価であり、それらの非常に高い解像度および先進の数値的方法を用いても、個々のイベントを分離することは不可能となる可能性がある。研究者は、画像内のイベントの数を低減するために実験を減速することを試みたが、これは、試料が時間と共に減衰し、取得時間がより長くなるという結果となる。
イベントを計数する別の方法は、遅延線検出器を用いる。これらのシステムはさらにいっそう高価であり、規模において制限される。
当技術分野において、アナログインターフェースを有するシステムにおいて、ときにはパルス計数と呼ばれる、個々のイベントの高速および高解像度2次元検出を行うための装置および方法に対する必要性が依然としてある。
本発明の目的は、アナログインターフェースを有するシステムにおける高速および高解像度2次元パルス計数を行うことである。本発明は、より簡単でより高速なカメラを用いながら、より良好な線形性を有してより高速のデータを生成するように、スタックの処理部分を改善する。イベント型電子または光子データは(例えばMCP−蛍光体ペアによって発生されるのに従って)、カメラ内に送られる。カメラは非常に高速(高fps)であるが、中程度の品質(科学用カメラと比べて低ダイナミックレンジおよび高ノイズフロア)である。積分されたアナログ画像を作成するために、(例えば)30秒露出の代わりに、カメラは一連のフレームをキャプチャし(例えば≒100フレーム/秒)、これはコンピュータを介して並列プロセッサに転送される。並列プロセッサユニット上で、各フレームは多くの並列プロセッサ要素によって処理される。システムは全体的な処理のためのコンピュータと、GPUなどの大規模並列プロセッサとを含む。
並列プロセッサ要素は、アルゴリズムを用いてフレーム内の各画素を調べて、その画素においてイベントが生じたかどうかを決定する。これは本質的にバイナリテストであり、画素はオン(イベントに対して)、またはオフ(イベントなしに対して)である。
アルゴリズムに対してはいくつかの選択肢があり、それぞれそれら自体の処理時間および忠実度を有する。一実施形態において、並列プロセッサ要素は、問題の画素の周りの(例えば)8個の画素を調べて、その画素が強度の極大であるかどうかを決定する。アルゴリズムは、様々な他の論理テストも含むことができる。いくつかの好ましい実施形態において、フレームから、それらが処理される前に暗画像が減算される。フレーム当たりの総処理時間がフレームリフレッシュ時間(1/フレームレート)より小さい限り、システムはリアルタイムでのデータ取得に遅れずについていくことができるようになる。
フレーム内ですべてのイベントが識別された後、処理されたフレームが形成される。これはガウス形状を示す高解像度画像ではなく、どこでイベントが生じたかを示すマップであり、「1」はイベントを意味し、「0」はイベントなしを意味する。これらの処理されたフレームは、次いで並列プロセッサユニットまたはCPU上で一緒に合計されて、パルス計数されたイベントの結合された定量的画像を得る。この定量的画像において、各画素における値は、合計された処理されたフレームによってカバーされる期間にわたってその画素において生じたイベントの数に対応する。
この定量的画像は、次いで可視化、記憶、またはさらなる蓄積のためにCPUに送り返される(それが並列プロセッサ上で発生された場合)。
リアルタイムで、個々の入射粒子を表す入射イベントに基づいて定量的2次元画像を形成する方法は、入射イベントを検出するステップと、検出されたイベントをアナログ増幅器を用いて増幅するステップと、検出され増幅されたイベントを、減衰時間を有する光発生要素を用いて光に変換するステップ(いくつかの構成では任意選択)と、光発生要素減衰時間の程度のフレームレートで、光の画像フレームをキャプチャするステップと、大規模並列プロセッサを用いて画素ごとに各フレームを処理し、個々の画像フレーム内の有効イベントを識別するステップと、有効イベントを結合して定量的2次元画像を形成するステップとを含む。
大規模並列プロセッサはGPUでよい。好ましい実施形態において、フレーム処理の前に、暗画像はキャプチャされた画像フレームから減算される。
GPUによって行われるステップは、現在のフレーム内の各画素を、前のフレーム内の対応する画素と比較し、前のフレーム内の対応する画素がイベントとしてタグ付けされている場合は、現在のフレーム内の画素をイベントとして不適格と見なすステップと、画素がその領域内で最も明るいかどうかを決定するステップと、画素の明るさがホット画素閾値を超えるかどうかを決定するステップと、これらのテストのいくつかまたはすべてに合格した場合にのみ、画素を有効イベントとして識別するステップとを含んでよい。いくつかの場合において、GPUは、汎用プロセッサがイベント画像から定量的2次元画像を形成する前に、個々の処理されたフレームを結合してイベント画像を形成するようにさらに構成される。他の場合において、個々の処理されたフレームは、汎用プロセッサによって結合されたイベント画像である。
アナログ増幅器はマイクロチャネルプレート検出器(MCP)でよく、光発生要素は蛍光体プレートでよい。
いくつかの好ましい実施形態において、検出器は少なくとも100フレーム/秒の速度で画像フレームを発生し、大規模並列プロセッサは少なくとも1000個の並列処理要素から形成される。検出器は、蛍光体層の減衰時間の程度の速度でフレームを発生するCMOSカメラでよい。
従来技術における、イベント検出のためのARPESシステムの概略図である。 従来技術における、従来のイベント検出および記録システムのブロック図である。 本発明に従った、2次元高速イベント計数システムを示すブロック図である。 従来技術における、従来のイベント検出システムによってキャプチャされるタイプの高解像度画像を示す図である。 図5Bおよび5Cと共に本発明によって行われるプロセスを示し、処理前のフレームの時系列を示す図である。 イベントがタグ付けされたフレームを示す図である。 結合されたイベントマップを示す図である。 本発明に従った、並列プロセッサ要素によって行われるプロセスの実施形態を示すフロー図である。 本発明に従った、プロセス全体の実施形態を示すフロー図である。
図3は、アナログインターフェースを有するシステムにおける、高速高解像度2次元イベント検出のためのシステムの一実施形態300を示す概略ブロック図である。試料100からのイベント型光子データ(または電子データなど)は、MCP106および蛍光体プレート108などのアナログレイヤによって発生され、高速検出器310に送られる。好ましい実施形態において、ptgrey.comからのFlea3またはGrasshopper3が用いられることができる。共にCMOSカメラである。Grasshopper3は、163FPSにおいて2.3MP解像度を有する。Flea3は、150fpsにおいて1.3MP解像度を有する。好ましい実施形態において、データはUSB3(ライブ/リアルタイムデータを汎用プロセッサ316にもたらすために十分に高速なケーブルインターフェース)を介して移動する。画像フレーム312はメモリに記憶され、次いで処理のために大規模並列プロセッサ320(例えばGPUメモリ)に送られる。画像フレーム312はシリアルに送られる。
蛍光体層108が省かれるように、CCD310はMCP106から電子バーストを直接検出することが可能であることに留意されたい。
汎用プロセッサ316は、USB3シリアルポートからのデータ(フレーム312)を管理する。それはデータをメモリに記憶し、次いでデータをメインメモリからGPUメモリ320に送り、そこで各フレームは画素ごとに処理され、多くの並列プロセッサ要素(コア)にわたって分散される。良好に動作することが示されている大規模並列プロセッサ320の例は、Nvidia GTX 780 GPU(2304コア、約1GHzクロック、6.0Gbpsメモリ速度、および3GBメモリを有する)である。汎用プロセッサ316は、高速なリアルタイム処理のためにPCIe V.3.0を介して、GPUと通信してよい。検出器310が特に高解像度である場合、一度に画素の小さなグループ(例えば4つ)を処理するために十分となる可能性があることに留意されたい。グループは機能的に画素であるので、画素ごとという用語は依然として当てはまる。
GPU320上では、各画素はそれに対して実行する同じアルゴリズムを有し(分散された計算は同様な程度の高速化をもたらすようになる)、このアルゴリズムは、画素がイベントの中心であったか否かを決定する。大規模並列プロセッサ320によって行われる例示のアルゴリズムに対しては、図6を参照されたい。アルゴリズムのこの実施形態はまた、暗画像取得ステップ706の一部である、外部制御318(アナログ増幅オン/オフ)を有する。
このアルゴリズムは、(2.3MPカメラに対して)フレーム当たり230万回、(または≒6ミリ秒において230万回)実行する。コアなどの数百の並列プロセッサ要素にわたって分散されるとき、各コアはこれらの6ミリ秒内で、数百万回ではなく数千回の程度、アルゴリズムを実行する必要があるだけである。あらゆる画素が処理され、イベントが識別された後、処理されたフレームが形成される。この処理されたフレーム内で、各画素はイベントを意味する「1」、またはイベントなしを意味する「0」である。新たなフレームが到来するのに従って、それらは処理され、前の処理されたフレームに加算され、最終的に結合された定量的画像322を形成する。この結合された定量的画像322において、各画素における値は、その画素において生じたイベントの数に対応する。この画像加算は、汎用プロセッサ316または大規模並列プロセッサ320上で生じることができる。最終的に、結合された定量的イベント画像322がユーザにもたらされる。必要に応じて、結合された定量的画像322は記憶され、またはその上、後処理のために汎用プロセッサ316に送り返される。これらのプロセスは、以下でより詳しく示され、述べられる。
一般に、イベントサイズはシステム依存であるので、カメラ310解像度は、好ましくはイベントが数画素にわたって広がるように選択される(例えば7×7画素グリッドがイベントを包含する)。解像度が低すぎる場合、イベントはホット画素のように見え、ノイズから判別するために十分な形状をもたない場合がある。高すぎる解像度は遅くなり、イベントが過度に広がるという結果となる可能性があり、ノイズ内で失われる可能性がある低い強度という結果となる。
カメラ310フレームレートは、好ましくは蛍光体減衰率の程度となるように選択される(多種多様な減衰率を有する、多様な入手可能な蛍光体が入手できることに留意されたい)。フレームレートが低すぎる場合、各フレームは多くのイベントを収集するようになる。これらのイベントは従って、より高いカメラフレームレートが利用された場合と比べて、互いの近くに出現する、より高い可能性を有するようになり、従ってアルゴリズムが複数のイベントの画像強度を単一のイベントとして誤って分類する場合があるので、飽和を引き起こす可能性がより高くなる。しかし、カメラフレームレートが高すぎる場合、複雑な事態が生じる。フレームレートが蛍光体の減衰時間より速い場合、同じイベントが複数のフレーム内に現れる可能性が高くなり、ある程度の二重計数問題を引き起こす。カメラの滞留時間が通常の2.6msの90%−1%蛍光体減衰時間のおよそ2倍である場合、5ms(または200fps)の滞留がイベントを良好にキャプチャする。二重計数の影響を除去するように、その後のフレームと比較するためにフレームのマスクが記憶される。両方のフレームが同じ画素においてイベントを示す場合、これは新たなイベントではなく、蛍光体減衰時間によって引き起こされたと想定される。二重計数を除去するためのこのようなマスキングルーチンは、非常に効果的であることが実証されている。必要であればマスクはまた、複数の前のフレームのものとすることができる。例えば、蛍光体減衰とフレームレートとの組み合わせが、3つのフレームに広がる単一のイベントの十分な確率という結果となる場合、マスクは二重計数を拒絶するために前の2つフレームを含むようになる。その場合、滞留時間は減衰時間のおよそ3倍でよい。滞留時間が減衰時間より長いことを考慮することが可能であるが、曖昧さを低減するために理想的には滞留時間は、減衰時間の数倍だけとなる。
図4(従来技術)は、従来のイベント検出システムによってキャプチャされるタイプの高解像度画像である。この画像は7つの撮像されたイベントを含むが、部分的重複(および様々なノイズ源)のためにそれら撮像のいくつかを分離することは難しい。
図5A、5B、および5Cは、本発明によって行われるプロセスの簡略化された例を示す図である。図5Aは、処理前のフレームの時系列を示す。連続するフレームにおいて同じイベントが時々現れること、およびあらゆるフレームがイベントを含むとは限らないことに留意されたい。2つのイベントが同じフレーム内でキャプチャされる可能性もある。実験は、本発明が、時間と共に強度を積分する従来のシステムにおいて見出される蛍光体のブルーミング効果を除去することを示した。
図5Bは処理されたフレームを示し、イベントはドットとして識別される。各イベントを識別するために、離散的なドットが用いられる。図5Bはまた、二重計数されたイベントを拒絶するアルゴリズムの一部を示す。図5Aでは、フレーム1と同じ位置に、フレーム2上に暗いイベントがあるのが見られるが、図5Bではイベントは1回だけ計数される。
図5Cは、結合された定量的画像322を示す。図5Cにおいて7つのイベントが検出され、出現していることに留意されたい。部分的重複が、高性能の信号処理を用いても7つのイベントすべてを分離することを難しくしたであろう図4の画像と比較される。例示の目的のために、図5Cの定量的画像における7つのイベントは異なる位置にあり、従って画像は1または0のみを含む。しかし、通常は定量的画像は1より大きな値を有するようになり、同じ位置で生じたが時間において分離された複数のイベント(1フレームより多く、なぜならそれらは二重計数として分類されるようになるからである)を表す。
図6および7は、本発明の実施形態によって行われる例示のプロセスを示す。このプロセスは、(例えば)ARPES実験におけるイベントの速度に遅れずについていく能力を有する真の定量的パルス計数アルゴリズムにおいて、アナログ光信号から、判別されたイベントに変換する。高速CMOSカメラは大規模並列処理と共に、実験が実行されるのに従ってイメージが入手可能となるように、この大きなデータ量がリアルタイムで処理されることを可能にする。
図6は、フレーム312に対してGPUまたは他の大規模並列プロセッサ320によって行われる前処理ステップおよび並列処理ステップを含む、有効イベント識別の実施形態600を示すフロー図である。アルゴリズムのこの実施形態において、ノイズフロアはカメラに基づいて実験的に設定された。λは実験的に≒2.5であることが見出された。最大フロアは、検出器に基づいて実験的に設定された。
ステップ602で各フレームに対して、それが到着するのに従って、前処理がなされる。ステップ604は、各フレームから暗画像を減算する(図7のステップ706を参照)。これは、制御318によって切り換えられるアナログ増幅106がオフにされたとき、ベースカメラ信号を除去する。このステップはまたアナログ増幅106によって発生されない、カメラに到達する漏洩光を除去する。ステップ606は、結果としての減算されたフレーム画像内のノイズフロア未満のカウントに閾値適用する(threshold)。これはさらに、ステップ604で除去されなかった(例えば)CMOSカメラ310の読み出しノイズおよびショットノイズを除去する。ノイズフロアは、一般にカメラに基づいて実験的に設定される。
前処理ステップ604および606が各フレームに適用されて、並列処理が開始する。パルス検出は、(この例では)GPUの高度の並列の性質を用いる。最新のGPUは、1000個の程度のコアを有する。200万個の画素すべてにわたって分割されたとき、各コアは各フレームの間で数ミリ秒内に2000個の画素を処理する必要があるだけである。各並列処理要素またはコアは、一時に1つ、画素のグループを評価するタスクを有する。コアは画素の処理を完了した後、別の画素に移動してパルス検出アルゴリズムを繰り返す。簡単で高速なロジックは、各コアが、次のフレームがそのコアに対して到来する前に、フレーム内のすべての画素のそれの処理を完了することを可能にする。フレーム内の各個々の画素に対して、イベント検出は以下のように進行する。FPGAも良好に動作するようになる。
ステップ608は、画素がイベントの中心であるかどうかを、それが最大値であるかどうかチェックすることによって決定する(そうでない場合はイベントの中心ではないとして画素を拒絶する)。ステップ612はホット画素テストであり、これは最大値であるが実際のイベントのガウス形状のものではない画素を除去する。それは中心画素の8個の隣接するものの強度を平均して、Havgを見出す。ステップ614は、画素強度がHavgのλ倍より大きいかどうかをチェックする(そうである場合は、画素をホット画素として拒絶する)。λは実験的に≒2.5であることが見出された。
アナログ増幅スタック106、108は、宇宙線など、偽のイベントに影響されやすく、これは一般に実際のイベントよりずっと高い強度を有する。ステップ616はこのようなイベントを、画素の最大強度が最大フロア未満であるかどうかをチェックすることによって除去する(そうでない場合、宇宙線として画素を拒絶する)。最大フロアは、検出器に基づいて実験的に設定される。
画素がこれらのテストのすべてに合格した場合、該画素は暫定的にイベントとしての資格を得る。ステップ618は、前のフレーム内の同じ画素において識別されたイベントが存在したかどうかをチェックする。そうである場合、イベントは、複数のフレームにわたって広がる蛍光体減衰時間により冗長と見なされ、再度識別されない。そうでない場合、ステップ620はイベントを有効イベントとして識別する。上記のテストのいずれかが不合格であった場合、ステップ610は画素が有効イベントではないことを示す。
いくつかの実施形態において、識別されたイベントパルスは、大規模並列プロセッサ320よって、積分されたフレームに合計され、N個の設定された数のフレームの後、合計された画像は汎用プロセッサ316に戻される。結果は、パルス計数された出力の新たな有効なフレームである。ここで、各画素の強度は、そのチャネルに対する実際のイベントカウントである。この合計はまた、図3に示されるような汎用プロセッサ316によって行われることができる。
図7は、プロセス全体の実施形態を示すフロー図700である。この実施形態は、バックグラウンド除去および信号閾値(任意選択であるがいくつかの応用例で有用である)と、パルス検出と、処理されたフレーム形成との3つの主な機能を行う。
ステップ702で、プロセスは汎用プロセッサ316上で開始する。ステップ704は、カメラ310および大規模並列プロセッサ320を初期化する。ステップ706は、ノイズを低減するためにフレーム312から減算されることになるバックグラウンド(暗)画像をキャプチャする。この実施形態において、ステップ708はイベントを有しないN個のフレームを記憶し、ステップ710は各画素について合計し、Nで除算し、およびステップ712は結果を暗画像706として記憶する。例えば、暗画像データはステップ708で1秒間、積分されることができる。
次はフレーム312をキャプチャするプロセス714であり、それらを大規模並列プロセッサ320上で処理し、718で、処理されたフレームを結合し、結合された定量的画像322を形成する(図3参照)。ステップ716は、データのフレームを順次に汎用プロセッサ312に取り込み、それらを大規模並列プロセッサ320に送る。ステップ600は図6に示されるプロセスを備え、これは有効イベント決定し、イベント位置を発生する。ステップ718は、処理されたフレームを生成する。ステップ720は、これらの処理されたフレームを蓄積して、結合された定量的画像322を形成する。いくつかの場合において、大規模並列プロセッサ320は、いくつかの処理されたフレームを結合してイベント画像を形成する。次いで汎用プロセッサ316は、イベント画像を結合して、結合された定量的画像322を形成する。大規模並列プロセッサ320が個々の処理されたフレームを汎用プロセッサ316に転送する場合、それらは汎用プロセッサ316によって結合されたイベント画像を備える。
示される実施形態は、アルゴリズムが各画素に対して同じに実行し、最初から最後まで介在の同期なしに実行できるので、簡略化された例(自明な並列)である。他の可能な機能は、最初に低域通過畳み込みを実行し、次いで単なる最大値検索ではなく何らかのピークフィッティングを実行することを含む。機能として、何らかの追加の較正ステップ(単なるバックグラウンド減算を超えるものとして)が追加されることができる。非線形補正係数のためのいくつかのパルス特性化も、利用されることができる。
本発明の例示的な好ましい実施形態が詳細に本明細書で述べられたが、当業者は具体的に述べられたもの以外の様々な変更、追加、および応用例を理解するようになり、それらは本発明の趣旨の範囲内である。

Claims (17)

  1. リアルタイムで、個々の入射粒子を表す入射イベントに基づいて定量的2次元画像を形成する方法であって、
    (a)入射イベントを検出するステップと、
    (b)検出されたイベントを、アナログ増幅器を用いて増幅するステップと、
    (c)前記検出され増幅されたイベントを、減衰時間を有する光発生要素を用いて光に変換するステップと、
    (d)前記光発生要素減衰時間の程度のフレームレートで、前記光の画像フレームをキャプチャするステップと、
    (e)大規模並列プロセッサを用いて画素ごとに各フレームを処理し、個々の画像フレーム内の有効イベントを識別するステップと、
    (f)有効イベントを結合して前記定量的2次元画像を形成するステップと
    を含むことを特徴とする方法。
  2. 前記大規模並列プロセッサはGPUであることを特徴とする請求項1に記載の方法。
  3. ステップ(e)を行う前に、キャプチャされた画像フレームから暗画像を減算するステップをさらに含むことを特徴とする請求項1に記載の方法。
  4. ステップ(e)は、
    (e1)現在のフレーム内の各画素を、前のフレーム内の対応する画素と比較し、前記前のフレーム内の前記対応する画素がイベントとしてタグ付けされている場合は、前記現在のフレーム内の画素をイベントとして不適格と見なすステップ
    を含むことを特徴とする請求項1に記載の方法。
  5. ステップ(e)は、
    (e2)画素がその領域内で最も明るいかどうかを決定し、そうでない場合は該画素をイベントとして不適格と見なすステップと、
    (e3)前記画素の明るさがホット画素閾値を超えるかどうかを決定し、超える場合は該画素をイベントとして不適格と見なすステップと、
    (e4)前記画素が不適格と見なされなかった場合は、該画素を有効イベントとして識別するステップと
    を含むことを特徴とする請求項4に記載の方法。
  6. ステップ(e)はGPUによって行われることを特徴とする請求項4に記載の方法。
  7. ステップ(e)は、
    現在のフレームから個々の処理されたフレームを形成するステップと、
    いくつかの処理されたフレームを結合してイベント画像を形成するステップと
    を含み、ステップ(f)は、
    イベント画像を結合するステップ
    を含むことを特徴とする請求項4に記載の方法。
  8. ステップ(e)は、現在のフレームから個々のイベント画像を形成するステップを含み、
    ステップ(f)は、イベント画像を結合するステップを含むことを特徴とする請求項4に記載の方法。
  9. リアルタイムで、個々の入射粒子を表す入射イベントに基づいて定量的2次元画像を形成するための装置であって、
    入射粒子を増幅するように構成されたアナログ増幅器と、
    増幅された入射粒子信号を検出し、および前記信号に基づいて画像フレームを発生するための検出器と、
    汎用プロセッサと、
    GPUと
    を備え、前記汎用プロセッサは、前記画像フレームを受信し、および画像フレームデータを前記GPUに送信するように構成され、
    前記GPUは、画素ごとに各フレームを処理し、個々の画像フレーム内の有効イベントを識別し、および、フレームを処理してリアルタイムでイベント画像を発生する、ように構成され、
    前記汎用プロセッサは、イベント画像を結合して前記定量的2次元画像を形成するようにさらに構成されたことを特徴とする装置。
  10. 前記アナログ増幅器は、マイクロチャネルプレート検出器(MCP)を備えたことを特徴とする請求項9に記載の装置。
  11. 前記MCPの出力を、前記増幅された入射粒子信号を形成する光に変換するように構成された蛍光体プレートをさらに備えたことを特徴とする請求項10に記載の装置。
  12. 前記GPUは、前記汎用プロセッサが前記定量的2次元画像を形成する前に、処理されたフレームを結合してイベント画像を形成するようにさらに構成されたことを特徴とする請求項9に記載の装置。
  13. リアルタイムで、個々の入射粒子を表す入射イベントに基づいて定量的2次元画像を形成するための装置であって、
    入射粒子を増幅するように構成されたアナログ増幅器と、
    前記増幅された入射粒子を光に変換するように構成された変換器と、
    前記光を検出し、前記光に基づいて、少なくとも約100フレーム/秒の速度で画像フレームを発生するための検出器と、
    汎用プロセッサと、
    少なくとも約1000個の並列処理要素から形成された大規模並列プロセッサと
    を備え、前記汎用プロセッサは、前記画像フレームを受信し、および画像フレームデータを前記大規模並列プロセッサに送信するように構成され、
    前記大規模並列プロセッサは、画素ごとに各フレームを処理し、個々の画像フレーム内の有効イベントを識別し、および、フレームを処理してリアルタイムでイベント画像を発生する、ように構成され、
    前記汎用プロセッサは、イベント画像を結合して前記定量的2次元画像を形成するようにさらに構成されたことを特徴とする装置。
  14. 各並列処理要素は、現在のフレーム内の各画素を、前のフレーム内の対応する画素と比較し、前記前のフレーム内の前記対応する画素がイベントとしてタグ付けされている場合は、前記現在のフレーム内の画素をイベントとして不適格と見なすように構成されたことを特徴とする請求項13に記載の装置。
  15. 各並列処理要素は、
    画素がその領域内で最も明るいかどうかを決定し、そうでない場合は該画素をイベントとして不適格と見なすことと、
    前記画素の明るさが閾値を超えるかどうかを決定し、超える場合は該画素をイベントとして不適格と見なすことと、
    前記画素が不適格と見なされなかった場合は、該画素を有効イベントとして識別することと
    を行うように構成されたことを特徴とする請求項14に記載の装置。
  16. 前記検出器はCMOSカメラであることを特徴とする請求項13に記載の装置。
  17. 前記変換器は蛍光体層を備え、前記CMOSカメラは前記蛍光体層の減衰時間の程度の速度でフレームを発生することを特徴とする請求項16に記載の装置。
JP2019551358A 2017-03-17 2018-03-19 アナログインターフェースを有する高速2次元イベント検出および撮像 Active JP7173590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762472719P 2017-03-17 2017-03-17
US62/472,719 2017-03-17
PCT/US2018/023146 WO2018170508A1 (en) 2017-03-17 2018-03-19 High speed two-dimensional event detections and imaging with an analog interface

Publications (2)

Publication Number Publication Date
JP2020512632A true JP2020512632A (ja) 2020-04-23
JP7173590B2 JP7173590B2 (ja) 2022-11-16

Family

ID=63523358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551358A Active JP7173590B2 (ja) 2017-03-17 2018-03-19 アナログインターフェースを有する高速2次元イベント検出および撮像

Country Status (4)

Country Link
US (2) US11032498B2 (ja)
JP (1) JP7173590B2 (ja)
CN (1) CN110753950B (ja)
WO (1) WO2018170508A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4283654A1 (en) 2022-05-25 2023-11-29 Jeol Ltd. Electron microscope and calibration method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032498B2 (en) * 2017-03-17 2021-06-08 The Regents Of The University Of Colorado, A Body High speed two-dimensional imaging with an analog interface
KR102225242B1 (ko) * 2019-03-12 2021-03-09 연세대학교 산학협력단 이벤트 기반 신호 표현을 이용한 이벤트 증폭기 및 이벤트 처리 회로
CN111583094B (zh) * 2020-05-09 2023-04-25 之江实验室 一种基于fpga的图像脉冲编码方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294417A (ja) * 2002-03-21 2003-10-15 Eastman Kodak Co 高ダイナミックレンジを有するスキャナレス距離画像システム
WO2017087045A1 (en) * 2015-11-20 2017-05-26 Integrated Dynamic Electron Solutions, Inc. Temporal compressive sensing systems

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4948975A (en) * 1988-09-08 1990-08-14 The United States Of America As Represented By The Secretary Of The Air Force Quantitative luminescence imaging system
US6031892A (en) * 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
WO1992013265A1 (en) * 1991-01-24 1992-08-06 The University Of Maryland Method and apparatus for multi-dimensional phase fluorescence lifetime imaging
EP0724730B1 (en) * 1993-10-20 1999-01-27 Cambridge Imaging Limited Improved imaging method and apparatus
US5959598A (en) * 1995-07-20 1999-09-28 The Regents Of The University Of Colorado Pixel buffer circuits for implementing improved methods of displaying grey-scale or color images
US20080094476A1 (en) * 2006-10-18 2008-04-24 Southern Vision Systems, Inc. System and Method of High-Speed Image-Cued Triggering
US20170014646A1 (en) * 2008-05-22 2017-01-19 W. Davis Lee Guided charged particle imaging/treatment apparatus and method of use thereof
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
US9102776B1 (en) * 2012-03-05 2015-08-11 Flir Systems, Inc. Detection and mitigation of burn-in for thermal imaging systems
US9521337B1 (en) * 2012-07-13 2016-12-13 Rambus Inc. Reset-marking pixel sensor
CN104970815B (zh) * 2014-04-04 2018-03-16 北京纳米维景科技有限公司 基于光栅相位衬度和光子计数的x射线成像系统及方法
CN109945844B (zh) * 2014-05-05 2021-03-12 赫克斯冈技术中心 测量子系统和测量系统
JP6405271B2 (ja) * 2015-03-12 2018-10-17 日本電子株式会社 電子分光装置および測定方法
JP2017067634A (ja) * 2015-09-30 2017-04-06 株式会社東芝 検出装置、ct装置、およびデータ処理方法
CN105721772B (zh) * 2016-01-20 2018-06-22 天津师范大学 一种异步时域视觉信息成像方法
US11032498B2 (en) * 2017-03-17 2021-06-08 The Regents Of The University Of Colorado, A Body High speed two-dimensional imaging with an analog interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003294417A (ja) * 2002-03-21 2003-10-15 Eastman Kodak Co 高ダイナミックレンジを有するスキャナレス距離画像システム
WO2017087045A1 (en) * 2015-11-20 2017-05-26 Integrated Dynamic Electron Solutions, Inc. Temporal compressive sensing systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4283654A1 (en) 2022-05-25 2023-11-29 Jeol Ltd. Electron microscope and calibration method

Also Published As

Publication number Publication date
WO2018170508A1 (en) 2018-09-20
US11032498B2 (en) 2021-06-08
US20200014869A1 (en) 2020-01-09
CN110753950A (zh) 2020-02-04
JP7173590B2 (ja) 2022-11-16
US20210293979A1 (en) 2021-09-23
US11523076B2 (en) 2022-12-06
CN110753950B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US11523076B2 (en) High speed two-dimensional event detection and imaging using an analog interface and a massively parallel processor
Ingle et al. High flux passive imaging with single-photon sensors
US9462190B2 (en) Imaging apparatus, an electronic device, and imaging method to uniformize distribution of incident light, and a photostimulated luminescence detection scanner
Blanchet et al. Measurement of sub-shot-noise correlations of spatial fluctuations in the photon-counting regime
Lantz et al. Optimizing the signal-to-noise ratio in the measurement of photon pairs with detector arrays
Chandramouli et al. A bit too much? High speed imaging from sparse photon counts
US7151272B2 (en) Phosphor read-out device and phosphor read-out process
Cajgfinger et al. Single photon detection and localization accuracy with an ebCMOS camera
CN113554694A (zh) 一种烟幕释放过程中红外有效遮蔽面积的获取方法和系统
US20220100094A1 (en) Quantum-limited Extreme Ultraviolet Coherent Diffraction Imaging
KR102014570B1 (ko) 확장된 동적 범위를 갖는 광전자 증배관
JP6355598B2 (ja) X線データ処理装置、その方法およびプログラム
CN110852981B (zh) 一种单光子成像图像处理方法
Mochizuki et al. Separation of multi-path components in sweep-less time-of-flight depth imaging with a temporally-compressive multi-aperture image sensor
Hu et al. Denoising algorithm for the pixel-response non-uniformity correction of a scientific CMOS under low light conditions
Li et al. Polarized color image denoising
De et al. Detection of forgery in digital video
CN115580762B (zh) 一种多通道耦合压缩超快成像装置
Walasek-Hoehne et al. Video Cameras used in Beam Instrumentation--an Overview
Barbier et al. An ebCMOS camera system for extreme low light imaging
Guan et al. High resolution image reconstruction technology based on few photon signal of target
US20220333996A1 (en) Computational Radiation Tolerance for High Quality Infrared Focal Plane Arrays
CN114913102A (zh) 面阵光子时间标记的单光子图像增强方法及系统
Carvalho et al. Hybrid grated pixel cluster for local light angle and intensity detection
Dorronsoro et al. Simulated intensified images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221027

R150 Certificate of patent or registration of utility model

Ref document number: 7173590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150