CN110753950B - 利用模拟接口的高速二维事件检测和成像 - Google Patents

Abstract

通过将高速、高帧速率的相机与在大规模并行处理器（诸如GPU）上运行的简单逻辑代码相结合来实现具有高计数率线性度的定量脉冲计数（事件检测）算法。并行处理器元件逐像素地检查来自相机的帧，以找到并标记事件或对脉冲进行计数。组合已标记的事件以形成经组合的定量事件图像。

Description

利用模拟接口的高速二维事件检测和成像

发明背景

本发明是在由美国能源部授予的授权号为DE-FG02-03ER46066的政府支持下完成的。政府在本发明中拥有某些权利。

技术领域

本发明涉及在具有模拟接口的系统中的高速且高分辨率的二维事件检测和成像。特别地，本发明涉及从事件类型数据中对单独的电子、光子等进行脉冲计数。

背景技术

在二维中检测诸如电子之类的粒子通常利用诸如多通道板（MCP）检测器之类的模拟接口进行放大，利用磷光体屏来产生光，并且利用CCD相机等来记录光。例如，角度分辨光发射频谱法（ARPES）实验使用基于多通道板/磷光体屏/相机堆叠的电子检测方案。相机通常是CCD型的，以整合了模拟光子强度的灰度级模式运行。由于单个频谱通常需要成千上万的计数，因此系统必须对整个图像进行计数强度的积分，这是一个非常缓慢的过程，无法以接近实时的速度生成可用数据。另外，所得到的数据是加和到一起的相机读数。这具有固有的问题，即添加了相机噪声和读出噪声、磷光体高光溢出（boosting）的伪像以及检测堆叠的一般非线性响应。由于重叠，对单独的事件进行计数也是几乎不可能的。

图1（现有技术）示出了ARPES设置，其用于经由电子光学装置104检测来自样本100的电子。电子102被MCP 106放大，被磷光体板108转换成光，并被CCD或类似装置110捕获。图2（现有技术）更一般性地图示了传统的事件检测和记录过程。入射事件102被检测到并被MCP 106放大，从而生成经放大的事件107。磷光体板108将经放大的事件107转换为光109。高质量相机210记录光206并生成经积分的输出图像212。

由于MCP 106和磷光体板108对于每个脉冲具有变化的增益水平，并且磷光体板108可能高光溢出并且关于强度具有非线性增益轮廓，因此在这种情况下的输出109可能会经受降低的分辨率和保真度。一般而言，相机210记录一段时间（诸如30秒）内的图像，并在经积分的输出图像212中捕获多个事件。研究人员一直在努力改善相机210的质量，以虑及非线性问题并解析（resolve）单独的事件。这样的相机极度光敏，并且通常需要冷却。因此，它们使用起来不方便且非常昂贵，并且即使在它们非常高分辨率和先进的数值方法的情况下，也可能无法解析单独的事件。研究人员曾试图减缓实验，以减少图像中的事件数量，但这会导致样本随时间衰减以及更长的采集时间。

用于对事件进行计数的另一种方法是使用延迟线检测器。这些系统甚至更加昂贵并且规模有限。

在本领域中仍然需要在具有模拟接口的系统中执行单独的事件的高速且高分辨率的二维检测（有时称为脉冲计数）的装置和方法。

发明内容

本发明的一个目的是在具有模拟接口的系统中执行高速且高分辨率的二维脉冲计数。本发明改善了堆叠的处理部分，以在使用更简单且更快的相机的同时产生具有更好的线性度的更高速度的数据。（例如，如由MCP-磷光体对生成的）事件型的电子或光子数据被发送到相机中。相机具有非常高的速度（高fps），但仅具有中等质量（与科学相机相比，动态范围更低，并且本底噪声更高）。代替（例如）30秒的曝光以创建经积分的模拟图像，相机捕获一系列帧（例如，每秒约100帧），这些帧经由计算机传输到并行处理器。在并行处理器单元上，通过许多并行处理器元件来处理每一帧。系统包括用于整体处理的计算机和大规模并行的处理器（诸如GPU）。

并行处理器元件使用算法来检查帧中的每个像素，以确定在该像素处是否发生事件。本质上，这是二元测试——像素要么处于导通（针对事件）要么处于关闭（针对无事件）。

针对该算法有若干选项，每个选项具有其自己的处理时间和保真度。在一个实施例中，并行处理器元件检查所讨论的像素周围的（例如）八个像素，以确定该像素是否是局部强度最大值。算法也可以包括各种其他逻辑测试。在一些优选实施例中，在处理帧之前从帧中减去暗图像。只要每帧的总处理时间小于帧刷新时间（1/帧速率），系统就将能够赶得上实时数据采集。

在帧中标识出所有事件之后，形成经处理的帧。这不是显示高斯形状的高分辨率图像，而是显示何处发生了事件的地图，其中“1”意味着事件而“0”意味着没有事件。然后在并行处理器单元或CPU上将这些经处理的帧加和在一起，以获得经脉冲计数的事件的经组合的定量图像。在此定量图像中，每个像素处的值对应于在由所加和的经处理的帧所覆盖的时间段内在该像素处发生的事件的数量。

然后将此定量图像发送回给CPU（如果它是在并行处理器上生成的话），以进行可视化、存储或进一步累积。

基于表示单独的入射粒子的入射事件来实时地形成定量二维图像的方法包括以下步骤：检测入射事件，利用模拟放大器来放大检测到的事件，利用具有衰减时间（其在某些配置中是可选的）的发光元件将检测到的经放大的事件转换为光，以大约发光元件衰减时间的帧速率捕获光的图像帧，利用大规模并行处理器逐像素地处理每一帧并标识单独的图像帧中的有效事件，以及组合有效事件以形成定量的二维图像。

大规模并行处理器可能是GPU。在优选实施例中，在帧处理之前从所捕获的图像帧中减去暗图像。

由GPU执行的步骤可能包括：将当前帧中的每个像素与先前帧中的对应像素进行比较，以及如果该先前帧中的对应像素已被标记为事件，则取消当前帧中的像素作为事件的资格，确定像素是否是其区域中最亮的像素，确定像素的亮度是否高于热像素阈值，以及仅在其通过了这些测试中的一些或所有的情况下才将像素标识为有效事件。在一些情况下，GPU还被配置成在通用处理器从事件图像形成定量二维图像之前组合单独的经处理的帧以形成事件图像。在其他情况下，单独的经处理的帧是由通用处理器组合的事件图像。

模拟放大器可能包括微通道板检测器（MCP），并且发光元件可能是磷光体板。

在一些优选实施例中，检测器以每秒至少100帧的速率生成图像帧，并且大规模并行处理器由至少1000个并行处理元件形成。检测器可能是CMOS相机，其以大约磷光体层衰减时间的速率生成帧。

附图说明

图1（现有技术）是用于事件检测的ARPES系统的示意图。

图2（现有技术）是传统事件检测和记录系统的框图。

图3是图示根据本发明的二维高速事件计数系统的框图。

图4（现有技术）是由传统事件检测系统捕获的那种高分辨率图像。

图5A、5B和5C是图示本发明所执行的过程的图。图5A示出了处理之前的帧的时间序列。图5B示出了其中标记了事件的帧。图5C示出了经组合的事件图。

图6是图示根据本发明的由并行处理器元件执行的过程的实施例的流程图。

图7是图示根据本发明的整个过程的实施例的流程图。

具体实施方式

图3是图示用于在具有模拟接口的系统中的高速高分辨率二维事件检测的系统的一个实施例300的示意性框图。来自样本100的事件型光子数据（或电子数据等）由诸如MCP106和磷光体板108之类的模拟层生成，并被发送到高速检测器310。在优选实施例中，可以使用来自ptgrey.com的Flea3或Grasshopper3。这二者都是CMOS相机。Grasshopper3具有163 FPS下的2.3 MP分辨率。Flea3具有150 fps下的1.3 MP分辨率。在优选实施例中，数据经由USB3（线缆接口，足够快以向通用处理器316提供实况/实时数据）进行传输。图像帧312被存储在存储器中，然后被发送到大规模并行处理器320（例如GPU存储器）以进行处理。图像帧312是串行地发送的。

应当注意，CCD 310可能直接检测来自MCP 106的电子突发（burst），以使得省略磷光体层108。

通用处理器316管理来自USB3串行端口的数据（帧312）。它将数据存储在存储器中，并且然后将该数据从主存储器发送到跨许多并行处理器元件（核）分布的GPU存储器320，其中每一帧得到逐帧处理。已显示出运行良好的大规模并行处理器320的示例是英伟达GTX 780 GPU（具有2304个核、约1GHz的时钟、6.0 Gbps的存储器速度和3GB的存储器）。通用处理器316可能经由PCIe V.3.0与GPU通信，以进行快速、实时的处理。应当注意，如果检测器310的分辨率特别高，则一次处理一小组像素（例如4个）可能是足够的。由于该组在功能上是一个像素，因此术语“逐像素”仍然适用。

一旦在GPU 320上，每个像素都有相同的算法在其上运行（任何分布式计算都将提供类似的加速规模），并且该算法确定该像素是否是事件的中心。针对由大规模并行处理器320执行的示例算法请参见图6。该算法实施例还具有外部控件318（模拟放大开/关），其是“拍摄暗图像”步骤706的一部分。

该算法（对于2.3 MP的相机）每帧运行230万次，（或约6毫秒内运行230万次）。当跨数百个并行处理器元件（诸如核）分布时，每个核仅需要运行算法大约数千次，而无需在这6毫秒内运行数百万次。一旦已处理了每个像素并标识了事件，就形成了经处理的帧。在此经处理的帧中，每个像素要么是“1”（意味着事件），要么是“0”（意味着没有事件）。随着新帧到来，对它们进行处理并添加到先前处理的帧中，最终形成经组合的定量图像322。在该经组合的定量图像322中，每个像素处的值对应于在该像素处发生的事件的数量。该图像添加可以发生在通用处理器316或大规模并行处理器320上。最终，将经组合的定量事件图像322提供给用户。如果期望的话，还存储经组合的定量图像322或将其发送回给通用处理器316以进行后处理。将在下面更详细地示出和描述这些过程。

一般而言，事件大小取决于系统，因此相机310的分辨率被优选地选择成使得事件跨越几个像素（例如，7x7的像素网格包含一个事件）。如果分辨率太低，则事件可能看起来像是热像素，并且没有足够的形状来与噪声区分。太高的分辨率则较慢，并且可能导致事件太过铺开，从而导致强度较低，较低的强度会导致在噪声中迷失。

相机310的帧速率优选地被选为大约磷光体的衰减速率（应当注意，存在各种可用的磷光体可用，其具有广泛变化的衰减速率）。如果帧速率太低，那么每一帧将收集许多事件。因此，与如果利用了更高的相机帧速率相比，这些事件将会具有出现于彼此附近的更高可能性，这样更可能导致饱和，因为算法可能会将多个事件的图像强度错误地分类为单个事件。然而，如果相机的帧速率过高，则会导致复杂化。如果帧速率快于磷光体的衰减时间，那么同一事件可能会显示在多个帧中，从而引起一些重复计数问题。在相机的停延时间是典型的90％-1％磷光体衰减时间（2.6 ms）的2倍左右的情况下，5 ms（或200 fps）的停延时间捕获事件良好。为了去除重复计数的影响，存储帧的掩模（mask）以与后续帧进行比较。如果这两个帧都在同一像素处显示事件，则假定这是由磷光体衰减时间引起的而不是一个新事件。事实证明，这种用来去除重复计算的掩蔽例行程序非常有效。如果需要的话，掩模也可以是多个先前的帧的掩模。例如，如果磷光体衰减和帧速率的组合导致单个事件跨越三个帧的恰当机会，则掩模将包括前两个帧以拒绝重复计数。在该情况下，停延时间可能约为衰减时间的3倍。可以虑及停延时间长于衰减时间，但是理想情况下，停延时间将仅为衰减时间的几倍，以降低不明确性。

图4（现有技术）是由传统事件检测系统捕获的那种高分辨率图像。该图像包括七个被成像的事件，但是由于重叠（以及各种噪声源）而难以分别其中的一些事件。

图5A、5B和5C是图示本发明所执行的过程的简化示例的图。图5A示出了处理之前的帧的时间序列。应当注意，同一事件有时会显示在连续的帧中，并且不是每一帧都包括事件。在同一帧中捕获两个事件也是可能的。实验已经表明，本发明去除了随时间对强度进行积分的传统系统中发现的磷光体高光溢出效应。

图5B示出了经处理的帧，其中事件被标识为点。使用离散的点来标识每个事件。图5B还图示了拒绝重复计数事件的算法的部分。在图5A中可见，在第2帧上与第1帧相同的位置中有调光器（dimmer）事件，但该事件在图5B中仅被计数一次。

图5C示出了经组合的定量图像322。应当注意，检测到了七个事件，并且它们出现在图5C中。与图4的图像相比，重叠的地方将使得难以解析所有七个事件，甚至在高功率信号处理的情况下。为了图示的目的，图5C的定量图像中的七个事件在不同的位置中，因此图像仅包含1和0。然而，定量图像通常将具有大于1的值，其表示发生在同一位置但在时间上分离（分离一帧以上，因为仅分离一帧的那些事件将被分类为重复计数）的多个事件。

图6和7图示了由本发明的实施例执行的示例过程。此过程以真正的定量脉冲计数算法从模拟光信号转换为经区分的事件，所述算法能够跟上（例如）ARPES实验中的事件的速率。高速CMOS相机以及大规模并行处理允许实时处理该高数据量，使得影像随着实验正在运行而可用。

图6是图示有效事件标识600的实施例的流程图，该有效事件标识600包括预处理步骤和由GPU或其他大规模并行处理器320对帧312执行的并行处理步骤。在算法的该实施例中，本底噪声是基于相机凭经验设置的。根据经验，发现λ为约2.5。凭经验基于检测器来设置最大本底噪声。

在步骤602中，随着每一帧的到来对每一帧进行预处理。步骤604从每一帧中减去暗图像（参见图7中的步骤706）。当模拟放大106被关闭时，这去除了基本相机信号，所述关闭通过控件318来切换。该步骤还去除了并非由模拟放大106生成的到达相机的任何泄漏光。步骤606对在所得到的经减去的帧图像中低于本底噪声的任何计数进行阈值化。这进一步去除了在步骤604中未去除的（例如）CMOS相机310的读出噪声和散粒噪声。本底噪声通常是基于相机凭经验设置的。

在将预处理步骤604和606应用于每一帧的情况下，开始并行处理。脉冲检测使用（在此示例中）GPU的高度并行属性。现代GPU具有约1000个核。在被划分到全部200万个像素上的情况下，每个核只需要在每一帧之间的几毫秒中处理2000个像素。每个并行处理元件或核都具有评估一组像素的任务，一次一组。在核已经完成处理一个像素之后，它将移到另一像素以重复脉冲检测算法。简单且快速的逻辑允许每个核在针对该核的下一帧进入之前完成其对一帧中的所有像素的处理。对于一帧中的每个单独的像素，事件检测如下进行。FPGA也将运转良好。

步骤608通过检查像素是否是局部最大值来确定该像素是否是事件的中心（如果不是，则拒绝像素为事件的中心）。步骤612是热像素测试，该热像素测试去除作为局部最大值但不是实际事件的高斯形状的像素。它对中心像素的8个最近近邻的强度取平均，以得出H_avg。步骤614检查像素强度是否大于H_avg的λ倍（如果是，则拒绝像素为热像素）。根据经验发现λ为约2.5。

模拟放大堆叠106、108易受诸如宇宙射线之类的伪事件的影响，所述伪事件通常具有比实际事件更高的强度。步骤616通过检查像素的最大强度是否小于最大本底（如果不是，则拒绝像素作为宇宙射线）来去除此类事件。凭经验基于检测器来设置最大本底。

如果像素通过所有这些测试，则其暂时具有作为事件的资格。步骤618检查在先前帧中的同一像素位置处是否有所标识的事件。如果是，则该事件由于跨越多个帧的磷光体衰减时间而被认为是冗余的，并且不会被再次标识。如果否，则步骤620将该事件标识为有效事件。如果没有通过上述测试中的任何一个，则步骤610指示该像素不是有效事件。

在一些实施例中，通过大规模并行处理器320将所标识的事件脉冲加和成积分帧，并且在一些设定数量的N个帧之后，将经加和的图像返回到通用处理器316。结果是脉冲计数输出的新的有效帧。在此，每个像素的强度是针对该通道的实际事件计数。如图3中所示，该加和也可以由通用处理器316来执行。

图7是图示整个过程的实施例的流程图700。该实施例执行三个主要功能：背景去除和信号阈值化（可选，但在某些应用中是有用的）、脉冲检测和经处理的帧的形成。

在步骤702中，在通用处理器316上开始该过程。步骤704初始化相机310和大规模并行处理器320。步骤706捕获要从帧312中减去的背景（暗）图像，以降低噪声。在该实施例中，步骤708存储不具有事件的N个帧，步骤710针对每个像素求和并除以N，并且步骤712将结果存储为暗图像706。例如，在步骤708中，在一秒钟内对暗图像数据进行积分。

接下来是过程714，其捕获帧312，在大规模并行处理器320上对其进行处理，组合经处理的帧718，并形成经组合的定量图像322（参见图3）。步骤716将数据帧顺序引入通用处理器312，并将其发送到大规模并行处理器320。步骤600包括图6中所示的过程，该过程确定有效事件并生成事件位置。步骤718产生经处理的帧。步骤720累积这些经处理的帧以形成经组合的定量图像322。在某些情况下，大规模并行处理器320组合若干经处理的帧以形成事件图像。然后，通用处理器316组合事件图像以形成经组合的定量图像322。如果大规模并行处理器320将单独的经处理的帧转发到通用处理器316，则那些帧包括由通用处理器316组合的事件图像。

所示实施例是（非常并行的）简化示例，因为算法针对每个像素以相同的方式运行，并且可以从头到尾运行而无需中间同步。其他可能特征包括先运行低通卷积并然后运行某个峰值拟合，而不仅仅是寻找局部最大值。可以添加一些额外的校准步骤（超过仅仅包括背景减去）作为特征。还可以利用用于非线性校正系数的一些脉冲表征。

尽管本文具体描述了本发明的示例性优选实施例，但是本领域技术人员将领会的是，除了具体提及的那些之外的各种改变、添加和应用都在本发明的精神之内。

Claims (17)

1.基于表示单独的入射粒子的入射事件来实时地形成定量二维图像的方法，包括以下步骤：

(a)检测入射事件；

(b)利用模拟放大器来放大检测到的事件；

(c)利用具有衰减时间的发光元件将检测到的经放大的事件转换为光；

(d)以发光元件衰减时间的帧速率捕获光的图像帧；

(e)利用并行处理器逐像素地处理每一帧并标识单独的图像帧中的有效事件；

(f)组合有效事件以形成定量二维图像。

2.根据权利要求1所述的方法，其中，所述并行处理器是GPU。

3.根据权利要求1所述的方法，还包括在执行步骤(e)之前从所捕获的图像帧中减去暗图像的步骤。

4.根据权利要求1所述的方法，其中，步骤(e)包括以下步骤：

(e1)将当前帧中的每个像素与先前帧中的对应像素进行比较，以及如果先前帧中的对应像素已被标记为事件，则取消所述当前帧中的像素作为事件的资格。

5.根据权利要求4所述的方法，其中，步骤(e)包括以下步骤：

(e2)确定像素是否是其区域中最亮的像素，并且如果不是则取消其作为事件的资格；

(e3)确定所述像素的亮度是否高于热像素阈值，并且如果是则取消其作为事件的资格；以及

(e4)如果所述像素未被取消资格则将其标识为有效事件。

6.根据权利要求4所述的方法，其中，步骤(e)由GPU来执行。

7.根据权利要求4所述的方法，其中：

步骤(e)包括以下步骤：

从当前帧形成单独的经处理的帧；以及

组合若干经处理的帧以形成事件图像；并且其中

步骤(f)包括以下步骤：

组合事件图像。

8.根据权利要求4所述的方法，其中：

步骤(e)包括从当前帧形成单独的事件图像的步骤；并且

步骤(f)包括组合事件图像的步骤。

9.用于基于表示单独的入射粒子的入射事件实时地形成定量二维图像的装置，其包括：模拟放大器，其被配置成放大入射粒子；

检测器，其用于检测经放大的入射粒子信号并基于所述信号来生成图像帧；

通用处理器；以及

GPU；

其中，所述通用处理器被配置成接收所述图像帧并将图像帧数据传输至所述GPU；并且

其中，所述GPU被配置成逐像素地处理每一帧并标识单独的图像帧中的有效事件并处理帧以实时地生成事件图像；

并且其中，所述通用处理器还被配置成组合事件图像以形成所述定量二维图像。

10.根据权利要求9所述的装置，其中，所述模拟放大器包括微通道板检测器(MCP)。

11.根据权利要求10所述的装置，还包括磷光体板，所述磷光体板被配置成将所述MCP的输出转换为光，所述光形成所述经放大的入射粒子信号。

12.根据权利要求9所述的装置，其中，所述GPU还被配置成在所述通用处理器形成所述定量二维图像之前组合经处理的帧以形成事件图像。

13.用于基于表示单独的入射粒子的入射事件实时地形成定量二维图像的装置，其包括：

模拟放大器，其被配置成放大入射粒子；

转换器，其被配置成将经放大的入射粒子转换为光；

检测器，其用于检测所述光并基于所述光以每秒至少100帧的速率生成图像帧；

通用处理器；以及

由至少1000个并行处理元件形成的并行处理器；

其中，所述通用处理器被配置成接收所述图像帧并将图像帧数据传输至所述并行处理器；并且

其中，所述并行处理器被配置成逐像素地处理每一帧并标识单独的图像帧中的有效事件并处理帧以实时地生成事件图像；

并且其中，所述通用处理器还被配置成组合事件图像以形成所述定量二维图像。

14.根据权利要求13所述的装置，其中，每个并行处理元件被配置成将当前帧中的每个像素与先前帧中的对应像素进行比较，并且如果所述先前帧中的对应像素被标记为事件则取消当前帧中的像素作为事件的资格。

15.根据权利要求14所述的装置，其中，每个并行处理元件被配置成：

-确定像素是否是其区域中最亮的像素，并且如果不是则取消其作为事件的资格；

-确定所述像素的亮度是否高于阈值，并且如果是则取消其作为事件的资格；以及

-如果所述像素未被取消资格则将其标识为有效事件。

16.根据权利要求13所述的装置，其中，所述检测器是CMOS相机。

17.根据权利要求16所述的装置，其中，所述转换器包括磷光体层，并且其中，所述CMOS相机以所述磷光体层的衰减时间的速率生成帧。