CN108474755B - 时间压缩感测系统 - Google Patents

时间压缩感测系统 Download PDF

Info

Publication number
CN108474755B
CN108474755B CN201680079603.2A CN201680079603A CN108474755B CN 108474755 B CN108474755 B CN 108474755B CN 201680079603 A CN201680079603 A CN 201680079603A CN 108474755 B CN108474755 B CN 108474755B
Authority
CN
China
Prior art keywords
sensor array
radiation
time
time slice
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680079603.2A
Other languages
English (en)
Other versions
CN108474755A (zh
Inventor
布莱恩·W·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Integrated Dynamic Electron Solutions Inc
Original Assignee
Integrated Dynamic Electron Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Integrated Dynamic Electron Solutions Inc filed Critical Integrated Dynamic Electron Solutions Inc
Publication of CN108474755A publication Critical patent/CN108474755A/zh
Application granted granted Critical
Publication of CN108474755B publication Critical patent/CN108474755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/24455—Transmitted particle detectors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/262—Non-scanning techniques
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2802—Transmission microscopes

Landscapes

  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Electron Sources, Ion Sources (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于时间压缩感测的方法和系统，其中在一个或多个传感器阵列数据采集周期中的每一个内，采集包括时间片数据的不同线性组合的一个或多个传感器阵列测量数据集，并且其中数学重构允许个体时间片数据集的精确表示的计算。

Description

时间压缩感测系统
交叉引用
本申请要求于2015年11月20日提交的美国临时申请号62/258,194的权益，本文通过引用并入该申请。
关于联邦资助研究的声明
本发明在美国能源部的授权号DE-SC0013104的美国政府的支持下做出。
背景技术
压缩感测是利用一些信号的固有属性以基于有限的测试测量系列而测量以及在数学上重构信号的信号采集和处理的方法。本公开内容涉及用于时间压缩感测(temporalcompressive sensing)的新颖系统和方法。例如，一个具体公开内容有关于应用于透射电子显微镜(TEM)的新颖的时间压缩感测系统和方法。
发明内容
本文公开了一种用于时间压缩感测的方法，包括：a)将具有强度的辐射从源朝向样本或者场景引导；b)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在所述一个或多个数据采集周期的每一个内，针对时间片系列(a series of time slices)捕获与被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合相对应的一个或多个测量数据集；以及c)使用以下项在所述一个或多个数据采集周期中的每一个内针对所述系列的时间片中的每一个重构时间片数据集：i)针对每个数据采集周期捕获的所述一个或多个测量数据集；ii)描述在所述数据采集周期内被引导至所述样本或者所述场景的来自所述源的所述辐射的强度的已知时间依赖性、或者用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性的系数的系列，其中所述系数根据时间片和所述传感器阵列的区域而变化，但是独立于所述传感器阵列内或者所述传感器阵列的给定区域内的给定像素的空间位置；以及iii)从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集的算法；从而提供针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
在一些实施方式中，所述辐射来自以下的源：激光器、光电阴极、电子枪或者其任何组合。在一些实施方式中，所述传感器阵列是一维传感器阵列、二维传感器阵列、在传感器阵列芯片上存储多个测量数据集的传感器阵列或者其任何组合。在一些实施方式中，所述传感器阵列是二维传感器阵列，其包括电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、CMOS框架相机、光电二极管阵列或者其任何组合。在一些实施方式中，所述传感器阵列还包括将所述辐射转换为所述传感器阵列可直接检测的辐射的非线性光学材料、荧光材料、磷光材料或者微通道板。在一些实施方式中，用于重构所述时间片数据集的算法是：优化算法；迭代贪婪恢复算法；字典学习算法；随机贝叶斯算法；变分贝叶斯算法；或者其任何组合，所述优化算法经由l1范数、非零系数的总数目、总变差或者测试过程先验来惩罚欠定线性方程组的非稀疏解。在一些实施方式中，从针对每个数据采集周期捕获的所述一个或多个测量数据集重构至少或至少约10个时间片数据集。在一些实施方式中，所述二维传感器阵列以至少或至少约100帧每秒的有效数据采集和读出速率进行操作。在一些实施方式中，所述辐射包括电子，并且其中所述传感器阵列是电荷耦合器件(CCD)传感器、图像增强电荷耦合器件(ICCD)传感器、电子能量损失光谱仪(EELS)中的检测器或者其任何组合。在一些实施方式中，所述辐射包括电子，并且所述传感器阵列由能量色散x射线光谱仪(EDX)中的检测器替换。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜图像数据帧。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜衍射图案数据帧。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜电子能量损失谱数据帧。在一些实施方式中，所述时间片数据集包括重构的扫描电子显微镜图像数据或者透射电子显微镜能量色散x射线谱数据的帧。在一些实施方式中，在所述时间片数据集的计算期间调整要被重构的时间片数据集的数目。在一些实施方式中，在捕获所述测量数据集之前，通过计算测量矩阵系数的范围来优化要被重构的时间片数据集的数目，所述测量矩阵系数中的每一个具有不同的时间片数目。在一些实施方式中，通过以时间方式调制实验参数而不是所述辐射强度来生成针对时间片系列被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合。在一些实施方式中，要被时间调制的所述实验参数选自：所述样本或者所述场景的旋转定向、所述样本或者所述场景在一维中的线性平移、所述样本或者所述场景在二维中的线性平移和所述样本或者所述场景在三维中的线性平移或者其任何组合。在一些实施方式中，所述辐射聚焦于窄束上，并且要被时间调制的所述实验参数是所述束相对于所述样本或者所述场景的位置。在一些实施方式中，所述系数的系列描述：在所述数据采集周期内朝向所述样本或者所述场景引导的来自所述源的所述辐射的强度的已知空间依赖性和时间依赖性，或者来自所述源的所述辐射的强度的已知空间依赖性，以及用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性。
本文还公开了一种用于时间压缩感测的系统，包括：a)辐射源，所述辐射源提供朝向样本或者场景引导的具有强度的辐射；b)传感器阵列，所述传感器阵列在所述辐射被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射之后检测所述辐射；c)机构，所述机构在由所述辐射源生成的所述辐射与所述样本或者所述场景相互作用之前快速调制所述辐射的强度、或者快速切换被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射，以及d)一个或多个计算机处理器，其用于：(i)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在每个数据采集周期内，捕获与针对时间片系列被透射、反射、弹性散射或者非弹性散射的辐射的图案的不同线性组合相对应的一个或多个测量数据集；以及(ii)使用以下项来在所述一个或多个数据采集周期中的每一个内针对每个时间片重构时间片数据集：1)针对每个数据采集周期捕获的所述一个或多个测量数据集；2)描述在所述数据采集周期内由所述辐射源生成并且被引导至所述样本或者所述场景的所述辐射的强度的已知时间依赖性、或者用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性的系数的系列，并且其中所述系数根据时间片和所述传感器阵列的区域而变化，但是独立于所述传感器阵列内或者所述传感器阵列的给定区域内的给定像素的空间位置；以及3)从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集的算法；从而生成针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
本文还公开了一种用于时间压缩感测的系统，包括：a)辐射源，所述辐射源提供朝向样本或者场景引导的辐射；b)传感器阵列，所述传感器阵列在所述辐射被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射之后检测所述辐射；c)机构，所述机构快速调制所述样本或者所述场景相对于照射方向的一维、二维或三维平移位置或者旋转定向或者其任何组合；以及d)一个或多个计算机处理器，其用于：(i)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在每个数据采集周期内，捕获与针对时间片系列被透射、反射、弹性散射或者非弹性散射的辐射的图案的不同线性组合相对应的一个或多个测量数据集；以及(ii)使用以下项来在所述一个或多个数据采集周期中的每一个内针对每个时间片重构时间片数据集：1)针对每个数据采集周期捕获的所述一个或多个测量数据集；2)描述在所述数据采集周期内所述样本或者所述场景的平移位置或者旋转定向的已知时间依赖性的系数的系列；以及3)从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集的算法；从而生成针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
在一些实施方式中，所述辐射源是激光器、光电阴极、电子枪或者其任何组合。在一些实施方式中，所述传感器阵列是一维传感器阵列、二维传感器阵列、在芯片上存储多个数据集的传感器阵列或者其任何组合。在一些实施方式中，所述传感器阵列是二维传感器阵列，其包括电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、CMOS框架相机、光电二极管阵列或者其任何组合。在一些实施方式中，所述传感器阵列还包括将来自所述辐射源的信号转换为所述传感器阵列可直接检测的辐射的非线性光学材料、荧光材料、磷光材料或者微通道板。在一些实施方式中，重构所述时间片数据集的算法是：优化算法；迭代贪婪恢复算法；字典学习算法；随机贝叶斯算法；变分贝叶斯算法；或者其任何组合，所述优化算法经由l1范数、非零系数的总数目、总变差或者测试过程先验来惩罚欠定线性方程组的非稀疏解。在一些实施方式中，从针对每个数据采集周期捕获的所述一个或多个测量数据集重构至少或至少约10个时间片数据集。在一些实施方式中，所述二维传感器阵列以至少或至少约100帧每秒的有效数据采集和读出速率进行操作。在一些实施方式中，所述时间片数据集包括重构的视频图像数据帧。在一些实施方式中，所述辐射包括电子，并且所述传感器阵列是电荷耦合器件(CCD)传感器、图像增强电荷耦合器件(ICCD)传感器、电子能量损失光谱仪(EELS)中的检测器或者其任何组合。在一些实施方式中，所述辐射包括电子，并且所述传感器阵列由能量色散x射线光谱仪(EDX)中的检测器替换。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜图像数据帧。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜衍射图案数据帧。在一些实施方式中，所述时间片数据集包括重构的透射电子显微镜电子能量损失谱数据帧。在一些实施方式中，所述时间片数据集包括重构的扫描电子显微镜图像数据或者透射电子显微镜能量色散x射线谱数据的帧。在一些实施方式中，在所述时间片数据集的计算期间调整要被重构的时间片数据集的数目。在一些实施方式中，在捕获所述测量数据集之前，通过计算测量矩阵系数的范围来优化要被重构的时间片数据集的数目，所述测量矩阵系数中的每一个具有不同的时间片数目。在一些实施方式中，所述辐射聚焦于窄束上，并且所述机构快速调制所述束相对于所述样本或者所述场景的位置。在一些实施方式中，所述系数的系列描述：在所述数据采集周期内朝向所述样本或者所述场景引导的来自所述源的所述辐射的强度的已知空间依赖性和时间依赖性，或者来自所述源的所述辐射的强度的已知空间依赖性，以及用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性。
援引并入
本说明书中提及的所有出版物、专利和专利申请通过全部引用并入本文，其程度如同具体和单独地指示通过全部引用而并入每个单独的出版物、专利或专利申请。在本文中的术语与援引并入中的术语之间有冲突的情况下，以本文中的术语为准。
附图说明
以下描述和示例具体地说明了本发明的实施方式。应当理解，本发明不限于本文描述的特定实施方式，并且因此可以改变。本领域技术人员将认识到，存在本发明的多种变体和修改，其被包括在本发明的范围内。
利用所附权利要求中的特殊性来阐述本发明的新颖特征。通过参考以下具体实施方式和附图将获得对本发明的特征和优点的更好理解，以下具体实施方式阐述了其中使用了本发明的原理的说明性实施方式，在附图中：
图1图示了来自(桑迪亚国家实验室(Sandia National Laboratory)的K.Hattar等人)原位拉伸裂纹扩展实验的10个TEM图像数据帧。
图2图示了使用快速切换系统向大型相机的四个不同区域发送并且数字地分割为四个图像帧(即，由大型相机传感器捕获的2x 2图像阵列)以用于分析的十个时间片数据集的不同组合。在这种情况下，掩模矩阵，也称为测量矩阵，是4x 10的实数阵列，其指定将四个测量帧中的每一个表达为来自十个不同时间片的图像数据的线性组合的系数。
图3图示了使用图2中图示的十个时间片数据集的不同组合和快速切换系统在单个相机数据采集周期期间捕获的四个分割的图像帧。在单个相机数据采集周期期间同时捕获四个分割的图像帧。
图4图示了从图3中图示的四个分割的图像重构的十个时间片图像(数据集)。图1与图4之间的一致性图示了图1中的数据是可压缩的，仅需要四个测量图像来重构表示每个时间片中的样本的状态的全部十个不同图像。
图5描绘了TEM的基本组件和功能的一般简化示意图。
图6图示了修改的TEM的一个非限制性示例，其使用高速偏转器系统来实现本文公开的压缩感测方法。
图7图示了频闪、时间分辨TEM的一个非限制性示例，其使用任意波形激光(例如，具有亚皮秒级调制和亚纳秒级脉冲持续时间，或者具有亚纳秒级调制和微秒级脉冲持续时间)以调制来自光电子源的电流。
图8图示了用于实现本文公开的时间压缩感测方法的光学系统(简化示意图)的一个非限制性示例。
图9图示了可以用于实现本公开内容的时间压缩感测数据采集和分析方法的计算机系统的一个示例。
具体实施方式
压缩感测的概述：压缩感测(也称为经压缩感测、压缩采样或者稀疏采样)是用于有效地采集和重构信号的信号采集和处理技术组。如本文使用的，术语“信号”及其语法等效物包括但不限于强度、频率或者相位数据(在其属于电场、电磁场或者磁场时)以及光学或者非光学图像数据、频谱数据、衍射数据等。在压缩感测中，通过根据所定义的采样功能(或者测试功能)集合来进行有限数目的信号测量，并且随后找到将未知“真”信号与测量值的集合相关的所产生的线性方程组的数学解，来执行信号的重构。重构由此提供了“真”信号的估计，其精确度取决于若干因素，若干因素包括但不限于信号本身的性质、用于对信号进行采样的测试功能的选择、信号中噪声的量以及被选择用于求解线性方程式组的数学算法。因为信号是欠采样的，所以线性方程组是欠定的(即，具有比方程式更多的未知数)。一般，欠定的方程组具有无限数目的解。压缩感测方法基于这样的原理，即可以利用信号的性质的先验知识或者与其有关的合理假设而从比通过传统奈奎斯特-香农采样所需要的少得多的采样测量来将其恢复。为了压缩感测的信号的精确重构，必须满足两个条件：(i)信号在一些域中必须是“稀疏”的(即，信号可以在一些N维坐标系中被表示为基础向量的线性组合，其中针对基础向量中的每一个的仅小数目K个系数是非零的(K<<N))，以及(ii)信号和采样测量功能必须是不相干的(即，测量功能(向量)集合跨在针对其中信号是系数的域的N个基础向量集合上而随机分布)。
许多真实世界信号(例如，摄影图像和视频数据)展现出满足适当选择的域中的稀疏性和不相干性条件的基底结构和冗余度。用于产生运动图像专家组(mpeg)和联合图像专家组(jpeg)文件的数据压缩和解压缩算法基本上利用与在压缩感测中使用的相同的概念，以减少所需的数据存储的量或者以促进数据传输。然而，这些信号处理算法应用于后信号采集。在信号采集阶段应用压缩感测，以改进数据捕获的效率并且减少数据存储和传输要求。
在压缩感测中，通过使用已知测试功能集合执行的一系列采样测量的采集来生成线性方程组，其中采样测量的总数目M与奈奎斯特-香农采样理论所需要的数目相比较小，但是其中采样的数据仍然基本上包含原始信号中包含的所有有用信息。该线性方程组经常被表达为：
y(m)＝Φx(n)＝ΦΨα (1)
其中y(m),m＝1,2,...,M表示采样测量，x(n),n＝1,2,.....,N表示未知信号的值，Φ是表示已知加权因子(测试功能)的M x N矩阵，其被用于采集采样测量(后者包括针对所选择的基础向量集合的信号系数与加权因子的乘积的线性组合)，并且Ψ和α分别表示N维坐标系的基础向量和相对应的系数，在该N维坐标系中，信号x(n)可以被表示为
Figure BDA0001737365500000091
求解针对x(n)的未知值的方程(1)由此对应于求解欠定线性方程组。如上文所指示的，欠定线性方程组具有无限数目的解，然而，施加稀疏性和不相干性的约束将可能的解限制于具有小(或者最小)数目的非零系数的那些解，并且使得能够以高精确度程度重构原始信号。存在多种数学方法来解决该问题，包括但不限于：l1范数的优化、贪婪算法、随机贝叶斯算法、变分贝叶斯算法和字典学习算法。
视频压缩感测：压缩感测文献包括范围从光学成像到磁共振成像到光谱学以及其他的应用领域。时间压缩感测方法——即，其中使用在时域中对信号进行欠采样的数据集来重构信号——已经主要地但不是排他地应用于视频压缩。通常，这些方法使用在比针对单个视频帧的采集时间短得多的时间尺度上物理地移动(通常利用压电系统)的一些形式的抖动的、随机编码的孔径，从而对采样测量进行空间编码。由此，实际上，针对所采集的视频帧中的每个像素的数据表示在不同时间点采样的光强度的不同线性组合。如果用于相机的帧速率或者数据采集时间已经较快，则数学重构用于计算将在参考时间点中的每一个处观察的视频图像。在有利的情况下，在压缩感测文献中描述的标准算法的变体可以用于重构几十个或者甚至几百个来自单个此类数据采集周期的重构的视频数据重构帧。已经针对光学摄像机展示了这种类型的压缩感测系统，并且研究人员正在试图将相同的方法应用于透射电子显微镜(TEM)中的压缩感测。
如应用于电子显微镜的视频压缩感测：关于产生所需的编码孔径、将其插入在电子束路径中的适当地方、防止其积累污染物或者在暴露于电子束时受到损害以及以所需的速度、精度和可重复性在真空系统内移动它的困难据报道是可观的(对于方法的计算和数学方面的描述，参见最近发表的论文，Stevens等人，(2015),“Applying CompressiveSensing to TEM Video:a Substantial Frame Rate Increase on any Camera”,Advanced Structural and Chemical Imaging 1:10)。实现TEM中的编码孔径视频压缩感测的实际限制已经是并且将持续是可观的。实现编码孔径视频压缩所需要的系统修改可能是既昂贵又具有高度侵略性的，并且可能需要频繁的(并且可能是困难的)维护和重新校准步骤。该方法的适用性由此将可能受到已发布的计算研究中未考虑的物理考虑因素(充电、污染、有限的分辨率等)的限制。
美国专利号8,933,401描述了一种在电子显微镜系统中的压缩感测的备选实现(包括TEM或者扫描电子显微镜(SEM))，其中在样本处产生电子照明强度的空间图案(或者“掩模”)，并且显微镜使用包括N个空间像素的二维传感器阵列从在由掩模限定的空间位置处的测量的叠加来捕获信息(包括但不限于图像强度数据、衍射图案、电子能量损失谱(EELS)或者能量色散X射线谱(EDX))。该方法不是使用编码孔径来控制电子照明强度的空间变化，而是使用电子束扫描系统，该电子束扫描系统被配置来在基本上整个样本上生成多个电子束，每次扫描在扫描的过程中改变电子照明强度。使用数目M个此类空间电子照明强度掩模(其中M<N)捕获的采样测量集合用于重构图像(或者衍射图案、EELS或者EDX等)——如果测量包括在数据采集周期的全部持续时间内在整个N个空间像素的阵列上收集数据，则本来将已经产生了所述图像。如上所述，多个数学重构技术中的任何技术可以用于求解由采样测量集合引起的欠定线性方程组，以产生原始、全分辨率图像的精确重构。在有利的情况下，可以期望这样的系统采集与传统TEM或者SEM系统基本上相同的信息，但是具有可能快得多的数据采集时间和小得多的数据存储和处理需求。方法主要旨在用于在TEM中执行的空间分辨衍射和光谱测量中使用，但是潜在的应用空间远大于此。
时域编码时间压缩感测：本文公开了对上文描述的时间压缩感测方法(即，其中与空间域相对地在时域中对测试功能进行编码的时间压缩感测)的一种备选方法，除了光学视频和电子显微镜之外，其可能可应用于各种各样的信号采集和处理领域。另外，公开了方法的若干不同的硬件实现，其支持在非常不同的时域(例如，范围从微秒级到皮秒级时间分辨率)中的操作。
为了描述新的方法并且将其与先前的工作进行区分，我们通过更加详细地描述编码孔径视频压缩感测的现有方法(即，空间编码的视频压缩感测)开始。一般而言，编码孔径视频压缩感测通过将视频数据的多个可重构帧空间编码为单个采集视频帧来工作。我们将使用针对操作参数的典型值来描述示例，可以理解操作参数的实际范围在实践中可能是相当大的。采集的视频帧例如可以是由在以100Hz的连续采集模式中操作的电荷耦合器件(CCD)相机采集的单个帧，以使得每个帧表示略低于10毫秒的采集时间(在考虑到数据读出开销之后)。在全文中，我们将作为诸如相机的传统采集系统的曝光时间的这个10毫秒跨度称为“时间块”。由此，利用标准视频采集系统，每时间块采集一个并且仅一个帧。
现在考虑编码孔径视频压缩系统如何工作。假设CCD相机具有1024x1024像素阵列。在10ms时间块内的任何给定瞬间，编码孔径阻止或者衰减到达CCD像素的一些部分的信号。该编码孔径能够在已知轨迹中非常快速地被物理移动，使得在10ms曝光时间期间其可以被移动到100或者更加显著不同的位置。从概念上讲，我们可以将10ms曝光时间分解为100个不同的“时间片”，其中每个是0.1ms长。目的是确定什么图像在那些100个时间片中的每一个中击中了全部1024x1024集合，或者换言之，目的是从单个1024x1024像素采集来计算100个重构帧。这可能由于两个原因。首先，每个像素记录来自100个时间片的某些已知线性组合的总强度，并且控制该线性组合的系数对于不同像素是不同的。因此，每个像素表示来自时间片的不同子集(或者，更一般地，加权平均)的信息，并且这意味着所采集的图像中存在在一些方面将100个时间片彼此区分开的信息。其次，真实世界视频数据一般具有高度的信息冗余度，使得用于描述例如1024像素x 1024像素x 100帧的视频所需要的独立数据点的实际数目远小可以从空时体素的简单计数预期的～108值。取决于视频中的运动的速度和复杂度的程度以及对于给定应用而言可接受的失真量，10:1或者100:1或者甚至更大的数据压缩比可以是可能的。存在实现100:1或者更大的压缩比的编码孔径光学视频压缩感测的多个公布示例，其具有适度但可接受的失真水平。该失真被认为是为将便宜相机的帧速率(即，数据采集和读出速率)有效地乘以因数100或者更多(即，相机的有效数据采集和读出速率，以及由此的时间分辨率，超过由其硬件限制所确定的那些)而付出的小代价。
该示例图示了从1024x1024像素的单个10ms采集的视频帧来重构0.1ms持续时间的100个“时间片”视频帧，其中每个具有1024x1024个像素。所采集的帧中的每个像素表示来自100个不同时间片中的相同空间位置的信息(如由在采集期间使用的空间掩模系列而确定的)的不同线性组合，并且我们每10ms时间块采集一个帧。按照数学术语，这可以表达为：
Mij＝∑kcijkVijk+噪声, (2)
其中Mij是测量的视频帧(包括完整的像素数据集合，使得指数i和j分别表示图像中的行和列)，Vijk是要被重构的视频帧(即，N个时间片帧的集合)，并且cijk是描述将通常到达每个像素的照明在给定时间点被阻挡和/或衰减的方式的系数集合。噪声术语虽然对于压缩感测的理论和应用是重要的，但是其具有很好理解的含义，并且出于本讨论的目的不需要考虑。在一些实现中，空间掩模图案是二进制的，使得每个cij值是0或1，但是这不是必要约束。在我们的示例中，k的范围从1到100，并且i和j每一个的范围从1到1024。使用例如一些特定数学表示中的稀疏度来约束欠定线性方程组，数学重构的目的继而是在Mij和cijk已知时产生Vijk的估计。(广泛的)压缩感测文献(例如，参见Duarte等人(2008)“Single-Pixel Imaging via Compressive Sampling”,IEEE Signal Processing Magazine,2008年3月，83-91页；Stevens等人,(2015),“Applying Compressive Sensing to TEM Video:aSubstantial Frame Rate Increase on any Camera”,Adv.Structural and ChemicalImaging 1:10)很好地覆盖了用于确定此类数学表示的方法和用于执行重构的算法。针对相机返回的每个图像Mij重复该过程，其中每个时间块记录一个Mij。重构算法可以一次在单个Mij上操作，或者可以同时在多个Mij上操作以便利用从100个重构帧的一个集合到下一集合的连续性。需要注意，在本讨论全文中，指数i和j的实际物理解释将取决于测量系统及其操作模式。一般地，它们表示相机的行和列，而不管相机如何被使用。在一些情况下，相机将是线性阵列而非二维阵列，并且在所有此类情况下，指数的ij对应当被认为是由单个指数i来替换。在真实空间成像的情况下，i和j指数将与样本的平面或者被研究的场景中的笛卡尔坐标线性相关。在衍射图案的情况下，i和j指数将通常线性近似地表示由被研究的样本在探测器粒子中诱导的二维散射角。在光谱学的情况下，这两个指数中的一个将表示光谱坐标(诸如能量损失、波长偏移或者x射线光子能量)，并且取决于光谱系统的物理操作原理，另一指数(如果存在的话)可以具有或者不具有简单物理解释。例如，在电子能量损失光谱学中，该另一指数通常表示样本平面中的空间坐标中的一个、散射角的分量中的一个或者这些的线性组合。
本文公开的时域编码时间视频压缩感测的方法(其可以可应用于不仅仅止于视频压缩感测，因为其可以应用于其他数据类型，例如随着时间的函数而快速变化的光谱结果)与上文描述的空间编码方法在数学上不同。我们建议每个采集时间块捕获多个全分辨率图像(或者更一般地，数据集)，其中每个是来自不同时间片的图像的不同线性组合，而不是捕获具有针对每个图像像素(或者光学信道，针对光谱信息)随时间变化的不同空间相关系数的单个图像。在数学上，这被表示为：
Mijl＝∑kclkVijk+噪声, (3)
其中我们已经添加了附加指数l以区分在相同的数据采集周期(即，相同的时间块)期间采集的不同图像(或者测量数据集)。需要注意，系数clk现在独立于空间像素(i,j)。该系数集合clk充当测量矩阵或者掩模矩阵Φ，如针对图2中的示例所图示的。
在一个实现中，公式(3)可以解释为断言我们具有多个相机(例如，每个具有1024x1024像素)以及用于将时间片图像的不同线性组合投影到每个此类相机上的系统，以使得其有效地增加相机速度。系统应当足够快，以在每个重构时间片多次切换状态，以使得每个时间片的不同线性组合可以被发送至每个相机。这些无需是物理上不同的相机。他们例如可以是4096x 4096像素相机上的16个不同区域，例如，具有充当切换系统的快速切换镜阵列(用于光学系统)或者高速偏转器系统(用于电子光学系统)。如果切换系统相当快，则在与操作者相关的时间尺度上，瞬变(例如，静电偏转器的稳定时间期间的模糊)可以是可忽略的。在其他情况下，将系统与第二高速切换系统(例如，电子显微镜中的束熄灭器)耦合将是有益的，该第二高速切换系统防止信号在该瞬变时间期间到达检测器。切换也可以利用可变分束系统阵列来完成，该可变分束系统阵列每个可以例如使用电光调制器向两个不同路径中的每一个发送一些信号部分。在另一实现中，多个“相机”可以是用于存储大型和复杂的互补金属氧化物半导体(CMOS)检测器阵列中的强度信息的多个局部电容箱集合，其具有用于决定在任何给定时间点处哪个箱集合将被填充的高速时钟/复用器系统。在所有这些情况下，“快速”和“高速”是相对于时间片的持续时间，使得系统必须能够每时间片多次切换状态。或者，如果由视频Vijk表示的事件序列是精确可再现的，则每个l指数可以例如通过将电子束电流快速调制为每次采集期间电子显微镜中的时间的函数来表示该事件序列的单独运行，其中，针对每个而言具有不同的时间掩模图案clk。所有这些可能的物理实施方式表示公式(3)中表示的相同数学模型的不同实现。需要注意，在所公开的时间压缩感测方法的许多实施方式中，可以通过照明系统的设计(以支持快速变化的照明强度)或者通过检测系统的设计(使用多个传感器或者如上所述的快速切换系统)来实现时间切换，同时仍然实现数学模型所描述的相同概念。
如本公开内容全文中使用的，术语“快速”、“快速地”、“快”和“高速”用于特征化所指定的过程步骤相对于数据采集周期(例如，针对图像传感器的曝光时间)的持续时间的时间尺度。例如，“快速”切换过程可以是这样的一种，其中系统能够在单个数据采集周期(例如，用于利用图像传感器捕获图像的曝光间隔或者数据采集周期)的过程期间在不同的系统状态(例如，与不同的照明强度相对应的状态)之间切换至少2次、至少4次、至少6次、至少8次、至少10次、至少25次、至少50次、至少75次、至少100次或者更多次。
在许多实施方式中，时间片的数目不是由物理测量系统本身指示的，并且可以在数据的计算分析期间的事实之后进行调整，以允许有效的帧速率与数据适配。数据流的压缩性和信噪比可能不是预先知道的，并且可以实际上针对单个采集系列而随时间变化。执行重构的计算机软件将准确地知道哪个(哪些)检测器或者检测器区域在每次采集期间的每个单个时间点接收信号，并且因此，计算机可以计算测量矩阵的范围，每一个具有不同的时间片数目。在非自适应系统中，这些计算可以在采集任何测量之前执行，由此节省了采集期间的计算时间。基于多个容易获得的数学度量(例如，贝叶斯模型中计算的重构不确定度)中的任何一个，软件可以按照这样的方式来选择针对每次采集的时间片的数目，即，产生指定水平的重构保真度，同时仍然提供可能的最高有效时间分辨率。在极其低的数据流可压缩性的限制下，这样的系统有时可以使用与检测器(或者检测器区域)的数目相等的时间片的数目。如果定义了采集序列，则使得在这种情况下产生的正方测量矩阵具有足够的良好条件将总是可能的，以允许不再欠定的线性方程集合的数字稳定计算。在基于空间调制的压缩感测的情况下，这样的自适应重构技术不一定可能，或者不一定有效或者实际或者易于计算，其需要在重构产生甚至可识别图像之前要执行大量计算，并且在极度差的信噪比和过度压缩的情况下，可能完全不会产生可识别图像。
计算机仿真(例如，参见示例1)展示了基于公式(3)的时域编码时间压缩感测系统可以提供时间片的数目显著超过测量的数目(即，指数l的不同值的数目)的视频数据的重构，其使用与技术文献(例如，l1范数正则化、全变差(TV)正则化和字典学习(贝叶斯或其他))中描述的那些相类似的算法。这些结果建立了概念的数学有效性，并且将其放置在利用压缩感测算法的持续进步的位置上。
时间复用压缩感测：作为特例将称为时间复用压缩感测(TMCS)的更一般的模型可以被构造为包括公式(2)和(3)：
Mijl＝∑kcijklVijk+噪声, (4)
其可以按照两种不同的方式来解释。我们可以将其描述为由公式(2)描述的类型的多个同时(或者有效地同时，如果我们具有可以在单个时间片内多次改变状态的切换系统)测量，或者描述为由公式(3)描述的类型的测量，但是具有通过允许cijkl系数作为位置以及时间的函数而变化从而提供的附加灵活性。在多电容箱CMOS概念中或者在基于使用微镜阵列的系统中实现这一点可以是相当可行的。美国专利申请2015/0153227A1中描述的概念在指数l仅具有两个不同值的限制情况下实现了公式(3)，因为其描述了并行操作的两个编码孔径视频系统，由此可能克服了当测量数据限于单个编码孔径时的视频重构的一些数学困难。这与本公开内容的概念完全不同。美国2015/0153227 A1中的概念仍然使用其他编码孔径视频系统的基本模态来实现视频压缩，并且其仅使用冗余度测量来改进重构的数学性质。US20150153227 A1没有认识到，当同时采集的数据集(例如，全分辨率图像)的数目超过2时，时间压缩的完全不同模态变得可行，如本公开内容中所描述的。本公开内容的方法和系统可以在公式(3)描述的模式中操作，但是在许多实施方式中，它们不必限于该模式，例如，它们可以在由更加一般的公式(4)描述的模式中操作。美国2015/0153227 A1的方法和系统无法有效地在由公式(3)描述的模式中操作，因为其将限于非常小数目M＝2的测量，并且如果全部针对这样小数目的测量，基于稀疏度的重构方法执行得很差。另外，美国2015/0153227 A1中公开的压缩感测方案类似于所有编码孔径视频压缩方案，需要大量计算资源来产生可接受质量的重构视频。这是因为所采用的压缩方案取决于时空调制的复杂方案，并且编码孔径方案在单个时间块期间仅直接捕获一个(在多数情况下)或者两个(在美国2015/0153227 A1的情况下)实际的真实空间图像。相反，本发明的方案在每个时间块中捕获多个全分辨率数据集(例如，图像)，并且甚至基本伪逆计算(其需要一秒的可忽略部分)足以提供清楚地类似于最终结果的第一近似重构，该最终结果好到足以让人类用户实时评估采集的质量。最后，在许多实施方式中，目前公开的方法和系统可以将几乎所有光子(在光学系统中)或者电子(在电子显微镜中)引导至各种检测器或者检测器区域，而没有显著浪费。通过对比，编码孔径方案由于其本身的性质而阻挡了信号的显著部分(通常～50％)。
可以进一步将该概念一般化为模型：
Mijl＝∑i′,j′,kciji′j′klVi′j′k+噪声, (5)
其中意图是指数i具有与指数i'相同的范围，并且指数j具有与指数j'相同的范围。该公式指示测量Mijl包括与要被重构的图像相同大小和形状的图像的多个测量，但是系数现在可以将来自图像的不同部分的信息进行混合，例如，以便实现诸如卷积滤波器之类的事物(以使得压缩感测重构过程还执行去模糊增强或者边缘增强或者一些其他特征增强，例如，基于学习的或者优化的字典)或者复杂的编码方案，其利用视频中的时空相关的通常图案来最小化来自被测量的系统的信息的提取中的冗余度。
最后，我们可以移除公式(5)中的指数i和j的约束，并且产生模型，在该模型中，测量仅是作用于视频(或者传感器)数据上的一般线性运算符加上噪声项。如果我们进一步消除“时间块”的概念以使得(例如)系统在没有明确定义的时间片的非重叠块的滚动采集模式下操作，并且如果我们允许时间片本身在持续时间中变化并且甚至部分重叠，则模型实际上变得相当通用。
随着基本模型的每次一般化，有可能改进压缩感测重构系统的性能，包括添加新的能力，诸如去模糊。对模型进行一般化必然无法使性能变差，因为通过一般化本身的性质，每个具体模型是更一般的模型的严格子集。该一般化是以复杂度(在所需要的物理采集系统和所使用的重构算法二者中)以及可能的重构所需要的计算资源为代价的。可以通过数值仿真来评估实现由公式(4)和(5)描述的一般化概念模型的真实世界值和适用性。从数值仿真已经知道的是，公式(2)和(3)每个可以形成有效的时域编码压缩感测系统的基础，该时域编码压缩感测系统可以用于重构比直接测量显著更多的视频数据帧(或者，更一般地，时间相关数据集)。具有与使用例如基于单像素相机的空间复用相机(SMC)的视频压缩感测有关的公布作品(例如，参见Duarte等人，“Single-Pixel Imaging Via CompressiveSampling”，IEEE Signal Processing Magazine,2008年3月，83-92页)，但是该方法在数学上与本文公开的TMCS方法不同，本文公开的TMCS方法每时间块捕获多个图像而不需要空间信息的复杂编码或者重构。
本文公开的压缩感测系统概念是从单个数据采集时间块采集不止一个而是多个图像(或者数据集)的系统，每个图像或者数据集表示那个时间块内的时间片的不同线性组合。这多个图像或者数据集包括使用这样的系统采集的强度数据，该系统向多个检测器(例如，具有使用电光调制器实现的快速切换的光学分束器阵列)同时发送信号，或者该系统使用每时间片可以切换多次的切换系统(例如，电子显微镜的偏转板的集合)选择哪个检测器在任何给定瞬间接收信号。
时间复用压缩感测的优点：如上所讨论的，除了克服特定于电子显微镜应用的编码孔径视频压缩感测的缺点之外，TMCS可以克服与光学编码孔径压缩感测相关联的模糊伪像。编码孔径压缩感测可产生与孔径的运动方向对齐的显而易见的模糊伪像。虽然这些伪像有时可忽略，但是存在其中伪像相当明显的情况(例如，在其中存在许多物体以与每时间片一个像素相当或者更大的速度运动的复杂场景的视频中)。因为TMCS方法本质上不涉及图像空间中的空间信息或者任何优选方向的任何“扰乱”，所以该特定重构失真源在TMCS中不存在。
另外，即使在应用任何重构之前，TMCS也直接产生可解释图像。另外，与编码孔径系统不同，TMCS系统可以通过在与压缩感测模式不同的直接采集模式下操作而在直接产生高时间分辨率视频的模式下操作。例如，如果我们具有每时间块捕获16个图像的系统，其具有任意(多达切换系统的物理限制)系数矩阵clk(如公式(3)中所描述的)，如果我们希望的话，我们可以指定16个图像中的一些或者全部不混合来自广泛分开的时间点的信息，而是收集连续的小数目(可能仅一个)时间片的数据。在这种情况下，针对16个图像中每一个的曝光时间可以非常短，其由切换系统的速度来限制——只要可用照明强度足够高以在这样的短时间内产生足够信噪比的图像。由此，TMCS系统可以操作为使得测量图像中的一些或者甚至全部表示具有非常低(甚至比典型压缩感测模式中使用的时间片短得多)的曝光时间的快照。该操作模式的代价，如果达到其极限，是曝光的占空比可能非常低，使得从一些(可能是多数)时间片中得到很少信息或者得不到信息。针对一些应用(例如，其中触发事件序列并且由此将在某些精确已知的时间跨度处出现的试验)，这可以提供通过其他方法难以获得的非常高的时间分辨率，由此进入与电影模式动态透射电子显微镜(先前在美国专利号9,165,743中描述的)重叠的应用空间。
与编码孔径视频压缩感测(公式(2))相反，TMCS的控制公式(公式(3))的较简单数学形式可以具有在重构所需的计算资源方面的优点。因为在TMCS中直接表示空间信息，所以可以通过多个简单算法中的任何算法(例如，将每个采集的图像放置在时间片跨度中，其中其系数大于任何其他采集图像的系数)来非常快速地产生粗糙草图重构，并且迭代算法可以递增地改进在线(即，在正在进行的采集期间)和离线(即，在随后，可能利用较大的计算机)二者的估计。许多其他压缩感测系统提供无法直接解释的压缩数据流，并且在可识别结果出现之前必须经过大量处理，并且这会是针对实际实现的显著问题，因为用户有时无法看到数据是否可用直到试验结束很长时间之后。
如果切换时间开销小(即，仅小部分时间花费在从一个输出通道集合切换到另一个)，则TMCS的有效占空比(即，系统采集的总可用信号的部分)可以非常接近于1。通常，编码孔径压缩感测具有近似二分之一的占空比，因为粗略有一半的像素在任何给定的时间瞬间被阻挡。这意味着TMCS可以可能通过接近2的因数而更好地利用可用信号。
应用：可以在多种成像和光谱学应用中采用本文公开的时域编码时间压缩感测方法，包括但不限于光学视频成像、时间分辨光谱学和透射电子显微镜(例如，用于图像数据的捕获、衍射图案数据、电子能量损失谱、能量色散X射线谱等)。另外，本文公开的时间压缩感测方法可以用于捕获通过辐射与样本或者场景的相互作用而产生的信号(即，图像、谱、衍射图案等)，使得辐射被样本或者场景透射、反射、弹性散射或者非弹性散射，从而形成使用一维或二维传感器阵列检测到的经透射、反射、弹性散射或者非弹性散射的辐射。取决于应用，辐射可以是电磁辐射、粒子辐射或者其任何组合。适合的辐射源包括但不限于电磁辐射源、电子枪、离子源、粒子加速器等等，或者其任何组合。
本文公开的时域编码时间压缩感测方法可以直接应用于对事件和物理过程的演变的及时研究。然而，其应用范围远超于此，因为存在其中另一感兴趣的坐标可以通过系统工作的方式实际上被映射到时间轴的多种应用。一个这样的示例是断层扫描，其中被研究的样本被旋转，并且在旋转角度的范围上采集一系列测量。转动样本意味着改变的样本定向作为时间的函数，即，定向与时间之间的映射(不必是一对一的)。在使得捕获断层扫描数据的能力受到相机的测量速率的限制的情况下，时间压缩可以在增加样本旋转的速率时基本上加速数据采集，以利用相机的增加的有效帧速率。类似地，扫描透射电子显微镜(STEM)通过跨样本的区域扫描聚焦电子束(即，其中电子束直径相对于要被分析或者成像的截面面积较窄)并且在每个扫描位置捕获数据集(其是高纬度环形暗场(HAADF)信号、电子能量损失谱(EELS)、能量色散x射线谱(EDX)、亮场信号、衍射图案或者这些的组合)来操作。如果系统限制在于相机速度(因为其通常是在例如STEM-衍射中)，则仅在断层扫描示例中，扫描的行为创建了位置与时间之间的数学映射，继而时间压缩可能极大地改进数据吞吐量。该实施方式将具有与美国专利号9,165,743中公开的方法和系统类似的能力，但是其以完全不同的原理操作。具体地，目前公开的方法主要通过时间调制(在这种情况下，作为时间的函数，通过改变聚焦电子探测器的样本上的位置)来实现压缩感测，并且，虽然它们采用空间调制，但是它们不必取决于空间调制。所提出的以及实际实现的电子显微镜中的压缩感测的所有先前应用必定依赖于空间调制或者简单的欠采样以及图像修补来实现压缩，并且没有描述本公开内容中描述的时间压缩的机制。如上文讨论的断层扫描和扫描透射电子显微镜(STEM)示例中所说明的，在所公开的时间压缩感测方法和系统的一些实施方式中，可以通过以时间方式调制除了辐射强度本身之外的实验参数来生成针对时间片系列由样本(或者场景)透射、反射、弹性散射或者非弹性散射的辐射的图案的不同线性组合。例如，在一些实施方式中，可以从包括以下的组中选择要被时间调制的实验参数：样本的旋转定向、电子探测器在一维中的线性平移和/或倾斜、电子探测器在二维中的线性平移和/或倾斜、样本在一维中的线性平移、样本在二维中的线性平移、以及样本在三维中的线性平移或者其任何组合。在一些实施方式中，入射在样本(或者场景)上的辐射聚焦于窄束(即，具有相对于要被成像或者分析的样本或者场景的截面面积而言较小的束直径)，并且要被时间调制的实验参数是束相对于样本的位置(反之亦然)。
光学成像&光谱系统：可以使用多种可商购的光学系统组件针对多种应用来开发基于所公开的时域编码时间压缩感测的光学成像和光谱系统，光学系统组件例如光源、光学调制器和传感器，以及其他有源或无源组件，诸如透镜、镜、棱镜、分束器、光学放大器、光纤、光学滤波器、单色仪等。光学成像应用的示例包括但不限于视频成像、可见光成像、红外成像、紫外成像、荧光成像、拉曼成像等。光谱学应用的示例包括但不限于吸光度测量、透射率测量、反射率测量、荧光测量、拉曼散射测量等。
用于在本公开内容的时间压缩感测系统中使用的光源包括但不限于白炽光、钨卤素光、发光二极管(LED)、弧光灯、二极管激光器以及激光器，或者任何其他电磁辐射源，包括紫外(UV)、可见和红外(IR)辐射。在一些应用中，从太阳辐射引起(即，由太阳产生)的自然光可以用于照明采集时间压缩数据的样本或者场景。
可以通过多种方法中的任何方法来实现光学信号的高速切换，包括但不限于光学调制器(例如，电光调制器或者声光调制器)或者数字微镜阵列设备的使用。在所公开的压缩感测方法和系统的一些实施方式中，所实现的切换时间的范围可以从小于1纳秒到约10毫秒。在一些实施方式中，切换时间可以是至少或至少约1纳秒、至少或至少约10纳秒、至少或至少约100纳秒、至少或至少约1微秒、至少或至少约10微秒、至少或至少约100微秒、至少或至少约1毫秒、或者至少或至少约10毫秒。在一些实施方式中，所实现的切换时间可以是至多或至多约10毫秒、至多或至多约1毫秒、至多或至多约100微秒、至多或至多约10微秒、至多或至多约1微秒、至多或至多约100纳秒、至多或至多约10纳秒或者至多或至多约1纳秒。本领域技术人员将认识到，可实现的切换时间可以是该范围内的任何值，例如，约500纳秒。
用于在本公开内容的时间压缩感测方法中使用的适合的传感器、传感器阵列或者检测器的示例包括但不限于光电二极管、雪崩光电二极管、光电二极管阵列、光电倍增器、光电倍增器阵列、电荷耦合器件(CCD)、图像增强CCD以及互补金属氧化物半导体(CMOS)传感器、CMOS框架相机(例如，可以通过在每个像素处使用多个电容箱而在芯片上存储多个图像或者数据集的CMOS相机，以及确定哪个箱集合在任何给定时间累积信号的电子切换系统)，或者其任何组合。在一些实施方式中，用于在本公开内容的时间压缩感测方法中使用的传感器、传感器阵列或者检测器还可以包括非线性光学材料、荧光材料、磷光材料或者微通道板，其将辐射源提供的辐射转换或者放大为由传感器、传感器阵列或者检测器可直接检测的辐射形式。出于本公开内容的目的，术语“传感器阵列”及其语法等效物有意要包括“点”阵列(例如，单个像素传感器)以及一维(线性)阵列、二维阵列等等。另外，术语“检测器”及其语法等效物有意要包括如上所述的个体传感器和传感器阵列，以及光学组件和传感器的组合，例如，包括与光电二极管阵列或者CCD相机光学耦合的单色仪的光谱仪。适合的线性或者二维传感器阵列可以包括多种多样的个体像素。
适于在所公开的时间压缩感测系统中使用的传感器阵列可以包括从或者从约2至100x 106个像素，或者更多。在一些实施方式中，用于在所公开的时间压缩感测系统中使用的传感器阵列可以包括至少或至少约2个像素、至少或至少约10个像素、至少或至少约100个像素、至少或至少约1,000个像素、至少或至少约10,000个像素、至少或至少约100,000个像素、至少或至少约1,000,000个像素、至少或至少约10x 106个像素、至少或至少约100x106个像素，或者更多。在一些实施方式中，用于在所公开的时间压缩感测系统中使用的传感器阵列可以包括至多或至多约100x 106个像素、至多或至多约10x 106个像素、至多或至多约1,000,000个像素、至多或至多约100,000个像素、至多或至多约10,000个像素、至多或至多约1,000个像素、至多或至多约100个像素、至多或至多约10个像素或者至多或至多约2个像素。本领域技术人员将认识到，传感器阵列中的像素的总数目可以包括该范围内的任何值，例如，约12x 106个像素。
与参考数值相关的术语“约”及其语法等效物可以包括从该值加上或者减去10％的值范围。例如，量“约10”可以包括从9到11的量。与参考数值相关的术语“约”还可以包括从该值加上或者减去10％、9％、8％、7％、6％、5％、4％、3％、2％或1％的值范围。
适于在所公开的时间压缩感测系统中使用的传感器阵列可以包括侧面上大小范围从或从约0.1μm至或至约20μm的像素。在一些实施方式中，用于在所公开的时间压缩感测系统中使用的传感器阵列可以包括以下大小的像素：至少或至少约0.1μm、至少或至少约0.25μm、至少或至少约0.5μm、至少或至少约0.75μm、至少或至少约1μm、至少或至少约2.5μm、至少或至少约5μm、至少或至少约7.5μm、至少或至少约10μm、至少或至少约15μm或者至少或至少约20μm，或者更大。在一些实施方式中，用于在所公开的系统中使用的传感器阵列可以包括在侧面上以下大小的像素：至多或至多约20μm、至多或至多约15μm、至多或至多约10μm、至多或至多约7.5μm、至多或至多约5μm、至多或至多约2.5μm、至多或至多约1μm、至多或至多约0.75μm、至多或至多约0.5μm、至多或至多约0.25μm或者至多或至多约0.1μm，或者更小。本领域技术人员将认识到，传感器阵列中的像素可以具有该范围内的任何值，例如，在侧面上约或至多约0.8μm。
适于在本公开内容的时间压缩感测系统中使用的传感器阵列可以按照从或从约0.001帧/秒(或更低)至或至约100,000帧/秒(或更高)的数据采集和读出速率进行操作。在一些实施方式中，适于在所公开的时间压缩感测系统中使用的传感器阵列可以按照以下的数据采集和读出速率进行操作：至少或至少约0.001帧/秒、至少或至少约0.01帧/秒、至少或至少约0.1帧/秒、至少或至少约1帧/秒、至少或至少约10帧/秒、至少或至少约100帧/秒、至少或至少约1,000帧/秒、至少或至少约10,000帧/秒、至少或至少约100,000帧/秒，或者更高。在一些实施方式中，适于在所公开的时间压缩感测系统中使用的传感器阵列可以按照以下数据采集和读出速率进行操作：至多或至多约100,000帧/秒、至多或至多约10,000帧/秒、至多或至多约1,000帧/秒、至多或至多约100帧/秒、至多或至多约10帧/秒、至多或至多约1帧/秒、至多或至多约0.1帧/秒、至多或至多约0.01帧/秒或者至多或至多约0.001帧/秒，或者更低。本领域技术人员将认识到传感器阵列可以按照具有该范围内的任何值的数据采集和读出速率进行操作，例如，约60帧/秒。
针对其中高速切换组件用于将图像或者其他数据集偏转到二维传感器阵列的若干不同区域(或者“子区域”、“子单元”等)中的一个的时间压缩感测系统，可用区域的总数目可以包括线性阵列或者二维阵列，其包括从2至400或者更多个体区域的任何地方。针对其中区域的图案被组织为方形N x N阵列的二维传感器阵列，区域的阵列可以包括2x 2阵列、3x 3阵列、4x 4阵列、5x 5阵列、6x 6阵列、7x 7阵列、8x 8阵列、9x 9阵列、10x 10阵列、11x 11阵列、12x 12阵列、13x 13阵列、14x 14阵列、15x 15阵列、16x 16阵列、17x 17阵列、18x 18阵列、19x 19阵列、20x 20阵列或者更高维度N x N阵列。在一些实施方式中，区域的图案可以被组织为矩形阵列(例如，M x N阵列)，包括：2x 3阵列、2x 4阵列、2x 5阵列、2x 6阵列、3x 2阵列、3x 4阵列、3x 5阵列、3x 6阵列、4x 2阵列、4x 3阵列、4x 5阵列、4x 6阵列、5x 2阵列、5x 3阵列、5x 4阵列、5x 6阵列、6x 2阵列、6x 3阵列、6x 4阵列、6x 5阵列或者更高阶的M x N阵列。在一些实施方式中，在丢失或者不丢失元件的情况下，区域的图案可以包括六角形阵列、平行四边形阵列、不规则阵列、随机分布阵列，或者其任何组合。每个区域可以与其他区域没有重叠，或者一些区域可以与一些区域具有部分或者全部重叠，或者一些区域可以是其他区域的子集。每个区域可以是圆形区域、椭圆形区域、方形区域、矩形区域、六边形区域、正多边形区域、不规则多边形区域、包括像素的单连通子集的任何形状的区域或者包括像素的非单连通子集的任何形状的区域。每个区域可以在大小和形状上与所有其他区域相同，或者一些区域可以在大小上与其他区域不同，或者一些区域可以在形状上与其他区域不同，或者一些区域在大小和形状上都与其他区域不同。每个区域可以在定向上与其他区域相同，或者一些区域可以具有相关于其他区域的定向旋转的定向，或者一些区域可以具有相关于其他区域的定向反射的定向，或者一些区域可以具有相关于其他区域的定向既旋转又反射的定向。每个区域可以在尺度或者放大率上与其他区域相同，或者一些区域可以相关于其他区域在一个坐标轴中的尺度或者放大率不同，或者一些区域可以相关于其他区域在两个坐标轴中的尺度或者放大率不同。在其中可以利用样本平面或者场景中的真实空间坐标来标识相机平面中的一个坐标或者两个坐标的情况下，每个区域可以记录与其他区域相同的此类真实空间坐标的区域，或者其记录的区域可以与一个或多个其他此类区域部分重叠，或者是一个或多个其他此类区域的严格子集，或者是一个或多个其他此类区域的严格超集。在其中可以利用散射角的线性近似来标识相机平面中的一个或两个坐标的情况下，每个区域可以记录与其他区域相同的散射角集合，或者其记录的区域可以与一个或多个其他此类散射角集合部分重叠，或者是一个或多个其他此类散射角集合的严格子集，或者是一个或多个其他此类散射角集合的严格超集。在其中可以利用光谱坐标(包括但不限于能量损失、波长偏移或者光子能量)来标识相机平面中的一个或两个坐标的情况下，每个区域可以记录与其他区域相同的此类光谱坐标的区域，或者其记录的区域可以与一个或多个其他此类光谱坐标区域部分重叠，或者是一个或多个其他此类光谱坐标区域的严格子集，或者是一个或多个其他此类光谱坐标区域的严格超集。
电子显微镜&光谱系统：用于实现本文公开的时间压缩感测方法的电子显微镜系统可以包括多种系统组件，包括但不限于电子束源、电子束快门(“束熄灭器”或者“束熄灭系统”)、电子聚焦光学器件、并入各种样本激励设备的样本保持器、电子偏转器系统以及图像传感器或者其他数据捕获设备。
适合的电子束源可以包括但不限于基于热电子的电子枪(电子发射器)、光电阴极、激光驱动的光电阴极、冷发射或者发射电子连续或者脉冲流的离子源发射机制。用于生成精确控制的电子脉冲系列的示例性系统基于任意波形发生器(AWG)激光系统和光电阴极的使用，如在美国专利号9,165,743中描述的。可以通过纯静电方法和/或可以使用磁场在这些系统中实现电子束聚焦。
在一些实施方式中，电子显微镜系统可以并入样本保持器和样本激励机制，例如，脉冲式样本驱动激光器，其提供高度精确、可调整和强烈的热量以用于发起被研究的样本中的动态过程。也可以采用发起样本中的过程的其他方法，例如，通过电触发样本保持器或者连接到样本保持器的外部电子设备，其可以在纳米压痕设备或者微机电系统或者纳机电系统的辅助下递送电压脉冲、电流脉冲、电驱动热脉冲或者递送至样本的冲量。
在一些实施方式中，电子显微镜系统可以并入准确定时的、高速电子偏转器系统，其包括静电偏转器系统和/或磁偏转器系统。美国专利号9,165,743中描述了示例性静电偏转器系统。本文公开的静电偏转器系统的一个实施方式包括连接到定制偏转板的四个高压开关，其插入到样本下方的投影仪透镜(例如，标准TEM中的最后一个电磁透镜)的下部中。两对正交定位的偏转板将通过电子与样本的相互作用而产生的每个图像偏转到相机的不同部分，从而克服了通常的相机的多秒刷新率。四个板中的每一个可以独立地承载范围从或从约例如-800V至+800V的电压，从而允许在二维中电子偏转的完全灵活性。相机本身通常定位在该偏转器集合下方50cm或约50cm处，以使得电子束可以被引导至相机(例如，CCD相机)的任何部分。偏转板与投影仪透镜极片之间的空间部分地填充有与偏转板集成的陶瓷安装的、对齐与电气连接系统。用于偏转器系统的其他位置，例如中间透镜系统内或者通过TEM的相机室中的端口插入，也是可能的。偏转器系统可以将从与电子束的相互作用而产生的图像(或者衍射图案等)中的每一个引导至大型相机(例如，CCD相机)上的不同区域，从而空间上分离所捕获的各种图像(或者衍射图案、光谱等)。由相机产生的图像继而包括从不同时间点捕获的图像(或者衍射图案、光谱等)的阵列(通常为2x 2、3x 3、4x 4、5x 5，或者如上文描述的更高维度或者非方形阵列)。
用于本公开内容的电子显微镜系统的适合的传感器、传感器阵列、检测器或者其他数据捕获设备的示例包括但不限于CCD相机、增强型CCD相机、CMOS图像传感器、直接检测相机(例如，并入针对每个像素的多个电容箱的CMOS框架相机，以及确定在任何给定时间哪个箱集合正在累积信号的电子切换系统)、电子能量损失光谱仪(例如，具有CCD相机的柱后成像过滤器)、能量色散x射线光谱仪(例如，放置在样本附近的硅漂移检测器)等等。在一些实施方式中，用于在本公开内容的时间压缩感测方法中使用的传感器、传感器阵列或者检测器还可以包括非线性光学材料、荧光材料、磷光材料或者微通道板，其将由辐射源(例如，光子)提供的初级辐射转换或者放大为由传感器、传感器阵列或者检测器可直接检测的辐射形式。
用于采样和重构的数学算法：使用所公开的压缩感测(采样)方法获得的“时间片”图像或者数据集的数学重构可以通过使用多种优化算法；迭代贪婪恢复算法(iterativegreedy recovery algorithm)；字典学习算法；随机贝叶斯算法；变分贝叶斯算法；或者其任何组合来实现，所述优化算法被设计为经由l1范数(l1norm)、非零系数的总数目、总变差(total variation)或者测试过程先验(beta process priors)来惩罚欠定线性方程组(underdetermined system of linear equations)的非稀疏解。这些算法在其细节和实现方面有很大不同，并且毫无疑问，文献中经常会引入新的此类算法，但是其全部落入到以下一般描述中：用于通过使用这样的先验知识或者信念来求解或者近似求解欠定线性方程组的算法，所述先验知识或者信念即为：在一些数学表示中解是稀疏的或者可压缩的，无论是已知先验的表示，还是单纯从数据中学习的表示，或者二者的组合。
“l1-优化”是指找到欠定线性方程组的最小l1-范数解，其中l1-范数是特定基础上的线性系统的解向量的“大小”(即，解向量分量的绝对值的总和)，所述特定基础例如是离散余弦变换基础、小波基础、曲波基础、小噪声基础、学习字典基础或者已被证明引起实际数据的稀疏或者近似稀疏表示的任何其他基础——以过完备或者其他方式。在压缩感测理论中已经证明，最小l1-范数解也是在相当一般的条件下的最稀疏可能解，(Candès,E.,&Romberg,J.(2005).“l1-magic:Recovery of Sparse Signals via ConvexProgramming”.URL:www.acm.caltech.edu/l1magic/downloads/l1magic.pdf,4,14；D.Donoho(2006),“For Most Large Underdetermined Systems of Linear Equationsthe Minimal l1-norm Near Solution Approximates the Sparest Solution”,Communications on Pure and Applied Mathematics 59:907-934)。更一般地，特定基础上的l1-范数可以用作将欠定线性方程组求解到指定误差项内的方案中的惩罚或者正则化项。通常，在欠定线性方程集合的精确解和近似解二者的上下文中，包括“总变差”(TV)的附加惩罚项被用于图像数据。TV通常被定义为在图像中的每个点处所计算的强度梯度向量的量级的总和(通常是l1-范数或l2-范数；不同的作者使用不同的定义)。虽然TV一般在技术上不是l1-范数，但是其数学行为类似于应用于强度梯度的全部集合的l1-范数，并且由此，这样的TV惩罚项倾向于有利于解中的稀疏强度梯度。换言之，其提供算法方式以引入梯度是稀疏的先前预期。这具有减少噪声并且有利于解的效果，类似于具有尖锐、清楚限定的边界的相对均匀区域。作为许多可能的示例之一，可以努力最小化三个项的总和：离散余弦变换基础上的l1-范数、与TV成正比的项以及与欠定线性方程组的近似解相关联的误差的l2-范数成正比的项。早已知道(Candès,E.,&Romberg,J.(2005))常见可用的计算机算法(例如，与线性编程相关联的那些算法)可以有效地解决该一般类型的优化问题。
贪婪算法是求解方程组的迭代方法，其中基于预定义的选择规则以及将有限候选解集合中的一个添加到当前已有的解中，在迭代的每个步骤处进行候选解的局部最优选择。通常，贪婪算法将产生局部最优解，其在合理的计算时间量内逼近全局最优解。例如，参见Cormen等人，“Greedy Algorithms”,Introduction to Algorithms,第三版，MIT Press，剑桥，MA，2009中的第16章中更加详细的描述。
字典学习方法需要开发“训练数据”-依赖变换(或者字典)，其解系数是稀疏的，并且基础向量不需要是正交的，这继而允许针对测量的给定测试集合解决线性问题。例如，参见Kreutz-Delgado等人(2003)“Dictionary Learning Algorithms for SparseRepresentation”,Neural Comput.15(2):349-396中的更加详细的描述。一些算法允许从压缩感测的的数据直接学习字典，而不需要明确的训练数据。许多此类算法允许在附加数据进入时对字典进行细化。在许多情况下，字典是过完备的，即，存在比字典有意要表示的向量空间中的维度更多的字典元素。在此类过完备的表示中，仍然可以可靠地引入稀疏性，例如通过使用测试过程先验的贝叶斯算法的使用；例如，参见J.Paisley和L.Carin,“Nonparametric factor analysis with beta process priors,”InternationalConference on Machine Learning(ICML),蒙特利尔，加拿大，2009。我们注意到术语的变化；在许多上下文中，通过定义，过完备字典在技术上不被称为“基础”，但是术语“过完备基础”在压缩感测和机器学习文献中是相对常见的。由此，为了当前上下文中表达的简易性，我们选择使用该术语。
用于从使用压缩感测采集的测量集合来重构图像或者其他数据集的这些和其他算法的更完整描述在技术文献中很容易得到，例如，参见Duarte等人(2008)“Single-PixelImaging via Compressive Sampling”,IEEE Signal Processing Magazine,2008年3月，83-91页；以及Stevens等人(2015),“Applying Compressive Sensing to TEM Video:aSubstantial Frame Rate Increase on any Camera”,Adv.Structural and ChemicalImaging 1:10。
计算机系统
本公开内容提供了被编程以实现该公开内容的方法的计算机控制系统。图9示出了计算机系统901，其包括中央处理单元(CPU，本文中也称为“处理器”和“计算机处理器”)905，其可以是单核或者多核处理器，或者用于并行处理的多个处理器，并且可以包括一个或多个图形处理单元(GPU)，或者类似于GPU的并行计算组件，或者量子计算组件或光学计算组件或光电计算组件。计算机系统901还包括存储器或者存储器位置910(例如，随机存取存储器、只读存储器、闪速存储器)、电子存储单元915(例如，硬盘)、用于与一个或多个其他系统通信的通信接口920(例如，网络适配器)以及外围设备925，诸如高速缓存、其他存储器、数据存储和/或电子显示适配器。存储器910、存储单元915、接口920和外围设备925通过诸如母板的通信总线(实线)与CPU 905通信。存储单元915可以是用于存储数据的数据存储单元(或者数据储存库)。计算机系统901可以在通信接口920的辅助下可操作地耦合至计算机网络(“网络”)930。网络930可以是因特网、互联网和/或外联网，或者与因特网通信的内联网和/或外联网。在一些情况下，网络930是电信和/或数据网络。网络930可以包括一个或多个计算机服务器，其可以支持分布式计算，诸如云计算。在一些情况下，网络930在计算机系统901的辅助下可以实现对等网络，其可以使得耦合至计算机系统901的设备能够充当客户端或者服务器。
CPU 905可以执行机器可读指令序列，机器可读指令序列可以在程序或者软件中具体化。指令可以存储在诸如存储器910的存储器位置中。指令可以被引导至CPU 905，其可以随后对CPU 905进行编程或者以其他方式配置CPU 905以实现本公开内容的方法。由CPU905执行的操作的示例可以包括取回、解码、执行和写回。
CPU 905可以是诸如集成电路的电路的一部分。系统901的一个或多个其他组件可以包括在电路中。在一些情况下，电路是专用集成电路(ASIC)。
存储单元915可以存储文件，诸如驱动程序、库和保存的程序。存储单元915可以存储用户数据，例如，用户偏好和用户程序。在一些情况下，计算机系统901可以包括在计算机系统901外部的一个或多个附加数据存储单元，诸如定位在远程服务器上，该远程服务器通过内联网或者因特网来与计算系统901通信。
计算系统901可以通过网络930来与一个或多个远程计算机通信。例如，计算机系统901可以与用户的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如，便携式PC)、平板或者平板型PC(例如，
Figure BDA0001737365500000321
iPad、
Figure BDA0001737365500000322
Galaxy Tab)、电话、智能电话(例如，
Figure BDA0001737365500000323
iPhone、支持安卓的设备、
Figure BDA0001737365500000324
)或者个人数字助理。用户可以经由网络930访问计算机系统901。
本文描述的方法可以通过存储在计算机系统901的电子存储位置上的机器(例如，计算机处理器)可执行代码的方式来实现，举例而言，电子存储位置诸如存储器910或者电子存储单元915。能够以软件的形式提供机器可执行或者机器可读代码。在使用期间，代码可以由处理器905执行。在一些情况下，代码可以从存储单元915取回并且存储在存储器910上以便处理器905易于访问。在一些情况下，可以排除电子存储单元915，并且将机器可执行指令存储在存储器910上。
代码可以被预编译，并且与具有适于执行代码的处理器的机器一起使用，或者可以在运行时期间编译，或者可以在没有明确的编译步骤的情况下在运行时期间从源代码解译，或者其任何组合。代码可以以编程语言提供，其可以被选择用以使得代码能够以预编译或者即时编译的方式来执行。
诸如计算机系统901之类的本文提供的系统和方法的各方面可以在编程中具体化。技术的各种方面可以被认为是“产品”或者“制品”，其通常是以承载或者具体化在机器可读介质类型中的机器(或者处理器)可执行代码和/或相关联数据的形式。机器可执行代码可以存储在电子存储单元中，电子存储单元诸如存储器(例如，只读存储器、随机存取存储器、闪速存储器)或者硬盘。“存储”类型介质可以包括计算机、处理器等的任何或者全部有形存储器，或者其相关联的模块，诸如各种半导体存储器、磁带驱动器、盘驱动器等，其可以在软件编程的任何时间提供非暂时性存储。软件的全部或者部分有时可以通过因特网或者各种其他电信网络通信。此类通信例如可以支持将软件从一台计算机或者处理器加载到另一台，例如，从管理服务器或者主计算机加载到应用服务器的计算机平台。由此，可以承载软件元素的另一类型的介质包括通过有线和光学路线网络并且通过各种空中链路、诸如跨本地设备的物理接口使用的光波、电波、电磁波。承载此类波的物理元件(诸如有线或无线链路、光学链路等等)也可以被认为是承载软件的介质。如本文使用的，除非限制于非暂时性、有形“存储”介质，否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令以用于执行的任何介质。
因此，诸如计算机可执行代码的机器可读介质可以采用许多形式，包括但不限于有形存储介质、载波介质或者物理传输介质。非易失性存储介质例如包括光盘或磁盘，诸如任何(一个或多个)计算机等中的任何存储设备，诸如可以用于实现附图中所示的数据库等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆、铜线和光纤，其包括包含计算机系统内的总线的线路。载波传输介质可以采用如在射频(RF)和红外(IR)数据传输期间生成的电信号或电磁信号、声波或光波的形式。因此，计算机可读介质的常见形式包括例如：软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、具有孔图案的任何其他物理存储介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒带、传送数据或指令的载波、传送此类载波的线缆或链路，或者计算机可以从其读取编程代码和/或数据的任何其他介质。这些计算机可读介质形式中的许多可以涉及将一个或多个指令的一个或多个序列承载到处理器以用于执行。
计算机系统901可以包括电子显示器935或者与其通信，电子显示器935包括用户界面(UI)940。UI的示例包括但不限于图形用户界面(GUI)和基于网络的用户界面。
可以通过一个或多个算法的方式来实现本公开内容的方法和系统。可以通过软件的方式在由中央处理单元905执行时实现算法。
示例
示例1—计算机仿真
计算机仿真展示了基于由公式(3)描述的模型的时域编码时间压缩感测系统可以提供视频数据的重构，其具有显著超过测量图像的数目的时间片图像的数目。图1示出了来自(桑迪亚国家实验室的K.Hattar等人)原位拉伸裂纹扩展实验的10个TEM图像数据帧。例如通过使用安装在TEM中的快速束偏转器系统将(图2中示意性图示出的)十个时间片图像的不同组合发送至大面积相机的四个不同区域，并且将其数字地分割为四个测量图像帧以用于分析(图3)。在该非限制性示例中，快速束偏转器系统提供在一个相机数据采集周期中(即，在单次曝光期间)采集4个测量图像帧的能力。16帧快速偏转器系统已经是可用的，并且在该示例中图示的远大于10/4＝2.5值的压缩因数预期是可实现的。将稀疏数学重构技术应用于四个测量图像帧提供了所有十个时间片帧的可靠估计(图4)。相同的算法捕获精细的细节(例如，失效前应力集中区域中衍射衬度的改变)以及总不连续性(例如，从时间片7到时间片8的突然改变)。仿真结果展示了来自单个曝光周期的10个视频数据帧的重构。使用16帧快速偏转器系统(即，可以每相机数据采集周期捕获16个分割的图像帧)以及近似6倍的压缩性将每单次曝光提供近似100个重构视频数据帧。
示例2—使用样本后偏转器的基于TEM的时间感测系统
作为说明性(预言性)示例，考虑具有快速、样本后偏转器系统、相对较大的相机(例如，如常用于TEM数据采集的具有闪烁体和光纤束的CCD相机)和可选的样本前束熄灭系统的TEM。图5示出了TEM的基本组件和功能的一般简化示意图。电子源产生电子束，其被加速到每电子通常～80keV至～300keV的动能以用于多数当前的仪器。聚光器透镜系统将电子束的所选择的部分聚焦到放置在接近透镜中心的样本上。束通过样本，并且中间/投影仪透镜系统产生可以被数据采集系统捕获的图像或者衍射图案。数据采集系统通常是相机或者本身包括相机的柱后能量过滤系统。能量过滤系统向系统添加能量过滤采集和电子能量损失光谱学(EELS)能力。存在产生类似结果的其他系统(例如，柱内能量过滤器)。采集系统包括检测器，通常但未必是具有闪烁体的CCD相机或者直接检测CMOS相机或者类似的技术。因此系统的数据采集速率由相机的采集和读出时间(下文称为“数据采集周期”或者“相机帧时间”)来设置。
图6图示了TEM系统的一个非限制性示例，其使用定位在样本之后(此处示出为例如定位在投影仪透镜系统之后)的高速偏转器系统，其允许多个不同帧被引导至(优选但不是必需的)大面积相机的非重叠区域。针对柱后能量过滤成像系统，操作没有根本改变。在该上下文中，“高速”的意思是偏转器可以每相机数据采集周期多次(至少约10次，但是优选的是数百次或者数千次)切换状态，同时引入可忽略的模糊。当例如定位在聚光器透镜系统(如所示)的高处的高速偏转器状态正在切换时，可选的高速束熄灭器可以将束引导至孔径，以便减少或者消除模糊效应。
我们预计，系统可以在每个切换操作期间以～10ns的花费在相机子区域的2x 2、3x 3或者4x 4(或者更高阶)阵列之间切换状态，并且每相机帧时间～100-1000次切换操作。这允许每相机帧时间的10-100或者更多“时间片”中的每一个部分地在相机的多个子区域中表示。在数学上，这被表示为测量矩阵，其跟踪每个子区域(或者“测量帧”)如何表示时间片的不同线性组合。与压缩感测相关联的数学技术继而可以产生全部个体时间片数据集的可靠估计，结果是在单个相机数据采集周期中捕获～100个不同数据帧。
在成像滤波器的情况下，“有效相机面积”不会被解释为字面的相机位置而是在实际物理相机位置处耦合至图像平面的目标平面。
在一些实施方式中，系统可以包括固态多帧检测系统来代替快速偏转器，固态多帧检测系统例如CMOS阵列框架相机，其具有每检测像素多个存储箱以及任意(或者半任意)控制在任何给定时刻哪个存储箱集合正在累积信号的能力。在功能上，结果是接近相同的；该实施方式仅利用检测器的多帧切换能力替换了电子光学器件的多帧切换能力。取决于传感器芯片的设计，此类系统可以在公式(3)、公式(4)或者公式(5)的数学模型上操作。
例如使用已有的相机/检测器端口，可以将图6中图示的偏转器系统安装在TEM中的投影仪透镜之后。使用已有端口允许修改是完全非侵入式的，与相机和其他检测器的安装相当，并且所产生的系统将不会干扰正常操作，因为偏转器可以容易地缩回。如上所述，偏转器被设计为将TEM图像侧向偏转至相机的成像传感器的若干子区域中的任何子区域，例如，偏转至16个子区域的4x 4阵列中的任何子区域，类似于针对电影模式动态透射电子显微镜所描述的偏转器系统(参见美国专利号9,165,743)。偏转器优选地是静电的而不是电磁的，从而允许已有的电路设计在大致10纳秒中从一个传感器阵列子区域离散切换至另一个。如果系统被用来使用每时间片～10次偏转来重构具有例如10μs时间片的视频，则系统的占空比是～99％，并且来自剩余的1％的电子的模糊图像应当基本上不会干扰CS重构算法。针对较短的时间片，也在样本之前插入高速静电束熄灭器可以是可期望的，由此在过渡期间关闭了电子束并且消除了该模糊源。针对通常的TEM电子枪和聚光器透镜系统设计，此类系统的时间分辨率将更多地由可用束电流和可接受的信噪比来确定，而不是由偏转器系统本身的时间分辨率来确定。由此，系统也将受益于其他修改，以增加可以递送至样本的束电流。需要注意，虽然该讨论集中于实际空间成像，但是上文以及本公开内容中其他部分讨论的所有TEM实现也可以潜在地用于衍射或者光谱学。
示例3—具有多个相机&EOM切换的光学时间感测系统
作为另一说明性(预言性)示例，考虑具有电光调制器控制的切换网络的光学相机集合，如图8中所图示的。电光调制器(EOM)和其他高速调制器(例如声光调制器(AOM))可以用于在两个不同的输出路径之间快速地切换光学信号。该切换能够以二进制方式(使得信号仅进入两个输出路径中的一个)或者以连续方式(具有控制信号的部分要被发送至每个输出路径的能力)实现。此类开关的网络会导致检测器的阵列，其中每个本身是全分辨率相机(或者光谱系统)。虽然设计针对真实空间成像的此类系统的工程复杂度可能较高，但是通过利用针对光纤系统的良好开发的EOM/AOM解决方案，在时间分辨光谱领域中的实现可以是较为容易的。光纤和调制器的网络将提供平行光谱仪阵列(或者具有大型二维传感器的单个光谱仪，其实际上可以充当平行阵列)，并且电子控制系统将确定向每个个体光谱仪发送什么时间片叠加。取决于正在测量的样本系统的可再现性，该光学系统能够以单发或频闪模式(即，在感兴趣的过程的许多标称相同周期上累积信号)操作。
再次参考图8，可以在光学系统中实现时间压缩感测，如针对一个非限制示例所图示的。电可控的光学开关的网络确定来自每个时间片的信号的什么部分到达每个检测器。该相同的方法包括多种不同的实施方式，例如，使用自由空间光学器件、光纤或者二者的组合；以成像模式、光谱模式或者二者(谱成像)操作；使用电光和/或声光调制器；使用模拟或者二进制调制器(如果是二进制，其速度应当足以允许每检测器采集周期许多次转变)；使用诸如以下的检测器：CCD阵列、CMOS阵列、光电二极管阵列，或者个体高速、高灵敏度检测器，诸如光电倍增管；其中网络拓扑以及开关和检测器的数目可以改变。
在一些实施方式中，信号路径的重新组合将支持干涉仪的操作，特别是在包括电可控移相器的情况下。这将允许测量矩阵的一些元素是负数，从而提供信噪比受限的操作中的优点。其还可以支持独特的全息时间重构技术。
在一些实施方式中，电子控制系统可以按照预定序列或者自适应序列(即，可以基于任何给定时间采集的数据在采集期间修改的序列)来切换调制器以及触发检测器。检测器不需要全部在相同的频率下操作。
与其他地方描述的TEM样本后偏转器实现一样，目的是在检测器的单个数据采集周期内采集来自多个时间片的数据。如果数据流是高度可压缩的，则重构的时间片的数目可以远远超过系统中的检测器的数目。
示例4—频闪超快速TEM
作为又一说明性(预言性)示例，考虑频闪、超快速TEM，其并入了皮秒分辨率任意波形激光器系统，如图7中所图示的。目前，频闪超快速TEM使用皮秒级(或者亚皮秒级或飞秒级)电子脉冲作为采样探测器，针对一些高度可重复的采样过程的每个周期发生一次此类探测器脉冲。通过从数百万个此类采样过程周期累积数据，相对于周期性采样过程的相位偏移探测器脉冲的时间，以及针对要被测量的每个时间片进行重复，来执行时间分辨测量。测量数百个此类时间片因此可能需要在要被研究的采样过程的几十亿个周期上进行测量，这可能花费很多小时。这对采样过程的可重复性以及采样和测量系统的稳定性二者提出了很高要求。如果，相反，每次测量捕获来自时间片的任意叠加的数据，并且如果我们使用时间片的这种叠加来执行多个测量，则我们基于公式(3)实际上实现了时间压缩感测系统。这样的系统可以通过利用任意波形发生器(AWG)激光器系统(类似于美国专利号9,165,743中所描述的，但是在不同的时间级上操作)来替换驱动TEM的阴极的短脉冲激光器来实现，其被设计为使得能够以波形规格中1皮秒或者更好的分辨率，在例如200皮秒时间跨度上产生任意指定的光强度时间图案。这将通过两个不同的效果来减少实验数据采集时间。首先，每周期测量的信号的量将大大增加。这是因为可以在此类系统中使用的电流(或者每单位时间的电子)的量受到空间电荷效应(即，电荷相互排斥，由此使得脉冲在从电子枪向样本移动时在空间和时间上都扩散的事实)的限制。所提出的任意波形激光器系统将允许不仅针对每周期的单个～1皮秒时间片而且针对多个此类时间片都实现该电流限制。根据CS理论，最优数据采样吞吐量通常发生在～50％的占空比处，因此在我们的200个时间片(每200皮秒时间跨度)的示例中，～100个时间片将充满电子脉冲，而其余的将是空的。因此，在该示例中，针对任意波形系统，每周期的电子数目将大致比针对单脉冲系统的多100倍，而没有损害束质量或者时间分辨率。这意味着，针对给定测量，达到可接受的信噪比需要少～100倍的测量周期。其次，由于压缩感测的固有性质，此类测量的数目也应当减少，使得重构N个时间片所需要的测量的数目M应当远小于N。通常，比率M/N在0.1的数量级，但是这对于不同的应用有很大变化。如果该比率适用超快速TEM应用，那么不仅M次采集中的每一次的总采集时间应当比它在每周期单脉冲系统中的总采集时间少100倍，而且所需要的此类采集的数目应当减少～10因数，数据采集时间总体减少约1,000因数。可以在数分钟中采集目前需要许多个小时的采集时间的数据集，甚至包括改变激光器系统的状态所需的开销。这代表了这些系统的性能的显著提高。
再次参考图7，使用任意波形激光器(例如，具有亚皮秒级调制和亚纳秒级脉冲持续时间，或者具有纳秒级调制和微秒级脉冲持续时间)来调制来自光电源的电流的频闪时间分辨TEM可以用于实现本公开内容的压缩感测方法。第二激光束照射样本并且发起感兴趣的过程。同步电气、微机械或者驱动样本的其他方法也是可能的，尤其是对于纳秒级测量，其中容易满足定时抖动要求。利用不同的时间调制图案将样本中的可重复过程的测量重复多次。压缩感测的数学重构技术继而可以重构整个事件序列，时间片的数目远远超过不同时间调制图案的数目。时间平均束电流应当远远超过传统超快速TEM系统中所通常使用的，因为在传统系统中，每脉冲的电子数目受到空间电荷效应的严格限制，并且必须保持样本处的脉冲持续时间尽可能短。组合这些优点，实验的总采集时间可以相对于传统超快速TEM潜在地减少1000因数或者更多。这极大地改善了传统超快速TEM的最严重困难之一，即，非常长的采集时间以及样本在几百万个测量周期下所需的稳定性。
在其他实施方式中，备选的束电流调制技术，例如，通过电极(诸如定位在电子枪内部的提取器电极)的快速变化的静电调制，或者在列中的另一位置处的高速束熄灭，将产生功能上相同的结果。关键的是，可以在所需的时间片的时间级上对到达检测器的束电流进行调制。
示例5—具有高速、直接检测相机的TEM系统
作为又一说明性(预言性)示例，考虑并入了高速、直接检测相机的TEM系统，例如，具有直接电子检测能力的CMOS框架相机(例如，可以通过在每个像素处使用多个电容箱而在芯片上存储多个图像的相机，以及确定在任何给定时间哪个箱集合正在累积信号的电子切换系统)，从而允许其针对高速TEM应用而被使用。利用适当的芯片级电子设备设计，这样的检测器可以实现公式(3)描述的方法，并且，利用更高的复杂度，甚至可以直接实现公式(4)或(5)所描述的那些方法。该框架相机方法还可以用于x射线检测和光学相机。
上文描述的所有说明性实施方式包括与先前工作不同的常见特征，即，高速切换和/或调制系统，其确定从多个检测器中选择哪个或者哪些检测器，或者从单个检测器上的多个区域中选择哪个或者哪些区域，在任何给定时间正在接收信息。这允许实现描述来自每个时间片到达每个检测器或者检测器子区域的信号的量的系数的任意或半任意“测量矩阵”。与压缩感测相关联的数学技术继而允许针对每个数据采集周期重构多个个体时间片数据集，其显著地超过(例如，5倍到10倍于，或者更多倍于)检测器或者检测器子区域的数目。
虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员将易见的是，这些实施方式仅是通过示例的方式提供的。在不脱离本发明的情况下，本领域技术人员现在将想到多种变化、改变和替换。应当理解，在实践本发明时可以采用对本文描述的本发明的实施方式的各种备选方案。以下权利要求旨在限定本发明的范围，并且从而旨在覆盖这些权利要求及其等效物的范围内的方法和结构。

Claims (38)

1.一种用于时间压缩感测的方法，包括：
a)将具有强度的辐射从源朝向样本或者场景引导；
b)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在所述一个或多个数据采集周期的每一个内，针对时间片系列捕获一个或多个测量数据集，该一个或多个测量数据集与被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合相对应；以及
c)使用以下项，在所述一个或多个数据采集周期中的每一个内针对所述时间片系列内的每一个时间片重构时间片数据集：
i)针对每个数据采集周期捕获的所述一个或多个测量数据集；
ii)系数的系列，该系数的系列描述用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性，其中所述传感器阵列的每个区域捕获被整个所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合，并且其中限定所述线性组合的所述系数根据时间片和所述传感器阵列的区域而变化，但是独立于所述传感器阵列的给定区域内的给定像素的空间位置；以及
iii)算法，该算法从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集；
从而提供针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
2.根据权利要求1所述的方法，其中所述辐射来自以下的源：激光器、光电阴极、电子枪或者其任何组合。
3.根据权利要求1或2所述的方法，其中所述传感器阵列是一维传感器阵列、二维传感器阵列、在传感器阵列芯片上存储多个测量数据集的传感器阵列或者其任何组合。
4.根据权利要求1或2所述的方法，其中所述传感器阵列是二维传感器阵列，其包括电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、CMOS框架相机、光电二极管阵列或者其任何组合。
5.根据权利要求1或2所述的方法，其中所述传感器阵列还包括将所述辐射转换为所述传感器阵列可直接检测的辐射的非线性光学材料、荧光材料、磷光材料或者微通道板。
6.根据权利要求1或2所述的方法，其中用于重构所述时间片数据集的算法是包括惩罚项的优化算法；迭代贪婪恢复算法；字典学习算法；随机贝叶斯算法；变分贝叶斯算法；或者其任何组合；其中所述惩罚项将所述优化算法约束为欠定线性方程组的稀疏解，其中所述惩罚项包括l1范数、非零系数的总数目、总变差或者测试过程先验。
7.根据权利要求1或2所述的方法，其中从针对每个数据采集周期捕获的所述一个或多个测量数据集中重构至少10个时间片数据集。
8.根据权利要求1或2所述的方法，其中所述传感器阵列以至少100帧每秒的有效数据采集和读出速率进行操作。
9.根据权利要求1或2所述的方法，其中所述辐射包括电子，并且其中所述传感器阵列是互补金属氧化物半导体(CMOS)相机、电荷耦合器件(CCD)传感器、图像增强电荷耦合器件(ICCD)传感器、电子能量损失光谱仪(EELS)中的检测器或者其任何组合。
10.根据权利要求1或2所述的方法，其中所述时间片数据集包括重构的透射电子显微镜图像数据帧。
11.根据权利要求1或2所述的方法，其中所述时间片数据集包括重构的透射电子显微镜衍射图案数据帧。
12.根据权利要求1或2所述的方法，其中所述时间片数据集包括重构的透射电子显微镜电子能量损失谱数据帧。
13.根据权利要求1或2所述的方法，其中所述时间片数据集包括重构的扫描电子显微镜图像数据的帧。
14.根据权利要求1或2所述的方法，其中在所述时间片数据集的计算期间调整要被重构的时间片数据集的数目。
15.根据权利要求1或2所述的方法，其中在捕获所述测量数据集之前，通过计算测量矩阵系数的范围来优化要被重构的时间片数据集的数目，所述测量矩阵系数中的每一个具有不同的时间片数目。
16.根据权利要求1或2所述的方法，还包括通过以时间方式调制实验参数而不是调制所述辐射强度，针对时间片系列生成被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合。
17.根据权利要求16所述的方法，其中要被时间调制的所述实验参数选自：所述样本或者所述场景的旋转定向、所述样本或者所述场景在一维中的线性平移、所述样本或者所述场景在二维中的线性平移和所述样本或者所述场景在三维中的线性平移或者其任何组合。
18.根据权利要求16所述的方法，其中所述辐射聚焦于窄束上，并且要被时间调制的所述实验参数是所述束相对于所述样本或者所述场景的位置。
19.根据权利要求1或2所述的方法，其中所述系数的系列描述：在所述数据采集周期内从所述源朝向所述样本或者所述场景引导的所述辐射的强度的已知空间依赖性和时间依赖性，或者来自所述源的所述辐射的强度的已知空间依赖性，以及用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性。
20.一种用于时间压缩感测的系统，包括：
a)辐射源，所述辐射源提供朝向样本或者场景引导的具有强度的辐射；
b)传感器阵列，所述传感器阵列在所述辐射被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射之后检测所述辐射；
c)机构，所述机构在由所述辐射源生成的所述辐射与所述样本或者所述场景相互作用之前快速调制所述辐射的强度、或者快速切换被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射，以及
d)一个或多个计算机处理器，其配置为：
(i)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在每个数据采集周期内，捕获与针对时间片系列被透射、反射、弹性散射或者非弹性散射的辐射的图案的不同线性组合相对应的一个或多个测量数据集；以及
(ii)使用以下项来在所述一个或多个数据采集周期中的每一个内针对每个时间片重构时间片数据集：
1)针对每个数据采集周期捕获的所述一个或多个测量数据集；
2)系数的系列，该系数的系列描述用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性，其中所述传感器阵列的每个区域捕获被整个所述样本或者所述场景透射、反射、弹性散射或者非弹性散射的所述辐射的图案的不同线性组合，并且其中限定所述线性组合的所述系数根据时间片和所述传感器阵列的区域而变化，但是独立于所述传感器阵列的给定区域内的给定像素的空间位置；以及
3)从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集的算法；从而生成针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
21.一种用于时间压缩感测的系统，包括：
a)辐射源，所述辐射源提供朝向样本或者场景引导的辐射；
b)传感器阵列，所述传感器阵列在所述辐射被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射之后检测所述辐射；
c)机构，所述机构快速调制所述样本或者所述场景相对于照射方向的一维、二维或三维平移位置或者旋转定向或者其任何组合；以及
d)一个或多个计算机处理器，其用于：
(i)捕获针对一个或多个数据采集周期的传感器阵列数据，其中在每个数据采集周期内，捕获与针对时间片系列被透射、反射、弹性散射或者非弹性散射的辐射的图案的不同线性组合相对应的一个或多个测量数据集；以及
(ii)使用以下项来在所述一个或多个数据采集周期中的每一个内针对每个时间片重构时间片数据集：
1)针对每个数据采集周期捕获的所述一个或多个测量数据集；
2)描述在所述数据采集周期内所述样本或者所述场景的平移位置或者旋转定向的已知时间依赖性的系数的系列；以及
3)从针对每个数据采集周期捕获的所述一个或多个测量数据集以及所述系数的系列来计算所述时间片数据集的算法；从而生成针对所述一个或多个数据采集周期中的每一个的时间片数据集系列，其具有超过由所述数据采集周期的长度确定的时间分辨率的时间分辨率。
22.根据权利要求20或21所述的系统，其中所述辐射源是激光器、光电阴极、电子枪或者其任何组合。
23.根据权利要求20或21所述的系统，其中所述传感器阵列是一维传感器阵列、二维传感器阵列、在芯片上存储多个数据集的传感器阵列或者其任何组合。
24.根据权利要求20或21所述的系统，其中所述传感器阵列是二维传感器阵列，其包括电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、CMOS框架相机、光电二极管阵列或者其任何组合。
25.根据权利要求20或21所述的系统，其中所述传感器阵列还包括将来自所述辐射源的信号转换为所述传感器阵列可直接检测的辐射的非线性光学材料、荧光材料、磷光材料或者微通道板。
26.根据权利要求20或21所述的系统，其中重构所述时间片数据集的算法是包括惩罚项的优化算法；迭代贪婪恢复算法；字典学习算法；随机贝叶斯算法；变分贝叶斯算法；或者其任何组合；其中所述惩罚项将所述优化算法约束为欠定线性方程组的稀疏解，其中所述惩罚项包括l1范数、非零系数的总数目、总变差或者测试过程先验。
27.根据权利要求20或21所述的系统，其中从针对每个数据采集周期捕获的所述一个或多个测量数据集中重构至少10个时间片数据集。
28.根据权利要求20或21所述的系统，其中所述传感器阵列以至少100帧每秒的有效数据采集和读出速率进行操作。
29.根据权利要求20或21所述的系统，其中所述时间片数据集包括重构的视频图像数据帧。
30.根据权利要求20或21所述的系统，其中所述辐射包括电子，并且所述传感器阵列是电荷耦合器件(CCD)传感器、图像增强电荷耦合器件(ICCD)传感器、电子能量损失光谱仪(EELS)中的检测器或者其任何组合。
31.根据权利要求20或21所述的系统，其中所述时间片数据集包括重构的透射电子显微镜图像数据帧。
32.根据权利要求20或21所述的系统，其中所述时间片数据集包括重构的透射电子显微镜衍射图案数据帧。
33.根据权利要求20或21所述的系统，其中所述时间片数据集包括重构的透射电子显微镜电子能量损失谱数据帧。
34.根据权利要求20或21所述的系统，其中所述时间片数据集包括重构的扫描电子显微镜图像数据的帧。
35.根据权利要求20或21所述的系统，其中在所述时间片数据集的计算期间调整要被重构的时间片数据集的数目。
36.根据权利要求20或21所述的系统，其中在捕获所述测量数据集之前，通过计算测量矩阵系数的范围来优化要被重构的时间片数据集的数目，所述测量矩阵系数中的每一个具有不同的时间片数目。
37.根据权利要求21所述的系统，其中所述辐射聚焦于窄束上，并且所述机构快速调制所述束相对于所述样本或者所述场景的位置。
38.根据权利要求20或21所述的系统，其中所述系数的系列描述：在所述数据采集周期内朝向所述样本或者所述场景引导的来自所述源的所述辐射的强度的已知空间依赖性和时间依赖性，或者来自所述源的所述辐射的强度的已知空间依赖性，以及用于切换在所述数据采集周期内被所述样本或者所述场景透射、反射、弹性散射或者非弹性散射至所述传感器阵列的不同区域的所述辐射的已知时间依赖性。
CN201680079603.2A 2015-11-20 2016-08-22 时间压缩感测系统 Active CN108474755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562258194P 2015-11-20 2015-11-20
US62/258,194 2015-11-20
PCT/US2016/048087 WO2017087045A1 (en) 2015-11-20 2016-08-22 Temporal compressive sensing systems

Publications (2)

Publication Number Publication Date
CN108474755A CN108474755A (zh) 2018-08-31
CN108474755B true CN108474755B (zh) 2021-11-26

Family

ID=58718090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079603.2A Active CN108474755B (zh) 2015-11-20 2016-08-22 时间压缩感测系统

Country Status (9)

Country Link
US (3) US9841592B2 (zh)
EP (1) EP3378040A4 (zh)
JP (2) JP6794447B2 (zh)
KR (1) KR20180109861A (zh)
CN (1) CN108474755B (zh)
AU (1) AU2016357089B2 (zh)
CA (1) CA3005439A1 (zh)
IL (1) IL259375B (zh)
WO (1) WO2017087045A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016149676A1 (en) * 2015-03-18 2016-09-22 Battelle Memorial Institute Electron beam masks for compressive sensors
US10170274B2 (en) * 2015-03-18 2019-01-01 Battelle Memorial Institute TEM phase contrast imaging with image plane phase grating
WO2017087045A1 (en) 2015-11-20 2017-05-26 Integrated Dynamic Electron Solutions, Inc. Temporal compressive sensing systems
US10580614B2 (en) 2016-04-29 2020-03-03 Battelle Memorial Institute Compressive scanning spectroscopy
EP3297018B1 (en) * 2016-09-19 2019-03-27 FEI Company Tomographic imaging method
US10539783B1 (en) * 2016-10-17 2020-01-21 National Technology & Engineering Solutions Of Sandia, Llc Compressive sensing optical design and simulation tool
WO2018170508A1 (en) * 2017-03-17 2018-09-20 Regents Of The University Of Colorado, A Body Corporate High speed two-dimensional event detections and imaging with an analog interface
EP3392900B1 (en) 2017-03-20 2020-03-11 TESCAN Brno, s.r.o. A method for automatically aligning a scanning transmission electron microscope for precession electron diffraction data mapping
US10295677B2 (en) 2017-05-08 2019-05-21 Battelle Memorial Institute Systems and methods for data storage and retrieval
CN107547089B (zh) * 2017-07-20 2020-08-07 西北工业大学 一种低能耗水声数据压缩与重构方法
CN107666322B (zh) * 2017-09-08 2020-11-10 山东科技大学 一种基于字典学习的自适应微震数据压缩感知方法
US10267889B1 (en) * 2017-11-15 2019-04-23 Avalex Technologies Corporation Laser source location system
GB2571119B (en) * 2018-02-18 2020-04-29 Faraday Predictive Ltd System and method for monitoring an operating condition of an electrical device when in operation
TWI768191B (zh) 2018-03-20 2022-06-21 美商泰斯坎坦佩公司 用於自動對準掃描透射電子顯微鏡以便旋進電子衍射資料映射的方法
US10522323B2 (en) * 2018-04-05 2019-12-31 Fei Company Electron energy loss spectroscopy with adjustable energy resolution
EP3550585B1 (en) * 2018-04-05 2021-06-23 FEI Company Studying dynamic specimens in a transmission charged particle microscope
US10989756B2 (en) * 2018-04-09 2021-04-27 The Regents Of The University Of California Systems and methods using stroboscopic universal structure-energy flow correlation scattering microscopy
EP3570060A1 (de) * 2018-05-15 2019-11-20 Siemens Healthcare GmbH Verfahren zur rekonstruktion von magnetresonanztomographie-aufnahmen mit variabler zeitauflösung
US11410324B2 (en) * 2018-06-19 2022-08-09 Kettering University System and method for determining operating deflection shapes of a structure using optical techniques
CN109545234B (zh) * 2018-10-29 2023-09-26 重庆邮电大学 一种基于压缩感知的语音线谱频率编码及自适应快速重构方法
CN109871824B (zh) * 2019-03-11 2022-06-21 西安交通大学 基于稀疏贝叶斯学习的超声导波多模态分离方法及其系统
CA3146827A1 (en) 2019-07-10 2021-01-14 Integrated Dynamic Electron Solutions, Inc. High framerate and high dynamic range electron microscopy
CN110658179B (zh) * 2019-10-09 2021-11-19 上海理工大学 基于多信号叠加和伪逆法的激光拉曼气体浓度检测方法
US11450508B2 (en) * 2019-12-17 2022-09-20 Fei Company Comparative holographic imaging
US11630218B1 (en) * 2020-01-09 2023-04-18 National Technology & Engineering Solutions Of Sandia, Llc Mapping and imaging ionizing radiation in two and three dimensions
US11513732B2 (en) 2020-08-13 2022-11-29 Raytheon Company Fast data compression for systems with large dynamic ranges or other systems
EP4006531B1 (en) * 2020-11-27 2023-04-26 JEOL Ltd. X-ray detection apparatus and method
CA3215592A1 (en) 2021-04-16 2022-10-20 Ruth Shewmon Bloom Arbitrary electron dose waveforms for electron microscopy
CN113379129B (zh) * 2021-06-17 2022-09-20 青岛港国际股份有限公司 一种集装箱码头设备监测传感器安装选址方法
US20240095512A1 (en) * 2022-09-15 2024-03-21 Tetramem Inc. Integrated sensing and machine learning processing devices
US20240099023A1 (en) * 2022-09-15 2024-03-21 Tetramem Inc. Integrated sensing and machine learning processing devices
US11848173B1 (en) 2023-01-31 2023-12-19 Integrated Dynamic Electron Solutions, Inc. Methods and systems for event modulated electron microscopy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100004321A (ko) * 2008-07-03 2010-01-13 한국과학기술원 움직임 추정 및 움직임 보상을 이용한 압축 센싱 기반 동적자기공명 영상기법
CN102393248A (zh) * 2011-10-26 2012-03-28 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法
CN102947864A (zh) * 2010-06-21 2013-02-27 皇家飞利浦电子股份有限公司 用于执行低剂量ct成像的方法和系统
CN102959388A (zh) * 2010-06-24 2013-03-06 皇家飞利浦电子股份有限公司 利用压缩感测重建的动态对比度增强mr成像
CN103096805A (zh) * 2010-06-23 2013-05-08 美国亚德诺半导体公司 具有模拟处理的超声成像
CN103854297A (zh) * 2012-10-05 2014-06-11 西门子公司 利用紧框架学习的动态图像重建
US8907280B1 (en) * 2012-09-19 2014-12-09 Sandia Corporation Fast electron microscopy via compressive sensing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646924B2 (en) 2004-08-09 2010-01-12 David Leigh Donoho Method and apparatus for compressed sensing
EP1880524B1 (en) 2005-04-21 2013-10-30 William Marsh Rice University Method and apparatus for compressive imaging device
WO2006122146A2 (en) 2005-05-10 2006-11-16 William Marsh Rice University Method and apparatus for distributed compressed sensing
US8687689B2 (en) 2005-10-25 2014-04-01 William Marsh Rice University Method and apparatus for on-line compressed sensing
CN104220979B (zh) 2009-05-27 2017-08-25 章寅 时空压缩感知方法及装置
US7834795B1 (en) * 2009-05-28 2010-11-16 Bae Systems Information And Electronic Systems Integration Inc. Compressive sensor array system and method
WO2011071958A2 (en) 2009-12-07 2011-06-16 William Marsh Rice University Apparatus and method for compressive imaging and sensing through multiplexed modulation
US20130070138A1 (en) 2010-02-22 2013-03-21 Richard G Baraniuk Number Of Pixels In Detector Arrays Using Compressive Sensing
US8559688B2 (en) * 2010-06-30 2013-10-15 General Electric Company System and method for processing data signals
US8860835B2 (en) * 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
US8775490B2 (en) 2011-02-04 2014-07-08 Alcatel Lucent Method and apparatus for compressive sensing with reduced compression complexity
CN102706450B (zh) * 2012-06-13 2014-03-12 西安电子科技大学 基于压缩感知的双通道多光谱视频成像仪及成像方法
US8933401B1 (en) * 2013-10-25 2015-01-13 Lawrence Livermore National Security, Llc System and method for compressive scanning electron microscopy
US9165743B2 (en) 2014-02-14 2015-10-20 Lawrence Livermore National Security, Llc High-speed multiframe dynamic transmission electron microscope image acquisition system with arbitrary timing
WO2016149676A1 (en) * 2015-03-18 2016-09-22 Battelle Memorial Institute Electron beam masks for compressive sensors
WO2017087045A1 (en) 2015-11-20 2017-05-26 Integrated Dynamic Electron Solutions, Inc. Temporal compressive sensing systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100004321A (ko) * 2008-07-03 2010-01-13 한국과학기술원 움직임 추정 및 움직임 보상을 이용한 압축 센싱 기반 동적자기공명 영상기법
CN102947864A (zh) * 2010-06-21 2013-02-27 皇家飞利浦电子股份有限公司 用于执行低剂量ct成像的方法和系统
CN103096805A (zh) * 2010-06-23 2013-05-08 美国亚德诺半导体公司 具有模拟处理的超声成像
CN102959388A (zh) * 2010-06-24 2013-03-06 皇家飞利浦电子股份有限公司 利用压缩感测重建的动态对比度增强mr成像
CN102393248A (zh) * 2011-10-26 2012-03-28 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法
US8907280B1 (en) * 2012-09-19 2014-12-09 Sandia Corporation Fast electron microscopy via compressive sensing
CN103854297A (zh) * 2012-10-05 2014-06-11 西门子公司 利用紧框架学习的动态图像重建

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Applying compressive sensing to TEM video: a substantial frame rate increase on any camera";Andrew Stevens 等;《Advanced Structural and Chemical Imaging》;20150818;第1-20页 *

Also Published As

Publication number Publication date
CA3005439A1 (en) 2017-05-26
KR20180109861A (ko) 2018-10-08
AU2016357089A1 (en) 2018-05-31
EP3378040A1 (en) 2018-09-26
AU2016357089B2 (en) 2022-01-27
JP2021039947A (ja) 2021-03-11
IL259375B (en) 2021-10-31
JP6794447B2 (ja) 2020-12-02
WO2017087045A1 (en) 2017-05-26
IL259375A (en) 2018-07-31
JP2019503036A (ja) 2019-01-31
US9841592B2 (en) 2017-12-12
US10571675B2 (en) 2020-02-25
EP3378040A4 (en) 2020-01-22
US10018824B2 (en) 2018-07-10
JP6952176B2 (ja) 2021-10-20
US20180136449A1 (en) 2018-05-17
US20170146787A1 (en) 2017-05-25
US20190204579A1 (en) 2019-07-04
CN108474755A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108474755B (zh) 时间压缩感测系统
US10170274B2 (en) TEM phase contrast imaging with image plane phase grating
US10224175B2 (en) Compressive transmission microscopy
Antipa et al. Video from stills: Lensless imaging with rolling shutter
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
JP6684705B2 (ja) 圧縮走査型電子顕微鏡システムおよび動作方法
JP2021039947A5 (zh)
Mochizuki et al. Single-event transient imaging with an ultra-high-speed temporally compressive multi-aperture CMOS image sensor
US11561134B2 (en) Compressed-sensing ultrafast spectral photography systems and methods
US20150116563A1 (en) Adaptive Sensing of a Programmable Modulator System
Yu et al. Single-photon compressive imaging with some performance benefits over raster scanning
Daigle et al. The darkest EMCCD ever
Vecchione et al. A direct electron detector for time-resolved MeV electron microscopy
Raghuram et al. Storm: Super-resolving transients by oversampled measurements
Mochizuki et al. Separation of multi-path components in sweep-less time-of-flight depth imaging with a temporally-compressive multi-aperture image sensor
US11313878B2 (en) Pan-sharpening for microscopy
Reed Temporal compressive sensing systems
Uhring et al. Ultrafast imaging in standard (Bi) CMOS technology
CN115580762B (zh) 一种多通道耦合压缩超快成像装置
Li et al. TDI-based continuous window compressed spatio-temporal imaging capable of flexible voxels post-interpretation
Alsolami et al. Imaging with SPADs and DMDs: Seeing through diffraction-photons
Basden et al. A new photon-counting spectrometer for the COAST
WO2023111772A1 (en) Reducing image artefacts in electron microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant