CN111052175A

CN111052175A - 用于成像的装置和方法

Info

Publication number: CN111052175A
Application number: CN201880058502.6A
Authority: CN
Inventors: 邓辉强; 苏吉·库马尔·萨胡; 汤东亮
Original assignee: National University of Singapore; Nanyang Technological University
Current assignee: National University of Singapore; Nanyang Technological University
Priority date: 2017-07-17
Filing date: 2018-07-16
Publication date: 2020-04-21
Also published as: WO2019017841A1; SG11202000125TA

Abstract

根据本发明的实施例，提供了一种用于成像的装置。该装置包括处理器和耦接到处理器的存储器，该存储器中存储有指令，该指令在由处理器执行时，使处理器：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从散斑图像中检索与对象相关联的信息，其中，所述每个点扩散函数在至少一个属性上与多个点扩散函数中的另一个点扩散函数不同，并且其中，该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。还提供了用于成像的附加装置以及用于成像的方法。

Description

用于成像的装置和方法

相关申请的交叉引用

本申请要求于2017年7月17日提交的新加坡专利申请No.10201705836V的优先权的利益，所述专利申请的内容通过引用全部合入本文以用于所有目的。

技术领域

各种实施例涉及用于成像的装置和方法。

背景技术

多光谱成像已经快速发展，并成为各种应用的重要技术，因为除了空间域之外，光谱域包含关于对象的大量信息。可以简单地通过在单色相机前面利用多个滤光器拍摄多个照片(时间复用)来完成多光谱成像。随着高分辨率相机的发展，在单次(single shot)成像技术(空间复用)中折中空间分辨率以获得光谱信息是可行的。多光谱成像设备的一个版本是彩色相机，其中多个光谱滤光器在空间上分布在2D检测器阵列上。甚至可以摆脱空间分辨率，通过大量光谱滤光器用作紧凑型光谱仪来获得更高的光谱分辨率。制造这些不同的光谱滤光器是困难的，因此高光谱分辨率具有挑战性。通过计算技术使用光学衍射或折射分量可以实现更高的光谱分辨率。然而，光谱分辨率与光谱范围之间的折中可能限制其性能，尤其当光谱只是宽范围内的几条窄线时。这些技术都需要特殊的光学设备和与复杂的光学系统中的相机进行严格对准，其中在制造时预先设置了空间与光谱信息折中以及光谱分辨率与光谱范围折中。

穿过散射介质的光产生随机的散斑图案，该散斑图案似乎没有下层对象的空间和光谱信息。这些散斑图案随波长变化很大，并允许检索入射光的光谱。具有高光谱分辨率的光谱仪已经利用强散射介质被证明。通过将这些光谱仪以2D阵列布置在单个成像仪上，可以通过一次拍摄来实现多光谱成像。然而，阵列中每个光谱仪元件的大尺寸将技术的空间分辨率限制为仅10×10个像素。为了通过散射介质更好地成像，已引入了用于减少或消除散射效应的许多技术，例如自适应光学、波前成形、多光子荧光成像或光学相干断层扫描(OCT)。近来，通过一系列测量将散射介质的输入映射到输出的传递矩阵求逆方法将散射介质用作用于成像的散射透镜。散射透镜捕获具有较大横向动量的光的能力允许非常高分辨率的成像。对于通过散射介质的光传输，存在太多的传播模式。因此，在映射过程中仅针对单个波长对这些模式的良好表征耗费大量数据，因此图像重构过程需要大量计算。

此外，随着计算机科学和信息技术的发展，近年来，信息安全已变得更具挑战性并引起了很多关注。由于出现了并行信号处理、多维操作和越来越高的计算能力，光学加密技术已被广泛研究。1995年，提出了用于光学加密技术的双随机相位编码(DRPE)的开创性工作。此后，已经报道了许多扩展的光学加密算法和方案(例如，分数傅里叶域和菲涅耳域)以提高安全强度和扩大存储容量。与原始的DRPE算法类似，这些方法利用两个独立的随机相位掩模(RPM)作为安全密钥，以将明文转换为平稳且看似的白噪声。然而，在这些已知方法中使用相干照明是一个缺点。不仅加密系统，基于相干照明相位的任何光学系统都对数据处理期间的光学未对准和不可避免的相干伪像噪声高度敏感。为了避免相干照明的这些问题或约束，最初关于相干照明而建立的一些有趣技术已被重新开发用于非相干照明，例如，菲涅耳非相干相关全息术、非相干数字全息自适应光学器件和一些非相干光学相关器。

类似地，非相干照明也已经用于光学密码系统。提出了使用一个简单的光学漫射器作为RPM和一个成像透镜，以大大降低系统的复杂性并减少由相干伪像噪声产生的误差。然而，像其他光学密码系统一样，基于非相干照明的光学密码系统也可能易于遭受唯密文攻击(COA)、已知明文攻击(KPA)、选择明文攻击(CPA)、蛮力攻击和选择密文(CCA)等。在这些当中，COA是最难的攻击，它要求在没有任何附加信息的情况下解密密文。然而，该领域的最新发现表明，由于密文的自相关本质上类似于明文的自相关，因此基于漫射器的非相干光学密码系统易受到COA的攻击。因此，通过采用相位检索算法，可以在不知道安全密钥的情况下恢复明文。基本原理依赖于两个光学现象：(1)点源通过散射介质产生的完全随机的散斑，以及(2)散射介质的记忆效应。前者暗示点的散斑图案(或点扩散函数，PSF)的自相关是脉冲函数。光学记忆效应表明，来自对象上附近点的光将在散射介质的另一侧上生成几乎相同但移位的随机散斑图案(即移位的PSF)。记忆效应意味着系统的记忆效应区域内的平移不变PSF。因此，通过散射介质保持了对象在记忆效应区域内的自相关。因此，提高基于非相干照明的光学密码系统的安全性至关重要。

此外，光学成像是用于识别具有大量信息的周围世界的最简单和直接的方法之一。望远镜、显微镜和相机技术的发明和发展已经推动了从天文观测到生物医学研究的众多领域中以及我们日常生活中的创新。遗憾的是，仍然存在一些现实生活中的障碍，例如大气湍流、生物组织甚至珠帘，这些障碍在不同级别上降低了感兴趣对象的可见性。这些散射介质包含折射率或吸收系数的不均匀性，以在来自原始对象的理想光路上产生随机的相位或振幅畸变。这可能导致检测上的复杂的散斑图案，并且可能损害光学观察。因此，在过去的几十年中，通过那些散射介质成像已成为热门话题和重要的技术挑战。

为了克服这些限制，随着光学散射理论和光电设备的发展，已经提出了各种新颖、突破和实用的方法。成功技术之一光学相干断层扫描(OCT)可以利用未散射的弹道光和扫描门窗口来捕获静态图像，相反，所需的弹道光子量将限制通过散射介质的穿透深度。由于在大多数情况下散射介质主要在光传播之后扰乱相位信息，因此另一种直接的方法是尝试补偿相位扰动。从天文观测的自适应光学技术中获知，可以使用空间光调制器(SLM)来发挥可变形镜的作用，并减少或校正低阶像差。这种波前成形方法为通过散射介质聚焦和成像铺平了道路。然而，它需要在亮引导星的帮助下的迭代算法作为反馈机制的一部分，以有效降低或“消除”像差。SLM还通过将散射光的透射波前记录在光学机构(setup)中来允许全息相位图案形成相位共轭的波前，但是该机构需要严格的光学对准以记录散射样本的透射矩阵。

通过利用散斑强度相关性进行成像已经提出了另一组想法，其中可以将散射介质视为散射透镜，利用记忆效应(ME)来进行成像。ME规定，当照明角度在特定的ME范围内变化时，在散射介质之后观察到的随机散斑图案被移位(即，高度相关)。通过估计该ME区域，可以利用超窄带照明来非侵入地恢复小于该大小的非常稀疏的对象。此外，ME行为被证明保证了散斑图像的强度自相关与对象本身的自相关大致相同。换句话说，由于ME和散斑图案的随机性，对象的自相关通过散射介质大部分被保持。单次散斑模式足以借助相位检索算法来重构对象。

由于有限的ME区域，利用强散射介质的光学成像系统经受较小的FOV。对象平面上的可用或ME区域(即FOV)与散射介质的厚度L成反比，并且与从对象平面到散射介质的距离u成反比。该基于ME的FOV用公式FOV_ME≈uλ/πL估计。大于ME区域的对象产生不需要的散斑图案；对象自相关不能被保持，并且相位检索也不再可能。在这种情况下反卷积成像变得有用，其中散射介质可以被视为散射透镜。通过适当地定位散射介质和光学组件，可以充分利用固有的ME区域。然而，光学成像系统的FOV仍然受到强散射介质的ME区域的限制，并且不需要的散斑图案仅导致重构伪像。另一种更高级的方法是在边缘处的对象上添加一些适当的倾斜照明角(即，倾斜的波矢量)，以在漫射器上保持相同的照明区域，并且针对较大的移位位置允许散斑图案的高互相关。然而，ME行为仍然对FOV给出了最严格的约束，并且仅位于该区域内的对象可以利用各种后处理被重构。对于超出基于ME的FOV的对象，对象的光通过散射介质传播到相机，并且最终产生不相关的信号，从而导致重构噪声。

发明内容

本发明在独立权利要求中定义。本发明的进一步的实施例在从属权利要求中定义。

根据一个实施例，提供了一种用于成像的装置。所述装置可以包括处理器和耦接到所述处理器的存储器，所述存储器中存储有指令，所述指令在由所述处理器执行时，使所述处理器：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在至少一个属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。

根据一个实施例，提供了一种用于成像的方法。所述方法可以包括：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在至少一个属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。

根据一个实施例，提供了一种用于成像的装置。所述装置可以包括处理器和耦接到所述处理器的存储器，所述存储器中存储有指令，所述指令在由所述处理器执行时，使所述处理器：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在光谱属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述光谱属性。

根据一个实施例，提供了一种用于成像的方法。该方法可以包括：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在光谱属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述光谱属性。

根据一个实施例，提供了一种用于成像的装置。所述装置可以包括处理器和耦接到所述处理器的存储器，所述存储器中存储有指令，所述指令在由所述处理器执行时，使所述处理器：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在空间属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述空间属性。

根据一个实施例，提供了一种用于成像的方法。所述方法可以包括：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在空间属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述空间属性。

根据一个实施例，提供了一种用于成像的装置。所述装置可以包括处理器和耦接到所述处理器的存储器，所述存储器中存储有指令，所述指令在由所述处理器执行时，使所述处理器：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在角度属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述角度属性。

根据一个实施例，提供了一种用于成像的方法。所述方法可以包括：利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，其中，所述每个点扩散函数在角度属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述角度属性。

根据一个实施例，提供了一种计算机程序或计算机程序产品。所述计算机程序或计算机程序产品可以包括指令，所述指令在由计算设备执行时，使所述计算设备执行本文中所述的用于成像的方法。

附图说明

在附图中，贯穿不同的视图，相似的附图标记通常指相似的部分。附图不一定按比例绘制，而是通常将重点放在说明本发明的原理上。在以下描述中，参考以下附图描述本发明的各种实施例，在附图中：

图1A示出了根据各种实施例的用于成像的装置的示意性框图。

图1B至图1E示出了根据各种实施例的用于成像的方法。

图2A示出了图示各种实施例的多光谱成像技术的示意图。每个比例尺代表20个像素。

图2B示出了机构和使用散射介质和单色相机重构的多光谱图像的示意图。比例尺在散斑图案中代表1000μm，在其他图像中代表100μm。

图2C示出了互相关与光谱点扩散函数(PSF)的光谱重叠之间的关系。每个比例尺代表100μm。

图2D示出了窄带多光谱成像的结果。每个比例尺代表100μm。

图2E示出了混合和渐变多光谱对象的重构。比例尺在散斑图案中代表1000μm，在其他图像中代表100μm。

图3A示出了图示非相干光学密码系统的抵抗唯密文攻击(COA)的强度的曲线图，所述非相干光学密码系统具有宽带照明和小密文尺寸。

图3B和图3C示出了线性光学密码系统中的位置复用技术。

图3D示出了在具有一个散射介质的密码系统中各种实施例的位置复用技术的证明。比例尺在密文和密钥中代表200个像素，在解密中代表20个像素。

图3E示出了参考窗口与以不同移位提取的窗口之间的互相关。

比例尺代表200个像素。

图3F示出了具有利用各种空间密钥的拼接一维(1D)解密。针对密文和密钥，比例尺代表为200个像素，针对解密，比例尺代表20个像素。

图3G示出了利用各种空间密钥的拼接二维(2D)解密。比例尺代表20个像素。

图4A示出了各种实施例的视场(FOV)技术的机构的示意图。

图4B示出了在各种实施例的光学系统中有限FOV的测量和图像恢复。比例尺代表1000μm。

图4C示出了具有各种空间PSF的有限FOV。比例尺代表1000μm。

图4D示出了叠加的重构以扩大有限的FOV。比例尺代表1000μm。

图5示出了用于各种实施例的多视图成像的机构的示意图。

具体实施方式

以下详细的描述参考附图，该附图通过图示说明的方式示出了可以实践本发明的具体细节和实施例。对这些实施例充分详细地进行了描述，以使本领域技术人员能够实践本发明。在不脱离本发明的范围的情况下，可以利用其他实施例，并且可以进行结构、逻辑和电气改变。各种实施例不必互相排斥，因为一些实施例可以与一个或多个其他实施例结合以形成新的实施例。

在实施例或技术的上下文中描述的特征可以相应地适用于其他实施例或技术中的相同或类似特征。在实施例或技术的上下文中描述的特征可以相应地适用于其他实施例或技术，即使在这些其他实施例中没有明确描述。此外，在实施例或技术的上下文中针对特征所描述的添加和/或组合和/或替代可以相应地适用于其他实施例或技术中的相同或类似的特征。

在各种实施例的上下文中，关于特征或元件使用的冠词“一”、“一个”和“所述”包括对特征或元件中的一个或多个的引用。

在各种实施例的上下文中，应用于数值的术语“约”或“近似”涵盖精确值和合理的差异。

如本文中使用的，术语“和/或”包括相关列表项目中的一个或多个的任何和所有组合。

如本文中使用的，“A或B中的至少一个”的形式的短语可以包括A或B或A和B两者。相应地，“A或B或C中的至少一个”的形式的短语，或包括其他列表项目，可以包括相关列表项目中的一个或多个的任何和所有组合。

各种实施例可以提供利用散射介质的复用和解复用方法，以实现单次多光谱成像技术，扩大视场成像并增强光学密码。

各种实施例可以涉及一种方法，该方法使用包括散射介质和成像传感器在内的相机系统来复用和解复用对象内容，从而：(1)形成多光谱图像(例如，单次多光谱成像)，(2)放大(单次)成像的视场(FOV)，(3)提供单次多视图成像，以及(4)增强光学加密。

(单次)多光谱成像方法可以包括：

(a)配置用于收集来自对象的通过散射介质的多光谱光的机构；

(b)在散射介质的另一侧或通过散射介质来拍摄对象的(单个)灰度散斑图像；

(c)导出多个计算(数字)光谱滤光器，每个计算(数字)光谱滤光器具有不同的波长或光谱带。光谱滤光器可以是散斑图案的形式，每个散斑图案是具有不同波长或光谱带的点通过散射介质的图像。(b)和(c)中的动作可以以任何顺序/序列进行；

(d)在来自灰度散斑图像的每个光谱带处基于光谱滤光器(来自(c))来重构光谱带图像(意味着可以利用多个光谱滤光器从单个散斑图像中重构多个光谱带图像)；以及

(e)布置在(d)中获得的光谱带图像以形成多光谱图像。

(单次成像的)放大视场(FOV)方法可以包括：

(a)配置机构以收集来自大对象的通过散射介质的光；

(b)在散射介质的另一侧或通过散射介质来拍摄对象的单次散斑图像；

(c)导出多个计算(数字)透镜或空间滤光器，每个计算(数字)透镜或空间滤光器具有在对象的不同空间位置处的焦点。空间滤光器可以是散斑图案的形式，每个散斑图案是在不同位置处的点通过散射介质的图像。(b)和(c)中的动作可以以任何顺序/序列进行；

(d)从单次散斑图像和各种空间滤光器(来自(c))重构对象的小视场图像；以及

(e)从在(d)处获得的多个小视场图像中重构放大的视场图像。

多视图成像方法可以包括：

(a)配置机构以收集虹膜在不同角度下从不同方位角来自三维(3D)对象的通过散射介质的光；

(c)导出以散斑图案的形式的多个计算(数字)角度滤光器，每个计算(数字)角度滤光器是点通过散射介质和对应虹膜两者的图像，所述虹膜以不同方位角朝向该点。(b)和(c)中的动作可以以任何顺序/序列进行；以及

(d)基于来自单次散斑图像的各种角度滤光器(来自(c))来重构多视图图像。

增强光学密码方法可以包括：

(a)配置机构以收集来自对象的通过散射介质的超宽带光；

(b)将在散射介质的另一侧或通过散射介质的对象的散斑图像的小部分或小片段作为密文，该密文可以小于成像平面上对象的大小；

(c)导出固定的解密密钥，每个解密密钥可以用于解密对象的不同部分。每个解密密钥可以是点的通过散射介质的散斑图像的小部分。(b)和(c)中的动作可以以任何顺序/序列进行；以及

(d)从小片段t散斑图像或密文以适当顺序和位置利用多个解密密钥(来自(b))对整个对象进行解密。

图1A示出了根据各种实施例的用于成像的装置100的示意性框图。装置100包括处理器102和耦接到处理器102的存储器104。存储器104和处理器102可以彼此耦接(如线106所示)，例如，物理耦接和/或电耦接。

在各种实施例中，存储器104中存储有指令，该指令在由处理器102执行时，使得处理器102利用多个点扩散函数来处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数来检索与来自散斑图像的对象相关联的信息，其中所述每个点扩散函数在至少一个属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中，该信息与至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性的对象的一部分相关联。

换句话说，根据由处理器102执行的指令，可以利用多个点扩散函数(PSF)来处理与对象相关联的散斑图像(或散斑图案)。每个点扩散函数可以在至少一个属性(或特性)上与多个点扩散函数中的另一个点扩散函数不同。应当理解，所述至少一个属性与多个PSF相关联。散斑图像可以通过使源自对象的光穿过散射介质来生成。可以利用来自至少一个(光学或光)点源的通过散射介质的光来生成PSF。针对利用散斑图像处理的点扩散函数(PSF)中的每一个PSF，处理器102可以从散斑图像中检索或获得与对象相关联的信息(或细节)。可以从散斑图像检索的信息的类型或性质取决于利用散斑图像处理的每个PSF，例如，取决于与所述每个PSF相关联的所述至少一个属性。可以检索到的信息可以与对象的一部分(或区段)相关联，该对象的一部分(或区段)可以至少基本上对应于或匹配与所述每个PSF相关联的所述至少一个属性。对于所述每个PSF，可以检索到的信息可以包括与对象的所述一部分相关联的信息。

在各种实施例中，可以经由或使用相同的散射介质来生成散斑图像和PSF。

散斑图像本身可以是点扩散函数(PSF)。

散斑图像可以是灰度图像。

散斑图像可以包含与对象相关联(或相对应)的信息或细节，例如，空间信息和/或光谱信息。

可以利用每个PSF来处理单个散斑图像，以检索信息。

可以通过处理散斑图像和每个PSF来检索的与对象相关联的信息可以包括光谱信息或空间信息中的至少一个。

在各种实施例中，处理器102可以执行指令以进一步使处理器102基于检索到的多个信息来生成(或重构)结果图像，所述结果图像表示对象的至少一部分。

在各种实施例中，为了利用多个PSF对散斑图像进行处理，处理器102可以执行指令以使处理器102执行散斑图像与多个PSF之间的反卷积处理。

在各种实施例中，多个PSF可以存储在存储器104中。

在各种实施例中，装置100还可以包括用于生成散斑图像和多个PSF的散射介质。穿过散射介质的光可以生成散斑图像或多个PSF中的至少一个，取决于光的起源。在各种实施例的上下文中，散射介质可以包括光学漫射器或相位掩模，例如，结构化相位掩模或随机相位掩模(RPM)。

在各种实施例中，装置100还可以包括用于捕获(或收集)散斑图像和多个PSF的成像设备。成像设备可以是单色成像设备。

在各种实施例的上下文中，至少一个属性可以包括光谱属性(或颜色)或空间属性(或位置)中的至少一种。

在各种实施例中，至少一个属性可以包括或者可以是光谱属性，并且每个PSF和另一个PSF可以与不同的光谱带相关联。

在各种实施例中，光谱属性可以与波长(光谱值)或波长范围(光谱带)相关联。作为非限制性示例，每个PSF可以由相应光谱值或波长的(光或光学)点源生成。这可以意味着每个PSF可以充当光谱滤光器。可以以不同的光谱值或波长(或光谱带)产生多个PSF。可以从相同的点源或使用相同的点源来生成多个PSF。可以从位于相同位置的点源或使用位于相同位置的点源来生成多个PSF。可以基于源自对象的多光谱光来生成散斑图像。在实施例中，可以基于光谱属性来提供多光谱成像。

在各种实施例中，至少一个属性可以包括或者可以是空间属性，并且每个PSF和另一个PSF可以与对象的不同部分相对应。

在各种实施例中，空间属性可以与(光或光学)点源的位置(例如，相对于对象平面而言，对象可以被放置在所述对象平面)相关联。作为非限制性示例，每个PSF可以由相应位置处的点源生成，所述相应位置与对象的相应部分相对应或对准。这可以意味着每个PSF可以充当空间滤光器。此外，每个PSF可以充当区域视场(FOV)或记忆效应(ME)区域。可以经由不同的点源位置来生成多个PSF。可以从可移动到不同位置的点源或不同位置处的不同点源来生成多个PSF，或者使用所述可移动到不同位置的点源或不同位置处的不同点源来生成多个PSF。可以基于源自放大的对象的光来生成散斑图像。至于术语“放大的对象”，它是指对象的大小或尺寸大于或超过用于产生散斑图像和多个PSF的散射介质的记忆效应(ME)区域。在实施例中，可以基于空间属性来提供放大的视场(FOV)成像。

在各种实施例中，处理器102可以执行指令以进一步使处理器102使用多个信息来执行迭代处理以生成结果图像。迭代处理可以是自动加权求平均的迭代处理。

在各种实施例中，存储器104中存储有指令，这些指令在由处理器102执行时，使处理器102利用多个点扩散函数(PSF)来处理与对象相关联的散斑图像(或散斑图案)，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在光谱属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的光谱属性。应当理解，光谱属性与所述多个PSF相关联。

在各种实施例中，存储器104中存储有指令，当指令由处理器102执行时，其使处理器102使用多个点扩散函数(PSF)来处理与对象相关联的散斑图像(或散斑图案)，以针对所述多个点扩散函数中的每个点扩散函数，从散斑图像中检索与对象相关联的信息，其中，所述每个点扩散函数在空间上与所述多个点扩散函数中的另一个点扩散函数不同属性，并且其中信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的空间属性。应当理解，空间属性与所述多个PSF相关联。

在各种实施例中，存储器104中存储有指令，所述指令在由处理器102执行时，使处理器102利用多个点扩散函数(PSF)来处理与对象相关联的散斑图像(或散斑图案)，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在角度属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的角度属性。应当理解，角度属性与所述多个PSF相关联。

散斑图像可以包含与对象相关联(或相对应)的信息或细节，例如，角度信息。可以存在其他信息，包括但不限于光谱信息或空间信息中的至少一个。

在各种实施例中，处理器102可以执行指令以进一步使处理器102基于检索到的多个信息来生成(或重构)表示对象的至少一部分的结果图像。

在各种实施例中，多个PSF可以存储在存储器104中。

在各种实施例中，装置100还可以包括用于生成散斑图像和多个PSF的散射介质。穿过散射介质的光可以产生散斑图像或多个PSF中的至少一种，取决于光的起源。在各种实施例的上下文中，散射介质可以包括光学漫射器或相位掩模，例如，结构化的相位掩模或随机相位掩模(RPM)。

在各种实施例中，装置100还可以包括用于捕获(或收集)散斑图像和多个PSF的成像设备。该成像设备可以是单色成像设备。

在各种实施例中，所述每个PSF和所述另一个PSF可以与相对于点源的不同角度相关联，所述点源用于生成所述每个PSF和所述另一个PSF。

在各种实施例中，角度属性可以与针对用于生成点扩散函数(PSF)的散射介质(的一部分)相对于(光或光学)点源而定义的。该角度可以是方位角。作为非限制性示例，每个PSF可以由在相应角度处的点源生成。这可以意味着每个PSF可以充当角(或角度)滤光器。可以经由不同的点源角度来生成多个PSF。可以从单点源或不同点源来生成多个PSF，或使用单点源或不同点源来生成多个PSF。可以基于源自对象的光来生成散斑图像。对象可以是三维(3D)对象。在实施例中，可以基于角度属性来提供多角度视图成像。

应当理解，在用于成像的装置100的上下文中的描述可以相应地适用于用于成像的另一装置100。

在各种技术或实施例的上下文中，可以使用对象的单次散斑图像。

在各种技术或实施例的上下文中，可以基于与PSF相关联的属性(例如，光谱属性、空间属性或角度属性中的至少一个)来依次(或顺次)对多个点扩散函数(PSF)进行分类或布置。可以依次对与对象和PSF相关联的散斑图像执行处理。

图1B示出了根据各种实施例的用于成像的方法。在120处，利用多个点扩散函数(PSF)来处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在至少一个属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。

在各种实施例中，可以基于(或使用)检索到的多个信息来生成表示对象的至少一部分的结果图像。

在各种实施例中，在120处，为了利用多个PSF对散斑图像进行处理，可以执行散斑图像与多个PSF之间的反卷积处理。

该方法还可以包括(例如，经由散射介质)生成多个PSF和/或(例如，经由散射介质)生成散斑图像。相同的散射介质可以用于生成多个PSF和散斑图像。

在各种实施例中，至少一个属性可以包括光谱属性或空间属性中的至少一个。

在各种实施例中，至少一个属性可以包括或者可以是光谱属性，并且所述每个PSF和所述另一个PSF可以与不同的光谱带相关联。

在各种实施例中，至少一个属性可以包括或者可以是空间属性，并且所述每个PSF和所述另一个PSF可以与对象的不同部分相对应。

在各种实施例中，为了生成结果图像，可以使用多个信息来执行迭代处理以生成结果图像。迭代处理可以是自动加权求平均的迭代处理。

图1C示出了根据各种实施例的用于成像的方法。在122处，利用多个点扩散函数(PSF)对与对象相关联的散斑图像处理，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在光谱属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的光谱属性。

图1D示出了根据各种实施例的用于成像的方法。在124处，利用多个点扩散函数(PSF)对与对象相关联的散斑图像进行处理，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在空间属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的空间属性。

图1E示出了根据各种实施例的用于成像的方法。在126处，利用多个点扩散函数(PSF)对与对象相关联的散斑图像进行处理，以针对所述多个点扩散函数中的每个点扩散函数从散斑图像中检索与对象相关联的信息，其中所述每个点扩散函数在角度属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且其中该信息与对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的角度属性。

在各种实施例中，在126处，为了利用多个PSF对散斑图像进行处理，可以执行散斑图像与多个PSF之间的反卷积处理。

在各种实施例中，所述每个PSF和所述另一个PSF可以与相对于用于生成所述每个PSF和所述另一个PSF的点源的不同角度相关联。

在各种技术或实施例的上下文中，反卷积处理可以是维纳(Wiener)反卷积。然而，应当理解，可以采用任何适当的反卷积处理或检索操作。

应该理解，在图1B至图1E的上下文中描述的方法中的任何一种的上下文中的描述可以相应地适用于在图1B至图1E的上下文中描述的方法中的另一种。

此外，应当理解，在用于成像的装置100的上下文中的描述可以相应地适用于在图1B至图1E的上下文中描述的方法中的任何一种。还应当理解，在图1B至图1E的上下文中描述的方法中的任何一种的上下文中的描述可以适用于用于成像的装置100。

各种实施例还可以提供一种计算机程序或计算机程序产品，其可以包括指令，所述指令在由计算设备执行时，使计算设备执行本文中所描述的用于成像的方法。用于成像的方法可以是图1B至图1E的上下文中所描述的方法中的任何一种。

现在将描述多光谱成像技术。各种实施例可以利用单色相机实现单次多光谱成像。

多光谱成像在从天文成像、地球观测到生物医学成像的许多应用中起着重要作用。对象的多个特征可以被揭示出来，因为它们与光的相互作用可以取决于波长。然而，当前的技术由于多个对准敏感的组件、制造中预确定的空间和光谱参数而是复杂的。各种实施例可以提供单次多光谱成像技术，由于散斑图案的空间相关性和光谱去相关性，该单次多光谱成像技术可以利用简单光学机构为最终用户提供灵活性。这些看似随机的散斑图案是由来自点光源的传播通过(强)散射介质的光而生成的点传播函数(PSF)。PSF的空间相关性可以允许通过反卷积技术来图像恢复，而PSF的光谱去相关性可以允许其在反卷积处理中起到可调谐光谱滤光器的作用。在散射介质的另一侧上拍摄的对象的单个灰度散斑图像可以包含必要的空间和光谱信息，可以利用多光谱PSF通过反卷积来检索这些信息。这些光谱的PSF对于所有样本和分析是不变的，并且它们可以仅需要在任何时间测量一次。利用强散射介质的光学物理和计算机成像的各种实施例的技术提出了一种用于多光谱成像的经济有效的方法，该方法对于光谱学也具有很大优势和的潜力。由于记录的图像是不可察觉的随机散斑图案，因此每个图像也可以视为加密图像。该技术可以提供一种简单的方法，该方法利用强散射介质对单个二维(2D)图像中的空间和光谱信息进行复用，或者从单个2D图像中检索空间和光谱信息两者。后处理技术对空间和光谱信息进行解复用。包括光谱分辨率和光谱范围在内的空间和光谱信息之间的折中可以取决于分析人员的选择，以利用2D成像仪的全容量。

图2A示出了基于非限制性数值示例(模拟结果)使用散射介质和单色相机的各种实施例的多光谱成像技术的示意图。来自(多)光谱对象250的传播通过强散射介质252的光251可以在单色相机254上生成散斑图案253。通过各个光谱带过滤(或利用不同的光谱带照明)的由中心点对象产生的散斑图案被记录为多个光谱PSF(统称为255)。然后可以利用反卷积技术从单色散斑图像253并使用对应的光谱PSF 255来重构各个光谱带图像(统称为256)。随后，可以通过叠加各个光谱图像256来创建对象250的全光谱图像258。应当理解，可以从单个散斑图像253中恢复各种多光谱图像256。

透射通过散射介质的光不是完全随机的。相反，它在有限范围内“记住”其原始方向。这种记忆效应意味着，当光入射角在记忆效应范围内改变Δα时，距散射介质距离v处的散斑图案可以线性移动Δl＝νΔα。换句话说，如果点源横向移位Δx并且u是从点源到散射介质的距离(Δα≈Δx/u)，则由点源生成的散斑图案(即点扩散函数PSF)可以移位Δl＝vΔx/u。PSF的平移不变性或散斑图案的空间相关性可以允许相位检索算法通过散射介质来恢复对象而无需介质表征。PSF的空间相关性或PSF平移不变性对于该技术是有用的，但是散射介质的波长相关响应可能产生关于波长的去相关的PSF，并且可能降低图像重构质量。因此，单色伪非相干光源(例如，动态漫射的激光)可能可以是优选的。通过一次PSF测量就可以通过反卷积方法从散射介质后面的对象O的散斑图案强度I中恢复该对象O。在这种情况下，可以从对象的散斑图案重构对象的宽带图像，其中散射介质起到成像透镜的作用。利用多个光学滤光器的多次拍摄或利用集成的多个滤光器的一次拍摄(如在彩色相机中)可以用于光谱成像。在各种实施例中，通过利用散射介质中的光谱去相关效应，可以仅用单色相机而不用光学滤光器来执行单次多光谱成像。

在散射介质的记忆效应区域内，PSF是线性平移不变的。因此，在散射介质之后捕获的散斑图案I是对象O与光学系统的PSF的卷积(表示为*)，其可以表示为：

I＝O*PSF 等式(1)。

应当理解，所捕获的散斑图案或图像也可以表示为I_λ，对象也可以表示为O_λ，并且PSF可以是PSF_λ，其中λ是波长。

可以使用光学系统的PSF(例如，在波长λ处)，通过反卷积从对象O的散斑图案I中恢复对象O。反卷积处理可以表示如下：

其中(..)^c是复共轭，FFT(..)和FFT^-1(..)分别是傅立叶变换及和傅立叶逆变换。等式(2)中的反卷积是可能的，因为空间域中的卷积变为傅立叶域中的乘法：

FFr(O*PSF)＝FFT(O)FFT(PSF) 等式(3)。

作为强散射介质(或强散射介质的光谱依赖行为)中的光谱去相关的结果，散斑图案可以与波长相关；并且光谱分离的光源可以产生不相关的散斑图案。该光谱去相关可以在数学上表示如下：

其中，★是相关运算符，λ是波长，δ是空间脉冲函数。

宽带或多光谱对象的散斑图案是散射介质与对象的光谱带宽中的所有波长的复合响应(请参见图2A的最上一行图像)，如下：

I＝∑_λI_λ＝∑_λ(O_λ*PSF_λ) 等式(5)。

由于FFT(A★B)＝FFT(A)FFT(B)^c，可以推导以下关系：

FFT(I)FFT(PSF_λ)^c＝FFT(I_λ)FFT(PSF_λ)^c 等式(6)。

此外，使用前述光谱去相关特性(等式(4))，还可以推导以下关系：

deconv(I，PSF_λ)^c≈deconv(I_λ，PSF_λ)^c 等式(7)。

因此，可以从单个单色图像I重构对象的每个光谱分量，如下：

参考图2A，作为示例，每个PSF_λ或光谱PSF 255不仅用于通过反卷积进行图像重构，而且还可以起到光谱滤光器的作用。对象250的单个散斑图像(I)253包含空间信息和光谱信息两者，其经由多光谱PSF被正交复用。反卷积算法可以解复用并恢复隐藏的光谱图像。如图2A所示，恢复九个单独的光谱图像256可以来自于具有非常高保真度的九个对应光谱PSF 255。可以通过叠加这些多光谱图像256来获得对象250的全光谱图像258。

可以采用理想的无噪声场景进行模拟，其中可以独立地从瑞利(Rayleigh)分布生成针对九个不同光谱分量的九个随机PSF(例如255)。最终的散斑图案(例如，253)可以通过光谱散斑的叠加来形成，所述光谱散斑是经由光谱对象(例如，250)与其相应的光谱PSF(例如，255)的卷积而产生的。

应当理解，本文中呈现的单个波长λ可以扩展为光谱带，而λ的不同值可以呈现不同的分开的带。

为了测量目的，图2B示出了使用散射介质261和单色相机262的机构260和重构多光谱图像的示意图。可以使用不具有放大透镜的投影仪263在第一虹膜(Iris1)264a的平面(对象平面)上产生一个或多个(2D)多光谱对象，所述第一虹膜(Iris1)264a阻挡来自投影仪263的任何杂散光。可以利用与投影仪显示技术的三原色(红色、绿色和蓝色(RGB))相对应的3个光谱带来生成一个或多个对象。光路径可能被散射介质(或光学漫射器)261扰乱，然后在穿过第二光圈(Iris2)264b之后进入单色相机262，该第二虹膜(Iris2)264b起到成像系统260中的光圈的作用。

选择分别为RGB颜色的三个字母“NTU”作为对象平面处的对象265，并且可以由单色相机262捕获对应的原始散斑图案266。该3个字母对象265的大小约为1.5mm×0.4mm，这恰好在由散射介质261的记忆效应限定的光学成像系统260的视场(3.2mm)内。

可以在投影仪263的中心像素(同时关闭所有其他像素)上或使用所述中心像素来显示四种不同的颜色(RGB和白色)以产生有效的多光谱点源。然后，相机262可以将这些多光谱点源相应的散斑图像或PSF(未示出)作为用于成像系统260的多光谱PSF。图2B示出了通过将散斑图案266与对应的光谱PSF进行反卷积而恢复的多光谱图像267a(对于红色“N”)、267b(对于绿色“T”)、267c(对于蓝色“U”)、267d(对于白色“NTU”)及其中心行(在图2B中用两个箭头标记)的强度，中心行的强度在图像267a、267b、267c、267d中的每一个下方呈现。

每个光谱PSF成功地重构了相应字母。如图像267d所示，最广光谱PSF(白色PSF)重构了所有三个字母NTU。这是预期的，因为在投影仪显示技术中，白色图案和白色PSF分别由三个单独的RGB图案和RGB PSF组成。如还可以在中心行的相应强度中指示的那样，在绿色光谱图像267b中可以观察到暗淡的字母U，并且在蓝色光谱图像267c中可以观察到暗淡的字母T。

可以通过叠加三个单独的RGB光谱图像267a、267b、267c来构建合成的多光谱图像268，以实现“全色”图像，从而以v/u≈0.42的放大率成功恢复原始多光谱对象“NTU”264。

实际上，绿色通道和蓝色通道之间的“串扰”效应来自这些蓝色和绿色光谱PSF之间约0.1941的相对高的互相关系数，如图2C中呈现的结果集270所示，图2C示出了白色、RGB光谱PSF及其互相关系数。另一方面，红色光谱PSF与绿色光谱PSF和蓝色光谱PSF的小的互相关系数(分别为0.0691和0.0255；参见结果270)仅导致光谱图像的背景噪声。根据等式(4)中所示的数学关系，光谱PSF可以起到光谱滤光器的作用，其中两个光谱PSF之间的互相关系数呈现了光谱带经由另一个光谱带滤光器的“透射系数”。这可以解释在所恢复的白色光谱图像267d(图2B)中的观察结果。最亮的字母“T”对应于绿色光谱PSF与白色光谱PSF之间的最高互相关系数(0.8660)(参见结果270)，并且白色光谱PSF与红色和蓝色光谱PSF之间的几乎类似的互相关系数(分别为0.4536和0.4374；参见图270；参见结果270)导致重构的字母“N”和“U”的类似强度(参见图2B的图像267a、267c)。

为了理解PSF中的串扰的性质，可以分析由投影仪263(图2B)产生的不同频带的光谱。结果如曲线图271所示，其中示出了四光谱PSF(RGB和白色)的光谱。可以观察到白色光谱271a是三个RGB光谱带271b、271c、271d的总和。然而，RGB带271b、271c、271d在光谱上没有分开。蓝色带271d与绿色带271c具有明显的光谱重叠，证明了它们的高PSF相关性。蓝色光谱PSF 271b和红色光谱PSF 271d不存在光谱重叠，使得它们的互相关系数可忽略。绿色光谱271c对白色光谱271a贡献最大的强度，因此，绿色PSF 271c对于白色PSF 271a具有最高的互相关系数。在绿色的所恢复的光谱图像267b和蓝色的所恢复的光谱图像267c(图2B)中分别出现的暗淡字母“U”和“T”说明了本文所公开的技术在空间和光谱上解决来自多光谱对象的弱信号的能力。

为了进一步证明PSF的光谱过滤作用，在测量PSF时可以使用较窄的RGB带通滤光器，以避免任何光谱重叠，其中透射的光谱可以被测量。RGB带通滤光器可以位于投影仪263和相机262之间的光路径中的任何位置。RGB带通滤光器可以优选地位于邻近投影仪263处并在其前面。然而，应当理解，RGB带通滤光器可以替代地位于邻近相机262处并在其前面。使用RGB颜色的三个窄带PSF的结果显示在曲线271图中。白色PSF和RGB窄光谱PSF连同其互相关系数在结果集272中被示出，结果集272说明这些窄光谱PSF呈现可忽略的互相关系数，如可以从这些窄光谱PSF的分开的光谱以及在强散射介质261(图2B)中的光谱去相关效应来预期的。

图2D示出了窄带多光谱成像的结果，其中示出了通过相同的原始散斑图像266(图2B)与对应的窄光谱PSF(请参见结果272)反卷积而重构的RGB光谱图像275a(对于红色“N”)、275b(对于绿色“T”)、275c(对于蓝色“U”)以及跨越这些光谱图像的中心行的强度(图2D中用两个箭头标记)，跨越中心行的强度在图像275a、275b、275c中的每一个下方呈现。三个清晰的字母“N”、“T”和“U”正好出现在其对应的光谱图像275a、275b、275c处而没有任何串扰，如在这些光谱图像在中间行处的强度所示。

根据上述以及获得的结果表明，具有任何带的多光谱图像可以被嵌入到原始散斑图像(例如，图2B的266)中，并且可能需要的(仅)是多光谱PSF以检索所期望的多光谱图像。每个光学配置(例如，散射介质(或光学漫射器)(例如，图2B的261)和单色相机(例如，图2B的262)可以具有唯一且未改变的光谱PSF，所述光谱PSF可以(仅)需要被测量一次以用于所有样本和分析。成像系统的光谱响应可以由相机和散射介质的吸收系数来定义。在各种实施例中，仅通过添加玻璃漫射器，就可以在从约250nm的紫外线(UV)到约1100nm的近红外(IR)的宽范围内执行任何光谱带的单次多光谱成像。此外，应该理解，荧光样本可以用作用于成像的对象(例如，图2B的265)。

图2E示出了混合和渐变多光谱对象的重构，以说明该技术对于更复杂的光谱信息的能力。生成分别以青色、品红色和黄色(CMY)颜色呈现的多光谱“CDG”字母作为对象280a。在显示技术中，CMY颜色是由三原RGB颜色的组合生成的：青色是绿色和蓝色的混合，品红色是红色和蓝色的混合，黄色是红色和绿色的混合。作为另一示例，还生成具有渐变和混合彩虹颜色的圆环形式的复杂多光谱对象280b。图2E还示出了由单色相机针对各个对象280a、280b捕获的原始散斑图案或图像281a、281b。

采用用于恢复图2B的图像267a、267b、267c、267d的四个光谱PSF(未示出)以用于对原始散斑图像281a、281b进行反卷积的反卷积处理。多光谱图像(统称为282a)是从原始散斑图像281a重构的光谱图像，而多光谱图像(统称为282b)是从原始散斑图像281b重构的光谱图像。重构的多光谱图像282a呈现了通过相应的RGB光谱PSF对于字母对的成功恢复，所述字母对共享对象280a中的相同光谱元素。与白色光谱PSF的反卷积得到三个字母“C”、“D”、“G”，如预期的，在字母C和G处具有高强度，因为白色光谱中的绿色强度高(参见图2C的曲线图271)。可以观察到，图2E示出了具有渐变强度的对象280b的所恢复的多光谱图像282b。还示出了对象280a、280b的相应合成光谱图像283a、283b，其可以通过对来自相应图像282a、282b的三个RGB光谱图像进行叠加来创建。可以观察到，最终合成的“彩虹”颜色图像283a、283b分别与原始的复杂多光谱对象280a、280b相像。

使用图2B作为非限制性示例，在各种实施例中，可以利用没有第二投影透镜的投影仪(例如，Acer X113PH)263在Iris1 264a的平面处生成2D多光谱对象。投影仪263内部的小透镜从其DMD(数字微镜器件)芯片到Iris1 264a处的对象平面实现了M₁≈1.82的放大率。可以将漫射器(例如，Edmund，120磨砂玻璃漫射器)261连同Iris2 264b定位在距对象平面距离为u≈210mm处。Iris2 264b的直径为约2mm，以获得合适的散斑强度和信噪比。来自2D对象的光通过漫射器261，并在高动态单色CMOS(例如，Andor Neo 5.5，2560×2160，像素大小6.5μm)262上生成散斑图案266，该高动态单色CMOS 262可以放置在距漫射器261距离v≈87.5mm处。因此，成像机构260的放大率可以为M₂＝v/u≈0.42，并且从DMD芯片到CMOS传感器262的总放大率可以为M_total＝M₁×M₂≈0.76。可以在普通PC(例如，Intel Core i7、16GB内存)上使用MATLAB来应用维纳反卷积算法，该维纳反卷积算法重构每个光谱图像要用0.5秒。光谱PSF对于光学系统是恒定的，并且光谱PSF的FFT可以被预计算并被存储，以减少约30％的重构处理。可以选择CMOS传感器262上具有2048×2048个像素的中心区域以进行测量。

所有散斑图像和PSF都是灰色图像，因为其由单色相机捕获。对于每个散斑图案和PSF，可以对其低频包络进行分割，以去除空洞效应并锐化散斑。可以从光谱图像创建叠加的图像。所有叠加的图像可以是三个重构的RGB光谱图像在没有任何颜色处理情况下的合成。因此，颜色质量可能由于相机灵敏度的波长依赖性而失真，该相机灵敏度的波长依赖性在绿色范围内最高而在蓝色范围内最低。像正常彩色相机那样在彩色处理技术中利用相机和人眼的灵敏度进行校准可以使叠加的图像的色彩外观增强，从而与原始对象类似。来自投影仪的白光和RGB光的光谱由光谱仪(例如，AvaSpec-2048)测量。

各种实施例的技术对2D图像进行映射并向2D成像仪提供光谱的附加尺寸，2D成像仪对于可以被复用并然后被解复用(或被捕获并然后被分离)的信息可能有上限限制。在该限制内，在空间和光谱信息、光谱范围和光谱分辨率之间存在折中。然而，散射介质可以提供灵活实现的选择，以利用2D成像仪的全容量。光谱信息可以被限制为单个窄线以获得最大空间信息，即空间像素的最大数量和动态范围。对象中的有效点的数量和对象中的去相关的光谱带的数量可以确定技术的性能，例如，散斑对比度，并且因此确定技术的恢复质量。因此，对于宽光谱范围中的稀疏光谱线，可以容易地复用、然后解复用、或检索具有高光谱分辨率的大量空间信息。在另一极端，空间信息可能仅限于单个点对象，并且然后可以检索点源的最高光谱分辨率。已经对该光谱仪应用进行了模拟(结果未示出)，并且在Δλ＝2nm和10nm的不同采样下白色发光二极管(LED)的重构光谱说明了使用各种实施例的灵活多光谱成像设备的潜在光谱学应用。注意的是，由于没有移动部件和/或没有聚焦光学器件，所以各种实施例的多光谱成像技术可能对光学对准不敏感。由于记忆效应，光学机构中的小移位可以仅引起重构的多光谱图像的小移位，并且可以无需重新获取多光谱PSF。注意的是，各种实施例的成像设备(具有散射介质或漫射器以及通过(已经被装配的)透镜管安装到相机的虹膜)在开始时对多光谱PSF进行一次测量就可以仍然很好地工作达一个月以上。光谱去相关和空间相关效应的水平与单色相机的分辨率(像素尺寸和/或像素数量)、动态范围和噪声水平一起可以定义该技术的性能。具有更强光谱去相关性和空间相关性的散射介质可以用于显著地改善这种节省成本的技术，并在许多重要应用中产生巨大影响。

如所描述的，提供了多光谱成像技术，并且通过仅在单色相机的前面添加强散射介质来模拟光谱学技术。单次散斑图案包含对象的空间和光谱信息。可以在任何时候利用对应的光谱PSF来检索具有任何光谱带的多光谱图像。各个光谱的PSF是固定的，并且(仅)需要记录一次以用于全部时间使用。反卷积算法利用PSF的平移不变性(即，空间相关性)以进行图像重构，而光谱PSF之间的正交性(即，光谱去相关)使这些光谱PSF起到光谱滤光器的作用。各种实施例呈现了用于光谱学和多光谱成像的简单技术，该技术可以允许在空间和光谱信息以及要在单个灰度图像中进行复用和解复用(或在单个灰度图像中进行捕获和检索)的光谱范围和光谱分辨率之间的灵活折中。此外，所记录的图像是对象的加密版本，具有不可察觉的随机散斑图案，并且以下将描述关于密码系统的进一步细节。记忆效应对通过散射介质成像的视场(FOV)提供了严格限制，并且以下将描述关于放大FOV的详细描述。

现在将描述光学密码技术。各种实施例可以通过位置复用技术和超宽带照明，或者换句话说，通过用于利用超宽带照明而增强信息安全的基于位置复用的密码系统，来提供(非相干光学密码系统的)增强的安全性。

可以提供采用超宽带照明的位置复用技术，以增强非相干光学密码系统的信息安全性。简化的光学加密系统可以包括充当随机相位掩模(RPM)的(仅)一个散射介质(或漫射器)。来自明文的(非相干)光穿过RPM并在相机上生成对应的密文。各种实施例的系统可以有效地减少在相干照明中发现的未对准(或严格对准灵敏度)和相干噪声的问题。对于解密处理，(仅)密文和安全密钥的强度信息可以是足够的。超宽带照明的使用可以允许通过减少散斑对比度来产生强散射和复杂密文。减小密文的大小还可以增加密文的强度。使用散斑图案的空间去相关，可以提供基于位置复用的密码系统，其中密文是来自各种空间位置的唯一加密的文本的叠加。可以利用唯一的空间密钥来单独解密位于不同空间位置的明文，并且可以以高保真度对完整的解密图像或文本进行衔接。得益于位置复用(和超宽带照明)，可以通过真正的随机方法在较小的密文中将感兴趣的信息扰乱在一起。只有授权的用户可以利用正确的密钥来解密该信息。因此，可以在简单机构中实现光学密码系统的高性能安全性，所述简单机构采用作为天然RPM的磨玻璃漫射器、宽带非相干照明和小的位置复用密文。

各种实施例可以包括用于提高信息安全性的一个或多个特征。简单的光学图像加密机构包含仅一个散射介质(或漫射器或RPM)，以散射来自各种空间对象(例如，明文)的光，并在相机上生成扰乱的散斑图案(例如，密文)。一个特征是使用超宽带照明。这种超宽带光谱可以降低已知COA技术的性能，因为照明带宽显著地大于漫射器的散斑相关光谱带宽。在该非常大的带宽中由多个波长产生的散斑图案不能保持相关。因此，它可以恶化或破坏明文与其密文之间几乎相等的自相关条件，从而降低了已知非相干密码系统中来自COA的安全风险。

另一个特征是减小密文大小或传感器大小。从对象的散斑图像准确估计对象自相关需要较大的图像，因为散斑之间的经验空间去相关(即，PSF的脉冲自相关)可能仅在大量散斑的情况下才能观察到。因此，与已知的非相干密码系统不同，较小的密文大小可以使COA几乎不可能成功。小的密文大小还可以减小存储大小要求和传输带宽。

为了给加密带来另一安全级别并增加加密的信息，位置复用可以是被采用的另一特征。这可以与用于减小密文大小的特征相结合。由漫射器产生的散斑图案或图像是对象与点的散斑图案或非相干点扩散函数(PSF)的卷积。当PSF是平移不变时，即对象在散射介质的记忆效应区域内时，该技术有效。输出图像的每个像素包含以随机方式复用的对象信息。因此，可以仅需要输出图像的小的中心部分作为密文(因此密文大小较小)是可能的，该密文甚至比完全的明文小得多。这种复用技术和/或小尺寸散斑图案可能无法针对COA估计明文的自相关。由于空间明文的信息被混合并且来自多个位置的散斑可以重叠，因此仅具有正确空间密钥的授权用户可以解密对应的信息。因此，各种实施例可以针对文本加密提供更高的安全级别，并针对非相干光学密码系统提供更多的加密信息。

非相干光学密码系统依赖于漫射器的线性平移不变性质，这也被称为记忆效应。在该记忆效应内非相干对象的图像可以如下表示为其与点扩散函数(PSF)的卷积：

I(x，y)＝O(x，y)*PSF(x，y) 等式(9)。

其中强度图像I或密文是作为输出的散斑图案，O是作为输入的对象强度或明文，PSF起到安全密钥的作用，*是卷积运算，并且x或y对应于沿输出平面的x或y方向的坐标。

公式(9)是非相干密码系统的特征，可以用像素空间中的离散卷积对其进行如下近似：

对于PSF(即，安全密钥)和明文，其中一个可以在假如另一个已知的情况下通过反卷积处理来计算：

或者

其中(..)^c是复共轭，FT(..)和FT^-1(..)分别是傅立叶变换运算和傅立叶逆变换运算。公式(11)给出了解密处理，其中可以利用安全密钥(PSF)导出解密的文本。

许多流行的攻击(例如，KPA、CPA、CCA等)主要依赖于利用明文的知识来估计密钥(即，PSF)，如等式(12)所描述的。然而，由于需要访问系统来知道明文，因此这样的攻击不太可能。以下将进一步描述各种实施例的位置复用技术，以保护加密的文本免受这些攻击。由于密文的自相关类似于明文的自相关，因此最近已针对基于漫射器的非相干光学密码系统显示了COA。在数学上可以表示如下：

其中，★是相关运算符，*是卷积运算。通过采用相位检索算法，可以在没有安全密钥(PSF)的知识的情况下恢复明文。然而，等式(13)完全依赖于基于PSF的随机性的以下关系：

如果对已知的密码系统进行修改以凭经验破坏理想等式(14)，则可以显著地提高安全性。本文描述了这样的修改中的两种：降低PSF的对比度，以及减小传感器尺寸。这两个因素可以影响对于散斑自相关的估计。

为了证明抵抗COA的安全性增强，可以针对10nm、50nm和250nm带宽的照明和针对各种密文大小来模拟攻击。在模拟中，每个唯一的随机散斑图案是从瑞利分布生成的。假设漫射器的散斑相关光谱带宽为2nm，则对于每个2nm带宽可以存在1个随机散斑。对于10nm、50nm和250nm宽带照明，分别通过叠加这些5个、25个和125个独立的随机散斑图案来生成PSF。通过将PSF与期望的明文进行卷积来创建密文。然后，将其与随机高斯噪声相加，以使信噪比(SNR)为30dB，最后将其子量化为每个像素8比特。然后1600×1600像素的原始密文大小在中心处被裁剪以生成不同的密文大小。然后，可以通过运行实现混合输入输出(HIO)和误差减少(ER)方法的相位检索算法来模拟COA。图。图3A示出了针对不同的照明带宽，作为密文大小的函数的COA成功率的模拟结果的曲线图350。针对三种不同的光谱带宽将COA的成功率模拟为密文大小的函数：10nm(结果352a)、50nm(结果352b)和250nm(结果352a)。对于图3A，像素的数量是指方形密文的一个维度。可以观察到，即使在最高密文大小的情况下，将光谱带宽从10nm增加到250nm也可以将成功率降低到50％。减小密文大小可以降低成功率，并且最终使COA在密文小于400×400像素的情况下无法实现，即使在最窄光谱带宽为10nm的情况下。

可以利用位置复用技术将另一或附加安全级别引入非相干光学密码系统。位置和波长复用的构思已被证明在相干光学密码系统中有效。动机是将更多数量的唯一可分离密文嵌入到单个密文中。

其中PSF_k是文本对象O_k的对应加密密钥。

图3B示出了非相干光学密码系统中的位置复用构思的技术。每个明文354a、354b、354c由对应的独立安全密钥356a、356b、356c加密，然后最终密文358是所有加密的叠加。在解密处理中，可以利用相应的密钥PSFk 356a、356b、356c对复用的密文I 358进行如下反卷积以获得潜在的对象：

在这些密钥356a、356b、356c是唯一的并且彼此不相关的条件下，没有串扰(或干扰)的前述解密技术是可能的。复用方案可以渐近地被视为正交复用的理想情况：

其中δ是空间脉冲函数。在多光谱成像中可以发现类似的复用现象，该复用现象可以被视为波长复用的实例。

基于上述，无论是否具有系统的任何部分知识，攻击者要破解系统都是有挑战性或不可能的。现在，密文的自相关是各个对象的自相关的叠加。

分离各个对象的自相关并且使用相位检索来执行COA可以是不可能的。许多其他流行的攻击尝试利用明文的知识来估计密钥(即，PSF)(等式(12))。然而，通过位置复用技术，直接估计用于任何已知文本O_k的密钥或PSF可以是不可能的或将会是不可能的，因为：

位置复用可以将安全层添加到非相干光学密码系统。然而，位置复用的实现可能需要针对多个独立PSF 356a、356b、356c(图3B)的复杂光学布置。全息记录器已经被提出用于相干密码系统中的复用技术。

已经通过利用漫射器的线性平移不变性质来开发用于实现位置复用技术的简单方法。根据各种实施例，在图3C中呈现了位置复用实现的示意图。可以通过从单个光学漫射器的全尺寸PSF 360裁剪多个部分来人工创建多个小PSF(安全密钥)360a、360b、360c，以简化方法。这还将密文大小减小到小PSF 360a、360b、360c的大小。

更详细地，可以从点的散斑图案的全尺寸图像(即，全尺寸PSF360)中提取多个不重叠的部分360a、360b、360c，它们在复用技术中起到多个独立的PSF的作用。PSF的空间去相关使得能够对对象(具有明文362a、362b、362c)进行位置复用，这些对象根据密钥360a、360b、360c的尺寸而间隔开。在该技术中，具有PSF 360a、360b、360c的大小的密文也是全尺寸密文的裁剪部分364。位置复用方法可以自动减小密文大小，这可以提高安全性。然后，全尺寸PSF的在空间上不重叠的窗口360a、360b、360c可以用作安全密钥，以提取在对应的空间位置处的对象的信息。解密处理可以以数字方式进行。每个PSF(例如，360a、360b、360c)可以被认为是由光学密码系统中的唯一散射介质或RPM生成的安全密钥。各种实施例的位置复用技术可以被认为是最简单技术以叠加基于不同本性自然RPM的加密系统的密文。在操作中，发送者和接收者可以已经交换了密钥，并且通过使用这些密钥，可以传输和解密许多密文。接收器不需要拥有散射介质(或RPM)或任何光学机构。

以下将描述各种实施例的位置复用密码系统，其中在图3D中示意性地示出完整的加密机构366。作为非限制性示例，可以通过一个散射介质(或漫射器或RPM)368来加密在不同空间位置处具有字母“LAB”的明文367，并且相机369记录混合/散射的密文。点源和期望的明文367可以由投影仪370显示并投影在输入平面处，其中第一虹膜(Iris1)371a用于选择明文367并最小化来自投影仪370的背景光。一个散射介质(例如，Edmund，120磨砂玻璃漫射器)368被放置在距输入平面一定距离的位置，并扰乱明文367的原始光场。科学相机(例如，Andor Neo 5.5，2560×2160，像素大小6.5μm)369可以用来在输出平面处捕获加密的图像。具有约2mm直径的第二虹膜(Iris2)371b可以用于获得适当的散斑强度、颗粒大小和信噪比。从Irisl 371a到散射介质368的距离和从散射介质368到相机369的距离分别为

和

PSF(或安全密钥)是由该机构366中的点源(例如，投影仪370中的1个像素)产生的散斑图案。可以使用投影仪的全白光(约400nm至约720nm的波长)或者全绿光谱(约460nm至约610nm的波长)。在这种超宽带非相干照明下，从输入平面(在Iris1 371a处)到输出平面(在相机369处)的加密处理可以在数学上由以下公式表示：

I(vx，vy)＝O(ux，uy)*PSF(x，y) 等式(20)，

其中强度图像I或密文是输出平面处的散斑图案，强度对象O或明文是输入平面处的预放置的文本，PSF起到安全密钥的作用，*是卷积运算，并且x或y与沿输入/输出平面的x或y方向的坐标相对应。等式(20)类似于非相干加密中的操作，其可以利用像素空间中的离散卷积来近似为：

I(x，y)＝∑_i，jO(i，j)*PSF(x-i，y-j) 等式(21)。

可以通过反卷积处理利用正确的安全密钥将原始的明文重构为：

O∞FT^-1[FT(I)/FT(PSF)] 等式(22)，

其中FT和FT^-1分别是傅立叶变换运算和傅立叶逆变换运算。

可以利用维纳反卷积算法来执行解密处理。可以使用较大的图像尺寸来获得具有较高保真度的重构，因为重构伪像取决于噪声与实际信号之间的相关性(例如，随着相关性增大而增加)。该噪声-信号相关性随总像素或图像尺寸的增加而降低。因此，在图像质量和加密强度之间存在折衷。为了清楚起见，可以移除背景，可以将背景设置为解密文本中最大强度的20％。

图3D还示出了通过利用全相机图像使用密文372a、密钥372b和解密372c进行解密处理的示例。可以通过采用强度I来获得解密的结果372c，其中2048×2048像素作为密文372a并且相同大小的PSF372b作为密钥。大明文“LAB”的所有特征被成功重构。

图3D还示出了通过使用减小的图像来使用部分密文374a、部分密钥374b和部分解密374c的示例。可以通过采用强度I来获得解密的结果374c，其中仅200×2048中心像素作为密文374a并且PSF上的相同像素区域作为密钥374b。表明，通过裁剪强度图像和PSF，外围对象可以完全丢失。即使部分强度图像I 374a可以包含输入对象367的每个信息，部分PSF374b可以只能够重构特定于其位置和尺寸的对象。

反卷积是成功的，因为散射介质(例如，368)的记忆效应产生平移不变PSF。此外，不同点的空间相关性与其对应的PSF的空间相关性类似，因为另一个有趣的性质：单个PSF上的散斑(大小、形状、强度和位置)彼此独立。因此，通过散射介质(例如，368)的单个PSF上的非重叠区域彼此不相关。结果，利用部分PSF 374b进行的重构不会对外围文本留下印象。

为了证明PSF的空间去相关性质，可以采用各种窗口大小来绘制相关性曲线。图3E示出了参考窗口与在不同移位处提取的窗口之间的互相关。示出了PSF 376的测量的散斑图案。首先，可以从PSF 376的中心提取窗口(由虚线矩形描绘)作为参考窗口377，并将其用作参考以计算与所示各个(水平)移位位置处的窗口的相关性。区域379示出了参考窗口377与在移位位置处提取的窗口(由实线矩形描绘)之间的相关散斑(或共同散斑)。相关系数与像素移位之间的关系在图3E的曲线378中示出。曲线378示出了针对各种窗口尺寸200×2048像素、400×2048像素和600×2048像素，在不同的移位处提取的窗口之间的互相关系数。换句话说，窗口的垂直尺寸固定为2048个像素，而窗口的水平尺寸为200、400和600个像素。结果表明，随着移位的增加，PSF窗口的相关性减小，并且然后在不存在空间重叠(即，移位超出窗口大小)时，PSF窗口完全去相关。与图3D的部分密文374a、部分密钥374b和部分解密374c相对应的结果也示出了这种去相关，其中可以清楚地重构字母“A”而与字母“L”和“B”没有任何串扰(或干扰)。这是因为相比于密钥374b的宽度，字母相隔更多的像素，这可以避免密钥之间的串扰。

PSF的空间去相关可以使得能够对如密钥的尺寸间隔开的对象进行位置复用。可以从等式(21)中的离散卷积公式来理解位置复用，其中，散斑图像是PSF的移位和加权和。PSF的空间去相关可以允许在各个空间位置处的对象从相同的局部强度图像I被解复用，这可以被认为是在各种实施例的密码系统中的优点。因此，PSF的空间上不重叠的窗口可以用作安全密钥，以提取对应空间位置处的对象的信息。可以通过使用在强度I381的中心部分处200×2048像素的密文380，在图3F中示出该位置解复用能力，其中中心(部分)密文380具有输入平面处的所有空间位置的文本信息，并且从PSF 383提取相同大小为200×2048像素的3个不重叠的空间密钥382a、382b、382c。可以使用三个不同的密钥382a、382b、382c从单个密文380来重构三个图像384a、384b、384c，并将其放置在密钥382a、382b、382c的相应的空间位置处。可以使用不同的空间解密384a、384b、384c将完全的1D恢复拼接在一起。如图3F所示，可以获得衔接的图像，成功或完美地恢复了三个字母“L”、“A”、“B”，类似于使用图3D所示的全尺寸密文372a和全尺寸PSF 372b。

可以选择强度图像的中心部分作为密文，因为该中心部分由于散斑图案的空洞效应而最高的信噪比。然而，由于卷积和穿过散射介质的光的随机性，强度图像中的每个像素或所有像素携带所有对象信息。应当理解，密钥可以不必与中心强度图像对准。

作为另一示例，可以使用在四个角处具有四个数字“1”、“2”、“3”、“4”的文本对象。如图3G所示，强度图像的中心区域(约220×220像素)被用作密文386。PSF的对应的中心220×220像素被用作密钥387。还示出了中心220×220像素的解密388，表明中心密钥387未解密出任何信息或不携带任何信息，因为对象的中心部分为空白。随后，如图3G所示，可以通过划分PSF 389的中心440×440像素来生成四个密钥390a、390b、390c、390d作为空间PSF(或空间密钥)。每个密钥390a、390b、390c、390d具有与密文386相同的大小，即220×220像素。可以使用不同的空间解密394a、394b、394c、394d来将完全的2D恢复拼接在一起，这示出了对在四个角处的“1”、“2”、“3”、“4”四个数字的良好或完美的重构，每个数字具有对应的密钥390a、390b、390c、390d。对于如图3G所示的这个例子，归一化强度小于0.4的背景被去除，因为密文和密钥的减小的尺寸远小于图3中的那些并产生更多的重构噪声。为了确认各种实施例的加密方法的强度，可以利用密文372a(图3D)、380(图3F)、386(图3G)的输入来执行实现混合输入-输出HIO和误差减少策略的相位检索算法。它们都不产生有关明文的任何信息(结果未示出)。相位检索算法利用372a(图3D)中的全尺寸密文而示出30％的成功率。利用小密文374a(图3D)、380(图3F)、386(图3G)作为输入，相位检索算法不能产生关于明文的任何信息。此外，可以尝试根据等式(12)从密文和明文中导出密钥。对于全尺寸密文372a(图3D)和明文372b(图3D)，可以成功地导出密钥。采用位置复用的小密文374a(图3D)、380(图3F)、386(图3G)可以不允许导出密钥，即使知道一些明文。密文是许多加密的明文的叠加(复用)。仅当复用的明文彼此完全不相关时，才可能进行密钥推导，这是非常不可能的。

基于散射介质或RPM的光学密码系统属于线性系统的类别。线性密码系统易于遭受包括COA在内的各种形式的攻击。非线性系统对于信息安全性更好，但是更复杂。因此，各种实施例可以通过简单的方法来增强线性光学密码系统的安全性。COA主要归因于密文(或散斑图像)的高对比度，因为它依赖于对明文自相关的准确估计。各种实施例的方法可以通过利用超宽带照明来减小散斑对比度从而提高安全性。另外，位置复用的实现减小了密文大小，并使攻击更具挑战性。与其他已知的线性光学加密方法相反，各种实施例的位置复用技术可以允许具有单个密文，该单个密文携带具有不同密钥的多个明文。这可能使攻击者难以像一些其他攻击(例如，已知明文攻击(KPA)、选择明文攻击(CPA)、选择密文攻击(CCA))那样利用一些明文和密文的知识来导出密钥。针对这些密钥的复用位置(其确定多个解密文本的顺序)的信息可以为各种实施例的系统增加另一安全级别。更高数量的复用位置可以增强系统的安全性。同时，也可以减少密钥和密文的像素数量，从而导致通过反卷积的恢复不佳。这在重构质量和安全性之间设置了折中。作为明文的灰度图像是该技术中的另一个考虑因素。然而，减小密文和密钥的大小使背景噪声更高，如图3D、图3F和图3G所示。当密文大小从200×2048像素减少到220×220像素时，可能需要移除与解密文本中峰值强度的20％至40％相对应的背景。当使用全尺寸密文和密钥(2048×2048像素)时，可以不需要移除背景。另外，光学记忆效应也可以随距离而减小，这使外围文本自动变暗。这意味着对灰度图像进行加密/解密的挑战，并且在灰度级的数量与密文和密钥的大小之间存在折中。

如所描述的，可以提供用于增强信息安全性的基于位置复用的密码系统。该方法利用了散射介质的两个性质：记忆效应和PSF的空间去相关。超宽带非相干照明和采用小尺寸密文图像的位置复用可以提高安全性。从相同的PSF中提取用于解密的唯一空间分布密钥以进行解密。可以通过真正的随机技术在单个密文中复用多个明文，并且然后发送给可以利用其对应的密钥单独地解密特定文本的所有用户。由于感兴趣的空间信息可以被扰乱在一起或隐藏在密文内部，因此可以利用多个空间密钥对内容进行解密，但是仍然需要知道密钥的顺序，以便布置多个信息。该方法可以扩展到波长或传播方向复用，并且可以有助于密码系统中的安全性分析。

现在将描述放大视场(FOV)成像技术。各种实施例可以利用空间信息解复用通过散射介质来提供大视场成像。此外，各种实施例可以通过空间解复用利用散射介质提供单次大视场(FOV)成像。

通过(强)散射介质的光学聚焦和成像是具有挑战性的任务，但是具有广泛应用，从科学研究到生物医学应用和日常生活。得益于散斑强度相关性的记忆效应(ME)，仅一个单次散斑图案可以用于对象的高质量恢复，并且避免一些复杂的过程来减小少散射效应。尽管来自大对象的所有空间信息被嵌入到单个散斑图像中，但是ME行为可以严格限制通过散射介质成像的视场(FOV)。超出ME区域的对象可以不恢复或不能恢复，并且可以仅产生不需要的散斑图案，从而导致散斑对比度和恢复质量的降低。在各种实施例中，可以通过利用由延伸超出ME区域的对象产生的这些不可避免的散斑图案来提取空间信息，这可以帮助扩大光学成像系统的FOV。来自一个大对象的所有信息可以被扰乱并被混合成一个单个的散斑图像。可以使用区域点扩散函数(PSF)通过反卷积算法来恢复对象的对应空间区域，该区域点扩散函数(PSF)可以是固定的，并且可以仅需要被记录一次以用于所有时间使用。随后，可以执行迭代处理中的自动加权求平均以利用放大的FOV获得对象。将在以下进一步描述的结果可以表示通过散射介质向高级成像技术迈进的一步。

各种实施例可以提供一种技术(例如，反卷积成像技术)，以在光学成像机构中通过散射介质从单次(记录的)图像产生更大的FOV。可以采用区域点扩散函数(PSF)以通过反卷积算法来恢复对象的对应空间区域，该区域点扩散函数可以是固定的，并且仅需要被记录一次以用于所有时间使用。然后，可以执行迭代处理中的自动加权求平均以利用放大的FOV获得对象。可以利用由超出ME区域的对象生成的那些不相关的散斑图案，这些散斑图案以前被视为不需要的噪声。可以这样做以使由成像仪捕获的信息的利用最大化，所述信息是来自超大对象的不同区域的多个散斑图案的叠加。

对象是各种位置和强度的点源的合成。对于线性光学成像系统，图像可以表示为来自不同空间位置的具有对应强度的多个PSF的叠加。以下等式是图像形成的数学表示：

其中O是对象，PSF_ij是位于位置(i，j)的点源的光学响应函数。

在理想情况下，当这些PSF是相同的脉冲函数时，图像变得与对象相同I＝O，这表示理想的光学成像系统。相反，散射介质产生不仅随机而且可变的PSF，这些PSF对于离得远的点源可以是完全不相关的。然而，由于ME，在对象平面的小ME区域内的点源可以在图像平面上生成类似但移位的散斑图案(即，PSF)。考虑到ME，图像形成的数学表示可以重新表述如下：

其中R是具有与PSF_R几乎相同的PSF_ij的ME区域。

利用PSF_R(或PSF_ij)的平移不变性质的优势，可以将叠加表示为对象的不同区域与其对应的PSF的卷积：

其中O_R是对象在ME区域内的部分，即，O(i，j)用于所有(i，j)∈R。

如果已知对象的散斑图案O_R，则可以使用光学系统的PSF_R通过反卷积来恢复对象O_R。反卷积处理可以理想地如下表示为：

其中(..)^c是复共轭，FFT(..)和FFT^-1(..)分别是傅立叶变换及和傅立叶逆变换。

由于空间域中的卷积变为傅立叶域中的乘法，因此公式(26)中的反卷积是可能的：

FFT(O_R*PSF_E)＝FFT(O_R)FFT(PSF_R) 等式(27)。

已经证明了这种反卷积技术恢复散射介质的ME区域内的对象的高分辨率图像。在此，对于在ME区域上延伸的对象O，对象的散斑图案I是来自对象的各个区域的散射光的复合响应。因此，捕获的图像可以表示如下：

由于散射介质的随机结构，超出ME区域的空间上分开的点源产生不相关的散斑图案。这在数学上可以表示如下：

其中，★是相关运算符，δ是空间脉冲函数，R1是第一ME区域，R2是第二ME区域。由于关系FFT(A★B)＝FFT(A)FFT(B)^c，可以推导出以下关系：

FFT(I)FFT(PSFR)^c＝FFT(I_R)FFT(PSF_R)^c 等式(30)。

因此，可以从单个单色图像I重构对象的多个区域R，如下：

O_R≈deconv(I，PSF_R) 等式(31)。

每个PSF_R给出对象平面上的有限的FOV，如在图4A中可以看到的(还请参见图4B的重构结果468)，以下将进一步进行描述。散射介质针对不同角度的照明可以具有不同的有效厚度，因此，ME在对象平面上的不同空间位置处可以略有变化，其中空间点可能具有其自己的空间平移不变PSF的范围和唯一空间FOV。同时，对象的所有空间信息可以在由相机捕获的单个散斑图像内部被复用。可以使用唯一的区域性PSF来重构每个区域R的空间对象O_R，并且可以通过在空间中布置相应区域来获得大对象的完全重构。

图4A示出了针对视场(FOV)技术的光学机构450的示意图。可以提供投影仪452以创建期望的对象作为输入。作为非限制性示例，投影仪452可以用于显示一组字符或字母“NTU EEE OPTIMUS！”，作为成像系统450的输入对象454。来自对象454的光可以穿过可选的窄带通绿色滤光器456(例如，中心波长：550±2nm，FHWM：10±2nm)、虹膜458和(厚)散射介质(SC)460，然后在相机462(例如，Andor Neo 5.5，2560×2160，像素大小6.5μm)上产生扰乱的(或散射的)散斑图案(或图像)。直径约为2mm的虹膜458用于移除背景光并控制散斑图案的强度、孔径、散斑颗粒大小和信噪比。从对象454到散射介质460的距离和从散射介质460到相机462的距离分别为u≈170mm和v≈77.5mm。因此，机构450的放大率是M＝v/u≈0.456。厚的散射介质460减小了记忆效应(ME)，因此限制了中心FOV，如叠加在对象454上的虚线圆所示。换句话说，散射介质460的记忆效应可以引起对象平面上的有限的FOV。因此，可以通过反卷积处理利用中心PSF来重构仅位于该FOV内的部分对象。由于来自点光源(例如，投影仪452的单个像素)的到达相机传感器的光非常小，因此可以将用于空间PSF测量的曝光时间设置为10s；对于具有多个点源的对象，曝光时间可以约为0.03s～0.4s。可以应用维纳反卷积算法，该算法在计算上效率高，并且在普通PC(例如，Intel Core i7，16GB内存)上利用MATLAB进行每次重构可以(仅)用约0.5秒。对于散斑图案和PSF中的每一个，可以将其与低频包络分开，以消除空洞效应并锐化散斑。成像系统的分辨率可以由散斑颗粒大小定义，该散斑颗粒大小可以取决于系统的数值孔径。可以通过将噪声水平设置为反卷积PSF的均值来执行维纳反卷积。尽管本文已经描述了维纳反卷积，但是应当理解，可以采用任何适当的反卷积处理或检索操作。

首先，可以需要量化并测量机构450中的中心FOV。如图4A所示，当投影仪452从中心位置沿着x方向朝向角连续地点亮一个像素时，可以相对于对象平面上的点源的各个位置测量PSF。可以根据对象454与图像平面(在相机462处)之间的放大率来计算中心处的PSF与不同位置处的PSF之间的互相关系数，以确认可用的中心FOV。图4B的曲线464示出了中心PSF和各种空间PSF之间的互相关系数，以根据对象平面上的移位距离来识别对象平面上的FOV。可以观察到，如果将FOV定义为互相关系数大于0.5的区域，则仅位于区域465中的对象可以以高保真度被重构。换句话说，区域465指示互相关系数大于0.5的高质量重构区域。该ME区域与有效厚度为约41.3μm的强散射介质相对应。为了证明该有限的FOV，可以将中心PSF 466和在相机462上所捕获的对象454的散斑图像467用于反卷积。在图4B中还示出了(通过后处理算法获得的)重构的结果468和中心水平方向上的强度分布469，其中箭头指示图像468的中心行。可以观察到，成功恢复了对象454位于虚线圆(或有限的720μm半径的FOV)中的部分，对应于区域465。对于重构过程，可以移除强度小于最大强度的15％的背景以用于清晰显示。背景噪声可以来自重构伪像，可以取决于感兴趣的实际信号与噪声之间的关系(在此，噪声可能主要来自由对象454的附近区域生成的不相关的散斑图像)。全尺寸的散斑图像和PSF可以用于重构，因为散斑数量的增加可以减少重构噪声。然而，背景噪声可能仍然是不可避免的，因为非稀疏对象在相机的动态范围内产生较差的散斑对比度。超出FOV，还可以识别出对象的部分恢复，但是由于互相关系数低(小于0.5)，因此强度可能非常暗。

中心PSF 466可以在小区域内具有线性平移不变性质的光学系统中实现或仅保证成功的恢复图像，其中在所述小区域内反卷积处理可以以高质量重构对象。通常，具有散射介质的光学成像系统被限制在由中心PSF确定的中心FOV内。然而，散斑图像467是来自对象平面上的每个点源的各种PSF的总和。在各种实施例中，当使用单次拍摄利用强散射介质进行成像时，可以从非近轴区域探索更多信息并找到用于扩展FOV的方法。对于对象平面上的不同空间区域，存在满足等式(28)中的卷积运算的多个空间FOV。等式(31)示出可以从记录的单个散斑图像(例如，467)中恢复来自各个空间区域的信息。可以在对象平面上呈现各种空间点源，并且可以测量或获得对应的PSF，然后可以利用相同的散斑图像467来执行反卷积处理。

图4C示出了对象454(图4A)的一组成功的重构472a、472b、472c、472d以及沿着中心行的对应1D强度分布，其中箭头指示图像472a、472b、472c、472d的中心行。可以观察到，示出了基于四个不同的空间PSF的四个重构472a、472b、472c、472d，其中清晰的重构中心和周围的暗淡恢复具有与重构结果468类似的效果。在每个重构的图像472a、472b、472c、472d的底部提供了沿着图像472a、472b、472c、472d的中心排列的像素行的1D强度的曲线图。注意，由于散射介质的随机本性，针对不同的空间位置，图像平面上的PSF和可用重构区域(ME范围)可以是唯一的以及不同的。因此，在重构FOV中可能存在差异，例如，图像472c的FOV看上去大于图像472a的FOV。

在图4C中示出了通过各种空间PSF对复用到一个单个散斑图像中的空间信息进行解复用的方法。然而，对于每个单独的重构图像472a、472b、472c、472d，感兴趣的信息可能被移位到中心，并且可能需要布置它们以形成具有扩大的FOV的单个图像。需要根据与PSF相关联的区域来移动重构图像，这些PSF的位置是预定的。PSF可以记录散斑图案的移动，并且可以通过计算互相关系数(即使该值可能非常低)来确认它们的位置，以布置区域重构图像。如果针对位置(ux，uy)上的点测量区域PSF，则图像平面上的恢复区域可以以位置(vx，vy)为中心，其中v/u是放大率。挑战可能是叠加这些重构的区域以形成整个FOV。

ME可以不或并不意味着区域FOV中的相同的PSF。2个PSF之间的互相关系数可以随着它们之间的距离而单调减小。在每个FOV区域中，当点从中心到边缘时，中心PSF与其他PSF的互相关系数可以减小(参见图4B中的曲线图464)；因此，恢复的图像的强度可以从中心到外围降低。如上所述，对于每个区域FOV可以仅需要单个PSF来呈现散射透镜的功能。用于获取PSF(中心PSF)的点源的位置定义了透镜的中心，并且PSF代表该区域。对象平面上的任何其他点源也可以创建其自己的PSF，所述PSF与代表(例如，中心)PSF的互相关系数在反卷积处理中可以表示来自该点的通过散射透镜的光的“透射系数”。针对每个散射透镜，这些透射系数形成矩阵T。散射介质可以是固定的；针对每个区域的互相关系数可以与中心区域相差不大。可以假设单个矩阵T可以用于所有区域，并且可以表示如下：

O_R＝O[shift R]T 等式(32)，

其中O[shift R]是对象O移位到区域R的中心。O和T都是未知的，并且需要恢复。受到傅里叶ptychographic显微镜EPRY-FPM的嵌入式瞳孔函数恢复的启发，可以采用迭代更新策略来获得O和T两者，如下所示。

作为非限制性示例，用于PSF测量的点源可以沿着x方向和y方向两者以固定的空间移动。因此，可以使用上述算法根据成像平面中的移位从这些重构的较小FOV图像中检索大FOV图像。图4D示出了对象在对象平面上的空间分布，如图4D中的图像474所示，垂直轴和水平轴上的字母组“welcome TO our lab”和“NTU EEE OPTIMUS！”被显示为输入(或对象)。用于光学系统的空间PSF可以来自位于对象平面上各个位置的点源，如图像474中的虚线圆所描绘的。图4D中叠加的重构图像476的宽度为约6650μm，比单独由中心PSF(2×720μm)所重构的区域大得多。图像476中的虚线圆表示放大的FOV。

已经证明了用于扩大FOV的技术，其可以通过利用成像仪的全容量来完成。成功的恢复可以取决于在成像仪的给定动态范围内解决散斑图像对比度的能力。散斑对比度可以随着照明带宽的增加而减小，并且在对象中具有更多的明亮区域。因此，利用窄带照明成像和相对稀疏的对象可以进一步提高重构质量。

如上所述，各种实施例可以通过利用多个ME区域来实现用于通过散射介质成像的放大的FOV。单次散斑图案可以包含大对象的空间信息。所有信息可以由散射介质随机地但预定地复用在单个图像上。任何感兴趣的对象区域可以通过使用该区域的对应PSF来检索。区域PSF可以是固定的，并且可以(仅)需要被记录一次以用于所有时间使用。反卷积算法利用PSF的平移不变性(即，空间相关性)以进行图像重构，而区域PSF之间的正交性(即，空间去相关)使这些PSF起到空间信息解复用的作用。用于自动加权求平均的迭代处理可以用于拼接多个区域图像并形成大的FOV图像。该技术利用了成像仪在尺寸和动态范围两方面上的完全能力，以放大通过强散射介质成像的FOV。

现在将描述(单次)多视图成像技术。在各种实施例中，术语“多视图”可以指“多角度视图”或“来自多个角度的视图”。

各种实施例可以提供单次多视图成像系统。参考图5，示出用于快照多视图成像技术的定向透镜的方法，其中可以设置散射介质(或光学漫射器或RPM)552和虹膜模块554。虹膜模块554可以包括至少一个虹膜或开口。如图5所示，作为非限制性示例，虹膜模块554可以是具有两个开口(第一虹膜556a和第二虹膜556b)的扫描虹膜。第一虹膜556a和第二虹膜556b可以彼此间隔开。点源558可以用于朝向散射介质552和两个虹膜556a、556b提供或投射光，并且相机(例如，电荷耦合器件(CCD))560可以用于收集光。每个虹膜556a、556b可以对应于“定向透镜”。散射介质552的每个部分是具有对象的唯一视图的定向透镜。每个虹膜556a、556b可以朝向或相对于点源558以不同的方位角进行定位。

通过扫描虹膜556a、556b的位置以对散射介质552进行采样，可以获得一系列PSF，这一系列PSF体现了成像系统550的“定向透镜”。利用完全打开的虹膜获取的单次图像捕获了对象的全视角，其中每个视图被“定向透镜”(即，对应的PSF)正交复用。在反卷积处理中使用PSF(或定向透镜)，可以通过计算实现对象的多视图。

由于散射介质(包括散射介质552)的随机结构，空间上分开的针孔或虹膜(例如，556a、556b)可以响应于存在于对象平面处的点源(例如，558)而产生不相关的散斑图案。这可以在数学上表示如下：

其中★是相关运算符，δ是空间脉冲函数，view1是第一视图(例如，通过虹膜556a)，view2是第二视图(例如，通过虹膜556b)。

类似于经由各个区域PSF提取各个视场，可以使用各个针孔(或虹膜)位置的PSF来提取来自单个短图像的各个视角。因此，可以从单个单色图像重构对象的多个视图，如下：

O_view≈deconv(I，PSF_view) 等式(36)。

其中I是同时打开所有针孔时捕获的图像。

应当理解，在本文中描述的多光谱成像技术、光学密码技术、放大视场(FOV)成像技术和多视图成像技术中的任何一个的上下文中的描述可以相应地适用于所述技术的另一个。

尽管已经参考特定实施例具体地示出并描述了本发明，但是本领域技术人员应当理解，可以在不脱离由所附权利要求书定义的本发明的精神和范围的情况下对本发明进行形式和细节上的各种改变。因此，本发明的范围由所附权利要求书指示，并且因此意在包含落入权利要求书的等同的含义和范围内的所有改变。

Claims

1.一种用于成像的装置，包括：

处理器；和

与所述处理器耦接的存储器，所述存储器中存储有指令，所述指令在由所述处理器执行时，使所述处理器：

利用多个点扩散函数处理与对象相关联的散斑图像，以针对所述多个点扩散函数中的每个点扩散函数，从所述散斑图像中检索与所述对象相关联的信息，

其中，所述每个点扩散函数在至少一个属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且

其中，所述信息与所述对象的一部分相关联，所述对象的所述一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。

2.根据权利要求1所述的装置，其中，所述指令在由所述处理器执行时，还使所述处理器基于检索到的多个信息来生成结果图像，所述结果图像表示所述对象的至少一部分。

3.根据权利要求1或2所述的装置，其中，为了利用所述多个点扩散函数处理所述散斑图像，所述指令在由所述处理器执行时，使所述处理器执行所述散斑图像与所述多个点扩散函数之间的反卷积处理。

4.根据权利要求1至3中的任一项所述的装置，还包括：散射介质，用于生成所述散斑图像和所述多个点扩散函数。

5.根据权利要求1至4中的任一项所述的装置，其中，所述至少一个属性包括光谱属性或空间属性中的至少一个。

6.根据权利要求5所述的装置，其中，所述至少一个属性包括所述光谱属性，并且其中，所述每个点扩散函数和所述另一个点扩散函数与不同的光谱带相关联。

7.根据权利要求5所述的装置，其中，所述至少一个属性包括空间属性，并且其中，所述每个点扩散函数和所述另一个点扩散函数与所述对象的不同部分相对应。

8.根据当从属于权利要求2时的权利要求7所述的装置，其中，所述指令在由所述处理器执行时，还使所述处理器使用所述多个信息来执行迭代处理以生成所述结果图像。

9.一种用于成像的方法，包括：

其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述至少一个属性。

10.根据权利要求9所述的方法，还包括：基于检索到的多个信息来生成结果图像，所述结果图像表示所述对象的至少一部分。

11.根据权利要求9或10所述的方法，其中，利用多个点扩散函数处理散斑图像包括：执行所述散斑图像与所述多个点扩散函数之间的反卷积处理。

12.根据权利要求9至11中的任一项所述的方法，还包括：生成所述多个点扩散函数。

13.根据权利要求9至12中的任一项所述的方法，其中，所述至少一个属性包括光谱属性或空间属性中的至少一个。

14.根据权利要求13所述的方法，其中，所述至少一个属性包括所述光谱属性，并且其中，所述每个点扩散函数和所述另一个点扩散函数与不同的光谱带相关联。

15.根据权利要求13所述的方法，其中，所述至少一个属性包括所述空间属性，并且其中，所述每个点扩散函数和所述另一个点扩散函数与所述对象的不同部分相对应。

16.根据当从属于权利要求10时的权利要求15所述的方法，其中，生成结果图像包括：使用所述多个信息来执行迭代处理以生成所述结果图像。

17.一种计算机程序或计算机程序产品，包括指令，所述指令在由计算设备执行时，使所述计算设备执行根据权利要求9至16中任一项所述的方法。

18.一种用于成像的装置，包括：

处理器；和

其中，所述每个点扩散函数在光谱属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且

其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述光谱属性。

19.一种用于成像的方法，包括：

20.一种计算机程序或计算机程序产品，包括指令，所述指令在由计算设备执行时，使所述计算设备执行根据权利要求19所述的方法。

21.一种用于成像的装置，包括：

处理器；和

其中，所述每个点扩散函数在空间属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且

其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述空间属性。

22.一种用于成像的方法，包括：

23.一种计算机程序或计算机程序产品，包括指令，所述指令在由计算设备执行时，使所述计算设备执行根据权利要求22所述的方法。

24.一种用于成像的装置，包括：

处理器；和

其中，所述每个点扩散函数在角度属性上与所述多个点扩散函数中的另一个点扩散函数不同，并且

其中，所述信息与所述对象的一部分相关联，所述对象的一部分至少基本上对应于与所述每个点扩散函数相关联的所述角度属性。

25.根据权利要求24所述的装置，其中，所述指令在由所述处理器执行时，还使所述处理器基于检索到的多个信息来生成结果图像，所述结果图像表示所述对象的至少一部分。

26.根据权利要求24或25所述的装置，其中，为了利用所述多个点扩散函数处理所述散斑图像，所述指令在由所述处理器执行时，使所述处理器执行所述散斑图像与所述多个点扩散函数之间的反卷积处理。

27.根据权利要求24至26中的任一项所述的装置，还包括：散射介质，用于生成所述散斑图像和所述多个点扩散函数。

28.根据权利要求24至27中任一项所述的装置，其中，所述每个点扩散函数和所述另一个点扩散函数与相对于点源的不同角度相关联，所述点源用于生成所述每个点扩散函数和所述另一个点扩散函数。

29.一种用于成像的方法，包括：

30.根据权利要求29所述的方法，还包括基于检索到的多个信息来生成结果图像，所述结果图像表示所述对象的至少一部分。

31.根据权利要求29或30所述的方法，其中，利用多个点扩散函数处理散斑图像包括：执行所述散斑图像与所述多个点扩散函数之间的反卷积处理。

32.根据权利要求29至31中的任一项所述的方法，还包括：生成所述多个点扩散函数。

33.根据权利要求29至32中任一项所述的方法，其中，所述每个点扩散函数和所述另一个点扩散函数与相对于点源的不同角度相关联，所述点源用于生成所述每个点扩散函数和所述另一个点扩散函数。

34.一种计算机程序或计算机程序产品，包括指令，所述指令在由计算设备执行时，使所述计算设备执行根据权利要求29至33中任一项所述的方法。