CN117218332A - 基于全息投影的循环神经网络辅助波前传感方法及设备 - Google Patents

基于全息投影的循环神经网络辅助波前传感方法及设备 Download PDF

Info

Publication number
CN117218332A
CN117218332A CN202311061271.3A CN202311061271A CN117218332A CN 117218332 A CN117218332 A CN 117218332A CN 202311061271 A CN202311061271 A CN 202311061271A CN 117218332 A CN117218332 A CN 117218332A
Authority
CN
China
Prior art keywords
interest
region
wavefront
fluorescence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311061271.3A
Other languages
English (en)
Inventor
刘淦
陈世祈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Centre for Cerebro Cardiovascular Health Engineering Ltd
Original Assignee
Hong Kong Centre for Cerebro Cardiovascular Health Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Centre for Cerebro Cardiovascular Health Engineering Ltd filed Critical Hong Kong Centre for Cerebro Cardiovascular Health Engineering Ltd
Priority to CN202311061271.3A priority Critical patent/CN117218332A/zh
Publication of CN117218332A publication Critical patent/CN117218332A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本申请实施例提供了一种基于全息投影的循环神经网络辅助波前传感方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及显微成像及人工智能领域。该方法包括：获取第一荧光图像；然后确定第一荧光图像的感兴趣区域；进而基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。本申请实施例实现了提高波前探测的效率。

Description

基于全息投影的循环神经网络辅助波前传感方法及设备
技术领域
本申请涉及显微成像及人工智能技术领域，具体而言，本申请涉及一种基于全息投影的循环神经网络辅助波前传感方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着显微成像技术的迅速发展，显微成像技术开始应用于各个领域，例如，多光子荧光显微成像在生命科学领域中的应用。多光子荧光显微镜作为生命科学领域的一个重要成像方法，由于具有独特的照明与探测方式，而逐渐受到广泛的关注。多光子显微镜其通过荧光团的多光子非线性吸收效应实现荧光基团的激活从而实现被标记的物质的特异性标记。由于其非线性效应，只有在焦点处才能形成荧光基团的激活，1)具有良好的光学切层效果。其工作波长接近荧光基团单光子激发的整数倍，其常见波长是780nm、920nm和1030nm。在此波段下，2)生物组织等样本对样本的吸收散射最少，可以保证探测光的良好穿透，可以有效探测厚样本。同时，能够激发非线性吸收的激光器通常是飞秒或皮秒脉冲激光器，峰值能量高，平均功率低，3)对样本的热损伤较小。以上三点构成了多光子荧光显微镜较共聚焦显微镜的主要优势，但是在面临极厚样本成像和折射率分布非均匀样本时，仍然存在成像锐利度较低的问题，需要引入自适应光学进行波前探测，从而对成像系统荧光图像进行波前矫正。
在相关技术中，需要对已完全获取的整张荧光图像进行波前探测，导致波前探测的效率较低。
发明内容
本申请实施例提供了一种基于全息投影的循环神经网络辅助波前传感方法、装置、电子设备、计算机可读存储介质及计算机程序产品，用于解决波前探测的效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种基于全息投影的循环神经网络辅助波前传感方法，包括：
获取第一荧光图像；
确定第一荧光图像的感兴趣区域；
基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。
在一种可能的实现方式中，确定第一荧光图像的感兴趣区域，包括：
响应于在显示第一荧光图像的显示界面的选择操作，确定第一荧光图像的感兴趣区域；和/或，
基于第一荧光图像中满足预设的感兴趣条件的区域，确定第一荧光图像的感兴趣区域。
在一种可能的实现方式中，所述感兴趣条件包括以下的至少一项：
区域对应的目标占比大于预设占比阈值；
区域对应的目标占比不低于其他区域对应的目标占比；
其中，所述目标占比为该区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值，所述目标像素点的像素值大于设定的强度阈值。
在一种可能的实现方式中，第一荧光图像是基于至少两个探测波前生成的；
基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，包括：
获取第一荧光强度序列，第一荧光强度序列包括至少两个第一荧光强度，至少两个第一荧光强度是以至少两个探测波前分别施加至第一荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第一荧光强度与至少两个探测波前一一对应，第一荧光强度与同一探测波前施加至第一荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关；
基于循环神经网络和第一荧光强度序列确定第一荧光图像的感兴趣区域对应的目标波前信息。
在一种可能的实现方式中，基于循环神经网络和第一荧光强度序列确定第一荧光图像的感兴趣区域对应的目标波前信息，包括：
将第一荧光强度序列输入训练完成的波前探测模型，以获得波前探测模型输出的目标波前像差；
其中，波前探测模型的训练方式包括：
获取至少两个训练数据对，每一训练数据对包括波前像差和第二荧光强度序列，第二荧光强度序列包括至少两个第二荧光强度，至少两个第二荧光强度是以至少两个探测波前分别施加至第二荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第二荧光强度与至少两个探测波前一一对应，第二荧光强度与同一探测波前施加至第二荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关，第二荧光图像是基于至少两个探测波前生成的；
利用至少两个训练数据对训练循环神经网络，以得到波前探测模型。
在一种可能的实现方式中，第一荧光强度与第一荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关；
第二荧光强度与第二荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关。
在一种可能的实现方式中，第一荧光图像和第二荧光图像是基于至少两个探测波前和泽尔尼克多项式的前预设数量项生成的。
根据本申请实施例的一个另方面，提供了一种基于全息投影的循环神经网络辅助波前传感装置，包括：
图像获取模块，用于获取第一荧光图像；
感兴趣区域确定模块，用于确定第一荧光图像的感兴趣区域；
波前探测模块，用于基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。
根据本申请实施例的一个另方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现以上任一方面的方法的步骤。
根据本申请实施例的一个另方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上任一方面的方法的步骤。
根据本申请实施例的一个另方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现以上任一方面的方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：通过确定第一荧光图像的感兴趣区域，并对第一荧光图像的感兴趣区域进行波前探测处理，由于进行波前探测处理的区域是第一荧光图像的感兴趣区域，则本实施例在波前探测时可以对感兴趣区域进行，因此本申请实施例能够解决相关技术中需要对已完全获取的整张荧光图像进行波前探测，导致波前探测的效率较低的技术问题，进而达到了提高波前探测的效率的技术效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种完整荧光图像的示意图；
图2是本申请实施例提供的系统架构示意图；
图3是本申请实施例提供的一种基于全息投影的循环神经网络辅助波前传感方法的流程示意图；
图4a-图4b是本申请实施例提供的一种使用DMD全息投影模式的3D空间扫描方案；
图5是本申请实施例提供的一种基于循环神经网络进行波前预测的工作原理示意图；
图6是本申请实施例提供的一种基于全息投影的循环神经网络辅助波前传感装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“A”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
全息：是一种通过干涉和衍射原理使用光学介质或者电子计算机记录和重现三维空间物体位置信息的技术。在重建阶段，使用与生成阶段一致的入射光束照射全息图，即可得到被全息编码的三维图像。可以全息这项技术可以被用于光学储存、重现，同时可以用来处理信息。
波前：波前是指波在介质中传播时，某时刻刚刚开始位移的质点构成的面。它代表某时刻波能量到达的空间位置，它是运动着的。波前与射线成正交，但是在各向异性的介质中如双折射晶体，光线一般不和波前垂直。因此，使用射线或波前来研究波是等效的。根据波前的形状一般可以把波分为球面波、平面波，柱面波等。光波传播中同相位的点所构成的面。光波是振动面与传播方向垂直的横波，波面是由电磁振动构成的平面。由处于不同波面内的同相点构成了整个光波的波前。光波的传播实际上是波前不断再现的过程。点光源形成球面波前，平行光源形成平面波前。
波前像差：波前像差即是由实际波前和理想的无偏差状态的波前之间的偏差来定义。点光源发出的球面波经光学系统后形成的波形与理想球面波之间的距离。而波前像差的内涵可以通过泽尔尼克(Zernike)多项式或球差彗差等几何像差来表达。理想的镜片是它们的曲面随处方屈光度而变，曲面部分经计算以校正单个透镜的各种像差和畸变。
泽尼克多项式：通常人们会使用幂级数展开式的形式来描述光学系统的像差。由于泽尼克多项式和光学检测中观测到的像差多项式的形式是一致的，因而它常常被用来描述波前特性。其可以描述成径向坐标和角度坐标的函数，分为奇、偶两类，其数学形式如下：
通过上述分解，可以将任意的波前表示成若干个正交的波前的项，即每个波前可以通过一组确定的系数唯一的确定。因此，寻找系统像差进行矫正的目的可以转换为寻找可以正确表示波前的泽尔尼克系数的过程。
感兴趣区域(region of interest，ROI)指的是机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
在相关技术中，需要对已完全获取的整张荧光图像进行波前探测。然而，在实际的荧光全息图像中，可能仅有部分区域是有用的。
如图1所示，图1是本申请实施例提供的一种完整荧光图像的示意图。如图1所示的完整荧光图像中，包括了轴突和树突等分布稀疏的结构，还包括了细胞区域。在图1中，主要关注的是细胞区域。
虽然在完整图像中，可能仅有部分区域是感兴趣的区域，但此时相关技术中仍然对于整张荧光图像进行波前探测，导致波前探测的效率低下。
因此，本申请提供的基于全息投影的循环神经网络辅助波前传感方法、装置、电子设备、计算机可读存储介质及计算机程序产品，旨在解决现有技术的如上的波前探测的效率低下技术问题。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
如图2所示，图2是本申请实施例提供的系统架构示意图。如图2所示的系统架构包括显微镜装置和电子设备。其中，显微镜装置包括光路结构和显微镜。显微镜装置用于形成图像，电子设备则获取第一荧光图像，第一荧光图像覆盖全息荧光显微镜的视场，并确定第一荧光图像的感兴趣区域，以及基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。
图2给出了基于数字微镜器件(Digtial Micromirror Devices，DMD)的无传感器自适应光学激光扫描荧光(AO-TPE)显微镜系统的光学结构。激光源为钛宝石飞秒激光器。由于DMD同时具有可编程二进制掩模和引入负角色散的闪耀光栅的功能，因此在光路中放置一个光栅以预先补偿激光束中的角色散。扩束器L1和扩束器L2放置在光栅和DMD之间，以匹配不同的色散角。DMD后，无色散激光束通过L3，L4和L5引导到无限远校正物镜(OL1)。在L3的后焦平面上放置一个空间滤波器，在空间上抑制除全息图的一阶衍射外的所有衍射光束。样品发射的荧光通过二向镜(DM)到光电倍增管，用于荧光图像的生成。
为了通过DMD同时实现模态波前校正和3D随机扫描，将描述波前畸变的泽尼克多项式叠加到设计的扫描波前上。然后通过二进制全息方案将合成的波前转换为二进制图案，最后加载到DMD中以操纵入射的无色散激光束。
可选的，本实施例的电子设备包括但不限于用户终端或服务器。其中，服务器包括但不限于物理服务器或云服务器，还可以是服务器集群等。上述用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、可穿戴电子设备、AR/VR设备等。
请参阅图3，图3是本申请实施例提供的一种基于全息投影的循环神经网络辅助波前传感方法的流程示意图。本实施例的基于全息投影的循环神经网络辅助波前传感方法以应用于电子设备进行举例说明。如图3所示的基于全息投影的循环神经网络辅助波前传感方法，包括：
S310、获取第一荧光图像。
其中，第一荧光图像可以是预先生成的荧光图像。在本实施例中，可选的，第一荧光图像可以覆盖全息荧光显微镜的视场。具体的，第一荧光图像覆盖全息荧光显微镜的视场，可以理解为显微镜的视场中的每一个扫描点，在第一荧光图像中都有至少一个对应的像素点。可选的，本实施例的第一荧光图像可以是标记有荧光的图像，在此不做限定。本实施例的第一荧光图像，可以是全息图像，其中可以是二值化全息图像，例如Lee全息图像(李型全息图像，Lee hologram)。Lee全息图像指的是利用Lee全息生成方案生成的二值化全息图像。
请参阅图4a-图4b，图4a-图4b是本申请实施例提供的一种使用DMD全息投影模式的3D空间扫描方案。如图4a所示，轴向扫描可以通过控制进入物镜的激光束的准直来实现，其中会聚或发散光束将分别使焦点向物镜方向或远离物镜方向移动；虚线表示准直光束的原始焦平面。这个概念可以通过DMD将输入光束的波前塑造成球形波前来实现；而球面波前的半径直接决定了焦点的位置。换句话说，DMD既可以作为凸面镜，也可以作为凹面镜，如图4b所示。球面波前的相位可以表示为：
根据Lee全息生成方案生成的二值化全息图像可以生成任意用户定义的DMD球面波前的二元全息图：
R(x，y)＝x·sin(α)+y·cos(α)
其中，R(x，y)为控制焦点横向扫描的项，φ(x，y)为控制焦点轴向移动的项，φp(x，y)为主动添加的项(本方案中的控制对象)。其他参数的含义和作用：λ表示系统工作的波长，f表示控制波前的等效焦距，q(0≤q≤1/2)是控制条纹宽度的常量，T是控制生成全息图级次距离的常量，α表示控制全息图角度的参数，k表示整数。
在本实施例中，第一荧光图像生成后，可以发送至电子设备进行进一步处理。
S320、确定第一荧光图像的感兴趣区域。
在本实施例中，感兴趣区域可以是需要进一步观察的区域。需要说明的是，第一荧光图像中的感兴趣区域可以是一个，也可以是不少于两个，根据实际的情况确定，在此不做限定。如图1所示的第一荧光图像中，感兴趣区域可以是细胞区域等，在此不做限定。可选的，在本实施例中，感兴趣区域可以覆盖全息荧光显微镜的视场的全部或部分，根据实际情况确定，在此不做限定。
一般的，荧光强度强代表此处荧光分子聚集密集，即将含有需要观测的实验对象，将其作为感兴趣区域。
S330、基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。
其中，循环神经网络(Recurrent Neural Network，RNN)是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。循环神经网络具有记忆性、参数共享并且图灵完备(Turing completeness)，因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理(Natural Language Processing，NLP)，例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络(Convolutional Neural Network，CNN)构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。
其中，感兴趣区域为第一荧光图像中的一个区域。感兴趣区域所占据的区域大小，小于或等于第一荧光图像所占据的区域大小。在一些情况下，感兴趣区域所占据的区域大小，小于第一荧光图像所占据的区域大小。
本实施例的技术方案，通过确定第一荧光图像的感兴趣区域，并基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，由于进行波前探测处理的区域是第一荧光图像的感兴趣区域，则本实施例在波前探测时可以对感兴趣区域进行，因此本申请实施例能够解决相关技术中需要对已完全获取的整张荧光图像进行波前探测，导致波前探测的效率较低的技术问题，进而达到了提高波前探测的效率的技术效果。此外，由于是针对某一感兴趣区域进行的波前探测处理，则可以针对性的进行校正，从而提高波前矫正的效果，进而提升显微成像的效果。另外，若感兴趣区域为不少于两个时，则每个感兴趣区域都能够进行针对性的波前探测，从而提升波前探测的灵活性以及准确性。
在一种可能的实现方式中，确定第一荧光图像的感兴趣区域，包括：
响应于在显示第一荧光图像的显示界面的选择操作，确定第一荧光图像的感兴趣区域。
在本实施例中，可以在一个显示界面先显示第一荧光图像，则可以根据用户在显示界面的选择操作，确定出第一荧光图像的感兴趣区域。
可选的，可以以用户在第一荧光图像选择的位置为中心，预设范围内的区域作为感兴趣区域。
本实施例的技术方案，可以根据用户的需要来确定感兴趣区域，可以提高用户的体验以及感兴趣区域确定的灵活性。
在另一种可能的实现方式中，确定第一荧光图像的感兴趣区域，包括：
基于第一荧光图像中满足预设的感兴趣条件的区域，确定第一荧光图像的感兴趣区域。
其中，感兴趣条件可以是预先确定的，用来判断出第一荧光图像中的感兴趣区域条件。在本实施例中，可以针对第一荧光图像中的任一区域，分别判断是否满足感兴趣条件，若满足，则将该区域为感兴趣区域。可选的，区域的大小可以根据需要设置，例如将第一荧光图像的50％区域作为判断是否满足感兴趣条件的区域，在此不做限定。
可选的，所述感兴趣条件包括以下的至少一项：
区域对应的目标占比大于预设占比阈值；
区域对应的目标占比不低于其他区域对应的目标占比；
其中，所述目标占比为该区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值，所述目标像素点的像素值大于设定的强度阈值。
一般来说，感兴趣区域是亮度较高的区域，例如包括细胞的第一荧光图像，感兴趣区域为神经细胞的细胞区域，该细胞区域也是亮度较高的区域。在本实施例中，感兴趣区域为荧光点比较集中的区域，因此，可以根据第一荧光图像中的荧光点集中的区域来确定出感兴趣区域。其中，像素值可以是亮度值，则强度阈值可以是亮度阈值，则目标像素点可以理解为较亮的点。在本实施例中，可选的，若区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值大于预设占比阈值，则该区域内的荧光点较多，则该区域为感兴趣区域。可以理解的是，预设占比阈值可以根据需要设置，例如设置为50％，在此不做限定。可选的，若区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值，不低于其他区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值，则说明该区域内的目标像素点的占比最多，则该区域内的荧光点较多，则该区域为感兴趣区域。可选的，还可以以上述条件的组合来确定出感兴趣区域，例如若区域对应的目标占比大于预设占比阈值且区域对应的目标占比不低于其他区域对应的目标占比，则说明该区域为感兴趣区域。
可以理解的是，通过区域对应的目标占比是否大于预设占比阈值，以及区域对应的目标占比是否为所有区域中最大的目标占比来判断是否为感兴趣区域，可以提高感兴趣区域的判断准确性。
本实施例的技术方案，通过设置感兴趣条件，针对第一荧光图像中的每一区域判断是否满足感兴趣条件，从而确定出第一荧光图像中感兴趣区域，可以提高感兴趣区域的确定效率。
在另一种可能的实现方式中，确定第一荧光图像的感兴趣区域，包括：
响应于在显示第一荧光图像的显示界面的选择操作，确定第一荧光图像的感兴趣区域；
基于第一荧光图像中满足预设的感兴趣条件的区域，确定第一荧光图像的感兴趣区域。
在本实施例中，可以是用户先在显示界面选择某一区域，然后可以以选择的区域为中心区域，确定该中心区域的周边区域是否满足感兴趣条件。
可选的，周边区域的其中一个像素点与中心区域的其中一个像素点为同一像素点。
本实施例的技术方案，通过在显示界面选择某一区域，然后可以以选择的区域为中心区域，确定该中心区域的周边区域是否满足感兴趣条件，从而提高确定感兴趣区域的识别效率。
以下实施例在以上任一实施例的基础上，对于如何对第一荧光图像的感兴趣区域进行波前探测处理进行进一步说明。
在一种可能的实现中，第一荧光图像是基于至少两个探测波前生成的。
相应的，基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，包括：
获取第一荧光强度序列，第一荧光强度序列包括至少两个第一荧光强度，至少两个第一荧光强度是以至少两个探测波前分别施加至第一荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第一荧光强度与至少两个探测波前一一对应，第一荧光强度与同一探测波前施加至第一荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关；
基于循环神经网络和第一荧光强度序列确定第一荧光图像的感兴趣区域对应的目标波前信息。
在本实施例中，可选的，可以先以探测波前Wp1施加至第一荧光图像的感兴趣区域的每一感兴趣像素点；然后记录在探测波前Wp1施加至第一荧光图像的感兴趣区域的情况下，每一感兴趣像素点的荧光强度；探后基于每一感兴趣像素点的荧光强度来确定出该探测波前Wp1对应的第一荧光强度。然后，可以以探测波前Wp2施加至第一荧光图像的感兴趣区域的每一感兴趣像素点；然后记录在探测波前Wp2施加至第一荧光图像的感兴趣区域的情况下，每一感兴趣像素点的荧光强度；然后基于每一感兴趣像素点的荧光强度来确定出该探测波前Wp2对应的第一荧光强度。依次类推，每一个探测波前都有一个对应的第一荧光强度，由此可以基于至少两个探测波前得到一一对应的至少两个第一荧光强度，从而得到第一荧光强度序列。
具体的，在实际实现中，由于光的波前相位通常是复杂的曲面，因此通过选择一种正交基将其分解为相互正交的函数之和可以有效地进行光学实现。在全息荧光显微镜中，泽尔尼克系数是被广泛使用地一组正交基，可以有效模拟不同级次地波前类型，达到较好地拟合效果。因此，波前地添加被等效为选择的泽尔尼克系数，进而生成光波前阵面的相位分布函数并使用Lee全息图将相位分布变为对应的二值全息图。当加载探测波前的激光点作用在荧光分子上，荧光强度与入射光强度(强度和加载波前有非线性关系)呈现相关性，因此采集荧光强度作为确定目标波前像差的依据。
在一种可能的实现方式中，可以基于第一荧光强度序列以及特定的函数关系式来确定第一荧光图像的感兴趣区域对应的目标波前信息。
在另一种可能的实现方式中，基于循环神经网络和第一荧光强度序列确定第一荧光图像的感兴趣区域对应的目标波前信息，包括：
将第一荧光强度序列输入训练完成的波前探测模型，以获得波前探测模型输出的目标波前像差。
在本实施例中，可以将第一荧光强度序列输入训练完成的波前探测模型，则波前探测模型能够基于该第一荧光强度序列进行波前探测处理，从而确定出第一荧光强度序列对应的波前相差，则将第一荧光强度序列对应的波前相差作为第一荧光图像的感兴趣区域对应的目标波前像差。
其中，波前探测模型的训练方式包括：
获取至少两个训练数据对，每一训练数据对包括波前像差和第二荧光强度序列，第二荧光强度序列包括至少两个第二荧光强度，至少两个第二荧光强度是以至少两个探测波前分别施加至第二荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第二荧光强度与至少两个探测波前一一对应，第二荧光强度与同一探测波前施加至第二荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关，第二荧光图像是基于至少两个探测波前生成的；
利用至少两个训练数据对训练循环神经网络，以得到波前探测模型。
在本实施例中，可选的，可以先以探测波前Wp1施加至第二荧光图像的感兴趣区域的每一感兴趣像素点；然后记录在探测波前Wp1施加至第二荧光图像的感兴趣区域的情况下，每一感兴趣像素点的荧光强度；探后基于每一感兴趣像素点的荧光强度来确定出该探测波前Wp1对应的第二荧光强度。然后，可以以探测波前Wp2施加至第二荧光图像的感兴趣区域的每一感兴趣像素点；然后记录在探测波前Wp2施加至第二荧光图像的感兴趣区域的情况下，每一感兴趣像素点的荧光强度；然后基于每一感兴趣像素点的荧光强度来确定出该探测波前Wp2对应的第二荧光强度。依次类推，每一个探测波前都有一个对应的第二荧光强度，由此可以基于至少两个探测波前得到一一对应的至少两个第二荧光强度，从而得到第二荧光强度序列。
在本实施例中，利用至少两个训练数据对训练循环神经网络，循环神经网络模型训练完成后，可以将训练完成的循环神经网络模型作为本实施例的波前探测模型。
本实施例的技术方案，由于循环神经网络能挖掘数据对中的时序信息以及语义信息，由此结合循环神经网络以及数据对能够提高波前探测的准确性。
可选的，第一荧光强度与第一荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关。
可选的，第二荧光强度与第二荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关。
需要说明的是，第一荧光图像的感兴趣区域的判断条件，可以与第二荧光图像的感兴趣区域的判断条件一致，且第一荧光图像的感兴趣区域与第二荧光图像的感兴趣区域的形状、大小一致。
在一种可能的实现中，第一荧光图像和第二荧光图像是基于至少两个探测波前和泽尔尼克多项式的前预设数量项生成的。
可选的，预设数量小于或等于泽尔尼克多项式的总项数。
在本实施例中，通过至少两个探测波前和泽尔尼克多项式的前预设数量项生成第一荧光图像和第二荧光图像，可以兼容图像生成质量和效率。
请参阅图5，图5是本申请实施例提供的一种基于循环神经网络进行波前预测的工作原理示意图。如图5所示，训练数据对中的波前像差可以作为真实标签(real target)，第二荧光强度序列可以作为训练数据(train data)，然后对训练数据对进行编码。编码后的数据进行光调制器(light modulator)进行调制，然后对调制后的数据进行数据抓取(datagrabbing)后输入循环神经网络模型进行训练。循环神经网络模型基于输入的数据进行预测后，得到预测标签，将真实预测标签与预测标签进行比对可以得到循环神经网络模型的模型损失，则基于模型损失可以判断循环神经网络模型是否训练完成，当训练完成是输出训练完成的循环神经网络模型作为波前探测模型。
以下实施例在以上任一实施例的基础上，使用DMD以二值化全息图进行随即扫描获得荧光图像，以及利用人工智能来进行波前探测为例进行说明。
S0、使用Lee全息图生成方案(见图4)，生成可以覆盖整个显微镜视场的扫描点，得到整个视场的荧光图像，荧光强度强代表此处荧光分子聚集密集，即含有我们要观测的实验对象，将其作为感兴趣区域，分析并获取感兴趣区域。值得注意的是，工作区域在图2所示的视场的不规则包围区域内即可，不要求完全覆盖内部所有区域。
其中，Lee全息图是具有明暗相间条纹二值图，1/0数值表明明暗，其数学表达为下式：
R(x，y)＝x·sin(α)+y·cos(α)
其中，R(x，y)为控制焦点横向扫描的项，φ(x，y)为控制焦点轴向移动的项，φp(x，y)为主动添加的项(本方案中的控制对象)。其他参数的含义和作用：λ表示系统工作的波长，f表示控制波前的等效焦距，q(0≤q≤1/2)是控制条纹宽度的常量，T是控制生成全息图级次距离的常量，α表示控制全息图角度的参数，k表示整数。
S1、约定需要被探测的波前像差为Wt，顺序施加在该波前上的探测波前为Wp。
S2、设计固定长度序列的探测波前Wp：指定系统需要矫正的泽尔尼克多项式的级次，如前17项(采用noll序列)；指定探测波前的序列长度，如1000项，即Wp，i＝{Z1，Z2，…，Z17}，max(i)＝1000。
S3、利用Lee全息生成方案生成在S1中设计的探测波前全息图并上传到DMD。将每个探测波前带入到公式中，即实现探测波前在指定空间位置的添加。注意，此添加方式适用单空间，如需要在多个空间位置生成，则针对每个空间位置可以均重复该步骤。
S4、基于S3，以22kHz扫描S0得到的兴趣区域，保持扫描区域不变，每次扫描将该兴趣区域内的每个点施加不同的探测波前Wp，扫描区域得到的荧光强度取和作为该次扫描的强度，依次改变加载在该兴趣区域的探测波前，重复此过程，即可得到强度序列。
并记录每个点的强度序列Ipp,i,max(pp)＝pointnumber,max(i)＝1000。
S5、改变S1中定义的Wt，但保持Wp不变，重复循环S2-S5以实现训练数据的采集。
训练环节(见图5)：
S6、确定输入网络的数据对，原始数据对格式为Datapp＝{label：Wt,pp|value：Ipp,1,Ipp,2,…,Ipp,1000}，pp为被训练样本编号。
S7、根据网络实际调整需要，将Ipp值规范为网络可接受的形式进行训练，调整参数得到最终可收敛模型ModelRNNAO。其实现的映射为f：Ipp→Wt。
可选的，需要将长度为L的强度序列变成M×N(＝L)的为数组，M表示RNN的步长，N表示feature size，从而输入网络进行训练。
使用环节：
S8、按照S0的方式得到需要矫正的感兴趣区域，按照S3方式对扫描的单点位置添加探测波前，以22kHz的速度采集强度数据。在实际实现中，由于光的波前相位通常是复杂的曲面，因此通过选择一种正交基将其分解为相互正交的函数之和可以有效地进行光学实现。在全息荧光显微镜中，泽尔尼克系数是被广泛使用地一组正交基，可以有效模拟不同级次地波前类型，达到较好地拟合效果。因此，波前地添加被等效为选择的泽尔尼克系数，进而生成光波前阵面的二位相位分布函数并使用Lee全息图将相位分布变为对应的全息图。当加载探测波前的激光点作用在荧光分子上，荧光强度与入射光强度(强度和加载波前有非线性关系)呈现相关性，因此采集荧光强度作为我们采集信号的强度。
S9、将采集到的单点强度序列整理为可被网络接受的形式并输入网络，得到实施波前矫正处的目标波前信息，即Wp,test＝ModelRNNAO(Itest)。
请参阅图6、图6是本申请实施例提供的一种基于全息投影的循环神经网络辅助波前传感装置的结构示意图。如图6所示，该基于全息投影的循环神经网络辅助波前传感装置60可以包括图像获取模块601、感兴趣区域确定模块602和波前探测模块603，其中：
图像获取模块601，用于获取第一荧光图像；
感兴趣区域确定模块602，用于确定第一荧光图像的感兴趣区域；
波前探测模块603，用于基于循环神经网络对第一荧光图像的感兴趣区域进行波前探测处理，以得到第一荧光图像的感兴趣区域对应的目标波前信息，目标波前信息包括目标波前像差。
在一种可能的实现方式中，感兴趣条件包括：
区域内的目标像素点的占比大于预设占比阈值；和/或，
区域内的目标像素点的占比不低于任一区域内的目标像素点的占比；
其中，目标像素点的像素值为目标像素值，目标像素值用于表示像素点为第一荧光图像的前景。
在一种可能的实现方式中，第一荧光图像是基于至少两个探测波前生成的；
该波前探测模块603用于获取第一荧光强度序列，第一荧光强度序列包括至少两个第一荧光强度，至少两个第一荧光强度是以至少两个探测波前分别施加至第一荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第一荧光强度与至少两个探测波前一一对应，第一荧光强度与同一探测波前施加至第一荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关；
基于循环神经网络和第一荧光强度序列确定第一荧光图像的感兴趣区域对应的目标波前信息。
在一种可能的实现方式中，该波前探测模块603用于将第一荧光强度序列输入训练完成的波前探测模型，以获得波前探测模型输出的目标波前像差；
其中，波前探测模型的训练方式包括：
获取至少两个训练数据对，每一训练数据对包括波前像差和第二荧光强度序列，第二荧光强度序列包括至少两个第二荧光强度，至少两个第二荧光强度是以至少两个探测波前分别施加至第二荧光图像的感兴趣区域的每一感兴趣像素点得到的，至少两个第二荧光强度与至少两个探测波前一一对应，第二荧光强度与同一探测波前施加至第二荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关，第二荧光图像是基于至少两个探测波前生成的；
利用至少两个训练数据对训练循环神经网络，以得到波前探测模型。
在一种可能的实现方式中，神经网络模型包括循环神经网络模型。
在一种可能的实现方式中，第一荧光强度与第一荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关；
第二荧光强度与第二荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关。
在一种可能的实现方式中，第一荧光图像和第二荧光图像是基于至少两个探测波前和泽尔尼克多项式的前预设数量项生成的。
本实施例的基于全息投影的循环神经网络辅助波前传感装置可执行本申请前述实施例所示基于全息投影的循环神经网络辅助波前传感方法的步骤，其实现原理相类似，此处不再赘述。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现以上任一方面的基于全息投影的循环神经网络辅助波前传感方法的步骤。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备7000包括：处理器7001和存储器7003。其中，处理器7001和存储器7003相连，如通过总线7002相连。可选地，电子设备7000还可以包括收发器7004，收发器7004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器7004不限于一个，该电子设备7000的结构并不构成对本申请实施例的限定。
处理器7001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器7001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线7002可包括一通路，在上述组件之间传送信息。总线7002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线7002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器7003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器7003用于存储执行本申请实施例的计算机程序，并由处理器7001来控制执行。处理器7001用于执行存储器7003中存储的计算机程序，以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种基于全息投影的循环神经网络辅助波前传感方法，其特征在于，包括：
获取第一荧光图像；
确定所述第一荧光图像的感兴趣区域；
基于循环神经网络对所述第一荧光图像的感兴趣区域进行波前探测处理，以得到所述第一荧光图像的感兴趣区域对应的目标波前信息，所述目标波前信息包括目标波前像差。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一荧光图像的感兴趣区域，包括：
响应于在显示所述第一荧光图像的显示界面的选择操作，确定所述第一荧光图像的感兴趣区域；和/或，
基于所述第一荧光图像中满足预设的感兴趣条件的区域，确定所述第一荧光图像的感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述感兴趣条件包括以下的至少一项：
区域对应的目标占比大于预设占比阈值；
区域对应的目标占比不低于其他区域对应的目标占比；
其中，所述目标占比为该区域内连通的目标像素点的数量与该区域内的所有像素点的数量的比值，所述目标像素点的像素值大于设定的强度阈值。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一荧光图像是基于至少两个探测波前生成的；
所述基于循环神经网络对所述第一荧光图像的感兴趣区域进行波前探测处理，以得到所述第一荧光图像的感兴趣区域对应的目标波前信息，包括：
获取第一荧光强度序列，所述第一荧光强度序列包括至少两个第一荧光强度，所述至少两个第一荧光强度是以所述至少两个探测波前分别施加至所述第一荧光图像的感兴趣区域的每一感兴趣像素点得到的，所述至少两个第一荧光强度与所述至少两个探测波前一一对应，所述第一荧光强度与同一探测波前施加至所述第一荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关；
基于循环神经网络和所述第一荧光强度序列确定所述第一荧光图像的感兴趣区域对应的目标波前信息。
5.根据权利要求4所述的方法，其特征在于，所述基于循环神经网络和所述第一荧光强度序列确定所述第一荧光图像的感兴趣区域对应的目标波前信息，包括：
将所述第一荧光强度序列输入训练完成的波前探测模型，以获得所述波前探测模型输出的所述目标波前像差；
其中，所述波前探测模型的训练方式包括：
获取至少两个训练数据对，每一训练数据对包括波前像差和第二荧光强度序列，所述第二荧光强度序列包括至少两个第二荧光强度，所述至少两个第二荧光强度是以所述至少两个探测波前分别施加至第二荧光图像的感兴趣区域的每一感兴趣像素点得到的，所述至少两个第二荧光强度与所述至少两个探测波前一一对应，所述第二荧光强度与同一探测波前施加至所述第二荧光图像的感兴趣区域的情况下每一感兴趣像素点的荧光强度有关，所述第二荧光图像是基于所述至少两个探测波前生成的；
利用所述至少两个训练数据对训练循环神经网络，以得到所述波前探测模型。
6.根据权利要求5所述的方法，其特征在于，所述第一荧光强度与所述第一荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关；
所述第二荧光强度与所述第二荧光图像的感兴趣区域的感兴趣像素点的荧光强度之和线性正相关。
7.根据权利要求5所述的方法，其特征在于，所述第一荧光图像和所述第二荧光图像是基于至少两个探测波前和泽尔尼克多项式的前预设数量项生成的。
8.一种基于全息投影的循环神经网络辅助波前传感装置，其特征在于，包括：
图像获取模块，用于获取第一荧光图像；
感兴趣区域确定模块，用于确定所述第一荧光图像的感兴趣区域；
波前探测模块，用于基于循环神经网络对所述第一荧光图像的感兴趣区域进行波前探测处理，以得到所述第一荧光图像的感兴趣区域对应的目标波前信息，所述目标波前信息包括目标波前像差。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤。
CN202311061271.3A 2023-08-22 2023-08-22 基于全息投影的循环神经网络辅助波前传感方法及设备 Pending CN117218332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311061271.3A CN117218332A (zh) 2023-08-22 2023-08-22 基于全息投影的循环神经网络辅助波前传感方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311061271.3A CN117218332A (zh) 2023-08-22 2023-08-22 基于全息投影的循环神经网络辅助波前传感方法及设备

Publications (1)

Publication Number Publication Date
CN117218332A true CN117218332A (zh) 2023-12-12

Family

ID=89039816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311061271.3A Pending CN117218332A (zh) 2023-08-22 2023-08-22 基于全息投影的循环神经网络辅助波前传感方法及设备

Country Status (1)

Country Link
CN (1) CN117218332A (zh)

Similar Documents

Publication Publication Date Title
Hossein Eybposh et al. DeepCGH: 3D computer-generated holography using deep learning
Möckl et al. Deep learning in single-molecule microscopy: fundamentals, caveats, and recent developments
Cohen et al. Enhancing the performance of the light field microscope using wavefront coding
JP4820750B2 (ja) 複数の位相コントラストフィルタによる所望波面の生成
US20150323787A1 (en) System, method and computer-accessible medium for depth of field imaging for three-dimensional sensing utilizing a spatial light modulator microscope arrangement
EP3255414A1 (en) 3d refractive index tomography and structured illumination microscopy system using wavefront shaper and method thereof
JP2022524727A (ja) 位相空間光変調器を用いた大スケールの一様な光学的焦点アレイ生成
JP6770951B2 (ja) 結果画像を生成する方法及び光学装置
JP2010217897A (ja) 波面の位相情報を回復するためのシステムおよび方法
Mikhaylov et al. High accuracy beam splitting using spatial light modulator combined with machine learning algorithms
CN110462484A (zh) 具有优化的照明几何结构的结构照明
CN110006861B (zh) 一种双光子荧光成像方法、系统及图像处理设备
CN112130308A (zh) 一种多角度照明的高分辨显微成像系统
Lenton et al. OTSLM toolbox for structured light methods
CN111008945A (zh) 基于机器学习的多像质参数自适应像差矫正方法及装置
Yang et al. Fourier ptychography multi-parameunter neural network with composite physical priori optimization
Hu et al. Universal adaptive optics for microscopy through embedded neural network control
Mikhaylov et al. Machine learning aided phase retrieval algorithm for beam splitting with an LCoS-SLM
Ackermann et al. Uniform and efficient beam shaping for high-energy lasers
Wijesinghe et al. Emergent physics-informed design of deep learning for microscopy
Ferdman et al. Diffractive optical system design by cascaded propagation
Wijesinghe et al. Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams
CN111077085B (zh) 基于深度学习的无波前探测器自适应点扫描成像方法
CN117218332A (zh) 基于全息投影的循环神经网络辅助波前传感方法及设备
US20230101292A1 (en) Pseudo speckle pattern generation device, pseudo speckle pattern generation method, observation device, and observation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination