CN117970618A - 一种动态高分辨率表面等离子体共振全息显微成像方法 - Google Patents
一种动态高分辨率表面等离子体共振全息显微成像方法 Download PDFInfo
- Publication number
- CN117970618A CN117970618A CN202410361876.2A CN202410361876A CN117970618A CN 117970618 A CN117970618 A CN 117970618A CN 202410361876 A CN202410361876 A CN 202410361876A CN 117970618 A CN117970618 A CN 117970618A
- Authority
- CN
- China
- Prior art keywords
- resolution
- images
- spr
- image
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 230000005284 excitation Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 16
- 239000002184 metal Substances 0.000 claims description 9
- 230000010287 polarization Effects 0.000 claims description 9
- 239000004005 microsphere Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000002070 nanowire Substances 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000000386 microscopy Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000000399 optical microscopy Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000377 silicon dioxide Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- OOYGSFOGFJDDHP-KMCOLRRFSA-N kanamycin A sulfate Chemical group OS(O)(=O)=O.O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CN)O[C@@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](N)[C@H](O)[C@@H](CO)O2)O)[C@H](N)C[C@@H]1N OOYGSFOGFJDDHP-KMCOLRRFSA-N 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 229920002120 photoresistant polymer Polymers 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Holo Graphy (AREA)
Abstract
本发明提出一种动态高分辨率表面等离子体共振全息显微成像方法。由于表面等离子体波的横向传播特性，表面等离子体共振（SPR）图像中出现“拖尾”，导致SPR全息显微术的成像分辨率较低。采用多向激发SPR可以有效提高成像分辨率，但多向激发方式需要依次采集不同方向下的SPR图像，因而难以实现动态成像。本发明将SPR全息显微术与深度学习相结合，将多向激发获取的高分辨率图像与单向激发获取的低分辨率图像作为数据集来训练神经网络，输入单向激发SPR全息显微系统动态采集的低分辨率SPR图像，即可直接输出高分辨率SPR图像。本方法可以实现动态过程下的序列图像处理，成像速度仅受限于相机的采集帧率，具备动态高分辨率成像能力。
Description
技术领域
本发明涉及光学显微成像领域，尤其涉及基于表面等离子体共振的近场显微成像和高分辨率光学显微成像领域。
背景技术
表面等离子体共振（Surface plasmon resonance, SPR）现象最早由Wood于1902年发现，他观察到当光射向金属表面时，其反射强度会在特定角度下明显下降，光谱中出现明显的暗带，暗带的出现实际上是特定波长和角度的入射光与金属表面附近的等离子体发生共振，使入射光的能量耦合到等离子体中，使金属表面附近发生SPR。1987年，Yeatman将SPR与光学显微术相结合，发展了表面等离子体共振显微术（Surface plasmon resonancemicroscopy, SPRM）。由于具有宽场、无标记、非侵入和高灵敏度的显著优势，SPRM在生物医学和材料领域得到了广泛应用，例如抗原-抗体结合过程探测，细胞生命活动监测以及二维材料物性参量的表征测量等。早期的SPRM主要为基于Kretschmann架构的棱镜耦合结构，但棱镜无法与高放大倍率物镜集成而导致其成像的横向分辨率较低。为了解决此问题，Kano提出了物镜耦合型SPRM，在消除成像畸变的同时有效提高了成像分辨率。然而，发生SPR时金属表面附近会同时出现具有横向传播特性的表面等离子体波（Surface plasmon wave,SPW）。SPW传播至样品处发生散射，散射光与反射光相互作用，使得成像时样品出现“拖尾”现象，严重影响了成像的横向分辨率。Yu等提出利用频域滤波和反卷积算法来提高SPR强度图像的分辨率（Yu, Hui, et al. “Achieving high spatial resolution surfaceplasmon resonance microscopy with image reconstruction.” Analytical chemistry89, 2704 (2017)）。由于与SPW传播方向正交的方向不受SPW传播的影响，因此可以利用多向激发SPR并将多方向的SPR图像相叠加，从而减少单方向下“拖尾”的影响，进而提高SPRM的成像分辨率。Son等利用八通道照明激发SPRM来提高SPR强度图像的分辨率（Son,Taehwang, et al. “Enhanced surface plasmon microscopy based on multi-channelspatial light switching for label-free neuronal imaging.” Biosensors andBioelectronics, 146, 111738 (2019)）；Kuai等利用双轴振镜进行入射光波的多方向扫描提高了SPR强度图像的空间分辨率（Kuai, Yan, et al. “Label-free surface-sensitive photonic microscopy with high spatial resolution using azimuthalrotation illumination.” Science Advances, 5, eaav5335 (2019)）。但上述分辨率的提高均是针对SPR强度图像，为了利用SPR相位变化的高灵敏度特性，研究者在SPRM基础上引入数字全息术，由此发展出了表面等离子体共振全息显微术（Surface plasmonresonance holographic microscopy, SPRHM）。然而，SPRHM同样存在受图像“拖尾”影响的低分辨率问题，据此，Dou等利用正交（J. Dou, et al. “Dual-channel illuminationsurface plasmon resonance holographic microscopy for resolution improvement.”Optics Letters, 46, 1604 (2021)）和对向照明（J. Dou, et al. “High-resolutionsurface plasmon resonance holographic microscopy based on symmetricalexcitation.” Optics and Lasers in Engineering, 153, 107000 (2022)）的双通道SPRHM，并结合图像融合算法，在一定程度上提高了SPRHM的成像分辨率。为了实现各向同性分辨率的提升，理想情况是激发沿任意方向传播的SPW。然而，由于多向激发系统需要依次采集不同激发方向下的原始图像，所以难以实现动态测量，目前尚无动态高分辨率SPRHM的相关技术报道。
发明内容
要解决的技术问题
为克服现有方法和技术的不足，实现高分辨率SPR强度和相位图像的动态获取，本发明提出一种基于深度学习的动态高分辨率表面等离子体共振全息显微成像方法。
技术方案
本发明的思想在于：分别利用单向和多向激发SPRHM实验系统获取低分辨率和高分辨率SPR图像，将低分辨率图像作为神经网络输入、高分辨率图像作为输出，构建数据集并训练神经网络，待神经网络训练完成后，将单向激发SPRHM实验系统动态获取的低分辨率SPR图像作为输入，便可以直接获得高分辨率的成像结果，从而实现高分辨率SPR强度和相位图像的动态获取。
一种基于深度学习的动态高分辨率表面等离子体共振全息显微成像方法，其特征在于包括如下步骤：
步骤1：由玻璃基底、金属层和样品层组成的表面等离子体共振结构满足共振条件后，携带样品信息的系列反射光波作为物光波，并分别与未被调制的参考光波干涉后形成一系列数字全息图，利用光波衍射理论，重建得到一系列表面等离子体共振强度和相位图像；
所述共振条件为：具有特定偏振态的平行光以一定入射角度q在金属-样品界面发生全内反射；
所述系列反射光波是指入射光波在表面等离子体共振结构表面一周范围内每间隔a度依次进行入射而得到，即进行表面等离子体共振多向激发；
所述一系列表面等离子体共振强度和相位图像为单向激发下得到的包含“拖尾”的低分辨率图像，将一系列包含“拖尾”的低分辨率图像进行求均值得到相应的多向激发下的高分辨率表面等离子体共振强度和相位图像；
步骤2：将介质微球、金属纳米线等作为典型样品反复执行步骤1的操作，得到大量单向激发下的数字全息图、数值重建的低分辨率表面等离子体共振图像和对应的高分辨率表面等离子体共振图像，这些数据分别作为神经网络的输入和标签，对数据集中的输入图像与标签图像进行相同预处理操作后训练神经网络；
所述预处理操作主要有图像裁剪、数据增强和图像归一化，进行图像裁剪的原因为图像中包含多个被测物体或者被测物体形貌过大，导致神经网络无法充分学习其特征；数据增强的原因是为了提高网络的泛化能力，防止网络训练时过拟合，数据增强方式有随机旋转、裁剪、翻转、随机调节亮度与对比度，进行数据增强时需要将数据集中的输入和标签做同样处理；图像归一化处理是为了加快网络训练速度；
所述神经网络为一对一的神经网络架构，即将低分辨率和高分辨率图像分别作为输入和输出，对强度和相位图像分别进行训练；所述神经网络也可以为一对多的神经网络架构，即将低分辨率图像对应的数字全息图作为输入，重建和融合的高分辨率强度和相位图像作为输出；
步骤3：动态记录单向激发下的数字全息图，重建出低分辨率表面等离子体共振强度和相位图像，将其输入到步骤2中已训练好的神经网络，直接输出高分辨率强度和相位图像，即实现高分辨率表面等离子体共振强度和相位图像的动态获取。
有益效果
本方法引入深度学习算法，在神经网络模型训练完成后，输入使用单向激发SPRHM实验系统得到的低分辨率SPR图像，即可直接输出高分辨率SPR强度和相位图像。本方法可以实现序列图像的自动处理，处理速度仅受限于相机的采集帧率，具备动态成像能力。本发明数据处理简便，网络模型训练完毕即可部署至硬件设备进行计算，无需重复训练。
附图说明
图1：为基于深度学习实现高分辨率SPR强度和相位图像动态获取的方法原理示意图；图中：（a），（b）分别为一对一网络架构和一对多网络架构的方法原理示意图。
图2：为多向激发SPRHM实验系统示意图。
图中：1-波长为632.8nm的激光器，2-衰减片，3-物镜，4-针孔，5-焦距为100mm的凸透镜一，6-反射镜一，7-二维振镜，8-偏振片，9-半波片，10-焦距为200mm的凸透镜二，11-分光棱镜，12-一阶涡旋半波片，13-焦距为150mm的凸透镜三、14-焦距为150mm的凸透镜四，15-反射镜二，16-高数值孔径油浸显微物镜，17-焦距为200mm的凸透镜五，18-反射镜三，19-渥拉斯顿棱镜，20-偏振片，21-相机。
图3：为U-net神经网络架构。
图4：为Y-net神经网络架构。
图5：为1μm直径二氧化硅小球作为样品通过Y-net网络训练与测试的实验结果。
图中：（a）为单向激发SPRHM系统采集的全息图，（b1）与（b2）分别为网络输出的和用于网络训练的高分辨率SPR强度图像，（c1）与（c2）分别为网络输出的和用于网络训练的高分辨率SPR相位图像。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
图2所示为多向激发SPRHM实验系统，此系统基于物镜耦合的Kretschmann结构激发SPR，通过二维振镜调节激发光波的入射角来激发SPR，同时可以调节物镜后焦平面上激发光束的方位角，以实现面内一周范围内不同方向SPR的激发。通过一阶涡旋半波片实现对不同方位角下光束偏振态的调节。方位角的改变使得入射面发生改变，但使用一阶涡旋半波片，可以调制光束的偏振态以使激发光束的偏振态始终为s+p，利用p偏振分量可以激发SPR而s偏振分量不激发SPR的特点，使p偏振分量携带金属层上方样品信息而作为物光，而s偏振分量作为参考光，二者在CCD前通过渥拉斯顿棱镜和偏振片后在CCD上发生离轴干涉，可以获取携带样品SPR信息的全息图。开始采集数据时，首先利用LabVIEW软件控制振镜以增大光束的入射角度来实现SPR的激发，再控制振镜调节方位角以1°为步进角度旋转激发SPR，以此采集360幅各个方位角下的全息图。使用介质微球、纳米线、光刻胶结构等静态样品各采集一组数据，每组为360张全息图，对全息图进行重建后得到一系列携带“拖尾”的低分辨率SPR强度和相位图像，对这些图像求均值融合后得到消除“拖尾”的高分辨率SPR强度和相位图像。将低分辨率SPR图像与融合之后的高分辨率SPR图像进行裁剪处理，保证裁剪后的图像在包含完整样品及“拖尾”信息的同时减少无效信息，再将任意方位角下的全息图与对应的高分辨率SPR强度和相位图像作为数据对，或者将全息图重建得到的低分辨率SPR强度和相位图像和对应的高分辨率SPR强度和相位图像作为数据对。
使用TensorFlow搭建网络模型，采用U-net或者Y-net等端对端网络进行监督学习，网络详细结构如图3、4所示，在网络模型中使用上采样和下采样模块分别实现对低分辨率图像特征提取以及高分辨率图像还原，连接对应层防止特征信息丢失。低分辨率图像尺寸缩放为128×128作为标准输入，输出图像大小保持不变，训练开始时需要进行数据增强来增强网络的泛化能力且防止网络训练时过拟合。利用静态样品将网络训练完成后，利用单向激发SPRHM系统动态采集待观察样品的全息图，将其输入到已训练好的Y-net网络中便可直接得到高分辨率SPR强度和相位图像；或者先重建得到低分辨率SPR强度和相位图像，分别将其输入到已训练好的U-net网络，亦可直接得到高分辨SPR强度和相位图像。Y-net网络的优化器采用适应性矩估计（Adaptive Moment Estimation, Adam），损失函数采用结构相似性函数（Structural Similarity, SSIM），学习率设置为0.002，训练批次大小设置为20，迭代轮次设置为200，卷积核大小为3×3，利用Y-net网络架构获取的二氧化硅微球SPR强度和相位图像如图5所示。
Claims (1)
1.一种动态高分辨率表面等离子体共振全息显微成像方法，其特征在于包括如下步骤：
步骤1：由玻璃基底、金属层和样品层组成的表面等离子体共振结构满足共振条件后，携带样品信息的一系列反射光波作为物光波分别与未被调制的参考光波干涉后形成一系列数字全息图，利用光波衍射理论，重建得到一系列表面等离子体共振强度和相位图像；
所述共振条件为：具有特定偏振态的平行光以一定入射角度q在金属-样品界面发生全内反射；
所述一系列反射光波指的是入射光波在表面等离子体共振结构表面一周范围内每间隔a度依次进行入射而得到，即进行表面等离子体共振多向激发；
所述一系列表面等离子体共振强度和相位图像为单向激发下得到的包含“拖尾”的低分辨率图像，将一系列包含“拖尾”的低分辨率图像进行求均值得到相应的多向激发下的高分辨率表面等离子体共振强度和相位图像；
步骤2：将介质微球、金属纳米线等作为典型样品反复执行步骤1的操作，得到大量单向激发下的数字全息图、数值重建的低分辨率表面等离子体共振图像和对应的高分辨率表面等离子体共振图像，这些数据分别作为神经网络的输入和标签，对数据集中的输入图像与标签图像进行相同的预处理操作后训练神经网络；
所述预处理操作主要有图像裁剪、数据增强和图像归一化，进行图像裁剪的原因为图像中包含多个被测物体或者被测物体形貌过大，导致神经网络无法充分学习其特征；数据增强的原因是为了提高网络的泛化能力，防止网络训练时过拟合，数据增强方式有随机旋转、裁剪、翻转、随机调节亮度与对比度，进行数据增强时需要将数据集中的输入和标签做同样处理；图像归一化处理是为了加快网络训练速度；
所述神经网络为一对一的神经网络架构，即将低分辨率和高分辨率图像分别作为输入和输出，对强度和相位图像分别进行训练；所述神经网络也可以为一对多的神经网络架构，即将低分辨率图像对应的数字全息图作为输入，重建和融合的高分辨率强度和相位图像作为输出；
步骤3：动态记录单向激发下的数字全息图，重建出低分辨率表面等离子体共振强度和相位图像，将其输入到步骤2中已训练好的神经网络，直接输出高分辨率强度和相位图像，即实现高分辨率表面等离子体共振强度和相位图像的动态获取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361876.2A CN117970618B (zh) | 2024-03-28 | 一种动态高分辨率表面等离子体共振全息显微成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410361876.2A CN117970618B (zh) | 2024-03-28 | 一种动态高分辨率表面等离子体共振全息显微成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117970618A true CN117970618A (zh) | 2024-05-03 |
| CN117970618B CN117970618B (zh) | 2024-06-11 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
| EP3683771A1 (en) * | 2019-01-18 | 2020-07-22 | Canon Medical Systems Corporation | Medical processing apparatus |
| CN112548326A (zh) * | 2020-11-17 | 2021-03-26 | 华东师范大学重庆研究院 | 一种基于深度学习的山脊型表面5g芯片飞秒智能加工技术与装备 |
| WO2022121284A1 (zh) * | 2020-12-07 | 2022-06-16 | 西安电子科技大学 | 大视场高通量高分辨病理切片分析仪 |
| CN115841420A (zh) * | 2022-11-10 | 2023-03-24 | 天津大学 | 一种基于深度学习的偏振图像超分辨率重建方法 |
| CN116630343A (zh) * | 2023-05-23 | 2023-08-22 | 青岛理工大学 | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
| EP3683771A1 (en) * | 2019-01-18 | 2020-07-22 | Canon Medical Systems Corporation | Medical processing apparatus |
| CN112548326A (zh) * | 2020-11-17 | 2021-03-26 | 华东师范大学重庆研究院 | 一种基于深度学习的山脊型表面5g芯片飞秒智能加工技术与装备 |
| WO2022121284A1 (zh) * | 2020-12-07 | 2022-06-16 | 西安电子科技大学 | 大视场高通量高分辨病理切片分析仪 |
| CN115841420A (zh) * | 2022-11-10 | 2023-03-24 | 天津大学 | 一种基于深度学习的偏振图像超分辨率重建方法 |
| CN116630343A (zh) * | 2023-05-23 | 2023-08-22 | 青岛理工大学 | 一种基于深度学习的无铆钉铆接接头剖面图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nguyen et al. | Deep learning approach for Fourier ptychography microscopy | |
| Ozcan et al. | Lensless imaging and sensing | |
| Lindberg | Mathematical concepts of optical superresolution | |
| US10921255B2 (en) | Optical measuring device and process | |
| Huang et al. | Holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks | |
| Xiong et al. | Optimized sensing of sparse and small targets using lens-free holographic microscopy | |
| Jalali et al. | Tailoring wideband signals with a photonic hardware accelerator | |
| Zhang et al. | 3D imaging of optically cleared tissue using a simplified CLARITY method and on-chip microscopy | |
| WO2011152834A1 (en) | Coherent anti-stokes raman holography | |
| US20220086372A1 (en) | Multi-Modal Computational Imaging via Metasurfaces | |
| CN108469685B (zh) | 一种超分辨率关联成像系统及成像方法 | |
| Barchers | Closed-loop stable control of two deformable mirrors for compensation of amplitude and phase fluctuations | |
| CN111024664B (zh) | 一种结构光照明超分辨显微芯片的成像方法 | |
| Huang et al. | Deep learning enabled nanophotonics | |
| Stantchev et al. | Rapid imaging of pulsed terahertz radiation with spatial light modulators and neural networks | |
| CN117970618B (zh) | 一种动态高分辨率表面等离子体共振全息显微成像方法 | |
| Wijesinghe et al. | Emergent physics-informed design of deep learning for microscopy | |
| Chen et al. | eFIN: enhanced Fourier imager network for generalizable autofocusing and pixel super-resolution in holographic imaging | |
| Du et al. | Metagrating-based acoustic wavelength division multiplexing enabled by deterministic and probabilistic deep learning models | |
| CN117970618A (zh) | 一种动态高分辨率表面等离子体共振全息显微成像方法 | |
| Zhang et al. | Inverse design of multifunctional metasurface based on multipole decomposition and the adjoint method | |
| CN113125387A (zh) | 一种增强表面等离子体共振相位成像横向分辨率的方法 | |
| Sun et al. | Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction | |
| Kong et al. | Phase microscopy using band-limited image and its Fourier transform constraints | |
| Memmolo et al. | Loss minimized data reduction in single-cell tomographic phase microscopy using 3D zernike descriptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |