CN117929335A - 成像装置、成像方法、电子设备及计算机可读存储介质 - Google Patents
成像装置、成像方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117929335A CN117929335A CN202311775334.1A CN202311775334A CN117929335A CN 117929335 A CN117929335 A CN 117929335A CN 202311775334 A CN202311775334 A CN 202311775334A CN 117929335 A CN117929335 A CN 117929335A
- Authority
- CN
- China
- Prior art keywords
- scanning
- unit
- focus
- hologram
- focuses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 150
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 34
- 239000006185 dispersion Substances 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000007493 shaping process Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 6
- 230000005684 electric field Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 57
- 230000003287 optical effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 239000010410 layer Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002311 multiphoton fluorescence microscopy Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000003685 thermal hair damage Effects 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
- G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请实施例提供了一种成像装置、成像方法、电子设备及计算机可读存储介质。成像装置包括:控制单元,用于生成全息图并控制成像中硬件同步;空间光调制单元,加载有全息图以对激光光束进行整形生成目标波,目标波波前信息包括待成像平面内焦点数量和位置;扫描单元,单轴扫描使照射在样本待成像平面内的焦点在扫描方向上延展;探测器,以与扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被激发后的荧光信号并发给控制单元;若焦点为一个,则控制单元根据焦点的位置信息和荧光信号的映射关系进行像素注册获得图像;若焦点为多个,则控制单元根据多个焦点的位置信息和荧光信号利用压缩感知算法获得图像。本申请实施例实现了快速体成像。
Description
技术领域
本申请涉及光学显微成像技术领域,具体而言,本申请涉及一种成像装置、成像方法、电子设备及计算机可读存储介质。
背景技术
多光子荧光显微镜作为生命科学领域的一个重要成像方法,由于具有独特的照明与探测方式,而逐渐受到广泛的关注。多光子荧光显微镜通过荧光团的多光子非线性吸收效应实现荧光基团的激活,从而实现被标记物质的特异性标记。由于多光子非线性吸收效应,只有在焦点处才能形成荧光基团的激活,因此多光子荧光显微镜具有良好的光学切层效果(第一点),多光子荧光显微镜工作波长接近荧光基团单光子激发波长的整数倍,其常见波长包括780nm、920nm和1030nm,在此波段下,生物组织等样本对样本的吸收散射最少,可以保证探测光的良好穿透,可以有效探测厚样本(第二点);同时,能够激发非线性吸收的激光器通常是飞秒或皮秒脉冲激光器,峰值能量高,平均功率低,对样本的热损伤较小(第三点)。以上三点(即上述第一点、第二点和第三点)构成了多光子荧光显微镜较共聚焦显微镜的主要优势。但是生物信息通常发生在三维空间内,因此实现生物样本的快速体成像对揭示动态信号的发生过程具有重要意义。
为提升体成像速度,很多工作已经从光学设计和算法等方面做了诸多尝试。直观地,将一束光分成多束同时成像,可以直接将成像速度提升数倍,且正比于光束数量。在实现中需要使用二维探测传感器,如sCMOS(scientific Complementary Metal-Oxide-Semiconductor,科学互补金属氧化物半导体)或者EMCCD(Electron-Multiplying ChargeCoupled Device,电子倍增CCD)相机,进行荧光信号的收集。同时需要考虑在不同轴向位置的多点信号的视场(Field of view,简称FOV)的布局以及在不同探测位置时相差的矫正。与此对应,时空复用解决了探测器件的痛点,可以在传统点扫荧光显微镜的基础上直接实现。通过将一束脉冲激光通过多个分光装置或倾斜摆放的反射镜进一步复制出多个脉冲,每个脉冲信号交替出现在不同的空间位置,通过对信号收集和区分之后即可得到不同空间位置的荧光信息。该种方式光路设计通常比较复杂,并且受到激光器重复频率的限制。受传统体成像的启发,小惯性或者无惯性扫描方式被引入到体成像过程中。通过移动样本方式逐层扫描进行体成像通常会受到系统惯性的影响而运动速度不能提升,通过远程聚焦技术(remote focusing)将样本平台的大惯量系统转换成仅需移动反射镜小惯量系统,不同层的采集帧率受限于相机的采集速度。进一步地,使用空间光调制器如变形镜(deformablemirror,简称DM)或者电动可调透镜(Electrically tunable lens,简称ETL)同样可以实现快速扫描的效果。基于此种方法的扫描形式通常需要逐层扫描,在快速三维空间的体成像时受到空间调制能力和调制速度的限制。
因此,提出一种成本可控且快速体成像的装置和方法十分必要。
发明内容
本申请针对现有方式的缺点,提出一种成像装置、成像方法、电子设备及计算机可读存储介质,用以解决现有技术存在的体成像速度较慢的技术问题。
第一个方面,本申请实施例提供了一种成像装置,包括:
控制单元,用于根据样本中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图,并控制成像过程中的空间光调制单元、扫描单元和探测器同步工作;
空间光调制单元,与控制单元连接,控制单元将全息图加载至空间光调制单元,加载有全息图的空间光调制单元用于对接收到的激光光束进行整形,生成目标波,目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置;
滤波单元,用于对目标波进行滤波处理,以将目标波中除预设级次之外的其他级次的衍射光滤除;
扫描单元,与控制单元连接,控制单元控制扫描单元单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向上延展,其中,扫描方向与待成像平面相交;
探测器,用于以与扫描单元的扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被目标波激发后的荧光信号,并将荧光信号发送给控制单元;
若焦点的数量为一个,则控制单元根据该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,以获得样本的图像;
若焦点的数量为多个,则控制单元根据多个焦点的位置信息和接收的荧光信号,利用压缩感知算法获得样本的图像。
可选地,控制单元包括全息图生成模块、处理模块、信号采集与发生模块;全息图生成模块用于生成全息图并将全息图加载至空间光调制单元;信号采集与发生模块分别与空间光调制单元、扫描单元和探测器连接,信号采集与发生模块根据处理模块发送的命令向空间光调制单元、扫描单元和探测器发送同步信号,以控制空间光调制单元、扫描单元和探测器同步工作;探测器将荧光信号转换为电压信号并将电压信号发送至信号采集与发生模块,信号采集与发生模块将与电压信号对应的数据发送给处理模块;处理模块根据焦点的数量、焦点的位置信息和与电压信号对应的数据进行单焦点或多焦点的荧光图像的生成。
可选地,在单次扫描过程中,探测器同步采集N次,以获得在单个全息图、单次扫描过程中的荧光信号,其中,N大于或等于1;和/或,控制单元同时向空间光调制单元和扫描单元发送同步信号,使空间光调制单元和扫描单元同步触发;扫描单元完成单次扫描后向控制单元发出单次扫描完成信号,控制单元即时控制空间光调制单元切换全息图。
可选地,全息图为二值化全息图像,加载有二值化全息图像的空间光调制单元对光束进行波前整形以调制光束;光束的多个焦点通过叠加设计的二元全息图来生成,每个二元全息图均包含焦点的空间信息和强度信息;
光束生成p个焦点时,目标波前二值全息图生成过程使用下式表示:
其中,p≥1;x,y表示物镜下空间坐标位置;i,j表示微镜阵列的单微镜位置;q是控制光栅条纹宽度的常量,0≤q≤1/2;T是控制生成全息图级次距离的常量;k为整数;ii表示第ii个焦点;Bii表示不同焦点之间的相对强度,表示用于控制多焦点位置和形状的附加相位;Rii(x,y)为描述光栅相位的项,用于控制焦点的横向扫描;/>为描述球面波前的项,用于控制焦点轴向移动;Rii(x,y)和/>分别使用下式表示:
Rii(x,y)=x·sin(α)+y·cos(α)
其中,λ表示系统工作的激发波长;f表示控制波前的等效焦距;α为控制光栅相位的旋转角度。
可选地,采用WGS算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加上述目标波前二值全息图生成过程表示式hm(i,j)来生成多个焦点;迭代过程使用下式表示:
其中:p为目标焦点的个数;Φ(x,y)表示多焦点的目标相位,包含p个目标焦点的相位信息;Φl表示在第l次循环中焦点的目标相位信息;wii表示第ii个焦点的权重;θii表示第ii个焦点的相位;表示该焦点的目标强度;/>表示归一化的电场强度;ul表示所有焦点的均匀程度;/>表示在第l次迭代中焦点强度的最大值和最小值;i、j不超过微镜阵列横纵方向的像素数px、py。
可选地,成像装置还包括用于对激光光束进行角色散补偿的色散补偿单元;色散补偿单元包括第一光栅、第一透镜和第二透镜,第一光栅对激光光束产生正角色散;空间光调制单元包括数字微镜阵列,控制单元与数字微镜阵列连接,将全息图加载到数字微镜阵列,数字微镜阵列在全息模式下工作,对光束进行调制,使光束生成至少一个焦点,至少一个焦点任意分布在待成像平面内,并与位于待成像平面内的至少一个预设位置一一对应;数字微镜阵列复用为色散补偿单元的第二光栅,第二光栅对光束产生负角色散;第一光栅、第一透镜、第二透镜和数字微镜阵列依次设置;和/或,
待成像平面为平行于竖直方向和第一水平方向的竖直平面,空间光调制单元调制光束,使光束在对应于竖直平面的任意一个或多个预设位置处生成一个或多个焦点,以在视场内对样本的竖直平面内的任意空间点进行探测;扫描方向平行于第二水平方向,第二水平方向垂直于竖直平面,扫描单元包括扫描振镜,扫描振镜调节光束的角度,使光束进入物镜并沿第二水平方向对样本进行扫描。
可选地,成像装置还包括第三透镜和第四透镜,第三透镜设置在空间光调制单元和滤波单元之间,第三透镜对光束进行傅里叶变换;滤波单元采用空间滤波方法对光束进行滤波处理,以使-1级衍射光通过,将除-1级衍射光之外的衍射光滤除;第四透镜设置在滤波单元和扫描单元之间,空间光调制单元、第三透镜、滤波单元、第四透镜和扫描单元依次设置;和/或,
成像装置还包括第五透镜、第六透镜和二向色镜,扫描单元、第五透镜、第六透镜和二向色镜依次设置;二向色镜对光束进行反射,使光束进入物镜;探测器包括单像素探测器,物镜、二向色镜和单像素探测器依次设置;二向色镜对样本被激发的荧光进行透射,样本被激发的荧光依次透过物镜和二向色镜到达单像素探测器,单像素探测器收集对应于每一个焦点和与该焦点对应的扫描方向的荧光强度信息。
第二个方面,本申请实施例提供了一种成像方法,包括:
根据样本中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图;
依据全息图,对接收的激光光束进行整形,生成目标波,目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置;
对目标波进行滤波,以将目标波中除预设级次之外的其他级次的衍射光滤除;
进行单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向上延展,其中,扫描方向与待成像平面相交;
以与扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被目标波激发后的荧光信号;
根据一个焦点的位置信息和收集的荧光信号的映射关系进行像素注册,以获得样本的图像;或者,根据多个焦点的位置信息和收集的荧光信号,利用压缩感知算法获得样本的图像。
可选地,全息图为二值化全息图像,利用加载有二值化全息图像的数字微镜阵列对光束进行波前整形以调制光束;依据全息图,对接收的激光光束进行整形,生成目标波,包括:采用WGS算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加目标波前二值全息图生成过程来生成多个焦点;和/或,
成像方法包括重复执行整形、滤波和扫描操作多次,以收集多组荧光信号,对多组荧光信号进行数据分割和重构,以生成样本的图像。
第三个方面,本申请实施例提供了一种电子设备,包括存储器和处理器,存储器上存储有计算机程序,处理器执行计算机程序以实现如上述的成像方法。
第四个方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的成像方法。
本申请实施例提供的技术方案带来的有益技术效果包括:
本申请实施例中,控制单元根据样本的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图,并将该全息图加载至空间光调制单元,加载有该全息图的空间光调制单元对接收到的激光光束进行整形,生成目标波,其中目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置,从而对待成像平面内的激光焦点的位置和数量进行精确控制;接着,滤波单元对目标波进行滤波处理,将目标波中除预设级次之外的其他级次的衍射光滤除,使预设级次的衍射光通过;控制单元控制成像过程中的空间光调制单元、扫描单元和探测器同步工作,控制单元控制扫描单元单轴扫描,使照射在样本待成像平面(比如x-z平面)内的焦点在扫描方向(比如y方向)上延展;探测器以与扫描单元的扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被目标波激发后的荧光信号,并将荧光信号发送给控制单元用于成像。
如果焦点的数量为一个,则控制单元根据该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,获得样本的图像,从而实现快速体成像。如果焦点的数量为多个,则控制单元根据多个焦点的位置信息和接收的荧光信号,利用压缩感知算法,获得样本的图像,从而实现快速体成像。
本申请实施例使用一种MEMS器件(包括数字微镜阵列和扫描振镜),通过加载有全息图的数字微镜阵列能够对x-z平面内的激光焦点的位置和数量进行精确控制,沿轴向生成空间任意扫描焦点,扫描振镜控制目标波沿y方向对样本进行扫描。结合二值化全息图生成方案并使用数字微镜阵列进行视场内位于x-z平面内任意空间点的探测,配合扫描振镜在y方向的共振扫描,实现三维空间的快速成像。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的一种成像装置的光学结构示意图;
图2为本申请实施例提供的一种成像装置使用逐行逐点扫描方式成像的结果示意图;
图3为本申请实施例提供的一种成像装置使用逐点随机扫描方式成像的结果示意图;
图4为本申请实施例提供的一种成像装置使用多点随机扫描方式成像的结果示意图;
图5为本申请实施例提供的一种成像装置基于数字微镜阵列强度调制的单焦点生成方案的结果示意图;
图6为本申请实施例提供的一种成像装置基于数字微镜阵列强度调制的单焦点生成方案的横向展示结果示意图;
图7为本申请实施例提供的一种成像装置基于数字微镜阵列强度调制的多焦点生成方案的结果示意图;
图8为本申请实施例提供的一种成像装置基于数字微镜阵列强度调制的多焦点生成方案的横向展示结果示意图;
图9为本申请实施例提供的一种成像装置在多点工作模式下的压缩感知重建方案的流程图;
图10为本申请实施例提供的一种成像装置在多点工作模式下的压缩感知重建方案的结构示意图;
图11为本申请实施例提供的一种成像装置的一个单焦点工作效果图(示出了稀疏平面切层);
图12为本申请实施例提供的一种成像装置的另一单焦点工作效果图(示出了曲面体成像);
图13为本申请实施例提供的一种成像装置的又一单焦点工作效果图(示出了正交平面切层);
图14为本申请实施例提供的一种成像装置的再一单焦点工作效果图(示出了自定义切层体成像);
图15为本申请实施例提供的一种成像装置的再一单焦点工作效果图(示出了逐层逐点扫描体成像);
图16为本申请实施例提供的一种成像装置的多焦点压缩感知工作效果;
图17为本申请实施例提供的一种成像方法的流程示意图。
附图标记:
100-成像装置;10-控制单元;11-全息图;12-信号采集与发生模块;13-控制部;20-空间光调制单元;21-数字微镜阵列;30-滤波单元;40-扫描单元;41-扫描振镜;50-探测器;60-色散补偿单元;61-第一光栅;62-第一透镜;63-第二透镜;71-第三透镜;72-第四透镜;73-第五透镜;74-第六透镜;75-二向色镜;76-物镜;80-激光光束;90-样本。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。这里使用的术语“和/或”指该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释:
全息:是一种通过干涉和衍射原理使用光学介质或者电子计算机记录和重现三维空间物体位置信息的技术。在重建阶段,使用与生成阶段一致的入射光束照射全息图,即可得到被全息编码的三维图像。全息这项技术可以被用于光学储存、重现,同时可以用来处理信息。
波前:是指光线在介质中传播时,在某时刻相同相位点构成的面。根据波前的形状一般可以把波分为球面波、平面波,柱面波等。
空间光调制器:是一种用于调制光波相位、振幅或偏振状态的光学器件。它通常由液晶、光电效应材料或微机电系统(MEMS)等组成,具有可控制光场的能力。具体而言,它可以在光波传播过程中引入相位调制、振幅调制或偏振调制,从而改变光波的空间分布特性。
波前整形:其基本思想是,通过改变入射光线的波前信息,也就是光线的方向和相位,使得经过散射介质后的光线能够重新聚焦或成像。
压缩感知(Compressed Sensing,CS):也被称为压缩采样、稀疏采样或压缩传感,是一种寻找定线性系统的稀疏解的技术。它作为一个新的采样理论,通过开发信号的稀疏特性,在远小于奈奎斯特采样率的条件下,用随机采样获取信号的离散样本,然后通过非线性重建算法重建信号。
傅里叶变换:表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合。
感兴趣区域(region of interest,ROI):指的是机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域。
针对现有技术中多光子荧光显微镜体成像速度较慢的问题,本申请提供了一种成像装置、成像方法、电子设备及计算机可读存储介质,结合了空间光调制器件和扫描振镜来实现焦点控制,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。需要指出的是,下述实施方式之间可以相互参考、借鉴或结合,对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等,不再重复描述。
本申请实施例提供了一种成像装置,该成像装置100的光学结构示意图如图1所示,包括:控制单元10、空间光调制单元20、滤波单元30、扫描单元40和探测器50。
控制单元10用于根据样本90中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图11,并控制成像过程中的空间光调制单元20、扫描单元40和探测器50同步工作。
空间光调制单元20与控制单元10连接,控制单元10将全息图11加载至空间光调制单元20,加载有全息图11的空间光调制单元20用于对接收到的激光光束80进行整形,生成目标波,目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置,从而对待成像平面内的激光焦点的位置和数量进行精确控制。
滤波单元30用于对目标波进行滤波处理,以将目标波中除预设级次之外的其他级次的衍射光滤除,使预设级次的衍射光通过。
扫描单元40与控制单元10连接,控制单元10控制扫描单元40单轴扫描,以使照射在样本90待成像平面内的焦点在扫描方向上延展,其中,扫描方向与待成像平面相交。
探测器50用于以与扫描单元40的扫描速率相匹配的采样速率收集样本90在焦点位置处沿扫描方向被目标波激发后的荧光信号,并将荧光信号发送给控制单元10,用于成像。
若焦点的数量为一个,则控制单元10根据该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,以获得样本90的图像,从而实现快速体成像。可选地,一个焦点时可使用空间位置与荧光强度的映射关系进行像素注册获得图像。可选地,通过空间位置信息对荧光强度进行匹配,实现像素注册,从而有效提高特征匹配的准确性,实现荧光强度与空间位置信息对应区域的精准配对。
若焦点的数量为多个,则控制单元10根据多个焦点的位置信息和接收的荧光信号,利用压缩感知(CS)算法获得样本90的图像,从而实现快速体成像。
可选地,本申请实施例中,全息图11为二值化全息图。空间光调制单元20包括数字微镜阵列21(Digital micromirror device,简称DMD)。扫描单元40包括扫描振镜41(Resonant galvanometric scanner,简称RG)。当然,在本申请另一些可选的实施方式中,还可以使得扫描单元40包括其他能够实现光束单向扫描的器件。
本申请实施例中,通过加载有全息图的空间光调制单元20控制生成在待成像平面内的激光焦点的数量和位置;通过扫描单元40控制照射在待成像平面内的焦点在垂直于该待成像平面的扫描方向上延展。本申请的成像装置采用在单面(即待成像平面)内单焦点或多焦点生成配合沿垂直于此单面的方向进行单轴扫描的成像方式,实现三维空间的快速成像。
可选地,本申请实施例中,扫描方向垂直于待成像平面。如图2至图4所示,待成像平面为x-z二维平面(其中,x为第一水平方向;z为竖直方向,亦为本文中的轴向或深度方向),扫描方向为y方向(y方向为第二水平方向),本申请实施例是在x-z平面生成单焦点或多焦点,并沿y轴扫描。当然,在本申请另一些可选的实施方式中,待成像平面还可以为其他平面,比如x-y平面,扫描方向还可以为其他方向,比如z方向,此时在x-y平面生成单焦点或多焦点,并沿z轴扫描;可根据实际需要设计或选择待成像平面、扫描方向以及待成像平面和扫描方向之间的夹角,此处不再赘述。
本申请实施例使用一种MEMS器件(包括数字微镜阵列21和扫描振镜41),通过加载有全息图11的数字微镜阵列21(DMD)能够对x-z平面内的激光焦点的位置和数量进行精确控制,沿轴向生成空间任意扫描焦点,以在视场内对样本90的x-z平面内的任意空间点进行探测;扫描振镜41(RG)控制目标波沿y方向对样本90进行扫描。
本申请实施例中,结合二值化全息图生成方案并使用数字微镜阵列21(DMD)进行视场内位于x-z平面内任意空间点的探测,配合扫描振镜41(RG)在y方向的共振扫描,实现三维空间的快速成像。
本申请技术方案具有以下有益效果:
1、扫描方式灵活。通过轴向焦点的控制,可以实现对x-z平面内感兴趣区域的扫描;并且可以根据成像需求,在x-z平面自定义扫描路径。
2、支持压缩感知成像,可进一步提升扫描速度。使用DMD的多焦点生成能力,在x-z平面内进行亚采样,体成像速度进一步提升2-3倍。
3、保留轴向信息。与2.5D显微镜不同,本申请技术方案工作在点扫模式下,每个像素点被分别解析,无需算法重建就可以得到轴向信息。
4、成本较低。使用的MEMS器件是常见于投影仪中的器件,获取方便,系统升级费用较低。
本申请实施例提供的成像装置和方法是一种成本可控、轴向信息可解析的快速体成像装置和方法。
可选地,激光光束80为脉冲激光光束。
本申请实施例中,探测器50的采样速率与扫描单元40的扫描速率相匹配,实现扫描器件与探测器的时间同步和空间注册。可选地,探测器50的采样速率可为固定采样速率。
可选地,位置信息包括空间位置信息。
可选地,如图1所示,本申请实施例中,控制单元10包括全息图生成模块、处理模块、信号采集与发生模块12。全息图生成模块和处理模块集成于控制部13。其中:
全息图生成模块用于生成全息图并将全息图加载至空间光调制单元20。可选地,生成全息图以及将全息图加载至空间光调制单元20的操作是在成像操作之前进行的。
信号采集与发生模块12分别与空间光调制单元20(比如数字微镜阵列21)、扫描单元40(比如扫描振镜41)和探测器50连接,信号采集与发生模块12根据处理模块发送的命令向空间光调制单元20、扫描单元40和探测器50发送同步信号,使空间光调制单元20、扫描单元40和探测器50同步触发,以控制空间光调制单元20、扫描单元40和探测器50在成像过程中同步工作。
可选地,探测器50将荧光信号转换为电压信号并将电压信号发送至信号采集与发生模块12,信号采集与发生模块12将与电压信号对应的数据发送给处理模块。处理模块根据焦点的数量、焦点的位置信息和与电压信号对应的数据进行单焦点或多焦点的荧光图像的生成。
可选地,探测器50和信号采集与发生模块12通信连接。信号采集与发生模块12接收探测器50收集的对应于每一个焦点和与该焦点对应的扫描方向的荧光强度信息,并将荧光强度信息转化为数字信号。
可选地,信号采集与发生模块12与处理模块通信连接。处理模块接收信号采集与发生模块12转化的数字信号,并在焦点的数量为一个时,根据对应于该焦点的空间点位置信息、与该焦点对应的扫描方向和荧光强度信息转化的数字信号,利用该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,生成样本90的图像;或在焦点的数量为多个时,根据对应于每一个焦点的空间点位置信息、与各焦点对应的扫描方向和荧光强度信息转化的数字信号,利用压缩感知算法生成样本90的图像,从而实现快速体成像。
可选地,本申请实施例中,信号采集与发生模块12为数字或模拟信号采集卡。
可选地,本申请实施例中,控制部13为电子计算机或其他能够实现数据处理和全息图生成的器件。
可选地,如图9所示,本申请实施例中,成像装置可重复执行整形、滤波和扫描操作多次,以收集多组荧光信号,对多组荧光信号进行数据分割和重构,以生成样本的图像。
可选地,在单次扫描过程中,探测器50同步采集N次,以获得在单个全息图、单次扫描过程中的荧光信号(像素),其中,N大于或等于1。
可选地,扫描单元40作为扫描成像过程中与空间光调制单元20、探测器50协同工作的主控单元,在每次扫描后发出信号控制空间光调制单元20和探测器50,使目标波进入物镜76后照射在样本90焦点位置处,对样本90在待成像平面内焦点位置处沿扫描方向进行扫描。
可选地,扫描单元40完成单次扫描后向控制单元10(具体为信号采集与发生模块12,如图1所示)发出单次扫描完成信号,控制单元10即时向空间光调制单元20发送切换全息图11命令,即时控制空间光调制单元20切换全息图11,以控制目标波在物镜76下形成的焦点位于待成像平面(比如x-z平面)内感兴趣区域的任意点,使目标波行成的焦点在物镜76下实现任意控制。
可选地,全息图生成模块生成新的全息图,并将新的全息图加载至空间光调制单元20,实现空间光调制单元20切换全息图11。切换完全息图11后,可再次执行处理模块向信号采集与发生模块12发送命令、信号采集与发生模块12向空间光调制单元20、扫描单元40和探测器50发送同步信号、空间光调制单元20、扫描单元40和探测器50同步工作,以获得图像的操作。
可选地,如图1所示,本申请实施例中,加载有全息图11的数字微镜阵列21在全息模式下工作,对激光光束80进行调制,使激光光束80生成至少一个焦点,至少一个焦点间隔分布在待成像平面(x-z平面)内,并与位于待成像平面内的至少一个预设位置一一对应。
可选地,本申请实施例中,全息图11为二值化全息图像,加载有二值化全息图像的空间光调制单元20对激光光束进行波前整形以调制光束。
可选地,DMD的微反射镜只有“0”和“1”两种状态,利用二元全息算法控制方程,通过推导出目标光场的复振幅表达式,结合目标光场的复振幅表达式以及二元全息算法,可确定目标光场的二元全息图,加载到DMD上,实现光场的实时调控。加载二元全息图到DMD,根据二元全息图的像素值(0或1)控制DMD每个像素上微镜的翻转,当像素值为0时,该像素上的微镜可通过改变微反射镜的翻转状态对系统接收的信号光信息进行编码,实现对目标场景调制。
通过二进制全息方案将合成的波前转换为二进制图案,最后加载到DMD中以操纵入射的无色散激光束。
可选地,本申请实施例中,数字微镜阵列21的图案是具有明暗相间条纹二值图,数字微镜阵列包括呈阵列排布的多个微反射镜,各微反射镜的明暗使用数值1、0表示。
可选地,本申请实施例中,基于DMD强度调制的单焦点生成方案如图5和图6所示,多焦点生成方案如图7和图8所示。
具体地,如图5和图6所示,本申请实施例中,单焦点生成方案如下:
光束生成一个焦点(p=1)时,目标波前二值全息图生成过程使用下式表示:
其中:x,y表示物镜下空间坐标位置;i,j表示微镜阵列的单微镜位置,i、j不超过微镜阵列横纵方向的像素数px、py;q是控制光栅条纹宽度的常量,0≤q≤1/2;T是控制生成全息图级次距离的常量;k为整数;R(x,y)为描述光栅相位的项,用于控制焦点的横向扫描;为描述球面波前的项,用于控制焦点轴向移动;R(x,y)和/>分别使用下式表示:
R(x,y)=x·sin(α)+y·cos(α) (3)
其中,λ表示系统工作的激发波长;f表示控制波前的等效焦距;α为控制光栅相位的旋转角度。
通过上述设置方式能够生成单焦点。
可选地,通过上述式(2)中f可决定轴向位置移动。
具体地,如图7和图8所示,本申请实施例中,多焦点生成方案如下:
可选地,本申请实施例中,光束的多个焦点通过叠加设计的二元全息图来生成,每个二元全息图均包含焦点的空间信息和强度信息。
可选地,本申请实施例中,光束生成p个焦点时,目标波前二值全息图生成过程使用下式表示:
其中,p>1;x,y表示物镜下空间坐标位置;i,j表示微镜阵列的单微镜位置;q是控制光栅条纹宽度的常量,0≤q≤1/2;T是控制生成全息图级次距离的常量;k为整数;ii表示第ii个焦点;Bii表示不同焦点之间的相对强度,表示用于控制多焦点位置和形状的附加相位;Rii(x,y)为描述光栅相位的项,用于控制焦点的横向扫描;/>为描述球面波前的项,用于控制焦点轴向移动;Rii(x,y)和/>分别使用下式表示:
Rii(x,y)=x·sin(α)+y·cos(α) (6)
其中,λ表示系统工作的激发波长;f表示控制波前的等效焦距;α为控制光栅相位的旋转角度。
可选地,本申请实施例中,采用WGS(Weighted Gerchberg-Saxton,加权Gerchberg-Saxton)算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加上述目标波前二值全息图生成过程表示式hm(i,j)来生成多个焦点。
本申请实施例中,WGS算法是一种迭代相位检索算法,以焦点强度均匀度作为迭代指标。
可选地,本申请实施例中,迭代过程使用下式表示:
/>
其中:p为目标焦点的个数;Φ(x,y)表示多焦点的目标相位,包含p个目标焦点的相位信息;Φl表示在第l次循环中焦点的目标相位信息;wii表示第ii个焦点的权重;θii表示第ii个焦点的相位;表示该焦点的目标强度;/>表示归一化的电场强度;ul表示所有焦点的均匀程度;/>表示在第l次迭代中焦点强度的最大值和最小值;i、j不超过微镜阵列横纵方向的像素数px、py。
通过上述设置方式,能够生成多个焦点,能够有效防止在多焦点生成过程中出现相位的混叠,保证每个焦点的控制能力和强度均匀度。
可选地,本申请实施例中,生成的一个或多个焦点可以均位于感兴趣区域内,也可以根据实际需要,从生成的多个焦点中选择位于感兴趣区域内的一个或至少两个焦点进行成像。
可选地,如图1所示,本申请实施例中,成像装置100还包括用于对激光光束80进行角色散补偿的色散补偿单元60;色散补偿单元60包括第一光栅61、第一透镜62和第二透镜63,第一光栅61对激光光束80产生正角色散;数字微镜阵列21复用为色散补偿单元60的第二光栅,第二光栅对激光光束80产生负角色散,以消除角色散。
由于DMD同时具有可编程二进制掩模和引入负角色散的闪耀光栅的功能,因此在光路中放置一个光栅以预先补偿激光光束中的角色散。第一透镜62和第二透镜63放置在光栅和DMD之间,以匹配不同的色散角。
可选地,如图1所示,本申请实施例中,第一光栅61、第一透镜62、第二透镜63和数字微镜阵列21沿第一方向依次设置。
可选地,如图1所示,本申请实施例中,成像装置100还包括第三透镜71和第四透镜72,第三透镜71设置在空间光调制单元20和滤波单元30之间,第三透镜71对光束进行傅里叶变换,第四透镜72设置在滤波单元30和扫描单元40之间。
可选地,如图1所示,本申请实施例中,空间光调制单元20、第三透镜71、滤波单元30、第四透镜72和扫描单元40沿第二方向依次设置,第二方向和第一方向相交。
可选地,本申请实施例中,滤波单元30采用空间滤波(Spatial filter,简称SF)方法对光束进行滤波处理,以使-1级衍射光通过,将除-1级衍射光之外的衍射光滤除。
可选地,扫描振镜的作用是实现自动化的光学角度变化,提供在一定角度范围内光输出。扫描振镜自动化角度变化频率可配合空间光调控器件的图像变化频率实现动态全息的输出。
可选地,如图1所示,本申请实施例中,成像装置100还包括第五透镜73、第六透镜74和二向色镜75,扫描单元40、第五透镜73、第六透镜74和二向色镜75沿第三方向依次设置,第三方向和第二方向相交。
可选地,本申请实施例中,二向色镜75对光束进行反射,使光束进入物镜76。物镜76对光束进行聚焦,产生聚焦到样本90上的一个焦点或多个焦点,一个或多个焦点一一对应聚焦到样本90的x-z平面上的一个或多个焦点位置处。
可选地,本申请实施例中,探测器50包括单像素探测器,物镜76、二向色镜75和单像素探测器沿第四方向依次设置,第四方向和第三方向相交。
可选地,单像素探测器可采用光电倍增管(PMT),当然,还可以采用硅光电探测器;也可以面探测器,如CCD、EMCCD、CMOS等。
可选地,本申请实施例中,二向色镜75对样本90被激发的荧光进行透射。
可选地,本申请实施例中,样本90被激发的荧光依次透过物镜76和二向色镜75到达单像素探测器,单像素探测器收集对应于每一个焦点和与该焦点对应的扫描方向的荧光强度信息,用于荧光图像的生成。
可选的,本申请实施例的荧光图像可以是标记有荧光的图像,在此不做限定。本申请实施例的全息图像是二值化全息图像,例如Lee全息图像(李型全息图像,Leehologram)。Lee全息图像指的是利用Lee全息生成方案生成的二值化全息图像。
本申请实施例中,图1示出了成像装置的光路布局,图2至图4示出了成像装置的不同扫描工作模式。本申请实施例中成像装置的工作原理和步骤如下:
如图1所示,重频为80MHz、脉宽为140fs的脉冲光首先通过色散补偿单元60进行角色散补偿,经第一光栅(grating)61产生正角色散,并经过透镜组(包括第一透镜62和第二透镜63),然后入射到数字微镜阵列21(DMD),一方面光束经数字微镜阵列21产生正角色散,消除了角色散,另一方面数字微镜阵列21(DMD)工作在全息模式下,入射激光在经过DMD投射的二值全息图案调制后,在x-z平面的激光焦点的位置和数量均可精确控制,如图5至图8所示;数字微镜阵列21(DMD)出射的被调制光通过一对透镜(包括第三透镜71和第四透镜72)进入到扫描振镜41(RG);在第三透镜71和第四透镜72之间使用空间滤波(SF)选择出合适的衍射级次的衍射光通过,并将其它级次的衍射光滤除;扫描振镜41(RG)工作在共振模式(~8kHz)下,通过透镜组(包括第五透镜73和第六透镜74)将光束引导进入物镜76并使光束沿单一方向(本申请实施例中为y方向)扫描。物镜76下激光焦点在x-z平面的空间位置和数量均是可控的,因此其具有灵活的扫描方式。
本申请技术方案在单焦点的情况下,可以使用如图2中的扫描方式,即逐行逐点扫描方式。该模式与传统的激光点扫显微镜原理一致,并且拥有相同的成像速度。通过合适的感兴趣区域(ROI)选择方式,可以仅指定x-z平面内有限个像素数量进行扫描,可以有效提升采集速度,如图3中的扫描方式,即逐点随机扫描方式。
可选地,合适的感兴趣区域(ROI)选择方式包括主动路径设计和被动路径设计,主动路径设计如在x-z平面指定扫描图案,被动路径设计包括对空间三维成像后通过在x-z平面的投影分析确定ROI。
本申请技术方案在多焦点模式下,支持压缩感知成像,可以使用如图4中的扫描方式,即多点随机扫描方式。物镜76下产生多个焦点,被激发的荧光信号同时被单像素探测器收集,采集的荧光信号经过如图9和图10所示的压缩感知重建方案可恢复出完整的三维信息。
需要说明的是,如图2至图4中所示,不同颜色(图中不同颜色的深浅不同)表示不同时间点,同一颜色的数量表示同一时间的焦点数量。
可选地,利用空间光调制器件同时产生多个焦点以实现多点同步激发,结合探测方式并行记录多个焦点激发下图像的空间信息,再以光学或者数字的形式对像素进行重分配处理。
本申请实施例中,压缩感知多点采集的作用面是x-z面,因此在重建时以y轴为延拓方向,对不同yt下的x-z面分别使用二维压缩感知算法。由于在重建时各层都是独立不相干的,因此可以使用并行计算的方式加速重建过程。
对于单层的压缩感知,其重建过程如图9和图10所示。对于被测物体x(包括W×H像素),通过多点生成稀疏分布的焦点,作为压缩感知的测量矩阵Φ,每次采集的信号形成一维且长度为M的测量矩阵y。由于测量数量M<<W×H,因此有无穷组解的非齐次现象方程组的求解问题的表达式如下式:
argminx‖y-Φ·x‖1+τ‖x‖1,s.t.,y=Φ·x (14)
在满足y=Φ·x的前提下,使得预测值与测量值之间的L1范数最小。
可通过压缩感知重构算法求上式的最优化解,由此反演得到目标场景的图像。
本申请实施例中单点扫描工作效果图如图11至图15所示。其中,图像的空间为60×60×60um,采样像素点为200×512×40。RG扫描频率为8kHz,设置双向扫描模式下成像速度可以达到16kHz,DMD焦点生成频率与其保持一致,为16kHz。成像速度图11所示为稀疏平面切层,26.7Hz;图12所示为曲面体成像(10层),8Hz;图13所示为正交平面切层,57Hz;图14所示为自定义切层体成像,3.6Hz;图15所示为逐层逐点扫描体成像,2Hz。
本申请实施例中多焦点工作效果图如图16所示。其中,GT所示为使用样本平台移动得到的体成像结果,0.042Hz;Hybrid scan所示为单焦点成像结果,1.25Hz;HybridScan@CS 50%所示为采样率为50%情况下成像结果,2.5Hz;Hybrid Scan@CS 30%所示为采样率为30%情况下成像结果,5Hz。
本申请实施例的成像装置组合使用空间光调制器和扫描振镜实现了灵活地控制焦点的数量和位置,沿轴向方向可以生成空间任意扫描焦点。可应用于多光子荧光显微成像领域,可选地,本申请实施例的成像装置可形成为双光子荧光显微镜。
可选地,本申请实施例中,样本包括但不限于:生物样本,如细菌、细胞、细胞团以及细胞组织、非生物样本和有机物等。
基于同一发明构思,本申请实施例提供了一种成像方法,该成像方法的流程示意图如图17所示,该方法包括:
S101、根据样本中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图。
S102、依据全息图,对接收的激光光束进行整形,生成目标波,目标波的波前信息包括生成在待成像平面(比如x-z平面)内的焦点数量和焦点位置,从而对待成像平面内的激光焦点的位置和数量进行精确控制。
S103、对目标波进行滤波,以将目标波中除预设级次之外的其他级次的衍射光滤除,使预设级次的衍射光通过。
S104、进行单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向(比如y方向)上延展,其中,扫描方向与待成像平面相交。
S105、以与扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被目标波激发后的荧光信号。
S106、根据一个焦点的位置信息和收集的荧光信号的映射关系进行像素注册,以获得样本的图像;或者,根据多个焦点的位置信息和收集的荧光信号,利用压缩感知算法获得样本的图像,从而实现快速体成像。
可根据本申请实施例提供的成像方法对本申请实施例提供的成像装置执行成像操作,以实现快速成像。
本申请实施例中,对激光光束进行整形、目标波单轴扫描以及收集荧光信号同步工作。
本申请实施例使用一种MEMS器件执行成像方法的部分步骤,具体地,可通过加载有全息图11的数字微镜阵列21(DMD)执行“依据全息图,对接收的激光光束进行整形,生成目标波”步骤;可通过扫描振镜41(RG)执行“进行单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向上延展”步骤。结合二值化全息图生成方案并使用数字微镜阵列21(DMD)进行视场内位于x-z平面内任意空间点的探测,配合扫描振镜41(RG)在y方向的共振扫描,实现三维空间的快速成像。
本申请实施例提供的成像方法具有本申请实施例提供的成像装置的上述有益效果,此处不再赘述。
可选地,本申请实施例中,全息图为二值化全息图像,利用加载有二值化全息图像的数字微镜阵列对光束进行波前整形以调制光束。
可选地,本申请实施例中,依据全息图,对接收的激光光束进行整形,生成目标波,包括:
根据单焦点生成方案或多焦点生成方案生成一个或多个焦点,采用WGS算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加目标波前二值全息图生成过程hm(i,j)来生成多个焦点。
其中,单焦点生成方案、多焦点生成方案和WGS算法可参考前述内容及相应公式等,此处不再赘述。
本申请实施例中成像方法的工作原理和步骤,与本申请实施例中成像装置的工作原理和步骤类似或相同,此处不再赘述。
可选地,如图9所示,本申请实施例的成像方法,可重复执行整形、滤波和扫描操作多次,以收集多组荧光信号,对多组荧光信号进行数据分割和重构,以生成样本的图像。
基于同一发明构思,本申请实施例提供了一种电子设备,该电子设备包括存储器和处理器,存储器上存储有计算机程序,处理器执行计算机程序以实现如上述的成像方法。
本申请实施例中,计算机程序存储于存储器中,处理器执行上述计算机程序以实现本申请实施例提供的成像方法的各种可选实施方式。
本申请实施例的电子设备可执行本申请实施例所提供的成像方法的各种可选实施方式,其实现原理相类似,此处不再赘述。
可选地,存储器与处理器通信连接,如通过总线相连。
本技术领域技术人员可以理解,本申请实施例提供的电子设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
可选地,处理器可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
可选地,总线可包括一通路,在上述组件之间传送信息。总线可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。
可选地,存储器可以是ROM(Read-Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
可选地,电子设备还可以包括通信单元。通信单元可用于信号的接收和发送。通信单元可以允许电子设备与其他设备进行无线或有线通信以交换数据。需要说明的是,实际应用中通信单元不限于一个。
可选地,电子设备还可以包括输入单元。输入单元可用于接收输入的数字、字符、图像和/或声音信息,或者产生与电子设备的用户设置以及功能控制有关的键信号输入。输入单元可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地,电子设备还可以包括输出单元。输出单元可用于输出或展示经过处理器处理的信息。输出单元可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
可选的,存储器用于存储执行本申请方案的应用程序代码,并由处理器来控制执行。处理器用于执行存储器中存储的应用程序代码,以实现本申请实施例提供的成像方法的各种可选实施方式。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的成像方法。
本申请实施例提供的计算机可读存储介质适用于上述成像方法的各种可选实施方式。在此不再赘述。
应用本申请实施例,至少能够实现如下有益效果:
1、本申请实施例中,控制单元根据样本的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图,并将该全息图加载至空间光调制单元,加载有该全息图的空间光调制单元对接收到的激光光束进行整形,生成目标波,其中目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置,从而对待成像平面内的激光焦点的位置和数量进行精确控制;接着,滤波单元对目标波进行滤波处理,将目标波中除预设级次之外的其他级次的衍射光滤除,使预设级次的衍射光通过;控制单元控制成像过程中的空间光调制单元、扫描单元和探测器同步工作,控制单元控制单轴扫描,使照射在样本待成像平面(比如x-z平面)内的焦点在扫描方向(比如y方向)上延展;探测器以与扫描单元的扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被目标波激发后的荧光信号,并将荧光信号发送给控制单元用于成像。
如果焦点的数量为一个,则控制单元根据该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,获得样本的图像,从而实现快速体成像。如果焦点的数量为多个,则控制单元根据多个焦点的位置信息和接收的荧光信号,利用压缩感知算法,获得样本的图像,从而实现快速体成像。
2、本申请实施例使用一种MEMS器件(包括数字微镜阵列和扫描振镜),通过加载有全息图的数字微镜阵列能够对x-z平面内的激光焦点的位置和数量进行精确控制,沿轴向生成空间任意扫描焦点,扫描振镜控制目标波沿y方向对样本进行扫描。结合二值化全息图生成方案并使用数字微镜阵列进行视场内位于x-z平面内任意空间点的探测,配合扫描振镜在y方向的共振扫描,实现三维空间的快速成像。
3、扫描方式灵活。通过轴向焦点的控制,可以实现对x-z平面内感兴趣区域的扫描;并且可以根据成像需求,在x-z平面自定义扫描路径。
4、支持压缩感知成像,可进一步提升扫描速度。使用DMD的多焦点生成能力,在x-z平面内进行亚采样,体成像速度进一步提升2-3倍。
5、保留轴向信息。与2.5D显微镜不同,本申请技术方案工作在点扫模式下,每个像素点被分别解析,无需算法重建就可以得到轴向信息。
6、成本较低。使用的MEMS器件是常见于投影仪中的器件,获取方便,系统升级费用较低。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中,词语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方向或位置关系,为基于附图所示的示例性的方向或位置关系,是为了便于描述或简化描述本申请的实施例,而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明,否则在本申请实施例的一些实施场景中,各流程中的步骤可以按照需求以其他的顺序执行。而且,各流程图中的部分或全部步骤基于实际的实施场景,可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行,也可以在不同的时刻被执行在执行时刻不同的场景下,这些子步骤或者阶段的执行顺序可以根据需求灵活配置,本申请实施例对此不限制。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的方案技术构思的前提下,采用基于本申请技术思想的其他类似实施手段,同样属于本申请实施例的保护范畴。
Claims (11)
1.一种成像装置,其特征在于,包括:
控制单元,用于根据样本中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图,并控制成像过程中的空间光调制单元、扫描单元和探测器同步工作;
空间光调制单元,与所述控制单元连接,所述控制单元将所述全息图加载至所述空间光调制单元,加载有所述全息图的所述空间光调制单元用于对接收到的激光光束进行整形,生成目标波,所述目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置;
滤波单元,用于对所述目标波进行滤波处理,以将所述目标波中除预设级次之外的其他级次的衍射光滤除;
扫描单元,与所述控制单元连接,所述控制单元控制所述扫描单元单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向上延展,其中,扫描方向与待成像平面相交;
探测器,用于以与所述扫描单元的扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被所述目标波激发后的荧光信号,并将所述荧光信号发送给所述控制单元;
若焦点的数量为一个,则所述控制单元根据该焦点的位置信息和接收的荧光信号的映射关系进行像素注册,以获得所述样本的图像;
若所述焦点的数量为多个,则所述控制单元根据多个焦点的位置信息和接收的荧光信号,利用压缩感知算法获得所述样本的图像。
2.根据权利要求1所述的成像装置,其特征在于,所述控制单元包括全息图生成模块、处理模块、信号采集与发生模块;
所述全息图生成模块用于生成所述全息图并将所述全息图加载至所述空间光调制单元;
所述信号采集与发生模块分别与所述空间光调制单元、所述扫描单元和所述探测器连接,所述信号采集与发生模块根据所述处理模块发送的命令向所述空间光调制单元、所述扫描单元和所述探测器发送同步信号,以控制所述空间光调制单元、所述扫描单元和所述探测器同步工作;
所述探测器将所述荧光信号转换为电压信号并将所述电压信号发送至所述信号采集与发生模块,所述信号采集与发生模块将与所述电压信号对应的数据发送给所述处理模块;
所述处理模块根据焦点的数量、焦点的位置信息和与所述电压信号对应的数据进行单焦点或多焦点的荧光图像的生成。
3.根据权利要求1所述的成像装置,其特征在于,在单次扫描过程中,所述探测器同步采集N次,以获得在单个全息图、单次扫描过程中的荧光信号,其中,N大于或等于1;和/或,
所述控制单元同时向所述空间光调制单元和所述扫描单元发送同步信号,使所述空间光调制单元和所述扫描单元同步触发;所述扫描单元完成单次扫描后向所述控制单元发出单次扫描完成信号,所述控制单元即时控制所述空间光调制单元切换全息图。
4.根据权利要求1至3中任一项所述的成像装置,其特征在于,所述全息图为二值化全息图像,加载有所述二值化全息图像的所述空间光调制单元对光束进行波前整形以调制光束;
光束的多个焦点通过叠加设计的二元全息图来生成,每个二元全息图均包含焦点的空间信息和强度信息;
光束生成p个焦点时,目标波前二值全息图生成过程使用下式表示:
其中,p≥1;x,y表示物镜下空间坐标位置;i,j表示微镜阵列的单微镜位置;q是控制光栅条纹宽度的常量,0≤q≤1/2;T是控制生成全息图级次距离的常量;k为整数;ii表示第ii个焦点;Bii表示不同焦点之间的相对强度,表示用于控制多焦点位置和形状的附加相位;Rii(x,y)为描述光栅相位的项,用于控制焦点的横向扫描;/>为描述球面波前的项,用于控制焦点轴向移动;Rii(x,y)和/>分别使用下式表示:
Rii(x,y)=x·sin(α)+y·cos(α)
其中,λ表示系统工作的激发波长;f表示控制波前的等效焦距;α为控制光栅相位的旋转角度。
5.根据权利要求4所述的成像装置,其特征在于,采用WGS算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加上述目标波前二值全息图生成过程表示式hm(i,j)来生成多个焦点;迭代过程使用下式表示:
其中:p为目标焦点的个数;Φ(x,y)表示多焦点的目标相位,包含p个目标焦点的相位信息;Φl表示在第l次循环中焦点的目标相位信息;wii表示第ii个焦点的权重;θii表示第ii个焦点的相位;表示该焦点的目标强度;/>表示归一化的电场强度;ul表示所有焦点的均匀程度;/>表示在第l次迭代中焦点强度的最大值和最小值;i、j不超过微镜阵列横纵方向的像素数px、py。
6.根据权利要求1至3中任一项所述的成像装置,其特征在于,还包括用于对激光光束进行角色散补偿的色散补偿单元;
所述色散补偿单元包括第一光栅、第一透镜和第二透镜,所述第一光栅对所述激光光束产生正角色散;
所述空间光调制单元包括数字微镜阵列,所述控制单元与所述数字微镜阵列连接,将所述全息图加载到所述数字微镜阵列,所述数字微镜阵列在全息模式下工作,对光束进行调制,使光束生成至少一个焦点,所述至少一个焦点任意分布在所述待成像平面内,并与位于所述待成像平面内的至少一个预设位置一一对应;
所述数字微镜阵列复用为所述色散补偿单元的第二光栅,所述第二光栅对所述光束产生负角色散;
所述第一光栅、所述第一透镜、所述第二透镜和所述数字微镜阵列依次设置;
和/或,
所述待成像平面为平行于竖直方向和第一水平方向的竖直平面,所述空间光调制单元调制光束,使光束在对应于所述竖直平面的任意一个或多个预设位置处生成一个或多个焦点,以在视场内对样本的竖直平面内的任意空间点进行探测;
所述扫描方向平行于第二水平方向,所述第二水平方向垂直于所述竖直平面,所述扫描单元包括扫描振镜,所述扫描振镜调节光束的角度,使光束进入物镜并沿所述第二水平方向对所述样本进行扫描。
7.根据权利要求1至3中任一项所述的成像装置,其特征在于,还包括第三透镜和第四透镜,所述第三透镜设置在所述空间光调制单元和所述滤波单元之间,所述第三透镜对光束进行傅里叶变换;
所述滤波单元采用空间滤波方法对光束进行滤波处理,以使-1级衍射光通过,将除-1级衍射光之外的衍射光滤除;
所述第四透镜设置在所述滤波单元和所述扫描单元之间,所述空间光调制单元、所述第三透镜、所述滤波单元、所述第四透镜和所述扫描单元依次设置;
和/或,
还包括第五透镜、第六透镜和二向色镜,所述扫描单元、所述第五透镜、所述第六透镜和所述二向色镜依次设置;
所述二向色镜对光束进行反射,使光束进入物镜;
所述探测器包括单像素探测器,所述物镜、所述二向色镜和所述单像素探测器依次设置;
所述二向色镜对所述样本被激发的荧光进行透射,所述样本被激发的荧光依次透过所述物镜和所述二向色镜到达所述单像素探测器,所述单像素探测器收集对应于每一个焦点和与该焦点对应的扫描方向的荧光强度信息。
8.一种成像方法,其特征在于,包括:
根据样本中的感兴趣区域生成具有待形成焦点的数量和位置信息的全息图;
依据所述全息图,对接收的激光光束进行整形,生成目标波,所述目标波的波前信息包括生成在待成像平面内的焦点数量和焦点位置;
对所述目标波进行滤波,以将所述目标波中除预设级次之外的其他级次的衍射光滤除;
进行单轴扫描,以使照射在样本待成像平面内的焦点在扫描方向上延展,其中,所述扫描方向与所述待成像平面相交;
以与扫描速率相匹配的采样速率收集样本在焦点位置处沿扫描方向被所述目标波激发后的荧光信号;
根据一个焦点的位置信息和收集的荧光信号的映射关系进行像素注册,以获得所述样本的图像;或者,根据多个焦点的位置信息和收集的荧光信号,利用压缩感知算法获得所述样本的图像。
9.根据权利要求8所述的成像方法,其特征在于,所述全息图为二值化全息图像,利用加载有所述二值化全息图像的数字微镜阵列对光束进行波前整形以调制光束;
依据所述全息图,对接收的激光光束进行整形,生成目标波,包括:
采用WGS算法对每个焦点的强度均匀度进行迭代,通过单独确定每个点并直接将多个点的相位信息叠加目标波前二值全息图生成过程来生成多个焦点;
和/或,
所述成像方法包括重复执行整形、滤波和扫描操作多次,以收集多组荧光信号,对多组荧光信号进行数据分割和重构,以生成所述样本的图像。
10.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述计算机程序以实现如权利要求8或9所述的成像方法。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求8或9所述的成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775334.1A CN117929335A (zh) | 2023-12-21 | 2023-12-21 | 成像装置、成像方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311775334.1A CN117929335A (zh) | 2023-12-21 | 2023-12-21 | 成像装置、成像方法、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117929335A true CN117929335A (zh) | 2024-04-26 |
Family
ID=90769224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311775334.1A Pending CN117929335A (zh) | 2023-12-21 | 2023-12-21 | 成像装置、成像方法、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117929335A (zh) |
-
2023
- 2023-12-21 CN CN202311775334.1A patent/CN117929335A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9998658B2 (en) | Variable-illumination fourier ptychographic imaging devices, systems, and methods | |
US9086536B2 (en) | Talbot imaging devices and systems | |
EP3028088B1 (en) | Aperture scanning fourier ptychographic imaging | |
US6399935B1 (en) | Programmable spatially light modulated microscope ND microscopy | |
JP5888416B2 (ja) | 構造化照明顕微鏡装置 | |
JP2013542468A (ja) | 走査型投影レンズレス顕微鏡システム | |
JPWO2004036284A1 (ja) | 共焦点顕微鏡、共焦点顕微鏡を用いた蛍光測定方法及び偏光測定方法 | |
CN111971606B (zh) | 具有高空间分辨率的时间分辨成像方法 | |
Feldkhun et al. | Doppler encoded excitation pattern tomographic optical microscopy | |
CN107621463A (zh) | 图像重建方法、装置及显微成像装置 | |
US11947098B2 (en) | Multi-focal light-sheet structured illumination fluorescence microscopy system | |
US20100264294A1 (en) | Multi-focal spot generator and multi-focal multi-spot scanning microscope | |
US11327018B2 (en) | Sub-diffraction imaging, coding and decoding of non-bleaching scatters | |
CN109870441B (zh) | 基于移频的三维超分辨光切片荧光显微成像方法和装置 | |
US20220061644A1 (en) | Holographic endoscope | |
WO2021053245A1 (en) | Pattern activated structured illumination localization microscopy | |
Ye et al. | Compressive confocal microscopy | |
CN117929335A (zh) | 成像装置、成像方法、电子设备及计算机可读存储介质 | |
RU2579640C1 (ru) | Конфокальный спектроанализатор изображений | |
KR101505745B1 (ko) | 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법 | |
WO2021159084A1 (en) | Lattice light-sheet and fresnel incoherent correlation holography | |
Kauvar et al. | Aperture interference and the volumetric resolution of light field fluorescence microscopy | |
WO2019093895A1 (en) | Label-free microscopy | |
EP3901684A1 (en) | Optical fluorescence microscope and method for the obtaining of optical fluorescence microscopy images | |
CN111580260B (zh) | 一种高速光学三维光切片显微系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |