CN103207449A - 一种结构光快速扫描显微成像方法 - Google Patents
一种结构光快速扫描显微成像方法 Download PDFInfo
- Publication number
- CN103207449A CN103207449A CN201310131718XA CN201310131718A CN103207449A CN 103207449 A CN103207449 A CN 103207449A CN 201310131718X A CN201310131718X A CN 201310131718XA CN 201310131718 A CN201310131718 A CN 201310131718A CN 103207449 A CN103207449 A CN 103207449A
- Authority
- CN
- China
- Prior art keywords
- sample
- imaging
- structured light
- modulation pattern
- imaging method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明涉及一种结构光快速扫描显微成像方法，包括以下步骤：（1）计算机控制空间光调制器产生单一空间频率的调制图案，投影在样本断层上；（2）在调制图案相位不变的情况下，电控移动平台带动样本移动，并同步触发线阵相机进行拍照；（3）改变调制图案相位，再对相同成像区域进行扫描，直到完成结构光成像所需不同照明相位图像的获取；（4）移动样本，对下一个相邻成像区域执行步骤（2）至步骤（4），直至完成整个样本断层的扫描。本发明每一次扫描运动前进行一次相位改变，降低了成像对调制器速度和鲁棒性要求；单次扫描运动中采集完整图像，相邻的图像只有部分重叠。样本运动和相机曝光同步进行，节省时间提高成像的速度。
Description
技术领域
本发明涉及显微镜的成像方法，具体地说是指一种基于结构光显微镜的大样本快速成像方法。
背景技术
显微镜是一种已有300多年历史的精密光学仪器，它利用光学原理把人眼所不能分辨的微小物体放大成像。借助于显微镜，人们看到了过去看不到的许多微小生物和构成生物的基本单元——细胞。显微镜的各种性能，尤其是它的分辨率关系到人类认识微观世界的能力。根据Rayleigh判据，传统的光学显微镜在横向和轴向均存在分辨极限。但相比之下，轴向分辨能力往往只有几微米到几十微米，影响了传统光学显微镜的层析能力。
机械切片是改善显微镜轴向分辨能力的传统手段，但只适用于片检等采样观察，在三维成像存在严重的图像配准问题。光学切片是另一类获得高分辨三维数据的方法，包括共聚焦显微镜、双光子显微镜、去卷积显微镜、选择性平面照面显微镜等，但其中没有任何一种技术能够同时满足大样本、高分辨、高通量（高速）、稳定的特点。随着在基因定位、脑网络连接等研究领域的深入，科学家们迫切要求一种可以对厘米尺寸量级的生物样本进行快速、稳定的三维荧光显微成像方法（B. Wilt et al, Annual Review of Neuroscience 2009）。
结构光显微镜是另一种仅通过改造常规荧光显微镜即可实现光学切片的新技术，最早是Neil等人在1997年提出（M. Neil et al, OpticsLetters 2007）。它在荧光显微镜的基础上增加照明调制功能，产生一组不同相位的调制光照射在样本上，再通过软件计算得到不含焦平面外杂散荧光的清晰图像（又如美国专利US6376818）。由于结构光显微镜采用宽场成像，其成像速度较共聚焦显微镜有较大提升，但在探测厘米尺寸大样本时仍有不足。传统结构光显微镜采用宽场照明，面阵相机采集图像，如果像普通光学显微镜一样，其一完整断层图像都是由大量马赛克小图拼接而来，将直接带来以下几个问题：
（1）显微镜必须在同一位置进行多次曝光，而一般的空间光调制器的调制速度只有数十赫兹，在这种情况下，一方面成像速度受到了空间光调制器调制速度的限制，另一方面空间光调制器需要进行频繁的变换，对其鲁棒性提出了较高的要求；
（2）为了实现图像马赛克式的拼接，要求每幅图像都与相邻四幅图像有成像区域的重叠，导致较多的无效数据的产生的同时，也降低了成像的速度；
（3）每次样本移动、空间光调制器相位切换和相机曝光三个步骤的时间消耗分别是102ms、101ms和101-102ms量级。即样本移动，空间光调制器相位切换的时间占据了整个采集时间的一半以上，是限制成像速度的主要因素。
发明内容
本发明主要目的在于克服现有宽场结构光显微镜在用于大样本三维成像时所具有的成像速度慢，系统可靠性差和过多的冗余数据量等问题，而提供一种结构光快速扫描显微成像方法。
本发明采用如下技术方案：
一种结构光快速扫描显微成像方法，包括以下步骤：（1）计算机控制空间光调制器产生单一空间频率的调制图案，投影在样本断层上，投影的调制图案平行于样本移动的方向；（2）在保证调制图案相位不变的情况下，电控移动平台带动样本移动，并同步触发线阵相机进行拍照；（3）完成步骤（2）后，改变空间光调制器调制图案相位，再对相同成像区域进行扫描，直到完成结构光成像所需的不同照明相位图像的获取；（4）移动样本，对下一个相邻成像区域执行步骤（2）至步骤（4），如此反复，直至完成整个样本断层的扫描。
所述的空间光调制器是数字微镜阵列DMD、穿透式液晶LCD、反射式硅基液晶LCOS或电控移动或转动的光栅。
上述步骤（1）投影的调制图案平行于样本移动成像的方向中的调制图案的平行度误差要求≤0.5度。按照空间光调制器的不同，调节图案的方向既可以使用电子方式或通过机械旋转台实现。
所述的线阵相机是线阵CCD、线阵CMOS、具有时间延时积分功能的CCD、具有时间延时积分功能的CMOS、工作在线积分模式下的面阵CCD或工作在线积分模式下的面阵CMOS。
上述步骤（2）中的电控移动平台可以是二维或三维。电控移动平台的横向二维运动可获取一个样本表面完整的断层图像，轴向运动可实现连续断层扫描。
所述步骤（3）中不同照明相位图像的获取是指获取结构光成像所需的0、2/3pi和4/3pi三幅不同相位图像。
在上述步骤（2）和步骤（4）中不同相位条件下的扫描既可以从相同的起点开始，也可以从上一次扫描结束时的位置开始，区别在于前一种方案多了一个回程运动，会损失部分时间。
上述步骤（4）中相邻成像区域之间应有部分重叠，避免数据损失。
由上述对本发明的描述可知，和现有技术相比，本发明具有如下优点：
（1）空间光调制器仅需要在每一次扫描运动前进行一次相位改变，当样本尺寸达到1cm量级，显微镜视场仅有500um时，切换频率至少可减少为传统方法的5%，明显降低了成像速度对空间光调制器调制速度的依赖，同时也降低了对空间光调制器的鲁棒性要求；
（2）单次扫描运动中采集的是一副完整图像，不存在重叠，但相邻两次扫描运动所采集的图像仍然需要有重叠，总的来看重叠面积减少一半。
（3）使样本运动和相机曝光同步进行，几乎节省了所有样本运动时间，提高了成像的速度。
附图说明
图1为本发明的流程图。
图2为传统的宽场结构光显微镜扫描方式示意图。
图3为本发明的宽场结构光显微镜扫描方式示意图
具体实施方式
下面参照附图说明本发明的具体实施方式。
图1为本发明的流程图。流程图展示的是一个完整断层的扫描过程，其将对2个成像位置的共6次直线扫描过程（S103、S105、S107、S110、S112和S114）作为一个扫描周期，循环执行该周期直到断层扫描完成。例如：从步骤S102设置空间光调制器相位0pi并设置相机积分方向（+X）结束时，样本处在静止状态，步骤S103样本开始沿+X方向移动并触发相机拍照，完成后样本处于静止状态；步骤S104设置空间光调制器相位2/3pi，并改变相机积分方向-X，步骤S105样本开始沿-X方向移动并触发相机拍照，完成后样本处于静止状态；步骤S106设置空间光调制器相位4/3pi，并改变相机积分方向+X，步骤S107样本开始沿+X方向移动并触发相机拍照，完成后样本处于静止状态，步骤S102至S107完成一个成像位置的成像，同样，步骤S109至S114则对应另一个成像位置的成像。对每个成像位置的扫描步骤（虚线框包络）类似，但是，空间调制器的相位、样本运动方向、相机的积分方向均有不同，这样做的目的是最大程度地减少样本运动和空间光调制器的相位切换次数。其中，相机积分方向与样本运动方向必须相同，如步骤S102中相机的积分方向和步骤S103中移动样本的方向同为+X。完成一次扫描周期后，在步骤S116判断是否完成整个断层的扫描，如果“否”则进入下一个周期，如果“是”则进入下一个断层的扫描。
图2为传统的宽场结构光显微镜扫描方式示意图，图3为本发明的宽场结构光显微镜扫描方式示意图。在传统方式中：结构光成像对于结构光图案的方向没有强制性要求，可以是任何方向的单一频率条纹；成像根据样本1大小将成像区域划分为多个马赛克2所示，相邻小图间需要设置一定宽度的重叠区域（3和4）；每个黑点代表一次完成的成像周期，从5开始，对一个完整断面进行扫描；在每一个成像周期内，样本静止，空间光调制器先后有3种不同相位状态，相机曝光3次；照明光调制后投影在样本上的明暗条纹方向无限制，既可以与X或Y轴平行（6或7），也可以倾斜任意角度。而在本发明方式中：成像区域为沿X轴延伸的若干条带8，仅条带间存在重叠9；对每个条带成像时，样本必须沿X轴来回运动3次（虚线条表示），相机积分方向和照明光调制图案的相位也要相应地改变；如图1所示，对两个连续条带的成像（10到11）构成一个成像周期；照明光调制后投影在样本上的明暗条纹的方向必须平行于X轴12。
Claims (7)
1.一种结构光快速扫描显微成像方法，其特征包括以下步骤：
（1）计算机控制空间光调制器产生单一空间频率的调制图案，投影在样本断层上，投影的调制图案平行于样本移动成像的方向；
（2）在保证调制图案相位不变的情况下，电控移动平台带动样本移动，并同步触发线阵相机进行拍照；
（3）完成步骤（2）后，改变空间光调制器调制图案相位，再对相同成像区域进行扫描，直到完成结构光成像所需的不同照明相位图像的获取；
（4）移动样本，对下一个相邻成像区域执行步骤（2）至步骤（4），如此反复，直至完成整个样本断层的扫描。
2.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述步骤（1）投影的调制图案平行于样本移动成像的方向中的调制图案的平行度误差要求≤0.5度，按照空间光调制器的不同，调节图案的方向使用电子方式或通过机械旋转台实现。
3.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述步骤（1）中的空间光调制器为数字微镜阵列DMD、穿透式液晶LCD、反射式硅基液晶LCOS、电控移动或转动的光栅。
4.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述步骤（2）中的线阵相机是线阵CCD、线阵CMOS、具有时间延时积分功能的CCD、具有时间延时积分功能的CMOS、工作在线积分模式下的面阵CCD或工作在线积分模式下的面阵CMOS 。
5.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述电控移动平台是二维或三维。
6.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述步骤（3）中不同照明相位图像的获取是指获取结构光成像所需的0、2/3pi和4/3pi三幅不同相位图像。
7.根据权利要求1所述的一种结构光快速扫描显微成像方法，其特征在于所述步骤（4）中相邻成像区域之间应有部分重叠。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310131718.XA CN103207449B (zh) | 2013-04-17 | 2013-04-17 | 一种结构光快速扫描显微成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310131718.XA CN103207449B (zh) | 2013-04-17 | 2013-04-17 | 一种结构光快速扫描显微成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103207449A true CN103207449A (zh) | 2013-07-17 |
| CN103207449B CN103207449B (zh) | 2015-04-29 |
Family
ID=48754721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310131718.XA Active CN103207449B (zh) | 2013-04-17 | 2013-04-17 | 一种结构光快速扫描显微成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103207449B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104515759A (zh) * | 2014-12-16 | 2015-04-15 | 中国科学院苏州生物医学工程技术研究所 | 非线性结构光照明显微成像方法及系统 |
| CN104897082A (zh) * | 2015-06-08 | 2015-09-09 | 华东师范大学 | 一种基于智能移动平台的高速结构光产生与处理装置 |
| CN106290283A (zh) * | 2016-09-09 | 2017-01-04 | 华中科技大学 | 一种快速获取生物组织图像数据的方法 |
| CN108121060A (zh) * | 2017-12-20 | 2018-06-05 | 清华大学 | 共焦多线扫描宽视场层析成像系统及方法 |
| CN110857917A (zh) * | 2018-08-22 | 2020-03-03 | 三星电子株式会社 | 检查设备和检查方法、以及半导体器件制造方法 |
| WO2020088013A1 (zh) * | 2018-11-01 | 2020-05-07 | 华中科技大学苏州脑空间信息研究院 | 一种高通量光学层析成像方法及成像系统 |
| WO2020088014A1 (zh) * | 2018-11-01 | 2020-05-07 | 华中科技大学苏州脑空间信息研究院 | 一种高通量光学层析三维成像系统 |
| CN111260747A (zh) * | 2020-01-19 | 2020-06-09 | 华中科技大学 | 基于虚拟数字调制的高通量光学层析成像方法及系统 |
| CN112825622A (zh) * | 2020-08-31 | 2021-05-21 | 深圳迈瑞生物医疗电子股份有限公司 | 样本图像拍摄方法以及样本图像拍摄设备 |
| US11315268B2 (en) | 2017-10-27 | 2022-04-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing methods, image processing apparatuses and electronic devices |
| CN115032853A (zh) * | 2022-06-01 | 2022-09-09 | 北京理工大学 | 一种高光谱投影仪及使用方法 |
| CN116774417A (zh) * | 2023-08-25 | 2023-09-19 | 长春理工大学 | 一种基于级联柔性光栅的多点激光扫描显微镜系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102427502A (zh) * | 2011-10-01 | 2012-04-25 | 麦克奥迪实业集团有限公司 | 一种显微切片的扫描方法及扫描装置 |
| CN102928970A (zh) * | 2012-10-19 | 2013-02-13 | 华中科技大学 | 一种大样本快速三维显微成像的方法和系统 |
| WO2013049646A1 (en) * | 2011-09-29 | 2013-04-04 | Fei Company | Microscope device |
-
2013
- 2013-04-17 CN CN201310131718.XA patent/CN103207449B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013049646A1 (en) * | 2011-09-29 | 2013-04-04 | Fei Company | Microscope device |
| CN102427502A (zh) * | 2011-10-01 | 2012-04-25 | 麦克奥迪实业集团有限公司 | 一种显微切片的扫描方法及扫描装置 |
| CN102928970A (zh) * | 2012-10-19 | 2013-02-13 | 华中科技大学 | 一种大样本快速三维显微成像的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 鲁强等: "《混浊介质荧光显微成像的层析能力研究》", 《光电工程》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104515759A (zh) * | 2014-12-16 | 2015-04-15 | 中国科学院苏州生物医学工程技术研究所 | 非线性结构光照明显微成像方法及系统 |
| CN104515759B (zh) * | 2014-12-16 | 2017-05-31 | 中国科学院苏州生物医学工程技术研究所 | 非线性结构光照明显微成像方法及系统 |
| CN104897082A (zh) * | 2015-06-08 | 2015-09-09 | 华东师范大学 | 一种基于智能移动平台的高速结构光产生与处理装置 |
| CN104897082B (zh) * | 2015-06-08 | 2018-02-23 | 华东师范大学 | 一种基于智能移动平台的高速结构光产生与处理装置 |
| CN106290283A (zh) * | 2016-09-09 | 2017-01-04 | 华中科技大学 | 一种快速获取生物组织图像数据的方法 |
| US11315268B2 (en) | 2017-10-27 | 2022-04-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing methods, image processing apparatuses and electronic devices |
| CN108121060A (zh) * | 2017-12-20 | 2018-06-05 | 清华大学 | 共焦多线扫描宽视场层析成像系统及方法 |
| CN110857917A (zh) * | 2018-08-22 | 2020-03-03 | 三星电子株式会社 | 检查设备和检查方法、以及半导体器件制造方法 |
| WO2020088014A1 (zh) * | 2018-11-01 | 2020-05-07 | 华中科技大学苏州脑空间信息研究院 | 一种高通量光学层析三维成像系统 |
| KR102593252B1 (ko) | 2018-11-01 | 2023-10-23 | 허스트-쑤저우 인스티튜트 포 브레인스매틱스 | 고플럭스 광학 단층촬영 이미징 방법 및 이미징 시스템 |
| KR20210084605A (ko) * | 2018-11-01 | 2021-07-07 | 허스트-쑤저우 인스티튜트 포 브레인스매틱스 | 고플럭스 광학 단층촬영 이미징 방법 및 이미징 시스템 |
| KR20210086694A (ko) * | 2018-11-01 | 2021-07-08 | 허스트-쑤저우 인스티튜트 포 브레인스매틱스 | 고플럭스 광학 단층촬영 3차원 이미징 시스템 |
| JP2022511677A (ja) * | 2018-11-01 | 2022-02-01 | 華中科技大学蘇州脳空間信息研究院 | 高スループット光トモグラフィイメージング方法及びイメージングシステム |
| WO2020088013A1 (zh) * | 2018-11-01 | 2020-05-07 | 华中科技大学苏州脑空间信息研究院 | 一种高通量光学层析成像方法及成像系统 |
| US11906723B2 (en) | 2018-11-01 | 2024-02-20 | Hust-Suzhou Institute For Brainsmatics | High-throughput optical sectioning three-dimensional imaging system |
| KR102593253B1 (ko) | 2018-11-01 | 2023-10-24 | 허스트-쑤저우 인스티튜트 포 브레인스매틱스 | 고플럭스 광학 단층촬영 3차원 이미징 시스템 |
| JP7235861B2 (ja) | 2018-11-01 | 2023-03-08 | 華中科技大学蘇州脳空間信息研究院 | 高スループット光トモグラフィイメージング方法及びイメージングシステム |
| CN111260747A (zh) * | 2020-01-19 | 2020-06-09 | 华中科技大学 | 基于虚拟数字调制的高通量光学层析成像方法及系统 |
| CN112825622A (zh) * | 2020-08-31 | 2021-05-21 | 深圳迈瑞生物医疗电子股份有限公司 | 样本图像拍摄方法以及样本图像拍摄设备 |
| CN112825622B (zh) * | 2020-08-31 | 2022-09-02 | 深圳迈瑞生物医疗电子股份有限公司 | 样本图像拍摄方法以及样本图像拍摄设备 |
| CN115032853A (zh) * | 2022-06-01 | 2022-09-09 | 北京理工大学 | 一种高光谱投影仪及使用方法 |
| CN116774417A (zh) * | 2023-08-25 | 2023-09-19 | 长春理工大学 | 一种基于级联柔性光栅的多点激光扫描显微镜系统 |
| CN116774417B (zh) * | 2023-08-25 | 2023-10-27 | 长春理工大学 | 一种基于级联柔性光栅的多点激光扫描显微镜系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103207449B (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103207449B (zh) | 一种结构光快速扫描显微成像方法 | |
| Edelstein et al. | Advanced methods of microscope control using μManager software | |
| US9229212B2 (en) | Image-acquisition device | |
| JP2007233098A (ja) | 画像取得装置、画像取得方法、及び画像取得プログラム | |
| CN107003509B (zh) | 产生用于多色荧光显微镜的无衍射光片的方法和系统 | |
| JP2021165851A (ja) | ライトシート顕微鏡法のための構成及び方法 | |
| JP6000554B2 (ja) | 顕微鏡システム | |
| CN104459971B (zh) | 一种基于集成光子芯片的结构光照明显微成像系统 | |
| US10191263B2 (en) | Scanning microscopy system | |
| JP2016534389A (ja) | 開口走査フーリエタイコグラフィ撮像 | |
| US20090161203A1 (en) | Method and Configuration for the Optical Detection of an Illuminated Specimen | |
| CN111133359B (zh) | 二维和三维固定z扫描 | |
| EP3040756B1 (en) | Drive control method for objective lens and fluorescence microscope system | |
| JP6147080B2 (ja) | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム | |
| CN102985866A (zh) | 图像生成装置 | |
| Orth et al. | High throughput multichannel fluorescence microscopy with microlens arrays | |
| US9507137B2 (en) | Microscope with structured illumination using displaceable grid structures | |
| JP2007286310A (ja) | 光学装置及び結像方法 | |
| JP2001013445A (ja) | 共焦点光スキャナ | |
| JP5537079B2 (ja) | 光走査装置及びそれを備えた内視鏡装置 | |
| CN103175780A (zh) | 大尺度生物组织连续切片的自动化成像系统 | |
| JP5316883B2 (ja) | 走査型顕微鏡 | |
| Xi et al. | Ultra-high spatio-temporal resolution imaging with parallel acquisition-readout structured illumination microscopy (PAR-SIM) | |
| CN106707485B (zh) | 一种小型结构光显微照明系统 | |
| US20220373777A1 (en) | Subpixel line scanning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161116 Address after: 430074 Hubei Province, East Lake Development Zone, high tech Avenue, No. 999, the future of science and Technology City, building C2, building, floor, building 1 Patentee after: Wuhan Woyi Biology Co., Ltd. Address before: 430074 Hubei Province, Wuhan city Hongshan District Luoyu Road No. 1037 Patentee before: Huazhong University of Science and Technology |