CN107193118A - 多光谱显微成像系统及显微镜 - Google Patents

多光谱显微成像系统及显微镜 Download PDF

Info

Publication number
CN107193118A
CN107193118A CN201710537502.1A CN201710537502A CN107193118A CN 107193118 A CN107193118 A CN 107193118A CN 201710537502 A CN201710537502 A CN 201710537502A CN 107193118 A CN107193118 A CN 107193118A
Authority
CN
China
Prior art keywords
spatial domain
amplifying device
muti
systems
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710537502.1A
Other languages
English (en)
Inventor
戴琼海
陈星晔
谢浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710537502.1A priority Critical patent/CN107193118A/zh
Publication of CN107193118A publication Critical patent/CN107193118A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种多光谱显微成像系统及显微镜，包括：放大装置，用于放大待测样片被激发出的光，其中，放大装置与待测样片之间的距离不大于预定距离；空域掩模，空域掩模设置在放大装置的一侧且与放大装置的距离为能够使经过放大装置放大的光的全部信息均照射在空域掩模上；双透镜4f系统，所述双透镜4f系统的设置在所述空域掩模的一侧，所述双透镜4f系统与所述空域掩模的距离为一个焦距的距离；光栅，所述光栅设置在所述双透镜4f系统的傅里叶面上；采集装置，所述采集装置设置在所述双透镜4f系统的一侧，所述采集装置用于采集光谱信息。本发明可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。

Description

多光谱显微成像系统及显微镜
技术领域
本发明涉及计算显微技术领域，特别涉及一种多光谱显微成像系统及显微镜。
背景技术
荧光显微技术在生命科学领域中有着广泛的应用。比如研究某种生命结构的转移特性时，通常需要对其植入某种荧光蛋白，对其进行追踪。同时，生命结构自身荧光的变化也在某种程度上能够体现生命体性质的变化。因此，对荧光显微技术的研究将能够大大推动生命科学的发展。
常规的荧光显微技术主要包含共聚焦荧光显微，其利用特定的激发光对聚焦层面上的荧光样本集进行荧光激发，并在采集端使用相机传感器收集样本受激发出的荧光信号，通常情况下，其不具有光谱维度的信息。
相关技术中，多光谱显微技术主要的缺点：在提升光谱分辨率的同时，往往牺牲了视场、空间分辨率或者时间分辨率。比如使用窄带滤波片的方法，可以每次在单次采集时获得指定波段的光谱信息，但是其需要每次更换硬件设施，增加采集时间，并且难以获得较高的光谱分辨率。使用光栅分光，并对相机像素进行分组采集，可以获得较高的光谱分辨率，但是这种技术在获得光谱分辨率的同时，以同样的倍数降低了空间分辨率。因此，高光谱分辨率、宽视场、高空间分辨率和高时间分辨率构成了一组矛盾的指标。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种多光谱显微成像系统。该多光谱显微成像系统添加一个增加空域编码掩膜，然后经过一个双透镜4f系统，并在中间使用光栅进行光谱分离，从而对整个成像系统形成在傅里叶域上点扩散函数的调制，这样可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。
本发明的另一个目的在于提出一种显微镜。
为了实现上述目的，本发明的一方面公开了一种多光谱显微成像系统，包括：放大装置，用于放大待测样片被激发出的光，其中，所述放大装置与待测样片之间的距离不大于预定距离；空域掩模，所述空域掩模设置在所述放大装置的一侧且与所述放大装置的距离为能够使经过所述放大装置放大的光的全部信息均照射在所述空域掩模上；双透镜4f系统，所述双透镜4f系统设置在所述空域掩模的一侧，所述双透镜4f系统与所述空域掩模的距离为一个焦距的距离；光栅，所述光栅设置在所述双透镜4f系统的傅里叶面上；采集装置，所述采集装置设置在所述双透镜4f系统的一侧，所述采集装置用于采集光谱信息。
根据本发明的多光谱显微成像系统，添加一个增加空域编码掩膜，然后经过一个双透镜4f系统，并在中间使用光栅进行光谱分离，从而对整个成像系统形成在傅里叶域上点扩散函数的调制，这样可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。
另外，根据本发明上述实施例的多光谱显微成像系统还可以具有如下附加的技术特征：
进一步地，所述预定距离为能使所述放大装置与待测样片之间形成宽视场的距离。
进一步地，所述放大装置为显微镜中包括的物镜。
进一步地，还包括：反射镜，所述反射镜用于改变经过所述放大装置放大的光的光路，所述空域掩模位于所述光路上。
进一步地，所述采集装置包括灰度相机传感器。
本发明的第二方面公开了一种显微镜，包括根据上述任意一个实施例所述的多光谱显微成像系统。该显微镜添加一个增加空域编码掩膜，然后经过一个双透镜4f系统，并在中间使用光栅进行光谱分离，从而对整个成像系统形成在傅里叶域上点扩散函数的调制，这样可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的多光谱显微成像系统的结构图；
图2是一组多光谱的基矩阵的示意图；
图3是根据本发明一个实施例的两个荧光谱段的点扩散函数调制曲线示意图；
图4是根据本发明一个实施例的两个荧光谱段的重建结果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的多光谱显微成像系统及显微镜。
图1是根据本发明一个实施例的多光谱显微成像系统的结构图。
如图1所示，根据本发明一个实施例的多光谱显微成像系统100，包括：放大装置110、空域掩模120、双透镜4f系统130、光栅140和采集装置150。
其中，放大装置110用于放大待测样片被激发出的光，其中，放大装置110与待测样片之间的距离不大于预定距离。
空域掩模120设置在放大装置110的一侧且与放大装置110的距离为能够使经过放大装置放大的光的全部信息均照射在空域掩模110上。
具体来说，空域掩模是恢复一个图像的过程本质上为一个求解矩阵方程的问题。在空域上进行掩膜调制能够使得变量个数下降，在约束方程数目一致的情况下，能够更加良好快速地恢复出精确解。
本申请在放大装置110的像平面上增加空域的编码掩膜，并设计好其编码模式，放置在双透镜4f系统130前焦平面上。空域掩模120恢复一个图像的过程本质上为一个求解矩阵方程的问题。在空域上进行掩膜调制能够使得变量个数下降，在约束方程数目一致的情况下，能够更加良好快速地恢复出精确解。
双透镜4f系统130设置在空域掩模120的一侧，双透镜4f系统130与空域掩模120的距离为一个焦距的距离。
光栅140设置在双透镜4f系统130的傅里叶面上。
具体来说，根据傅里叶光学中的原理，双透镜4f系统130中间的焦平面为物体经过低通滤波后的傅里叶域信息。而光栅140放在此位置，会使得不同波长的光发生对应的不同角度的偏转，并汇聚于像平面不同的点。
采集装置150设置在双透镜4f系统130的一侧，采集装置140用于采集光谱信息。
具体来说，采集装置150采集由双透镜4f系统130发射出来的光，获得了像函数以及不同波长特定的点扩散函数，使用解卷积算法就可以实现光谱的分离，进而实现多光谱成像。
根据本发明的多光谱显微成像系统，添加一个增加空域编码掩膜，然后经过一个双透镜4f系统，并在中间使用光栅进行光谱分离，从而对整个成像系统形成在傅里叶域上点扩散函数的调制，这样可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。
在一些实施例中，预定距离为能使放大装置110与待测样片之间形成宽视场的距离。在放大装置110与待测样片之间形成宽视场，在荧光显微成像领域能够提高成像的速率以及光谱分辨率。
进一步地，放大装置110可以为显微镜中包括的物镜。也就说是，本发明的一个实施例，可以是在现有的普通荧光显微镜的基础上，引出光路，然后将光路通过空域编码掩膜，然后经过一个双透镜4f系统，进行荧光多光谱的成像。
进一步地，结合图1所示，还包括：反射镜160，反射镜160用于改变经过放大装置110放大的光的光路，空域掩模位120于光路上。
具体来说，在现有的普通荧光显微镜的基础上，激发光源发出的高强度的激发光经过物镜聚焦，将待测样本置于聚焦平面上进行荧光激发，发射出的光经过物镜(即放大装置110)在像平面上进行方法，焦平面上的样本将形成一个清晰的实像。
在一些实施例中，采集装置140包括灰度相机传感器。进一步地，在灰度相机传感器后可以连接一个计算机，对采集到的数据进行保存和处理。
作为一个示例，对采集到的数据进行保存和处理过程。对于显微图像来说，显微图像作为一种特殊的自然图像，其本身具有稀疏性。其中，一张灰度数字图像可以使用二维矩阵进行表示，在通常的表示下，其一般是满秩的。然而，当前研究表明，在某一组过完备字典作为基矩阵的前提下，其可以被很少的变量数目进行稀疏表达。即在此矩阵下，坐标向量的零-范数最小。
此外，由于一类生物结构往往在形态上具有足够的相似性，使用足够多的训练样本作为先验输入可以获得过完备字典。将实际拍摄到的显微图像经过去躁、去模糊处理后，求得在该组基下的稀疏表达即可得到真实的图像数据。
结合图2所示，本申请利用不同荧光标记的样本具有的不同先验特性，获取每一种荧光谱段下的过完备字典，合成一组多光谱的基矩阵，利用K-SVD算法求取对合成的图像的最稀疏解，即可实现各个谱段图像的分离。
其中，K-SVD是一种经典的字典训练算法，依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。本申请利用其求解某组向量在给定基下的最稀疏表达。
与传统的分光方案不同，本系统中的光栅没有添加在相平面上，而是添加在了4f系统的傅里叶面上。也就是说，在傅里叶域的x方向乘以一个相位因子，不同波长的相位因子不同。由于傅里叶域不同的相位因子，会导致不同波长的点扩散函数不同。而像的信息等于物的信息于点扩散函数进行卷积。在采集端，获得了像函数以及不同波长特定的点扩散函数，使用解卷积算法就可以实现光谱的分离，进而实现多光谱成像。两个荧光谱段的点扩散函数调制曲线如图3所示。
重建过程：两个光谱通道的输入原始图像如图4(a)图(b)所示，合成图像如图4(c)所示，分离后的两个通道的图形如图4(d)图4(e)所示。
进一步地，本发明的实施例公开了一种显微镜，该显微镜设置有上述任意一个实施例所述的多光谱显微成像系统。该显微镜添加一个增加空域编码掩膜，然后经过一个双透镜4f系统，并在中间使用光栅进行光谱分离，从而对整个成像系统形成在傅里叶域上点扩散函数的调制，这样可以显著提高多光谱显微成像的速率，同时，也能够有效地提升光效率，使拍到的照片质量显著提升。
另外，根据本发明实施例的显微镜的其它构成以及作用对于本领域的普通技术人员而言都是已知的，为了减少冗余，不做赘述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种多光谱显微成像系统，其特征在于，包括：
放大装置，用于放大待测样片被激发出的光，其中，所述放大装置与待测样片之间的距离不大于预定距离；
空域掩模，所述空域掩模设置在所述放大装置的一侧且与所述放大装置的距离为能够使经过所述放大装置放大的光的全部信息均照射在所述空域掩模上；
双透镜4f系统，所述双透镜4f系统设置在所述空域掩模的一侧，所述双透镜4f系统与所述空域掩模的距离为一个焦距的距离；
光栅，所述光栅设置在所述双透镜4f系统的傅里叶面上；
采集装置，所述采集装置设置在所述双透镜4f系统的一侧，所述采集装置用于采集光谱信息。
2.根据权利要求1所述的多光谱显微成像系统，其特征在于，所述预定距离为能使所述放大装置与待测样片之间形成宽视场的距离。
3.根据权利要求1或2所述的多光谱显微成像系统，其特征在于，所述放大装置为显微镜中包括的物镜。
4.根据权利要求3所述的多光谱显微成像系统，其特征在于，还包括：
反射镜，所述反射镜用于改变经过所述放大装置放大的光的光路，所述空域掩模位于所述光路上。
5.根据权利要求1所述的多光谱显微成像系统，其特征在于，所述采集装置包括灰度相机传感器。
6.一种显微镜，其特征在于，包括：根据权利要求1-5任一项所述的多光谱显微成像系统。
CN201710537502.1A 2017-07-04 2017-07-04 多光谱显微成像系统及显微镜 Pending CN107193118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710537502.1A CN107193118A (zh) 2017-07-04 2017-07-04 多光谱显微成像系统及显微镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710537502.1A CN107193118A (zh) 2017-07-04 2017-07-04 多光谱显微成像系统及显微镜

Publications (1)

Publication Number Publication Date
CN107193118A true CN107193118A (zh) 2017-09-22

Family

ID=59880805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710537502.1A Pending CN107193118A (zh) 2017-07-04 2017-07-04 多光谱显微成像系统及显微镜

Country Status (1)

Country Link
CN (1) CN107193118A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107941775A (zh) * 2017-12-28 2018-04-20 清华大学 多光谱显微成像系统
CN109431455A (zh) * 2018-12-21 2019-03-08 合肥奥比斯科技有限公司 双模态眼底成像系统
CN113568156A (zh) * 2021-06-29 2021-10-29 杭州电子科技大学 一种光谱显微成像装置及实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588425A (zh) * 2004-07-15 2005-03-02 清华大学 多注册指纹融合方法
CN101527044A (zh) * 2009-03-16 2009-09-09 江苏银河电子股份有限公司 多视频运动目标的自动分割与跟踪方法
CN102902958A (zh) * 2012-09-19 2013-01-30 四川大学 基于图像识别的数字核信号处理和多参数核信息获取方法
CN103940511A (zh) * 2014-04-03 2014-07-23 清华大学 高光谱采集系统的光谱谱线定标方法及装置
CN203799129U (zh) * 2013-11-29 2014-08-27 苏州大学 低截止频率混合空间滤波器
CN105354798A (zh) * 2015-08-25 2016-02-24 西安电子科技大学 基于几何先验和分布相似性测度的sar图像去噪方法
CN106841137A (zh) * 2017-01-10 2017-06-13 清华大学 单曝光下多色荧光成像的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1588425A (zh) * 2004-07-15 2005-03-02 清华大学 多注册指纹融合方法
CN101527044A (zh) * 2009-03-16 2009-09-09 江苏银河电子股份有限公司 多视频运动目标的自动分割与跟踪方法
CN102902958A (zh) * 2012-09-19 2013-01-30 四川大学 基于图像识别的数字核信号处理和多参数核信息获取方法
CN203799129U (zh) * 2013-11-29 2014-08-27 苏州大学 低截止频率混合空间滤波器
CN103940511A (zh) * 2014-04-03 2014-07-23 清华大学 高光谱采集系统的光谱谱线定标方法及装置
CN105354798A (zh) * 2015-08-25 2016-02-24 西安电子科技大学 基于几何先验和分布相似性测度的sar图像去噪方法
CN106841137A (zh) * 2017-01-10 2017-06-13 清华大学 单曝光下多色荧光成像的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周虎: "高精度视觉测量系统关键技术研究与应用", 《中国优秀博士学位论文全文数据库信息科技辑》 *
张记龙 等: "《光电信息技术与应用》", 31 August 2008, 国防工业出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107941775A (zh) * 2017-12-28 2018-04-20 清华大学 多光谱显微成像系统
CN107941775B (zh) * 2017-12-28 2020-07-28 清华大学 多光谱显微成像系统
CN109431455A (zh) * 2018-12-21 2019-03-08 合肥奥比斯科技有限公司 双模态眼底成像系统
CN113568156A (zh) * 2021-06-29 2021-10-29 杭州电子科技大学 一种光谱显微成像装置及实现方法

Similar Documents

Publication Publication Date Title
CN110274877B (zh) 一种基于散射介质的3d光谱成像系统及方法
US9007433B2 (en) Incoherent lensfree cell holography and microscopy on a chip
CN104285175B (zh) 使用小波分析进行单颗粒定位的方法和装置
Katz et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations
AU2014265382B2 (en) Microscopy of a tissue sample using structured illumination
Ma et al. Acquisition of high spatial and spectral resolution video with a hybrid camera system
WO2019118544A1 (en) Generating virtually stained images of unstained samples
Lee et al. A smartphone-based Fourier ptychographic microscope using the display screen for illumination
IL131953A (en) Spectral imaging methods for cell classification
CN107193118A (zh) 多光谱显微成像系统及显微镜
CN110132910A (zh) 基于光场多维信息融合显微超分辨成像装置和成像方法
Franke et al. Frequency-domain fluorescence lifetime imaging system (pco. flim) based on a in-pixel dual tap control CMOS image sensor
De Luca et al. Re-scan confocal microscopy (RCM) improves the resolution of confocal microscopy and increases the sensitivity
Zheng et al. De-scattering with excitation patterning enables rapid wide-field imaging through scattering media
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
Ma et al. Light-field tomographic fluorescence lifetime imaging microscopy
Wu et al. Real-time, deep-learning aided lensless microscope
JP7404906B2 (ja) 情報処理装置、及び顕微鏡システム
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Kauvar et al. Aperture interference and the volumetric resolution of light field fluorescence microscopy
Van Der Graaff et al. Fluorescence imaging for whole slide scanning using LED-based color sequential illumination
Chon et al. Digital phantoms generated by spectral and spatial light modulators
Browning et al. Illuminating the optical properties of an LED-based spectral light source for hyperspectral endoscopy
Bonaventura et al. Smartphone spectroscopy for melanoma detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170922

WD01 Invention patent application deemed withdrawn after publication