CN106770131A - 三维超光谱显微成像系统及成像方法 - Google Patents

三维超光谱显微成像系统及成像方法 Download PDF

Info

Publication number
CN106770131A
CN106770131A CN201710031346.1A CN201710031346A CN106770131A CN 106770131 A CN106770131 A CN 106770131A CN 201710031346 A CN201710031346 A CN 201710031346A CN 106770131 A CN106770131 A CN 106770131A
Authority
CN
China
Prior art keywords
dimensional
sample
micro
ultraphotic
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710031346.1A
Other languages
English (en)
Inventor
戴琼海
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710031346.1A priority Critical patent/CN106770131A/zh
Publication of CN106770131A publication Critical patent/CN106770131A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种三维超光谱显微成像系统及成像方法，其中，系统包括：显微镜，用于对显微样本进行一级放大，并且从显微镜的像面引出口导出像面；光圈放大模块，用于将光圈平面放大至预设大小；成像透镜阵列，用于截取不同亚光圈平面，以生成不同角度的空间信息，使得成像透镜阵列中每个成像透镜后方形成显微样本对应角度的像；宽带滤波片阵列，用于对空间信息进行宽带光谱调制；传感器阵列，用于采集显微样本在预设角度观测下经过光谱编码后生成的图像；控制器，用于控制传感器阵列同步触发以通过四维解卷积算法进行迭代恢复重建。该系统可以实现光学显微下30赫兹三维超光谱视频的采集，提高成像的适用性，并且极大地提升了用户的使用体验。

Description

三维超光谱显微成像系统及成像方法
技术领域
本发明涉及光学与信息学的交叉技术领域，特别涉及一种三维超光谱显微成像系统及成像方法。
背景技术
随着生物学和材料科学的发展，越来越多的光学显微成像需要快速采集多维视觉信息，如空间维、光谱维和时间维，而不是传统的二维成像。高速超光谱体成像在多荧光标记动态过程观测、高通量层析、医药科学、变化环境下材料分析等领域都有重要应用。
虽然快速体成像、以及快速超光谱成像已经有了很大进展，但从未有人能够将两者同时实现，即在光学显微镜下的快速超光谱体成像。相关技术中，大部分方法为了能够在光学显微镜下实现样本高维信息的采集，都通过牺牲时间分辨率来换取轴向分辨率或光谱分辨率。例如，共聚焦显微、光片显微需要通过扫描实现三维样本重建。大部分超光谱显微镜同样需要采用逐点或逐线扫描整个三维样本才能实现三维与超光谱信息的同时获取。这对于观测生物学样本动态过程将存在局限性，为确保包括时间分辨率在内的五维数据采样，如何具备充足的瞬时数据吞吐量是一个极大的挑战。
同时，当需要将传统二维成像拓展到高速高维成像时，还将面临如何实现高维采样和以及保证光效率的问题，亟待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维超光谱显微成像系统，该系统可以提高成像的适用性，并且极大地提升了用户的使用体验。
本发明的另一个目的在于提出一种三维超光谱显微成像方法。
为达到上述目的，本发明一方面实施例提出了一种三维超光谱显微成像系统，包括：显微镜，用于对显微样本进行一级放大，并且从所述显微镜的像面引出口导出像面；光圈放大模块，用于将光圈平面放大至预设大小；成像透镜阵列，用于截取不同亚光圈平面，以生成不同角度的空间信息，使得所述成像透镜阵列中每个成像透镜后方形成所述显微样本对应角度的像，其中，所述每个成像透镜对应不同角度；宽带滤波片阵列，用于对所述空间信息进行宽带光谱调制；传感器阵列，所述传感器阵列中每个传感器与所述每个成像透镜及所述宽带滤波片阵列中每个宽带滤波片一一对应，用于采集所述显微样本在预设角度观测下经过光谱编码后生成的图像；控制器，用于控制所述传感器阵列同步触发以通过四维解卷积算法进行迭代恢复重建。
本发明实施例的三维超光谱显微成像系统，能够实现三维样本在不同宽带光谱调制下在不同角度上投影的采集，从而能够在相机帧率下完成样本四维(包括三维空间信息，以及一维光谱信息)的耦合采样，大大增加了光效率，并通过相机阵列的使用，确保了系统的瞬时数据吞吐量，保证数据的充分采样，实现光学显微下30赫兹三维超光谱视频的采集的目的，提高成像的适用性，并且极大地提升了用户的使用体验。
另外，根据本发明上述实施例的三维超光谱显微成像系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述宽带滤波片阵列具体用于对所述空间信息进行空间光谱的耦合调制。
进一步地，在本发明的一个实施例中，所述宽带滤波片阵列的光谱响应为宽带，以在需要重建的光谱范围内响应。
进一步地，在本发明的一个实施例中，所述传感器阵列中每个传感器的参数独立设置。
进一步地，在本发明的一个实施例中，传感器为RGB传感器。
为达到上述目的，本发明另一方面实施例提出了一种三维超光谱显微成像方法，包括以下步骤：将校正板放置在显微镜的像面引出口处，以通过传感器阵列采集数据，使用拍摄得到的图片进行几何校正，确保每传感器采集到图片对应同一视场，且像素逐一对应；对于需要使用透射式明场照明进行测量的半透明样本，在明场照明下，在样本位置处放置不同带通滤波片，以对照明光源的光谱进行校正；将显微样本放在显微镜的样本放置处；通过所述传感器阵列进行同步采集，其中，通过同步触发下的视频采集对动态样本进行采集；对于每一帧所述传感器阵列采集到的图片，使用四维解卷积算法进行迭代恢复重建；获取荧光样本的三维超光谱信息；在完成所述照明光源的光谱校正后，获取明场照明下的所述半透明样本的三维吸收率超光谱信息。
本发明实施例的三维超光谱显微成像方法，能够实现三维样本在不同宽带光谱调制下在不同角度上投影的采集，从而能够在相机帧率下完成样本四维(包括三维空间信息，以及一维光谱信息)的耦合采样，大大增加了光效率，并通过相机阵列的使用，确保了系统的瞬时数据吞吐量，保证数据的充分采样，实现光学显微下30赫兹三维超光谱视频的采集的目的，提高成像的适用性，并且极大地提升了用户的使用体验。
另外，根据本发明上述实施例的三维超光谱显微成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述使用四维解卷积算法进行迭代恢复重建，进一步包括：根据光谱维度通过期望最大化算法获得多次迭代公式，并且全变差的正则项进行优化。
进一步地，在本发明的一个实施例中，所述使用四维解卷积算法进行迭代恢复重建，进一步包括：首先进行期望最大化迭代，在迭代第一预设次数后，进行全变差正则项的优化，以通过多次迭代直至结果收敛，或者达到第二预设次数。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的三维超光谱显微成像系统的结构示意图；
图2为根据本发明一个实施例的三维超光谱显微成像系统的光路示意图；
图3为根据本发明一个实施例的快速三维超光谱显微重构方法四维解卷积的计算流程图；
图4为根据本发明一个实施例的明场照明下的团藻样本的三维超光谱信息实验结果示意图；
图5为本发明一个实施例的对于果蝇幼虫，使用GFP标记神经系统的动态实验结果示意图；
图6为根据本发明一个实施例的三维超光谱显微成像方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维超光谱显微成像系统及成像方法，首先将参照附图描述根据本发明实施例提出的三维超光谱显微成像系统。
图1是本发明一个实施例的三维超光谱显微成像系统的结构示意图。
如图1所示，该三维超光谱显微成像系统包括：显微镜100、光圈放大模块200、成像透镜阵列300、宽带滤波片阵列400、传感器阵列500和控制器600。
其中，显微镜100用于对显微样本进行一级放大，并且从显微镜的像面引出口101导出像面。光圈放大模块200用于将光圈平面放大至预设大小。成像透镜阵列300用于截取不同亚光圈平面，以生成不同角度的空间信息，使得成像透镜阵列300中每个成像透镜后方形成显微样本对应角度的像，其中，每个成像透镜对应不同角度。宽带滤波片阵列400用于对空间信息进行宽带光谱调制。传感器阵列500中每个传感器与每个成像透镜及宽带滤波片阵列400中每个宽带滤波片一一对应，用于采集显微样本在预设角度观测下经过光谱编码后生成的图像。控制器600用于控制传感器阵列500同步触发以通过四维解卷积算法进行迭代恢复重建。本发明实施例的系统首次实现了光学显微下30赫兹三维超光谱视频的采集，由此可以实现多种荧光标记下的快速三维成像，去除荧光混叠与自发荧光，以及明场下多种生物以及材料的三维光谱成分分析，极大地提升了用户的使用体验。
可以理解的是，显微镜100用于将显微样本进行一级放大，将像面从像面引出口101导出便于后级编码采样。光圈放大模块200用于将前级显微成像系统的光圈平面放大至成像透镜阵列300物理尺寸对应的大小。成像透镜阵列300用于截取不同亚光圈平面，使得在每一透镜后方形成对于样本而言特定角度的像，阵列中的不同透镜对应不同角度。宽带滤波片阵列400用于将成像透镜阵列300截取的不同角度的空间信息进一步进行宽带光谱调制，从而实现对于三维样本的空间光谱耦合的编码采样。传感器阵列500的每一个单体与成像透镜阵列300以及宽带滤波片阵列400的每一个单体一一对应，采集下显微样本在特定角度观测下经过光谱编码后的图像。控制器600与所述传感器阵列500相连，实现传感器阵列500的同步触发以及传感器阵列500的参数控制等等。
进一步地，在本发明的一个实施例中，宽带滤波片阵列400具体用于对空间信息进行空间光谱的耦合调制。
即言，在传统多视角显微镜中加入了宽带滤波片阵列400实现了空间光谱的耦合调制。进一步地，宽带滤波片阵列400的滤波片其光谱特性都是在可见光波段宽带的，即各个位置都有一定响应，实现宽带的光谱调制。
进一步地，在本发明的一个实施例中，宽带滤波片阵列400的光谱响应为宽带，以在需要重建的光谱范围内响应。
也就是说，在于宽带滤波片阵列400的光谱响应为宽带的，即在需要重建的光谱范围内普遍有响应。
进一步地，在本发明的一个实施例中，传感器阵列500中每个传感器的参数独立设置。
即言，在于传感器阵列500的每个传感器参数都可以独立设置。
进一步地，在本发明的一个实施例中，传感器为RGB传感器。
可以理解的是，在于传感器阵列500中的每一个传感器都可以是RGB传感器，进一步增加光谱采样数量。即言，传感器阵列500都是RGB传感器，用以结合宽带滤波片，获取更多的光谱采样数据。
在本发明的实施例中，能够在相机帧率下同时采集到显微样本的三维信息与超光谱信息，是一种五维成像方式。其中，包括：通过像面引出口101将显微样本进行第一级放大的显微镜100；将显微镜100光圈平面放大至成像透镜阵列300大小的光圈放大模块200；成像透镜阵列300，截取出不同亚光圈面，采集显微样本不同角度下的图像信息；宽带滤波片阵列400，对不同角度的信息进一步进行宽带光谱调制；传感器阵列500，采集之前光谱与空间耦合编码后的二维图像；控制器600，对所有相机进行同步出发以及校正。进一步通过四维解卷积算法能够在三维层面上高分辨计算重构样本每个体素的超光谱信息。
进一步地，在本发明的实施例中，对于本发明实施例的系统所采集的耦合数据，进行重建恢复的四维解卷积算法，能够通过相机阵列拍摄到的空间与光谱耦合的图片，通过优化迭代的方法重建出样本的四维信息(包括三维空间信息，以及一维光谱信息)。步骤包括：首先将采集到的图片，通过几何校正，不同传感器拍摄到的图像的每一像素位置都与实际样本聚焦面上的位置一一对应；进一步进入整体的迭代求解过程，在每一次的迭代中，首先进行期望最大化迭代；进一步将期望最大化迭代的结果带入全变差正则项的迭代中；重复整个迭代过程直至最终结果收敛，或者到达设定的迭代次数为止。由此就能获得物体的三维超光谱数据。
可以理解的是，本发明实施例的系统既能应用于荧光成像中，也能应用于明场成像中。对于明场成像而言，还需要对于明场照明光进行光谱标定。可以通过已知光谱曲线的多个带通滤波片作为样本来实现这一光谱标定。
另外，本发明实施例的系统还可以采集明场下静态样本以及荧光动态样本，展示了其在活体三维多荧光标记样本观测方面的应用前景，包括分离多种荧光染料以及各类包含形态学和光谱变化的研究。
举例而言，如图1所示，该系统10包括：显微镜100、光圈放大模块200、成像透镜阵列300、宽带滤波片阵列400，传感器阵列500和控制器600。
具体地，如图2所示，显微镜100通过显微镜的像面引出口101将对样本所成的放大像面引出，进一步通过光圈放大模块200中的两级继接透镜2011以及2012将显微镜的光圈平面放大至成像透镜阵列300的物理尺寸大小。成像透镜阵列300中的每一个成像透镜截取一部分亚光圈面并成像，实现显微样本的不同角度信息采集。在成像透镜阵列300之后加入宽带滤波片阵列400，实现对不同角度信息的进一步光谱调制，使得最终对样本的空间光谱耦合采样信息成像在传感器阵列500上。控制器600与传感器阵列500相连，用以实现采集图片时的同步触发以及各个传感器包括曝光时间、增益等相机参数在内的设置与调节，同时实现配合校正板实现图像的几何校正，便于后续算法处理。
进一步地，如图2所示，搭建了快速超光谱三维显微成像系统。原型系统通过两级中继镜头(Canon EF和Computar M0814-MP2)放大商业显微镜(Olympus IX73)显微输出，以覆盖整个成像透镜阵列300(CCTV SV-10035V)，然后利用带有不同频段宽带滤光片的传感器阵列500(PointGray Flea2-08S2C-C)对不同子光圈面成像。这里的宽带滤光片是一组不同通过掺杂不同材质而形成不同颜色的透明玻璃，其光谱特性曲线在整个可见光波段(400-700nm)范围内是都有调制的。为充分利用空间与光谱维度上的冗余性，增强系统光利用效率，实现超光谱立体重构，滤光片阵列的光谱曲线都不是窄带的，而且各个光谱曲线尽可能的相互不相关。所有相机通过外部硬件触发系统实现同步采集，成像数据以主从服务器结构存储以满足高吞吐量需求，最大帧率可以达到30桢/秒。
另外，根据本发明实施例的显微镜100即是传统的商业显微镜，其构成以及作用对于本领域的技术人员而言都是已知的，这里就不再详细赘述。
进一步，通过对上述系统采集到的空间与光谱耦合采样的图片的处理，恢复显微样本三维超光谱信息(四维信息)的计算过程。首先对系统进行整体建模，如果去掉宽带滤光片阵列400，原型系统变为光场显微系统。光场显微系统中，每个视角都有各自特定的三维点扩散函数。每个视角图像都是样本三维空间各点与相应点扩散函数的线性多重积分。利用25个宽带滤光片和RGB相机阵列，生成了四维点扩散函数(光谱调制的三维点扩散函数)。这些点扩散函数不但携带三维空间信息还携带一维光谱信息。RGB彩色相机的光谱响应可以采用单色仪、积分球和光度计校准。这样，单次拍照即可获得75个空间-光谱耦合测量。这些测量是立体多光谱图像在光谱维度经宽带彩色滤光片和RGB相机贝尔彩色滤波调制，在空间维度经不同三维点扩散函数调制的整体调制结果。线性前向成像模型可用数学公式表示为：
Ii,rgb(x,y)＝∫λMi,rgb(x,y,λ)∫zhi(x,y,z)*v(x,y,z,λ)dzdλ，
其中，其中x,y表示空间横向坐标，z表示轴向坐标，λ表示光谱坐标,Ii,rgb(x,y)为相机拍摄图像，i表示25个相机，rgb表示相机RGB三个彩色通道，Mi,j,rgb(x,y,λ)为第i个宽带滤光片和第rgb个彩色通道贝尔色彩滤波器的联合调制，hi(x,y,z)是第i个相机的三维点扩散函数，v(x,y,z,λ)是四维超光谱三维图像。
传统三维解卷积算法利用焦堆栈或多视角拍摄的半透明样本、荧光标记样本的多张带视差的低分辨图像能够恢复出高分辨立体图像。利用这些增加的空间信息来换取光谱信息。由于超光谱三维图像在空间维和光谱维内在的冗余性，本发明实施例提出的四维解卷积算法采用最大期望方法和全变分正则化约束求解上述方程的欠定问题。上述方程首先离散化为：
I＝Pv，
其中，I,v分别表示向量化的相机阵列测量结果和超光谱立体图像，P表示投影矩阵。该方程的求解，即由给定一组空间-角度-光谱耦合测量，估计样本上每个点的光谱响应曲线。这个问题等同于四维层析问题。由于光谱调制对体素每个点都是均匀的，不会影响投影矩阵的周期性，这就可以减少四维解卷积运算过程中前向投影和后向投影计算复杂度。
假设成像噪声符合泊松分布，背景噪声可以通过拍摄图像与背景图像相减消除。那么该方程的最大期望方法的极大似然估计可以表示为下述优化问题：
其中β是全变分正则化项和数据项的平衡因子，数据项Ed(v)可表示为：
其中，ln(·)表示对数运算；Nx,Ny表示每个相机二维空间分辨率，Nc和Nr表示相机的数量和RGB贝尔滤波数量。对于全变分正则化项，引入了荧光样本稀疏先验，以满足超光谱立体重构结果在空间和光谱上逐点平滑，如下所示：
表示空间梯度，Φ为光谱投影。利用KKT条件和补充松弛条件，四维解卷积优化问题的数值解可表示为：
其中，是四维数据迭代n次结果向量化后第j个元素。按照上式更新规则迭代直到算法收敛或迭代次数n达到设定最大值，即可获得超光谱立体重建结果。
进一步地，如图3所示，在初始化初始解之后，进行整体迭代循环，在每次整体迭代中，首先进行最大期望方法的最大似然估计的迭代，接着将该迭代结果带入全变分迭代步骤中，整个迭代过程不断循环，直至最终结果收敛，或者达到实现设定好的最大迭代次数，则停止迭代并输出结果。
进一步地，如图4所示，利用本发明实施例采集了经过25个宽带滤光片后的团藻多视角图片(曝光时间30毫秒)，利用压缩采样方法，获得了空间光谱耦合的采样数据，然后利用上述的四维解卷积算法重构。本实验采用的物镜为Olympus,UPLSAPO10X2,N.A.＝0.4,F.N.＝26.5，图4左侧为选取的8个重建谱段的图像。图4中标记的三个体素点光谱曲线如图4右侧所示。这个例子展示了能够在快照条件下同时恢复半透明样本的三维信息与超光谱信息。这为实时分析样本成分提供了一个手段。利用快照图像，能够实时恢复三维场景中每一个点的超光谱信息，而这些信息以前需要商用的光谱显微设备才能获取。这些信息有助于改善和提高三维物体的识别和精确分割。
进一步地，如图5所示，为了验证本发明实施例能够用于恢复动态多荧光标记样本，本发明实施例对用GFP标记神经回路的果蝇幼虫进行了活体的动态成像。重构光谱范围的光谱范围为400nm至700nm，步长10nm。图5左侧是果蝇幼虫的超光谱立体视频，帧率为5帧/秒。这些三维图像是利用重建的超光谱图像的荧光拆分结果采用最大投影算法合成的。超光谱立体视频反映了半透明果蝇幼虫运动过程中形态和神经系统的变化。利用前述方法，可以重构出五维超光谱立体视频数据。大量分析方法，如光谱层析和光谱拆分都可以立即展开而不需要费时地扫描和重复。对于三维样本中的每个点，都能计算出其光谱曲线，便于从生物学上或材料学上获得新发现。本实施例选取了部分点的光谱曲线，并将其与标准绿色荧光蛋白(GFP)的荧光发射光谱曲线进行了对比，参照图5右侧，这些曲线证明了光谱重构的准确性。
综上所述，本发明实施例的快速三维超光谱显微技术能以视频帧率采集高分辨率和高精度超光谱三维数据，是一种光学显微下的五维成像手段。首次实现的超光谱立体视频采集系统，具有很广阔的应用前景。与传统时域扫描方法相比，将光学设计和计算重构相结合，充分利用了视觉信息的稀疏性，减少了采样时间，避免了荧光样本漂白。空域-频域耦合的采样系统实现了有效复合。相机阵列实现了高光通量采集。利用四维解卷积重构，不需要大量的先验就能重建出高维度的信息。本发明实例也用不同的样本验证了方法的有效性和采集数据的多种实用性。
其次，本发明实例具有很大的灵活性，对于不要三维信息的薄样本而言，可以直接使用三维解卷积算法，获得其超光谱信息，可以大量节省采集时间。对于不需要超光谱信息的样本而言，也可以直接使用三维解卷积算法进行重建，获得更高分辨率的三维信息。
根据本发明实施例的三维超光谱显微成像系统，能够实现三维样本在不同宽带光谱调制下在不同角度上投影的采集，从而能够在相机帧率下完成样本四维(包括三维空间信息，以及一维光谱信息)的耦合采样，大大增加了光效率，并通过相机阵列的使用，确保了系统的瞬时数据吞吐量，保证数据的充分采样，实现光学显微下30赫兹三维超光谱视频的采集的目的，提高成像的适用性，并且极大地提升了用户的使用体验。
其次参照附图描述根据本发明实施例提出的三维超光谱显微成像方法。
图6是本发明一个实施例的三维超光谱显微成像方法的流程图。
如图6所示，该三维超光谱显微成像方法包括以下步骤：
在步骤S601中，将校正板放置在显微镜的像面引出口处，以通过传感器阵列采集数据，使用拍摄得到的图片进行几何校正，确保每传感器采集到图片对应同一视场，且像素逐一对应。
在步骤S602中，对于需要使用透射式明场照明进行测量的半透明样本，在明场照明下，在样本位置处放置不同带通滤波片，以对照明光源的光谱进行校正。
在步骤S603中，将显微样本放在显微镜的样本放置处。
在步骤S604中，通过传感器阵列进行同步采集，其中，通过同步触发下的视频采集对动态样本进行采集。
在步骤S605中，对于每一帧传感器阵列采集到的图片，使用四维解卷积算法进行迭代恢复重建。
在步骤S606中，获取荧光样本的三维超光谱信息。
在步骤S607中，在完成照明光源的光谱校正后，获取明场照明下的半透明样本的三维吸收率超光谱信息。
进一步地，在本发明的一个实施例中，使用四维解卷积算法进行迭代恢复重建，进一步包括：根据光谱维度通过期望最大化算法获得多次迭代公式，并且全变差的正则项进行优化。
可以而理解的是，在传统光学断层摄像术的技术基础上引入光谱维度，使用期望最大化算法，获得多次迭代公式。同时加上全变差的正则项加以优化。
进一步地，在本发明的一个实施例中，使用四维解卷积算法进行迭代恢复重建，进一步包括：首先进行期望最大化迭代，在迭代第一预设次数后，进行全变差正则项的优化，以通过多次迭代直至结果收敛，或者达到第二预设次数。
可以理解的是，首先进行期望最大化迭代，在迭代固定次数后，进行全变差正则项的优化。重复上述过程，并多次迭代直至结果收敛，或者达到固定次数。
其中，本发明的实施例的预设值可以根据实际情况进行设置，如第一次预设次数、第二次预设次数、预设大小等，在此不作具体限制。
举例而言，使用上述的系统进行数据采集，本发明实施例的方法包括以下的步骤：
步骤S1，首先将一个校正板放置在显微镜像面引出口处，用传感器阵列采集数据，使用拍摄得到的图片进行几何校正，确保每一个传感器采集到图片对应同一视场，且像素逐一对应。
步骤S2，对于需要使用透射式明场照明进行测量的半透明样本，需要先在明场照明下，在样本位置处放置不同带通滤波片，实现对照明光源的光谱校正。
步骤S3，将待测样本放在按照上述系统的显微镜样本放置处。
步骤S5，进一步使用传感器阵列进行同步采集，对于动态样本，也可以实现同步触发下的视频采集。
步骤S6，对于每一帧传感器阵列采集到的图片，使用四维解卷积算法进行迭代恢复重建。
步骤S7，对于荧光样本而言，可以直接得到样本的三维超光谱信息。
对于明场照明下的半透明样本而言，完成照明光源的光谱校正后，就可以得到样本的三维吸收率超光谱信息。
需要说明的是，前述对三维超光谱显微成像系统实施例的解释说明也适用于该实施例的三维超光谱显微成像方法，此处不再赘述。
根据本发明实施例的三维超光谱显微成像方法，能够实现三维样本在不同宽带光谱调制下在不同角度上投影的采集，从而能够在相机帧率下完成样本四维(包括三维空间信息，以及一维光谱信息)的耦合采样，大大增加了光效率，并通过相机阵列的使用，确保了系统的瞬时数据吞吐量，保证数据的充分采样，实现光学显微下30赫兹三维超光谱视频的采集的目的，提高成像的适用性，并且极大地提升了用户的使用体验。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种三维超光谱显微成像系统，其特征在于，包括：
显微镜，用于对显微样本进行一级放大，并且从所述显微镜的像面引出口导出像面；
光圈放大模块，用于将光圈平面放大至预设大小；
成像透镜阵列，用于截取不同亚光圈平面，以生成不同角度的空间信息，使得所述成像透镜阵列中每个成像透镜后方形成所述显微样本对应角度的像，其中，所述每个成像透镜对应不同角度；
宽带滤波片阵列，用于对所述空间信息进行宽带光谱调制；
传感器阵列，所述传感器阵列中每个传感器与所述每个成像透镜及所述宽带滤波片阵列中每个宽带滤波片一一对应，用于采集所述显微样本在预设角度观测下经过光谱编码后生成的图像；以及
控制器，用于控制所述传感器阵列同步触发以通过四维解卷积算法进行迭代恢复重建。
2.根据权利要求1所述的三维超光谱显微成像系统，其特征在于，所述宽带滤波片阵列具体用于对所述空间信息进行空间光谱的耦合调制。
3.根据权利要求1所述的三维超光谱显微成像系统，其特征在于，所述宽带滤波片阵列的光谱响应为宽带，以在需要重建的光谱范围内响应。
4.根据权利要求1所述的三维超光谱显微成像系统，其特征在于，所述传感器阵列中每个传感器的参数独立设置。
5.根据权利要求1或4所述的三维超光谱显微成像系统，其特征在于，传感器为RGB传感器。
6.一种三维超光谱显微成像方法，其特征在于，包括以下步骤：
将校正板放置在显微镜的像面引出口处，以通过传感器阵列采集数据，使用拍摄得到的图片进行几何校正，确保每传感器采集到图片对应同一视场，且像素逐一对应；
对于需要使用透射式明场照明进行测量的半透明样本，在明场照明下，在样本位置处放置不同带通滤波片，以对照明光源的光谱进行校正；
将显微样本放在显微镜的样本放置处；
通过所述传感器阵列进行同步采集，其中，通过同步触发下的视频采集对动态样本进行采集；
对于每一帧所述传感器阵列采集到的图片，使用四维解卷积算法进行迭代恢复重建；
获取荧光样本的三维超光谱信息；以及
在完成所述照明光源的光谱校正后，获取明场照明下的所述半透明样本的三维吸收率超光谱信息。
7.根据权利要求6所述的三维超光谱显微成像方法，其特征在于，所述使用四维解卷积算法进行迭代恢复重建，进一步包括：
根据光谱维度通过期望最大化算法获得多次迭代公式，并且全变差的正则项进行优化。
8.根据权利要求6或7所述的三维超光谱显微成像方法，其特征在于，所述使用四维解卷积算法进行迭代恢复重建，进一步包括：
首先进行期望最大化迭代，在迭代第一预设次数后，进行全变差正则项的优化，以通过多次迭代直至结果收敛，或者达到第二预设次数。
CN201710031346.1A 2017-01-17 2017-01-17 三维超光谱显微成像系统及成像方法 Pending CN106770131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710031346.1A CN106770131A (zh) 2017-01-17 2017-01-17 三维超光谱显微成像系统及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710031346.1A CN106770131A (zh) 2017-01-17 2017-01-17 三维超光谱显微成像系统及成像方法

Publications (1)

Publication Number Publication Date
CN106770131A true CN106770131A (zh) 2017-05-31

Family

ID=58946000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710031346.1A Pending CN106770131A (zh) 2017-01-17 2017-01-17 三维超光谱显微成像系统及成像方法

Country Status (1)

Country Link
CN (1) CN106770131A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107966802A (zh) * 2017-12-26 2018-04-27 清华大学 基于相机阵列的超光谱光片光场显微成像系统及方法
CN108169172A (zh) * 2017-12-28 2018-06-15 清华大学 三维折射率显微成像系统及方法
CN109391321A (zh) * 2018-11-20 2019-02-26 山东大学 一种相位敏感otdr传感中扰动定位方法
WO2019037020A1 (zh) * 2017-08-24 2019-02-28 冯艳 基于非再入型二次扭曲(nrqd)光栅和棱栅的四维多平面宽带成像系统
WO2024065094A1 (zh) * 2022-09-26 2024-04-04 广州超视计生物科技有限公司 超分辨显微成像方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784982B1 (en) * 1999-11-04 2004-08-31 Regents Of The University Of Minnesota Direct mapping of DNA chips to detector arrays
CN2665683Y (zh) * 2003-12-31 2004-12-22 中国科学院西安光学精密机械研究所 基于光波导分光原理的小型高灵敏度光谱成像设备
CN101820817A (zh) * 2007-05-22 2010-09-01 阶段聚焦有限公司 三维成像
CN102510282A (zh) * 2011-10-25 2012-06-20 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
CN102661919A (zh) * 2012-05-22 2012-09-12 江西科技师范大学 一种显微超光谱层析三维成像装置
CN202583059U (zh) * 2012-05-22 2012-12-05 江西科技师范大学 一种显微超光谱层析三维成像装置
CN104457708A (zh) * 2014-12-05 2015-03-25 中国科学院光电研究院 一种紧凑型多光谱相机
CN104849852A (zh) * 2015-05-07 2015-08-19 清华大学 基于相机阵列的光场显微成像系统及方法
CN105974573A (zh) * 2016-06-02 2016-09-28 苏州大学 一种基于微透镜阵列的光场光谱显微成像方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784982B1 (en) * 1999-11-04 2004-08-31 Regents Of The University Of Minnesota Direct mapping of DNA chips to detector arrays
CN2665683Y (zh) * 2003-12-31 2004-12-22 中国科学院西安光学精密机械研究所 基于光波导分光原理的小型高灵敏度光谱成像设备
CN101820817A (zh) * 2007-05-22 2010-09-01 阶段聚焦有限公司 三维成像
CN102510282A (zh) * 2011-10-25 2012-06-20 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
CN102661919A (zh) * 2012-05-22 2012-09-12 江西科技师范大学 一种显微超光谱层析三维成像装置
CN202583059U (zh) * 2012-05-22 2012-12-05 江西科技师范大学 一种显微超光谱层析三维成像装置
CN104457708A (zh) * 2014-12-05 2015-03-25 中国科学院光电研究院 一种紧凑型多光谱相机
CN104849852A (zh) * 2015-05-07 2015-08-19 清华大学 基于相机阵列的光场显微成像系统及方法
CN105974573A (zh) * 2016-06-02 2016-09-28 苏州大学 一种基于微透镜阵列的光场光谱显微成像方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WU JIAMIN ET AL.: "Snapshot Hyperspectral Volumetric Microscopy", 《SCIENTIFIC REPORTS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037020A1 (zh) * 2017-08-24 2019-02-28 冯艳 基于非再入型二次扭曲(nrqd)光栅和棱栅的四维多平面宽带成像系统
US11054627B2 (en) 2017-08-24 2021-07-06 Yan Feng Four-dimensional multi-plane broadband imaging system based on non-reentry quadratically distorted (NRQD) grating and grism
CN107966802A (zh) * 2017-12-26 2018-04-27 清华大学 基于相机阵列的超光谱光片光场显微成像系统及方法
CN108169172A (zh) * 2017-12-28 2018-06-15 清华大学 三维折射率显微成像系统及方法
CN109391321A (zh) * 2018-11-20 2019-02-26 山东大学 一种相位敏感otdr传感中扰动定位方法
CN109391321B (zh) * 2018-11-20 2021-05-18 山东大学 一种相位敏感otdr传感中扰动定位方法
WO2024065094A1 (zh) * 2022-09-26 2024-04-04 广州超视计生物科技有限公司 超分辨显微成像方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN106770131A (zh) 三维超光谱显微成像系统及成像方法
Baek et al. Single-shot hyperspectral-depth imaging with learned diffractive optics
CN106840398B (zh) 一种多光谱光场成像方法
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
CN107271039B (zh) 紧凑微型快照式光谱成像探测装置及探测方法
CN106872034B (zh) 快速三维多光谱显微成像系统
CN110114645A (zh) 在被观察物体静止时的超光谱成像
CN110175971A (zh) 一种多光谱单像素成像的深度学习图像重构方法
CN110274877A (zh) 一种基于散射介质的3d光谱成像系统及方法
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
CN113676628B (zh) 成像装置和图像处理方法
Pamart et al. Multispectral Photogrammetric Data Acquisition and Processing Forwall Paintings Studies
CN114025656A (zh) 脉冲超光谱、荧光和激光标测成像系统中的噪声感知边缘增强
CN112465922A (zh) 一种结合色差模糊成像与图像重建技术的高光谱成像系统
CN107064005A (zh) 一种高光谱光场的快照式成像系统以及重建算法
Huang et al. Spectral clustering super-resolution imaging based on multispectral camera array
CN108257107A (zh) 基于局部低秩矩阵和光谱分解的图像融合算法
CN112489200A (zh) 一种火焰光谱的三维重建装置和方法
CN108169172A (zh) 三维折射率显微成像系统及方法
WO2021046861A1 (zh) 正射影像生成方法、系统和存储介质
CN115950534A (zh) 分焦平面式高光通量仿生多光谱偏振成像探测器
Qi et al. A super-resolution fusion video imaging spectrometer based on single-pixel camera
CN104112294B (zh) 基于稀疏约束的强度关联成像高速三维重构系统及方法
WO2012147492A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
CN107576397B (zh) 一种基于光谱通道摆扫式相机的多光谱视频采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication