CN107966802A - 基于相机阵列的超光谱光片光场显微成像系统及方法 - Google Patents

Abstract

本发明公开了一种基于相机阵列的超光谱光片光场显微成像系统及方法，其中，系统包括：照明模块用于产生光片，并控制光片在z轴进行扫描；显微镜用于将显微样本放大并通过相机引出口成像到像平面；成像平面的放大模块；成像透镜阵列用于获取显微样本在不同视角下的样本图像；带滤波片的传感器阵列每个传感器与成像透镜阵列一一对应设置，以记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息；控制器用于对样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。该系统可以实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

Description

基于相机阵列的超光谱光片光场显微成像系统及方法

技术领域

本发明涉及显微成像技术领域，特别涉及一种基于相机阵列的超光谱光片光场显微成像系统及方法。

背景技术

相关技术，光片显微(LightSheetMicroscopy)使用相互垂直的照明光路和成像光路来提高成像质量。照明光路产生一薄层光束(光片)从侧面照明样本，成像光路对样本直接进行面成像，从而避免其他层的干扰，提高成像分辨率。光片显微采用面成像，其成像速度远高于共聚焦显微镜；同时，由于只有光片处的样本被照明，光毒性和光漂白对样本的影响大大降低。通过控制光片的位置，可以扫描样本，实现三维成像，在此过程中，通常需要移动样本或物镜以保证光片始终处于成像物镜的焦面上。

光场显微是一种无需扫描的三维计算成像方法，通过同时记录光线的二维空间和二维角度的分布，可以通过计算实现对图像的重聚焦，实现景深的扩展。目前，光场显微成像的方法主要有两种，一种是在显微镜的像平面上加入微透镜阵列，通过一个相机进行成像。这种方法需要在空间分辨率和角度分辨率之间进行折中，获得的图像分辨率远低于相机的分辨率。另一种方法是使用多个相机组成阵列，实现高空间分辨率的光场采集，通过对每个相机单独设置参数，还可以对不同的物理量进行测量。

在荧光成像中，常常会用多种荧光对不同物质进行标记，需要多光谱采集来进行有效的区分。对生物样本来说，光谱是其重要特征，可以在一定程度上反映样本的性质。同时在空间和光谱维度对样本进行成像具有重要的意义。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于相机阵列的超光谱光片光场显微成像系统，该系统可以实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

本发明的另一个目的在于提出一种基于相机阵列的超光谱光片光场显微成像方法。

为达到上述目的，本发明一方面实施例提出了一种基于相机阵列的超光谱光片光场显微成像系统，包括：照明模块，用于产生光片，并控制所述光片在z轴进行扫描；显微镜，用于将显微样本放大并通过相机引出口成像到像平面；成像平面的放大模块；成像透镜阵列，用于获取所述显微样本在不同视角下的样本图像；带滤波片的传感器阵列，所述传感器阵列的每个传感器与所述成像透镜阵列一一对应设置，以记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息；控制器，用于对所述样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。

本发明实施例的基于相机阵列的超光谱光片光场显微成像系统，可以通过相机阵列对样本在不同视角和光谱下的图像进行同步采集，获取高分辨率的光场视频和超光谱信息，并根据采集到的信息重建样本的三维图像和光谱成分，从而实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

另外，根据本发明上述实施例的基于相机阵列的超光谱光片光场显微成像系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述放大模块包括：第一级中继透镜，用于根据所述像平面生成光圈平面；第二级中继透镜，用于将所述光圈平面放大至覆盖整个所述相机阵列的大小。

进一步地，在本发明的一个实施例中，所述第二级中继透镜的数值孔径要大于所述第一级中继透镜的数值孔径。

进一步地，在本发明的一个实施例中，所述相机阵列、所述第一级中继透镜、所述第二级中继透镜和所述相机引出口进行光学校准，所述相机阵列的所有相机的光轴汇聚所述第二级中继透镜的中心，中心相机、所述放大模块和所述相机引出口的光轴一致。

进一步地，在本发明的一个实施例中，在所述相机阵列中，每个传感器配有可见光波段滤波片，且透过率曲线各不相同，每个相机的参数均独立设置且保持一致。

进一步地，在本发明的一个实施例中，采用主从服务器构架方式对各传感器之间进行同步。

进一步地，在本发明的一个实施例中，所述照明模块通过高压汞灯和柱透镜产生所述光片，并通过阵镜和透镜组控制所述光片在z轴进行扫描。

为达到上述目的，本发明另一方面实施例提出了一种基于相机阵列的超光谱光片光场显微成像方法，包括以下步骤：

产生光片，并控制所述光片在z轴进行扫描；将显微样本放大并通过相机引出口成像到像平面，并进行放大；获取所述显微样本在不同视角下的样本图像；记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息；对所述样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。

本发明实施例的可以通过采集不同视角和不同光谱下透明样本的显微图像，可以通过相机阵列对样本在不同视角和光谱下的图像进行同步采集，获取高分辨率的光场视频和超光谱信息，并根据采集到的信息重建样本的三维图像和光谱成分，从而实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

另外，根据本发明上述实施例的基于相机阵列的超光谱光片光场显微成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述进行放大进一步包括：根据所述像平面生成光圈平面；将所述光圈平面放大至覆盖整个所述相机阵列的大小。

进一步地，在本发明的一个实施例中，采用主从服务器构架方式对各传感器之间进行同步。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于相机阵列的超光谱光片光场显微成像系统的结构示意图；

图2为根据本发明一个实施例的基于相机阵列的超光谱光片光场显微成像系统的光路设计图；

图3为根据本发明一个实施例的基于相机阵列的超光谱光片光场显微成像方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于相机阵列的超光谱光片光场显微成像系统及方法，首先将参照附图描述根据本发明实施例提出的基于相机阵列的超光谱光片光场显微成像系统。

图1是本发明一个实施例的基于相机阵列的超光谱光片光场显微成像系统的结构示意图。

如图1所示，该基于相机阵列的超光谱光片光场显微成像系统10包括：照明模块100、显微镜200、放大模块300、成像透镜阵列400、传感器阵列500和控制器600。

其中，照明模块100用于产生光片，并控制光片在z轴进行扫描。显微镜200用于将显微样本放大并通过相机引出口201成像到像平面。成像平面的放大模块300。成像透镜阵列400用于获取显微样本在不同视角下的样本图像。带滤波片700的传感器阵列500，传感器阵500的每个传感器与成像透镜阵列400一一对应设置，以记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息。控制器600用于对样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。本发明实施例的系统10可以实现快速的三维成像，并扩展光片显微的景深范围，同时能够实现超光谱成像，获得样本的光谱信息。

进一步地，在本发明的一个实施例中，照明模块100通过高压汞灯和柱透镜产生光片，并通过阵镜和透镜组控制光片在z轴进行扫描。

具体而言，如图1所示，照明模块100包括光片产生模块101和扫描模块102，分别用于光片产生和扫描。如图2所示，照明模块100产生光片并实现光片的z轴扫描，光源可采用高压汞灯，1:1的中继透镜系统将入射光引到中间平面，在x方向上，4f系统保持入射光束的形状，在z方向上，柱透镜对光不起作用，凸透镜将光束汇聚，从而形成一层光片。振镜在x-z平面振动，使得光束在z轴发生偏移，实现扫描功能。

进一步地，显微镜200将样本放大，可以使用通常的商业显微镜，并通过显微镜200的相机引出口201将像平面引出到显微镜200之外。

进一步地，在本发明的一个实施例中，放大模块300包括：第一级中继透镜和第二级中继透镜。

其中，第一级中继透镜用于根据像平面生成光圈平面。第二级中继透镜用于将光圈平面放大至覆盖整个相机阵列的大小。

可选地，在本发明的一个实施例中，第二级中继透镜的数值孔径要大于第一级中继透镜的数值孔径。

可以理解的是，放大模块300为两级中继系统，第一级中继透镜根据像平面生成光圈平面，第二级中继透镜将光圈平面放大至覆盖整个相机阵列的大小。第二级透镜的数值孔径要大于第一级透镜的数值孔径。

具体而言，两级中继系统中，第一级中继透镜产生光圈平面，第二级中继透镜将光圈平面放大，使之与成像透镜阵列400的大小相匹配，为了减少畸变，这两级透镜可以使用商业镜头来实现。最后，放置成像透镜阵列400在二级透镜放大后的光圈平面上，每个子光圈成像到相应传感器上，传感器和成像透镜之间放置滤光片700以实现超光谱采集。

进一步地，在本发明的一个实施例中，在相机阵列800中，每个传感器配有可见光波段滤波片，且透过率曲线各不相同，每个相机的参数均独立设置且保持一致。

可以理解的是，如图1所示，相机阵列800由成像透镜阵列400、滤波片700和传感器阵列500共同组成，在相机阵列800中，每个传感器配有一个可见光波段滤波片，且透过率曲线各不相同，各个相机的参数独立设置且保持一致。

进一步地，在本发明的一个实施例中，相机阵列800、第一级中继透镜、第二级中继透镜和相机引出口201进行光学校准，相机阵列800的所有相机的光轴汇聚第二级中继透镜的中心，中心相机、放大模块300和相机引出口201的光轴一致。

可以理解是，本发明实施例需要对相机阵列800、两级中继系统和相机引出口201进行光学校准，所有相机的光轴汇聚到两级中继系统第二级中继透镜的中心，中心相机、两级中继系统和相机引出口201的光轴一致。

进一步地，控制器600用于进行系统的同步和校准，一方面实现光片扫描和相机阵列800采集的同步，另一方面实现相机阵列800内部各个传感器的同步采集和光学校准。

进一步地，在本发明的一个实施例中，本发明实施例系统10采用主从服务器构架方式对各传感器之间进行同步。

具体而言，本发明实施例可以通过采用主从服务器构架方式对各传感器之间进行同步采集，包括一台主服务器和四台从服务器。主服务器和从服务器通过局域网相连，主服务器用于提供用户操作界面，接受用户指令并向从服务器发送控制命令；从服务器接受主服务器的控制命令并控制相机同步采集，不同相机采集后的图像或者视频数据存储于相应的从服务器。

综上，本发明实施例可以通过采集不同视角和不同光谱下透明样本的显微图像，利用光场采集和解卷积算法，实现快速的超光谱光片显微成像，能够扩展成像景深，且不需要使用机械装置移动样本或物镜，能够避免样本或物镜的机械移动，从而实现快速的三维成像，并扩展光片显微的景深范围，同时能够实现超光谱成像，获得样本的光谱信息。

根据本发明实施例提出的基于相机阵列的超光谱光片光场显微成像系统，可以通过相机阵列对样本在不同视角和光谱下的图像进行同步采集，获取高分辨率的光场视频和超光谱信息，并根据采集到的信息重建样本的三维图像和光谱成分，从而实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

其次参照附图描述根据本发明实施例提出的基于相机阵列的超光谱光片光场显微成像方法。

图3是本发明一个实施例的基于相机阵列的超光谱光片光场显微成像方法的流程图。

如图3所示，该基于相机阵列的超光谱光片光场显微成像方法包括以下步骤：

在步骤S301中，产生光片，并控制光片在z轴进行扫描。

在步骤S302中，将显微样本放大并通过相机引出口成像到像平面，并进行放大。

在步骤S303中，获取显微样本在不同视角下的样本图像。

在步骤S304中，记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息。

在步骤S305中，对样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。

进一步地，在本发明的一个实施例中，进行放大进一步包括：根据像平面生成光圈平面；将光圈平面放大至覆盖整个相机阵列的大小。

进一步地，在本发明的一个实施例中，采用主从服务器构架方式对各传感器之间进行同步。

需要说明的是，前述对基于相机阵列的超光谱光片光场显微成像系统实施例的解释说明也适用于该实施例的基于相机阵列的超光谱光片光场显微成像方法，此处不再赘述。

根据本发明实施例提出的基于相机阵列的超光谱光片光场显微成像方法，可以通过相机阵列对样本在不同视角和光谱下的图像进行同步采集，获取高分辨率的光场视频和超光谱信息，并根据采集到的信息重建样本的三维图像和光谱成分，从而实现高性能显微成像，且系统空间分辨率高，进而具有较大的灵活性和扩展性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于相机阵列的超光谱光片光场显微成像系统，其特征在于，包括：

照明模块，用于产生光片，并控制所述光片在z轴进行扫描；

显微镜，用于将显微样本放大并通过相机引出口成像到像平面；

成像平面的放大模块；

成像透镜阵列，用于获取所述显微样本在不同视角下的样本图像；

带滤波片的传感器阵列，所述传感器阵列的每个传感器与所述成像透镜阵列一一对应设置，以记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息；以及

控制器，用于对所述样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。

2.根据权利要求1所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，所述放大模块包括：

第一级中继透镜，用于根据所述像平面生成光圈平面；

第二级中继透镜，用于将所述光圈平面放大至覆盖整个所述相机阵列的大小。

3.根据权利要求2所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，所述第二级中继透镜的数值孔径要大于所述第一级中继透镜的数值孔径。

4.根据权利要求2或3所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，所述相机阵列、所述第一级中继透镜、所述第二级中继透镜和所述相机引出口进行光学校准，所述相机阵列的所有相机的光轴汇聚所述第二级中继透镜的中心，中心相机、所述放大模块和所述相机引出口的光轴一致。

5.根据权利要求1所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，在所述相机阵列中，每个传感器配有可见光波段滤波片，且透过率曲线各不相同，每个相机的参数均独立设置且保持一致。

6.根据权利要求5所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，采用主从服务器构架方式对各传感器之间进行同步。

7.根据权利要求1所述的基于相机阵列的超光谱光片光场显微成像系统，其特征在于，所述照明模块通过高压汞灯和柱透镜产生所述光片，并通过阵镜和透镜组控制所述光片在z轴进行扫描。

8.一种基于相机阵列的超光谱光片光场显微成像方法，其特征在于，包括以下步骤：

产生光片，并控制所述光片在z轴进行扫描；

将显微样本放大并通过相机引出口成像到像平面，并进行放大；

获取所述显微样本在不同视角下的样本图像；

记录与其对应的成像透镜获取的样本图像空间信息和与其对应的滤波片获取的样本光谱信息；以及

对所述样本图像的采集进行同步和校准，以获取光场视频和超光谱信息，并重建样本的三维图像和光谱成分，实现显微成像。

9.根据权利要求8所述的基于相机阵列的超光谱光片光场显微成像方法，其特征在于，所述进行放大进一步包括：

根据所述像平面生成光圈平面；

将所述光圈平面放大至覆盖整个所述相机阵列的大小。

10.根据权利要求8或9所述的基于相机阵列的超光谱光片光场显微成像方法，其特征在于，采用主从服务器构架方式对各传感器之间进行同步。