CN104570315B - 一种基于结构照明的彩色三维层析显微成像系统及方法 - Google Patents

Abstract

本发明提供一种基于结构照明的彩色三维层析显微成像系统及方法，包括照明光源、设置在照明光源光路上的分光棱镜、设置在分光棱镜的反射光路上的结构光产生器、设置在分光棱镜的透射光路上的透镜、设置在透镜光路上的分光镜、设置在分光镜上方光路上的显微物镜和载物台、设置在分光镜下方光路上的反光镜和筒镜、设置在筒镜后方的CCD相机；CCD相机为彩色CCD相机；照明光源为非相干单色LED光源或白光LED光源；结构光产生器为数字微镜器件DMD。本发明在HSV彩色空间进行图像处理，复原样品的彩色信息。与传统的RGB彩色空间相比，HSV彩色空间避免了R、G、B三个通道之间的相互串扰，可以更加准确地获得样品的真实彩色信息。

Description

一种基于结构照明的彩色三维层析显微成像系统及方法

技术领域

本发明涉及一种结构照明显微系统，可以实现高速彩色三维层析成像，可广泛应用于生物学、医学、材料科学及微电子学等领域的研究。

背景技术

以共聚焦、双光子显微为代表的点扫描显微成像技术具有三维层析成像能力，因而在生物医学和材料科学研究中得到了广泛的应用。点扫描技术通过扫描高度汇聚的激光焦点来获取物镜焦面处的二维图像，并通过轴向逐层移动扫描，获得样品的三维层析图像。随着各种新型荧光分子探针的出现，多色扫描显微技术使得人们可以同时观测活体细胞中多种蛋白质之间的相互作用，另外，多色荧光标记也提高了成像的对比度和解析度。目前市场上的高端彩色共聚焦显微镜都是基于多通道融合的原理，即使用多个波长的激发光源激发多色荧光标记的样品，用光电倍增管分别收集每个彩色通道(红，绿，蓝)的信号，然后合并为代表样品真实色彩的单幅彩色图像。虽然激光共聚焦扫描系统具有高空间分辨率和轴向切片的能力，但是逐点扫描完整个三维样品需要较长的时间，同时高强度的激光也会对活细胞和组织产生较强的光损伤和光毒性。

与激光扫描成像方式不同，宽场成像使用面阵CCD或者CMOS相机，一次曝光就可以得到像面的全部二维信息，但是由于成像物镜有一定的景深，因此CCD相机得到的图像实际上是像面信息和非像面背景的叠加。正是由于非像面背景的影响，图像的信噪比和空间分辨率受到了很大的限制。因此普通的宽场成像无法实现三维层析成像。近年来出现的结构照明显微技术是一种宽场光学显微技术，但是它却具有良好的三维成像能力。结构照明显微技术使用高空间频率的结构光场对样品照明，通过图像处理算法能将宽场图像中的像面信息和非像面背景有效地分离。通过使用位移平台在物镜光轴方向逐层扫描，可以得到样品的三维层析图。与激光扫描技术相比，结构照明显微具有更快的成像速度和简单的结构，光损伤和光毒性效应也要小很多，更适用于活体生物组织的实时成像研究。但是目前大多数结构照明显微系统都使用单色的CCD或者CMOS相机采集图像，无法得到样品的彩色信息。然而对于一些研究领域而言(例如表面形貌测量，材料科学等领域)，复原样品的彩色信息是非常重要的。虽然采用类似彩色共聚焦显微镜的多波长激发多色荧光标记样品和多通道融合的原理，也可以获得彩色层析图，但成像速度也受到限制，而且得到的也非真实彩色，只是多色合成的结果。

发明内容

针对目前结构照明显微无法快速获得样品色彩信息的问题，本发明提出了一种基于结构照明的彩色三维层析显微成像系统及方法。

本发明的技术解决方案是：

一种基于结构照明的彩色三维层析显微成像系统，包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10，其特殊之处在于：

所述CCD相机10为彩色CCD相机；

所述照明光源1为非相干单色LED光源或白光LED光源；

所述结构光产生器3为数字微镜器件DMD。

上述分光镜5为长波通分光镜。

上述分光镜5为50:50宽带分束器。

一种基于结构照明的彩色三维层析显微成像方法，其特殊之处在于，包括以下步骤：

1)产生结构照明光场：

由单色LED或白光LED照明，通过数字微镜器件DMD产生三个空间方向相同、相位分别为0⁰、120⁰、240⁰的结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；

2)彩色CCD相机采集图像：

对应于三个相位的结构照明光场，彩色CCD相机分别采集得到三幅彩色二维图像I₀(RGB)、I₁₂₀(RGB)和I₂₄₀(RGB)；

3)图像处理：

3.1)将步骤2)中采集的三幅不同相位的彩色二维图像I₀(RGB)、I₁₂₀(RGB)和I₂₄₀(RGB)，按照下面的转换公式(1)从RGB彩色空间转换到HSV彩色空间，得到在HSV彩色空间的三幅不同相位的二维图像：I₀(HSV)、I₁₂₀(HSV)和I₂₄₀(HSV)，其中max＝max{R,G,B},min＝min{R,G,B}；

V＝max

3.2)根据下面公式(2)计算出H、S、V三个通道的宽场图I_wide(i)；根据公式(3)计算出H、S、V三个通道的层析图I_z(i)，其中i＝H,S,V；

3.3)将步骤3.2)中得到的H、S、V三个通道的层析图合成并转换到RGB彩色空间，得到I_z(RGB)；将三个通道的宽场图合成并转换到RGB彩色空间，得到I_wide(RGB)；从HSV彩色空间转换到RGB彩色空间，按照下面的转换公式(4)计算；其中本部分内容是计算R、G、B，和步骤3.3得到Iz、Iwide之间没有关系。

3.4)将步骤3.3)中得到的I_z(RGB)归一化得到I_{z_Norm}(RGB)，并和I_wide(RGB)相乘，得到这一层的彩色二维层析图I_{z_result}(RGB)；

4)根据样品的厚度多次重复步骤2)和3)，得到样品Z方向一系列的彩色二维层析图，最终重构出样品完整的彩色三维图像I_result(RGB)。

上述单色LED光源为非相干单色LED光源。

上述单色LED光源为波长450nm的蓝光LED光源。

本发明的优点为：

1、本发明在HSV彩色空间进行图像处理，复原样品的彩色信息。与传统的RGB彩色空间相比，HSV彩色空间避免了R、G、B三个通道之间的相互串扰，可以更加准确地获得样品的真实彩色信息。

HSV(色调、饱和度、亮度)彩色空间相比RGB(红、绿、蓝)彩色空间更接近于人们的经验和对颜色的感知，它是由A.R.Smith在1978年创建的。

色调H：用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°，品红为300°；

饱和度S：表示颜色的纯净度，为到V轴的距离，取值范围为0.0～1.0；

亮度V：取值范围为0.0(黑色)～1.0(白色)，该轴代表了所有的灰度级。

2、目前的结构照明显微层析算法都会损失图像的动态范围，而动态范围的损失会影响到图像彩色复原的效果。本发明通过将归一化的层析图与宽场图相乘，可以使得到的彩色复原图像的灰度级更加饱满，彩色效果更加逼真。

3、能够直接从彩色CCD得到的图像中复原样品真实的色彩信息，相比于使用单色CCD处理然后进行通道融合，结果更加准确，装置更加简单。

4、本发明既可以使用特定波长的LED来激发荧光，得到样品所标记荧光的颜色，也可以使用白光LED来照明反射式样品，而获得样品的全彩色信息。

附图说明

图1为彩色结构照明显微成像系统光路图；

图2为技术解决方案3的流程图；

图3为植物花粉微粒荧光显微的三维重建图像，所得颜色为蓝光LED光照明下的花粉自发荧光的颜色，其中图3(a)为花粉的彩色三维重建图像，图3(b)为传统结构照明显微拍摄的单色三维重建图像(作为对比)；

图4为不同颜色、不同形状花粉微粒的三维重建图像；其中图4(a)为彩色三维重建图像，图4(b)为传统结构照明显微拍摄的单色三维重建图像(作为对比)；

图5为微电路芯片的三维重建图像；其中图5(a)为三维彩色重建图像，所得颜色为白光LED照明下的芯片本身反射光的颜色，图5(b)为传统结构照明显微拍摄的单色三维重建图像(作为对比)。

具体实施方式

本发明基于结构照明的彩色三维层析显微成像系统，如图1所示，包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10；CCD相机10为彩色CCD相机；照明光源1为非相干单色LED光源或白光LED光源；结构光产生器3为数字微镜器件DMD。

本发明既可以对荧光标记的样品进行成像，也可以对非荧光标记的反射式样品进行成像。

1、植物花粉微粒的彩色三维图像重建

步骤1]使用450nm波长的LED入射分光棱镜并垂直照射DMD芯片，反射光透过分光棱镜入射准直透镜，再通过显微物镜照明花粉样品。

步骤2]花粉微粒样品放于结构照明光场中并置于载物台上。

步骤3]控制DMD加载三幅不同相位(分别为0⁰、120⁰、240⁰)的结构光场，彩色CCD相机分别对应采集三幅二维彩色图像I₀(RGB)、I₁₂₀(RGB)和I₂₄₀(RGB)，并存储在计算机中；再通过上述技术解决方案3进行图像处理，便可以得到这一层的彩色层析图像。图2为技术解决方案3的具体流程图。

步骤4]垂直移动(Z方向)电控位移台并重复步骤3]，得到样品其它层的二维层析图，最终可以得到样品完整的三维彩色图像信息。

图3是本发明装置对植物花粉微粒的彩色三维层析图像，所得彩色信息为花粉自发荧光的颜色。实验中使用20X显微物镜，NA＝0.45，光源为波长450nm的蓝光LED光源，CCD单幅曝光时间0.215秒，每个层切面需要采集3幅子图像。图3(a)是使用本发明系统对花粉样品拍摄251层后的彩色三维重建图像。作为对比，图3(b)是传统结构照明显微系统得到的花粉单色三维重建图像。

不同类型的花粉具有不同的大小和形状，在彩色CCD下可观察到它们会发出不同波长的自发荧光，图4展示了不同颜色和形状的花粉。图4(a)为使用本发明系统获得的彩色三维重建图像。作为对比，图4(b)为传统结构照明显微系统得到的单色三维重建图像。

2、微电路芯片的彩色三维图像重建

步骤1]使用白光LED作为照明光源，替换观察植物花粉用的蓝光LED。

步骤2]将用于荧光观察的长波通分光镜5替换成50:50宽带分束器，用来收集微电路芯片金属表面的反射光。

步骤3]重复实施列中植物花粉微粒彩色三维图像重建的步骤2]-步骤4]。

图5是本发明装置对微电路芯片拍摄25层后的彩色三维层析图像。实验中使用20X显微物镜，NA＝0.45，白光LED光源照明，CCD单幅曝光时间0.027秒，每个切面采集3幅子图像。图5(a)是彩色三维层析图像，所得色彩为芯片表面反射光的颜色。作为对比，图5(b)是传统结构照明显微拍摄的单色三维层析图像。

Claims (1)

1.一种基于结构照明的彩色三维层析显微成像系统，包括照明光源(1)、设置在照明光源光路上的分光棱镜(2)、设置在分光棱镜(2)的反射光路上的结构光产生器(3)、设置在分光棱镜(2)的透射光路上的透镜(4)、设置在透镜光路上的分光镜(5)、设置在分光镜(5)上方光路上的显微物镜(6)和载物台(7)、设置在分光镜(5)下方光路上的反光镜(8)和筒镜(9)、设置在筒镜后方的CCD相机(10)，

其特征在于：

所述CCD相机(10)为彩色CCD相机；

所述照明光源(1)为非相干单色LED光源或白光LED光源；

所述结构光产生器(3)为数字微镜器件DMD；

所述分光镜(5)为长波通分光镜或者50:50宽带分束器；

该系统的成像方法包括以下步骤：

1)产生结构照明光场：

由单色LED或白光LED照明，通过数字微镜器件DMD产生三个空间方向相同、相位分别为0°、120°、240°的结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；

2)彩色CCD相机采集图像：

对应于三个相位的结构照明光场，彩色CCD相机分别采集得到三幅彩色二维图像I₀(RGB)、I₁₂₀(RGB)和I₂₄₀(RGB)；

3)图像处理：

3.1)将步骤2)中采集的三幅不同相位的彩色二维图像I₀(RGB)、I₁₂₀(RGB)和I₂₄₀(RGB)，按照下面的转换公式(1)从RGB彩色空间转换到HSV彩色空间，得到在HSV彩色空间的三幅不同相位的二维图像：I₀(HSV)、I₁₂₀(HSV)和I₂₄₀(HSV)，其中max＝max{R,G,B},min＝min{R,G,B}；

V＝max

3.2)根据下面公式(2)计算出H、S、V三个通道的宽场图I_wide(i)；根据公式(3)计算出H、S、V三个通道的层析图I_z(i)，其中i＝H,S,V；

$I_{wide}\left(i\right)=\frac{1}{3}\[I_0\left(i\right)+I_{120}\left(i\right)+I_{240}\left(i\right)\]---\left(2\right)$

$I_z\left(i\right)=\sqrt{{\[I_0\left(i\right)-I_{120}\left(i\right)\]}^2+{\[I_{120}\left(i\right)-I_{240}\left(i\right)\]}^2+{\[I_{240}\left(i\right)-I_0\left(i\right)\]}^2}---\left(3\right)$

3.3)将步骤3.2)中得到的H、S、V三个通道的层析图合成并转换到RGB彩色空间，得到I_z(RGB)；将三个通道的宽场图合成并转换到RGB彩色空间，得到I_wide(RGB)；从HSV彩色空间转换到RGB彩色空间，按照下面的转换公式(4)计算；其中

3.4)将步骤3.3)中得到的I_z(RGB)归一化得到I_{z_Norm}(RGB)，并和I_wide(RGB)相乘，得到这一层的彩色二维层析图I_{z_result}(RGB)；

4)根据样品的厚度多次重复步骤2)和3)，得到样品Z方向一系列的彩色二维层析图，最终重构出样品完整的彩色三维图像I_result(RGB)。