CN111123496A - 基于希尔伯特变换的结构照明快速三维彩色显微成像方法 - Google Patents

Abstract

本发明涉及一种基于希尔伯特变换的结构照明快速三维彩色显微成像方法，只需在样品的每一个焦平面上采集两幅任意相移差的原始图像便可以重构出全彩色光切片图像，图像采集量减少了1/3，图像重构时间减少了约28％。

Description

基于希尔伯特变换的结构照明快速三维彩色显微成像方法

技术领域

本发明涉及一种结构照明显微系统，可以实现高速彩色三维层析成像，可广泛应用于生物学、医学、材料科学及微电子学等领域的研究。

背景技术

色彩信息是描述物体特征的一个重要物理量，三维物体彩色层析成像技术是获取物体表面形态特征的重要手段，也是真实物体三维数字化的基础。以激光共聚焦扫描显微镜为代表的点扫描显微成像技术具有三维层析成像能力，结合多通道融合技术，可以获得样品表面荧光标记物的色彩信息，进一步提高了成像的对比度和解析度，但是受制于带通滤光片的有限带宽，无法复原样品的真实全彩色信息，目前仅应用于生物医学显微成像领域。条纹投影法和白光干涉法是较为成熟的三维物体表面成像与测量技术，在工业检测、动植物化石复原、医学测量等领域得到了广泛的应用，该方法的优点在于轴向测量精度高，但是系统对外界环境的要求非常苛刻，微小的震动就会对测量结果造成较大的影响。这两种技术结合三维贴图技术(3D mapping)都可以近似得到三维物体的表面颜色信息，但是贴图技术的缺点是图象畸变大而且分辨率不高。受到相位解包裹算法的限制，条纹投影法和白光相移干涉法对于表面有复杂突变结构的物体都不适用。

结构照明显微(Structured Illumination Microscopy，SIM)是一种宽场显微技术，可以实现超分辨成像和三维光切片成像。光切片SIM由牛津大学的Neil等人提出，其基本原理是：宽场显微由于显微物镜有一定的景深，因此CCD(Charge Coupled Device，电荷耦合器件)相机得到的图像实际上是像面信息和非像面信息的叠加。传统的光切片SIM使用高空间频率的正弦结构光场照明样品，使用CCD等面阵相机采集三幅固定相移差的图像并通过RMS(Root Mean Square，均方根)算法重构出一幅去除离焦背景的光切片图像，再通过轴向扫描即可实现三维成像。实验过程中的环境震动往往会带来不确定的相移差，进而造成重构图像质量的大幅下降，另外，大量原始图像的采集进一步限制了SIM三维成像的速度，同时对计算机存储空间和图像处理能力提出了更高的要求。为了减少原始图像的采集量，中科院西安光机所Zhou等人于2015在《Plos One》上发表了一种基于希尔伯特变换的快速SIM三维成像方法，只需采集两幅任意相移差的原始图像便可以重构出一幅光切片图像，不仅减少了原始图像的采集量，图像重构速度也有了大幅提升。尽管如此，SIM技术仍然只能获取单色的三维图像，无法将色彩斑斓的样品真实记录并显示。2015年，中科院西安光机所的Qian等人在《Sci.Rep》提出了基于HSV(Hue(色相)，Saturation(饱和度)，Value(明度)空间的彩色SIM三维成像方法。该方法利用的光学系统如图1所示，包括照明光源1、设置在照明光源光路上的分光棱镜2、设置在分光棱镜2的反射光路上的结构光产生器3、设置在分光棱镜2的透射光路上的透镜4、设置在透镜光路上的分光镜5、设置在分光镜5上方光路上的显微物镜6和载物台7、设置在分光镜5下方光路上的反光镜8和筒镜9、设置在筒镜后方的CCD相机10，CCD相机10为彩色CCD相机；照明光源1为非相干单色LED光源或白光LED光源；结构光产生器3为数字微镜器件DMD；分光镜5为长波通分光镜或者50∶50宽带分束器；

该方法具体为彩色CCD相机采集三幅固定相移差的原始彩色图像，将原始彩色图像转换至HSV空间，并在相应的通道利用RMS算法进行光切片处理，随后将处理完成的结果转换至RGB空间进行显示，详见算法流程如图2所示。虽然该方法克服了传统RGB(Red(红)，Green(绿)，Blue(蓝))空间三通道之间相互串扰的问题，首次利用SIM技术实现了样品的全彩色三维光切片成像，这一方法能够复原样品表面的全彩色信息且不会产生色彩偏差，并成功应用于了微电子科学、动物学、植物学等领域以及昆虫结构色的研究中。然而该方法需要采集三幅固定相移差的原始图像，并且需要在HSV空间和RGB空间进行两次转换，对于需要视场拼接的大尺寸样品而言，图像采集数据量大，图像处理算法繁琐。

SIM三维成像技术发展至今，已经不再单一地追求某单一成像指标的提升，而是如何在不牺牲空间分辨率的前提下，依然能够实现更大的视场，同时能够获得样品更多的物理量。虽然通过结合大视场拼接技术，可以在小时时间量级实现厘米尺寸量级样品的高分辨率全彩色三维成像，但海量数据的采集、存储和处理需要耗费大量时间，对于更大尺寸的样品而言，图像采集和处理所耗费的时间是难以忍受的，这仍然是横亘在实现更快成像速度面前的一道亟需跨越的鸿沟。

发明内容

为了解决现有的针对尺寸级样品的全彩色三维成像方法存在数据采集量大、存储和处理需要耗费大量时间的技术问题，本发明提供一种基于希尔伯特变换的结构照明快速三维彩色显微成像方法，相比于已有的基于HSV彩色空间的彩色成像算法，本发明所提供的成像方法中，图像采集量减少了1/3、图像重构速度提升了约28％、为大尺寸样品的高分辨全彩色三维成像奠定了基础，将进一步扩展SIM技术的应用范围，在古生物学、动物学、材料科学等领域有着广泛的应用前景。

本发明的技术解决方案：

基于希尔伯特变换的结构照明快速三维彩色显微成像方法，其特殊之处在于包括以下步骤：

1)产生结构照明光场：

由单色LED或白光LED照明，通过数字微镜器件DMD产生2个空间方向相同、相位相差π的任意方向的正弦条纹结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；

2)彩色CCD相机采集图像：

对应于两个相位的结构照明光场，彩色CCD相机分别采集样品当前层的两幅彩色二维图像I₀(RGB)、I_π(RGB)；

3)图像处理：

3.1)将步骤2)中采集到的两幅不同相位的彩色二维图像I₀(RGB)和I_π(RGB)，按照公式(1)计算得到去除条纹的彩色宽场图像I_wide(RGB)；

3.2)将步骤2)中采集的两幅不同相位的彩色二维图像I₀(RGB)和I_π(RGB)转换为灰度图像I_0gray(x,y)和I_πgray(x，y)，再利用公式(2)将I_0gray(x,y)和I_πgray(x,y)写为；

其中，I_in表示二维灰度焦面图像，I_out表示离焦背景，m为正弦条纹的调制度，p为条纹的空间频率；

3.3)计算样品当前层的二维灰度焦面图像I_in(x，y)；

3.4)将公式(1)得到的彩色宽场图I_wide(RGB)和当前位置的二维灰度焦面图像I_in(x,y)相乘，即可得到彩色光切片图像I_in(RGB)：

I_in(RGB)＝I_wide(RGB)·I_in(x,y) (8)；

3.5)将样品在轴向以一定层间距移动，然后利用彩色CCD相机在每一层采集两幅彩色二维图像I₀(RGB)、I_π(RGB)；

3.6)按照步骤3.1)-3.4)对每一层进行重构，得到每一层对应的彩色光切片图像I_in(RGB)；

3.7)将所有层的彩色光切片图像I_in(RGB)进行叠加，得到样品的三维彩色图像I_result(RGB)。

进一步的，步骤3.3)具体为：

a)将步骤3.2)得到的两幅灰度图像利用公式(3)相减，得到差值图像ΔI(x,y)：

ΔI(x，y)＝I_{0_gray}(x，y)-I_{π_gray}(x，y)

＝C·I_in(x，y)·sin(2πpx+π) (3)

其中，C＝2msin(π/2)

b)对差值图像ΔI(x，y)二维矩阵中任意一行进行一维操作：

b1)令y＝y₀，代入公式(3)计算得到ΔI(x,y₀)，将ΔI(x，y₀)代入公式(4)做一维希尔伯特变换：

其中y0表示差值图像二维矩阵中的任意一行，HT{}表示希尔伯特变换算符，

表示卷积算符；

b2)对比公式(3)和公式(4)发现，正弦条纹经过希尔伯特变换后产生了π/2的相移，鉴于此，构造一个复数信号I_A(x，y₀)：

I_A(x，y₀)＝ΔI(x，y₀)+i·HT_x{ΔI(x，y₀)} (5)

取复数信号的模值：

|I_A(x，y₀)|＝C·I_in(x，y₀) (6)

c)按照步骤b)的操作方法对差值图像二维矩阵所有行进行一维操作，即获得一幅完整的灰度焦面图像I_in(x，y)：

进一步的，所述步骤1)提到的任意方向为：X方向或Y方向。

本发明所具有有益效果：

相对于传统的RMS解码算法，基于希尔伯特变换的快速层析解码算法具有较为明显的优势：首先，快速层析解码算法需要较少的原始图像即可完成层析图像重构，将时间分辨率在原有基础上提高了33％，其次，快速层析解码算法无需以特定的相移差采集原始图像，避免了传统RMS解码算法在子图像加载条纹相位差不匹配时带来的残余条纹问题，具有更广阔的适用范围，降低了对光学显微成像系统的要求。表1对比了两种算法的具体差异。

表1两种SIM光切片算法的比较

本发明提出了一种基于希尔伯特变换的结构照明快速彩色三维显微成像方法，与已有的HSV-RMS算法相比，图像采集量减少了1/3，图像处理速度提升了约28％。通过实验结果表明，该方法在图像对比度、色彩还原度和图像分辨率方面与HSV-RMS算法并无明显差异。该方法对大尺寸样品的高分辨率三维彩色成像具有重要的意义，将进一步扩展SIM的应用范围。

附图说明

图1结构照明彩色光切片实验光路及系统图；

图2为传统HSV-RMS算法流程图；

图3为本发明HT-COS算法流程图；

图4为HSV-RMS算法和HT-COS算法重构的花粉彩色三维光切片图像效果对比；

图5为HT-COS算法重构的一种星砂的三维彩色SIM成像结果图。

具体实施方式

基于希尔伯特变换的SIM三维成像原理：

传统的RMS层析解码算法需要通过改变结构光场的相位分布获取至少三幅子图像，相邻子图像之间的加载条纹相位差需严格匹配至2π/3，继而通过公式(9)进行层析图像S(r)的解码重构：

希尔伯特变换是信号分析处理领域的一种常用方法，以一维信号为例，希尔伯特变换实质上是信号x(t)与

的卷积运算，即：

符号∧表示希尔伯特变换算符，以一维正弦信号x(t)＝sin(t)为例，对其取希尔伯特变换并进行傅里叶变换，可得：

其中ω为频谱空间的坐标，sgn(ω)为signum函数，FFT为快速傅里叶变换算符，由此可得，一维正弦信号x(t)＝sin(t)的希尔伯特变换为：

显然，正弦信号和其希尔伯特变换结果的平方和为1，恰好可以消除正弦条纹。

两幅相移差为

的正弦结构照明图像可表示为：

其中，D_in(x，y)表示焦面信号，D_out(x，y)表示离焦背景，p为正弦条纹的空间频率，m为条纹的调制度，将两幅图像相减，首先消除了离焦背景的影响，并令y＝y₀，则该位置的一维信号可以表示为：

对公式(14)进行希尔伯特变换，然后取其频谱，可得：

其中

由公式(15)可得：

对比公式(14)与公式(16)可知，经过希尔伯特变换之后，正弦结构照明图像产生了π/2的相移，二者的平方和恰好可以去除焦平面上的正弦结构图样。以上分析为y＝y₀处的一维信号分析，我们在y方向上所有位置全部进行上述运算，则可实现整幅二维图像的图像重构处理，进而获得焦平面上去除正弦结构条纹的光切片图像，即：

基于希尔伯特变换的快速层析算法仅需两幅任意相移差的子图像即可完成图像的解码重构，实验中以某一个成像的平面为例，其具体过程简述为：先将在该成像平面获取的不同初相位结构光照明的子图像进行相减，获得仅含焦面编码信息的新图像；再将新图像沿着与编码条纹空间频率方向进行希尔伯特变换并与子图像差值取平方和，即可获得有效解码后的层析图像，以横条纹(即y方向强度为正弦分布)为例，公式(17)可写作：

其中，I₀和

为采集到的两幅相移差为

的结构照明图像，HT_x表示在x方向进行希尔伯特变换，I_Z为该焦平面上的去除条纹的光切片图像。

尽管基于希尔伯特变换的快速SIM三维光切片算法对采集的两幅原始结构照明图像的相移差没有要求，任意相移差的原始图像均可重建出光切片图像，然而不同相移差获得光切片图像的信噪比是存在差异的，由公式(14)-(17)可知，当相移差为π时，光切片图像的信噪比将达到最优，因此，本方法所涉及实验均将采集两幅相移差为π的原始图像。

如图3所示本发明的成像流程，从CMOS探测器采集得到两幅相移差为π的原始彩色图像，首先利用公式(19)得到去除条纹的均匀照明的宽场图像I_wide(RGB)；将原始图像转换为灰度图像，并利用公式(18)计算得到光切片图像I_z(gray)。此时的光切片图像显然是灰度图，而去除条纹的宽场图像则携带有样品的全部色彩信息，二者相乘的结果便是：宽场图像的色彩将赋予光切片图像，而光切片图像则会将宽场图像的离焦背景予以去除，这一操作将快速而简易地获得样品的彩色光切片图像，(a)所示。在样品的轴向以合适的层间距进行扫描，并对每一层的重构结果进行叠加，将得到样品的三维彩色光切片图像。

本发明所有实验均在自行设计搭建的基于DMD(Digital Micro-mirro Device，数字微镜器件)和LED(Light Emission Diode，发光二极管)照明的SIM系统上进行，如图1所示。高亮度白光LED或特定波长LED发射的光束经过特殊设计的全内反射(Total InternalReflection，TIR)棱镜后照射DMD芯片，经过DMD调制后的正弦条纹结构光场再经过TIR棱镜之后经由投影系统和物镜透射至样品表面，样品的反射光或激发荧光经过50/50滤光片或二向色滤光片后被彩色相机收集。样品被固定在三维电动位移台上，用来实现轴向扫描和X-Y方向的视场拼接。硬件同步控制、图像采集和处理软件均为基于C++自行设计开发。

实施例1：

为了验证HT-COS方法的准确性，选取具有自发荧光(405nm激发波长)的花粉样品进行实验。使用波长为405nm的紫光LED光源425nm长通二向色镜替换50∶50分束镜。在样品的每一个焦平面以20ms曝光时间分别采集相移差为2π/3的三幅原始结构照明图像和相移差为π的二幅原始结构照明图像，并分别利用HSV-RMS算法和本发明的HT-COS算法进行处理，实验的结果如图4所示。图4(a)为HSV-RMS算法处理后的三维彩色光切片图像，图4(b)为HT-COS算法处理后的结果。显然两种算法的图像复原质量并无本质差异，色彩还原度也基本一致。但HT-COS算法所复原的花粉表面尖刺根部“爪”状目标更为清晰，而HSV-RMS算法对花粉表面“爪”状目标特征的复原效果则略差，这是由于RMS算法相比于希尔伯特变换，在图像处理过程中会损失更多的信息，进而影响到图像处理的效果，沿花粉表面“爪”状目标划线并测量强度分布，结果如图4(e)所示。其中，两条曲线采用相同的归一化值。HT-COS算法的强度曲线中存在三个明显的尖峰，分别对应于花粉表面三个“爪”状目标的位置，而HSV-RMS算法的强度曲线并无明显的三个尖峰，该曲线上的强度变化更多地是源自残余条纹的强度变化。

HSV-RMS算法对三幅原始图像的相移差有着严格的要求，实验中的振动会造成相移差的变化，进而导致重构的光切片图像中产生残余条纹，对三维重建产生影响。图4(c)和图4(d)对比了HSV-RMS算法和HT-COS算法重构结果中的残余条纹，图4(c)为图4(a)中紫色方框内的放大图像，可以看出，图4(d)中存在明显的残余条纹，而图4(d)为图4(b)中绿色方框内的放大图像，其中几乎没有残余条纹，进一步证实了HT-COS算法对条纹的相移差并不敏感，可获得高质量的彩色光切片图像的结论。

实施例2：

对海洋中的原始动物星砂进行了成像，并分别采用基于HSV-RMS算法和HT-COS算法对原始图像进行了处理，结果如图5所示。图5(a)为该星砂样品的最大值投影图像，使用10X，NA0.45物镜拍摄，共拼接16个视场；图5(b-c)为(a)中红色方框所示视场使用10X，NA0.45物镜拍摄，共拍摄344层，层间距为500nm，图像大小为2048x2048像素；图5(b)为样品第64层的结构照明原始图像；图5(c)为样品第64层去除条纹的彩色宽场图像；图5(d)为样品该视场全部344层基于HSV-RMS算法的彩色SIM光切片算法重构的最大值投影结果，共采集原始图像1032幅；图5(e)为该视场全部344层基于HT-COS算法重构的最大值投影结果，共采集原始图像688幅。

对比图5(d)和图5(e)可以看出，HT-COS算法在图像对比度、色彩还原度以及图像分辨率方面与HSV-RMS算法相比，并无明显差异，实验证明了该方法的可行性。

根据统计，在星砂的成像实验中，HSV-RMS算法的算法所需原始图像的图像采集时间约为578s，即((25ms曝光时间+0.031ms DMD刷新时间)×3幅相移图像×141层+30ms位移台稳定时间×140次轴向移动)×16视场+30ms位移台稳定时间×15次横向移动)，而HT-COS算法的图像采集时间为441s，提升了约23.7％。而两种方法的图像处理时间分别为742s和580s，HT-COS算法具有更快的图像处理速度，提升约28％(Windows 7 SP1，16GB RAM，Intelcore i5-3470@3.2GHz，Matlab R2017a)。表2对比了两种方法的图像采集时间和图像处理时间，直观可见，这一提升是十分可观的。因此HT-COS算法更加适用于大尺寸样品的高分辨率三维成像，将大幅减小实验所需时间。

表2两种彩色光切片算法的用时比较

Claims (3)

1.基于希尔伯特变换的结构照明快速三维彩色显微成像方法，其特征在于包括以下步骤：

1)产生结构照明光场：

由单色LED或白光LED照明，通过数字微镜器件DMD产生2个空间方向相同、相位相差π的任意方向的正弦条纹结构照明光场，结构照明光场经过显微物镜照射载物台上的样品；

2)彩色CCD相机采集图像：

对应于两个相位的结构照明光场，彩色CCD相机分别采集样品当前层的两幅彩色二维图像I₀(RGB)、I_π(RGB)；

3)图像处理：

3.1)将步骤2)中采集到的两幅不同相位的彩色二维图像I₀(RGB)和I_π(RGB)，按照公式(1)计算得到去除条纹的彩色宽场图像I_wide(RGB)；

3.2)将步骤2)中采集的两幅不同相位的彩色二维图像I₀(RGB)和I_π(RGB)转换为灰度图像I_0gray(x,y)和I_πgray(x,y)，再利用公式(2)将I_0gray(x,y)和I_πgray(x,y)写为；

其中，I_in表示二维灰度焦面图像，I_out表示离焦背景，m为正弦条纹的调制度，p为条纹的空间频率；

3.3)计算样品当前层的二维灰度焦面图像I_in(M，y)；

3.4)将公式(1)得到的彩色宽场图I_wide(RGB)和当前位置的二维灰度焦面图像I_in(M，y)相乘，即可得到彩色光切片图像I_in(RGB)：

I_in(RGB)＝I_wide(RGB)·I_in(M，y) (8)；

3.5)将样品在轴向以一定层间距移动，然后利用彩色CCD相机在每一层采集两幅彩色二维图像I₀(RGB)、I_π(RGB)；

3.6)按照步骤3.1)-3.4)对每一层进行重构，得到每一层对应的彩色光切片图像I_in(RGB)；

3.7)将所有层的彩色光切片图像I_in(RGB)进行叠加，得到样品的三维彩色图像I_result(RGB)。

2.根据权利要求1所述的基于希尔伯特变换的结构照明快速三维彩色显微成像方法，其特征在于：

步骤3.3)具体为：

a)将步骤3.2)得到的两幅灰度图像利用公式(3)相减，得到差值图像ΔI(x,y)：

ΔI(x,y)＝I_{0_gray}(x,y)-I_{π_gray}(x,y)

＝C·I_in(x,y)·sin(2πpx+π) (3)

其中，C＝2msin(π/2)

b)对差值图像ΔI(x,y)二维矩阵中任意一行进行一维操作：

b1)令y＝y₀，代入公式(3)计算得到ΔI(x，y₀)，将ΔI(x，y₀)代入公式(4)做一维希尔伯特变换：

其中y₀表示差值图像二维矩阵中的任意一行，HT{}表示希尔伯特变换算符，

表示卷积算符；

b2)对比公式(3)和公式(4)发现，正弦条纹经过希尔伯特变换后产生了π/2的相移，鉴于此，构造一个复数信号I_A(M，y₀)：

I_A(M，y₀)＝ΔI(x，y₀)+i·HT_M{ΔI(x，y₀)} (5)

取复数信号的模值：

|I_A(x，y₀)|＝C·I_in(M，y₀) (6)

c)按照步骤b)的操作方法对差值图像二维矩阵所有行进行一维操作，即获得一幅完整的灰度焦面图像I_in(M，y)：

3.根据权利要求1或2所述的基于希尔伯特变换的结构照明快速三维彩色显微成像方法，其特征在于：所述步骤1)提到的任意方向为：X方向或Y方向。

Images