CN118134974A - 一种基于条纹信息的结构光照明显微镜图像配准方法 - Google Patents

一种基于条纹信息的结构光照明显微镜图像配准方法 Download PDF

Info

Publication number
CN118134974A
CN118134974A CN202410260733.2A CN202410260733A CN118134974A CN 118134974 A CN118134974 A CN 118134974A CN 202410260733 A CN202410260733 A CN 202410260733A CN 118134974 A CN118134974 A CN 118134974A
Authority
CN
China
Prior art keywords
registration
pixel
structured light
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410260733.2A
Other languages
English (en)
Inventor
肖斌
苟文
范骏超
毕秀丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202410260733.2A priority Critical patent/CN118134974A/zh
Publication of CN118134974A publication Critical patent/CN118134974A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及荧光显微成像技术,具体涉及一种基于条纹信息的结构光照明显微镜图像配准方法,包括通过三维结构光照明显微镜系统获取样品在不同区域的样本图像,并获取不同区域的配准图像;选一个区域作为参考区域,并采用传统配准方法得到不同区域的初次配准矩阵;将对应的样本图像和初次配准矩阵进行粗配准,得到每一个区域的亚像素误差粗配准图像;计算每一个区域三个方向的二阶初相,然后求取每一个区域三个方向的初相差;将初相差转换为像素移动量,将每一个区域三个方向的像素移动量合并为一个亚像素XY像素移动量;本发明可以实现不同区域三维SIM图像二阶零初相差,以减少后续重建任务中的因配准错误导致的伪影问题。

Description

一种基于条纹信息的结构光照明显微镜图像配准方法
技术领域
本发明涉及荧光显微成像技术,具体涉及一种基于条纹信息的结构光照明显微镜图像配准方法。
背景技术
在超分辨荧光显微成像领域,通常将多帧采集图像重构为单帧超分辨图像,当成像通道存在光路差异时,采集图像的通道间存在着一定的位移,如,旋转、平移和缩放等,所以在进行单帧超分辨图像重构之前,需要先对多帧采集图像进行配准。
传统图像配准可分为全局配准和局部配准两类。全局配准包括对经刚性、仿射和投影等变换后的图像进行配准,这些变换通常可以使用不同自由度的矩阵来表示,目标图像的所有空间坐标均使用该矩阵来变换;在局部配准里,目标图像的不同区域空间坐标会使用不同的空间变换,通常会建模为一个与目标图像大小相同的变形场。近年来,深度学习配准方法层出不穷,Balakrishnan等人提出VoxelMorph,作为一种可变形医学图像配准的学习框架,对三维MR脑部扫描图像对通过无监督方法实现了可变形配准,还可以使用分割图作为辅助损失,达到了当时最好的性能。随后Zhu等人对该框架进行了改进,将卷积神经网络替换为三维Swin-Unet,并估计正向和逆向变换,保证了估计的空间变换的微分同胚特性,从而提高了配准的精度和合理性。FSDiffReg通过扩散模型的生成能力进行可变性图像配准,通过多尺度语义特征来引导变形场的生成,并通过扩散分数引导网络优化并维持变行拓扑场。在3D医学心脏图像数据集上的实验验证,这些方法在细化变形场和保持拓扑方面显示出显著效果。Fast4DReg使用2维互相关对3D显微镜成像数据的横向和轴向偏移进行估计,同时将Fast4DReg算法部署在ImageJ上,可以快速有效的矫正3D图像漂移数据。
但对于结构光照明显微(SIM)图像配准,难点在于一方面要配准的图像之间信息不同,另一方面配准后的照片需要维持标准余弦照明样式。若配准后不能保持余弦照明样式,会导致SIM重建过程中参数估计误差和严重的重建伪影。因此,传统通用配准方法很难直接用于SIM超分辨成像中的配准,如果采用有监督神经网络进行配准,需要大量的数据,监督方法需要标记真实的变形场,这通常很耗时;如果采用无监督的训练通过相似性度量来优化神经网络,通常会导致变形场的不确定性高以及一些重叠区域,直接用于超分辨成像时配准精度不够。
发明内容
为解决上述问题,本发明提供了一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,包括以下步骤:
S1.通过三维结构光照明显微镜系统获取样品在不同区域的样本图像,并获取不同区域的配准图像;
S2.基于配准图像选取具有最丰富样本数据信号的区域作为参考区域,采用传统配准方法处理参考区域的配准图像得到不同区域的初次配准矩阵;
S3.将每一个区域所对应的样本图像和初次配准矩阵进行粗配准,得到每一个区域的亚像素误差粗配准图像;
S4.根据亚像素误差粗配准图像计算每一个区域三个方向的二阶初相,然后求取每一个区域三个方向的初相差;
S5.将所有初相差分别转换为像素移动量,将每一个区域的三个方向的像素移动量合并为一个亚像素XY像素移动量;
S6.通过亚像素XY像素移动量修正初次配准矩阵得到精配准矩阵,不同区域的样本图像根据精配准矩阵得到修正图像。
进一步的,将生物荧光小球放置在位移台上,使用三维结构光照明显微镜系统,产生所需结构光并照射生物荧光小球,然后捕获成像得到原始配准图像,再将原始配准图像划分为不同区域的配准图像;其中采用结构光照射生物荧光小球时,使位移台轴向移动。
进一步的,任一个区域的亚像素XY像素移动量的计算公式如下:
其中,Δx表示亚像素XY像素移动量的横向移动量,Δy表示亚像素XY像素移动量的纵向移动量,Δx1、Δx2、Δx3分别表示第一个方向、第二个方向、第三个方向的像素移动量的横向移动量,Δy1、Δy2、Δy3分别表示第一个方向、第二个方向、第三个方向的像素移动量的纵向移动量。
进一步的,任一个区域的像素移动量的计算公式如下:
其中,Δxi表示第i=1,2,3个方向的像素移动量的横向移动量,Δyi表示第i个方向的像素移动量的纵向移动量,表示参考区域与任一区域间第i个方向的初相差,/>表示第i个方向结构光的周期占比,/>表示第i个方向结构光的周期像素长度,cos(αi)表示第i个方向结构光与X坐标轴夹角,sin(αi)表示第i个方向结构光与Y坐标轴夹角。
进一步的,步骤S2获取初次配准矩阵的过程包括:
S21.选取除参考区域以外的一个其余区域的配准图像,采用SIFT配准方法处理该配准图像与参考区域的配准图像,得到一个对应于该其余区域的初次配准矩阵;
S22.重复步骤S21得到每一个其余区域的初次配准矩阵,然后将参考区域的配准图像与自身进行SIFT配准,得到参考区域所对应的初次配准矩阵。
进一步的,步骤S4求取每一个区域三个方向的初相差包括:
S41.选取除参考区域以外的一个其余区域,将该其余区域三个方向的二阶初相与参考区域三个方向的二阶初相对应相减,得到该其余区域三个方向的初相差;
S42.重复步骤S41得到每一个其余区域三个方向的初相差,然后记参考区域三个方向的初相差为0。
进一步的,基于XY直角坐标系,步骤S4计算每一个区域的亚像素误差粗配准图像在距离X轴正半轴0度、60度和120度的位置方向的二阶初相。
进一步的,计算任一区域任一方向的二阶初相包括:
对该区域的亚像素误差粗配准图像在该方向进行频谱分离,得到0阶频谱分量和2阶频谱分量;
获取0阶频谱分量所对应的原始光学传递函数,再通过波矢量计算获取2阶频谱分量所对应的移动光学传递函数;将0阶频谱分量与移动光学传递函数相乘,得到变形0阶频谱分量;将2阶频谱分量与原点光学传递函数相乘,得到变形2阶频谱分量;
将变形2阶频谱分量与变形0阶频谱分量相除,得到调制振幅,取调制振幅中的相位作为二阶初相。
本发明的有益效果:
基于条纹信息的结构光照明显微镜图像配准方法相比传统方法利用了3DSIM图像中余弦结构光的初相信息,通过计算2阶初相差实现更精确的配准,可以实现不同区域SIM图像零初相差,以减少后续重建任务中的因配准错误导致的伪影问题。
附图说明
图1为本发明方法流程图;
图2为本发明方法流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种基于条纹信息的结构光照明显微镜图像配准方法,该方法采取先粗配准再精配准的两次配准策略,要求粗配准误差控制在单位像素内,再精配准实现零初相差。本配准方法适用于结构光照明图像,例如三维结构光照明显微镜中,对不同深度的原始数据进行配准。因为有些光路差异或者位移台抖动发生偏差,需要良好的对齐整个三维数据,才能进行后续重建步骤。
具体方案如图1、图2所示,包括以下步骤:
S1.通过三维结构光照明显微镜系统获取样品在不同区域的样本图像,并获取不同区域的配准图像。
具体地,三维结构光照明显微镜系统包括已知的能够用于实现结构光照明超分辨显微成像所必须的光学器件和成像器件,以使得经由三维结构光照明显微镜系统,能够产生所需结构光(包括但不限于期望的结构光照明图案、期望的图案或条纹方向、期望的相位等)并照射样本,以导致在生物样本上激发出荧光,进而所述荧光被捕获为结构光照明原始荧光图像;成像后,在相机上有8个区域分别记录这个样本的不同地方,根据相机的8个区域将结构光照明原始荧光图像划分为8个区域的样本图像。
具体地,粗配准主要是采用传统配准方式将不同区域的样本图像进行粗略配准,但考虑到不同区域的样本图像所拥有的图像信息不同,直接使用传统配准方法可能失效,所以还需要一组每个区域信息尽可能相同的配准数据辅助实现粗配准。为此本发明额外拍摄了一组配准图像。同样使用三维结构光照明显微镜系统,产生所需结构光并照射生物荧光小球(beads,一些点状的生物结构),然后捕获成像得到原始配准图像,然后根据相机的8个区域将原始配准图像划分为8个区域的配准图像。与样本图像的获取过程相比,获取原始配准图像时还需在轴向上移动位移台,使用位移台让小球轴向移动起来,记录轴向信息,使得每个区域都能拍摄完整的三维生物荧光小球,然后每个区域在轴向上投影,投影后的每个区域都有相同图像信息。
S2.基于配准图像选取具有最丰富样本数据信号的区域作为参考区域,采用传统配准方法处理参考区域的配准图像得到不同区域的初次配准矩阵。
具体地,可采用SIFT(Scale-invariant feature transform)配准方法处理参考区域的配准图像得到不同区域的初次配准矩阵。
S3.将每一个区域所对应的样本图像和初次配准矩阵进行粗配准,得到每一个区域的亚像素误差粗配准图像。
S4.根据结构光照明显微技术中的参数估计方法和亚像素误差粗配准图像,计算每一个区域三个方向的二阶初相,然后求取每一个区域三个方向的初相差。
具体地,所述三个方向是指在XY直角坐标系中,距离X轴正半轴0度、60度和120度的位置方向。
具体地,三维结构光照明显微镜的成像过程可表示为:
其中,D为相机接收到的结构光照明原始荧光图像,g为被激发的荧光基团的空间分布,I为照明光,h为成像系统的点扩散函数,r为空间坐标。在匀场照明中,I(r)为常数1,在三维结构光照明显微镜中,照明光I(r)经空间光调制器(Spatial Light Modulator,SLM)后形成0级、±1级和±2级的衍射光。此时照明光不再是均匀照明场,而是一个具有方向相位的余弦函数结构的照明光。
拍出来的结构光照明原始荧光图像,在变换域经过频谱分离后,可提取0阶频谱分量、1阶频谱分量和2阶频谱分量,其中0阶和2阶频谱分量表达式如下:
CK0(kxy,kz)=[c0O(kxy,kz)S(kxy,kz)]
其中,CK0为0阶频谱分量,CK2为2阶频谱分量,(kxy,kz)为变换域空间坐标,pxy为正向成像时的波矢量(频谱移动量),p′xy为重建中估计出来的波矢量,O为光学传递函数(相当于一个低通滤波,只有低频信号可以通过),S为荧光图像频域信号,c0、c2为结构光对0阶频谱和2阶频谱的调制深度,为2阶频谱相对0阶频谱的振幅,/>为2阶频谱相对0阶频谱的初相。
要想计算二阶初相,就是计算可通过将两者变形后进行相除,再复数线性回归得到。首先将CK0乘上移动了2倍p′xy的光学传递函数得到变形0阶频谱分量CK’0,同时CK2乘以原点的光学传递函数得到变形2阶频谱分量CK’2,过程如下:
CK′0(p′xy,kz)=CK0(kxy,kz)O(kxy+2′pxy,kz)
将CK’2与CK’0两者相除,当p′xy与pxy估计较准确时,其他项都消去,得到调制振幅最后取相位可得到2阶初相/>
通过计算光的初相差,来修正初次配准矩阵为精配准矩阵,应用在样本数据上得到精配准的样品可实现零初相差的配准误差,降低了后续SIM重建过程中因初相差导致的伪影问题。
S5.将所有初相差分别转换为像素移动量,将每一个区域的三个方向的像素移动量合并为一个亚像素XY像素移动量。
具体地,每个区域的3D SIM在相同方向的二阶初相相同,本发明根据此性质实现精配准。主要首先估计出每个区域的样本图像在三个方向的二阶初相,还是以步骤S2所选取的区域作为参考区域,然后分别计算参考区域的粗配准图像与其余区域的粗配准图像在三个方向的二阶初相之差(后续简称为初相差)。理想情况下两个区域的粗配准图像在三个方向上的初相差应该为零;不为零则表示两者之间存在位移量,故本发明将初相差转换为像素移动量,最终得到XY像素移动量,即可得到更精确的配准结果,使得每个区域初相差为0。
具体地,任一个区域的像素移动量的计算公式如下:
其中,Δxi表示第i=1,2,3个方向的像素移动量的横向移动量,Δyi表示第i个方向的像素移动量的纵向移动量,表示参考区域与任一区域间第i个方向的初相差,/>表示第i个方向结构光的周期占比,/>表示第i个方向结构光的周期像素长度,cos(αi)表示第i个方向结构光与X坐标轴夹角,sin(αi)表示第i个方向结构光与Y坐标轴夹角。
将该区域三个方向的像素移动量合并为XY像素移动量的计算公式如下:
其中,Δx表示XY像素移动量的横向移动量,Δy表示任XY像素移动量的纵向移动量,Δx1、Δx2、Δx3分别表示第一个方向、第二个方向、第三个方向的像素移动量的横向移动量,Δy1、Δy2、Δy3分别表示第一个方向、第二个方向、第三个方向的像素移动量的纵向移动量。
上述合并公式中的系数的推导过程如下:
假设,目标区域相比参考区域在XY坐标系上移动Δx、Δy;结构光三个方向与坐标系正半轴X的夹角分别为α1、α2、α3,则Δx在三个方向的移动分量为Δxcos(α1)、Δxcos(α2)、Δxcos(α3),又因为结构光三方向之间为等间距的所以/>故:
Δx1=Δx·cos21)
S6.通过亚像素XY像素移动量修正初次配准矩阵得到精配准矩阵,不同区域的样本图像根据精配准矩阵得到修正图像。
在本发明中,除非另有明确的规定和限定,术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,包括以下步骤:
S1.通过三维结构光照明显微镜系统获取样品在不同区域的样本图像,并获取不同区域的配准图像;
S2.基于配准图像选取具有最丰富样本数据信号的区域作为参考区域,采用传统配准方法处理参考区域的配准图像得到不同区域的初次配准矩阵;
S3.将每一个区域所对应的样本图像和初次配准矩阵进行粗配准,得到每一个区域的亚像素误差粗配准图像;
S4.根据亚像素误差粗配准图像计算每一个区域三个方向的二阶初相,求取每一个区域三个方向的初相差;
S5.将所有初相差分别转换为像素移动量,将每一个区域的三个方向的像素移动量合并为一个亚像素XY像素移动量;
S6.通过亚像素XY像素移动量修正初次配准矩阵得到精配准矩阵,不同区域的样本图像根据精配准矩阵得到修正图像。
2.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,将生物荧光小球放置在位移台上,使用三维结构光照明显微镜系统,产生所需结构光并照射生物荧光小球,然后捕获成像得到原始配准图像,再将原始配准图像划分为不同区域的配准图像;其中采用结构光照射生物荧光小球时,使位移台轴向移动。
3.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,任一个区域的亚像素XY像素移动量的计算公式如下:
其中,Δx表示亚像素XY像素移动量的横向移动量,Δy表示亚像素XY像素移动量的纵向移动量,Δx1、Δx2、Δx3分别表示第一个方向、第二个方向、第三个方向的像素移动量的横向移动量,Δy1、Δy2、Δy3分别表示第一个方向、第二个方向、第三个方向的像素移动量的纵向移动量。
4.根据权利要求3所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,任一个区域的像素移动量的计算公式如下:
其中,Δxi表示第i=1,2,3个方向的像素移动量的横向移动量,Δyi表示第i个方向的像素移动量的纵向移动量,表示参考区域与任一区域间第i个方向的初相差,/>表示第i个方向结构光的周期占比,/>表示第i个方向结构光的周期像素长度,cos(αi)表示第i个方向结构光与X坐标轴夹角,sin(αi)表示第i个方向结构光与Y坐标轴夹角。
5.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,步骤S2获取初次配准矩阵的过程包括:
S21.选取除参考区域以外的一个其余区域的配准图像,采用SIFT配准方法处理该配准图像与参考区域的配准图像,得到一个对应于该其余区域的初次配准矩阵;
S22.重复步骤S21得到每一个其余区域的初次配准矩阵,然后将参考区域的配准图像与自身进行SIFT配准,得到参考区域所对应的初次配准矩阵。
6.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,步骤S4求取每一个区域三个方向的初相差包括:
S41.选取除参考区域以外的一个其余区域,将该其余区域三个方向的二阶初相与参考区域三个方向的二阶初相对应相减,得到该其余区域三个方向的初相差;
S42.重复步骤S41得到每一个其余区域三个方向的初相差,然后记参考区域三个方向的初相差为0。
7.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,基于XY直角坐标系,步骤S4计算每一个区域的亚像素误差粗配准图像在距离X轴正半轴0度、60度和120度的位置方向的二阶初相。
8.根据权利要求1所述的一种基于条纹信息的结构光照明显微镜图像配准方法,其特征在于,计算任一区域任一方向的二阶初相包括:
对该区域的亚像素误差粗配准图像在该方向进行频谱分离,得到0阶频谱分量和2阶频谱分量;
获取0阶频谱分量所对应的原始光学传递函数,再通过波矢量计算获取2阶频谱分量所对应的移动光学传递函数;将0阶频谱分量与移动光学传递函数相乘,得到变形0阶频谱分量;将2阶频谱分量与原点光学传递函数相乘,得到变形2阶频谱分量;
将变形2阶频谱分量与变形0阶频谱分量相除,得到调制振幅,取调制振幅中的相位作为二阶初相。
CN202410260733.2A 2024-03-07 2024-03-07 一种基于条纹信息的结构光照明显微镜图像配准方法 Pending CN118134974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410260733.2A CN118134974A (zh) 2024-03-07 2024-03-07 一种基于条纹信息的结构光照明显微镜图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410260733.2A CN118134974A (zh) 2024-03-07 2024-03-07 一种基于条纹信息的结构光照明显微镜图像配准方法

Publications (1)

Publication Number Publication Date
CN118134974A true CN118134974A (zh) 2024-06-04

Family

ID=91240122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410260733.2A Pending CN118134974A (zh) 2024-03-07 2024-03-07 一种基于条纹信息的结构光照明显微镜图像配准方法

Country Status (1)

Country Link
CN (1) CN118134974A (zh)

Similar Documents

Publication Publication Date Title
Foroosh et al. Extension of phase correlation to subpixel registration
CN108271410B (zh) 成像系统以及使用所述成像系统的方法
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
CN106991650B (zh) 一种图像去模糊的方法和装置
CN106204440A (zh) 一种多帧超分辨图像重建方法及系统
Tasdizen et al. Automatic mosaicking and volume assembly for high-throughput serial-section transmission electron microscopy
Bishop et al. Plenoptic depth estimation from multiple aliased views
Wetzel et al. Registering large volume serial-section electron microscopy image sets for neural circuit reconstruction using FFT signal whitening
US11504855B2 (en) System, method and marker for the determination of the position of a movable object in space
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
Saalfeld Computational methods for stitching, alignment, and artifact correction of serial section data
CN112700439A (zh) 一种基于神经网络的oct人眼图像采集配准方法及系统
CN118134974A (zh) 一种基于条纹信息的结构光照明显微镜图像配准方法
CN116797703A (zh) 一种基于图像的混凝土裂缝区域应变分布处理方法
CN108961378B (zh) 一种多目点云三维重建方法、装置及其设备
Altingövde et al. 3D reconstruction of curvilinear structures with stereo matching deep convolutional neural networks
CN107588741B (zh) 一种基于莫尔条纹的相机深度变化的测量方法及系统
Badra et al. Rotation and zooming in image mosaicing
Pizarro et al. Towards dense motion estimation in light and electron microscopy
CN114565720A (zh) 一种基于线结构光旋转扫描的主动式三维重建系统及方法
CN113554555A (zh) 相位畸变补偿方法、装置、计算机设备和存储介质
Koljonen et al. Searching strain field parameters by genetic algorithms
US20230259070A1 (en) Systems and Methods for Reconstruction of Digital Holograms
Zhang et al. Guided feature matching for multi-epoch historical image blocks pose estimation
Tian et al. Research on 3D surface micro topography reconstruction and mosaic from multifocus microscopic image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination