CN108520507A - 一种改进去卷积效率的多视角光片显微镜图像融合方法 - Google Patents

Abstract

本发明公开了一种改进去卷积效率的多视角光片显微镜图像融合方法，该方法通过引入虚拟视角的概念和相关的卷积代数近似来帮助多视角光片荧光显微镜图像融合，通过计算相应的虚拟视角并将其加入到传统图像融合去卷积算法中，使每次去卷积迭代过程包含更多信息，并通过卷积简化，不增加每次迭代的计算量，在每次迭代计算时间几乎不变的情况下，减少所需的去卷积迭代次数。故本发明有效利用多视角光片荧光显微镜中每个视角的相互信息，改善了计算机在进行多视角光片荧光显微镜图像融合过程中计算时间长、计算代价大的问题。

Description

一种改进去卷积效率的多视角光片显微镜图像融合方法

技术领域

本发明属于荧光显微成像技术领域，具体涉及一种改进去卷积效率的多视角光片显微镜图像融合方法。

背景技术

光片荧光显微镜(Light-sheet fluorescence microscopy，LSFM)是在生物领域中强有力的成像技术，它的应用范围从单细胞成像延伸至大组织成像。光片荧光显微镜包含了宽场显微镜和光学切割显微镜的优点，具有快速三维成像、高信噪比、低光毒性、低光漂白等优点。光片荧光显微镜主要由两支光路组成：一支用于产生很薄的一层光片，另一支用来进行数据采集。光片荧光显微镜通过生成光片，对荧光标记的生物体进行荧光激发，每次只对光片激发范围内的数据进行采集，通过移动光片，使整个生物样本均被光片遍历，最终将每次得到的二维切片数据进行堆叠，得到三维的体积数据；通过控制光片的厚薄，光片荧光显微镜可以得到相对好的轴向分辨率。然而，由于每次数据采集过程中只有部分荧光被采集，导致光片荧光显微镜得到的数据的横向分辨率总是优于轴向分辨率，导致了分辨率的各向异性。为了缓解这种分辨率各向异性，通常采集多个视角的图像，最后通过图像融合算法，来恢复得到相对较好的分辨率同性。

传统的多视角光片荧光显微镜图像融合算法是基于露西-理查德森去卷积的联合去卷积算法，主要有加法联合去卷积(每个视角去卷积结果的算术平均)、乘法联合去卷积(每个视角去卷积结果的几何平均)、交替联合去卷积(利用某一视角的去卷积估计去计算另一视角的去卷积估计并进行交替)，通过这些算法可以得到相对好的分辨率各向同性结果。但这些方法一般需要很多次迭代才能得到想要的效果，往往需要很长计算时间。而一般活体生物成像时间长，采集数据量大(可达到Tb量级)，过长的计算时间限制了光片荧光显微镜在活体成像中的应用。如何在确保理想图像融合效果的情况下，提高数据处理速度，并尽可能实现数据的实时处理是本领域研究的热点。

发明内容

鉴于上述，本发明提供了一种改进去卷积效率的多视角光片显微镜图像融合方法，能够减少所需要的去卷积迭代次数，从而减少整体图像融合时间。

一种改进去卷积效率的多视角光片显微镜图像融合方法，包括如下步骤：

(1)利用多视角光片荧光显微镜中照明物镜形成的光片对荧光标记的生物样本进行荧光激发，并通过探测物镜进行数据采集，得到对应不同视角的多个生物样本图像数据；

(2)选择一个参考视角，将其余视角的生物样本图像数据通过旋转和线性插值变换到参考视角下，即使所有生物样本图像数据在相同坐标系下；

(3)根据变换后的生物样本图像数据通过基于强度的配准方式计算得到其余视角与参考视角的之间的配准矩阵；对于除参考视角外的任一视角，将对应该视角变换后的生物样本图像数据与该视角对应的配准矩阵相乘，即得到该视角配准后的图像数据矩阵；

(4)通过测量或者模拟得到每个视角对应的点扩展函数，根据荧光显微镜成像方程计算每个视角对应的虚拟视角数据；

(5)根据虚拟视角数据利用露西-理查德森算法相关的联合去卷积算法进行去卷积图像融合。

进一步地，所述步骤(1)中采集得到的生物样本图像数据为体积图像，由多张二维切片图像堆叠得到。

进一步地，所述步骤(4)中的点扩展函数具有三维矩阵结构以及高斯分布特征。

进一步地，所述步骤(4)中对于任一视角，若该视角对应的点扩展函数矩阵为h，该视角配准后的图像数据矩阵为i，则该视角对应的虚拟视角数据v＝i*h，*表示卷积运算。

进一步地，所述步骤(5)中对于双视角图像数据，则根据以下迭代卷积算法对双视角图像数据进行去卷积图像融合：

e₀＝(i_A+i_B)/2

其中：e₀为初始图像融合结果，i_A和i_B分别为A视角和B视角配准后的图像数据矩阵，为从A视角恢复得到第k+1次迭代估计的图像融合结果，和分别为从B视角恢复得到第k次迭代和第k+1次迭代估计的图像融合结果，h_A和h_B分别为A视角和B视角对应的点扩展函数矩阵，*表示卷积运算，T表示矩阵转置，k为大于0的自然数。

进一步地，所述荧光显微镜成像方程为i＝o*h+noise，其中o为真实物体，h为点扩展函数，i为采集到的图像数据，noise测量过程中的噪声且在去卷积过程中忽略；由于没有真实物体的先验知识，使用采集到的图像数据进行替代，即假设在采集过程中点扩展函数对物体没有模糊效应，通过采集到的图像数据利用成像方程进行虚拟视角的计算。

本发明通过引入虚拟视角的概念和相关的卷积代数近似来帮助多视角光片荧光显微镜图像融合，通过计算相应的虚拟视角并将其加入到传统图像融合去卷积算法中，使每次去卷积迭代过程包含更多信息，并通过卷积简化，不增加每次迭代的计算量，在每次迭代计算时间几乎不变的情况下，减少所需的去卷积迭代次数。故本发明有效利用多视角光片荧光显微镜中每个视角的相互信息，改善了计算机在进行多视角光片荧光显微镜图像融合过程中计算时间长、计算代价大的问题。

附图说明

图1为本发明多视角光片显微镜图像融合方法的流程示意图。

图2(a)为采用传统交替联合去卷积(记为OJD)进行5次迭代的融合结果图。

图2(b)为采用改进交替联合去卷积(记为IJD)进行5次迭代的融合结果图。

图2(c)为采用传统交替联合去卷积进行15次迭代的融合结果图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明为改进去卷积效率的多视角光片显微镜图像融合方法，包括如下步骤。本实施方式中光片荧光显微镜的一支光路生成光片，照射被荧光标记物标记的生物样本使其激发发出荧光，被另一支光路中的照相机采集，记录数据。移动光片，使其遍历整个生物样本，将每次采集到的图像堆叠，形成三维的体积图像。调整光片激发方向或者旋转样本，采集其他角度的体积数据，得到多视角生物样本数据。通过模拟或者采集得到每个光片的点扩展函数，以三维矩阵形式保存，以备后续数据处理。

S1.由于采集得到的图像所参考的坐标系不一致，首先要进行预处理。选择一个视角作为参考视角，对其他视角进行线性插值并进行一定角度的旋转，使它们具有相应的坐标系，此时得到的是粗配准的图像，为了更准确的图像融合，采用基于强度的配准方法生成配准矩阵，每个视角乘以相应的配准矩阵，得到配准好的多视角图像数据。

S2.根据每个视角的点扩展函数，依据成像方程生成相应的虚拟视角。为了利用多视角数据间的相互信息，采用交替引用模式，即如果有四个视角A、B、C、D，则A视角利用自己的点扩展函数和D视角图像信息生成虚拟的A视角v_A，B视角利用A视角的信息生成v_B，C视角利用B视角的信息生成v_C，D视角利用C视角信息生成v_D。

S3.将每个视角对应的虚拟视角信息，通过乘法方式加入到该视角对应的去卷积迭代过程中，通过一些卷积代数近似，得到加入了虚拟视角信息的迭代模式。

S4.在联合去卷积迭代过程中，利用步骤S3得到的每个视角的迭代模式进行迭代计算，在每次迭代中得到相应的图像融合估计结果。

S5.判断是否满足迭代停止条件，即是否达到了预计的迭代次数，不满足该条件则执行步骤S4，满足则迭代停止，将最后一次迭代得到的图像融合估计结果作为最后的融合好的图像。

以下以双视角的交替联合去卷积为例，对虚拟视角的计算、联合去卷积算法的改进进行具体介绍；传统的双视角交替联合去卷积具有以下迭代结构：

fork＝0,1,...N(i.e.,iteration number)

end

由于多个视角对同一样本进行成像，因此各个视角间存在互补信息，并且每个视角单独去卷积得到的估计结果可以近似相同，记这个共同的相似结果为e，那么根据荧光显微镜的成像方程，可以得到两个虚拟视角：

v_A＝e*h_A

v_B＝e*h_B

由于没有关于e的先验信息，而所采集到的数据包含有关于e的信息，本发明利用采集到的图像数据i_A和i_B来代替e，这就假设在数据采集过程中点扩展函数对物体没有模糊效应。同时为了利用两视角间的互补信息，采用i_B计算v_A以及i_A计算v_B，得到虚拟视角图像：

v_A＝i_B*h_A

v_B＝i_A*h_B

利用乘法联合去卷积原理将虚拟视角信息引入交替联合去卷积迭代过程中，迭代模式如下：

直接使用这个迭代模式会使每次迭代的计算量增大很多，因此需要进行进一步简化，首先再次假设点扩展函数对物体没有模糊效应，以em_k+1公式为例：

此外，采用卷积代数的近似公式：

(f*h)×(f*g)≈f*(h×g)

对上式进行进一步进行化简，可以得到：

此时，可以发现改进后的em_k+1与传统交替联合去卷积的em_k+1相比，差别在于混合点扩展函数此混合点扩展函数包含了采集数据i_A和虚拟数据v_B的信息。同样可以得到改进e_k+1的混合点扩展函数为此时采用本发明改进方法，可以得到改进的交替联合去卷积如下：

fork＝0,1,...N(i.e.,iteration number)

end

将本发明改进方法应用到加法联合去卷积中，得到改进的加法联合去卷积如下：

e₀＝(i_A+i_B)/2

for k＝0,1,...N(i.e.,iteration number)

ek+1＝(e_A+e_B)/2

end

其中：e_A和e_B分别为迭代过程中从A、B两视角恢复的图像估计，通过求算术平均数得到融合的图像。

同理，可以得到改进的乘法联合去卷积算法为：

e₀＝(i_A+i_B)/2

for k＝0,1,...N(i.e.,iteration number)

end

为了显示本发明改进方法同样可以应用到更多视角中，通过改进的四视角加法联合去卷积算法如下：

e₀＝(i_A+i_B+i_C+i_D)/4

for k＝0,1,...N(i.e.,iteration number)

e_k+1＝(e_A+e_B+e_C+e_D)/4

end

其中：e_A、e_B、e_C和e_D分别是四个视角单独去卷积得到的估计，h_A、h_B、h_C和h_D分别为各个视角对应的点扩展函数。

以下我们采用秀丽隐杆线虫胚胎实验数据来验证本发明的有效性，秀丽隐杆线虫胚胎是活体生物成像中常用的生物样本，数据通过双视角倒置光片荧光显微镜(diSPIM)采集得到，采用交替联合去卷积方法进行图像融合，实验运行环境为：8G内存，3.40GHz，64位操作系统，CPU为intel i7，GPU为Nvidia Quadro K6000，12GB memory。

将使用本发明改进去卷积效率的多视角光片显微镜图像融合方法改进的交替联合去卷积和传统的交替联合去卷积图像融合结果做比较，二者对相同数据进行处理，并在处理结果的轴向11.5μm处选取切片进行展示。

从图2(a)～图2(c)可以直观地看出基于本发明改进后的图像融合算法与传统联合去卷积算法的结果相比，同样采用5次迭代，本发明改进方法可以得到更清晰的染色质结构，而传统交替联合去卷积算法的图像融合结果是模糊不清的。此外，采用本发明改进方法，使用5次迭代的融合效果在轴向上已经与15次迭代的传统算法的融合效果相似。使用GPU进行图像融合中，5次IJD花费时间为240毫秒，15次OJD花费时间为700毫秒，这说明本发明算法可以减少2/3的迭代次数，在每次迭代花费时间几乎不变的情况下，整体的图像融合效率提高了3倍。秀丽隐杆线虫活体成像得到的数据量可以达到10¹²字节，要处理完全部数据往往需要很长时间(几小时至几十小时)，图像融合效率提高三倍具有很好的提速效果。

此外，本发明改进方法同样可以应用在其他联合去卷积算法中，在加法联合去卷积与乘法联合去卷积中也可以得到至少三倍的效率提高，由于混合点扩展函数具有简单的结构，我们的改进方法可以很好的移植到更多视角的图像融合中。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种改进去卷积效率的多视角光片显微镜图像融合方法，包括如下步骤：

(1)利用多视角光片荧光显微镜中照明物镜形成的光片对荧光标记的生物样本进行荧光激发，并通过探测物镜进行数据采集，得到对应不同视角的多个生物样本图像数据；

(2)选择一个参考视角，将其余视角的生物样本图像数据通过旋转和线性插值变换到参考视角下，即使所有生物样本图像数据在相同坐标系下；

(3)根据变换后的生物样本图像数据通过基于强度的配准方式计算得到其余视角与参考视角的之间的配准矩阵；对于除参考视角外的任一视角，将对应该视角变换后的生物样本图像数据与该视角对应的配准矩阵相乘，即得到该视角配准后的图像数据矩阵；

(4)通过测量或者模拟得到每个视角对应的点扩展函数，根据荧光显微镜成像方程计算每个视角对应的虚拟视角数据；

(5)根据虚拟视角数据利用露西-理查德森算法相关的联合去卷积算法进行去卷积图像融合。

2.根据权利要求1所述的多视角光片显微镜图像融合方法，其特征在于：所述步骤(1)中采集得到的生物样本图像数据为体积图像，由多张二维切片图像堆叠得到。

3.根据权利要求1所述的多视角光片显微镜图像融合方法，其特征在于：所述步骤(4)中的点扩展函数具有三维矩阵结构以及高斯分布特征。

4.根据权利要求1所述的多视角光片显微镜图像融合方法，其特征在于：所述步骤(4)中对于任一视角，若该视角对应的点扩展函数矩阵为h，该视角配准后的图像数据矩阵为i，则该视角对应的虚拟视角数据v＝i*h，*表示卷积运算。

5.根据权利要求1所述的多视角光片显微镜图像融合方法，其特征在于：所述步骤(5)中对于双视角图像数据，则根据以下迭代卷积算法对双视角图像数据进行去卷积图像融合：

e₀＝(i_A+i_B)/2

其中：e₀为初始图像融合结果，i_A和i_B分别为A视角和B视角配准后的图像数据矩阵，为从A视角恢复得到第k+1次迭代估计的图像融合结果，和分别为从B视角恢复得到第k次迭代和第k+1次迭代估计的图像融合结果，h_A和h_B分别为A视角和B视角对应的点扩展函数矩阵，*表示卷积运算，T表示矩阵转置，k为大于0的自然数。