CN108062744A - 一种基于深度学习的质谱图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及基于深度学习的质谱图像超分辨率重建方法，属于图像处理领域，本发明包括以下步骤：采用基质辅助激光解吸电离质谱成像仪器对生物样本成像，根据不同m/z值获得多幅质谱图像，下采样获得多幅低分辨率图像，求取采集到的高/低分辨率图像的形态学信息并作为训练样本集，设计训练深度卷积神经网络根据输入的训练样本集预测低分辨率图像中缺失的信息，测试阶段利用网络获取的先验知识引导低分辨率质谱图像形态学信息的重构，通过建立偏微分方程将形态学信息重构成高分辨率质谱图像。该方法避免了传统技术通过改进成像设备或重复采样提高成像质量，降低了成本、实验周期，突破硬件系统对图像分辨率的限制。

Description

一种基于深度学习的质谱图像超分辨率重建方法

技术领域

本发明属于生物化学图像处理技术领域，尤其涉及一种基于深度学习的质谱图像超分辨率重建提高质谱图像分辨率的方法。

背景技术

基质辅助激光解吸/电离-飞行时间质谱(MALDI-TOF-MS)成像(MSI)，作为一种结合分子质量分析和空间信息，直接从组织和细胞检测生物分子模式的技术，近年来受到高度关注并得到迅速发展，已广泛应用在临床医学、生物分子学和药学等领域。然而，受到实验周期、成本及成像仪器的限制，在实际应用中涉及到的质谱图像具有低质量、低分辨率的特点。该类质谱图像难以精准定位感兴趣的生物分子，准确提供药物及代谢物在不同组织区域内的分布，限制了生物分子模式的检测。提高图像分辨率，增加图像中可视化信息将成为解决实际问题的重要途径。目前，提高质谱图像分辨率的方法可分为硬件方面和软件方面。在硬件方法主要集中于改进成像设备或重复采样提高成像质量，具有成本高、周期长以及增加了生物样本失效污染可能性的缺点，这限制了质谱图像的推广与应用。因此，开展基于软件算法尤其是图像处理的方法，可作为一条有效的解决途径。例如Veselkov(参见Veselkov,K.A.；Mirnezami,R.；Strittmatter,N.；Goldin,R.D.；Kinross,J.；Speller,A.V.Proceedings of the National Academy of Sciences.2014,111,1216-1221)提出了利用图像配准的方法将低分辨率质谱图像与高分辨率的染色图像对齐，以更精确获得与大肠癌相关的特异性脂质的空间分布。Van de Plas等人(参见Van de Plas,R.；Yang,J.；Spraggins,J.；Caprioli,R.M.Nature methods.2015,12,366-372)采用MSI图像和显微图像融合的方法提高MSI图像的空间分辨率。以上方法都是基于多源图像信息提高分辨率的方法，依赖于染色或光学图像引导质谱图像质量重构。由于光学/染色图像是一种靶向成像方式，如果质谱信息中的特异性离子分布模式与光学/染色成像模式不一致，该类方法的有效性就会大大降低。超分辨率技术是指从观测到的低分辨率图像重建出相应的高分辨率图像的技术,在可见光图像和医学影像等领域都有重要的应用价值。相对于自然光图像和医学图像，质谱图像具有纬度高、局部模糊、缺失纹理信息等特点。传统的基于插值、重建、基于学习模型、稀疏表示的方法并针对质谱图像特征并不具有普适性，有必要针对质谱图像特征建立一种更为有效的质谱图像超分辨率重建方法。

近年来，深度学习发展迅速，在可见光图像处理中的具有优异表现。相对于传统的人为指定特征的算法，深度卷积神经网络可根据训练样本集更为有效的学习图像特征。因此将深度学习方法应用到质谱图像处理领域，突破深度学习在质谱图像质量处理领域中的技术瓶颈，为质谱图像信息恢复、分辨率提升提供一种更具针对性的方法，对于进一步推动质谱分析领域的应用具有重要意义。

发明内容

本发明旨在不改变现有仪器硬件基础上，克服现有技术的不足，提出一种适用于质谱图像特征的单源图像处理技术的方法，具体为基于深度学习的形态学信息引导的超分辨率重建方法，来提高质谱图像的分辨率。所述基于深度学习的质谱图像超分辨率重建方法包括以下步骤：

步骤一：基于生物样本质谱图像形态学特征的训练样本数据集制作，具体包括：

1)生物样本切片、基质喷涂、洗片处理后，设置质谱成像仪器参数并利用该仪器获取该生物样本的质谱信息；对于获取的质谱数据，采用质谱成像软件进行数据预处理，其中包括基线矫正、质谱TIC总离子数归一化、峰提取。

2)对1)中获取的生物样本质谱信息，按照提取的峰强度，选取不同m/z离子成像，获得高分辨率质谱图像H。将获得的高分辨率图像降采样，再双立方插值放大到高分辨率图像大小，作为降质后的低分辨率图像L。

3)以41*41窗口大小，步长10对于每一副高/低分辨率图像从上到下，从左到右滑动取图像块。经过该步骤后，得到高/低分辨率图像块156800对。

4)对于质谱图像块求取形态学信息特征图，用于表征离子空间分布特征：

其中I表示质谱图像块，表示梯度，mag表示质谱图像块幅度值。(a,b)代表图像当前像素位置,其中高分辨率图像块的形态学特征图Y作为网络真值，低分辨率图像块的形态学特征图X作为网络输入，获得训练样本集{X,Y}

步骤二：设计层级连接的深度卷积神经网络，用于学习预测低分辨率质谱形态学特征图中缺失的化学信息。

1)网络结构包括输入层、中间层和输出层。其中中间层设计为l层，每个中间层都由卷积层CONV以及激励层RELU组成。前j(j<l-1)层网络每层的卷积核参数为e*f*f，另外网络采用合并连接方式，将前j层网络输出使用concat方式连接起来获得e*j个特征图，进一步对这e*j个特征图卷积，卷积核个数为h，大小f*f。

2)网络训练过程分为前向传播和反向传播过程，网络的前向传播过程：

其中x表示网络输入，表示经过网络中间层后的输出，W为网络中间层的权重，b表示偏移量。D表示第一层卷积核个数，M为第二层卷积核个数。网络反向传播过程为最小化loss函数Ev的过程，其中Ev表示为：

训练过程结束后，获得优化好的权重{W,b}。

3)网络测试阶段，输入低分辨率质谱形态学特征图x,利用网络优化后的参数{W,b}，根据

公式

获得高分辨率质谱形态学特征图y。

步骤三：构建质谱图像可视化的能量泛函G(u)，将超分辨重建后的高分辨率形态学信息

重建成可视化的高分辨率质谱图像:

G(u)＝∫∫_Ω|▽u-E|²

其中E为测试阶段网络输出的高分辨率形态学特征图，u为目标高分辨率质谱图像。

本发明的特点及有益效果

本发明首次提出采用超分辨重建方法提高质谱图像的分辨率，避免了依赖传统硬件改进带来的不利。这种基于单源图像超分辨不依赖于其他源图像的引导，具有更强的普适性。本发明提出了利用形态学信息表征质谱图像特征，可以更有针对性的表征离子信息的空间分布位置、形态等信息。本发明提出将深度学习应用到了质谱图像分析处理领域，在网络搭建中利用更深的网络以及层级合并concat连接方式更有效的利用质谱图像的低、中、高级特征，学习低分辨率图像中缺失的信息，采用更小的感知野可以更有效的捕获图像中的微弱信息，有针对性的解决了质谱图像分辨率提升的难题。

附图说明

图1是本发明的具体实施流程图。

图2是本实施例的网络训练数据集制作示意图。

图3是本实施例的质谱图像形态学表征图。

图4是本实施例的深度卷积神经网络结构图。

图5是本实施例的150-50微米分辨率的超分辨重建效果示意图。

图6是本实施例的重构结果对应的评价指标。

图7是本实施例的10微米高分辨率质谱图像进一步重构的结果示意图。

具体实施方式

本发明提出的基于深度学习的质谱图像超分辨率重建方法的具体实施例详细说明如下：

(1)取出鼠脑(B6SJL)，用包埋剂包埋和固定后置于Cryostat低温切片机内，至组织温度稳定在-18℃，进行切片，切片厚度为12μm,将完整的切片转移至质谱成像用的导电氧化铟锡(ITO)玻璃板上，将加载有组织切片的ITO玻璃板，进行α-氰基-4-羟基肉桂酸基质喷涂，对于获得的组织切片，置于质谱仪中，设置激光束的分辨率为50μm模式；设置质谱的各项参数，得到高分辨的一级质谱信号。

(2)对于获取的质谱数据，采用FlexImaging 4.0进行数据预处理，其中包括基线矫正(10％)、质谱TIC总离子数归一化、峰提取(其中信号噪声阈值为5，相对峰值阈值为1％)。

(3)按照质谱峰强度，选取强度前200个m/z离子，分别成像，获得200张高分辨率(50微米)质谱图像。对于200张质谱图像，三次降采样，获得对应的200张低分辨率(150微米)质谱图像，三次插值到高分辨率图像大小。如图2所示，对于高低分辨率质谱图像分别以步长10，窗口41*41大小滑动，获得156800对图像块。

(4)如图3所示，对于高低分辨率质谱图像分别求取形态学信息特征图，用于表征离子空间分布特征：

其中I表示质谱图像，(a,b)表示图像当前像素位置。其中高分辨率图像块的形态学特征图Y作为网络真值，低分辨率图像块的形态学特征图X作为网络输入，获得训练样本集{X,Y}。

(5)搭建深度卷积神经网络预测低分辨率图像缺失信息，实现超分辨率重建。其中网络结构如图4所示。第1-4层采用Conv+Relu的连接：卷积方式为xavier,卷积核大小3*3，个数设置64，步长为1。输出表示为：f＝max(0,W*x+b)。其中，*表示卷积，W表示权重，b为偏置。第5层，调用caffe底层concat函数，将前四层的输出连接，同样采用Conv+Relu的连接：卷积方式为xavier,卷积核大小3*3，个数设置128，步长为1，最后一层卷积方式为xavier,卷积核大小3*3，输出个数为1，步长设置1。该网络模型基于深度学习框架caffe搭建。

网络训练过程中的各参数设置如下：

base_lr:1e-5/学习率

momentum:0.9/动量

weight_decay:0.0/权重衰减

lr_policy:"step"/学习策略

gamma:0.1/学习速率变化因子

stepsize:600000/每600k次迭代，降低学习速率

max_iter:648600/最大迭代次数

solver_mode:GPU/本例使用GPU训练

(6)网络测试阶段，输入低分辨率形态学特征图，网络利用训练好的参数输出对应的高分辨率形态学图像。为了将形态学图像可视化为高分辨率质谱图像，构建能量泛函：

G(u)＝∫∫_Ω|▽u-E|²

其中u表示待求取的高分辨率质谱图像，E表示为网络输出的高分辨率形态学图像。其偏微分方程可写为：

Δu＝divE

其中，Δ表示拉普拉斯算子，div代表散度算子，采用梯度下降流法将该方程转换为动态演化过程：

前向差分求解该偏微分方程，改写为：

其中τ表示时间步长，n代表迭代次数。在迭代过程中，对于拉普拉斯算子，通过前向差分获得目标高分辨率质谱图像，对于散度算子用向后差分导数计算，表达为：

Δu＝u(i+1,j)+u(i-1,j)+u(i,j+1)+u(i,j-1)-4u(i,j)

divE＝E_x(i,j)-E_x(i-1,j)+E_y(i,j)-E_y(i,j-1)

(7)为了验证该方法的有效性，分别采用对于可见光重构的卷积神经网络、本方法提出的深度卷积神经网络对于150微米的低分辨率质谱图像重构，并将结果与真实的50微米高分辨率质谱图像对比，见图5。为了更显著的对比重构结果，对于图像中的局部区域R1，R2，R3和R4进行了放大，对比结果可以较好的说明本发明提出方法的有效性。

(8)为了更为客观的对比不同的重构方法的结果，采用灰度平均梯度(GMG)以及信息熵(En)量化图5的图像质量，结果如图6所示，其中两个指标的表达式分别为：

ΔI_x,ΔI_y表示x和y方向的梯度，M和N表示图像I的宽度和长度。

其中p(i)表示灰度值为i的概率密度。

(9)本发明方法并不只局限于150-50微米的重构，也不只局限于3倍的分辨率提升。还可以进一步提高高分辨率质谱图像的分辨率，如图7所示，提供了10微米高分辨率质谱图像超分辨重建3倍和9倍的结果。

Claims (2)

1.一种基于深度学习的质谱图像超分辨率重建方法，其特征在于，所示基于深度学习的质谱图像超分辨率重建方法包括以下步骤：

步骤一：基于生物样本质谱图像形态学特征图的训练样本数据集制作，具体包括：

1)采用质谱成像仪器获取生物样本的质谱信息；对于获取的质谱数据，采用质谱成像软件进行数据预处理，其中包括基线矫正、质谱TIC总离子数归一化、峰提取中的一种或二种以上；

2)对步骤1)中获取的生物样本质谱信息，按照提取的峰强度，选取c个不同m/z离子成像，获得高分辨率质谱图像H；将获得的高分辨率图像降采样，再双立方插值放大到高分辨率图像大小，作为降质后的低分辨率图像L；c为大于等于10整数；

3)以m*n(0<m<图像宽度，0<n<图像长度)窗口大小，步长d(1<c<m和n)对于每一副高/低分辨率图像从上到下，从左到右滑动取图像块；经过该步骤后，得到高/低分辨率图像块k(k>>c)对；

4)对于质谱图像块求取形态学信息特征图，用于表征离子空间分布特征：

<mrow> <mi>m</mi> <mi>a</mi> <mi>g</mi> <mrow> <mo>(</mo> <mo>&amp;dtri;</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mfrac> <mrow> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mi>I</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msup> <mi>a</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>+</mo> <mfrac> <mrow> <msup> <mo>&amp;part;</mo> <mn>2</mn> </msup> <mi>I</mi> </mrow> <mrow> <mo>&amp;part;</mo> <msup> <mi>b</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msqrt> </mrow>

其中I表示质谱图像块，表示梯度，mag表示质谱图像块幅度值；(a,b)代表图像当前像素位置；其中高分辨率图像块的形态学特征图Y作为网络真值，低分辨率图像块的形态学特征图X作为网络输入，获得训练样本集{X,Y}；

步骤二：设计层级连接的深度卷积神经网络，用于学习预测低分辨率质谱形态学特征图中缺失的化学信息；

1)网络结构包括输入层、中间层和输出层；其中中间层设计为l层，每个中间层都由卷积层CONV以及激励层RELU组成；前j(j<l-1)层网络每层的卷积核参数为e*f*f，另外网络采用合并连接方式，将前j层网络输出使用concat方式连接起来获得e*j个特征图，进一步对这e*j个特征图卷积，卷积核个数为h，大小f*f；l为大于等于2整数，j为大于等于1整数

2)网络训练过程分为前向传播和反向传播过程，网络的前向传播过程：

<mrow> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>;</mo> <mi>&amp;Theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mo>...</mo> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> <mo>(</mo> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <msubsup> <mi>W</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>D</mi> </munderover> <msubsup> <mi>W</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>

其中x表示网络输入，表示经过网络中间层后的输出，W为网络中间层的权重，b表示偏移量。D表示第一层卷积核个数，M为第二层卷积核个数；

网络反向传播过程为最小化loss函数Ev的过程，其中Ev表示为：

<mrow> <msub> <mi>E</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，表示经过网络中间层后的输出，y表示网络真值；训练过程结束后，获得优化好的权重{W,b}；

3)网络测试阶段，输入低分辨率质谱形态学特征图x,利用网络优化后的参数{W,b}，根据公式

<mrow> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>;</mo> <mi>&amp;Theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mo>...</mo> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msup> <mo>(</mo> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <msubsup> <mi>W</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> <msup> <mi>f</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>D</mi> </munderover> <msubsup> <mi>W</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>b</mi> <mi>k</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>

获得高分辨率质谱形态学特征图y；

步骤三：构建质谱图像可视化的能量泛函G(u)，将超分辨重建后的高分辨率形态学信息

重建成可视化的高分辨率质谱图像:

<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&amp;Integral;</mo> <msub> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </msub> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>u</mi> <mo>-</mo> <mi>E</mi> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

其中E为测试阶段网络输出的高分辨率形态学特征图，u为目标高分辨率质谱图像。

2.按照权利要求所述基于深度学习的质谱图像超分辨率重建方法，其特征在于：生物样本切片、基质喷涂、洗片处理后，设置质谱成像仪器参数并利用该仪器获取该生物样本的质谱信息。