CN108062744A - 一种基于深度学习的质谱图像超分辨率重建方法 - Google Patents
一种基于深度学习的质谱图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108062744A CN108062744A CN201711325735.1A CN201711325735A CN108062744A CN 108062744 A CN108062744 A CN 108062744A CN 201711325735 A CN201711325735 A CN 201711325735A CN 108062744 A CN108062744 A CN 108062744A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- mass spectrum
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001819 mass spectrum Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 230000000877 morphologic effect Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 239000012472 biological sample Substances 0.000 claims abstract description 11
- 239000000523 sample Substances 0.000 claims abstract description 8
- 238000004949 mass spectrometry Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 239000000126 substance Substances 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 12
- 150000002500 ions Chemical class 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 210000004556 brain Anatomy 0.000 description 4
- 239000003814 drug Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000001840 matrix-assisted laser desorption--ionisation time-of-flight mass spectrometry Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- -1 biomolecular science Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- AFVLVVWMAFSXCK-UHFFFAOYSA-N α-cyano-4-hydroxycinnamic acid Chemical compound OC(=O)C(C#N)=CC1=CC=C(O)C=C1 AFVLVVWMAFSXCK-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明涉及基于深度学习的质谱图像超分辨率重建方法,属于图像处理领域,本发明包括以下步骤:采用基质辅助激光解吸电离质谱成像仪器对生物样本成像,根据不同m/z值获得多幅质谱图像,下采样获得多幅低分辨率图像,求取采集到的高/低分辨率图像的形态学信息并作为训练样本集,设计训练深度卷积神经网络根据输入的训练样本集预测低分辨率图像中缺失的信息,测试阶段利用网络获取的先验知识引导低分辨率质谱图像形态学信息的重构,通过建立偏微分方程将形态学信息重构成高分辨率质谱图像。该方法避免了传统技术通过改进成像设备或重复采样提高成像质量,降低了成本、实验周期,突破硬件系统对图像分辨率的限制。
Description
技术领域
本发明属于生物化学图像处理技术领域,尤其涉及一种基于深度学习的质谱图像超分辨率重建提高质谱图像分辨率的方法。
背景技术
基质辅助激光解吸/电离-飞行时间质谱(MALDI-TOF-MS)成像(MSI),作为一种结合分子质量分析和空间信息,直接从组织和细胞检测生物分子模式的技术,近年来受到高度关注并得到迅速发展,已广泛应用在临床医学、生物分子学和药学等领域。然而,受到实验周期、成本及成像仪器的限制,在实际应用中涉及到的质谱图像具有低质量、低分辨率的特点。该类质谱图像难以精准定位感兴趣的生物分子,准确提供药物及代谢物在不同组织区域内的分布,限制了生物分子模式的检测。提高图像分辨率,增加图像中可视化信息将成为解决实际问题的重要途径。目前,提高质谱图像分辨率的方法可分为硬件方面和软件方面。在硬件方法主要集中于改进成像设备或重复采样提高成像质量,具有成本高、周期长以及增加了生物样本失效污染可能性的缺点,这限制了质谱图像的推广与应用。因此,开展基于软件算法尤其是图像处理的方法,可作为一条有效的解决途径。例如Veselkov(参见Veselkov,K.A.;Mirnezami,R.;Strittmatter,N.;Goldin,R.D.;Kinross,J.;Speller,A.V.Proceedings of the National Academy of Sciences.2014,111,1216-1221)提出了利用图像配准的方法将低分辨率质谱图像与高分辨率的染色图像对齐,以更精确获得与大肠癌相关的特异性脂质的空间分布。Van de Plas等人(参见Van de Plas,R.;Yang,J.;Spraggins,J.;Caprioli,R.M.Nature methods.2015,12,366-372)采用MSI图像和显微图像融合的方法提高MSI图像的空间分辨率。以上方法都是基于多源图像信息提高分辨率的方法,依赖于染色或光学图像引导质谱图像质量重构。由于光学/染色图像是一种靶向成像方式,如果质谱信息中的特异性离子分布模式与光学/染色成像模式不一致,该类方法的有效性就会大大降低。超分辨率技术是指从观测到的低分辨率图像重建出相应的高分辨率图像的技术,在可见光图像和医学影像等领域都有重要的应用价值。相对于自然光图像和医学图像,质谱图像具有纬度高、局部模糊、缺失纹理信息等特点。传统的基于插值、重建、基于学习模型、稀疏表示的方法并针对质谱图像特征并不具有普适性,有必要针对质谱图像特征建立一种更为有效的质谱图像超分辨率重建方法。
近年来,深度学习发展迅速,在可见光图像处理中的具有优异表现。相对于传统的人为指定特征的算法,深度卷积神经网络可根据训练样本集更为有效的学习图像特征。因此将深度学习方法应用到质谱图像处理领域,突破深度学习在质谱图像质量处理领域中的技术瓶颈,为质谱图像信息恢复、分辨率提升提供一种更具针对性的方法,对于进一步推动质谱分析领域的应用具有重要意义。
发明内容
本发明旨在不改变现有仪器硬件基础上,克服现有技术的不足,提出一种适用于质谱图像特征的单源图像处理技术的方法,具体为基于深度学习的形态学信息引导的超分辨率重建方法,来提高质谱图像的分辨率。所述基于深度学习的质谱图像超分辨率重建方法包括以下步骤:
步骤一:基于生物样本质谱图像形态学特征的训练样本数据集制作,具体包括:
1)生物样本切片、基质喷涂、洗片处理后,设置质谱成像仪器参数并利用该仪器获取该生物样本的质谱信息;对于获取的质谱数据,采用质谱成像软件进行数据预处理,其中包括基线矫正、质谱TIC总离子数归一化、峰提取。
2)对1)中获取的生物样本质谱信息,按照提取的峰强度,选取不同m/z离子成像,获得高分辨率质谱图像H。将获得的高分辨率图像降采样,再双立方插值放大到高分辨率图像大小,作为降质后的低分辨率图像L。
3)以41*41窗口大小,步长10对于每一副高/低分辨率图像从上到下,从左到右滑动取图像块。经过该步骤后,得到高/低分辨率图像块156800对。
4)对于质谱图像块求取形态学信息特征图,用于表征离子空间分布特征:
其中I表示质谱图像块,表示梯度,mag表示质谱图像块幅度值。(a,b)代表图像当前像素位置,其中高分辨率图像块的形态学特征图Y作为网络真值,低分辨率图像块的形态学特征图X作为网络输入,获得训练样本集{X,Y}
步骤二:设计层级连接的深度卷积神经网络,用于学习预测低分辨率质谱形态学特征图中缺失的化学信息。
1)网络结构包括输入层、中间层和输出层。其中中间层设计为l层,每个中间层都由卷积层CONV以及激励层RELU组成。前j(j<l-1)层网络每层的卷积核参数为e*f*f,另外网络采用合并连接方式,将前j层网络输出使用concat方式连接起来获得e*j个特征图,进一步对这e*j个特征图卷积,卷积核个数为h,大小f*f。
2)网络训练过程分为前向传播和反向传播过程,网络的前向传播过程:
其中x表示网络输入,表示经过网络中间层后的输出,W为网络中间层的权重,b表示偏移量。D表示第一层卷积核个数,M为第二层卷积核个数。网络反向传播过程为最小化loss函数Ev的过程,其中Ev表示为:
训练过程结束后,获得优化好的权重{W,b}。
3)网络测试阶段,输入低分辨率质谱形态学特征图x,利用网络优化后的参数{W,b},根据
公式
获得高分辨率质谱形态学特征图y。
步骤三:构建质谱图像可视化的能量泛函G(u),将超分辨重建后的高分辨率形态学信息
重建成可视化的高分辨率质谱图像:
G(u)=∫∫Ω|▽u-E|2
其中E为测试阶段网络输出的高分辨率形态学特征图,u为目标高分辨率质谱图像。
本发明的特点及有益效果
本发明首次提出采用超分辨重建方法提高质谱图像的分辨率,避免了依赖传统硬件改进带来的不利。这种基于单源图像超分辨不依赖于其他源图像的引导,具有更强的普适性。本发明提出了利用形态学信息表征质谱图像特征,可以更有针对性的表征离子信息的空间分布位置、形态等信息。本发明提出将深度学习应用到了质谱图像分析处理领域,在网络搭建中利用更深的网络以及层级合并concat连接方式更有效的利用质谱图像的低、中、高级特征,学习低分辨率图像中缺失的信息,采用更小的感知野可以更有效的捕获图像中的微弱信息,有针对性的解决了质谱图像分辨率提升的难题。
附图说明
图1是本发明的具体实施流程图。
图2是本实施例的网络训练数据集制作示意图。
图3是本实施例的质谱图像形态学表征图。
图4是本实施例的深度卷积神经网络结构图。
图5是本实施例的150-50微米分辨率的超分辨重建效果示意图。
图6是本实施例的重构结果对应的评价指标。
图7是本实施例的10微米高分辨率质谱图像进一步重构的结果示意图。
具体实施方式
本发明提出的基于深度学习的质谱图像超分辨率重建方法的具体实施例详细说明如下:
(1)取出鼠脑(B6SJL),用包埋剂包埋和固定后置于Cryostat低温切片机内,至组织温度稳定在-18℃,进行切片,切片厚度为12μm,将完整的切片转移至质谱成像用的导电氧化铟锡(ITO)玻璃板上,将加载有组织切片的ITO玻璃板,进行α-氰基-4-羟基肉桂酸基质喷涂,对于获得的组织切片,置于质谱仪中,设置激光束的分辨率为50μm模式;设置质谱的各项参数,得到高分辨的一级质谱信号。
(2)对于获取的质谱数据,采用FlexImaging 4.0进行数据预处理,其中包括基线矫正(10%)、质谱TIC总离子数归一化、峰提取(其中信号噪声阈值为5,相对峰值阈值为1%)。
(3)按照质谱峰强度,选取强度前200个m/z离子,分别成像,获得200张高分辨率(50微米)质谱图像。对于200张质谱图像,三次降采样,获得对应的200张低分辨率(150微米)质谱图像,三次插值到高分辨率图像大小。如图2所示,对于高低分辨率质谱图像分别以步长10,窗口41*41大小滑动,获得156800对图像块。
(4)如图3所示,对于高低分辨率质谱图像分别求取形态学信息特征图,用于表征离子空间分布特征:
其中I表示质谱图像,(a,b)表示图像当前像素位置。其中高分辨率图像块的形态学特征图Y作为网络真值,低分辨率图像块的形态学特征图X作为网络输入,获得训练样本集{X,Y}。
(5)搭建深度卷积神经网络预测低分辨率图像缺失信息,实现超分辨率重建。其中网络结构如图4所示。第1-4层采用Conv+Relu的连接:卷积方式为xavier,卷积核大小3*3,个数设置64,步长为1。输出表示为:f=max(0,W*x+b)。其中,*表示卷积,W表示权重,b为偏置。第5层,调用caffe底层concat函数,将前四层的输出连接,同样采用Conv+Relu的连接:卷积方式为xavier,卷积核大小3*3,个数设置128,步长为1,最后一层卷积方式为xavier,卷积核大小3*3,输出个数为1,步长设置1。该网络模型基于深度学习框架caffe搭建。
网络训练过程中的各参数设置如下:
base_lr:1e-5/学习率
momentum:0.9/动量
weight_decay:0.0/权重衰减
lr_policy:"step"/学习策略
gamma:0.1/学习速率变化因子
stepsize:600000/每600k次迭代,降低学习速率
max_iter:648600/最大迭代次数
solver_mode:GPU/本例使用GPU训练
(6)网络测试阶段,输入低分辨率形态学特征图,网络利用训练好的参数输出对应的高分辨率形态学图像。为了将形态学图像可视化为高分辨率质谱图像,构建能量泛函:
G(u)=∫∫Ω|▽u-E|2
其中u表示待求取的高分辨率质谱图像,E表示为网络输出的高分辨率形态学图像。其偏微分方程可写为:
Δu=divE
其中,Δ表示拉普拉斯算子,div代表散度算子,采用梯度下降流法将该方程转换为动态演化过程:
前向差分求解该偏微分方程,改写为:
其中τ表示时间步长,n代表迭代次数。在迭代过程中,对于拉普拉斯算子,通过前向差分获得目标高分辨率质谱图像,对于散度算子用向后差分导数计算,表达为:
Δu=u(i+1,j)+u(i-1,j)+u(i,j+1)+u(i,j-1)-4u(i,j)
divE=Ex(i,j)-Ex(i-1,j)+Ey(i,j)-Ey(i,j-1)
(7)为了验证该方法的有效性,分别采用对于可见光重构的卷积神经网络、本方法提出的深度卷积神经网络对于150微米的低分辨率质谱图像重构,并将结果与真实的50微米高分辨率质谱图像对比,见图5。为了更显著的对比重构结果,对于图像中的局部区域R1,R2,R3和R4进行了放大,对比结果可以较好的说明本发明提出方法的有效性。
(8)为了更为客观的对比不同的重构方法的结果,采用灰度平均梯度(GMG)以及信息熵(En)量化图5的图像质量,结果如图6所示,其中两个指标的表达式分别为:
ΔIx,ΔIy表示x和y方向的梯度,M和N表示图像I的宽度和长度。
其中p(i)表示灰度值为i的概率密度。
(9)本发明方法并不只局限于150-50微米的重构,也不只局限于3倍的分辨率提升。还可以进一步提高高分辨率质谱图像的分辨率,如图7所示,提供了10微米高分辨率质谱图像超分辨重建3倍和9倍的结果。
Claims (2)
1.一种基于深度学习的质谱图像超分辨率重建方法,其特征在于,所示基于深度学习的质谱图像超分辨率重建方法包括以下步骤:
步骤一:基于生物样本质谱图像形态学特征图的训练样本数据集制作,具体包括:
1)采用质谱成像仪器获取生物样本的质谱信息;对于获取的质谱数据,采用质谱成像软件进行数据预处理,其中包括基线矫正、质谱TIC总离子数归一化、峰提取中的一种或二种以上;
2)对步骤1)中获取的生物样本质谱信息,按照提取的峰强度,选取c个不同m/z离子成像,获得高分辨率质谱图像H;将获得的高分辨率图像降采样,再双立方插值放大到高分辨率图像大小,作为降质后的低分辨率图像L;c为大于等于10整数;
3)以m*n(0<m<图像宽度,0<n<图像长度)窗口大小,步长d(1<c<m和n)对于每一副高/低分辨率图像从上到下,从左到右滑动取图像块;经过该步骤后,得到高/低分辨率图像块k(k>>c)对;
4)对于质谱图像块求取形态学信息特征图,用于表征离子空间分布特征:
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mo>&dtri;</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>a</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>I</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>b</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msqrt>
</mrow>
其中I表示质谱图像块,表示梯度,mag表示质谱图像块幅度值;(a,b)代表图像当前像素位置;其中高分辨率图像块的形态学特征图Y作为网络真值,低分辨率图像块的形态学特征图X作为网络输入,获得训练样本集{X,Y};
步骤二:设计层级连接的深度卷积神经网络,用于学习预测低分辨率质谱形态学特征图中缺失的化学信息;
1)网络结构包括输入层、中间层和输出层;其中中间层设计为l层,每个中间层都由卷积层CONV以及激励层RELU组成;前j(j<l-1)层网络每层的卷积核参数为e*f*f,另外网络采用合并连接方式,将前j层网络输出使用concat方式连接起来获得e*j个特征图,进一步对这e*j个特征图卷积,卷积核个数为h,大小f*f;l为大于等于2整数,j为大于等于1整数
2)网络训练过程分为前向传播和反向传播过程,网络的前向传播过程:
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>;</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mo>...</mo>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msubsup>
<mi>W</mi>
<mrow>
<mi>k</mi>
<mi>j</mi>
</mrow>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>D</mi>
</munderover>
<msubsup>
<mi>W</mi>
<mrow>
<mi>j</mi>
<mi>i</mi>
</mrow>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中x表示网络输入,表示经过网络中间层后的输出,W为网络中间层的权重,b表示偏移量。D表示第一层卷积核个数,M为第二层卷积核个数;
网络反向传播过程为最小化loss函数Ev的过程,其中Ev表示为:
<mrow>
<msub>
<mi>E</mi>
<mi>v</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中,表示经过网络中间层后的输出,y表示网络真值;训练过程结束后,获得优化好的权重{W,b};
3)网络测试阶段,输入低分辨率质谱形态学特征图x,利用网络优化后的参数{W,b},根据公式
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>;</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mo>...</mo>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msubsup>
<mi>W</mi>
<mrow>
<mi>k</mi>
<mi>j</mi>
</mrow>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
<msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>D</mi>
</munderover>
<msubsup>
<mi>W</mi>
<mrow>
<mi>j</mi>
<mi>i</mi>
</mrow>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
获得高分辨率质谱形态学特征图y;
步骤三:构建质谱图像可视化的能量泛函G(u),将超分辨重建后的高分辨率形态学信息
重建成可视化的高分辨率质谱图像:
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>&Integral;</mo>
<msub>
<mo>&Integral;</mo>
<mi>&Omega;</mi>
</msub>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>u</mi>
<mo>-</mo>
<mi>E</mi>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
其中E为测试阶段网络输出的高分辨率形态学特征图,u为目标高分辨率质谱图像。
2.按照权利要求所述基于深度学习的质谱图像超分辨率重建方法,其特征在于:生物样本切片、基质喷涂、洗片处理后,设置质谱成像仪器参数并利用该仪器获取该生物样本的质谱信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711325735.1A CN108062744B (zh) | 2017-12-13 | 2017-12-13 | 一种基于深度学习的质谱图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711325735.1A CN108062744B (zh) | 2017-12-13 | 2017-12-13 | 一种基于深度学习的质谱图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108062744A true CN108062744A (zh) | 2018-05-22 |
CN108062744B CN108062744B (zh) | 2021-05-04 |
Family
ID=62138362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711325735.1A Active CN108062744B (zh) | 2017-12-13 | 2017-12-13 | 一种基于深度学习的质谱图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108062744B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598724A (zh) * | 2019-01-17 | 2019-12-20 | 西安理工大学 | 一种基于卷积神经网络的细胞低分辨率图像融合方法 |
CN110895799A (zh) * | 2018-09-13 | 2020-03-20 | 岛津分析技术研发(上海)有限公司 | 提高质谱谱图质量的方法、计算机存储介质、以及电子终端 |
CN111220755A (zh) * | 2018-11-26 | 2020-06-02 | 中国科学院大连化学物理研究所 | 一种合欢花识别平台和利用该平台的合欢花识别方法 |
CN111259909A (zh) * | 2018-11-30 | 2020-06-09 | 中国科学院大连化学物理研究所 | 一种lc-ms数据高灵敏度特征检测方法 |
CN111402143A (zh) * | 2020-06-03 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN111562305A (zh) * | 2019-02-14 | 2020-08-21 | 爱科维申科技(天津)有限公司 | 基于电磁层析成像技术的汽车减震器活塞缺陷检测方法 |
CN112885411A (zh) * | 2019-11-29 | 2021-06-01 | 中国科学院大连化学物理研究所 | 一种基于深度学习的多肽检测方法 |
CN113362899A (zh) * | 2021-04-20 | 2021-09-07 | 厦门大学 | 一种基于深度学习的蛋白质质谱数据的分析方法及系统 |
WO2022057868A1 (zh) * | 2020-09-21 | 2022-03-24 | 华为技术有限公司 | 图像超分方法和电子设备 |
CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
TWI807537B (zh) * | 2020-12-16 | 2023-07-01 | 荷蘭商Asml荷蘭公司 | 影像對準方法及系統 |
CN118553339A (zh) * | 2024-07-29 | 2024-08-27 | 兰州百源基因技术有限公司 | 一种质谱检测试剂盒定位方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130287173A1 (en) * | 2012-04-30 | 2013-10-31 | Seon-Hong Lee | Device for analyzing film on surface of electrode for rechargeable lithium battery and method of analyzing film on surface of electrode for rechargeable lithium battery using same |
CN103854955A (zh) * | 2012-11-30 | 2014-06-11 | 赛默菲尼根有限责任公司 | 用于四极质谱仪以便产生超分辨率质谱的指数式扫描模式 |
FR3000346B1 (fr) * | 2012-12-21 | 2015-01-23 | Thales Sa | Procede et dispositif de correction de reponse spatiale pour spectrometres a transformee de fourier imageurs |
CN105574474A (zh) * | 2014-10-14 | 2016-05-11 | 中国科学院大连化学物理研究所 | 一种基于质谱信息的生物特征图像识别方法 |
CN105718744A (zh) * | 2016-01-25 | 2016-06-29 | 深圳大学 | 一种基于深度学习的代谢质谱筛查方法及系统 |
CN106991648A (zh) * | 2017-04-10 | 2017-07-28 | 中国石油大学(华东) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
CN107301372A (zh) * | 2017-05-11 | 2017-10-27 | 中国科学院西安光学精密机械研究所 | 基于迁移学习的高光谱图像超分辨率方法 |
CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
-
2017
- 2017-12-13 CN CN201711325735.1A patent/CN108062744B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130287173A1 (en) * | 2012-04-30 | 2013-10-31 | Seon-Hong Lee | Device for analyzing film on surface of electrode for rechargeable lithium battery and method of analyzing film on surface of electrode for rechargeable lithium battery using same |
CN103854955A (zh) * | 2012-11-30 | 2014-06-11 | 赛默菲尼根有限责任公司 | 用于四极质谱仪以便产生超分辨率质谱的指数式扫描模式 |
FR3000346B1 (fr) * | 2012-12-21 | 2015-01-23 | Thales Sa | Procede et dispositif de correction de reponse spatiale pour spectrometres a transformee de fourier imageurs |
CN105574474A (zh) * | 2014-10-14 | 2016-05-11 | 中国科学院大连化学物理研究所 | 一种基于质谱信息的生物特征图像识别方法 |
CN105718744A (zh) * | 2016-01-25 | 2016-06-29 | 深圳大学 | 一种基于深度学习的代谢质谱筛查方法及系统 |
CN106991648A (zh) * | 2017-04-10 | 2017-07-28 | 中国石油大学(华东) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
CN107301372A (zh) * | 2017-05-11 | 2017-10-27 | 中国科学院西安光学精密机械研究所 | 基于迁移学习的高光谱图像超分辨率方法 |
CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110895799A (zh) * | 2018-09-13 | 2020-03-20 | 岛津分析技术研发(上海)有限公司 | 提高质谱谱图质量的方法、计算机存储介质、以及电子终端 |
CN110895799B (zh) * | 2018-09-13 | 2023-05-09 | 岛津分析技术研发(上海)有限公司 | 提高质谱谱图质量的方法、计算机存储介质、以及电子终端 |
CN111220755A (zh) * | 2018-11-26 | 2020-06-02 | 中国科学院大连化学物理研究所 | 一种合欢花识别平台和利用该平台的合欢花识别方法 |
CN111259909A (zh) * | 2018-11-30 | 2020-06-09 | 中国科学院大连化学物理研究所 | 一种lc-ms数据高灵敏度特征检测方法 |
CN110598724B (zh) * | 2019-01-17 | 2022-09-23 | 西安理工大学 | 一种基于卷积神经网络的细胞低分辨率图像融合方法 |
CN110598724A (zh) * | 2019-01-17 | 2019-12-20 | 西安理工大学 | 一种基于卷积神经网络的细胞低分辨率图像融合方法 |
CN111562305A (zh) * | 2019-02-14 | 2020-08-21 | 爱科维申科技(天津)有限公司 | 基于电磁层析成像技术的汽车减震器活塞缺陷检测方法 |
CN111562305B (zh) * | 2019-02-14 | 2024-01-26 | 爱科维申科技(天津)有限公司 | 基于电磁层析成像技术的汽车减震器活塞缺陷检测方法 |
CN112885411A (zh) * | 2019-11-29 | 2021-06-01 | 中国科学院大连化学物理研究所 | 一种基于深度学习的多肽检测方法 |
CN111402143A (zh) * | 2020-06-03 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN111402143B (zh) * | 2020-06-03 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
WO2022057868A1 (zh) * | 2020-09-21 | 2022-03-24 | 华为技术有限公司 | 图像超分方法和电子设备 |
TWI807537B (zh) * | 2020-12-16 | 2023-07-01 | 荷蘭商Asml荷蘭公司 | 影像對準方法及系統 |
CN113362899A (zh) * | 2021-04-20 | 2021-09-07 | 厦门大学 | 一种基于深度学习的蛋白质质谱数据的分析方法及系统 |
CN113362899B (zh) * | 2021-04-20 | 2023-12-19 | 厦门大学 | 一种基于深度学习的蛋白质质谱数据的分析方法及系统 |
CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
CN118553339A (zh) * | 2024-07-29 | 2024-08-27 | 兰州百源基因技术有限公司 | 一种质谱检测试剂盒定位方法及系统 |
CN118553339B (zh) * | 2024-07-29 | 2024-09-27 | 兰州百源基因技术有限公司 | 一种质谱检测试剂盒定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108062744B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062744B (zh) | 一种基于深度学习的质谱图像超分辨率重建方法 | |
Li et al. | Medical image fusion method by deep learning | |
Kang et al. | Stainnet: a fast and robust stain normalization network | |
US12029594B2 (en) | Systems and methods for enhanced imaging and analysis | |
Wang et al. | Histopathological image classification with bilinear convolutional neural networks | |
CN111870245B (zh) | 一种跨对比度引导的超快速核磁共振成像深度学习方法 | |
JP2023544466A (ja) | Pet/ctに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置 | |
CN113256772B (zh) | 一种基于视角转换的双角度光场高分辨重构系统及方法 | |
Carpio et al. | Noninvasive imaging of three-dimensional micro and nanostructures by topological methods | |
Nazib et al. | A comparative analysis of registration tools: Traditional vs deep learning approach on high resolution tissue cleared data | |
CN117541471B (zh) | 基于sph启发的pg-spect图像超分辨重建方法 | |
CN113378472B (zh) | 一种基于生成对抗网络的混合边界电磁逆散射成像方法 | |
Du et al. | A multi-scale mixed convolutional network for infrared image super-resolution reconstruction | |
CN117338249A (zh) | 一种激发荧光断层成像方法 | |
Schweiger et al. | Application of the finite element method for the forward model in infrared absorption imaging | |
CN111524078A (zh) | 一种基于稠密网络的显微镜图像去模糊方法 | |
CN106952233A (zh) | 荧光多分子定位方法、装置以及超分辨成像方法、系统 | |
Xu et al. | Interactive algorithms in complex image processing systems based on big data | |
CN114943806B (zh) | 基于多角度光场成像装置的广角光场三维成像方法及系统 | |
Hu et al. | Remote Sensing Image Reconstruction Method Based on Parameter Adaptive Dual-Channel Pulse-Coupled Neural Network to Optimize Multiscale Decomposition | |
CN114693828B (zh) | 基于交替方向乘子法的傅里叶叠层成像重建方法 | |
CN117037149B (zh) | 基于半监督群优化的多重免疫组化高光谱影像解混方法 | |
Hennig | Super-resolution 3D dot localization in Escherichia Coli using a convolutional neural network | |
CN117830565B (zh) | 一种多算子自监督荧光分子断层成像方法及系统 | |
Zhou et al. | Human attention‐inspired volume reconstruction method on serial section electron microscopy images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |