CN113066144B - 一种基于深度学习的多模态扩散光学层析成像重建方法 - Google Patents

一种基于深度学习的多模态扩散光学层析成像重建方法 Download PDF

Info

Publication number
CN113066144B
CN113066144B CN202110258626.2A CN202110258626A CN113066144B CN 113066144 B CN113066144 B CN 113066144B CN 202110258626 A CN202110258626 A CN 202110258626A CN 113066144 B CN113066144 B CN 113066144B
Authority
CN
China
Prior art keywords
optical
layer
operations
network
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110258626.2A
Other languages
English (en)
Other versions
CN113066144A (zh
Inventor
冯金超
张万龙
贾克斌
孙中华
李哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110258626.2A priority Critical patent/CN113066144B/zh
Publication of CN113066144A publication Critical patent/CN113066144A/zh
Application granted granted Critical
Publication of CN113066144B publication Critical patent/CN113066144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于深度学习的多模态扩散光学层析成像重建方法，属于医学图像处理领域，要解决的技术问题是如何将光学信号与核磁共振成像进行融合实现端到端的光学特征参数直接重建，为解决上述技术问题，本发明分析并构建Z‑Net神经网络将光学信号与核磁共振图像同时作为网络输入，通过网络训练直接建立光学信号与光学特性参数之间的非线性关系，实现光学信号到光学特性参数的端到端重建，设计仿真实验模拟肿瘤情况，在训练过程中选择合适的网络参数，并测试模型性能，最后展示了本发明对DOT重建的表现，证明本发明可应用于扩散光学层析成像重建工作。

Description

一种基于深度学习的多模态扩散光学层析成像重建方法
技术领域
本发明属于医学图像处理领域，涉及一种基于深度学习的多模态扩散光学层析成像重建方法。
背景技术
扩散光学层析成像(Diffusion optical tomography,DOT)是一种新兴的非侵入性光学成像技术，该技术的主要依据是生物体内不同的组织内血氧、血红蛋白及水等物质含量有所差异，从而导致不同组织对近红外光的吸收系数μa及其他光学参数产生差别[1]，扩散光学层析成像通过用近红外光对生物组织照射并检测含有组织光学信息的出射光进行病灶成像或考察生物光学参数的相对变化。
相比其他医学成像模态，扩散光学层析成像具有成像时间短、非侵入、无损伤、成像深度深、特异性强、能获得待测组织的功能信息和结构等优点[2-4]。但在DOT图像重建中，由于光在生物组织中的传播受到介质的强散射特性的影响，加之测量值数量有限，导致DOT图像重建具有严重的病态性和不适定性。以X射线、超声以及核磁共振成像(MagneticResonance Imaging，MRI)等高分辨率成像技术提供结构信息引导的DOT图像重建[5-7]，具有较高的计算效率和重建图像精度；但此过程需要精准分割其他成像模态所提供的结构图像，导致重建结果很大程度依赖于分割精度，例如目前乳腺图像大多数是由人工分割的，这十分耗费人力和资源。
得益于神经网络和深度学习技术快速发展，为生物医学成像领域带来了新的研究思路。[8]中的U-net神经网络实现了医学图像的自动分割，但仍需将分割结果结合到后续的重建工作中，并未实现光学信号到图像域的端到端直接重建。[9]将两层的神经网络应用到DOT图像重建中，但该方法的重建结果只能粗略定位异常区位置，且需要分别训练两个神经网络；[10]提出了基于卷积神经网络的DOT图像重建方法，该方法的网络输出仅为仿体吸收系数和散射系数的单个数值，而非整个待重建区域的光学参数分布，同样没有实现直接从探测器采集的光学信号到图像域的端到端重建。因此，如何将其他模态与光学信号进行融合实现端到端的光学特征参数直接重建变得十分有意义。
参考文献：
[1]郭伟.生物自发荧光断层成像的稀疏重建方法研究[D].北京工业大学,2013.
[2]Alex H.Barnett,Joseph P.Culver,A,Gregory Sorensen,Anders Dale,DavidA.Boas.Robust inference ofbaseline optical properties ofthe human headwith three-dimensional segmentation frommagnetic resonanceimaging.AppliedOptics,2003,42(16)：3095～3108.
[3]汪立宏，吴新一.生物医学光学原理和成像[M].安徽：中国科学技术大学出版社，2017:229.
[4]David,A,Boas,et al,Diffuse optical imaging ofbrain activation:approaches to optimizing image sensitivity,resolution,andaccuracy[J].Neuroimage,2004.
[5]AlthobaitiM,etal,Diffuse opticaltomographyreconstructionmethodusingultrasoundimages asprior forregularization matrix[J].Journal ofbiomedicaloptics,2017,22(2):026002.1-026002.9.
[6]Zhang L,et al,Direct regularization from co-registered contrastMRI improves image quality of MRI-guided near-infrared spectral tomography ofbreast lesions.[J].IEEE Transactions on Medical Imaging,2018.37(5):1247-1252.
[7]Carpenter C M,et al,Methodology development for three-dimensionalMR-guided near infrared spectroscopy ofbreasttumors[J].Optics Express,2008,16(22):17903-17914.
[8]Hu X,Yang H,DRU-net:a novel U-net for biomedical imagesegmentation.[C].IEEE Transactions onMedical Imaging,2020.
[9]LI,T,W.LI and Z.QIAN,Near-infrared optical tomography imagereconstruction approach based on two-layered BP neural network[J].JournalofInnovative Optical Health Sciences,2009.2(2):p.143-147.
[10]Sabir,S,et al.,Convolutional neural network-based approach toestimate bulk optical properties in diffuse opticaltomography[J].AppliedOptics,2020.59(5):1461.
发明内容
·发明目的
本发明立足现有研究的不足，提出了一种将核磁共振成像与光学信号进行深度融合的多模态扩散光学层析成像重建方法。本发明利用核磁共振成像可为DOT图像重建提供结构信息的优点，以及神经网络强大的非线性映射能力，构建Z-Net神经网络将核磁共振成像与光学信号进行融合，避免对核磁共振成像提供的结构图像进行分割，直接实现端到端的光学特性参数重建。
·发明方案
本发明要解决的技术问题是如何将光学信号与核磁共振成像进行融合实现端到端的光学特征参数直接重建。
为解决上述技术问题本发明采取了如下技术方案：首先分析并构建本发明的模型结构Z-Net，再通过PyTorch框架对模型进行实现，然后设计仿真实验模拟肿瘤情况，在训练过程中选择合适的网络参数，并测试本发明的模型性能，验证本发明对DOT重建的表现。
扩散光学层析成像的前向过程为在光学参数分布已知的情况下，根据扩散近似方程求解出边界测量值Φ。本发明将光学信号以及对应的核磁共振图像作为Z-Net神经网络的两个输入，网络最终输出光学特征参数分布图。
本发明所构建的Z-Net网络结构如图1所示，包括以下操作：
步骤1、光学信号作为网络的一个输入，通过下采样操作映射到空间然后经过四层上采样得到光学信号的特征；
首先下采样的实现过程为：
其中为经下采样的输出，k3×3代表大小为3×3的卷积核，σ(·)代表批归一化(batch normalization,BN)和线性整流(rectified linear unit,ReLU)操作，P为池化操作，*代表卷积操作,L代表双采样线性插值操作，用来改变输出尺寸，该步操作可接受不同尺寸的光学信号作为输入；
每层上采样操作包括反卷积操作和卷积操作，以及BN和ReLU处理，其中，每层上采样的输出为：
其中作为每个上采样层的输入，/>为反卷积操作，k2×2为大小为2×2的卷积核；
步骤2、核磁共振图像m作为网络的第二个输入，先通过卷积操作改变通道数，然后进行四层下采样，最终获取核磁共振图像的结构信息；
首先卷积操作实现过程为：
ψ0＝σ(σ(m*k1×1)*k1×1) (3)
其中ψ0为采样操作的输出，此操作中k1×1为1×1大小卷积核，该步骤用于改变通道数大小；
每层下采样包括两步卷积操作以及最大池化操作，以及BN和ReLU处理，其中，每层下采样的输出为：
ψn＝Pmax(σ(σ(ψn-1*k3×3)*k3×3))n＝1,2,3,4 (4)
其中ψn-1为每层下采样操作的输入，Pmax为最大池化(max pooling)操作；
步骤3、经步骤1得到的光学信号的特征与步骤2得到的结构特征用跳连接结合进行融合后，进行上采样操作，最终输出光学特性参数图像，并且要保证融合的特征之间具有相同结构；其中和ψ4的融合为：
其中φ0为该层网络输出的特征值，为concatenation操作，然后将具有相同结构的特征值采取相似融合操作，每个融合层输出为：
最终经过四层融合后将输出φ4进行卷积采样操作，用于改变通道数，网络最终输出光学特性参数图像
本发明为了验证所提方法的可行性和有效性，进行了一系列仿真实验。实验使用直径为80mm的二维圆形仿体用来生成数据集，沿模型的圆周均匀地放置了共16个光源和16个检测器，在每个光源进行照射时，在其余15个位置上的检测器收集数据，每次得到240个(16×15)测量值，光源探测器位置如图2所示；本发明所用的MRI图像通过计算机仿真产生，每张MRI图像具有与对应近红外光图像相同的结构、仿体大小以及异常区大小，如图3所示。最后将数据集中单异常区样本和双异常区样本混合，共7000个样本，其中5000个样本进行网络训练，1000个用于验证，1000个用于测试，在训练过程中设置迭代次数epoch＝150,学习率η＝0.005，batch_size＝128，采用Adam优化器以及MSE损失函数。
本发明构建Z-Net神经网络将光学信号与核磁共振图像同时作为网络输入，通过网络训练直接建立光学信号与光学特性参数之间的非线性关系，实现光学信号到光学特性参数的端到端重建，而无需构建描述光子在生物组织内传输规律的数学模型，也不需要对核磁共振图像进行图像分割处理。
·发明效果
本发明的两组重建结果如图4和图5所示。其中图4为单异常区情况下的重建结果，包括不同异常区位置、不同的异常区尺寸和不同的吸收系数，第一行为吸收系数的真实分布，第二行为本发明重建结果，对比可知本发明较为准确的重建出异常区形状和位置，并且具有较高的重建精度。图5展示了具有不同吸收系数值的双异常区重建结果，本发明同样表现出较高的重建精度。
附图说明
图1为Z-Net网络结构。
图2为光源及探测器的位置。
图3为仿真MRI灰度值设置示意图。
图4为具有不同大小和不同吸收系数值的单异常区重建图像。
图5为具有不同吸收系数值的双异常区重建图像。

Claims (2)

1.一种基于深度学习的多模态扩散光学层析成像重建方法，其特征在于：构建Z-Net神经网络将光学信号与核磁共振图像同时作为网络输入，通过网络训练直接建立光学信号与光学特性参数之间的非线性关系，实现光学信号到光学特性参数的端到端重建，而无需构建描述光子在生物组织内传输规律的数学模型，也不需要对核磁共振图像进行图像分割处理；
所述的Z-Net神经网络具体包括：
步骤1、光学信号作为网络的第一个输入，通过下采样操作映射到空间/>然后经过四层上采样得到光学信号的特征；
首先下采样的实现过程为：
其中为经下采样的输出，k3×3代表大小为3×3的卷积核，σ(·)代表批归一化BN和线性整流ReLU操作，P为池化操作，*代表卷积操作,L代表双采样线性插值操作，用来改变输出尺寸，该步操作可接受不同尺寸的光学信号作为输入；
每层上采样操作包括反卷积操作和卷积操作，以及BN和ReLU处理，其中，每层上采样的输出为：
其中作为每个上采样层的输入，/>为反卷积操作，k2×2为大小为2×2的卷积核；
步骤2、核磁共振图像m作为网络的第二个输入，先通过卷积操作改变通道数，然后进行四层下采样，最终获取核磁共振图像的结构信息；
首先卷积操作实现过程为：
ψ0＝σ(σ(m*k1×1)*k1×1) (3)
其中ψ0为采样操作的输出，此操作中k1×1为1×1大小卷积核，该步骤用于改变通道数大小；
每层下采样包括两步卷积操作和最大池化操作，以及BN和ReLU处理，其中，每层下采样的输出为：
ψn＝Pmax(σ(σ(ψn-1*k3×3)*k3×3)) n＝1,2,3,4 (4)
其中ψn-1为每层下采样操作的输入，Pmax为最大池化(max pooling)操作；
步骤3、经步骤1得到的光学信号的特征与步骤2得到的结构特征用跳连接结合进行融合后，进行上采样操作，最终输出光学特性参数图像，并且要保证融合的特征之间具有相同结构；其中和ψ4的融合为：
其中φ0为该层网络输出的特征值，为concatenation操作，然后将具有相同结构的特征值采取融合操作，每个融合层输出为：
最终将经过四层融合后的输出φ4进行卷积采样操作，用于改变通道数，网络最终输出光学特性参数图像
2.根据权利要求1所述的一种基于深度学习的多模态扩散光学层析成像重建方法，其特征在于：网络训练采用Adam优化器以及MSE损失函数来不断更新网络权重及偏置，直至模型误差满足要求或达到其他训练停止条件时停止训练。
CN202110258626.2A 2021-03-09 2021-03-09 一种基于深度学习的多模态扩散光学层析成像重建方法 Active CN113066144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110258626.2A CN113066144B (zh) 2021-03-09 2021-03-09 一种基于深度学习的多模态扩散光学层析成像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110258626.2A CN113066144B (zh) 2021-03-09 2021-03-09 一种基于深度学习的多模态扩散光学层析成像重建方法

Publications (2)

Publication Number Publication Date
CN113066144A CN113066144A (zh) 2021-07-02
CN113066144B true CN113066144B (zh) 2024-02-06

Family

ID=76560022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110258626.2A Active CN113066144B (zh) 2021-03-09 2021-03-09 一种基于深度学习的多模态扩散光学层析成像重建方法

Country Status (1)

Country Link
CN (1) CN113066144B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110151133A (zh) * 2019-05-24 2019-08-23 哈尔滨工业大学 基于图像分割与时频信息融合的乳腺光学成像装置及方法
CN110880196A (zh) * 2019-11-11 2020-03-13 哈尔滨工业大学（威海） 基于深度学习的肿瘤光声图像快速重建方法及装置
CN111028306A (zh) * 2019-11-06 2020-04-17 杭州电子科技大学 基于AR2 U-Net神经网络的快速磁共振成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110151133A (zh) * 2019-05-24 2019-08-23 哈尔滨工业大学 基于图像分割与时频信息融合的乳腺光学成像装置及方法
CN111028306A (zh) * 2019-11-06 2020-04-17 杭州电子科技大学 基于AR2 U-Net神经网络的快速磁共振成像方法
CN110880196A (zh) * 2019-11-11 2020-03-13 哈尔滨工业大学（威海） 基于深度学习的肿瘤光声图像快速重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Y-Net: Hybrid deep learning image reconstruction for photoacoustic tomography in vivo》;Lan Hengrong等;《Photoacoustics》;第20卷;第1-11页 *

Also Published As

Publication number Publication date
CN113066144A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
Gröhl et al. Deep learning for biomedical photoacoustic imaging: A review
Bench et al. Toward accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in three dimensions
US20190133451A1 (en) Apparatus for acquiring biofunctional information, method for acquiring biofunctional information, and program therefor
Mandal et al. Visual quality enhancement in optoacoustic tomography using active contour segmentation priors
Rajendran et al. Photoacoustic imaging aided with deep learning: a review
CN111103275B (zh) Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
Portegies et al. Improving fiber alignment in HARDI by combining contextual PDE flow with constrained spherical deconvolution
Zhang et al. UHR-DeepFMT: ultra-high spatial resolution reconstruction of fluorescence molecular tomography based on 3-D fusion dual-sampling deep neural network
Pradhan et al. Computational tissue staining of non-linear multimodal imaging using supervised and unsupervised deep learning
CN102034266B (zh) 激发荧光断层成像的快速稀疏重建方法和设备
CN103300829B (zh) 一种基于迭代重加权的生物自发荧光断层成像方法
CN107146261B (zh) 基于磁共振影像先验感兴趣区的生物发光断层成像定量重建方法
Nitkunanantharajah et al. Three-dimensional optoacoustic imaging of nailfold capillaries in systemic sclerosis and its potential for disease differentiation using deep learning
Zou et al. Machine learning model with physical constraints for diffuse optical tomography
CN111956180B (zh) 一种重建光声内窥层析图像的方法
Zhang et al. Deep-learning-enabled microwave-induced thermoacoustic tomography based on sparse data for breast cancer detection
Vavadi et al. Automated data selection method to improve robustness of diffuse optical tomography for breast cancer imaging
Wang et al. Fluorescence molecular tomography reconstruction of small targets using stacked auto-encoder neural networks
Madhumathy et al. Deep learning based photo acoustic imaging for non-invasive imaging
Zhang et al. Target depth-regularized reconstruction in diffuse optical tomography using ultrasound segmentation as prior information
Murad et al. Reconstruction and localization of tumors in breast optical imaging via convolution neural network based on batch normalization layers
Agrawal et al. Learning optical scattering through symmetrical orthogonality enforced independent components for unmixing deep tissue photoacoustic signals
Deng et al. Impact of errors in experimental parameters on reconstructed breast images using diffuse optical tomography
CN113066144B (zh) 一种基于深度学习的多模态扩散光学层析成像重建方法
WO2023205726A1 (en) Deep learning based image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant