CN110796603B - 一种深层肿瘤新生血管的高分辨率光声成像方法 - Google Patents

一种深层肿瘤新生血管的高分辨率光声成像方法 Download PDF

Info

Publication number
CN110796603B
CN110796603B CN201911165348.5A CN201911165348A CN110796603B CN 110796603 B CN110796603 B CN 110796603B CN 201911165348 A CN201911165348 A CN 201911165348A CN 110796603 B CN110796603 B CN 110796603B
Authority
CN
China
Prior art keywords
resolution
tumor
resolution photoacoustic
deep learning
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911165348.5A
Other languages
English (en)
Other versions
CN110796603A (zh
Inventor
司广涛
孟静
赵景秀
禹继国
郑炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Normal University
Original Assignee
Qufu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Normal University filed Critical Qufu Normal University
Priority to CN201911165348.5A priority Critical patent/CN110796603B/zh
Publication of CN110796603A publication Critical patent/CN110796603A/zh
Application granted granted Critical
Publication of CN110796603B publication Critical patent/CN110796603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度学习模型下深层肿瘤新生血管的高分辨率光声成像方法，属于生物医学成像领域，具体步骤为：采集训练数据，在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像，在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；基于训练数据，训练深度学习模型，深度学习模型为生成对抗深度学习网络模型；基于训练后的深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。本发明实现了声学分辨率光声成像系统下的光学分辨率的光声图像重建，能够对深层肿瘤新生血管进行光学分辨率成像，清晰获取整个肿瘤区域的新生血管网络，从而为后续的各种肿瘤血管量化分析提供高质量的血管数据。

Description

一种深层肿瘤新生血管的高分辨率光声成像方法
技术领域
本发明属于生物医学成像技术领域，具体涉及一种深层肿瘤新生血管的高分辨率光声成像方法。
背景技术
肿瘤血管生成是指肿瘤会不断诱导组织生成新血管。新生成的血管除了为肿瘤生长提供养分，也是肿瘤扩散和转移的渠道。生物医学成像技术不但是肿瘤血管识别和定位的主要工具，也是在体观察血管生长、评估血管功能、以及肿瘤生长机理研究和检测抗肿瘤药物疗效的重要手段。
基于不同物理效应发展起来的生物医学成像方法，如X射线计算机断层成像(CT)、磁共振成像(MRI)、超声成像等，已经成为临床上肿瘤早期发现、诊断和治疗评估的重要手段；另一方面，传统的高分辨率光学成像技术，如荧光共焦显微镜、双光子显微镜等，对于深入理解肿瘤的发生、发展和转移，以及抗肿瘤新药的开发，发挥了不可替代的作用。然而，临床上使用的MRI、CT、和超声等技术的空间分辨率远没有达到观察肿瘤血管生长和细微变化所需要的微米量级。而目前肿瘤新生血管的研究中使用最多的高分辨率光学成像技术，成像深度仅为0.5–1mm，应用范围有很大的局限。
因此，急需一种实现深层肿瘤组织新生血管的高分辨率光声成像方法。
发明内容
本发明目的在于提供一种实现深层肿瘤组织新生血管的高分辨率光声成像的方法，发明的内容如下：
一种深层肿瘤新生血管的高分辨率光声成像方法，包括如下步骤：
步骤1、采集训练数据；
在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；
步骤2、基于所述训练数据，训练深度学习模型，所述深度学习模型为生成对抗深度学习网络(generative adversarial network，GAN)模型；
步骤3、基于训练后的所述深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。
进一步地，所述训练数据采集时，将对应声学分辨率系统下成像断面的肿瘤组织以组织切片的方式切成薄片形成切片组织，然后对所述切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像。
进一步地，所述训练数据中的所述低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
进一步地，所述生成对抗深度学习网络模型训练过程中，输入为所述低分辨率光声图像，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化。
进一步地，所述生成对抗深度学习网络模型训练过程中，选取80％的所述训练数据用于训练所述生成对抗深度学习网络，并确定所述生成对抗深度学习网络中的各个参数；剩余20％的所述训练数据用来验证所述生成对抗深度学习网络的性能。
进一步地，将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的所述深度学习模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
进一步地，所述生成对抗深度学习网络模型如图2所示。
本发明的有益效果：
①实现了声学分辨率光声成像系统下的光学分辨率的光声图像重建；
②基于本发明能够实现深层肿瘤组织新生血管的高分辨率光声成像，从而在实际应用中，能够获取整个肿瘤组织新生血管网络的高分辨率光声图像。然后，基于新生血管的网络，可以后续用图像处理的方法，实现对肿瘤新生血管形态的评估，如：直径，弯曲度，密度和分型维数等。这些量化参数可以直接用于肿瘤发展机理研究，肿瘤生长的监控、评估和预测。
③不需对现有的声学分辨率和光学分辨率光声成像系统进行硬件改进，就可以实现；
④肿瘤新生血管图像的光学分辨率成像，将为肿瘤生长机理研究，癌症早期诊断和抗肿瘤药物研发提供强有力的技术手段。
附图说明
图1深度学习模型下实现深层肿瘤组织新生血管的高分辨率光声成像的方法流程图
图2深度学习模型训练、工作流程图
具体实施方式
本发明实施过程为：
(一)训练数据的采集。
在声学分辨率光声成像系统下采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集高分辨率的肿瘤血管图像；
将对应声学分辨率系统下的成像断面的肿瘤组织利用组织切片的方式，将肿瘤组织切成薄片形成新的切片组织，然后对该切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像；
将低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
(二)生成对抗深度学习网络模型的训练
基于上述采集的训练数据，训练深度学习模型，本发明中采用生成对抗深度学习网络(generative adversarial network，GAN)模型，GAN模型同时训练两个子网络：G模型用于增强低分辨率图像，D模型用于返回对抗低分辨率增强图像的对抗丢失。
训练过程中，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化，本实施例采用以下丢失函数(目标函数)：
Figure GDA0002336646960000041
L(D；G)＝-logD(y)-log[1-D(G(x))]
其中，x为低分辨率光声图像，y为高分辨率光声图像，SSIM为结构相似性函数，MSE为均方误差函数。
具体，将选取80％的训练数据用于训练生成对抗深度学习网络，确定网络中的各个参数；剩余20％用来验证生成对抗深度学习网络的性能。
(三)高分辨率肿瘤新生血管成像
训练后的深度学习模型可以实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。具体的，将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的深度学习网络模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围的。

Claims (5)

1.一种深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：包括如下步骤：
步骤1、采集训练数据；
在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；
步骤2、基于所述训练数据，训练深度学习模型，所述深度学习模型为生成对抗深度学习网络(generativeadversarialnetwork，GAN)模型；
步骤3、基于训练后的所述深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像；
所述训练数据采集时，将对应声学分辨率系统下成像断面的肿瘤组织以组织切片的方式切成薄片形成切片组织，然后对所述切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像。
2.根据权利要求1所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述训练数据中的所述低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
3.根据权利要求2所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述生成对抗深度学习网络模型训练过程中，输入为所述低分辨率光声图像，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化。
4.根据权利要求3所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述生成对抗深度学习网络模型训练过程中，选取80％的所述训练数据用于训练所述生成对抗深度学习网络，并确定所述生成对抗深度学习网络中的各个参数；剩余20％的所述训练数据用来验证所述生成对抗深度学习网络的性能。
5.根据权利要求1所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的所述深度学习模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
CN201911165348.5A 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法 Active CN110796603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911165348.5A CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911165348.5A CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Publications (2)

Publication Number Publication Date
CN110796603A CN110796603A (zh) 2020-02-14
CN110796603B true CN110796603B (zh) 2023-05-23

Family

ID=69446013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911165348.5A Active CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Country Status (1)

Country Link
CN (1) CN110796603B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097851A1 (zh) * 2010-02-11 2011-08-18 华南师范大学 细胞光声显微成像方法及其装置
CN103207150A (zh) * 2013-03-21 2013-07-17 华中科技大学 一种组织样品高分辨率断层光学显微成像装置
CN105118038A (zh) * 2015-09-11 2015-12-02 哈尔滨工业大学（威海） 基于二阶广义全变差的光声显微镜高分辨率图像重构方法
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法
CN106707492A (zh) * 2017-01-13 2017-05-24 清华大学 基于空间光调制器的采集端频域拼贴显微系统
CN106943120A (zh) * 2017-04-21 2017-07-14 厦门大学 一种光声显微镜及其监测微泡在生物组织中爆破的方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415201B (zh) * 2019-07-30 2022-03-22 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097851A1 (zh) * 2010-02-11 2011-08-18 华南师范大学 细胞光声显微成像方法及其装置
CN103207150A (zh) * 2013-03-21 2013-07-17 华中科技大学 一种组织样品高分辨率断层光学显微成像装置
CN105118038A (zh) * 2015-09-11 2015-12-02 哈尔滨工业大学（威海） 基于二阶广义全变差的光声显微镜高分辨率图像重构方法
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法
CN106707492A (zh) * 2017-01-13 2017-05-24 清华大学 基于空间光调制器的采集端频域拼贴显微系统
CN106943120A (zh) * 2017-04-21 2017-07-14 厦门大学 一种光声显微镜及其监测微泡在生物组织中爆破的方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Also Published As

Publication number Publication date
CN110796603A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN108324310B (zh) 医学图像提供设备及其医学图像处理方法
CN107361791B (zh) 一种快速超分辨血流成像方法
DE102018218751A1 (de) Machinengestützter arbeitsablauf bei der ultraschallbildgebung
Lee et al. Automated motion artifact removal for intravital microscopy, without a priori information
DE102012108121A1 (de) Verfahren und System für ultraschallgestützte automatische Erkennung, Quantifizierung und Nachverfolgung von Pathologien
US20200187910A1 (en) Adaptive multifocus beamforming ultrasound methods and systems for improved penetration and target sensitivity at high frame-rates
Gowri et al. A review on mammogram image enhancement techniques for breast cancer detection
Lan et al. Reconstruct the photoacoustic image based on deep learning with multi-frequency ring-shape transducer array
Dawood et al. Imaging fetal anatomy
JP2010094181A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
WO2023039353A2 (en) Real-time super-resolution ultrasound microvessel imaging and velocimetry
CN112489788A (zh) 一种用于癌症诊断的多模态影像分析方法及系统
Ma et al. Human breast numerical model generation based on deep learning for photoacoustic imaging
Ganvir et al. Filtering method for pre-processing mammogram images for breast cancer detection
Lei et al. In vivo ultrasound localization microscopy imaging of the Kidney’s microvasculature with block-matching 3-D denoising
CN110796603B (zh) 一种深层肿瘤新生血管的高分辨率光声成像方法
CN110827275B (zh) 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法
US11672503B2 (en) Systems and methods for detecting tissue and shear waves within the tissue
JP2023183408A (ja) 磁気共鳴拡散テンソルイメージングに基づくヒト脳軸索密度の定量的評価方法
Gu et al. AIDS brain MRIs synthesis via generative adversarial networks based on attention-encoder
CN107076820A (zh) 用于评估和提高在精细结构分析数据中的数据质量的方法
Jha et al. Artificial Intelligence In Field of Medical Imaging Informatics
Golemati et al. Carotid artery motion estimation from sequences of B-mode ultrasound images: effect of scanner settings and image normalization
Mamou Ultrasonic characterization of three animal mammary tumors from three-dimensional acoustic tissue models
Zhao et al. Imaging small absorbing and scattering objects in turbid media using diffuse optical tomography structurally guided by reconstructive ultrasound tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant