CN110796603A - 一种深层肿瘤新生血管的高分辨率光声成像方法 - Google Patents

一种深层肿瘤新生血管的高分辨率光声成像方法 Download PDF

Info

Publication number
CN110796603A
CN110796603A CN201911165348.5A CN201911165348A CN110796603A CN 110796603 A CN110796603 A CN 110796603A CN 201911165348 A CN201911165348 A CN 201911165348A CN 110796603 A CN110796603 A CN 110796603A
Authority
CN
China
Prior art keywords
resolution
tumor
resolution photoacoustic
deep learning
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911165348.5A
Other languages
English (en)
Other versions
CN110796603B (zh
Inventor
司广涛
孟静
赵景秀
禹继国
郑炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Normal University
Original Assignee
Qufu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Normal University filed Critical Qufu Normal University
Priority to CN201911165348.5A priority Critical patent/CN110796603B/zh
Publication of CN110796603A publication Critical patent/CN110796603A/zh
Application granted granted Critical
Publication of CN110796603B publication Critical patent/CN110796603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种深度学习模型下深层肿瘤新生血管的高分辨率光声成像方法，属于生物医学成像领域，具体步骤为：采集训练数据，在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像，在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；基于训练数据，训练深度学习模型，深度学习模型为生成对抗深度学习网络模型；基于训练后的深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。本发明实现了声学分辨率光声成像系统下的光学分辨率的光声图像重建，能够对深层肿瘤新生血管进行光学分辨率成像，清晰获取整个肿瘤区域的新生血管网络，从而为后续的各种肿瘤血管量化分析提供高质量的血管数据。

Description

一种深层肿瘤新生血管的高分辨率光声成像方法
技术领域
本发明属于生物医学成像技术领域，具体涉及一种深层肿瘤新生血管的高分辨率光声成像方法。
背景技术
肿瘤血管生成是指肿瘤会不断诱导组织生成新血管。新生成的血管除了为肿瘤生长提供养分，也是肿瘤扩散和转移的渠道。生物医学成像技术不但是肿瘤血管识别和定位的主要工具，也是在体观察血管生长、评估血管功能、以及肿瘤生长机理研究和检测抗肿瘤药物疗效的重要手段。
基于不同物理效应发展起来的生物医学成像方法，如X射线计算机断层成像(CT)、磁共振成像(MRI)、超声成像等，已经成为临床上肿瘤早期发现、诊断和治疗评估的重要手段；另一方面，传统的高分辨率光学成像技术，如荧光共焦显微镜、双光子显微镜等，对于深入理解肿瘤的发生、发展和转移，以及抗肿瘤新药的开发，发挥了不可替代的作用。然而，临床上使用的 MRI、CT、和超声等技术的空间分辨率远没有达到观察肿瘤血管生长和细微变化所需要的微米量级。而目前肿瘤新生血管的研究中使用最多的高分辨率光学成像技术，成像深度仅为0.5–1mm，应用范围有很大的局限。
因此，急需一种实现深层肿瘤组织新生血管的高分辨率光声成像方法。
发明内容
本发明目的在于提供一种实现深层肿瘤组织新生血管的高分辨率光声成像的方法，发明的内容如下：
一种深层肿瘤新生血管的高分辨率光声成像方法，包括如下步骤：
步骤1、采集训练数据；
在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；
步骤2、基于所述训练数据，训练深度学习模型，所述深度学习模型为生成对抗深度学习网络(generative adversarial network，GAN)模型；
步骤3、基于训练后的所述深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。
进一步地，所述训练数据采集时，将对应声学分辨率系统下成像断面的肿瘤组织以组织切片的方式切成薄片形成切片组织，然后对所述切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像。
进一步地，所述训练数据中的所述低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
进一步地，所述生成对抗深度学习网络模型训练过程中，输入为所述低分辨率光声图像，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化。
进一步地，所述生成对抗深度学习网络模型训练过程中，选取80％的所述训练数据用于训练所述生成对抗深度学习网络，并确定所述生成对抗深度学习网络中的各个参数；剩余20％的所述训练数据用来验证所述生成对抗深度学习网络的性能。
进一步地，将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的所述深度学习模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
进一步地，所述生成对抗深度学习网络模型如图2所示。
本发明的有益效果：
①实现了声学分辨率光声成像系统下的光学分辨率的光声图像重建；
②基于本发明能够实现深层肿瘤组织新生血管的高分辨率光声成像，从而在实际应用中，能够获取整个肿瘤组织新生血管网络的高分辨率光声图像。然后，基于新生血管的网络，可以后续用图像处理的方法，实现对肿瘤新生血管形态的评估，如：直径，弯曲度，密度和分型维数等。这些量化参数可以直接用于肿瘤发展机理研究，肿瘤生长的监控、评估和预测。
③不需对现有的声学分辨率和光学分辨率光声成像系统进行硬件改进，就可以实现；
④肿瘤新生血管图像的光学分辨率成像，将为肿瘤生长机理研究，癌症早期诊断和抗肿瘤药物研发提供强有力的技术手段。
附图说明
图1深度学习模型下实现深层肿瘤组织新生血管的高分辨率光声成像的方法流程图
图2深度学习模型训练、工作流程图
具体实施方式
本发明实施过程为：
(一)训练数据的采集。
在声学分辨率光声成像系统下采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集高分辨率的肿瘤血管图像；
将对应声学分辨率系统下的成像断面的肿瘤组织利用组织切片的方式，将肿瘤组织切成薄片形成新的切片组织，然后对该切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像；
将低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
(二)生成对抗深度学习网络模型的训练
基于上述采集的训练数据，训练深度学习模型，本发明中采用生成对抗深度学习网络(generative adversarial network，GAN)模型，GAN模型同时训练两个子网络：G模型用于增强低分辨率图像，D模型用于返回对抗低分辨率增强图像的对抗丢失。
训练过程中，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化，本实施例采用以下丢失函数(目标函数)：
Figure RE-GDA0002336646960000041
L(D；G)＝-logD(y)-log[1-D(G(x))]
其中，x为低分辨率光声图像，y为高分辨率光声图像，SSIM为结构相似性函数，MSE为均方误差函数。
具体，将选取80％的训练数据用于训练生成对抗深度学习网络，确定网络中的各个参数；剩余20％用来验证生成对抗深度学习网络的性能。
(三)高分辨率肿瘤新生血管成像
训练后的深度学习模型可以实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。具体的，将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的深度学习网络模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围的。

Claims (7)

1.一种深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：包括如下步骤：
步骤1、采集训练数据；
在声学分辨率光声成像系统下，采集肿瘤血管的低分辨率光声图像；
在光学分辨率光声显微成像系统下，采集肿瘤血管的高分辨率光声图像；
步骤2、基于所述训练数据，训练深度学习模型，所述深度学习模型为生成对抗深度学习网络(generative adversarial network，GAN)模型；
步骤3、基于训练后的所述深度学习模型，实现声学分辨率光声成像系统下深层肿瘤新生血管的高分辨率成像。
2.根据权利要求1所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述训练数据采集时，将对应声学分辨率系统下成像断面的肿瘤组织以组织切片的方式切成薄片形成切片组织，然后对所述切片组织在光学分辨率光声显微系统下成像，形成高分辨率光声图像。
3.根据权利要求2所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述训练数据中的所述低分辨率光声图像与所述高分辨率光声图像之间在对比度、分辨率、空间像素位置和信号幅值方面进行预处理并调整配准。
4.根据权利要求3所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述生成对抗深度学习网络模型训练过程中，输入为所述低分辨率光声图像，通过目标函数最小化网络输出光声图像和所述组织切片的高分辨率光声图像之间来自逐像素丢失、对抗丢失和鉴别丢失的误差，实现网络模型参数的优化。
5.根据权利要求4所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述生成对抗深度学习网络模型训练过程中，选取80％的所述训练数据用于训练所述生成对抗深度学习网络，并确定所述生成对抗深度学习网络中的各个参数；剩余20％的所述训练数据用来验证所述生成对抗深度学习网络的性能。
6.根据权利要求1所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：将每一幅采集到的声学分辨率肿瘤新生血管图像，输入到训练后的所述深度学习模型，通过计算输出具有光学分辨率的肿瘤新生血管图像。
7.根据权利要求1所述的深层肿瘤新生血管的高分辨率光声成像方法，其特征在于：所述生成对抗深度学习网络模型如图2所示。
CN201911165348.5A 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法 Active CN110796603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911165348.5A CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911165348.5A CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Publications (2)

Publication Number Publication Date
CN110796603A true CN110796603A (zh) 2020-02-14
CN110796603B CN110796603B (zh) 2023-05-23

Family

ID=69446013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911165348.5A Active CN110796603B (zh) 2019-11-25 2019-11-25 一种深层肿瘤新生血管的高分辨率光声成像方法

Country Status (1)

Country Link
CN (1) CN110796603B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097851A1 (zh) * 2010-02-11 2011-08-18 华南师范大学 细胞光声显微成像方法及其装置
CN103207150A (zh) * 2013-03-21 2013-07-17 华中科技大学 一种组织样品高分辨率断层光学显微成像装置
CN105118038A (zh) * 2015-09-11 2015-12-02 哈尔滨工业大学（威海） 基于二阶广义全变差的光声显微镜高分辨率图像重构方法
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法
CN106707492A (zh) * 2017-01-13 2017-05-24 清华大学 基于空间光调制器的采集端频域拼贴显微系统
CN106943120A (zh) * 2017-04-21 2017-07-14 厦门大学 一种光声显微镜及其监测微泡在生物组织中爆破的方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110415201A (zh) * 2019-07-30 2019-11-05 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097851A1 (zh) * 2010-02-11 2011-08-18 华南师范大学 细胞光声显微成像方法及其装置
CN103207150A (zh) * 2013-03-21 2013-07-17 华中科技大学 一种组织样品高分辨率断层光学显微成像装置
CN105118038A (zh) * 2015-09-11 2015-12-02 哈尔滨工业大学（威海） 基于二阶广义全变差的光声显微镜高分辨率图像重构方法
CN105160630A (zh) * 2015-10-19 2015-12-16 中国科学技术大学 一种光学超分辨率图像重建方法
CN106707492A (zh) * 2017-01-13 2017-05-24 清华大学 基于空间光调制器的采集端频域拼贴显微系统
CN106943120A (zh) * 2017-04-21 2017-07-14 厦门大学 一种光声显微镜及其监测微泡在生物组织中爆破的方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110415201A (zh) * 2019-07-30 2019-11-05 北京理工大学 基于结构光和深度学习的单曝光超分辨率成像方法及装置
CN110490804A (zh) * 2019-08-14 2019-11-22 西安工程大学 一种基于生成对抗网络的生成超分辨图像的方法

Also Published As

Publication number Publication date
CN110796603B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109938764B (zh) 一种基于深度学习的自适应多部位扫描成像方法及其系统
AU2015335554B2 (en) Method and device for selecting detection area, and elasticity detection system
CN106102585B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN109770943B (zh) 一种利用计算机视觉定位的超声自动优化方法
EP3655917B1 (en) Fetal ultrasound image processing
CN109255354B (zh) 面向医用ct的计算机图像处理方法和装置
DE10355382A1 (de) Verfahren und System zur Vermessung von Luftwegen
CN104956399A (zh) 医学图像处理
Taylor et al. Three-dimensional registration of prostate images from histology and ultrasound
CN109820594A (zh) 一种利用超声波原始数据引导制作心脏局部3d打印模型的方法
CN109065150A (zh) 一种基于多特征提取和Linear SVM的超声乳腺肿瘤分级方法
CN116580033B (zh) 一种基于图像块相似性匹配的多模态医学图像配准方法
CN110827275B (zh) 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法
CN110796603B (zh) 一种深层肿瘤新生血管的高分辨率光声成像方法
CN113299372A (zh) 一种光声病理影像的处理方法、存储介质及终端设备
CN106163380A (zh) 用于实时肿瘤检测和介入引导的定量组织特性映射
JP2023183408A (ja) 磁気共鳴拡散テンソルイメージングに基づくヒト脳軸索密度の定量的評価方法
US11672503B2 (en) Systems and methods for detecting tissue and shear waves within the tissue
Jha et al. Artificial Intelligence In Field of Medical Imaging Informatics
CN113838020A (zh) 一种基于钼靶影像的病变区域量化方法
WO2023133929A1 (zh) 一种基于超声的人体组织对称性检测分析方法
CN113177958A (zh) 一种针对特定深度信息的超声显微图像处理方法
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
CN109009226A (zh) 一种三维超声成像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant