CN111388000A - 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端 - Google Patents

虚拟肺部空气潴留图像预测方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN111388000A
CN111388000A CN202010230153.0A CN202010230153A CN111388000A CN 111388000 A CN111388000 A CN 111388000A CN 202010230153 A CN202010230153 A CN 202010230153A CN 111388000 A CN111388000 A CN 111388000A
Authority
CN
China
Prior art keywords
image
lung
network
air retention
gas phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010230153.0A
Other languages
English (en)
Other versions
CN111388000B (zh
Inventor
房劬
刘维平
赵夕
曹瑞婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xingmai Information Technology Co ltd
Original Assignee
Shanghai Xingmai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingmai Information Technology Co ltd filed Critical Shanghai Xingmai Information Technology Co ltd
Priority to CN202010230153.0A priority Critical patent/CN111388000B/zh
Publication of CN111388000A publication Critical patent/CN111388000A/zh
Application granted granted Critical
Publication of CN111388000B publication Critical patent/CN111388000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种虚拟肺部空气潴留图像预测方法及系统、存储介质及终端，包括以下步骤：获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像；构建生成式对抗网络中的生成网络和判别网络；基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络；将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。本发明的虚拟肺部空气潴留图像预测方法及系统、存储介质及终端，通过深度学习算法，基于生成式对抗网络实现肺部单一气相CT图像到虚拟肺部空气潴留图像的预测，准确度高。

Description

虚拟肺部空气潴留图像预测方法及系统、存储介质及终端
技术领域
本发明涉及图像处理的技术领域，特别是涉及一种肺部虚拟空气潴留(airtrapping)图像预测方法及系统、存储介质及终端。
背景技术
慢性阻塞性肺疾病(chronic obstructive pulmonary diseases，COPD)是一种常见的以持续气流受限为特征的可以预防和治疗的疾病，气流受限进行性发展，与气道和肺脏对有毒颗粒或气体的慢性炎性反应增强有关，具有较高的致残率和致死亡率。
近年来，电子计算机断层扫描(Computed Tomography，CT)定量测量成为COPD检查的一种常用手段，具体采用以下方式：分别获得患者吸气相和呼气相的肺部CT图像，并进行双气相CT图像配准，将配准后的吸气相CT图像和呼气相CT图像相减得到肺部空气潴留图像，根据患者的肺部空气潴留图像诊断是否具有慢性阻塞性肺疾病。
然而，两次CT检测导致辐射剂量大，对患者身体有一定的危害，在遇不知情患者时，会加深医患矛盾。另外，若吸气相和呼气相图像配准不准确，会导致肺部空气潴留图像不准确从而影像诊断。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种虚拟肺部空气潴留图像预测方法及系统、存储介质及终端，通过深度学习算法，基于生成式对抗网络(Generative Adversarial Networks，GAN)实现肺部单一相CT图像到虚拟肺部空气潴留图像的预测，准确度高。
为实现上述目的及其他相关目的，本发明提供一种虚拟肺部空气潴留图像预测方法，包括以下步骤：获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT 图像为肺部单一气相CT图像或肺部吸气相CT图像；；构建生成式对抗网络中的生成网络和判别网络；基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络；将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
于本发明一实施例中，获取肺部单一气相CT图像和对应的肺部空气潴留图像时，将三维肺部单一气相CT图像处理为预设规格的二维肺部单一气相CT图像，将三维肺部空气潴留图像处理为所述预设规格的二维肺部空气潴留图像。
于本发明一实施例中，还包括对所述二维肺部单一气相CT图像和对应的二维肺部空气潴留图像同步进行平移、翻转、倾斜和/或变形，以获取更多的二维肺部单一气相CT图像和对应的二维肺部空气潴留图像。
于本发明一实施例中，所述生成网络采用包含残差连接的U-net全卷积神经网络，在计算得到各个特征图的过程中进行下采样和上采样，将上采样特征图与对应的相同尺寸的下采样特征图连接以获得图像细节。
于本发明一实施例中，所述生成网络的损失函数包括判别损失和像素损失；所述像素损失采用最小一乘法进行计算；所述判别损失令所述判别网络的损失尽可能的大。
于本发明一实施例中，训练所述生成网络和所述判别网络包括以下步骤：
将所述肺部单一气相CT图像和白噪声输入所述生成网络，获取所述生成网络输出的虚拟肺部空气潴留图像；
将所述肺部单一气相CT图像和对应的肺部空气潴留图像输入所述判别网络，使所述判别网络输出为1；
将所述肺部单一气相CT图像和所述虚拟肺部空气潴留图像输入所述判别网络，获取所述判别网络的输出值；当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。
于本发明一实施例中，训练所述生成式对抗网络时，使用mini-batch SGD和Adam优化器交替训练所述生成网络和所述判别网络。
对应地，本发明提供一种虚拟肺部空气潴留图像预测系统，包括获取模块、构建模块、训练模块和预测模块；
所述获取模块用于获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像；；
所述构建模块用于构建生成式对抗网络中的生成网络和判别网络；
所述训练模块用于基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络；
所述预测模块用于将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
本发明提供一种存储介质，其上存储有计算机程序，该所述计算机程序被处理器执行时实现上述的虚拟肺部空气潴留图像预测方法。
最后，本发明提供一种终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的虚拟肺部空气潴留图像预测方法。
如上所述，本发明的虚拟肺部空气潴留图像预测方法及系统、存储介质及终端，具有以下有益效果：
(1)通过深度学习算法，基于生成式对抗网络实现呼气相肺部CT图像到虚拟肺部空气潴留图像的预测；
(2)无需执行两次CT扫描，避免对病人造成不必要的损害；
(3)在一般GAN的基础上，生成网络G和判别网络D的输入都加入了肺部单一气相图像信息，从而提供了生成和判别依据，提高了生成式对抗网络的整体可信性；
(4)预测准确度高，处理速度快，实用性强。
附图说明
图1显示为本发明的虚拟肺部空气潴留图像预测方法于一实施例中的流程图；
图2显示为本发明的生成式对抗网络于一实施例中的示意图；
图3显示为本发明的虚拟肺部空气潴留图像预测系统于一实施例中的结构示意图；
图4显示为本发明的终端于一实施例中的结构示意图。
元件标号说明
31 获取模块
32 构建模块
33 训练模块
34 预测模块
41 处理器
42 存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的虚拟肺部空气潴留图像预测方法及系统、存储介质及终端通过深度学习算法训练pix2pix生成式对抗网络，并基于训练好的生成式对抗网络实现肺部单一气相CT图像到虚拟肺部空气潴留图像的预测，准确度高，且简化了操作，有效提升了用户体验。其中，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像。所述肺部吸气相CT图像是指患者在尽力吸气后屏气状态拍摄的肺部CT图像；所述肺部呼气相CT图像是患者在尽力呼气后屏气状态拍摄的肺部CT图像。
如图1所示，于一实施例中，本发明的虚拟肺部空气潴留图像预测方法包括以下步骤：
步骤S1、获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT 图像为肺部呼气相CT图像或肺部吸气相CT图像；。
具体地，采集肺部单一气相CT图像及其对应的肺部空气潴留图像作为训练数据集。
于本发明一实施例中，将三维肺部单一气相CT图像处理为预设规格的二维肺部单一气相CT图像，将所述三维肺部单一气相CT图像对应的三维肺部空气潴留图像处理为所述预设规格的二维肺部空气潴留图像。优选地，所述预设规格为2维512*512像素的大小。其中，所述肺部单一气相CT图像和所述肺部空气潴留图像须采用相同处理方法和处理顺序，以保证得到的二维肺部单一气相CT图像和二维肺部空气潴留图像一一对应。
为了获取更多的训练数据，于本发明一实施例中，还包括对所述二维肺部单一气相CT 图像和对应的二维肺部空气潴留图像同步进行平移、翻转、倾斜或变形，以获取更多的二维肺部单一气相CT图像和对应的二维肺部空气潴留图像，从而获取更好的训练效果。
步骤S2、构建生成式对抗网络中的生成网络和判别网络。
生成式对抗网络是一种深度学习模型，其通过框架中(至少)两个模块，即生成网络G 和判别网络D的互相博弈学习产生相当好的输出。如图2所示，本发明的生成式对抗网络采用pix2pix(像素到像素)生成式对抗网络，用于完成一张输入的肺部单一气相CT图像到一张对应的虚拟肺部空气潴留图像的转换。其中，G是一个生成图像的网络。将一个肺部单一气相CT图像x和白噪声z输入生成网络G，生成虚拟肺部空气潴留图像G(x，z)。D是一个判别网络，判别虚拟肺部空气潴留图像G(x，z)相对于肺部单一气相CT图像x对应的肺部空气潴留图像y是不是“真实的”。为了进一步提高本发明的pix2pix生成式对抗网络的准确性和可靠性，将肺部单一气相CT图像x和虚拟肺部空气潴留图像G(x，z)同时输入判别网络D。判别网络D如果输出为1(即D(x，y))，就代表虚拟肺部空气潴留图像G(x，z) 相对于肺部单一气相CT图像x对应的肺部空气潴留图像y是“真实的”；如果输出为0(即 D(x，G(x，z)))，就代表虚拟肺部空气潴留图像G(x，z)相对于肺部单一气相CT图像x对应的肺部空气潴留图像y不是“真实的”。也就是说，将肺部单一气相CT图像x和对应的肺部空气潴留图像y同时输入判别网络D时，判别网络输出为1。在训练过程中，生成网络 G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把生成网络G生成的图片和真实的图片分别开来。因此，生成网络G和判别网络D构成了一个动态的博弈过程。在最理想的状态下，生成网络G可以生成足以“以假乱真”的虚拟肺部空气潴留图像G(x，z)。对于判别网络D来说，它难以判定生成网络G生成的图片究竟是不是真实的，因此D(G(x，z))＝0.5。此时，可以利用所述生成网络G生成一个与肺部单一气相CT图像x相对应的虚拟肺部空气潴留图像，从而完成肺部单一气相CT图像x到虚拟肺部空气潴留图像的转换。
于本发明一实施例中，所述生成网络采用包含残差连接的U-net全卷积神经网络，在计算得到各个特征图的过程中进行下采样和上采样，将上采样特征图与对应的相同尺寸的下采样特征图连接以获得图像细节，从而在一定程度上解决GAN网络中细节模糊的缺点，满足医学领域对于图像细节保留的要求。
于本发明一实施例中，所述判别网络的损失函数为 LcGAN(G，D)＝Ex，y[log D(x，y)]+Ex，z[log(1-D(x，G(x，z)))]。其中L表示损失值，cGAN表示条件对抗生成网络(Conditional Generative Adversarial Nets)，G表示生成网络，D表示判别网络，x表示肺部单一气相CT图像，y表示肺部空气潴留图像，z表示肺部单一气相CT图像的白噪声，E表示期望计算。可知，其由两部分组成，前一部分用于判别真实肺部潴留图像的损失，后一部分用于判别生成肺部潴留图像的损失。所述判别网络的最优解 G*＝arg minGmaxDLcGAN(G，D)。也就是说，使所述损失函数尽可能小，即能够正确判别真实图像与生成图像。所述生成网络的损失函数的最优解 G*＝arg minGmaxDLcGAN(G，D)+λLL1(G)，其中L表示损失值，cGAN表示条件对抗生成网络 (Conditional Generative Adversarial Nets)，G表示生成网络，D表示判别网络，x表示呼气相 CT图像，y表示肺部空气潴留图像，z表示肺部单一气相CT图像的白噪声，G*表示生成网络的最优解，λ表示一个常数系数，L1表示最小一乘法计算。即令所述判别网络的损失函数尽可能的大，使所述判别网络混淆真实肺部潴留图像与生成肺部潴留图像；同时，还加入了像素损失。像素损失采用L1(最小一乘法)进行计算，即LL1(G)＝Ex，y，z[||y-G(x，z)||1]，目的是使生成图像更贴近真实图像。另外，所述生成网络基于最小一乘法(L1损失函数)来计算像素损失，使生成的伪图)跟真图像尽可能接近，较好恢复图像中的低频部分，最终与 GAN的目标函数进行结合达到更好结果。所述L1损失函数，也称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)，其使目标值与预测值的绝对值总和最小化。
为了能更好得对图像的局部做判断，于本发明一实施例中，所述判别网络采用patchGAN，将图像等分成多个70*70的局部图像，分别判断每个局部图像的真假，最后再取平均值作为所述判别网络的最后输出。因此，通过控制整个所述判别网络D的输入大小及计算量大小，从而加快训练速度。
步骤S3、基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络。
具体地，将所述肺部单一气相CT图像和所述对应的肺部空气潴留图像输入所述生成式对抗网络，以获取训练好的生成网络和判别网络，则基于训练好的生成网络可以获取与输入的肺部单一气相CT图像相对应的虚拟肺部空气潴留图像。
于本发明一实施例中，训练所述生成网络和所述判别网络包括以下步骤：
31)将所述肺部单一气相CT图像和白噪声输入所述生成网络，获取所述生成网络输出的虚拟肺部空气潴留图像。
具体地，将采集到的肺部单一气相CT图像和白噪声作为所述生成网络的输入，所述生成网络输出虚拟肺部空气潴留图像。
32)将所述肺部单一气相CT图像和对应的肺部空气潴留图像输入所述判别网络，使所述判别网络输出为1。
具体地，当所述虚拟肺部空气潴留图像与所述肺部单一气相CT图像对应的肺部空气潴留图像不一致时，所述判别网络输出为0。将所述肺部单一气相CT图像和所述肺部单一气相 CT图像对应的肺部空气潴留图像输入所述判别网络时，所述判别网络输出为1。
33)将所述肺部单一气相CT图像和所述虚拟肺部空气潴留图像输入所述判别网络，获取所述判别网络的输出值；当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。
具体地，通过训练数据集中的训练数据输入所述生成式对抗网络，不断地调整所述生成网络，使得所述虚拟肺部空气潴留图像和所述肺部空气潴留图像尽可能接近。当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。优选地，所述预设目标为0.5，从而使得所述虚拟肺部空气潴留图像尽可能接近所述肺部空气潴留图像。
步骤S4、将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
具体地，对于待处理的目标肺部单一气相CT图像，将其输入训练好的生成网络，即可获取对应的虚拟肺部空气潴留图像。
于本发明一实施例中，训练所述生成式对抗网络时，使用mini-batch SGD和Adam优化器交替训练所述生成网络和所述判别网络。
如图3所示，于一实施例中，本发明的虚拟肺部空气潴留图像预测系统包括获取模块31、构建模块32、训练模块33和预测模块34。
获取模块31用于步骤S1、获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像；。
具体地，采集肺部单一气相CT图像及其对应的肺部空气潴留图像作为训练数据集。
于本发明一实施例中，将三维肺部单一气相CT图像处理为预设规格的二维肺部单一气相CT图像，将所述三维肺部单一气相CT图像对应的三维肺部空气潴留图像处理为所述预设规格的二维肺部空气潴留图像。优选地，所述预设规格为2维512*512像素的大小。其中，所述肺部单一气相CT图像和所述肺部空气潴留图像须采用相同处理方法和处理顺序，以保证得到的二维肺部单一气相CT图像和二维肺部空气潴留图像一一对应。
为了获取更多的训练数据，于本发明一实施例中，还包括对所述二维肺部单一气相CT 图像和对应的二维肺部空气潴留图像同步进行平移、翻转、倾斜或变形，以获取更多的二维肺部单一气相CT图像和对应的二维肺部空气潴留图像，从而获取更好的训练效果。
构建模块32用于构建生成式对抗网络中的生成网络和判别网络。
生成式对抗网络是一种深度学习模型，其通过框架中(至少)两个模块，即生成网络G 和判别网络D的互相博弈学习产生相当好的输出。如图2所示，本发明的生成式对抗网络采用pix2pix(像素到像素)生成式对抗网络，用于完成一张输入的肺部单一气相CT图像到一张对应的虚拟肺部空气潴留图像的转换。其中，G是一个生成图像的网络。将一个肺部单一气相CT图像x和白噪声z输入生成网络G，生成虚拟肺部空气潴留图像G(x，z)。D是一个判别网络，判别虚拟肺部空气潴留图像G(x，z)相对于肺部单一气相CT图像x对应的肺部空气潴留图像y是不是“真实的”。为了进一步提高本发明的pix2pix生成式对抗网络的准确性和可靠性，将肺部单一气相CT图像x和虚拟肺部空气潴留图像G(x，z)同时输入判别网络D。判别网络D如果输出为1(即D(x，y))，就代表虚拟肺部空气潴留图像G(x，z) 相对于肺部单一气相CT图像x对应的肺部空气潴留图像y是“真实的”；如果输出为0(即 D(x，G(x，z)))，就代表虚拟肺部空气潴留图像G(x，z)相对于肺部单一气相CT图像x对应的肺部空气潴留图像y不是“真实的”。也就是说，将肺部单一气相CT图像x和对应的肺部空气潴留图像y同时输入判别网络D时，判别网络输出为1。在训练过程中，生成网络 G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把生成网络G生成的图片和真实的图片分别开来。因此，生成网络G和判别网络D构成了一个动态的博弈过程。在最理想的状态下，生成网络G可以生成足以“以假乱真”的虚拟肺部空气潴留图像G(x，z)。对于判别网络D来说，它难以判定生成网络G生成的图片究竟是不是真实的，因此D(G(x，z))＝0.5。此时，可以利用所述生成网络G生成一个与肺部单一气相CT图像x相对应的虚拟肺部空气潴留图像，从而完成肺部单一气相CT图像x到虚拟肺部空气潴留图像的转换。
于本发明一实施例中，所述生成网络采用包含残差连接的U-net全卷积神经网络，在计算得到各个特征图的过程中进行下采样和上采样，将上采样特征图与对应的相同尺寸的下采样特征图连接以获得图像细节，从而在一定程度上解决GAN网络中细节模糊的缺点，满足医学领域对于图像细节保留的要求。
于本发明一实施例中，所述判别网络的损失函数为 LcGAN(G，D)＝Ex，y[log D(x，y)]+Ex，z[log(1-D(x，G(x，z)))]。其中L表示损失值，cGAN表示条件对抗生成网络(Conditional Generative Adversarial Nets)，G表示生成网络，D表示判别网络，x表示肺部单一气相CT图像，y表示肺部空气潴留图像，z表示肺部单一气相CT图像的白噪声，E表示期望计算。可知，其由两部分组成，前一部分用于判别真实肺部潴留图像的损失，后一部分用于判别生成肺部潴留图像的损失。所述判别网络的最优解 G*＝arg minGmaxDLcGAN(G，D)。也就是说，使所述损失函数尽可能小，即能够正确判别真实图像与生成图像。所述生成网络的损失函数的最优解 G*＝arg minGmaxDLcGAN(G，D)+λLL1(G)，其中L表示损失值，cGAN表示条件对抗生成网络 (Conditional Generative Adversarial Nets)，G表示生成网络，D表示判别网络，x表示呼气相 CT图像，y表示肺部空气潴留图像，z表示肺部单一气相CT图像的白噪声，G*表示生成网络的最优解，λ表示一个常数系数，L1表示最小一乘法计算。即令所述判别网络的损失函数尽可能的大，使所述判别网络混淆真实肺部潴留图像与生成肺部潴留图像；同时，还加入了像素损失。像素损失采用L1(最小一乘法)进行计算，即LL1(G)＝Ex，y，z[||y-G(x，z)||1]，目的是使生成图像更贴近真实图像。另外，所述生成网络基于最小一乘法(L1损失函数)来计算像素损失，使生成的伪图)跟真图像尽可能接近，较好恢复图像中的低频部分，最终与 GAN的目标函数进行结合达到更好结果。所述L1损失函数，也称为最小绝对值偏差(LAD)，最小绝对值误差(LAE)，其使目标值与预测值的绝对值总和最小化。
为了能更好得对图像的局部做判断，于本发明一实施例中，所述判别网络采用patchGAN，将图像等分成多个70*70像素的局部图像，分别判断每个局部图像的真假，最后再取平均值作为所述判别网络的最后输出。因此，通过控制整个所述判别网络D的输入大小及计算量大小，从而加快训练速度。
训练模块33与获取模块31和构建模块32相连，用于基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络。
具体地，将所述肺部单一气相CT图像和所述对应的肺部空气潴留图像输入所述pix2pix 生成式对抗网络，以获取训练好的生成网络和判别网络，则基于训练好的生成网络可以获取与输入的肺部单一气相CT图像相对应的虚拟肺部空气潴留图像。
于本发明一实施例中，训练所述生成网络和所述判别网络包括以下步骤：
31)将所述肺部单一气相CT图像和白噪声输入所述生成网络，获取所述生成网络输出的虚拟肺部空气潴留图像。
具体地，将采集到的肺部单一气相CT图像和白噪声作为所述生成网络的输入，所述生成网络输出虚拟肺部空气潴留图像。
32)将所述肺部单一气相CT图像和对应的肺部空气潴留图像输入所述判别网络，使所述判别网络输出为1。
具体地，当所述虚拟肺部空气潴留图像与所述肺部单一气相CT图像对应的肺部空气潴留图像不一致时，所述判别网络输出为0。将所述肺部单一气相CT图像和所述肺部单一气相 CT图像对应的肺部空气潴留图像输入所述判别网络时，所述判别网络输出为1。
33)将所述肺部单一气相CT图像和所述虚拟肺部空气潴留图像输入所述判别网络，获取所述判别网络的输出值；当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。
具体地，通过训练数据集中的训练数据输入所述生成式对抗网络，不断地调整所述生成网络，使得所述虚拟肺部空气潴留图像和所述肺部空气潴留图像尽可能接近。当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。优选地，所述预设目标为0.5，从而使得所述虚拟肺部空气潴留图像尽可能接近所述肺部空气潴留图像。
预测模块34与所述训练模块33相连，用于将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
具体地，对于待处理的目标肺部单一气相CT图像，将其输入训练好的生成网络，即可获取对应的虚拟肺部空气潴留图像。
于本发明一实施例中，训练所述生成式对抗网络时，使用mini-batch SGD和Adam优化器交替训练所述生成网络和所述判别网络。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该所述计算机程序被处理器执行时实现上述的虚拟肺部空气潴留图像预测方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图4所示，于一实施例中，本发明的终端包括：处理器41及存储器42。
所述存储器42用于存储计算机程序。
所述存储器42包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述终端执行上述的虚拟肺部空气潴留图像预测方法。
优选地，所述处理器41可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称 ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的虚拟肺部空气潴留图像预测方法及系统、存储介质及终端通过深度学习算法，基于pix2pix生成式对抗网络实现呼气相肺部CT图像到虚拟肺部空气潴留图像的预测；无需执行两次CT扫描，避免对病人造成不必要的损害；在一般GAN的基础上，生成网络G和判别网络D的输入都加入了肺部呼气相图像信息，从而提供了生成和判别依据，提高了pix2pix生成式对抗网络的整体可信性；预测准确度高，处理速度快，实用性强。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种虚拟肺部空气潴留图像预测方法，其特征在于：包括以下步骤：
获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像；
构建生成式对抗网络中的生成网络和判别网络；
基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络；
将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
2.根据权利要求1所述的虚拟肺部空气潴留图像预测方法，其特征在于：获取肺部单一气相CT图像和对应的肺部空气潴留图像时，将三维肺部单一气相CT图像处理为预设规格的二维肺部单一气相CT图像，将三维肺部空气潴留图像处理为所述预设规格的二维肺部空气潴留图像。
3.根据权利要求2所述的虚拟肺部空气潴留图像预测方法，其特征在于：还包括对所述二维肺部单一气相CT图像和对应的二维肺部空气潴留图像同步进行平移、翻转、倾斜和/或变形，以获取更多的二维肺部单一气相CT图像和对应的二维肺部空气潴留图像。
4.根据权利要求1所述的虚拟肺部空气潴留图像预测方法，其特征在于：所述生成网络采用包含残差连接的U-net全卷积神经网络，在计算得到各个特征图的过程中进行下采样和上采样，将上采样特征图与对应的相同尺寸的下采样特征图连接以获得图像细节。
5.根据权利要求1所述的虚拟肺部空气潴留图像预测方法，其特征在于：所述生成网络的损失函数包括判别损失和像素损失；所述像素损失采用最小一乘法进行计算；所述判别损失令所述判别网络的损失尽可能的大。
6.根据权利要求1所述的虚拟肺部空气潴留图像预测方法，其特征在于：训练所述生成网络和所述判别网络包括以下步骤：
将所述肺部单一气相CT图像和白噪声输入所述生成网络，获取所述生成网络输出的虚拟肺部空气潴留图像；
将所述肺部单一气相CT图像和对应的肺部空气潴留图像输入所述判别网络，使所述判别网络输出为1；
将所述肺部单一气相CT图像和所述虚拟肺部空气潴留图像输入所述判别网络，获取所述判别网络的输出值；当所述判别网络输出为预设目标时，停止训练所述生成网络和所述判别网络。
7.根据权利要求1所述的虚拟肺部空气潴留图像预测方法，其特征在于：训练所述生成式对抗网络时，使用mini-batch SGD和Adam优化器交替训练所述生成网络和所述判别网络。
8.一种虚拟肺部空气潴留图像预测系统，其特征在于：包括获取模块、构建模块、训练模块和预测模块；
所述获取模块用于获取肺部单一气相CT图像和对应的肺部空气潴留图像，所述肺部单一气相CT图像为肺部呼气相CT图像或肺部吸气相CT图像；
所述构建模块用于构建生成式对抗网络中的生成网络和判别网络；
所述训练模块用于基于肺部单一气相CT图像和对应的肺部空气潴留图像训练所述生成网络和所述判别网络；
所述预测模块用于将目标肺部单一气相CT图像输入训练好的生成网络，获取对应的虚拟肺部空气潴留图像。
9.一种存储介质，其上存储有计算机程序，其特征在于，该所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的虚拟肺部空气潴留图像预测方法。
10.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的虚拟肺部空气潴留图像预测方法。
CN202010230153.0A 2020-03-27 2020-03-27 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端 Active CN111388000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010230153.0A CN111388000B (zh) 2020-03-27 2020-03-27 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010230153.0A CN111388000B (zh) 2020-03-27 2020-03-27 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111388000A true CN111388000A (zh) 2020-07-10
CN111388000B CN111388000B (zh) 2023-08-25

Family

ID=71411205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010230153.0A Active CN111388000B (zh) 2020-03-27 2020-03-27 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111388000B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470086A (zh) * 2021-05-27 2021-10-01 广州医科大学附属第一医院 肺部呼吸双相ct影像的配准方法及其系统和存储介质
CN113823413A (zh) * 2021-10-22 2021-12-21 上海长征医院 肺部功能小气道疾病预测系统、方法、介质及电子设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008810A (ko) * 2008-07-17 2010-01-27 울산대학교 산학협력단 흉부 ｃｔ영상을 이용한 자동 공기 포획 정량화 방법
KR101460908B1 (ko) * 2013-08-09 2014-11-17 서울여자대학교 산학협력단 4차원 컴퓨터 단층촬영 영상의 폐종양 위치 추적 시스템 및 그 방법
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107958471A (zh) * 2017-10-30 2018-04-24 深圳先进技术研究院 基于欠采样数据的ct成像方法、装置、ct设备及存储介质
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
WO2018232388A1 (en) * 2017-06-16 2018-12-20 Rensselaer Polytechnic Institute Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks
CN109493951A (zh) * 2017-11-08 2019-03-19 上海联影医疗科技有限公司 用于降低辐射剂量的系统和方法
US20190108634A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Contrast Dose Reduction for Medical Imaging Using Deep Learning
US20190198156A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断系统
US20190220701A1 (en) * 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
CN110197716A (zh) * 2019-05-20 2019-09-03 广东技术师范大学 医学影像的处理方法、装置及计算机可读存储介质
US20190304094A1 (en) * 2018-04-03 2019-10-03 Fujifilm Corporation Prediction apparatus, prediction method, prediction program
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110853111A (zh) * 2019-11-05 2020-02-28 上海杏脉信息科技有限公司 医学影像处理系统、模型训练方法及训练装置
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备
CN110910342A (zh) * 2018-09-12 2020-03-24 西门子医疗有限公司 通过使用深度学习来分析骨骼创伤

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008810A (ko) * 2008-07-17 2010-01-27 울산대학교 산학협력단 흉부 ｃｔ영상을 이용한 자동 공기 포획 정량화 방법
KR101460908B1 (ko) * 2013-08-09 2014-11-17 서울여자대학교 산학협력단 4차원 컴퓨터 단층촬영 영상의 폐종양 위치 추적 시스템 및 그 방법
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
WO2018232388A1 (en) * 2017-06-16 2018-12-20 Rensselaer Polytechnic Institute Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks
US20190108634A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Contrast Dose Reduction for Medical Imaging Using Deep Learning
CN107958471A (zh) * 2017-10-30 2018-04-24 深圳先进技术研究院 基于欠采样数据的ct成像方法、装置、ct设备及存储介质
CN109493951A (zh) * 2017-11-08 2019-03-19 上海联影医疗科技有限公司 用于降低辐射剂量的系统和方法
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断系统
US20190198156A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
US20190220701A1 (en) * 2018-01-16 2019-07-18 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
US20190304094A1 (en) * 2018-04-03 2019-10-03 Fujifilm Corporation Prediction apparatus, prediction method, prediction program
CN110910342A (zh) * 2018-09-12 2020-03-24 西门子医疗有限公司 通过使用深度学习来分析骨骼创伤
CN110197716A (zh) * 2019-05-20 2019-09-03 广东技术师范大学 医学影像的处理方法、装置及计算机可读存储介质
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110853111A (zh) * 2019-11-05 2020-02-28 上海杏脉信息科技有限公司 医学影像处理系统、模型训练方法及训练装置
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈锟;乔沁;宋志坚;: "生成对抗网络在医学图像处理中的应用", no. 1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470086A (zh) * 2021-05-27 2021-10-01 广州医科大学附属第一医院 肺部呼吸双相ct影像的配准方法及其系统和存储介质
CN113470086B (zh) * 2021-05-27 2023-10-24 广州医科大学附属第一医院 肺部呼吸双相ct影像的配准方法及其系统和存储介质
CN113823413A (zh) * 2021-10-22 2021-12-21 上海长征医院 肺部功能小气道疾病预测系统、方法、介质及电子设备

Also Published As

Publication number Publication date
CN111388000B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
US10198669B2 (en) Image classifying apparatus, image classifying method, and image classifying program
CN107133946B (zh) 医学图像处理方法、装置及设备
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
Park et al. GGO nodule volume-preserving nonrigid lung registration using GLCM texture analysis
CN108615237A (zh) 一种肺部图像处理方法及图像处理设备
CN108537794A (zh) 医学图像数据处理方法、装置和计算机可读存储介质
KR101028365B1 (ko) 연속된 컴퓨터 단층촬영의 폐결절 다단계 정합 방법 및 장치
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN107958471A (zh) 基于欠采样数据的ct成像方法、装置、ct设备及存储介质
JP2002092589A (ja) 画像の位置合わせ方法
CN111388000A (zh) 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端
Rubin et al. CT-To-MR conditional generative adversarial networks for ischemic stroke lesion segmentation
CN111242931A (zh) 一种单肺叶的小气道病变判断方法和装置
CN104887257A (zh) 图像处理装置
CN115330615A (zh) 伪影去除模型的训练方法、装置、设备、介质及程序产品
CN107468267A (zh) 数据处理方法及医学成像设备
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
US20220148157A1 (en) Deep learning based methods and systems for automated subject anatomy and orientation identification
CN115439478B (zh) 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质
Vlachopoulos et al. Selecting registration schemes in case of interstitial lung disease follow‐up in CT
CN115829947A (zh) 模型处理设备及方法
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
CN111402221B (zh) 一种图像处理方法、装置及电子设备
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
EP2178046A2 (en) Multi-image correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant