CN110853012B - 获得心脏参数的方法、装置及计算机存储介质 - Google Patents

获得心脏参数的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN110853012B
CN110853012B CN201911095445.1A CN201911095445A CN110853012B CN 110853012 B CN110853012 B CN 110853012B CN 201911095445 A CN201911095445 A CN 201911095445A CN 110853012 B CN110853012 B CN 110853012B
Authority
CN
China
Prior art keywords
network
cardiac
parameters
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911095445.1A
Other languages
English (en)
Other versions
CN110853012A (zh
Inventor
张贺晔
张国庆
吕旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Ruiyi Instrument Technology Co ltd
Original Assignee
Suzhou Ruiyi Instrument Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Ruiyi Instrument Technology Co ltd filed Critical Suzhou Ruiyi Instrument Technology Co ltd
Priority to CN201911095445.1A priority Critical patent/CN110853012B/zh
Publication of CN110853012A publication Critical patent/CN110853012A/zh
Application granted granted Critical
Publication of CN110853012B publication Critical patent/CN110853012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种获得心脏参数的方法、装置及计算机存储介质。该方法包括：利用已测心脏图像样本对所构建的多任务网络进行训练以预测关于每个已测心脏图像的多类型心脏参数；利用预测的多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；利用所构建的判别网络对从多任务网络接收的已测心脏图像样本和预测的多类型心脏参数以及从反向映射网络接收的重建心脏图像样本和对应的实测心脏参数进行判别处理直到判别网络输出的判别概率达到预设阈值；利用训练后的上述网络对待测心脏图像进行处理以获得多类型心脏参数。通过利用本申请实施例提供的技术方案，可以同时获得多类型心脏参数，并且精准度较高。

Description

获得心脏参数的方法、装置及计算机存储介质
技术领域
本申请涉及医学图像数据处理技术领域，特别涉及一种获得心脏参数的方法、装置及计算机存储介质。
背景技术
本部分的描述仅提供与本申请公开相关的背景信息，而不构成现有技术。
随着社会经济的发展和人们生活方式的改变，心脏疾病的发病率和死亡率呈显著上升趋势，并且发病年龄趋向年轻化，严重威胁着人们的生命健康，所以对人们进行心脏病变的防治已刻不容缓。同时，伴随着现代技术的迅猛发展和医学科学的深入研究和探索，目前对心脏病变的预防、诊断、治疗等方面均得到全面发展。
心脏参数可以用于描述心脏的结构信息，是作为衡量心脏病变的重要功能指标，其是诊断心脏病变的关键。正是由于心脏参数的重要性，现有技术中对获得心脏参数的方法进行了广泛研究。目前，获得心脏参数的方法主要可以分为两类：(1)图像分割法：首先预测心脏图像分割结果，然后根据心脏图像分割结果计算心脏参数。(2)逻辑回归法：通过直接模拟心脏图像外观与心脏参数之间的关系来估计心脏参数。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
在利用图像分割法计算心脏参数时，需要先进行心脏图像分割，再根据分割后的图像计算心脏参数，该过程繁琐且耗时，并且图像分割的质量受到限制。在利用逻辑回归法估计心脏参数时，无法满足临床对多类型心脏参数的需求，并且其精准度较低。
发明内容
本申请实施例的目的是提供一种获得心脏参数的方法、装置及计算机存储介质，以解决现有技术中存在的至少一种问题。
为了解决上述技术问题，本申请实施例提供了一种获得心脏参数的方法，该方法包括：
利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，对所构建的所述生成对抗网络进行对抗训练的步骤包括：
利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多类型心脏参数；
利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数。
可选地，利用已测心脏图像样本对所构建的多任务网络进行训练以预测多类型心脏参数的步骤包括：
从所输入的每个所述已测心脏图像中提取一个特征层作为共享特征；
基于所述共享特征构建不同的任务网络分支；
基于所构建的所述任务网络分支预测所述多类型心脏参数。
可选地，所述多任务网络包括卷积层和稠密连接网络层，相应地，提取所述共享特征的步骤包括：
利用具有不同大小的多个卷积核的所述卷积层对所输入的每个所述已测心脏图像进行初步特征提取；
将所提取的初步特征输入到所述稠密连接网络层的多个稠密网络块中进行处理以提取出共享特征。
可选地，所述多类型心脏参数包括含有心脏分割图像的二维心脏参数以及含有心肌厚度、血池横截面直径和/或血池和心肌的横截面面积的一维心脏参数。
可选地，所述反向映射网络包括联合表示层、稠密连接网络层和反卷积层，相应地，利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本的步骤包括：
在所述联合表示层中，利用卷积层提取所述二维心脏参数中的心脏结构特征，利用全连接层提取所述一维心脏参数的心脏结构特征，并且将所提取的这两组特征进行拼接以得到其联合表示；
利用所述稠密连接网络层中的稠密网络块对所得到的所述联合表示进行处理以得到转换后的心脏结构特征；
利用所述反卷积层将转换后的所述心脏结构特征作为先验信息来重建与所述已测心脏图像样本中的所述已测心脏图像对应的图像，所得到的所有重建图像构成所述重建心脏图像样本；
利用所述反卷积层将学习到的所述心脏结构特征作为先验信息来重建与所述已测心脏图像样本中的所述已测心脏图像对应的图像，所得到的所有重建图像构成所述重建心脏图像样本。
可选地，利用所述判别网络对所述第一样本和所述第二样本进行判别处理的步骤包括：
在接收到所述第一样本之后，计算所述判别网络的输出值与所述第一样本的第一初始权重之间的第一差值，并且根据所述第一差值来调整所述多任务网络的网络参数，以使所述判别网络的输出值接近所述第一初始权重；
在接收到所述第二样本之后，计算所述判别网络的输出值与所述第二样本的第二初始权重之间的第二差值，并且根据所述第二差值来调整所述反向映射网络的网络参数，以使所述判别网络的输出值接近所述第二初始权重；
当所述第一样本与所述第二样本相同时，所述判别网络输出与所述预设阈值一致的判别概率。
可选地，所述预设阈值为0.5。
可选地，所述已测心脏图像和所述待测心脏图像包括MRI图像、CT图像、PET图像或PET-CT图像。
本申请实施例还提供了一种用于获得心脏参数的装置，该装置可以包括：
训练模块，其被配置为利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
获得模块，其被配置为利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，所述训练模块包括：
预测单元，其被配置为利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多类型心脏参数；
重建单元，其被配置为利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
判别训练单元，其被配置为利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质上存储有程序指令，所述程序指令被执行时可以实现以下功能：
利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，对所构建的生成对抗网络进行训练具体包括：
利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多种类型的心脏参数；
利用预测的多种类型的所述心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数。
由以上本申请实施例提供的技术方案可见，本申请实施例通过利用多任务网络、反向映射网络和判别网络对已测心脏图像样本进行对抗训练，并且利用训练后的上述网络来预测待测心脏图像的多类型心脏参数，这实现了同时获得多类型心脏参数的目的，并且精准度比较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种获得心脏参数的方法的流程图；
图2是生成对抗网络的结构示意图；
图3是利用已测心脏图像样本对所构建的生成对抗网络进行训练的流程图；
图4是本申请实施例提供的一种用于获得心脏参数的装置的结构图；
图5是图4所示的装置中的训练模块的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于解释说明本申请的一部分实施例，而不是全部的实施例，并不希望限制本申请的范围或权利要求书。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本申请保护的范围。
需要说明的是，当元件被称为“设置在”另一个元件上，它可以直接设置在另一个元件上或者也可以存在居中的元件。当元件被称为“连接/联接”至另一个元件，它可以是直接连接/联接至另一个元件或者可能同时存在居中元件。本文所使用的术语“连接/联接”可以包括电气和/或机械物理连接/联接。本文所使用的术语“包括/包含”指特征、步骤或元件的存在，但并不排除一个或更多个其它特征、步骤或元件的存在或添加。本文所使用的术语“和/或”包括一个或多个相关所列项目的任意的和所有的组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体实施例的目的，而并不是旨在限制本申请。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的和区别类似的对象，两者之间并不存在先后顺序，也不能理解为指示或暗示相对重要性。
下面结合附图对本申请实施例提供的获得心脏参数的方法、装置和计算机存储介质进行详细的描述。
如图1所示，本申请实施例提供了一种获得心脏参数的方法，其可以包括以下步骤：
S1：利用所获取的已测心脏图像样本对所构建的生成对抗网络进行训练。
已测心脏图像样本可以包括大量的已经测量的心脏图像，例如，1000个人体的心脏图像，每个心脏图像均可以是利用MRI、CT、PET或PET-CT等临床检查影像技术对人体或其它动物体的心脏进行拍摄而得到的图像。也就是说，该心脏图像可以是关于心脏的MRI图像、CT图像、PET图像或PET-CT图像等。
如图2所示，生成对抗网络(GAN)是一种深度学习模型，其可以包括相互连接的生成网络和判别网络。其中，生成网络可以包括相互连接的多任务网络和反向映射网络等，并且多任务网络和反向映射网络可以根据判别网络的输出值来调整其网络参数。这些网络可以是任意构建的，并且其网络参数的初始值可以是自由设定的。
在获取到已测心脏图像样本之前或之后，可以任意构建一个生成对抗网络，然后可以将所获取的已测心脏图像样本输入到该生成对抗网络中进行对抗训练。具体地，如图3所示，该步骤可以包括以下子步骤：
S11：利用所获取的已测心脏图像样本对所构建的多任务网络进行训练以预测关于已测心脏图像样本中的每个已测心脏图像的多类型心脏参数。
多类型心脏参数一般是指多种不同类型的心脏参数，其可以包括二维心脏参数(例如，心脏分割图像)和一维心脏参数(例如，心肌厚度、血池横截面直径和/或血池和心肌的横截面面积等)。多任务网络一般可以包括卷积层和稠密连接网络(DenseNet)层，其中，卷积层可以具有不同大小(例如，7x7、5x5和3x3等)的多个卷积核；DenseNet层可以包括串联的多个稠密网络块，每个稠密网络块可以具有相同大小的卷积核，例如，均为3x3，并且可以包括相同或不同数量的网络层。
在构建多任务网络之后，可以将所获取的已测心脏图像样本中的每个已测心脏图像输入到多任务网络中进行训练以预测关于已测心脏图像样本中的每个已测心脏图像的多类型心脏参数。具体地，针对每个已测心脏图像，首先可以从所输入的已测心脏图像中提取一个特征层作为共享特征。例如，首先可以利用具有不同大小的多个(例如，3个)卷积核的卷积层对所输入的心脏图像进行初步特征提取，接着可以将所提取的初步特征输入到DenseNet层中的多个稠密网络块中进行处理，从而提取出一个特征层以作为共享特征。在提取出共享特征之后，可以基于该共享特征构建不同的任务网络分支，并且基于所构建的任务网络分支预测心脏参数。例如，可以在反卷积层利用以下公式(1)来预测二维心脏参数，并且也可以在全连接层利用以下公式(2)来预测一维心脏参数。
Figure BDA0002268187490000061
其中，Lseg为多任务网络的第一目标函数，w为多任务网络的网络参数，n为已测心脏图像样本中的已测心脏图像的数量，Si为第i个已测心脏图像的二维心脏参数，WDcnn为权重，f(·)为共享特征提取函数，用于提取已测心脏图像中的共享特征，||·||2为损失函数，i为正整数。
Figure BDA0002268187490000062
其中，Lseg为多任务网络的第二目标函数，n为已测心脏图像样本中的已测心脏图像的数量，T为一维心脏参数的数量，
Figure BDA0002268187490000063
为第i个已测心脏图像的第t个一维心脏参数，
Figure BDA0002268187490000064
为权重，f(·)为共享特征提取函数，||·||2为损失函数，i为正整数。
需要说明的是，上述共享特征可以是指所有任务网络分支共享的特征层，其与初步特征结构相同，二者均可以为向量的形式，其主要区别在于所处的网络层不同，即，初步特征一般是从浅网络层(例如，第一层)提取的，共享特征一般是从深网络层提取的。另外，为了便于描述，在下面的描述中，预测出的多类型心脏参数简称为预测心脏参数。
在训练时，可以计算预测心脏参数与对应的已测心脏参数的差值，然后可以利用损失函数并根据该差值来优化多任务网络的网络参数，使得多任务网络输出的预测心脏参数更加接近已测心脏参数。
S12：利用预测的多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本。
反向映射网络可以包括依次连接的联合表示层、DenseNet层和反卷积层。关于这些网络层的详细描述可以参照现有技术，在此不再赘叙。
在预测出已测心脏图像样本中的所有已测心脏图像的多类型心脏参数之后，可以将所得到的多类型心脏参数输入到所构建的反向映射网络中进行训练，从而可以得到与已测心脏图像样本中的每个已测心脏图像对应的重建图像，所得到的所有重建图像构成了重建心脏图像样本。具体地，(1)在联合表示层中，可以利用卷积层提取二维心脏参数中的心脏结构特征(例如，心脏形状，其可以是表示形状特征的二维向量)，可以利用全连接层提取一维心脏参数中的心脏结构特征(例如，心肌厚度)，并且将所提取的这两组特征进行拼接以得到其联合表示；(2)可以利用DenseNet层中的稠密网络块对所得到的联合表示进行学习以得到转换后的心脏结构特征；(3)最后可以利用反卷积层将转换后的心脏结构特征作为先验信息来重建与已测心脏图像样本中的已测心脏图像对应的图像，所得到的重建图像中的心脏参数与所输入的心脏参数基本一致。
下面以具体实例来说明一下该步骤的具体执行过程。针对所输入的二维心脏参数和一维心脏参数，可以利用卷积层从二维心脏参数中提取40x40的特征向量，可以利用全连接层从一维心脏参数中提取40x40的特征向量，在对这两个特征向量拼接之后，可以得到2x40x40的向量以作为这两个特征向量的联合表示；然后可以利用DenseNet层中的稠密网络块对这个联合表示进行卷积操作，将所输入的2x40x40的向量转换为20x40x40的向量；最后可以利用反卷积层对20x40x40的向量进行反卷积操作并且将1x80x80的已测心脏图像作为其监督信息，以将20x40x40的向量转换为1x80x80的心脏图像。
在训练时，还可以计算重建图像与对应的已测心脏图像之间的差值，然后可以利用损失函数并根据差值来优化反向映射网络的网络参数，使得反向映射网络输出的重建图像更加接近已测心脏图像。
S13：利用所构建的判别网络对从多任务网络接收的第一样本和从反向映射网络接收的第二样本进行判别处理，并且根据判别网络输出的判别概率训练多任务网络和反向映射网络直到判别概率达到预设阈值。
该第一样本可以包括已测心脏图像样本和对应的预测心脏参数，该第二样本可以包括重建心脏图像样本和对应的实测心脏参数。实测心脏参数可以是通过对已测心脏图像样本中的心脏图像进行测量得到的。该预设阈值可以是根据实际需求来设置的，一般可以在0.4～0.6之间，优选地为0.5。
在得到与已测心脏图像样本对应的重建心脏图像样本之后，可以利用所构建的判别网络对从多任务网络接收的第一样本和从反向映射网络接收的第二样本进行判别处理直到其输出的判别概率达到预设阈值。
在判别网络中，可以定义由已测心脏图像样本和预测心脏参数组成的第一样本的第一初始权重为1或0，相应地，可以定义由重建心脏图像样本和实测心脏参数组成的第二样本的第二初始权重为0或1。在训练阶段，在接收到第一样本后，可以计算判别网络的输出值与第一样本的第一初始权重之间的第一差值，并且根据第一差值来调整多任务网络的网络参数，以使判别网络的输出值接近第一初始权重；在接收到第二样本后，计算判别网络的输出值与第二样本的第二初始权重之间的第二差值，并且根据第二差值来调整反向映射网络的网络参数，以使判别网络的输出值接近第二初始权重；当由已测心脏图像样本和预测心脏参数组成的第一样本和由重建心脏图像样本和实测心脏参数组成的第二样本几乎相同时，则判别网络无法判别样本的来源，从而输出与预设阈值一致的判别概率(例如，0.5)。当由已测心脏图像样本和预测心脏参数组成的第一样本与由重建心脏图像样本和实测心脏参数组成的第二样本不同时，判别网络输出与预设阈值不一致的判别概率，此时可以调整多任务网络和反向映射网络的网络参数，然后重复上述步骤S11-S12，直至判别网络输出与预设阈值一致的判别概率。
通过这种训练方式，可以使判别网络具有更强的判别能力。
S2：利用训练后的生成对抗网络对待测心脏图像进行处理以得到多类型心脏参数。
在利用已测心脏图像样本对训练后的生成对抗网络进行训练后，可以将待测心脏图像输入到多任务网络中进行处理以预测出多类型心脏参数，然后可以将预测得到的多类型心脏参数作为待测心脏图像的真实心脏参数。
关于多任务网络如何预测多类型心脏参数的具体过程，可以参照步骤S1中的相关描述，在此不再赘叙。
通过上述描述可以看出，本申请实施例通过利用多任务网络、反向映射网络和判别网络对已测心脏图像样本进行对抗训练，并且利用训练后的上述网络来预测待测心脏图像的多类型心脏参数，其直接建立心脏图像与心脏参数之间的映射关系，而不需要以对心脏图像进行分割作为中间步骤来计算心脏参数，这相对于现有技术中的图像分割法而言，本申请实施例提供的技术方案更加简单快捷，而相对于现有技术中的逻辑回归法而言，本申请实施例提供的技术方案可以实现同时预测多种类型的心脏参数的目的，并且其精准度较高。另外，通过将反向映射网络重建的心脏图像与原心脏图像进行对比，也可以判断出多任务网络预测出的心脏参数是否准确，从而可以有助于多任务网络精准地预测心脏参数。
本申请实施例还提供了一种用于获得心脏参数的装置，如图4和图5所示，该装置可以包括：
训练模块100，其可以被配置为利用已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
获得模块200，其可以被配置为利用训练后的生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，训练模块100包括：
预测单元110，其可以被配置为利用已测心脏图像样本对所构建的多任务网络进行训练以预测关于已测心脏图像样本中的每个已测心脏图像的多类型心脏参数；
重建单元120，其可以被配置为利用预测的多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
判别训练单元130，其可以被配置为利用所构建的判别网络对从多任务网络接收的第一样本和从反向映射网络接收的第二样本进行判别处理，并且根据判别网络输出的判别概率训练多任务网络和反向映射网络直到判别概率达到预设阈值，其中，第一样本可以包括已测心脏图像样本和预测的多类型心脏参数，第二样本可以包括重建心脏图像样本和对应的实测心脏参数。
关于上述模块和单元的具体描述，可以参照上面方法实施例中对步骤S1和S2的描述，在此不再赘叙。
该装置可以是服务器、电子设备等，也可以是能够基于神经网络进行数据处理的任意装置，在此并不限制。另外，需要说明的是，上述装置中各模块和单元所实现的功能也可以由计算机中的处理器根据存储器中所存储的程序指令来执行。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质上存储有程序指令，该程序指令被执行时可以实现以下功能：利用已测心脏图像样本对所构建的生成对抗网络进行对抗训练；利用训练后的生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，其中，对所构建的生成对抗网络进行训练具体包括：利用已测心脏图像样本对所构建的多任务网络进行训练以预测关于已测心脏图像样本中的每个已测心脏图像的多类型心脏参数；利用预测的多种心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；利用所构建的判别网络对从多任务网络接收的第一样本和从反向映射网络接收的第二样本进行判别处理，并且根据判别网络输出的判别概率训练多任务网络和反向映射网络直到判别概率达到预设阈值，其中，第一样本包括已测心脏图像样本和预测的多类型心脏参数，第二样本包括重建心脏图像样本和对应的实测心脏参数。
上述程序指令可以由处理器执行，也可以由其他处理装置执行。
上述实施例阐明的装置、模块、单元等，具体可以由计算机芯片和/或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个计算机芯片中实现。
虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。
上述实施例是为便于该技术领域的普通技术人员能够理解和使用本申请而描述的。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本申请不限于上述实施例，本领域技术人员根据本申请的揭示，不脱离本申请范畴所做出的改进和修改都应该在本申请的保护范围之内。

Claims (8)

1.一种获得心脏参数的方法，其特征在于，所述方法包括：
步骤S1：利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练，所述步骤S1具体包括：
利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多类型心脏参数，所述多任务网络包括卷积层和稠密连接网络层，利用具有不同大小的多个卷积核的所述卷积层从所输入的每个所述已测心脏图像中进行初步特征提取，将所提取的所述初步特征输入到稠密连接网络层的稠密网络块中进行处理以提取出共享特征；
利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数；
步骤S2：利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，所述步骤S2具体包括：
在反卷积层利用公式(1)预测所述多类型心脏参数中的二维心脏参数，在全连接层利用公式(2)预测所述多类型心脏参数中的一维心脏参数：
Figure FDA0003641024250000011
Figure FDA0003641024250000012
其中，Lseg为所述多任务网络的第一目标函数，w为所述多任务网络的网络参数，n为所述已测心脏图像的数量，Si为第i个已测心脏图像的二维心脏参数，WDcnn为第一权重，f(·)为共享特征提取函数，||·||2为损失函数，i为正整数；Lreg为所述多任务网络的第二目标函数，T为一维心脏参数的数量，
Figure FDA0003641024250000013
为第i个已测心脏图像的第t个一维心脏参数，
Figure FDA0003641024250000014
为第二权重。
2.根据权利要求1所述的方法，其特征在于，所述多类型心脏参数包括含有心脏分割图像的二维心脏参数以及含有心肌厚度、血池横截面直径和/或血池和心肌的横截面面积的一维心脏参数。
3.根据权利要求2所述的方法，其特征在于，所述反向映射网络包括联合表示层、稠密连接网络层和反卷积层，相应地，利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本的步骤包括：
在所述联合表示层中，利用卷积层提取所述二维心脏参数中的心脏结构特征，利用全连接层提取所述一维心脏参数中的心脏结构特征，并且将所提取的这两组特征进行拼接以得到其联合表示；
利用所述稠密连接网络层中的稠密网络块对所得到的所述联合表示进行处理以得到转换后的心脏结构特征；
利用所述反卷积层将转换后的所述心脏结构特征作为先验信息来重建与所述已测心脏图像样本中的所述已测心脏图像对应的图像，所得到的所有重建图像构成所述重建心脏图像样本。
4.根据权利要求1所述的方法，其特征在于，利用所述判别网络对所述第一样本和所述第二样本进行判别处理的步骤包括：
在接收到所述第一样本之后，计算所述判别网络的输出值与所述第一样本的第一初始权重之间的第一差值，并且根据所述第一差值来调整所述多任务网络的网络参数，以使所述判别网络的输出值接近所述第一初始权重；
在接收到所述第二样本之后，计算所述判别网络的输出值与所述第二样本的第二初始权重之间的第二差值，并且根据所述第二差值来调整所述反向映射网络的网络参数，以使所述判别网络的输出值接近所述第二初始权重；
当所述第一样本与所述第二样本相同时，所述判别网络输出与所述预设阈值一致的判别概率。
5.根据权利要求1或4所述的方法，其特征在于，所述预设阈值为0.5。
6.根据权利要求1所述的方法，其特征在于，所述已测心脏图像和所述待测心脏图像包括MRI图像、CT图像、PET图像或PET-CT图像。
7.一种利用权利要求1所述的方法的用于获得心脏参数的装置，其特征在于，所述装置包括：
训练模块，其被配置为利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
获得模块，其被配置为利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，所述训练模块包括：
预测单元，其被配置为利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多类型心脏参数；
重建单元，其被配置为利用预测的所述多类型心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
判别训练单元，其被配置为利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，
所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数。
8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有程序指令，所述程序指令执行权利要求1所述的方法以实现以下功能：
利用所获取的已测心脏图像样本对所构建的生成对抗网络进行对抗训练；
利用训练后的所述生成对抗网络对待测心脏图像进行处理以获得多类型心脏参数，
其中，对所构建的生成对抗网络进行训练具体包括：
利用所述已测心脏图像样本对所构建的多任务网络进行训练以预测关于所述已测心脏图像样本中的每个所述已测心脏图像的多种类型的心脏参数；
利用预测的多种类型的所述心脏参数对所构建的反向映射网络进行训练以得到重建心脏图像样本；
利用所构建的判别网络对从所述多任务网络接收的第一样本和从所述反向映射网络接收的第二样本进行判别处理，并且根据所述判别网络输出的判别概率训练所述多任务网络和所述反向映射网络直到所述判别概率达到预设阈值，其中，所述第一样本包括所述已测心脏图像样本和预测的所述多类型心脏参数，所述第二样本包括所述重建心脏图像样本和对应的实测心脏参数。
CN201911095445.1A 2019-11-11 2019-11-11 获得心脏参数的方法、装置及计算机存储介质 Active CN110853012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911095445.1A CN110853012B (zh) 2019-11-11 2019-11-11 获得心脏参数的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911095445.1A CN110853012B (zh) 2019-11-11 2019-11-11 获得心脏参数的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110853012A CN110853012A (zh) 2020-02-28
CN110853012B true CN110853012B (zh) 2022-09-06

Family

ID=69601450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911095445.1A Active CN110853012B (zh) 2019-11-11 2019-11-11 获得心脏参数的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110853012B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062468B (zh) * 2020-03-06 2023-06-20 图灵人工智能研究院（南京）有限公司 生成网络的训练方法和系统、以及图像生成方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584254B (zh) * 2019-01-07 2022-12-20 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
US11010938B2 (en) * 2019-04-03 2021-05-18 Uih America, Inc. Systems and methods for positron emission tomography image reconstruction
CN110335193B (zh) * 2019-06-14 2022-09-20 大连理工大学 一种基于生成对抗网络的目标域导向的无监督图像转换方法
CN110400298B (zh) * 2019-07-23 2023-10-31 中山大学 心脏临床指标的检测方法、装置、设备及介质
CN110363772B (zh) * 2019-08-22 2021-08-13 西南大学 基于对抗网络的心脏mri分割方法及系统

Also Published As

Publication number Publication date
CN110853012A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
Tan et al. Breast cancer detection using convolutional neural networks for mammogram imaging system
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
CN110008971B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110930367B (zh) 多模态超声影像分类方法以及乳腺癌诊断装置
KR101908680B1 (ko) 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
JP2020010805A (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
Patel et al. EfficientNetB0 for brain stroke classification on computed tomography scan
KR20200082660A (ko) 머신러닝 기반 병리 진단 방법 및 장치
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Ossenberg-Engels et al. Conditional generative adversarial networks for the prediction of cardiac contraction from individual frames
CN110853012B (zh) 获得心脏参数的方法、装置及计算机存储介质
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112651960A (zh) 一种图像处理方法、装置、设备及存储介质
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Jabbar et al. Liver fibrosis processing, multiclassification, and diagnosis based on hybrid machine learning approaches
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
Naji et al. Skin Diseases Classification using Deep Convolutional Neural Network
Bidwai et al. Harnessing deep learning for detection of diabetic retinopathy in geriatric group using optical coherence tomography angiography-OCTA: A promising approach
Raghava et al. Detection of Tumor in the Liver Using CNN and Mobile Net
Nonsakhoo et al. Liver ultrasound image classification of periductal fibrosis based on transfer learning and fcnet for liver ultrasound images analysis system
Bhandari et al. Soft Attention Mechanism Based Network to Extract Blood Vessels From Retinal Image Modality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant