CN112508835B - 一种基于gan的无造影剂医学图像增强建模方法 - Google Patents

Abstract

本发明公开了一种基于GAN的无造影剂医学图像增强建模方法，涉及医学图像处理技术领域，本申请采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；再与既往患者的无造影剂图像进行融合，建立图像目标分析模型。本申请建立的虚拟有造影剂图像模型，实现了新增患者无需服用造影剂就能得到虚拟有造影剂图像，简化治疗程序，降低患者的治疗成本。

Description

一种基于GAN的无造影剂医学图像增强建模方法

技术领域

本发明涉及医学图像处理技术领域，尤其是涉及一种基于GAN 的无造影剂医学图像增强建模方法。

背景技术

目前，医学上基于图像对人体部位进行判断，是一种常用的方法，为了得到人体某一部位的图像，需要给病人注入血管造影剂，在给病人造成痛苦的同时，由于血管造影剂在体内难以彻底排出，并存在多种过敏反应，给病人带来了已知与未知风险。

磁共振血管造影具有很高的临床价值，但是由于血管造影剂自身成分的问题，部分患者对其有不同程度不同类型的过敏反应，体内残留物对患者的病理影响还处于尚不明确的状态，存在一定未知隐患。单纯从改进血管造影剂的方面进行技术改进来看，尚无较大进展。

因此，如何基于既往患者的图像，得到新增患者的图像，是目前亟待解决的问题。

发明内容

本发明的目的是提供一种基于GAN的无造影剂医学图像增强建模方法，基于既往患者无造影剂图像与真实有造影剂图像，采用GAN 增强算法，由既往患者无造影剂图像创建虚拟有造影剂图像，并与真实有造影剂图像进行验证，实现从无造影剂图像，建立虚拟有造影剂图像模型，实现了新增患者无需服用造影剂就能得到虚拟有造影剂图像，简化治疗程序，降低患者的治疗成本。

第一方面，本发明的上述发明目的通过以下技术方案得以实现：

一种基于GAN的无造影剂医学图像增强建模方法，采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；再与既往患者的无造影剂图像进行融合，建立图像目标分析模型。

本发明进一步设置为：采用GAN增强算法，包括创建生成器模型、鉴别器模型，生成器模型用于根据无造影剂图像生成虚拟有造影剂图像，鉴别器模型用于鉴别被分析数据是虚拟有造影剂图像数据或真实有造影剂图像数据，根据鉴别结果，生成器模型修正下一次生成的虚拟有造影剂图像数据，直至生成器模型生成的虚拟有造影剂图像数据，被鉴别器模型鉴别为真，记录为最终虚拟有造影剂图像数据。

本发明进一步设置为：基于无造影剂图像数据学习得到生成器分布，生成器模型G构建噪声分布到数据空间的映射，生成虚拟有造影剂图片；鉴别器模型D鉴别虚拟有造影剂图片为真的概率，调整生成器模型G参数、鉴别器模型D参数，以最小化log(1-D(G(r)))与最小化logD(Q)，即满足如下公式：

式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数据，E表示期望值，表示源自真实有造影剂图像数据的期望，/>表示源自虚拟有造影剂图像数据的期望，G(z)表示数据z 放入到生成器模型中得到的结果，D(G(r))表示将G(r)放入鉴别器模型D中继续鉴别，得到的结果；V表示包含有D/G两个参数的函数。

本发明进一步设置为：采用目标检测算法，对既往患者的无造影剂图像、有造影剂图像进行分割，得到无造影剂图像目标图像、无造影剂图像背景图像、有造影剂图像目标图像、有造影剂图像背景图像。

本发明进一步设置为：目标检测算法包括拆分图像为N个子图像、预测子图像边界框、在子图像中构建多层卷积网络提取特征。

本发明进一步设置为：采用维度聚类作为锚框预测子图像边界框，预测每个边界框的四个坐标为t_x，t_y，t_w，t_h，结合每次预测的坐标偏移量C_x、C_y，计算下一个预测框的坐标(b_x、b_y、b_w、b_h)为：

b_x＝σ(t_x)+C_x；

b_y＝σ(t_y)+C_y；

式中，σ()表示多个预测框的平均值分布；p_w表示前一预测框的宽度，p_h表示前一预测框的高度，(t_x、t_y)(b_x、b_y)表示锚框中心坐标，t_w、b_w表示锚框宽度，t_h、b_h表示锚框高度。

本发明进一步设置为：多层卷积网络包括卷积层、残差层、池化层、全连接层；卷积层，用于特征提取，以获取一定区域内主要的像素点；残差层，用于防止梯度爆炸；池化层，用于对输入的特征图进行压缩，提取主要特征；全连接层，用于将学习到的特征映射到样本标记空间，起分类器的作用。

本发明进一步设置为：对既往患者的无造影剂图像、有造影剂图像进行分割；以无造影剂图像目标图像，生成虚拟有造影剂图像目标图像，并与真实有造影剂图像目标图像进行训练，得到最终虚拟有造影剂图像目标图像；并与无造影剂图像背景图像进行融合，建立图像目标分析模型。

本发明进一步设置为：以边界处梯度最小为原则，将虚拟有造影剂图像目标图像，与无造影剂图像背景图像进行融合，得到虚拟无造影剂图像确定版。

第二方面，本发明的上述发明目的通过以下技术方案得以实现：

一种基于GAN的无造影剂医学图像增强建模终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于GAN的无造影剂医学图像增强建模方法。

第三方面，本发明的上述发明目的通过以下技术方案得以实现：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被所述处理器执行时实现所述基于GAN的无造影剂医学图像增强建模方法。

与现有技术相比，本申请的有益技术效果为：

1.本申请采用GAN增强算法，对既往患者无造影剂图像进行增强，得到既往患者的虚拟有造影剂图像，并与既往患者的真实既往患者有造影剂图像进行验证，从而得到模型，保证了模型分析的准确性；

2.进一步地，本申请在图像增强时，建立两个模型，分别用于生成虚拟图像与鉴别虚拟图像，保证了虚拟图像的精度；

3.进一步地，本申请基于既往患者无造影剂图像的背景图像，与增强后的虚拟有造影剂目标图像进行融合，避免了背景图像对目标图像的影响，提高了模型的精确度。

附图说明

图1是本申请的一个具体实施例的建模方法结构示意图；

图2是本申请的一个具体实施例的双一种建模方法结构示意图；

图3是本申请的一个具体实施例的多层卷积网络结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

具体实施例一

本申请的一种基于GAN的无造影剂医学图像增强建模方法，如图 1所示，包括基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂目标图像；同时，从既往患者的无造影剂图像中进行目标识别，分割出既往患者的无造影剂图像中的目标图像与背景图像，将虚拟有造影剂目标图像与无造影剂图像背景图像进行融合，得到既往患者的虚拟有造影剂图像，基于多个既往患者的无造影剂图像，经过训练得到多个虚拟有造影剂图像，建立分析模型。

将新增患者的无造影剂图像输入分析模型，从而得到新增患者的虚拟有造影剂图像，避免了造影剂的使用对患者造成的经济与身体负担。

基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂目标图像，包括以下二种方式：

方法一、基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂图像，采用目标识别方法，从既往患者的虚拟有造影剂图像中分割出既往患者的虚拟有造影剂目标图像。

方法二、基于既往患者的无造影剂图像，进行目标识别，从既往患者的无造影剂图像中分割出目标图像与背景图像，采用GAN增强算法，对无造影剂目标图像进行增强，得到虚拟有造影剂目标图像，如图2所示。

下面针对方法一进行详细描述。

GAN增强算法：

创建二个模型，包括生成器模型G、鉴别器模型D，生成器模型G 用于基于无造影剂图像生成虚拟有造影剂图像图像，鉴别器模型D用于鉴别虚拟有造影剂图像的真伪，即鉴别图像是虚拟有造影剂图像还是真实有造影剂图像，根据鉴别器的鉴别结果，生成器模型G在下一次生成虚拟有造影剂图像时进行修正，使虚拟有造影剂图像与真实有造影剂图像的相似度更高，直至鉴别器模型对虚拟有造影剂图像的鉴别为真时，训练结束，得到最终虚拟有造影剂图像。

具体地，基于无造影剂图像数据q上学习生成器分布P_g，其中，P 表示概率，g表示生成器模型。生成器模型G构建噪声分布P_R(r)到数据空间的映射G(r；θ_g)，其中，r表示虚拟有造影剂图像数据，θ_g表示生成器的概率。鉴别器模型D输出一个标量D(q；θ_d)，表示数据x源自真实有造影剂数据而非P_g的概率。

每个图像是由多个像素组成，用于GAN算法的图像的像素大小是固定的，是有特定特征的图像组，在固定的像素点的像素值是相近的，生成器分布P_g即为像素值分布。

生成器模型G提取第一图像特征，生成虚拟有造影剂图像。

鉴别器模型D通过提取真实有造影剂图像特征，对虚拟有造影剂图像进行鉴别。

生成器模型G提取无造影剂图像数据特征，并对无造影剂图像数据特征进行学习，并生成虚拟有造影剂图像数据。鉴别器模型D提取真实有造影剂图像数据特征，对虚拟有造影剂图像进行鉴别，鉴别虚拟有造影剂图像为真的概率。生成器模型根据鉴别器模型D的鉴别结果，修正虚拟有造影剂图像，进行进一步训练，直至鉴别器模型D对虚拟有造影剂图像的鉴别结果为真，训练结束，生成的最终虚拟有造影剂图像即为期望的特征增强图像。

在训练过程中，调整生成器模型G的参数，以最小化log{1- D[G(r)]}，调整鉴别器模型D的参数，以最小化logD(Q)，使虚拟有造影剂图像更接近真实有造影剂图像。

其中，G(r)表示将虚拟有造影剂图像数据r放入到生成器模型G中得到的结果；

D[G(r)]表示将G(r)放入鉴别器模型D中继续进行鉴别，得到的结果。这个结果是一个具体的数值，范围为0到1，表示可能为真的概率，因此，1-D[G(r)]表示的就是可能为假的概率。取log是为了方便控制大小。

具体公式如下：

式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数据，Q表示q数据集整体，R表示r数据集整体，E表示期望值，表示源自真实有造影剂图像数据的期望，/>表示源自虚拟有造影剂图像数据的期望，V表示包含有D/G两个参数的函数。

考虑到最初生成的数据r一般提取的特征较小，与原数据差距较大，被称为噪声，所以，P_R(r)中，R也表示生成的噪声集合，r表示噪声集合中的任意一个数据，P_R(r)表示在生成的噪声集合中任一数据出现的概率。

目标识别方法：

将无造影剂图像导入目标检测算法。

目标检测算法通过使用维度聚类作为锚框来预测边界框，在目标检测训练过程中，根据提取出来的特征作为参考，标注每个边界框的坐标，包括：t_x，t_y，t_w，t_h，其中，(t_x、t_y)表示图像上锚框的中心坐标(x、y)，t_w表示图像上锚框宽度，t_h表示图像上锚框高度，

对于图像中一个确定的目标，会产生一系列的虚拟锚框，这些锚框的中心点坐标误差不会太大，用σ()表示多个预测框的平均值分布；在本实施例中，以像素点左上角极点作为起始端点(0、0)，整个图像为第四象限，但是y轴的值为正数，用C_x、C_y表示每次预测的左上角坐标偏移量，即表示原本在左上角的点同时向x轴、y轴偏移，则基于前一个预测框，计算下一个预测框的坐标(b_x、b_y、b_w、b_h)为：

b_x＝σ(t_x)+C_x (2)；

b_y＝σ(t_y)+C_y (3)；

对应地，(b_x、b_y)表示下一个预测框的中心点坐标，b_w表示下一个预测框的宽度，b_h表示下一个预测框的高度，p_w表示前一个预测框的宽度，p_h表示前一个预测框的高度；σ(t_x)表示原始虚拟中心点的x坐标，σ(t_y)表示原始虚拟中心点的y标。

确定边界框后，构建多层卷积网络，进行特征提取。

如图3所示，多层卷积网络包括：卷积层(Convolutional)、残差层(Residual)、池化层(Avgpool)、全连接层(Connected)；卷积层，用于特征提取，以获取一定区域内主要的像素点；残差层，用于防止梯度爆炸；池化层，用于对输入的特征图进行压缩，提取主要特征；全连接层，用于将学习到的特征映射到样本标记空间，起分类器的作用。

图中，Softmax代表损失函数，用来作为目标网络函数指导学习过程。Type是每个单位层结构的类别，Filter是特征提取器的个数， size是它的大小，单位是像素点。

采用GAN增强方法，根据无造影剂图像与真实有影剂图像，生成最终虚拟有影剂图像。

采用目标检测方法，对无造影剂图像进行标注分割，得到无造影剂目标图像组与无造影剂背景图像组；对最终虚拟有影剂图像进行标注分割，得到最终虚拟有影剂目标图像组与最终虚拟有影剂背景图像组；根据标注地址信息，将最终虚拟有影剂目标图像组与无造影剂背景图像组进行融合，删除掉最终虚拟有影剂背景图像组中对背景的增强。

在融合时，为保证图像边界处的自然过度，使边界处的梯度变小，计算公式如下：

设S是图像定义域，Ω是S内一个封闭的子集，是这个子集的边界，f*是定义在S上减去Ω部分所包含的标量函数，而f是定义在Ω内部的未知标量函数。v为定义在Ω之上的矢量场。

是梯度运算符。/>就是函数f进行梯度运算后的结果。

此公式表示：在函数f和f*的值相等的情况下，在Ω的范围内，将关于f的梯度值降到最小。

公式中求差值，求绝对值，然后平方化都是为了将结果进行正常化(Normalization)，避免差异值较大。

公式6的最小解就是最终值：

式中，div表示散度，用于表征空间各点矢量场发散的强弱程度。

此公式表示：在函数f与f*相等的情况下，在Ω范围的v的散度 divv的值等于f的最小值Δf。

融合后，得到无造影剂医学图像增强分析模型，包括最终虚拟有影剂目标图像组与无造影剂背景图像组，将新增患者的无造影剂医学图像输入模型进行训练，得到新增患者的虚拟有影剂目标图像，用于医学分析。

对于方法二，先采用目标检测方法，对既往患者的无造影剂图像进行分割，得到既往患者的无造影剂目标图像与无造影剂背景图像，再采用GAN增强方法，对无造影剂目标图像进行增强，得到虚拟有影剂目标图像。

将虚拟有影剂目标图像与无造影剂背景图像进行融合，得到无造影剂医学图像增强分析模型。

具体实施例二

本发明一实施例提供的一种基于GAN的无造影剂医学图像增强建模终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如印章真伪判别计算机程序，所述处理器执行所述计算机程序时实现实施例1 中建模方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于GAN的无造影剂医学图像增强建模终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：

1.图像增强模块，用于对图像进行增强；

2.图像分割模块，用于对图像进行分割。

所述基于GAN的无造影剂医学图像增强建模终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于 GAN的无造影剂医学图像增强建模终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是终端设备的示例，并不构成对基于GAN的无造影剂医学图像增强建模终端设备的限定，可以包括比图示更多或更少的部件，或组合某些部件，或不同的部件，例如所述基于GAN的无造影剂医学图像增强建模终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(Central Processing Unit， CPU),还可以是其他通用处理器、数据信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于GAN的无造影剂医学图像增强建模终端设备的控制中心，利用各种接口和线路连接整个一种基于GAN的无造影剂医学图像增强建模终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于GAN的无造影剂医学图像增强建模终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等) 等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

具体实施例三

所述一种基于GAN的无造影剂医学图像增强建模终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；采用目标检测方法，对既往患者的无造影剂图像进行标注分割，得到既往患者的无造影剂目标图像组与既往患者的无造影剂背景图像组；对既往患者的最终虚拟有造影剂图像进行标注分割，得到既往患者的最终虚拟有造影剂目标图像组与既往患者的最终虚拟有造影剂背景图像组；根据标注地址信息，将既往患者的最终虚拟有造影剂目标图像组与既往患者的无造影剂背景图像组进行融合，删除掉既往患者的最终虚拟有造影剂背景图像组中对背景的增强，建立目标图像分析模型。

2.根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用GAN增强算法，包括创建生成器模型、鉴别器模型，生成器模型用于根据无造影剂图像生成虚拟有造影剂图像，鉴别器模型用于鉴别被分析数据是虚拟有造影剂图像数据或真实有造影剂图像数据，根据鉴别结果，生成器模型修正下一次生成的虚拟有造影剂图像数据，直至生成器模型生成的虚拟有造影剂图像数据，被鉴别器模型鉴别为真，记录为最终虚拟有造影剂图像数据。

3.根据权利要求2所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：基于无造影剂图像数据学习得到生成器分布，生成器模型G构建噪声分布到数据空间的映射，生成虚拟有造影剂图片；鉴别器模型D鉴别虚拟有造影剂图片为真的概率，调整生成器模型G参数、鉴别器模型D参数，以最小化log(1-D(G(r)))与最小化logD(Q)，即满足如下公式：

式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数据，E表示期望值，表示源自真实有造影剂图像数据的期望，/>表示源自虚拟有造影剂图像数据的期望，G(z)表示数据z放入到生成器模型中得到的结果，D(G(r))表示将G(r)放入鉴别器模型D中继续鉴别，得到的结果；V表示包含有D/G两个参数的函数。

4.根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：目标检测算法包括拆分图像为N个子图像、预测子图像边界框、在子图像中构建多层卷积网络提取特征。

5.根据权利要求4所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用维度聚类作为锚框预测子图像边界框，预测每个边界框的四个坐标为t_x,t_y,t_w,t_h，结合每次预测的坐标偏移量C_x、C_y，计算下一个预测框的坐标(b_x、b_y、b_w、b_h)为：

b_x＝σ(t_x)+C_x；

b_y＝σ(t_y)+C_y；

式中，σ()表示多个预测框的平均值分布；p_w表示前一预测框的宽度，p_h表示前一预测框的高度，(t_x、t_y)(b_x、b_y)表示锚框中心坐标，t_w、b_w表示锚框宽度，t_h、b_h表示锚框高度。

6.根据权利要求4所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：多层卷积网络包括卷积层、残差层、池化层、全连接层；卷积层，用于特征提取，以获取一定区域内主要的像素点；残差层，用于防止梯度爆炸；池化层，用于对输入的特征图进行压缩，提取主要特征；全连接层，用于将学习到的特征映射到样本标记空间，起分类器的作用。

7.根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：对既往患者的无造影剂图像、有造影剂图像进行分割；以无造影剂图像目标图像，生成虚拟有造影剂图像目标图像，并与真实有造影剂图像目标图像进行训练，得到最终虚拟有造影剂图像目标图像；并与无造影剂图像背景图像进行融合，建立图像目标分析模型。

8.根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：以边界处梯度最小为原则，将虚拟有造影剂图像目标图像，与无造影剂图像背景图像进行融合，得到虚拟无造影剂图像确定版。

9.一种基于GAN的无造影剂医学图像增强建模终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法。