CN109377520A - 基于半监督循环gan的心脏图像配准系统及方法 - Google Patents

Abstract

一种基于半监督循环生成对抗网络GAN的心脏图像配准系统及方法，其实现的思路是：将心脏计算机断层扫描CT图像与经食道超声心动图TEE图像分块；利用训练好的半监督循环生成对抗网络GAN，得到对应模态块图像；对块图像进行配准，得到配准变换矩阵与配准后的图像；将归一化互信息值最大的块图像配准变换矩阵迁移到整幅图像，得到整幅图像的配准图像；融合配准图像与参考图像，显示融合后的图像。本发明利用半监督循环生成对抗网络GAN，缩小心脏图像模态差异，解决了大形变图像配准问题，提高心脏图像配准效率，利用心脏图像分块后的局部信息，提高了心脏图像的配准精度。

Description

基于半监督循环GAN的心脏图像配准系统及方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像配准技术领域中一种基于半监督循环生成对抗网络GAN(Generative Adversarial Networks)的心脏图像配准系统及方法。本发明可用于对心脏术前获取的计算机断层扫描CT(ComputedTomography)与术中获取的经食道超声心动图TEE(TransesophagealEchocardiography)的图像进行配准。

背景技术

图像配准是指将两幅图像对齐至一个共同的坐标系中，以便监视两者之间的变化。基于特征点的配准是最常用的图像配准方法之一。特征点需要能够与相邻的图像点区分开来。如若不满足该条件，就不可能用另一个图像中的对应点唯一匹配它。因此，一个特征邻域应该与经过小位移后得到的邻域有充分的不同。图像中容易识别和提取的特征点包括线与线间的交点、图像边缘点、角点、闭合区域的质心等。特征点可以通过手动或自动的方式提取。基于相似性度量的图像配准方法有基于特征的、基于区域的以及与信息熵相关的度量等。与信息熵相关的度量方式是目前多模态图像配准的最常用方法，对两幅图像数据集间的统计相关性进行测量，不需要预先对图像进行分割，适用于多模图像的配准。

上海联影医疗科技有限公司在其申请的专利“一种心脏灌注磁共振图像的配准方法”，(专利申请号：CN201510788341.4，申请公开号：CN106709900A)中提出一种心脏灌注磁共振图像的配准方法。该方法首先获取包含左心室心肌的若干层切片的磁共振图像I_NT,选定起始层切片在T个心跳周期内的磁共振图像I_1T，分割磁共振图像I_1T中的心肌内膜，确定参考图像I_1r以及感兴趣区域ROI₁；然后分别选定第二层至第N层切片在T个心跳周期内的磁共振图像I_MT,设定当前层切片切片在T个心跳周期内的磁共振图像为I_MT，以前一层的参考图像I_(M-1)r的心跳周期的序号r，感兴趣区域ROI_M-1为参考依据，分割第M层切片磁共振图像I_MT中的心肌内膜,获得第M层切片I_MT磁共振图像中的参考图像I_Mr；以每层切片的参考图像为基准，完成本层切片在T个心跳周期的磁共振图像的配准。该方法优势在于自动确定参考图像和感兴趣区域，结合采用刚体和非刚体配准方法实现四维心肌灌注磁共振图像在时序上的全局和局部配准，但是，该方法仍然存在的不足之处是，该方法是通过心跳时序操作获取参考图像，限制配准图像在一个心跳周期，当待配准图像为不同心跳周期时，配准精度低。

西安电子科技大学在其申请的专利文献“基于瓣膜对齐及概率图的心脏CT-TEE配准方法”，(专利申请号：CN201710242632.2，申请公开号：CN107133975A)中提出一种基于瓣膜先验信息和增强概率图的大形变心脏图像配准方法。该方法首先分别对计算机断层扫描CT与经食道超声心动图TEE图像进行交互式分割并引入心脏瓣膜端点位置，得到分割图像和心脏瓣膜端点位置，将瓣膜的空间位置作为先验信息；然后基于先验信息对计算机断层扫描CT和经食道超声心动图TEE图像进行基础配准；随后对计算机断层扫描CT与经食道超声心动图TEE图像进行区域增强，并对其分割图进行灰度增强，生成计算机断层扫描CT和经食道超声心动图TEE图像的概率图；最后基于得到的概率图并采用基础配准的变换矩阵作为最终配准中寻优算法的初始参数，对计算机断层扫描CT和经食道超声心动图TEE图像进行最终配准。该方法通过引入交互式分割和心脏瓣膜端点位置作为先验信息，进行粗配准，可以实现最终的精确配准。但是，该方法仍然存在的不足之处是，该方法在图像分割操作时需要人工交互操作，使配准过程的操作繁琐，影响配准效率。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于半监督循环生成对抗网络GAN的心脏图像配准系统及方法。

实现本发明的思路是，将心脏计算机断层扫描CT与经食道超声心动图TEE图像分块；输入训练好的半监督循环生成对抗网络GAN，得到对应模态块图像；对得到的块图像进行配准，得到配准变换矩阵；将归一化互信息值最大的块图像配准变换矩阵迁移到整幅图像，得到整幅图像的配准图像；将配准图像与参考图像融合，显示融合后的图像。

本发明的系统模块包括图像预处理模块，图像生成模块，图像显示模块，整图配准模块；其中：

所述图像预处理模块，用于对训练样本集与测试样本集做分块处理；

所述图像生成模块，用于对测试样本集中的心脏计算机断层扫描CT图像块生成经食道超声心动图TEE图像块，对心脏经食道超声心动图TEE图像生成计算机断层扫描CT图像块；

所述整图配准模块，用于将块间配准变换矩阵迁移至整幅图像；

所述图像显示模块，用于配准后图像融合结果显示。

本发明方法的具体步骤包括如下：

(1)生成样本的分块数据集：

(1a)将心脏计算机断层扫描CT图像与经食道超声心动图TEE图像，根据其生成的时间依次配对，随机选取配对后所有数据70％组成训练样本集，30％组成测试样本集；

(1b)图像预处理模块使用滑窗，对训练样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到训练样本的分块数据集；

(1c)图像预处理模块使用滑窗，对测试样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到测试样本的分块数据集；

(2)构建半监督循环生成对抗网络GAN：

(2a)搭建一个由五层卷积网络与四层卷积网络组成的半监督循环生成对抗网络GAN；

(2b)五层网络的前四层卷积核大小均为4×4个像素，卷积核数目分别为64个,128个，256个,512个，步长均为2个像素，最后一层卷积核大小为1×1个像素，卷积核数目为3个，步长为1个像素；

(2c)四层卷积网络的第一层为卷积核大小为7×7个像素，卷积核数目为32个，步长为1个像素的卷积结构，第二层为卷积核大小为3×3个像素，卷积核数目为128个，步长为2个像素的卷积结构，第三层为卷积核大小为3×3个像素，卷积核数目为64个，步长为1个像素的反卷积结构，第四层为卷积核大小为7×7个像素，卷积核数目为3个，步长为1个像素的卷积结构；

(2d)将两个网络结构组成半监督循环生成对抗网络GAN；

(2e)将心脏计算机断层扫描CT图像与经食道超声心动图TEE的图像类别与图像真实性最小二乘损失之和，作为半监督循环生成对抗网络GAN中的损失函数；

(3)训练半监督循环生成对抗网络GAN：

(3a)从训练样本的分块数据集中随机选取一个块图像；

(3b)对块图像前向传播，得到生成块图像以及与该生成块图像对应的类别；

(3c)计算生成块图像的图像真实性与其类别的最小二乘损失之和，得到半监督循环生成对抗网络GAN的最小二乘损失函数；

(3d)利用Adam优化算法，优化最小二乘损失函数，用优化后的连接权值，更新半监督循环生成对抗网络GAN连接权值；

(3e)判断半监督循环生成对抗网络GAN是否收敛，若是，得到训练好的半监督循环生成对抗网络GAN后执行步骤(4)，否则，执行步骤(3a)；

(4)生成块图像：

(4a)图像生成模块将测试样本的分块数据集中每块心脏计算机断层扫描CT块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的经食道超声心动图TEE块图像；

(4b)图像生成模块将测试样本的分块数据集中每块经食道超声心动图TEE块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的心脏计算机断层扫描CT块图像；

(5)块图像配准：

(5a)以每块原始计算机断层扫描CT块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵参数以及配准后的块图像；

(5b)以每块原始经食道超声心动图TEE块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵以及配准后的块图像；

(6)将块图像配准变换矩阵迁移至整幅图像：

(6a)整图配准模块利用归一化互信息公式，计算每块计算机断层扫描CT块图像配准后的块图像与对应参考块图像的归一化互信息值；

(6b)整图配准模块利用归一化互信息公式，计算每块经食道超声心动图TEE块图像配准后的块图像与对应参考块图像归一化互信息值；

(6c)得到所有块图像的归一化互信息值中最大值所对应的块图像，将该块块图像的配准变换矩阵，作为该块图像对应的整幅图像的配准变换矩阵；

(6d)根据配准变换矩阵与像素坐标对应关系，得到整幅图像的配准图像；

(7)显示融合图像：

(7a)将配准图像与参考块图像对应的整幅图像叠加，得到融合图像；

(7b)图像显示模块显示融合图像。

本发明与现有技术相比具有以下优点：

第一，由于本发明系统中的图像预处理模块可用于对所有心脏图像进行分块处理，能够有效利用到所有图像，克服了现有技术配准时需要通过心跳时序操作获取参考图像问题，以及能够克服当待配准图像为不同心跳周期时，现有技术配准精度低的不足之处，使得本发明对不同心跳周期的待配准图像的配准精度高。

第二，由于本发明方法中的半监督循环生成抗网络GAN，可用于实现心脏计算机断层扫描CT与经食道超声心动图TEE图像不同图像域间的转换，充分缩小图像模态间的差异性，解决了心脏计算机断层扫描CT与经食道超声心动图TEE图像配准的大形变问题，克服了现有技术中在心脏图像配准时需要人工交互的不足，减少心脏图像配准的繁琐步骤，使得本发明提高了对心脏图像配准的效率。

附图说明

图1是本发明系统示意图；

图2是本发明方法的流程图；

图3是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照附图1，对本发明的系统做进一步描述。

本发明的系统包括图像生成模块；图像显示模块；整图配准模块；图像预处理模块；其中：

所述图像预处理模块，用于对训练样本集与测试样本集做分块处理。

所述图像生成模块，用于对测试样本集中的心脏计算机断层扫描CT图像块生成经食道超声心动图TEE图像块，对心脏经食道超声心动图TEE图像生成计算机断层扫描CT图像块。

所述整图配准模块，用于将块间配准变换矩阵迁移至整幅图像。

所述图像显示模块，用于配准后图像融合结果显示。

参照附图2，对本发明的方法做进一步描述。

步骤1，生成样本的分块数据集。

第1步，将心脏计算机断层扫描CT图像与经食道超声心动图TEE图像，根据其生成的时间依次配对，随机选取配对后所有数据70％组成训练样本集，30％组成测试样本集。

第2步，图像预处理模块使用滑窗，对训练样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到训练样本的分块数据集。

所述的对训练样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，具体为图像预处理模块使用滑窗，滑窗向左，向下滑动的步长均为64个像素，滑窗的大小为128×128个像素。

第3步，图像预处理模块使用滑窗，对测试样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到测试样本的分块数据集。

所述的对测试样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，具体为图像预处理模块使用滑窗，滑窗向左，向下滑动的步长均为128个像素，滑窗的大小为128×128个像素。

步骤2，构建半监督循环生成对抗网络GAN。

第1步，搭建一个由五层卷积网络与四层卷积网络组成的半监督循环生成对抗网络GAN。

第2步，五层网络的前四层卷积核大小均为4×4个像素，卷积核数目分别为64个,128个，256个,512个，步长均为2个像素，最后一层卷积核大小为1×1个像素，卷积核数目为3个，步长为1个像素。

第3步，四层卷积网络的第一层为卷积核大小为7×7个像素，卷积核数目为32个，步长为1个像素的卷积结构，第二层为卷积核大小为3×3个像素，卷积核数目为128个，步长为2个像素的卷积结构，第三层为卷积核大小为3×3个像素，卷积核数目为64个，步长为1个像素的反卷积结构，第四层为卷积核大小为7×7个像素，卷积核数目为3个，步长为1个像素的卷积结构。

第4步，将两个网络结构组成半监督循环生成对抗网络GAN。

第5步，将心脏计算机断层扫描CT图像与经食道超声心动图TEE的图像类别与图像真实性最小二乘损失之和，作为半监督循环生成对抗网络GAN中的损失函数。

步骤3，训练半监督循环生成对抗网络GAN。

第1步，从训练样本的分块数据集中随机选取一个块图像。

第2步，对块图像前向传播，得到生成块图像以及与该生成块图像对应的类别。

第3步，计算生成块图像的图像真实性与其类别的最小二乘损失之和，得到半监督循环生成对抗网络GAN的最小二乘损失函数。

所述的最小二乘损失函数如下：

其中，L()表示生成图像类别与真实性最小二乘损失之和，θ表示网络的连接权值，G_θ(x)表示块图像x经网络后的生成图像，D_{Y_tru}表示G_θ(x)的真实性判别函数，D_{Y_cls}表示G(x)的类别判别函数。

第4步，利用Adam优化算法，优化最小二乘损失函数，用优化后的连接权值，更新半监督循环生成对抗网络GAN连接权值。

第5步，判断半监督循环生成对抗网络GAN是否收敛，若是，得到训练好的半监督循环生成对抗网络GAN后执行步骤4，否则，执行第1步。

所述的判断半监督循环生成对抗网络GAN是否收敛是指在训练过程中，连续10次迭代的最小二乘损失函数值不再发生变化。

步骤4，生成块图像。

第1步，图像生成模块将测试样本的分块数据集中每块心脏计算机断层扫描CT块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的经食道超声心动图TEE块图像。

第2步，图像生成模块将测试样本的分块数据集中每块经食道超声心动图TEE块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的心脏计算机断层扫描CT块图像。

步骤5，块图像配准。

第1步，以每块原始计算机断层扫描CT块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵参数以及配准后的块图像。

第2步，以每块原始经食道超声心动图TEE块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵以及配准后的块图像。

步骤6，将块图像配准变换矩阵迁移至整幅图像。

第1步，整图配准模块利用归一化互信息公式，计算每块计算机断层扫描CT块图像配准后的块图像与对应参考块图像的归一化互信息值。

所述的归一化互信息公式如下：

其中，N(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的归一化互信息，H(K)表示参考块图像K的香农熵，H(T(J))表示待配准块图像J的配准图像T(J)的香农熵，H(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的联合熵。

第2步，整图配准模块利用归一化互信息公式，计算每块经食道超声心动图TEE块图像配准后的块图像与对应参考块图像归一化互信息值。

所述的归一化互信息公式如下：

其中，N(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的归一化互信息，H(K)表示参考块图像K的香农熵，H(T(J))表示待配准块图像J的配准图像T(J)的香农熵，H(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的联合熵。

第3步，得到所有块图像的归一化互信息值中最大值所对应的块图像，将该块块图像的配准变换矩阵，作为该块图像对应的整幅图像的配准变换矩阵。

第4步，根据配准变换矩阵与像素坐标对应关系，得到整幅图像的配准图像。

步骤7，显示融合图像。

第1步，将配准图像与参考块图像对应的整幅图像叠加，得到融合图像。

第2步，图像显示模块显示融合图像。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真试验平台是Intel Core i7-6900K CPU 3.2GHz，内存为64GB显卡为Nvidia Titan X Pascal的PC机，计算机软件配置为Python3.6，tensorflow1.1.0。

2.仿真内容与结果分析：

本发明的仿真实验是用本发明的系统与方法，利用PHILIPS S7-3t设备采集2000幅经食道超声心动图TEE图像，该设备为荷兰阿姆斯特丹飞利浦医疗系统技术有限公司制造。使用Siemens Somatom Definition设备采集2000幅心脏计算机断层扫描CT图像，该设备为德国Forcheim西门子医疗制造。经食道超声心动图TEE的大小为512×512个像素，心脏计算机断层扫描CT图像的大小为512×512个像素。其中，对2000幅计算机断层扫描CT图像与2000幅经食道超声心动图TEE按生成的时间依次配对，随机选取1400对配对图像训练半监督循环生成对抗网络GAN，用训练好的半监督循环生成对抗网络GAN对剩余600幅计算机断层扫描CT图像与600幅经食道超声心动图TEE测试样本进行仿真。

图3(a)与图3(b)是从测试样本集中随机挑选的1幅计算机断层扫描CT图像与1幅经食道超声心动图TEE，图3(c)为利用本发明的系统及方法对图3(a)与图3(b)进行配准后得到的配准结果融合图，从图3(c)可以看出本发明在瓣膜等微小组织及整体心房心室上都有较好的对齐效果。

Claims (7)

1.一种基于半监督循环生成对抗网络GAN的心脏图像配准系统，包括图像生成模块；图像显示模块；整图配准模块；其特征在于，还包括图像预处理模块其中：

所述图像预处理模块，用于对训练样本集与测试样本集做分块处理；

所述图像生成模块，用于对测试样本集中的心脏计算机断层扫描CT块图像生成经食道超声心动图TEE块图像，对心脏经食道超声心动图TEE块图像生成计算机断层扫描CT块图像；

所述整图配准模块，用于将块图像配准变换矩阵迁移至整幅图像；

所述图像显示模块，用于配准后图像融合结果显示。

2.一种基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，构建半监督循环生成对抗网络GAN，生成块图像，将块图像配准变换矩阵迁移至整幅图像；该方法的具体步骤包括如下：

(1)生成样本的分块数据集：

(1a)将心脏计算机断层扫描CT图像与经食道超声心动图TEE图像，根据其生成的时间依次配对，随机选取配对后所有数据70％组成训练样本集，30％组成测试样本集；

(1b)图像预处理模块使用滑窗，对训练样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到训练样本的分块数据集；

(1c)图像预处理模块使用滑窗，对测试样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，得到测试样本的分块数据集；

(2)构建半监督循环生成对抗网络GAN：

(2a)搭建一个由五层卷积网络与四层卷积网络组成的半监督循环生成对抗网络GAN；

(2b)五层网络的前四层卷积核大小均为4×4个像素，卷积核数目分别为64个,128个，256个,512个，步长均为2个像素，最后一层卷积核大小为1×1个像素，卷积核数目为3个，步长为1个像素；

(2c)四层卷积网络的第一层为卷积核大小为7×7个像素，卷积核数目为32个，步长为1个像素的卷积结构，第二层为卷积核大小为3×3个像素，卷积核数目为128个，步长为2个像素的卷积结构，第三层为卷积核大小为3×3个像素，卷积核数目为64个，步长为1个像素的反卷积结构，第四层为卷积核大小为7×7个像素，卷积核数目为3个，步长为1个像素的卷积结构；

(2d)将两个网络结构组成半监督循环生成对抗网络GAN；

(2e)将心脏计算机断层扫描CT图像与经食道超声心动图TEE的图像类别与图像真实性最小二乘损失之和，作为半监督循环生成对抗网络GAN中的损失函数；

(3)训练半监督循环生成对抗网络GAN：

(3a)从训练样本的分块数据集中随机选取一个块图像；

(3b)对块图像前向传播，得到生成块图像以及与该生成块图像对应的类别；

(3c)计算生成块图像的图像真实性与其类别的最小二乘损失之和，得到半监督循环生成对抗网络GAN的最小二乘损失函数；

(3d)利用Adam优化算法，优化最小二乘损失函数，用优化后的连接权值，更新半监督循环生成对抗网络GAN连接权值；

(3e)判断半监督循环生成对抗网络GAN是否收敛，若是，得到训练好的半监督循环生成对抗网络GAN后执行步骤(4)，否则，执行步骤(3a)；

(4)生成块图像：

(4a)图像生成模块将测试样本的分块数据集中每块心脏计算机断层扫描CT块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的经食道超声心动图TEE块图像；

(4b)图像生成模块将测试样本的分块数据集中每块经食道超声心动图TEE块图像，依次输入到半监督循环生成对抗网络GAN，得到每块块图像对应的心脏计算机断层扫描CT块图像；

(5)块图像配准：

(5a)以每块原始计算机断层扫描CT块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵参数以及配准后的块图像；

(5b)以每块原始经食道超声心动图TEE块图像为参考图，对应的每块块图像为待配准图，进行相似度最大化的配准，得到每块待配准图的配准变换矩阵以及配准后的块图像；

(6)将块图像配准变换矩阵迁移至整幅图像：

(6a)整图配准模块利用归一化互信息公式，计算每块计算机断层扫描CT块图像配准后的块图像与对应参考块图像的归一化互信息值；

(6b)整图配准模块利用归一化互信息公式，计算每块经食道超声心动图TEE块图像配准后的块图像与对应参考块图像归一化互信息值；

(6c)得到所有块图像的归一化互信息值中最大值所对应的块图像，将该块块图像的配准变换矩阵，作为该块图像对应的整幅图像的配准变换矩阵；

(6d)根据配准变换矩阵与像素坐标对应关系，得到整幅图像的配准图像；

(7)显示融合图像：

(7a)将配准图像与参考块图像对应的整幅图像叠加，得到融合图像；

(7b)图像显示模块显示融合图像。

3.根据权利要求2所述的基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，步骤(1b)中所述的对训练样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，具体为图像预处理模块使用滑窗，滑窗向左，向下滑动的步长均为64个像素，滑窗的大小为128×128个像素。

4.根据权利要求2所述的基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，步骤(1c)中所述的对测试样本对应的每一幅心脏计算机断层扫描CT图像与经食道超声心动图TEE做分块，具体为图像预处理模块使用滑窗，滑窗向左，向下滑动的步长均为128个像素，滑窗的大小为128×128个像素。

5.根据权利要求2所述的基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，步骤(3c)中所述的最小二乘损失函数如下：

其中，L()表示生成图像类别与真实性最小二乘损失之和，θ表示网络的连接权值，G_θ(x)表示块图像x经网络后的生成图像，D_{Y_tru}表示G_θ(x)的真实性判别函数，D_{Y_cls}表示G(x)的类别判别函数。

6.根据权利要求2所述的基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，步骤(3e)所述的判断半监督循环生成对抗网络GAN是否收敛是指在训练过程中，连续10次迭代的最小二乘损失函数值不再发生变化。

7.根据权利要求2所述的基于半监督循环生成对抗网络GAN的心脏图像配准方法，其特征在于，步骤(6a)、步骤(6b)所述的归一化互信息公式如下：

其中，N(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的归一化互信息，H(K)表示参考块图像K的香农熵，H(T(J))表示待配准块图像J的配准图像T(J)的香农熵，H(K,T(J))表示参考块图像K与待配准块图像J的配准图像T(J)的联合熵。